KR102535158B1

KR102535158B1 - 포인트 클라우드 데이터 처리 방법, 장치, 전자 기기 및 저장 매체

Info

Publication number: KR102535158B1
Application number: KR1020207031573A
Authority: KR
Inventors: 지아겡 마오; 시아오강 왕; 홍솅 리
Original assignee: 베이징 센스타임 테크놀로지 디벨롭먼트 컴퍼니 리미티드
Priority date: 2019-05-22
Filing date: 2019-11-28
Publication date: 2023-05-22
Also published as: WO2020233069A1; CN110163906A; US20210042501A1; JP2021528726A; JP7475287B2; SG11202010693SA; KR20200139761A; CN110163906B

Abstract

본 발명의 실시예는 포인트 클라우드 데이터 처리 방법, 장치, 전자 기기 및 저장 매체를 개시하였다. 상기 포인트 클라우드 데이터 처리 방법은 타겟 시나리오에서의 포인트 클라우드 데이터 및 제1 이산 컨볼루션 커널의 가중치 벡터를 얻는 단계; 상기 포인트 클라우드 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 제1 가중치 데이터를 얻는 단계 - 상기 제1 가중치 데이터는 상기 포인트 클라우드 데이터를 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 나타냄 - ; 상기 제1 가중치 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 제1 이산 컨볼루션 처리를 수행하여, 제1 이산 컨볼루션 결과를 얻는 단계; 및 상기 제1 이산 컨볼루션 결과에 기반하여, 상기 포인트 클라우드 데이터에서의 적어도 일부 포인트 클라우드 데이터의 공간 구조 특징을 얻는 단계를 포함한다.

Description

포인트 클라우드 데이터 처리 방법, 장치, 전자 기기 및 저장 매체

관련 출원의 상호 참조

본 출원은 출원 번호가 201910430700. 7이고, 출원일이 2019년 05월 23일인 중국 특허 출원에 기반하여 제출하였고, 상기 중국 특허 출원의 우선권을 주장하며, 상기 중국 특허 출원의 모든 내용은 참조로서 본 출원에 인용된다.

본 출원은 컴퓨터 애플리케이션 기술 분야에 관한 것으로, 구체적으로 포인트 클라우드 데이터 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체에 관한 것이다.

포인트 클라우드 인식은 컴퓨터 비전 및 딥 러닝 분야에서 중요한 과제이며, 포인트 클라우드 데이터를 학습함으로써, 물체의 3 차원 구조를 인식할 수 있다.

기존의 기술적 과제를 해결하기 위해, 본 출원의 실시예는 포인트 클라우드 데이터 처리 방법, 장치 및 전자 기기를 제공한다.

상기 목적을 달성하기 위해, 본 출원의 실시예의 기술방안은 다음과 같이 구현된다.

본 출원의 실시예는 포인트 클라우드 데이터 처리 방법을 제공하며, 상기 포인트 클라우드 데이터 처리 방법은,

타겟 시나리오에서의 포인트 클라우드 데이터 및 제1 이산 컨볼루션 커널의 가중치 벡터를 얻는 단계; 상기 포인트 클라우드 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 제1 가중치 데이터를 얻는 단계; 상기 제1 가중치 데이터는 상기 포인트 클라우드 데이터를 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 나타냄 - ; 상기 제1 가중치 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 제1 이산 컨볼루션 처리를 수행하여, 제1 이산 컨볼루션 결과를 얻는 단계; 및 상기 제1 이산 컨볼루션 결과에 기반하여, 상기 포인트 클라우드 데이터에서의 적어도 일부 포인트 클라우드 데이터의 공간 구조 특징을 얻는 단계를 포함한다.

본 출원의 실시예는 포인트 클라우드 데이터 처리 장치를 더 제공하며, 상기 클라우드 데이터 처리 장치는 획득 유닛, 보간 처리 유닛 및 특징 획득 유닛을 포함하며; 여기서,

상기 획득 유닛은, 타겟 시나리오에서의 포인트 클라우드 데이터 및 제1 이산 컨볼루션 커널의 가중치 벡터를 얻도록 구성되며;

상기 보간 처리 유닛은, 상기 포인트 클라우드 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 제1 가중치 데이터를 얻도록 구성되며 - 상기 제1 가중치 데이터는 상기 포인트 클라우드 데이터를 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 나타냄 - ;

상기 특징 획득 유닛은, 상기 제1 가중치 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 제1 이산 컨볼루션 처리를 수행하여, 제1 이산 컨볼루션 결과를 얻고; 상기 제1 이산 컨볼루션 결과에 기반하여 상기 포인트 클라우드 데이터에서의 적어도 일부 포인트 클라우드 데이터의 공간 구조 특징을 얻도록 구성된다.

본 출원의 실시예는 컴퓨터 프로그램이 저장된 컴퓨터 판독 가능한 저장 매체를 더 제공하며, 상기 프로그램은 프로세서에 의해 실행될 때 본 출원의 실시예에 따른 포인트 클라우드 데이터 처리 방법의 단계를 구현한다.

본 출원의 실시예는 메모리, 프로세서및 메모리에 저장되고 프로세서에서 작동 가능한 컴퓨터 프로그램을 포함하는 전자 기기를 더 제공하며, 상기 프로세서는 상기 프로그램을 실행할 때 본 출원의 실시예에 따른 포인트 클라우드 데이터 처리 방법의 단계를 구현한다.

본 출원의 실시예는 컴퓨터 실행 가능 명령어를 포함하는 컴퓨터 프로그램 제품을 더 제공하며, 상기 컴퓨터 실행 가능 명령어는 실행된 후, 본 출원의 실시예에서 제공한 임의의 포인트 클라우드 데이터 처리 방법을 구현할 수 있다.

본 출원의 실시예는 포인트 클라우드 데이터 처리 방법, 장치, 전자 기기 및 컴퓨터 판독 가능한 저장 매체를 제공하며, 상기 포인트 클라우드 데이터 처리 방법은, 타겟 시나리오에서의 포인트 클라우드 데이터 및 제1 이산 컨볼루션 커널의 가중치 벡터를 얻는 단계; 상기 포인트 클라우드 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 제1 가중치 데이터를 얻는 단계 - 상기 제1 가중치 데이터는 상기 포인트 클라우드 데이터와 상기 제1 이산 컨볼루션 커널의 가중치 벡터의 연관성을 구축하는데 사용됨 - ; 상기 제1 가중치 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 이산 컨볼루션 처리를 수행하여, 상기 포인트 클라우드 데이터에서의 적어도 일부 포인트 클라우드 데이터의 공간 구조 특징을 얻는 단계를 포함한다. 본 출원의 실시예의 기술방안을 사용하여, 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 포인트 클라우드 데이터와 제1 이산 컨볼루션 커널 사이의 연관성을 구축함으로써, 즉 포인트 클라우드 데이터를 제1 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당하는 가중치를 획득함으로써, 이산 포인트 클라우드 데이터를 이산 컨볼루션 커널의 가중치 벡터와 정렬하여, 이산 컨볼루션 처리 프로세서에서 포인트 클라우드 데이터의 공간 구조 특징을 더 잘 캡처할 수 있도록, 포인트 클라우드 데이터 및 제1 이산 컨볼루션 커널 사이의 기하학적 관계를 명시적으로 정의한다.

도 1은 본 출원의 실시예의 포인트 클라우드 데이터 처리 방법의 흐름의 모식도 1이다.
도 2a 및 도 2b는 각각 본 출원의 실시예의 포인트 클라우드 처리 방법 중의 보간 처리의 모식도이다.
도 3은 본 출원의 실시예의 포인트 클라우드 데이터 처리 방법의 흐름의 모식도 2이다.
도 4는 본 출원의 실시예의 포인트 클라우드 데이터 처리 방법 중의 제1 네트워크의 구조의 모식도이다.
도 5는 본 출원의 실시예의 포인트 클라우드 데이터 처리 방법의 흐름의 모식도 3이다.
도 6은 본 출원의 실시예의 포인트 클라우드 데이터 처리 방법 중의 제2 네트워크의 구조의 모식도이다.
도 7은 본 출원의 실시예의 포인트 클라우드 데이터 처리 장치의 구성 구조의 모식도 1이다.
도 8은 본 출원의 실시예의 포인트 클라우드 데이터 처리 장치의 구성 구조의 모식도 2이다.
도 9는 본 출원의 실시예의 포인트 클라우드 데이터 처리 장치의 구성 구조의 모식도 3이다.
도 10은 본 출원의 실시예의 전자 기기의 구성 구조의 모식도이다.

이하 도면 및 구체적인 실시예와 결합하여 본 출원에 대해 추가로 상세하게 설명한다.

본 출원의 실시예는 포인트 클라우드 데이터 처리 방법을 제공하였다. 도 1은 본 출원의 실시예의 포인트 클라우드 데이터 처리 방법의 흐름의 모식도 1이며; 도 1에 도시된 바와 같이, 상기 포인트 클라우드 데이터 처리 방법은 다음의 단계들을 포함한다.

단계 101에 있어서, 타겟 시나리오에서의 포인트 클라우드 데이터 및 제1 이산 컨볼루션 커널의 가중치 벡터를 얻는다.

단계 102에 있어서, 상기 포인트 클라우드 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 제1 가중치 데이터를 얻으며, 상기 제1 가중치 데이터는 상기 포인트 클라우드 데이터를 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 나타낸다.

단계 103에 있어서, 상기 제1 가중치 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 제1 이산 컨볼루션 처리를 수행하여, 제1 이산 컨볼루션 결과를 얻는다.

단계 104에 있어서, 상기 제1 이산 컨볼루션 결과에 기반하여, 상기 포인트 클라우드 데이터에서의 적어도 일부 포인트 클라우드 데이터의 공간 구조 특징을 얻는다.

본 실시예에서, 포인트 클라우드 데이터는 측정 기기에 의해 획득된 타겟 시나리오에서의 대상의 외관 표면의 포인트 데이터 집합으로, 타겟 시나리오에서의 대상의 표면 특성을 나타내는 방대한 포인트의 집합이다. 상기 포인트 클라우드 데이터는 각 포인트의 3 차원 좌표 데이터를 포함한다. 실제 응용에서, 하나의 실시형태로서, 상기 포인트 클라우드 데이터는 N*3의 매트릭스 벡터로 표현될 수 있으며, 여기서, N은 포인트 클라우드 데이터 중의 포인트의 개수를 나타내고, 각각의 포인트의 3 차원 좌표는 1*3의 특징 벡터로 표현될 수 있다. 다른 실시형태에서, 상기 포인트 클라우드 데이터가 각각의 포인트의 3 차원 좌표 데이터 외에도, 또한 적색(Red), 녹색(Green), 청색(Blue)의 색상 데이터(약칭은 RGB 데이터임)와 같은 색상 정보를 포함할 수 있으면, 상기 포인트 클라우드 데이터는 N*6의 매트릭스로 표현될 수 있으며, 각각의 포인트의 데이터는 1*6의 매트릭스로 표현될 수 있으며, 여기서, 3 개의 차원의 데이터는 포인트의 3 차원 좌표를 나타내기 위한 것이고, 나머지 3 개의 차원의 데이터는 세 가지 색상의 데이터를 표현하기 위한 것이다.

여기서, 상기 포인트 클라우드 데이터는 설명 정보를 더 포함하고, 상기 설명 정보는 포인트 클라우드 데이터 중의 각각의 포인트의 특징으로 표현될 수 있으며, 상기 포인트 클라우드 데이터 중 각각의 포인트의 특징은 법선 방향, 곡률 등 특징을 포함할 수 있다. 실제 응용에서, 상기 설명 정보는 포인트 클라우드 데이터의 특징이 포함된 특징 벡터로 표현될 수도 있다. 이해할 수 있는 것은, 상기 포인트 클라우드 데이터는 포인트 클라우드 데이터에 대응하는 위치 정보 및 특징 벡터를 포함한다.

본 실시예에서, 이산 컨볼루션 커널의 가중치 벡터(본 실시예에서의 제1 이산 컨볼루션 커널의 가중치 벡터 및 후속적인 실시예에서의 제2 이산 컨볼루션 커널의 가중치 벡터 및 제3 이산 컨볼루션 커널의 가중치 벡터를 포함함)는 3 차원 이산 컨볼루션 커널의 가중치 벡터이다. 이해할 수 있는 것은, 3 차원 이산 컨볼루션 커널이 이산 컨볼루션 처리 프로세스를 수행하는 동안 하나의 큐브 영역에 대응하면, 상기 큐브 영역의 8 개의 꼭지점은 이산 컨볼루션 커널의 가중치 벡터(본 실시예에서의 제1 이산 컨볼루션 커널의 가중치 벡터)에 대응할 수 있으며, 이해할 수 있는 것은, 본 실시예에서 상기 이산 컨볼루션 커널의 가중치 벡터는 하나의 가중치 벡터를 의미하는 것이 아니라, 적어도 8 개의 가중치 벡터를 의미하며, 상기 8 개의 가중치 벡터는 동일한 이산 컨볼루션 커널의 가중치 벡터일 수도 있고, 복수 개의 상이한 이산 컨볼루션 커널의 가중치 벡터일 수도 있다.

본 실시예에서, 이산 컨볼루션 커널의 가중치 벡터는 컨볼루션 파라미터에 대응하며, 상기 컨볼루션 파라미터는 컨볼루션 커널 크기 및 길이를 포함할 수 있으며; 여기서, 상기 컨볼루션 커널 크기 및 길이는 컨볼루션 조작의 사이즈 범위를 결정하며, 즉 큐브 영역의 크기 또는 변의 길이를 결정한다.

본 실시예에서, 포인트 클라우드 데이터에서의 각 포인트는 이산 분포되었으므로, 포인트 클라우드 데이터의 공간 구조 정보를 완전히 인식하기 위해, 본 실시예에서 우선 단계 102에 기재된 기술방안을 통해 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 포인트 클라우드 데이터가 제1 이산 컨볼루션 커널의 가중치 벡터의 위치와 정렬되도록, 포인트 클라우드 데이터와 제1 이산 컨볼루션 커널의 가중치 벡터의 연관성을 구축함으로써, 이산 컨볼루션 처리 프로세스에서 포인트 클라우드 데이터의 공간 구조 특징을 더 잘 캡처할 수 있다.

본 출원의 선택적인 실시예에서, 단계 102에 있어서, 상기 포인트 클라우드 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 제1 가중치 데이터를 얻는 단계는, 상기 포인트 클라우드 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 기설정된 보간 처리 방식에 따라 제1 가중치 데이터를 얻는 단계 - 상기 제1 가중치 데이터는 상기 포인트 클라우드 데이터를 기설정된 조건을 만족하는 제1 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 나타내고; 여기서, 상기 포인트 클라우드 데이터는 상기 기설정된 조건을 만족하는 제1 이산 컨볼루션 커널의 가중치 벡터로 둘러싸인 특정 기하학적 모양 영역 내에 위치함 - 를 포함한다.

본 실시예에서, 기설정된 상이한 보간 처리 방식으로 포인트 클라우드 데이터 보간 처리를 수행할 수 있다. 여기서, 보간 처리는 보간 함수를 통해 구현될 수 있으며, 즉 상이한 보간 함수를 통해 포인트 클라우드 데이터에 대해 보간 처리를 수행할 수 있다. 예를 들어, 상기 보간 처리 방식은 삼선 보간 처리 방식 또는 가우스 보간 처리 방식일 수 있으며, 즉 삼선 보간 함수 또는 가우스 함수를 통해 포인트 클라우드 데이터 보간 처리를 수행할 수 있다. 실제 응용에서, 이산 컨볼루션 커널의 가중치 벡터(본 실시예에서 제1 이산 컨볼루션 커널의 가중치 벡터임) 및 포인트 클라우드 데이터(구체적으로 포인트 클라우드 데이터의 좌표임)를 보간 함수에 입력하여, 제1 가중치 데이터를 얻을 수 있다.

본 실시예에서, 상이한 보간 처리 방식의 경우, 동일한 포인트 클라우드 데이터에 대응하는, 기설정된 조건을 만족하는 제1 이산 컨볼루션 커널의 가중치 벡터는 상이하며, 특정 기하학적 모양 영역도 상이하다. 여기서, 기설정된 조건을 만족하는 제1 이산 컨볼루션 커널의 가중치 벡터는 포인트 클라우드 데이터가 위치한 특정 기하학적 모양 영역을 둘러싸는 이산 컨볼루션 커널의 가중치 벡터이다.

도 2a 및 도 2b는 각각 본 출원의 실시예의 포인트 클라우드 데이터 처리 방법 중의 보간 처리 모식도이다. 하나의 실시형태로서, 도 2a에 도시된 바와 같이, 보간 처리 방식이 가우스 보간 처리 방식인 경우, 특정 기하학적 모양 영역은 이산 컨볼루션 커널에 대응하는 큐브 영역이며, 즉 8 개의 가중치 벡터(본 실시예에서는 제1 이산 컨볼루션 커널의 가중치 벡터임)로 형성된 큐브 영역이며, 큐브 영역의 8 개의 꼭지점은 8 개의 가중치 벡터에 각각 대응하며, 각각의 큐브 영역의 8 개의 꼭지점에 대응하는 8 개의 가중치 벡터는 동일한 이산 컨볼루션 커널의 가중치일 수도 있고, 복수 개의 상이한 이산 컨볼루션 커널의 가중치일 수도 있다. 따라서 포인트가 어느 큐브 영역 내에 있으면, 기설정된 조건을 만족하는 제1 이산 컨볼루션 커널의 가중치 벡터는 상기 포인트가 위치한 큐브 영역의 8 개의 꼭지점에 대응하는 가중치 벡터이며, 도 2a에 도시된 바와 같다. 이에 따라, 가우스 보간 방식으로 포인트 클라우드 데이터에 대해 처리를 수행하며, 획득된 제1 가중치 데이터는 상기 포인트 클라우드 데이터를 상기 포인트 클라우드 데이터가 위치한 큐브 영역에 대응하는 8 개의 가중치 벡터 중 각 가중치 벡터에 대응하는 위치에 할당한 가중치를 나타낸다.

다른 실시형태로서, 도 2b에 도시된 바와 같이, 보간 처리 방식이 가우스 보간 처리 방식인 경우, 특정 기하학적 모양 영역은 이산 컨볼루션 커널의 가중치 벡터(본 실시예에서는 제1 이산 컨볼루션 커널의 가중치 벡터임)를 구심으로 하고, 기설정된 길이를 반경으로 하는 구형 영역이며; 여기서, 상이한 이산 컨볼루션 커널의 가중치 벡터에 대응하는 구형 영역의 반경은 동일하거나 상이할 수 있다. 이해할 수 있는 것은, 실제 응용에서, 포인트 클라우드 데이터가 위치한 구형 영역은 하나일 수 있거나, 둘 또는 둘 이상일 수 있거나, 0 개일수도 있으며, 구체적으로 도 2b에 도시된 바와 같다. 가우스 보간 방식으로 포인트 클라우드 데이터에 대해 처리를 수행하여, 획득된 제1 가중치 데이터는 상기 포인트 클라우드 데이터를 상기 포인트 클라우드 데이터가 위치한 구형 영역의 구심 위치(즉 어느 제1 이산 컨볼루션 커널의 가중치 벡터)에 할당한 가중치를 나타낸다.

이해할 수 있는 것은, 하나의 포인트 클라우드 데이터는 하나의 이산 컨볼루션 커널의 8 개의 가중치 벡터와 모두 연관성을 구축할 수 있으며, 도 2a에 도시된 바와 같은 시나리오이며; 하나의 이산 컨볼루션 커널의 일부 가중치 벡터(예를 들어, 하나의 제1 이산 컨볼루션 커널의 가중치 벡터)와 연관성을 구축할 수도 있으며, 도 2b에 도시된 바와 같은 시나리오이며; 복수 개의 이산 컨볼루션 커널에서의 각각의 이산 컨볼루션 커널의 일부 가중치 벡터와 연관성을 구축할 수도 있으며, 예를 들어 가우스 보간 처리 방식에서, 각 구형 영역의 반경은 상대적으로 크므로, 포인트 클라우드 데이터가 복수 개의 상이한 이산 컨볼루션 커널의 가중치 벡터에 대응하는 구형 영역 내에 위치한다.

본 출원의 선택적인 실시예에서, 단계 103에 대해, 일반적인 경우, 이산 컨볼루션 처리는 2 개의 이산 시퀀스를 합의된 규칙에 따라 각각 쌍별 곱셈 후 쌍별 합산 처리하는 방식을 말한다. 본 실시예에서 제1 가중치 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 이산 컨볼루션 처리를 수행하며, 이는 본 실시예의 가중 이산 컨볼루션 처리 방식과 동일하며, 즉 매번 관련 시퀀스의 쌍별 곱셈 처리에 대해, 곱셈 결과를 모두 상기 제1 가중치 데이터와 곱셈한다. 본 실시예에서, 제1 이산 컨볼루션 커널의 가중치 벡터를 포인트 클라우드 데이터의 특징 벡터와 쌍별 곱셈 처리를 수행하되, 각각의 쌍별 곱셈 결과를 모두 상기 제1 가중치 데이터에 곱셈한 후, 합산한다.

본 출원의 선택적인 실시예에서, 단계 103에 대해, 상기 제1 이산 컨볼루션 결과를 얻은 이후, 상기 포인트 클라우드 데이터 처리 방법은, 정규화 파라미터에 기반하여 상기 제1 이산 컨볼루션 결과에 대해 정규화 처리를 수행하는 단계 - 상기 정규화 파라미터는 상기 포인트 클라우드 데이터가 위치한 상기 특정 기하학적 모양 영역 내의 포인트 클라우드 데이터의 개수에 따라 결정됨 - 를 더 포함한다. 하나의 예로서, 가우스 보간 처리 방식을 사용하여, 도 2a에 도시된 바와 같은 어느 큐브 영역 내의 포인트 클라우드 개수가 4 개이면, 이 4 개의 포인트 클라우드 데이터 중의 각각의 포인트 클라우드 데이터에 대해 이산 컨볼루션 처리를 수행하여 제1 이산 컨볼루션 결과를 얻은 후, 수치 4에 기반하여 상기 제1 이산 컨볼루션 결과에 대해 정규화 처리를 수행한다. 다른 예로서, 가우스 보간 처리 방식을 사용하여, 도 2b에 도시된 바와 같은 어느 구형 영역 내의 포인트 클라우드 개수가 2 개이면, 이 2 개의 포인트 클라우드 데이터 중의 각각의 포인트 클라우드 데이터에 대해 이산 컨볼루션 처리를 수행하여 제1 이산 컨볼루션 결과를 얻은 후, 수치 2에 기반하여 상기 제1 이산 컨볼루션 결과에 대해 정규화 처리를 수행한다.

하나의 실시형태로서, 전술한 제1 이산 컨볼루션 처리 및 정규화 처리는 다음의 표현식 (1)을 참조하여 수행할 수 있다.

여기서,

는 출력의 정규화 처리된 이산 컨볼루션 결과(본 실시예에서 정규화 처리된 제1 이산 컨볼루션 결과임)를 나타내고;

은 출력의 포인트 클라우드 위치를 나타내며;

은 상기 특정 기하학적 모양 영역 내의 포인트 클라우드 데이터 개수를 나타내며;

은 이산 컨볼루션 커널의 가중치 벡터(본 실시예에서 제1 이산 컨볼루션 커널의 가중치 벡터임)에 대응하는 위치를 나타내며,

은 포인트 클라우드 데이터에 대응하는 위치를 나타내며,

은 이산 컨볼루션 커널에 기반한 가중치 벡터(본 실시예에서 제1 이산 컨볼루션 커널의 가중치 벡터임)에 대응하는 위치 및 포인트 클라우드 데이터에 대응하는 위치 및 보간 함수 T에 의해 결정된 가중치 데이터(본 실시예에서 제1 가중치 데이터임)를 나타내며;

은 이산 컨볼루션 커널의 가중치 벡터(본 실시예에서 제1 이산 컨볼루션 커널의 가중치 벡터임);

은 상기 특정 기하학적 영역 내의 포인트 클라우드 데이터의 특징 벡터를 나타낸다.

본 실시예 단계 103에서, 제1 가중치 데이터 및 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 포인트 클라우드 데이터에 대해 제1 이산 컨볼루션 처리를 수행하며, 즉 포인트 클라우드 데이터를 기설정된 조건을 만족하는 제1 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 후, 제1 이산 컨볼루션 커널의 가중치 벡터를 통해 포인트 클라우드 데이터에 대해 이산 컨볼루션 처리를 수행함으로써, 포인트 클라우드 데이터의 공간 구조 특징을 나타내는 특징 벡터를 얻으며, 즉 제1 이산 컨볼루션 결과를 얻는다.

응용에 결합하면, 뉴럴 네트워크에 부여된 상이한 작업에 기반하여, 뉴럴 네트워크 인식 포인트 클라우드 데이터의 공간 구조 특징을 통해 타겟 시나리오에서의 대상의 카테고리를 더 결정할 수 있으며, 상기 대상의 카테고리는 예를 들어 차량, 사람 등이며, 상기 뉴럴 네트워크는 타겟 시나리오에서의 대상의 카테고리를 직접 출력할 수 있다. 뉴럴 네트워크 인식 포인트 클라우드 데이터 중 적어도 하나의 포인트 데이터의 공간 구조 특징을 통해 포인트 클라우드 데이터 중의 적어도 하나의 포인트 데이터의 시맨틱 정보를 더 결정할 수도 있으며, 포인트 데이터의 시맨틱 정보는 포인트 데이터의 카테고리를 나타낼 수 있으며, 상기 포인트 데이터의 카테고리는 상기 포인트 데이터가 속한 대상 정보를 나타내고, 예를 들어, 타겟 시나리오에 사람, 차량 등 복수 개의 대상이 포함되면, 포인트 데이터의 시맨틱 정보 인식을 통해, 포인트 클라우드 데이터 중의 포인트 데이터에 대응하는 대상이 사람인지 아니면 차량인지를 결정할 수 있으며, 따라서, 포인트 데이터의 시맨틱 정보를 통해 사람에 대응하는 모든 포인트 데이터 및 차량에 대응하는 모든 포인트 데이터를 인식 및 결정할 수 있다.

본 실시예의 단계 104에서, 포인트 클라우드 데이터에 대해 제1 이산 컨볼루션 처리를 수행함으로써, 목적은 포인트 클라우드 데이터 중의 포인트 데이터와 다른 포인트 데이터 사이의 차이를 확대하는 것이므로, 상기 포인트 클라우드 데이터에서의 적어도 일부 포인트 클라우드 데이터의 공간 구조 특징을 얻으며, 여기서, 상기 공간 구조 특징은 3 차원 공간 시나리오에서의 포인트 클라우드 데이터의 특징을 나타내고, 상기 포인트 클라우드 데이터의 특징은 법선 방향, 곡률 등을 포함할 수 있으며, 포인트 클라우드 데이터 중 적어도 일부 포인트 클라우드 데이터의 공간 구조 특징에 대한 결정을 통해, 구체적으로 포인트 클라우드 데이터의 법선 방향, 곡률 등 특징과 포인트 클라우드 데이터의 위치의 결정에 기반하여, 타겟 시나리오에서의 대상 및 상기 대상의 카테고리를 후속적으로 결정하거나, 또는 포인트 클라우드 데이터 중 적어도 하나의 포인트 데이터의 시맨틱 정보를 결정하기 위한 근거를 제공한다.

이를 기반으로, 본 실시예의 기술방안은 가상 현실, 증강 현실, 의료, 항공, 지능형 운전, 로봇 공학 및 다른 분야에 적합하다. 예를 들어, 지능형 주행 분야에서는, 주행 차량 앞 시나리오의 포인트 클라우드 데이터의 수집을 통해, 포인트 클라우드 데이터에 대해 본 실시예에서의 처리 방식을 사용하여 인식을 수행하여, 포인트 클라우드 데이터 중의 각 포인트 데이터가 속하는 대상을 결정할 수 있음으로써, 각 포인트 데이터의 시맨틱 분리를 구현하거나; 또는 포인트 클라우드 데이터에 대응하는 시나리오에서의 대상의 카테고리를 결정할 수 있음으로써, 주행 차량의 앞 시나리오에 다른 차량, 또는 보행자가 포함되어 있는지를 인식할 수 있어, 주행 차량의 후속적으로 실행하는 조작에 기본 데이터를 제공한다.

본 출원의 실시예의 기술방안을 사용하여, 포인트 클라우드 데이터에 대한 보간 처리를 수행하여, 포인트 클라우드 데이터와 제1 이산 컨볼루션 커널 사이의 연관성을 구축함으로써, 즉 포인트 클라우드 데이터를 제1 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 획득함으로써, 이산된 포인트 클라우드 데이터를 이산 컨볼루션 커널의 가중치 벡터와 정렬시켜, 이산 컨볼루션 처리 프로세스 동안, 포인트 클라우드 데이터의 공간 구조 특징을 더 잘 캡처하도록, 포인트 클라우드 데이터 및 제1 이산 컨볼루션 커널 사이의 기하학적 관계가 명시적으로 정의된다.

본 출원의 실시예는 포인트 클라우드 데이터 처리 방법을 더 제공한다. 도 3은 본 출원의 실시예의 포인트 클라우드 데이터 처리 방법의 흐름의 모식도 2이며; 도 3에 도시된 바와 같이, 상기 포인트 클라우드 데이터 처리 방법은 다음의 단계들을 포함한다.

단계 201에 있어서, 타겟 시나리오에서의 포인트 클라우드 데이터 및 제1 이산 컨볼루션 커널의 가중치 벡터를 얻는다.

단계 202에 있어서, 상기 포인트 클라우드 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 제1 가중치 데이터를 얻고, 상기 제1 가중치 데이터는 상기 포인트 클라우드 데이터를 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 나타내며; 여기서, 상기 제1 이산 컨볼루션 커널의 가중치 벡터는 n 개의 그룹이고, 상기 제1 가중치 데이터는 n 개의 그룹이며, n은 2보다 크거나 같은 정수이다.

단계 203에 있어서, 제k 그룹의 제1 가중치 데이터 및 제k 그룹의 제1 컨볼루션 파라미터에 기반하여 제k 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터 및 상기 포인트 클라우드 데이터에 대해 k 번째 제1 이산 컨볼루션 처리를 수행하여, k 번째 제1 이산 컨볼루션 결과를 얻고, 상기 제k 그룹의 제1 컨볼루션 파라미터는 k 번째 제1 이산 컨볼루션 처리의 사이즈 범위에 대응하고; k는 1보다 크거 같으며, n보다 작거나 같은 정수이다.

단계 204에 있어서, n 개의 제1 이산 컨볼루션 결과에 기반하여 상기 포인트 클라우드 데이터의 공간 구조 특징을 결정한다.

본 실시예 단계 201 내지 단계 202의 상세한 설명은 전술한 실시예에서의 단계 101 내지 단계 102에서의 상세한 설명을 참조하며, 여기서 더이상 설명하지 않는다. 마찬가지로, 본 실시예의 각 단계에서의 보간 처리 및 이산 컨볼루션 처리의 상세한 설명은 구체적으로 전술한 실시예의 단계 102 내지 단계 103의 상세한 설명을 참조하며, 여기서 더이상 설명하지 않는다.

본 출원의 선택적인 실시예에서, 단계 202에 대해, 상기 제1 이산 컨볼루션 커널의 가중치 벡터가 n 개의 그룹이면; 상기 포인트 클라우드 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 제1 가중치 데이터를 얻는 단계는, 상기 포인트 클라우드 데이터 및 제k 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 제k 그룹의 제1 가중치 데이터를 획득하는 단계 - k는 1보다 크거나 같고, n보다 작거나 같은 정수이고; n은 2보다 크거나 같은 정수임 - 를 포함한다. 실제 응용에서, 제1 이산 컨볼루션 커널의 가중치 벡터는 n 개의 그룹이 있고, 포인트 클라우드 데이터 및 n 개의 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터 중의 제k 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터를 보간 함수에 각각 입력하여, 제k 그룹의 제1 가중치 데이터를 얻는다. 다시 말해서, 포인트 클라우드 데이터 및 n 개의 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터를 보간 함수에 각각 입력하여, n 개의 그룹의 제1 가중치 데이터를 얻을 수 있다.

본 실시예에서, 3 차원 이산 컨볼루션 커널이 이산 컨볼루션 처리 프로세스를 수행하는 동안 일 큐브 영역에 대응하면, 상기 큐브 영역의 8 개의 꼭지점은 8 개의 가중치 벡터(제1 이산 컨볼루션 커널의 가중치 벡터로 표시됨)에 대응하며, 각각의 3 차원 이산 컨볼루션 커널은 컨볼루션 파라미터에 대응하며, 즉 상기 3 차원 이산 컨볼루션 커널에 대응하는 제1 이산 컨볼루션 커널의 가중치 벡터는 컨볼루션 파라미터에 대응하며, 상기 컨볼루션 파라미터는 컨볼루션 커널 크기 및 길이를 포함할 수 있으며; 여기서, 상기 컨볼루션 커널 크기 및 길이는 컨볼루션 조작의 사이즈 범위를 결정하며, 즉 큐브 영역의 크기 또는 변의 길이를 결정한다.

본 실시예에서, 포인트 클라우드 데이터에 대해, 제k 그룹의 제1 가중치 데이터 및 제k 그룹의 제1 컨볼루션 파라미터를 사용하여 제k 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터 및 포인트 클라우드 데이터에 대해 k 번째 제1 이산 컨볼루션 처리를 수행하여, k 번째 제1 이산 컨볼루션 결과를 얻으며, 구체적인 제1 이산 컨볼루션 처리 프로세스는 전술한 실시예를 참조할 수 있으며, 여기서 더이상 설명하지 않는다. 실제 응용에서, 본 실시예에서의 보간 처리 및 이산 컨볼루션 처리는 네트워크에서의 보간 이산 컨볼루션 계층에 의해 구현될 수 있다. 이해할 수 있는 것은, 본 실시예에서 n 개의 보간 이산 컨볼루션 계층을 통해 동일한 포인트 클라우드 데이터에 대해 각각 보간 처리 및 이산 컨볼루션 처리를 수행함으로써, n 개의 제1 이산 컨볼루션 결과를 획득한다.

여기서, 상기 제k 그룹의 제1 컨볼루션 파라미터는 k 번째 제1 이산 컨볼루션 처리의 사이즈 범위에 대응하고, 다시 말해서, n 개의 그룹의 제1 컨볼루션 파라미터에서의 적어도 일부 제1 컨볼루션 파라미터에 대응하는 이산 컨볼루션 처리의 사이즈 범위는 상이하다. 이해할 수 있는 것은, 상기 제1 컨볼루션 파라미터가 클수록, 이산 컨볼루션 처리의 사이즈 범위는 크고, 감수 영역은 크며; 이에 따라, 상기 제1 컨볼루션 파라미터가 작을수록, 이산 컨볼루션 처리의 사이즈 범위는 작고, 감수 영역은 작다. 본 실시예는 작은 제1 컨볼루션 파라미터에 대응하는 한 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터를 통해 포인트 클라우드 데이터에 대해 이산 컨볼루션 처리를 수행하여, 타겟 대상 표면의 정밀한 공간 구조 특징을 얻을 수 있고; 큰 제1 컨볼루션 파라미터에 대응하는 한 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터를 통해 포인트 클라우드 데이터에 대해 이산 컨볼루션 처리를 수행하여, 백그라운드의 공간 구조 특징을 얻을 수 있다. 이해할 수 있는 것은, 본 실시예에서의 n 개의 이산 컨볼루션 계층이 포함된 네트워크는, n 개의 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터 중의 제k 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터 및 대응하는 제k 그룹의 제1 컨볼루션 파라미터를 각각 통해 포인트 클라우드에 대해 데이터 보간 처리 및 이산 컨볼루션 처리를 수행할 수 있으며, 상기 네트워크는 다중 감수 영역을 가진 뉴럴 네트워크이며, 포인트 클라우드 데이터의 표면의 정밀한 공간 구조 특징 및 백그라운드 정보의 공간 구조 특징을 캡처할 수 있어, 후속적인 포인트 클라우드 데이터의 카테고리, 즉 타겟 시나리오에서의 대상의 카테고리(즉 분류 작업)의 결정에 유리함으로써, 분류 작업의 정확성을 향상시킬 수 있다.

상기 실시형태는, 포인트 클라우드 데이터에 대해 n 개의 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터 및 n 개의 그룹의 제1 컨볼루션 파라미터에 기반하여 병렬 방식을 사용하여 수행한 한 차례의 보간 처리 및 이산 컨볼루션 처리이며, 획득된 n 개의 제1 이산 컨볼루션 결과에 기반하여 상기 포인트 클라우드 데이터의 공간 구조 특징을 결정한다. 다른 실시형태에서, 포인트 클라우드 데이터의 공간 구조 특징 더 잘 인식하기 위해, 여러 회의 보간 처리 및 이산 컨볼루션 처리를 순차적으로 수행할 수 있어, 매번의 보간 처리 및 이산 컨볼루션 처리 프로세스에서, 다중 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터 및 다중 그룹의 제1 컨볼루션 파라미터에 기반하여 병렬 방식을 사용하여 보간 처리를 및 이산 컨볼루션 처리를 수행할 수 있다.

본 출원의 선택적인 실시예에서, 상기 n 개의 제1 이산 컨볼루션 결과에 기반하여 상기 포인트 클라우드 데이터의 공간 구조 특징을 결정하는 단계는, 제1 처리 데이터 및 제2 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 제1 처리 데이터에 대해 보간 처리를 수행하여, 제2 가중치 데이터를 얻는 단계 - 상기 제2 가중치 데이터는 상기 제1 처리 데이터를 상기 제2 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 나타내고; 여기서, 상기 제1 처리 데이터는 이전 이산 컨볼루션 처리 결과에 따라 결정되고, 이전 이산 컨볼루션 처리 결과가 n 개의 제1 이산 컨볼루션 결과인 경우, 상기 제1 처리 데이터는 상기 n 개의 제1 이산 컨볼루션 결과에 따라 결정됨 - ; 상기 제2 가중치 데이터 및 상기 제2 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 제1 처리 데이터에 대해 제2 이산 컨볼루션 처리를 수행하여, 제2 이산 컨볼루션 결과를 얻는 단계; 및 상기 제2 이산 컨볼루션 결과에 기반하여, 상기 포인트 클라우드 데이터의 공간 구조 특징을 얻는 단계를 포함한다.

하나의 실시형태로서, 본 실시예에서 n 개의 제1 이산 컨볼루션 결과를 통합하여, 제1 처리 데이터를 얻는다. 실제 응용에서, n 개의 제1 이산 컨볼루션 결과에서의 각각의 제1 이산 컨볼루션 결과 중 대응하는 채널의 데이터에 대해 가중 합산 처리를 수행함으로써, 제1 처리 데이터를 획득할 수 있다. 나아가 제2 이산 컨볼루션 커널의 가중치 벡터를 사용하여 상기 제1 처리 데이터에 대해 보간 처리를 수행하고, 제2 이산 컨볼루션 커널의 가중치 벡터 및 제2 가중치 데이터에 기반하여 상기 제1 데이터에 대해 이산 컨볼루션 처리를 수행하여, 제2 이산 컨볼루션 결과를 얻을 수 있다. 여기서, 보간 처리 및 이산 컨볼루션 처리의 구체적인 구현 방식과 전술한 실시예는 동일하며, 여기서 더이상 설명하지 않는다. 다른 실시형태에서, 이전 이산 컨볼루션 처리의 결과에 따라 상기 제1 처리 데이터를 결정하고, 상기 제1 처리 데이터의 결정 방식은 전술한 실시형태와 유사하며, 여기서 더이상 설명하지 않는다.

본 실시예에서, 상기 제2 이산 컨볼루션 커널의 가중치 벡터는 l 개의 그룹이고, 상기 제2 가중치 데이터는 l 개의 그룹이며, l는 2보다 크거나 같은 정수이며; 상기 제2 가중치 데이터 및 상기 제2 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 제1 처리 데이터에 대해 이산 컨볼루션 처리를 다시 수행하는 단계는, 제m 그룹의 제2 가중치 데이터 및 제m 그룹의 제2 컨볼루션 파라미터에 기반하여 제m 그룹의 제2 이산 컨볼루션 커널의 가중치 벡터 및 상기 제1 처리 데이터에 대해 m 번째 제2 이산 컨볼루션 처리를 수행하여, m 번째 제2 이산 컨볼루션 결과를 획득하는 단계 - 상기 제m 그룹의 제2 컨볼루션 파라미터는 m 번째 이산 컨볼루션 처리의 사이즈 범위에 대응하며; m은 1보다 크거나 같고, l보다 작거나 같은 정수임 - 를 포함하며; 상기 제2 이산 컨볼루션 결과에 기반하여, 상기 포인트 클라우드 데이터의 공간 구조 특징을 얻는 단계는, l 번째 제2 이산 컨볼루션 결과에 기반하여 상기 포인트 클라우드 데이터의 공간 구조 특징을 결정하는 단계를 포함한다. 여기서, l의 수치와 n의 수치는 동일하거나 상이하다.

이해할 수 있는 것은, 포인트 클라우드 데이터를 2 회의 보간 처리 및 이산 컨볼루션 처리를 순차적으로 수행하는 것을 예로 들면, 포인트 클라우드 데이터는 우선 n 개의 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터 중의 제k 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터를 통해 보간 처리를 수행하고, n 개의 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터 중의 제k 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터 및 n 개의 그룹의 제1 컨볼루션 계층 파라미터 중의 제k 그룹의 제1 컨볼루션 파라미터를 통해 이산 컨볼루션 처리를 각각 수행한 후, n 개의 제1 이산 컨볼루션 결과를 얻으며; 다음 n 개의 제1 이산 컨볼루션 결과를 제1 처리 데이터로 통합 한 후, l 개의 그룹의 제2 이산 컨볼루션 커널의 가중치 벡터 중의 제m 그룹의 제2 이산 컨볼루션 커널의 가중치 벡터를 통해 보간 처리를 수행하고, l 개의 그룹의 제2 이산 컨볼루션 커널의 가중치 벡터 중의 제m 그룹의 제2 이산 컨볼루션 커널의 가중치 벡터 및 l 개의 그룹의 제2 컨볼루션 파라미터 중의 제m 그룹의 제2 컨볼루션 파라미터를 통해 이산 컨볼루션 처리를 각각 수행하여, l 개의 그룹의 제2 이산 컨볼루션 결과를 얻으며, l 개의 제2 이산 컨볼루션 프로세스에 기반하여 상기 포인트 클라우드 데이터의 공간 구조 특징을 결정한다. 다시 말해서, 본 실시예에서의 포인트 클라우드 데이터는 보간-이산 컨볼루션-보간-이산 컨볼루션의 처리 프로세스를 거쳐, 매번 보간 처리 및 이산 컨볼루션 처리 프로세서에서 다중 경로를 통해서도 포인트 클라우드 데이터에 대해 보간 처리 및 이산 컨볼루션 처리를 수행한다. 실제 응용에서, 순환 처리의 횟수는 실제 경우에 기반하여 결정되며, 예를 들어, 3 회가 될 수 있다.

다음은 구체적으로 네트워크 구조를 결합하여 상세하게 설명한다.

도 4는 본 출원의 실시예의 포인트 클라우드 데이터 처리 방법 중의 제1 네트워크의 구조의 모식도이며; 3 개의 그룹의 보간 컨볼루션 계층을 포함하는 것을 예로 들어 설명하면, 각 그룹의 보간 컨볼루션 계층은 각각 입력 데이터에 대해 보간 처리 및 이산 컨볼루션 처리를 수행하며, 즉 각 그룹의 보간 컨볼루션 계층은 본 실시예에서의 보간 처리 및 이산 컨볼루션 처리 프로세스를 실행한다. 도 4에 도시된 바와 같이, 포인트 클라우드 데이터를 각각 3 개의 보간 컨볼루션 블록(InterpConv Block)에 입력하여 보간 처리 및 이산 컨볼루션 처리를 수행하며; 여기서, 각각의 보간 컨볼루션 블록은 3 개의 보간 컨볼루션 계층을 포함하며, 순차적으로 1*1*1의 보간 컨볼루션 계층(InterpConv), 3*3*3의 보간 컨볼루션 계층 및 1*1*1의 보간 컨볼루션 계층을 포함하며; 여기서, 1*1*1의 보간 컨볼루션 계층은 채널(channel)을 조정하기 위한 것이다. 상이한 보간 컨볼루션 블록 중의 3*3*3의 보간 컨볼루션 계층에 대응하는 컨볼루션 파라미터는 상이하며, 예를 들어, 첫 번째 보간 컨볼루션 블록 중의 3*3*3의 보간 컨볼루션 계층에 대응하는 컨볼루션 파라미터는 l=0. 4이고, 두 번째 보간 컨볼루션 블록 중의 3*3*3의 보간 컨볼루션 계층에 대응하는 컨볼루션 파라미터는 l=0. 2이며, 세 번째 보간 컨볼루션 블록 중의 3*3*3의 보간 컨볼루션 계층에 대응하는 컨볼루션 파라미터는 l=0. 1이다. 본 예에서, 컨볼루션 파라미터 l은 컨볼루션 커널 길이(kernel length)를 나타낸다. 하나의 예로서, 컨볼루션 커널 길이의 2 배(kernel length*2)는 도 2에 도시된 바와 같은 8 개의 가중치 벡터에 의해 형성된 큐브의 변의 길이를 나타낼 수 있다.

본 예에서, 입력된 포인트 클라우드 데이터는 N*3의 매트릭스 벡터를 통해 나타내고; 포인트 클라우드 데이터가 각각 3 개의 경로인 1*1*1의 보간 컨볼루션 계층을 통해 보간 컨볼루션 처리를 수행한 후, 획득된 데이터는 32 채널의 데이터이고, N*32로 표시되며; 다음 32 채널의 데이터(즉 N*32)를 3*3*3의 보간 컨볼루션 계층에 각각 입력하여, 획득된 데이터는 원본 데이터의 1/2로 다운 샘플링된 64 채널의 데이터이며, N/2*64로 표시되며; 다음 원본 데이터의 1/2로 다운 샘플링된 64 채널의 데이터(N/2*64)를 1*1*1의 보간 컨볼루션 계층에 입력하여 보간 컨볼루션 처리를 수행한 후, 획득된 원본 데이터의 1/2로 다운 샘플링된 128 채널의 데이터를, N/2*128로 표시한다. 여기서, 전술한 처리 프로세스는 하나의 포인트 클라우드 처리 블록 중의 처리 프로세스로 기록할 수 있으며, 상기 포인트 클라우드 처리 블록은 3 개의 보간 컨볼루션 블록(InterpConv Block)을 포함할 수 있다. 본 예에서, 적어도 두 개의 포인트 클라우드 처리 블록을 통해 포인트 클라우드 데이터에 대해 반복적으로 보간 컨볼루션 처리를 수행할 수 있으며, 도 4에 도시된 바와 같이, 2 개의 포인트 클라우드 처리 블록을 통해 포인트 클라우드 데이터에 대해 반복적으로 보간 컨볼루션 처리를 수행할 수 있다. 각각의 포인트 클라우드 처리 블록 중의 보간 컨볼루션 블록의 개수는 동일하거나 상이할 수 있으며, 본 예에서, 2 개의 포인트 클라우드 처리 블록 중의 보간 컨볼루션 블록의 개수는 동일하며, 각각 3 개이다. 3 개의 N/2*128 데이터를 통합한 후, 포인트 클라우드 처리 블록 중의 3 개의 보간 컨볼루션 블록을 통해 통합된 N/2*128 데이터에 대해 각각 처리를 수행하며, 처리 프로세스와 전술한 첫 번째 포인트 클라우드 데이터 블록의 처리 과정은 유사하다. 구별점은, 두 번째 포인트 클라우드 처리 블록에서의 보간 컨볼루션 블록에 대응하는 컨볼루션 파라미터와 첫 번째 포인트 클라우드 처리 블록에서의 보간 컨볼루션 블록에 대응하는 컨볼루션 파라미터는 상이할 수 있으며, 두 번째 포인트 클라우드 처리 블록에서의 보간 컨볼루션 블록에 대응하는 컨볼루션 파라미터는 첫 번째 포인트 클라우드 처리 블록에서의 보간 컨볼루션 블록에 대응하는 컨볼루션 파라미터보다 크며, 예를 들어, 두 번째 포인트 클라우드 처리 블록 중의 첫 번째 보간 컨볼루션 블록에서의 3*3*3의 보간 컨볼루션 계층에 대응하는 컨볼루션 파라미터는 l=0. 8이며, 첫 번째 포인트 클라우드 처리 블록 중의 첫 번째 보간 컨볼루션 블록에서의 3*3*3의 보간 컨볼루션 계층에 대응하는 컨볼루션 파라미터는 l=0. 4이며; 두 번째 포인트 클라우드 처리 블록 중의 두 번째 보간 컨볼루션 블록에서의 3*3*3의 보간 컨볼루션 계층에 대응하는 컨볼루션 파라미터는 l=0. 4이며, 첫 번째 포인트 클라우드 처리 블록 중의 두 번째 보간 컨볼루션 블록에서의 3*3*3의 보간 컨볼루션 계층에 대응하는 컨볼루션 파라미터는 l=0. 2이다. 이해할 수 있는 것은, 본 실시예에서 포인트 클라우드 데이터에 대한 반복적인 보간 처리 및 이산 컨볼루션 처리 프로세스 동안(즉 직렬 보간 컨볼루션 처리 프로세스 동안), 매번 이산 컨볼루션 처리에 대응하는 컨볼루션 파라미터는 점차 증가한다. 상이한 이산 컨볼루션 커널의 가중치 벡터 및 컨볼루션 파라미터를 사용하여 포인트 클라우드 데이터에 대한 보간 처리 및 이산 컨볼루션 처리 프로세스 동안(즉 직렬 보간 컨볼루션 처리 프로세스 동안), 상이한 이산 컨볼루션 처리에 대응하는 컨볼루션 파라미터는 상이할 수 있다.

나아가, 도 4에 도시된 바와 같이, 두 번째 포인트 클라우드 처리 블록에 의해 획득된 3 개의 N/4*256 데이터에 대해 통합을 수행하며, 구체적으로 3 개의 N/4*256에 대해 채널 수 합산을 수행한 후, 768 개의 채널의 데이터를 획득하며, N/4*768로 표시한다. N/4*768에 대해 1*1*1의 보간 컨볼루션 계층을 통해 보간 컨볼루션 처리를 수행하여, 1024 개의 채널의 데이터를 획득하며, N/4*1024을 획득한다. 최대 풀링 계층(Maxpooling)을 기반으로 N/4*1024에 대해 최대 풀링 처리를 수행하여, 전역 특징 벡터를 나타내는 데이터를 획득하며, 1*1024로 표시한다. 완전 연결 계층(FC)을 기반으로 1*1024에 대해 처리를 수행하여, 40 개의 채널의 데이터를 획득하고, 1*40으로 표시하며, 각각의 채널은 하나의 차원에 대응하며, 즉 40 개의 차원의 데이터를 출력하고, 각각의 차원은 하나의 카테고리에 대응한다.

본 출원의 선택적인 실시예에서, 상기 포인트 클라우드 데이터 처리 방법은, 상기 포인트 클라우드 데이터의 공간 구조 특징에 기반하여 상기 타겟 시나리오에서의 대상의 카테고리를 결정하는 단계 205를 더 포함한다.

본 실시예에서, 출력된, 포인트 클라우드 데이터의 공간 구조 특징을 나타내는 복수 개의 차원의 데이터에 기반하여 상기 포인트 클라우드 데이터에 대응하는 대상의 카테고리를 결정하며, 즉 타겟 시나리오에서의 대상의 카테고리를 결정한다. 구체적으로, 상기 복수 개의 차원의 데이터에서의 수치가 가장 큰 차원의 데이터에 기반하여 상기 대상의 카테고리를 결정한다. 예를 들어, 도 4에 도시된 예에서, 40 개의 차원의 데이터를 출력하며, 각각의 차원의 데이터가 하나의 카테고리에 대응할 수 있으면, 40 개의 차원의 데이터로부터 수치가 가장 큰 차원의 데이터를 결정하며, 수치가 가장 큰 차원의 데이터에 대응하는 카테고리를 상기 대상의 카테고리로 결정한다.

본 출원의 실시예의 기술방안을 사용하여, 한편으로, 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 포인트 클라우드 데이터와 제1 이산 컨볼루션의 연관성을 구축하기 위한 가중치 데이터를 획득하며, 즉 포인트 클라우드 데이터를 제1 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 획득함으로써, 이산 포인트 클라우드 데이터와 이산 컨볼루션 커널의 가중치 벡터를 정렬하여, 이산 컨볼루션 처리 프로세스 동안 포인트 클라우드 데이터의 공간 구조 특징을 더 잘 캡처할 수 있으며; 다른 한편으로, 상이한 컨볼루션 파라미터의 포인트 클라우드 데이터에 대해 각각 이산 컨볼루션 처리를 수행함으로써, 포인트 클라우드 데이터의 표면의 정밀한 공간 구조 특징 및 백그라운드 정보의 공간 구조 특징의 획득을 구현하여, 포인트 클라우드 데이터에 대응하는 대상 분류의 정확성을 향상시킬 수 있다.

본 출원의 실시예는 또한 포인트 클라우드 데이터 처리 방법을 제공한다. 도 5는 본 출원의 실시예의 포인트 클라우드 데이터 처리 방법의 흐름의 모식도 3이며; 도 5에 도시된 바와 같이, 상기 포인트 클라우드 데이터 처리 방법은 다음의 단계들을 포함한다.

단계 301에 있어서, 타겟 시나리오에서의 포인트 클라우드 데이터 및 제1 이산 컨볼루션 커널의 가중치 벡터를 얻는다.

단계 302에 있어서, 상기 포인트 클라우드 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 제1 가중치 데이터를 얻으며, 상기 제1 가중치 데이터는 상기 포인트 클라우드 데이터를 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 나타낸다.

단계 303에 있어서, 상기 제1 가중치 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 제1 이산 컨볼루션 처리를 수행하여, 제1 이산 컨볼루션 결과를 얻는다.

단계 304에 있어서, 상기 제1 이산 컨볼루션 결과에 대해 제1 업 샘플링 처리를 수행하여, 제1 업 샘플링 처리 결과를 얻는다.

단계 305에 있어서, 상기 제1 업 샘플링 처리 결과에 기반하여 상기 포인트 클라우드 데이터 중 적어도 하나의 포인트 데이터의 공간 구조 특징을 얻는다.

본 실시예 단계 301 내지 단계 302의 상세한 설명은 전술한 실시예에서의 단계 101 내지 단계 102에서의 상세한 설명을 참조하며, 여기서 더이상 설명하지 않는다. 마찬가지로, 본 실시예의 각 단계에서의 보간 처리 및 이산 컨볼루션 처리의 상세한 설명은 구체적으로 전술한 실시예의 단계 102 내지 단계 103의 상세한 설명을 참조하며, 여기서 더이상 설명하지 않는다.

본 실시예에서, 포인트 클라우드 데이터 중 적어도 하나의 포인트 데이터의 공간 구조 특징을 추출함으로써, 후속적으로 적어도 하나의 포인트 데이터의 공간 구조 특징에 기반하여 적어도 하나의 포인트 데이터의 시맨틱 정보를 결정하는데 용이하게 하기 위해, 본 실시예에서는 포인트 클라우드 데이터에 대해 제1 이산 컨볼루션 처리를 수행한 후, 이산 컨볼루션 처리 프로세스가 사이즈 감소를 수반하므로, 상기 제1 이산 컨볼루션 결과에 대해 제1 업 샘플링 처리를 수행해야 함으로써, 제1 이산 컨볼루션 결과의 사이즈를 복원하며, 즉 제1 이산 컨볼루션 결과의 사이즈를 확대하여, 제1 업 샘플링 처리 결과를 얻는 단계, 상기 제1 업 샘플링 처리 결과에 기반하여 상기 포인트 클라우드 데이터 중 적어도 하나의 포인트 데이터의 공간 구조 특징을 얻는 단계를 포함한다. 실제 응용에서, 보간 처리 및 이산 컨볼루션 처리에 대응하는 구조를 인코더 구조라 할 수 있으며, 업 샘플링 처리에 대응하는 구조를 디코더 구조라 할 수 있다.

전술한 실시형태에서, 포인트 클라우드 데이터에 대한 1 회 보간 처리, 이산 컨볼루션 처리 및 업 샘플링 처리는, 다른 실시형태에서, 인식 포인트 클라우드 데이터 중의 적어도 하나의 포인트 데이터의 공간 구조 특징을 더 잘 인식하기 위해, 여러 회의 보간 처리, 이산 컨볼루션 처리 및 업 샘플링 처리를 순차적으로 수행할 수 있다.

본 출원의 선택적인 실시예에서, 상기 제1 업 샘플링 처리 결과에 기반하여 상기 포인트 클라우드 데이터 중 적어도 하나의 포인트 데이터의 공간 구조 특징을 얻는 단계는, 이전 업 샘플링 처리된 결과 및 제3 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 이전 업 샘플링 처리된 결과에 대해 보간 처리를 수행하여, 제3 가중치 데이터를 얻는 단계 - 상기 제3 가중치 데이터는 이전 업 샘플링 처리된 결과를 상기 제3 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당된 가중치를 나타내고; 이전 업 샘플링 처리가 제1 이산 컨볼루션 결과에 대해 수행한 제1 업 샘플링 처리인 경우, 이전 업 샘플링 처리된 결과는 제1 업 샘플링 결과임 - ; 상기 제3 가중치 데이터 및 상기 제3 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 이전 업 샘플링 처리된 결과에 대해 제3 이산 컨볼루션 처리를 수행하여, 제3 이산 컨볼루션 결과를 얻는 단계; 상기 제3 이산 컨볼루션 결과에 대해 제2 업 샘플링 처리를 수행하여, 제2 업 샘플링 처리 결과를 얻는 단계; 및 상기 제2 업 샘플링 처리 결과에 기반하여 상기 포인트 클라우드 데이터 중 적어도 하나의 포인트 데이터의 공간 구조 특징을 얻는 단계를 포함한다.

이해할 수 있는 것은, 포인트 클라우드 데이터에 대해 1 회의 보간 처리, 제1 이산 컨볼루션 처리 및 제1 업 샘플링 처리를 수행한 후, 보간 처리, 제2 이산 컨볼루션 처리 및 제2 업 샘플링 처리를 반복적으로 수행할 수 있으며, 반복 횟수는 실제 상황에 근거하여 미리 구성될 수 있다.

아래에 구체적인 네트워크 구조와 결합하여 상세하게 설명한다.

도 6은 본 출원의 실시예의 포인트 클라우드 데이터 처리 방법 중의 제2 네트워크의 구조의 모식도이며; 도 6에 도시된 바와 같이, 인코더 및 디코더를 포함하며; 여기서, 상기 인코더는 복수 개의 보간 컨볼루션 계층(InterpConv)을 포함하고, 상기 복수 개의 보간 컨볼루션 계층을 통해 포인트 클라우드 데이터에 대해 순차적으로 보간 처리 및 이산 컨볼루션 처리를 수행하며, 각각의 보간 컨볼루션 계층은 본 실시예에서의 보간 처리 및 이산 컨볼루션 처리 프로세스를 수행할 수 있다. 여기서, 상기 복수 개의 보간 컨볼루션 계층에 대응하는 컨볼루션 파라미터는 상이할 수 있다. 하나의 예로서, 상기 복수 개의 보간 컨볼루션 계층에 각각 대응하는 컨볼루션 파라미터는 점차적으로 증가할 수 있다. 예를 들어, 도 6에 도시된 바와 같이, 첫 번째 3*3*3의 보간 컨볼루션 계층에 대응하는 컨볼루션 파라미터는 l=0. 05이고; 두 번째 3*3*3의 보간 컨볼루션 계층에 대응하는 컨볼루션 파라미터는 l=0. 1이며; 세 번째 3*3*3의 보간 컨볼루션 계층에 대응하는 컨볼루션 파라미터는 l=0. 2이며; 네 번째 3*3*3의 보간 컨볼루션 계층에 대응하는 컨볼루션 파라미터는 l=0. 4이다. 본 예에서, 컨볼루션 파라미터 l는 컨볼루션 커널 길이(kernel length)를 나타낸다. 하나의 예로서, 컨볼루션 커널 길이의 두 배(kernel length*2)는 도 2에 도시된 바와 같은 8 개의 가중치 벡터에 의해 형성된 큐브의 변두리 길이다.

본 예에서, 입력된 포인트 클라우드 데이터는 N*3의 매트릭스 벡터를 통해 표시되며; 포인트 클라우드 데이터는 첫 번째 3*3*3의 보간 컨볼루션 계층을 통해 보간 컨볼루션 처리를 수행한 후, 획득된 데이터는 원본 데이터의 1/2로 다운 샘플링된 16 채널의 데이터이며, N/2*16으로 표시되며; 원본 데이터의 1/2로 다운 샘플링된 16채널의 데이터(N/2*16)를 1*1*1의 보간 컨볼루션 계층에 입력하여 보간 컨볼루션 처리를 수행한 후, 채널 개수를 32 채널로 조정한 데이터를 획득하고, N/2*32로 표시하며, 이해할 수 있는 것은, 본 출원의 각 실시예에서, 1*1*1의 보간 컨볼루션 계층은 모두 채널 개수와 동일하다. N/2*32의 데이터를 두 번째 3*3*3의 보간 컨볼루션 계층에 입력하여 보간 컨볼루션 처리를 수행함으로써, 원본 데이터의 1/4로 다운 샘플링된 32채널의 데이터를 획득하고, N/4*32로 표시한다. N/4*32의 데이터를 1*1*1의 보간 컨볼루션 계층에 입력하여 보간 컨볼루션 처리를 수행한 후, 채널 개수가 64 채널로 조정된 데이터를 획득하고, N/4*64로 표시된다. N/4*64의 데이터를 세 번째 3*3*3의 보간 컨볼루션 계층에 입력하여 보간 컨볼루션 처리를 수행하여, 획득된 데이터는 원본 데이터의 1/8로 다운 샘플링된 32 채널의 데이터이며, N/8*64로 표시된다. N/8*64의 데이터를 1*1*1의 보간 컨볼루션 계층에 입력하여 보간 컨볼루션 처리를 수행한 후, 채널 개수가 128 채널로 조정된 데이터를 획득하며, N/8*128로 표시된다. N/8*128의 데이터를 네 번째 3*3*3의 보간 컨볼루션 계층에 입력하여 보간 컨볼루션 처리를 수행하여, 획득된 데이터는 원본 데이터의 1/16로 다운 샘플링된 128 채널의 데이터이며, N/16*128로 표시된다. N/16*128의 데이터를 1*1*1의 보간 컨볼루션 계층에 입력하여 보간 컨볼루션 처리를 수행한 후, 채널 개수가 256 채널로 조정된 데이터를 획득하며, N/16*256로 표시된다. 네트워크의 인코더 구조의 처리 프로세스로 사용될 수 있다.

나아가, N/16*256 데이터에 대해 업 샘플링(Upsampling) 처리를 수행하여, 획득된 데이터는 원본 데이터의 1/8로 업 샘플링된 256 채널의 데이터이고, N/8*256로 표시되며; N/8*256 데이터에 대해 업 샘플링 처리를 수행하여, 획득된 데이터는 원본 데이터의 1/4로 업 샘플링된 128 채널의 데이터이며, N/4*128로 표시되며; N/4*128 데이터에 대해 업 샘플링 처리를 수행하여, 획득된 데이터는 원본 데이터의 1/2로 업 샘플링된 128 채널의 데이터이며, N/2*128로 표시되며; N/2*128 데이터에 대해 업 샘플링 처리를 수행하여, 획득된 데이터는 원본 데이터의 128 채널로 업 샘플링된 데이터이며, N*128로 표시된다. N*128 데이터를 1*1*1의 보간 컨볼루션 계층에 입력하여 보간 컨볼루션 처리를 수행한 후, N*m의 데이터를 획득하며, 여기서, m은 포인트 클라우드 데이터 중의 포인트 클라우드의 개수로 나타낼 수 있으며, 즉 각각의 포인트 클라우드에 대응하는 복수 개의 차원의 특징 데이터이다.

본 출원의 선택적인 실시예에서, 상기 포인트 클라우드 데이터 처리 방법은, 상기 포인트 클라우드 데이터 중 적어도 하나의 포인트 데이터의 공간 구조 특징에 기반하여 상기 적어도 하나의 포인트 데이터의 시맨틱 정보를 결정하는 단계 306을 더 포함한다.

본 실시예에서, 출력된 적어도 하나의 포인트 데이터의 공간 구조 특징을 나타내는 복수 개의 차원의 데이터에 기반하여 상기 적어도 하나의 포인트 데이터의 시맨틱 정보를 결정하며, 즉 상기 적어도 하나의 포인트 데이터의 카테고리를 결정하며, 상기 포인트 데이터의 카테고리는 상기 포인트 데이터가 속한 대상 정보를 나타내며, 예를 들어, 타겟 시나리오에 사람, 차량 등 복수 개의 대상이 포함되고, 포인트 데이터의 시맨틱 정보를 통해, 포인트 클라우드 데이터 중의 포인트 데이터에 대응하는 대상이 사람인지 차량인지를 인식 및 결정하면, 포인트 데이터의 시맨틱 정보를 통해 사람에 대응하는 모든 포인트 데이터 및 차량에 대응하는 모든 포인트 데이터를 인식 및 결정한다. 구체적으로, 상기 적어도 하나의 포인트 데이터 중 각각의 포인트 데이터에 대응하는 복수 개의 차원의 특징 데이터 중 수치가 가장 큰 차원의 데이터에 기반하여 상기 포인트 데이터의 시맨틱 정보를 결정한다. 예를 들어, 도 6에 도시된 예에서, 각각의 포인트 데이터에 대해 N 개의 차원의 특징 데이터를 출력하며, 각각의 차원의 데이터가 하나의 카테고리에 대응할 수 있으면, N 개의 차원의 데이터로부터 수치가 가장 큰 차원의 데이터를 결정하고, 수치가 가장 큰 차원의 데이터에 대응하는 카테고리를 상기 포인트 데이터의 시맨틱 정보로 결정한다.

본 출원의 실시예의 기술방안을 사용하여, 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 포인트 클라우드 데이터와 제1 이산 컨볼루션의 연관성을 구축하기 위한 가중치 데이터를 획득하며, 즉 포인트 클라우드 데이터를 제1 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 획득함으로써, 이산 포인트 클라우드 데이터와 이산 컨볼루션 커널의 가중치 벡터를 정렬하여, 이산 컨볼루션 처리 프로세스에서 포인트 클라우드 데이터의 공간 구조 특징을 더 잘 캡처하는데 용이하므로, 포인트 클라우드 데이터의 시맨틱 정보를 더 잘 획득한다.

본 출원의 실시예는 또한 포인트 클라우드 데이터 처리 장치를 제공한다. 도 7은 본 출원의 실시예의 포인트 클라우드 데이터 처리 장치의 구성 구조의 모식도 1이며; 도 7에 도시된 바와 같이, 상기 클라우드 데이터 처리 장치는, 획득 유닛(41), 보간 처리 유닛(42) 및 특징 획득 유닛(43)을 포함하며; 여기서,

상기 획득 유닛(41)은, 타겟 시나리오에서의 포인트 클라우드 데이터 및 제1 이산 컨볼루션 커널의 가중치 벡터를 얻도록 구성되며;

상기 보간 처리 유닛(42)은, 상기 포인트 클라우드 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 제1 가중치 데이터를 얻도록 구성되며 - 상기 제1 가중치 데이터는 상기 포인트 클라우드 데이터를 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 나타냄 - ;

상기 특징 획득 유닛(43)은, 상기 제1 가중치 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 제1 이산 컨볼루션 처리를 수행하여, 제1 이산 컨볼루션 결과를 얻고; 상기 제1 이산 컨볼루션 결과에 기반하여 상기 포인트 클라우드 데이터에서의 적어도 일부 포인트 클라우드 데이터의 공간 구조 특징을 얻도록 구성된다.

본 실시예에서, 선택적으로, 상기 보간 처리 유닛(42)은, 상기 포인트 클라우드 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 기설정된 보간 처리 방식에 따라 제1 가중치 데이터를 얻도록 구성되며, 상기 제1 가중치 데이터는 상기 포인트 클라우드 데이터를 기설정된 조건을 만족하는 제1 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 날타내며; 여기서, 상기 포인트 클라우드 데이터는 상기 기설정된 조건을 만족하는 제1 이산 컨볼루션 커널의 가중치 벡터로 둘러싸인 특정 기하학적 모양 영역 내에 위치한다.

선택적으로, 상기 특징 획득 유닛(43)은 또한, 상기 제1 가중치 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 제1 이산 컨볼루션 처리를 수행하여, 제1 이산 컨볼루션 결과를 얻고; 정규화 파라미터에 기반하여 제1 이산 컨볼루션 결과에 대해 정규화 처리를 수행하며 - 상기 정규화 파라미터는 상기 포인트 클라우드 데이터가 위치한 상기 특정 기하학적 모양 영역 내의 포인트 클라우드 데이터의 개수에 따라 결정됨 - ; 정규화 처리된 결과에 기반하여, 상기 포인트 클라우드 데이터에서의 적어도 일부 포인트 클라우드 데이터의 공간 구조 특징을 얻도록 구성된다.

하나의 실시형태로서, 상기 제1 이산 컨볼루션 커널의 가중치 벡터는 n 개의 그룹이고, 상기 제1 가중치 데이터는 n 개의 그룹이며, n은 2보다 크거나 같은 정수이며; 상기 특징 획득 유닛(43)은, 제k 그룹의 제1 가중치 데이터 및 제k 그룹의 제1 컨볼루션 파라미터에 기반하여 제k 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터 및 상기 포인트 클라우드 데이터에 대해 k 번째 제1 이산 컨볼루션 처리를 수행하여, k 번째 제1 이산 컨볼루션 결과를 얻고 - 상기 제k 그룹의 제1 컨볼루션 파라미터는 k 번째 이산 컨볼루션 처리의 사이즈 범위에 대응하고; k는 1보다 크거나 같고 n보다 작거나 같은 정수임 - ; n 개의 제1 이산 컨볼루션 결과에 기반하여 상기 포인트 클라우드 데이터의 공간 구조 특징을 결정하도록 구성된다.

본 출원의 선택적인 실시예에서, 상기 보간 처리 유닛(42)은 또한, 제1 처리 데이터 및 제2 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 제1 처리 데이터에 대해 보간 처리를 수행하여, 제2 가중치 데이터를 얻도록 구성되고, 상기 제2 가중치 데이터는 상기 제1 처리 데이터를 상기 제2 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 나타내고; 여기서, 상기 제1 처리 데이터는 이전 이산 컨볼루션 처리 결과에 따라 결정되고, 이전 이산 컨볼루션 처리 결과가 n 개의 제1 이산 컨볼루션 결과인 경우, 상기 제1 처리 데이터는 상기 n 개의 제1 이산 컨볼루션 결과에 따라 결정되며;

상기 특징 획득 유닛(43)은 또한, 상기 제2 가중치 데이터 및 상기 제2 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 제1 처리 데이터에 대해 제2 이산 컨볼루션 처리를 수행하여, 제2 이산 컨볼루션 결과를 얻고; 상기 제2 이산 컨볼루션 결과에 기반하여, 상기 포인트 클라우드 데이터의 공간 구조 특징을 얻도록 구성된다.

여기서, 선택적으로, 상기 제2 이산 컨볼루션 커널의 가중치 벡터는 l 개의 그룹이고, 상기 제2 가중치 데이터는 l 개의 그룹이며, l는 2보다 크거나 같은 정수이며; 상기 특징 획득 유닛(43)은, 제m 그룹의 제2 가중치 데이터 및 제m 그룹의 제2 컨볼루션 파라미터에 기반하여 제m 그룹의 제2 이산 컨볼루션 커널의 가중치 벡터 및 상기 제1 처리 데이터에 대해 m 번째 제2 이산 컨볼루션 처리를 수행하여, m 번째 제2 이산 컨볼루션 결과를 획득하도록 구성되고 - 상기 제m 그룹의 제2 컨볼루션 파라미터는 m 번째 이산 컨볼루션 처리의 사이즈 범위에 대응하며; m은 1보다 크거나 같고, l보다 작거나 같은 정수임 - ; 또한 l 번째 제2 이산 컨볼루션 결과에 기반하여 상기 포인트 클라우드 데이터의 공간 구조 특징을 결정하도록 구성된다.

본 출원의 선택적인 실시예에서, 도 8에 도시된 바와 같이, 상기 클라우드 데이터 처리 장치는 상기 포인트 클라우드 데이터의 공간 구조 특징에 기반하여 상기 타겟 시나리오에서의 대상의 카테고리를 결정하도록 구성된 제1 결정 유닛(44)을 더 포함한다.

다른 실시형태로서, 상기 특징 획득 유닛(43)은, 상기 제1 가중치 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 제1 이산 컨볼루션 처리를 수행하여, 제1 이산 컨볼루션 결과를 얻고; 상기 제1 이산 컨볼루션 결과에 대해 제1 업 샘플링 처리를 수행하여, 제1 업 샘플링 처리 결과를 얻으며; 상기 제1 업 샘플링 처리 결과에 기반하여 상기 포인트 클라우드 데이터 중 적어도 하나의 포인트 데이터의 공간 구조 특징을 얻도록 구성된다.

본 출원의 다른 선택적인 실시예에서, 선택적으로, 상기 보간 처리 유닛(42)은 또한, 이전 업 샘플링 처리된 결과 및 제3 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 이전 업 샘플링 처리된 결과에 대해 보간 처리를 수행하여, 제3 가중치 데이터를 얻도록 구성되고, 상기 제3 가중치 데이터는 상기 이전 샘플링 처리된 결과를 상기 제3 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 나타내며; 이전 업 샘플링 처리가 제1 이산 컨볼루션 결과에 대해 수행한 제1 업 샘플링 처리인 경우, 이전 업 샘플링 처리된 결과는 제1 업 샘플링 결과이며;

상기 특징 획득 유닛(43)은 또한, 상기 제3 가중치 데이터 및 상기 제3 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 이전 업 샘플링 처리된 결과에 대해 제3 이산 컨볼루션 처리를 수행하여, 제3 이산 컨볼루션 결과를 얻고; 상기 제3 이산 컨볼루션 결과에 대해 제2 업 샘플링 처리를 수행하여, 제2 업 샘플링 처리 결과를 얻으며; 상기 제2 업 샘플링 처리 결과에 기반하여 상기 포인트 클라우드 데이터 중 적어도 하나의 포인트 데이터의 공간 구조 특징을 얻도록 구성된다.

본 출원의 선택적인 실시예에서, 도 9에 도시된 바와 같이, 상기 클라우드 데이터 처리 장치는 상기 포인트 클라우드 데이터 중 적어도 하나의 포인트 데이터의 공간 구조 특징에 기반하여 상기 적어도 하나의 포인트 데이터의 시맨틱 정보를 결정도록 구성된 제2 결정 유닛(45)을 더 포함한다.

본 출원의 실시예에서, 상기 클라우드 데이터 처리 장치에서의 획득 유닛(41), 보간 처리 유닛(42), 특징 획득 유닛(43), 제1 결정 유닛(44) 및 제2 결정 유닛(45)은, 실제 응용에서 모두 중앙처리장치(CPU, Central Processing Unit), 디지털 신호 프로세서(DSP, Digital Signal Processor), 마이크로 컨트롤러 유닛(MCU, Microcontroller Unit) 또는 현장 프로그래머블 게이트 어레이(FPGA, Field－Programmable Gate Array)에 의해 구현될 수 있다.

설명해야 할 것은, 전술한 실시예에서 제공한 포인트 클라우드 데이터 처리 장치는 포인트 클라우드 데이터 처리를 수행할 때, 상기 각 프로그램 모듈의 분할로 예를 들어 설명하며, 실제 응용에서, 상기 처리 분배는 필요에 따라 상이한 프로그램 모듈에 의해 완료될 수 있으며, 즉 전술한 설명의 전부 또는 부분 처리를 완료하기 위해 상기 포인트 클라우드 데이터 처리 장치의 내부 구조는 상이한 프로그램 모듈로 분할된다. 또한, 전술한 실시예에서 제공한 포인트 클라우드 데이터 처리 장치와 포인트 클라우드 데이터 처리 방법의 실시예는 동일한 개념에 속하며, 구체적인 구현 프로세스는 방법 실시예를 참조하며, 여기서 더이상 설명하지 않는다.

본 출원의 실시예는 또한 전자 기기를 제공한다. 도 10은 본 출원의 실시예의 전자 기기의 구성 구조의 모식도이며; 도 10에 도시된 바와 같이, 메모리(52), 프로세서(51) 및 메모리(52)에 저장되고 프로세서(51)에서 작동될 수 있는 컴퓨터 프로그램을 포함하며, 상기 프로세서(51)는 상기 프로그램을 실행할 때 본 출원의 실시예에 따른 포인트 클라우드 데이터 처리 방법의 단계를 구현한다.

선택적으로, 전자 기기에서의 각 컴포넌트는 버스 시스템(53)을 통해 커플링될 수 있다. 이해할 수 있는 것은, 버스 시스템(53)은 이러한 컴포넌트 사이의 연결 통신을 구현하기 위한 것이다. 버스 시스템(53)은 데이터 버스를 포함한 외에도 전원 버스, 제어 버스 및 상태 신호 버스를 포함할 수 있다. 그러나, 명확성을 위해, 다양한 버스는 도 10에서 버스 시스템(53)으로 표시된다.

이해할 수 있는 것은, 메모리(52)는 휘발성 메모리 또는 비 휘발성 메모리일 수 있거나, 휘발성 메모리 및 비 휘발성 메모리 양자 모두를 포함할 수 있다. 여기서, 비 휘발성 메모리는 읽기 전용 메모리(ROM, Read Only Memory), 프로그래머블 읽기 전용 메모리(PROM, Programmable Read-Only Memory), 삭제 가능한 프로그래머블 읽기 전용 메모리(EPROM, Erasable Programmable Read-Only Memory), 전기적 소거 가능 프로그래머블 읽기 전용 메모리(EEPROM, Electrically Erasable Programmable Read-Only Memory), 자기 랜덤 액세스 메모리(FRAM, ferromagnetic random access memory), 플래시 메모리(Flash Memory), 자기 표면 메모리, 컴팩트 디스크, 또는 컴팩트 디스크 읽기 전용 메모리(CD-ROM, Compact Disc Read-Only Memory)일 수 있으며; 자기 표면 메모리는 자기 디스크 메모리 또는 자기 테이프 메모리일 수 있다. 휘발성 메모리는 외부 캐시로 사용되는 랜덤 액세스 메모리(RAM, Random Access Memory)일 수 있다. 예시적이지만 한정적이지 않은 설명으로, 다양한 형태의 RAM을 사용할 수 있으며, 예를 들어, 정적 랜덤 액세스 메모리(SRAM, Static Random Access Memory), 동기식 정적 랜덤 액세스 메모리(SSRAM, Synchronous Static Random Access Memory), 동적 랜덤 액세스 메모리(DRAM, Dynamic Random Access Memory), 동기식 동적 랜덤 액세스 메모리(SDRAM, Synchronous Dynamic Random Access Memory), 더블 데이터 속도 동기식 동적 랜덤 액세스 메모리(DDRSDRAM, Double Data Rate Synchronous Dynamic Random Access Memory), 향상된 동기식 동적 랜덤 액세스 메모리(ESDRAM, Enhanced Synchronous Dynamic Random Access Memory), 동기식 동적 랜덤 액세스 메모리(SLDRAM, SyncLink Dynamic Random Access Memory), 직접 메모리 버스 랜덤 액세스 메모리(DRRAM, Direct Rambus Random Access Memory)일 수 있다. 본 출원의 실시예에서 설명된 메모리(52)는 이들 및 임의의 다른 적절한 타입의 메모리를 포함하도록 의도되지만 이에 한정되지 않는다.

전술한 본 출원의 실시예에 언급된 방법은 프로세서(51)에 적용될 수 있으며, 또는 프로세서(51)에 의해 구현된다. 프로세서(51)는 신호 처리 능력을 갖는 집적 회로 칩일 수 있으며, 구현 과정에서 상기 포인트 클라우드 데이터 처리 방법의 각 단계는 프로세서(51)에 있는 하드웨어의 집적 논리 회로 또는 소프트웨어 형태의 명령에 의해 완료될 수있다. 전술한 프로세서(51)는 범용 프로세서, DSP, 또는 다른 프로그래머블 논리 소자, 개별 게이트 또는 트랜지스터 논리 소자, 개별 하드웨어 컴포넌트 등일 수 있다. 프로세서(51)는 본 출원의 실시예에서 개시한 각 방법, 단계 및 논리 블록도를 구현하거나 실행할 수 있다. 범용 프로세서는 마이크로 프로세서 또는 임의의 종래의 프로세서 등일 수 있다. 본 출원의 실시예에서 개시된 방법의 단계를 결합하면, 하드웨어 디코딩 프로세서의 실행 또는 디코딩 프로세서의 하드웨어와 소프트웨어 모듈의 조합으로 직접 구현될 수 있다. 소프트웨어 모듈은 저장 매체에 위치할 수 있고, 상기 저장 매체는 메모리(52)에 위치할 수 있고, 프로세서(51)는 메모리(52)의 정보를 읽고, 하드웨어와 결합하여 전술한 방법의 단계를 완료한다.

예시적인 실시예에서, 전술한 방법을 실행하기 위한 전자 기기는 하나 또는 복수 개의 주문형 반도체(ASIC, Application Specific Integrated Circuit), 디지털 신호 처리 장치(DSP, Digital Signal Processor), 프로그램 가능 논리 소자(PLD, Programmable Logic Device), 복합 프로그램 가능 논리 소자(CPLD, Complex Programmable Logic Device), 필드 프로그래머블 게이트 어레이(FPGA, Field Programmable Gate Array), 범용 프로세서, 컨트롤러, 마이크로 컨트롤러(MCU, Micro Controller Unit), 마이크로 프로세서(Microprocessor), 또는 다른 전자 부품에 의해 구현된다.

예시적인 실시예에서, 본 출원의 실시예는 또한 컴퓨터 프로그램을 포함하는 메모리(52)와 같은 컴퓨터 저장 매체를 제공하며, 전술한 컴퓨터 프로그램은 전자 기기의 프로세서(51)에 의해 실행되어, 전술한 방법에 따른 단계를 완료한다. 컴퓨터 저장 매체는 FRAM, ROM, PROM, EPROM, EEPROM, Flash Memory, 자기 표면 메모리, 광디스크, 또는 CD-ROM 등 메모리일 수 있거나; 상기 메모리 중 하나 또는 임의의 조합을 포함하는 다양한 기기일 수도 있다.

본 출원의 실시예에는 컴퓨터 명령어가 저장된 컴퓨터 저장 매체를 제공하며, 상기 명령어는 프로세서에 의해 실행될 때 본 출원의 실시예에 따른 포인트 클라우드 데이터 처리 방법을 구현한다.

본 출원에 의해 제공된 몇 개의 실시예에서, 이해할 수 있는 것은, 개시된 기기 및 방법은, 다른 방식으로 구현될 수 있으며. 이상에서 설명한 기기 실시예는 다만 예시적인 것이고, 예를 들면 상기 유닛의 분할은 다만 논리적 기능 분할일 뿐이고 실제 구현 시 다른 분할 방식이 있을 수 있으며, 예를 들어, 복수의 유닛 또는 컴포넌트는 다른 하나의 시스템에 결합되거나 통합될 수 있거나, 일부 특징은 무시되거나 실행되지 않을 수 있다. 또한, 표시되거나 논의된 각 구성 부분은 서로 결합되거나, 직접 결합되거나, 통신 연결은 일부 인터페이스, 기기 또는 유닛을 통한 간접 결합 또는 통신 연결일 수 있으며, 전기적, 기계적 또는 다른 형태일 수 있다.

상기 분리된 부재로서 설명된 유닛은 물리적으로 분리될 수도 있고 물리적으로 분리되지 않을 수도 있으며, 유닛으로 디스플레이된 부재는 물리적 유닛일 수도 있고 아닐 수도 있으며, 즉 동일한 장소에 위치할 수도 있고, 또는 복수 개의 네트워크 유닛에 분포될 수도 있으며; 실제 필요에 따라 그 중의 일부 또는 전부를 선택하여 실시예의 방안의 목적을 구현할 수 있다.

또한, 본 출원의 각 실시예 중의 각 기능 유닛은 모두 하나의 처리 유닛에 통합될 수 있으며, 각 유닛은 각각 단독적으로 하나의 유닛으로 사용될 수 있으며, 둘 또는 둘 이상의 유닛이 하나의 유닛에 통합될 수 있으며; 상기 통합된 유닛은 하드웨어의 형태로 구현될 수 있으며, 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.

당업자는 상기 포인트 클라우드 데이터 처리 방법의 실시예를 구현하기 위한 모든 또는 일부 동작은 프로그램 명령어와 관련되는 하드웨어를 통해 완료될 수 있으며, 전술한 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 상기 프로그램이 수행될 때, 수행은 상기 포인트 클라우드 데이터 처리 방법의 실시예의 동작을 포함하며; 전술한 저장 매체는 판독 전용 메모리(Read Only Memory, ROM), 랜덤 액세스 메모리(Random Access Memory, RAM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

또는, 본 출원의 상기 통합된 유닛은 소프트웨어 기능 모듈의 형태로 구현되고 독립된 제품으로서 판매될 경우, 하나의 컴퓨터 판독 가능 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 출원의 실시예의 기술방안은 본질적으로 또는 종래 기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있으며, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되고, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)가 본 출원의 각 실시예에 따른 포인트 클라우드 데이터 처리 방법의 전부 또는 일부를 실행하도록 하는 일부 명령어를 포함한다. 전술한 저장 매체는, 이동식 저장 기기, ROM, RAM, 자기 디스크 또는 광 디스크 등 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

본 출원에서 제공하는 몇 개의 방법 실시예에 개시된 방법은, 새로운 방법 실시예를 얻기 위해 충돌없이 임의로 결합될 수 있다. 본 출원에서 제공하는 여러 제품 실시예에 개시된 기능은 충돌없이 임의로 조합되어 새로운 제품 실시예를 얻을 수 있다. 본 출원에서 제공되는 여러 방법 또는 장치 실시예에 개시된 특징은 새로운 방법 실시예 또는 장치 실시예를 얻기 위해 충돌없이 임의로 조합될 수 있다.

이상의 설명은 다만 본 발명의 구체적인 실시 형태일뿐이고, 본 발명의 보호 범위는 이에 한정되지 않는다. 본 발명이 속하는 기술 분야의 통상의 기술자라면, 본 발명에서 개시된 기술적 범위 내의 변화 또는 교체가 모두 본 출원의 보호 범위 내에 속해야 함을 쉽게 알 수 있을 것이다. 따라서, 본 출원의 보호 범위는 청구범위의 보호범위를 기준으로 해야 한다.

Claims

포인트 클라우드 데이터 처리 방법으로서,
타겟 시나리오에서의 포인트 클라우드 데이터 및 제1 이산 컨볼루션 커널의 가중치 벡터를 얻는 단계;
상기 포인트 클라우드 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 제1 가중치 데이터를 얻는 단계 - 상기 제1 가중치 데이터는 상기 포인트 클라우드 데이터를 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 나타냄 - ;
상기 제1 가중치 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 제1 이산 컨볼루션 처리를 수행하여, 제1 이산 컨볼루션 결과를 얻는 단계; 및
상기 제1 이산 컨볼루션 결과에 기반하여, 상기 포인트 클라우드 데이터에서의 적어도 일부 포인트 클라우드 데이터의 공간 구조 특징을 얻는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제1항에 있어서,
상기 포인트 클라우드 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 제1 가중치 데이터를 얻는 단계는,
상기 포인트 클라우드 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 기설정된 보간 처리 방식에 따라 제1 가중치 데이터를 얻는 단계 - 상기 제1 가중치 데이터는 상기 포인트 클라우드 데이터를 기설정된 조건을 만족하는 제1 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 나타내고; 상기 포인트 클라우드 데이터는 상기 기설정된 조건을 만족하는 제1 이산 컨볼루션 커널의 가중치 벡터로 둘러싸인 특정 기하학적 모양 영역 내에 위치함 - 를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제2항에 있어서,
상기 제1 이산 컨볼루션 결과를 얻은 이후, 상기 포인트 클라우드 데이터 처리 방법은, 정규화 파라미터에 기반하여 제1 이산 컨볼루션 결과에 대해 정규화 처리를 수행하는 단계 - 상기 정규화 파라미터는 상기 포인트 클라우드 데이터가 위치한 상기 특정 기하학적 모양 영역 내의 포인트 클라우드 데이터의 개수에 따라 결정됨 - 를 더 포함하고;
상기 제1 이산 컨볼루션 결과에 기반하여, 상기 포인트 클라우드 데이터에서의 적어도 일부 포인트 클라우드 데이터의 공간 구조 특징을 얻는 단계는, 정규화 처리된 결과에 기반하여, 상기 포인트 클라우드 데이터에서의 적어도 일부 포인트 클라우드 데이터의 공간 구조 특징을 얻는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제1 이산 컨볼루션 커널의 가중치 벡터는 n 개의 그룹이고, 상기 제1 가중치 데이터는 n 개의 그룹이며, n은 2보다 크거나 같은 정수이며;
상기 제1 가중치 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 제1 이산 컨볼루션 처리를 수행하여, 제1 이산 컨볼루션 결과를 얻는 단계는, 제k 그룹의 제1 가중치 데이터 및 제k 그룹의 제1 컨볼루션 파라미터에 기반하여 제k 그룹의 제1 이산 컨볼루션 커널의 가중치 벡터 및 상기 포인트 클라우드 데이터에 대해 k 번째 제1 이산 컨볼루션 처리를 수행하여, k 번째 제1 이산 컨볼루션 결과를 얻는 단계 - 상기 제k 그룹의 제1 컨볼루션 파라미터는 k 번째 제1 이산 컨볼루션 처리의 사이즈 범위에 대응하고; k는 1보다 크거 같으며, n보다 작거나 같은 정수임 - 를 포함하며;
상기 제1 이산 컨볼루션 결과에 기반하여, 상기 포인트 클라우드 데이터에서의 적어도 일부 포인트 클라우드 데이터의 공간 구조 특징을 얻는 단계는, n 개의 제1 이산 컨볼루션 결과에 기반하여 상기 포인트 클라우드 데이터의 공간 구조 특징을 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제4항에 있어서,
상기 n 개의 제1 이산 컨볼루션 결과에 기반하여 상기 포인트 클라우드 데이터의 공간 구조 특징을 결정하는 단계는,
제1 처리 데이터 및 제2 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 제1 처리 데이터에 대해 보간 처리를 수행하여, 제2 가중치 데이터를 얻는 단계 - 상기 제2 가중치 데이터는 상기 제1 처리 데이터를 상기 제2 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 나타내고; 상기 제1 처리 데이터는 이전 이산 컨볼루션 처리 결과에 따라 결정되고, 이전 이산 컨볼루션 처리 결과가 n 개의 제1 이산 컨볼루션 결과인 경우, 상기 제1 처리 데이터는 상기 n 개의 제1 이산 컨볼루션 결과에 따라 결정됨 - ;
상기 제2 가중치 데이터 및 상기 제2 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 제1 처리 데이터에 대해 제2 이산 컨볼루션 처리를 수행하여, 제2 이산 컨볼루션 결과를 얻는 단계; 및
상기 제2 이산 컨볼루션 결과에 기반하여, 상기 포인트 클라우드 데이터의 공간 구조 특징을 얻는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제5항에 있어서,
상기 제2 이산 컨볼루션 커널의 가중치 벡터는 l 개의 그룹이고, 상기 제2 가중치 데이터는 l 개의 그룹이며, l는 2보다 크거나 같은 정수이며;
상기 제2 가중치 데이터 및 상기 제2 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 제1 처리 데이터에 대해 이산 컨볼루션 처리를 다시 수행하는 단계는, 제m 그룹의 제2 가중치 데이터 및 제m 그룹의 제2 컨볼루션 파라미터에 기반하여 제m 그룹의 제2 이산 컨볼루션 커널의 가중치 벡터 및 상기 제1 처리 데이터에 대해 m 번째 제2 이산 컨볼루션 처리를 수행하여, m 번째 제2 이산 컨볼루션 결과를 획득하는 단계 - 상기 제m 그룹의 제2 컨볼루션 파라미터는 m 번째 제2 이산 컨볼루션 처리의 사이즈 범위에 대응하고; m은 1보다 크거나 같고, l보다 작거나 같은 정수임 - 를 포함하고;
상기 제2 이산 컨볼루션 결과에 기반하여, 상기 포인트 클라우드 데이터의 공간 구조 특징을 얻는 단계는,
l 번째 제2 이산 컨볼루션 결과에 기반하여 상기 포인트 클라우드 데이터의 공간 구조 특징을 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 포인트 클라우드 데이터 처리 방법은,
상기 포인트 클라우드 데이터의 공간 구조 특징에 기반하여 상기 타겟 시나리오에서의 대상의 카테고리를 결정하는 단계를 더 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 제1 이산 컨볼루션 결과에 기반하여, 상기 포인트 클라우드 데이터에서의 적어도 일부 포인트 클라우드 데이터의 공간 구조 특징을 얻는 단계는,
상기 제1 이산 컨볼루션 결과에 대해 제1 업 샘플링 처리를 수행하여, 제1 업 샘플링 처리 결과를 얻는 단계; 및
상기 제1 업 샘플링 처리 결과에 기반하여 상기 포인트 클라우드 데이터 중 적어도 하나의 포인트 데이터의 공간 구조 특징을 얻는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제8항에 있어서,
상기 제1 업 샘플링 처리 결과에 기반하여 상기 포인트 클라우드 데이터 중 적어도 하나의 포인트 데이터의 공간 구조 특징을 획득하는 단계는,
이전 업 샘플링 처리된 결과 및 제3 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 이전 업 샘플링 처리된 결과에 대해 보간 처리를 수행하여, 제3 가중치 데이터를 얻는 단계 - 상기 제3 가중치 데이터는 상기 이전 업 샘플링 처리된 결과를 상기 제3 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 나타내며; 이전 업 샘플링 처리가 제1 이산 컨볼루션 결과에 대해 수행한 제1 업 샘플링 처리인 경우, 이전 업 샘플링 처리된 결과는 제1 업 샘플링 결과임 - ;
상기 제3 가중치 데이터 및 상기 제3 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 이전 업 샘플링 처리된 결과에 대해 제3 이산 컨볼루션 처리를 수행하여, 제3 이산 컨볼루션 결과를 얻는 단계;
상기 제3 이산 컨볼루션 결과에 대해 제2 업 샘플링 처리를 수행하여, 제2 업 샘플링 처리 결과를 얻는 단계; 및
상기 제2 업 샘플링 처리 결과에 기반하여 상기 포인트 클라우드 데이터 중 적어도 하나의 포인트 데이터의 공간 구조 특징을 얻는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제1항 내지 제3항 중 어느 한 항에 있어서,
상기 포인트 클라우드 데이터 처리 방법은,
상기 포인트 클라우드 데이터 중 적어도 하나의 포인트 데이터의 공간 구조 특징에 기반하여 상기 적어도 하나의 포인트 데이터의 시맨틱 정보를 결정하는 단계를 더 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
포인트 클라우드 데이터 처리 장치로서,
획득 유닛, 보간 처리 유닛 및 특징 획득 유닛을 포함하며;
상기 획득 유닛은, 타겟 시나리오에서의 포인트 클라우드 데이터 및 제1 이산 컨볼루션 커널의 가중치 벡터를 얻도록 구성되며;
상기 보간 처리 유닛은, 상기 포인트 클라우드 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 보간 처리를 수행하여, 제1 가중치 데이터를 얻도록 구성되며 - 상기 제1 가중치 데이터는 상기 포인트 클라우드 데이터를 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 대응하는 위치에 할당한 가중치를 나타냄 - ;
상기 특징 획득 유닛은, 상기 제1 가중치 데이터 및 상기 제1 이산 컨볼루션 커널의 가중치 벡터에 기반하여 상기 포인트 클라우드 데이터에 대해 제1 이산 컨볼루션 처리를 수행하여, 제1 이산 컨볼루션 결과를 얻고; 상기 제1 이산 컨볼루션 결과에 기반하여 상기 포인트 클라우드 데이터에서의 적어도 일부 포인트 클라우드 데이터의 공간 구조 특징을 얻도록 구성된 것을 특징으로 하는 포인트 클라우드 데이터 처리 장치.
컴퓨터 프로그램이 기록된 컴퓨터 판독 가능한 저장 매체로서,
상기 프로그램이 프로세서에 의해 실행될 때 제1항 내지 제3항 중 어느 한 항에 따른 포인트 클라우드 데이터 처리 방법의 단계를 구현하는 것을 특징으로 하는 컴퓨터 판독 가능한 저장 매체.
메모리, 프로세서 및 메모리에 저장되고 프로세서에서 작동 가능한 컴퓨터 프로그램을 포함하는 전자 기기로서,
상기 프로세서가 상기 프로그램을 실행할 때 제1항 내지 제3항 중 어느 한 항에 따른 포인트 클라우드 데이터 처리 방법의 단계를 구현하는 것을 특징으로 하는 전자 기기.
저장매체에 기록되는 컴퓨터 프로그램으로서,
상기 컴퓨터 프로그램은 컴퓨터 실행 가능한 명령어를 포함하고, 상기 컴퓨터 실행 가능한 명령어는 실행된 후, 제1항 내지 제3항 중 어느 한 항에 따른 포인트 클라우드 데이터 처리 방법의 단계를 구현 가능한 것을 특징으로 하는 컴퓨터 프로그램.
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제
삭제