KR20220143555A

KR20220143555A - 포인트 클라우드 데이터 처리 방법, 장치, 기기 및 저장 매체

Info

Publication number: KR20220143555A
Application number: KR1020217039195A
Authority: KR
Inventors: 종앙 카이; 신이 첸; 준제 장; 하이유 자오; 슈아이 이
Original assignee: 센스타임 인터내셔널 피티이. 리미티드.
Priority date: 2021-04-15
Filing date: 2021-06-01
Publication date: 2022-10-25
Also published as: CN114051625A; JP2023503731A; US20220335566A1

Abstract

본 출원의 실시예는 포인트 클라우드 데이터 처리 방법, 장치, 기기 및 저장 매체를 제공하며, 여기서, 상기 포인트 클라우드 데이터 처리 방법은, 획득된 제1 포인트 클라우드 데이터에서, 어느 한 처리될 포인트의 복수 그룹의 인접 포인트를 결정하는 단계 - 상기 복수 그룹의 인접 포인트 중 각 그룹의 인접 포인트의 스케일은 상이함 - ; 상기 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계를 결정하는 단계; 상기 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계에 기반하여, 상기 처리될 포인트의 연관 특징을 결정하는 단계; 상기 복수 그룹의 인접 포인트에 대응하는 연관 특징에 기반하여, 상기 처리될 포인트의 목표 특징을 결정하는 단계; 및 복수 개의 상기 처리될 포인트의 목표 특징에 기반하여, 상기 제1 포인트 클라우드 데이터에 대해 포인트 클라우드 보완을 수행하여, 제2 포인트 클라우드 데이터를 생성하는 단계를 포함한다.

Description

포인트 클라우드 데이터 처리 방법, 장치, 기기 및 저장 매체

관련 출원의 상호 참조

본 출원은 출원 번호가 10202103894R이고, 출원일이 2021년 4월 15일 제출한 출원 명칭이 “포인트 클라우드 데이터 처리 방법, 장치, 기기 및 저장 매체”인 싱가포르 특허 출원의 우선권을 주장하는 바, 상기 싱가포르 특허출원의 전부 내용은 참조로서 본 출원에 인용된다.

본 출원의 실시예는 포인트 클라우드 데이터 처리 기술분야에 관한 것이로서, 포인트 클라우드 데이터 처리 방법, 장치, 기기 및 저장 매체에 관한 것이지만 이에 한정되지 않는다.

레이저 레이더와 깊이 카메라의 발전에 따라, 포인트 클라우드는 사진의 보조 데이터 포맷으로서 다양한 모니터링 시나리오에서 점차적으로 배포되고 있다. 관련 기술에서, 딥 신경망을 사용하여 학습한 포인트 클라우드 특징은 무질서성, 노이즈 및 메쉬리스의 특성으로 인해 애플리케이션 요구 사항을 충족시키기 어렵다.

본 출원의 실시예는 포인트 클라우드 데이터 처리 기술 방안을 제공한다.

본 출원의 실시예의 기술적 방안은 아래와 같이 구현된다.

본 출원의 실시예는 포인트 클라우드 데이터 처리 방법을 제공하며, 상기 포인트 클라우드 데이터 처리 방법은, 획득된 제1 포인트 클라우드 데이터에서, 어느 한 처리될 포인트의 복수 그룹의 인접 포인트를 결정하는 단계 - 상기 복수 그룹의 인접 포인트 중 각 그룹의 인접 포인트의 스케일은 상이함 - ; 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계를 결정하는 단계; 상기 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계에 기반하여, 상기 처리될 포인트의 연관 특징을 결정하는 단계; 상기 복수 그룹의 인접 포인트에 대응하는 연관 특징에 기반하여, 상기 처리될 포인트의 목표 특징을 결정하는 단계; 및 복수 개의 상기 처리될 포인트의 목표 특징에 기반하여, 상기 제1 포인트 클라우드 데이터에 대해 포인트 클라우드 보완을 수행하여, 제2 포인트 클라우드 데이터를 생성하는 단계를 포함한다.

본 출원의 실시예는 포인트 클라우드 데이터 처리 장치를 제공하며, 상기 포인트 클라우드 데이터 처리 장치는, 획득된 제1 포인트 클라우드 데이터에서, 어느 한 처리될 포인트의 복수 그룹의 인접 포인트를 결정하도록 구성된 제1 결정 모듈 - 상기 복수 그룹의 인접 포인트 중 각 그룹의 인접 포인트의 스케일은 상이함 - ; 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계를 결정하도록 구성된 제2 결정 모듈; 상기 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계에 기반하여, 상기 처리될 포인트의 연관 특징을 결정하도록 구성된 제3 결정 모듈; 및 상기 복수 그룹의 인접 포인트에 대응하는 연관 특징에 기반하여, 상기 처리될 포인트의 목표 특징을 결정하도록 구성된 제4 결정 모듈을 포함한다.

이에 대응하게, 본 출원의 실시예에 따라 제공되는 컴퓨터 저장 매체는, 컴퓨터 실행 가능한 명령어를 저장하며, 상기 컴퓨터 실행 가능한 명령어가 실행된 후 전술한 방법의 단계를 구현할 수 있다.

본 출원의 실시예는 컴퓨터 기기를 제공하며, 상기 컴퓨터 기기에는 메모리 및 프로세서가 포함되고, 상기 메모리에는 컴퓨터 실행 가능한 명령어가 저장되고, 상기 프로세서는 상기 메모리에서의 컴퓨터 실행 가능한 명령어를 실행할 때 포인트 클라우드 데이터 처리 방법의 단계를 구현할 수 있다.

본 출원의 실시예는 포인트 클라우드 데이터 처리 방법, 장치, 기기 및 저장 매체를 제공하고, 제1 포인트 클라우드 데이터 중의 어느 한 처리될 포인트에 대해, 먼저, 상기 처리될 포인트와 상이한 스케일의 복수 그룹의 인접 포인트의 연관 관계를 결정하며; 다음, 각 그룹의 인접 포인트와 처리될 포인트 사이의 연관 관계에 기반하여, 처리될 포인트의 연관 특징을 추출하며; 이후, 복수 그룹의 인접 포인트의 연관 특징을 융합하는 것을 통해, 처리될 포인트의 목표 특징을 획득하며; 마지막으로, 제1 포인트 클라우드 데이터 중의 복수 개의 처리될 포인트의 목표 특징에 기반하여, 제1 포인트 클라우드 데이터에 대해 보완을 수행하여, 제2 포인트 클라우드 데이터를 생성한다. 이와 같이, 상이한 스케일의 복수 그룹의 인접 포인트의 특징을 융합하는 것을 통해, 상이한 스케일의 포인트 클라우드 특징을 고려할 수 있으므로, 추출된 포인트 클라우드 특징이 적어도 특정 범위 내에서 스케일의 불변성을 갖도록 함으로써, 추출된 포인트 클라우드 특징이 더욱 풍부해지도록 하고, 추출된 포인트 클라우드 특징에 기반하여 포인트 클라우드 보완을 수행하여 획득된 포인트 클라우드가 더욱 좋은 완전성을 갖도록 하여, 물리적 공간의 실제 3차원 대상을 보다 정확하게 나타낼 수 있다.

도 1은 본 출원의 실시예에서 제공한 포인트 클라우드 데이터 처리 방법의 구현 흐름 모식도이다.
도 2는 본 출원의 실시예에서 제공한 포인트 클라우드 데이터 처리 방법의 다른 구현 흐름 모식도이다.
도 3은 본 출원의 실시예에 따른 포인트 클라우드 데이터 처리 장치의 구조 구성 모식도이다.
도 4는 본 출원의 실시예에 따른 컴퓨터 기기의 구조 구성 모식도이다.

본 출원의 실시예의 목적, 기술방안 및 장점을 더욱 명확해지도록 하기 위해, 아래에 출원의 실시예에서의 첨부 도면을 결합하여, 발명의 구체적인 기술방안에 대해 추가로 설명을 진행하고자 한다. 다음의 실시 예는 본 출원을 예시하는 것이지, 본 출원의 범위를 한정하려는 것은 아니다.

다음의 설명에서, 모든 가능한 실시예의 서브 그룹을 설명하는 "일부 실시예"에 대한 설명이지만, "일부 실시예"는 가능한 모든 실시예의 동일한 부분 집합 또는 다른 부분 집합일 수 있으며 충돌 없이 서로 결합될 수 있다.

다음의 설명에서, 사용된 "제1/제2/제3"라는 용어는 단지 유사한 대상을 구별하기 위한 것으로, 대상에 대한 특정 순서를 나타내지 않으며, 이해할 수 있는 것은, "제1/제2/제3"은 허용되는 조건 하에서 상호 변경 가능한 순서 또는 순차적인 순서로 존재할 수 있으며, 이에 따라 본 명세서에서 설명한 본 출원의 실시예들은 본 명세서에서 예시되거나 설명된 것 이외의 순서로 구현될 수 있다

다르게 정의되지 않는 한, 여기에서 사용된 모든 기술 및 과학 용어는 본 출원에 속하는 기술분야의 통상의 기술자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖는다. 본 문에서 사용되는 용어는 단지 본 출원의 실시예의 목적을 설명하기 위한 것으로, 본 출원의 실시예를 한정하려는 것은 아니다.

본 출원의 실시예에 대해 더 상세하게 설명하기 전에, 본 출원의 실시예에서 사용되는 전문 용어 및 용어에 대해 설명하고, 본 출원의 실시예에서 사용되는 전문 용어 및 용어는 다음 설명에 적용될 수 있다.

1)글로벌 평균 풀링(Global average pooling)에 있어서, 언더샘플링 또는 다운 샘플링으로도 지칭되며, 주로 특징의 차원을 저하시키고, 데이터 및 파라미터의 개수를 압축하여, 과적합을 줄이고, 동시에 모델의 내결함성을 향상시킬 수 있다.

2)완전 연결 계층에 있어서, 이전에 다중 컨볼루션을 거친 후 고도로 추상화된 특징을 통합한 후, 정규화를 수행하여, 다양한 분류 경우에 모두 하나의 확률을 출력하여, 후속 분류기는 완전 연결 계층에 의해 획득된 확률에 따라 분류한다.

본 출원의 실시예에서 제공하는 포인트 클라우드 데이터 처리 기기의 예시적인 응용은 아래에서 설명되며, 본 출원의 실시예에서 제공되는 기기는 노트북, 태블릿, 데스크탑 컴퓨터, 카메라, 모바일 기기(예를 들어, 개인 휴대 단말기, 전용 메시징 기기, 휴대용 게임 기기 등)와 같이 다양한 유형의 사용자 단말로 구현되거나, 또는 서버로 구현될 수 있다. 아래에, 기기가 단말 또는 서버로 구현되는 경우 예시적인 애플리케이션에 대해 설명한다.

상기 방법은 컴퓨터 기기에 적용될 수 있으며, 상기 방법에 의해 구현되는 기능은 컴퓨터 기기 중의 프로세서에 의해 프로그램 코드를 호출함으로써 구현될 수 있으며, 물론, 프로그램 코드는 컴퓨터 저장 매체에 저장될 수 있으므로, 상기 컴퓨터 기기는 적어도 프로세서 및 저장 매체를 포함한다.

본 출원의 실시예는 포인트 클라우드 데이터 처리 방법을 제공하며, 도 1에 도시된 바와 같이, 도 1에 도시된 단계를 결합하여 설명한다.

단계 S101에 있어서, 획득된 제1 포인트 클라우드 데이터에서, 어느 한 처리될 포인트의 복수 그룹의 인접 포인트를 결정한다.

일부 실시예에서, 획득된 제1 포인트 클라우드 데이터는 직접 획득된 3차원(3-Dimension, 3D) 포인트 클라우드 데이터일 수 있거나, 수신된 다른 기기에 의해 송신된 3D 포인트 클라우드 데이터일 수 있다. 처리될 포인트는 포인트 클라우드 데이터 중의 어느 한 포인트로 이해될 수 있다. 제1 포인트 클라우드 데이터에서, 상기 처리될 포인트를 중심점으로 사용하여, 복수 그룹의 인접 포인트를 결정한다. 복수 그룹의 인접 포인트 중 각 그룹의 인접 포인트의 스케일은 상이하다. 각 그룹의 인접 포인트의 스케일은 이 그룹의 인접 포인트 개수를 나타내며, 즉 복수 그룹의 인접 포인트에서 각 그룹의 인접 포인트의 개수는 상이하다. 예를 들어, 처리될 포인트의 한 그룹의 인접 포인트의 개수가 K1이고, 다른 그룹의 인접 포인트의 개수가 K2이면, 인접한 두 그룹의 인접 포인트의 스케일이 각각 K1 및 K2인 것으로 각각 결정한다.

단계 S102에 있어서, 각 그룹의 인접 포인트와 처리될 포인트 사이의 연관 관계를 결정한다.

일부 실시예에서, 각 그룹의 인접 포인트와 처리될 포인트 사이의 연관 관계는, 한 그룹의 인접 포인트의 각 인접 포인트와 처리될 포인트 사이의 연관 정도를 나타내기 위한 것이다. 상기 연관 관계는 위치 관계를 포함할 수 있으며; 및/또는 상기 연관 관계는 한 그룹의 인접 포인트의 각 인접 포인트와 처리될 포인트에 의해 각각 나타내는 물리적 대상 사이의 잠재적 연관성을 나타낼 수 있다. 예를 들어, 잠재적 연관성은 양자가 동일한 물리적 대상을 나타내는 포인트인지 여부, 또는 양자에 의해 나타내는 물리적 대상이 상이한 경우, 나타내는 상이한 물리적 대상 사이의 위치 관계, 카테고리 유사성 및 종속 관계 중 적어도 하나를 포함한다. 상기 연관 관계는 인접 포인트와 처리될 포인트 사이의 관계 파라미터 및 가중치 계수로 나타낼 수 있다. 복수 그룹의 인접 포인트 중 각 그룹의 인접 포인트에 대해, 한 그룹의 인접 포인트에서 각 인접 포인트와 처리될 포인트 사이의 관계 파라미터를 분석한다. 상기 관계 파라미터에 기반하여, 한 그룹의 인접 포인트와 처리될 포인트 사이의 연관 관계를 전체적으로 결정할 수 있음으로써, 각 그룹의 인접 포인트와 처리될 포인트 사이의 연관 관계를 획득할 수 있다.

단계 S103에 있어서, 상기 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계에 기반하여, 상기 처리될 포인트의 연관 특징을 결정한다.

일부 실시예에서, 처리될 포인트의 연관 특징의 개수는 인접 포인트의 그룹 수에 대응되며, 즉 한 그룹의 인접 포인트와 처리될 포인트에 대해 인터랙션을 수행함으로써, 처리될 포인트의 한 그룹의 인접 포인트에 대응하는 연관 특징을 획득할 수 있으며, 상기 그룹의 인접 포인트에 대응하는 연관 특징은 상기 그룹의 인접 포인트의 특징 정보를 충분히 고려하였다. 처리될 포인트는 복수 그룹의 인접 포인트를 가지므로, 연관 특징은 복수 개이다.

일부 가능한 구현방식에서, 한 그룹의 인접 포인트 중의 각 인접 포인트에 대해, 먼저, 관계 파라미터에 따라, 상기 인접 포인트의 특징과 처리될 포인트의 특징에 대해 인터랙션을 수행하여, 인터랙션을 거친 초기 특징 세트를 획득하며; 다음, 상기 인터랙션을 거친 초기 특징에 대해 그룹 별로 융합하여, 각 그룹에 대응하는 처리될 포인트의 연관 특징을 획득한다. 상기 처리될 포인트의 연관 특징은, 주변의 복수 그룹의 인접 포인트의 초기 특징 간의 연관 관계를 고려하였음으로써, 획득된 처리될 포인트의 연관 특징이 더욱 중요해지고 더욱 풍부해지도록 한다.

단계 S104에 있어서, 복수 그룹의 인접 포인트에 대응하는 연관 특징에 기반하여, 처리될 포인트의 목표 특징을 결정한다.

일부 실시예에서, 각 그룹의 인접 포인트에 대응하는 연관 특징에 대해 융합을 수행하여, 상기 처리될 포인트의 목표 특징을 획득할 수 있다. 처리될 포인트의 복수 그룹의 인접 포인트에 대해, 포인트 클라우드 보완 네트워크 중의 관계 향상 네트워크의 포인트 클라우드 자체 주의력 핵심 모듈을 사용하는 것을 통해 (여기서, 포인트 클라우드 자체 주의력 핵심 모듈은 관계 향상 네트워크의 일부이며, 로컬 인접 포인트의 특징 및 처리될 포인트와 인접 포인트의 관계를 통합하는 것을 통해, 포인트 클라우드 내의 구조적 관계를 학습함으로써, 포인트 클라우드 특징을 증강함), 각 그룹의 인접 포인트에 대응하는 연관 특징을 획득하며, 이로써, 각 그룹의 연관 특징의 가중치와 상기 그룹의 연관 특징에 대해 가중치 합산을 수행하여, 복수 그룹의 인접 포인트 특징을 충분히 고려하는 목표 특징을 획득하며; 이와 같이, 상이한 스케일에서의 인접 포인트와 처리될 포인트 사이의 연관 관계를 적응적으로 선택함으로써, 복수 그룹의 연관 특징에 기반하여 처리될 포인트의 목표 특징을 결정하면, 포인트 클라우드 학습에서의 스케일 불변성을 해결할 수 있을 뿐만 아니라, 포인트 클라우드 특징을 향상시킬 수도 있다.

단계 S105에 있어서, 복수 개의 상기 처리될 포인트의 목표 특징에 기반하여, 상기 제1 포인트 클라우드 데이터에 대해 포인트 클라우드 보완을 수행하여, 제2 포인트 클라우드 데이터를 생성한다.

일부 실시예에서, 제2 포인트 클라우드 데이터의 무결성은 제1 포인트 클라우드 데이터의 무결성보다 크다. 선택적으로, 원본 포인트 클라우드 데이터의 확률 분포를 분석함으로써, 상기 원본 포인트 클라우드 데이터의 윤곽에 대해 대략적인 추정을 수행하여, 제1 포인트 클라우드 데이터를 획득할 수 있다. 대략적으로 추정된 제1 포인트 클라우드 데이터에 대해, 상기 목표 특징에 기반하여 포인트 클라우드 특징 증강을 수행하여, 더욱 정밀한 제2 포인트 클라우드 데이터를 획득한다.

본 출원의 실시예에서, 변형 관련 포인트 클라우드 보완 네트워크 관계 향상 네트워크를 사용하여, 상이한 스케일을 갖는 복수 그룹의 인접 포인트의 연관 특징을 결합하여, 상기 처리될 포인트의 목표 특징을 획득하며; 복수 개의 처리될 포인트의 목표 특징을 사용하여, 제1 포인트 클라우드 데이터에 대해 보완을 수행하여, 더욱 완전한 제2 포인트 클라우드 데이터를 획득한다. 이와 같이, 상이한 스케일의 복수 그룹의 인접 포인트의 특징을 융합하여, 상이한 스케일의 포인트 클라우드 특징을 고려할 수 있으므로, 추출된 포인트 클라우드 특징이 적어도 특정 범위 내에서 스케일 불변성을 구비하도록 함으로써, 추출된 포인트 클라우드 특징이 더욱 풍부해지도록 하고, 추출된 포인트 클라우드 특징에 기반하여 포인트 클라우드 보완을 수행하여 획득된 포인트 클라우드는 더욱 좋은 무결성을 구비하며, 물리적 공간의 실제 3차원 대상을 보다 정확하게 나타낼 수 있다.

일부 실시예에서, 복수 개의 그룹 연관 특징에 대해 전역 평균 풀링 처리를 수행하고, 상기 연관 특징에서 각 그룹의 인접 포인트의 그룹 연관 정도를 결정함으로써, 그룹 연관 정도와 상기 그룹의 연관 특징을 서로 결합하여, 목표 특징을 추출하며, 즉 상기 단계 S104는 도 2에 도시된 단계를 통해 구현될 수 있으며, 아래에 도 1 및 도 2에 도시된 단계를 결합하여 설명한다.

단계 S201에 있어서, 복수 그룹의 인접 포인트에 대응하는 연관 특징에 대해 평균 풀링 처리를 수행하여, 풀링 특징을 획득한다.

일부 실시예에서, 처리될 포인트에 비해 더욱 중요한 인접 포인트 그룹을 결정하기 위해, 먼저 복수 그룹의 인접 포인트에 대응하는 연관 특징에 대해 융합을 수행한 다음, 풀링 계층을 사용하여 융합된 특징에 대해 평균 풀링 처리를 수행하여, 풀링된 특징을 획득한다.

일부 가능한 구현방식에서, 먼저, 상기 복수 그룹의 인접 포인트에 대응하는 연관 특징을 융합하여, 융합 특징을 획득하며; 예를 들어, 상기 복수 그룹의 인접 포인트에 대응하는 연관 특징에 대해 요소 별로 합산하여, 융합된 특징을 획득한다. 그 다음, 상기 융합 특징에 대해 평균 풀링 처리를 수행하여, 상기 풀링된 특징을 획득하며; 예를 들어, 요소 별로 합산하여 획득된 융합 특징을, 네트워크의 전역 평균 풀링 계층에 입력하여, 융합된 특징에 대해 전역 평균 풀링을 수행하며; 이로써 융합된 특징에 대해 차원 감소를 수행하는 상기 풀링 특징을 획득할 수 있어, 네트워크의 로버스트를 향상시킨다.

단계 S202에 있어서, 풀링 특징에 기반하여, 각 그룹의 상기 인접 포인트와 상기 처리될 포인트의 그룹 연관 정도를 결정한다.

일부 실시예에서, 먼저, 상기 풀링 특징을 네트워크 아키텍처의 완전 연결 계층에 입력하고, 각 그룹의 인접 포인트에 대해, 중요도가 표시된 인접 포인트 세트를 획득하기 위해, 처리될 포인트에 대한 각 인접 포인트의 중요도를 분류한다. 그 다음, 두 개의 완전 연결 계층을 사용하여, 각각 중요도가 표시된 인접 포인트 세트로부터, 동일한 그룹에 속하는 인접 포인트를 분류한다. 마지막으로, 상기 동일한 그룹의 인접 포인트에 의해 표시된 중요도에 기반하여, 처리될 포인트에 대한 상기 그룹의 중요도, 즉 상기 그룹의 그룹 연관 정도를 결정할 수 있다.

단계 S203에 있어서, 상기 그룹 연관 정도 및 상기 연관 특징에 기반하여, 상기 처리될 포인트의 목표 특징을 결정한다.

일부 실시예에서, 먼저, 한 그룹의 그룹 연관 정도 및 상기 그룹에 대응하는 연관 특징을, 2 개의 벡터를 요소 단위로 곱함으로써, 복수 그룹의 곱셈 결과를 획득할 수 있으며; 그 다음, 상기 복수 그룹의 곱셈 결과를 요소 별로 합산하여, 최종적인 목표 특징을 획득한다.

본 출원의 실시예에서, 복수 그룹의 연관 특징에 대해 융합을 수행한 후, 전역 평균 풀링 처리를 수행하고, 풀링 특징을 완전 연결 계층에 입력하여, 상기 연관 특징에서, 각 그룹의 인접 포인트의 중요도를 결정하며, 상기 각 그룹의 인접 포인트의 중요도와 상기 그룹에 대응하는 연관 특징을 결합하여, 최종적인 목표 특징을 획득하며; 이와 같이, 상이한 스케일의 복수 그룹의 인접 포인트의 그룹 연관 정도와 상기 그룹의 연관 특징을 결합함으로써, 더욱 풍부한 세부 사항을 가진 포인트 클라우드의 목표 특징을 추출하여, 동일한 계층에서 복수 개의 상이한 스케일 특징을 선택하고 융합할 수 있으므로, 포인트 클라우드 특징에 기반하여 포인트 클라우드 보완 네트워크 훈련을 수행하는 과정에서, 훈련을 통해 획득된 네트워크가 여러 가지 스케일의 연관 특징에 대응할 수 있도록 한다.

일부 실시예에서, 한 그룹의 인접 포인트의 각 인접 포인트와 처리될 포인트의 연관 정도를 결정하여, 한 그룹의 그룹 연관 정도를 획득함으로써, 그룹 연관 정도를 사용하여 상기 그룹에 대응하는 연관 특징에 대해 업데이트를 수행하여, 목표 특징을 획득할 수 있으며, 즉 상기 단계 S202 및 단계 S203은 다음과 같은 단계로 구현될 수 있다.

단계 S231에 있어서, 풀링된 특징에 기반하여, 각 그룹의 인접 포인트의 각 인접 포인트와 상기 처리될 포인트 특징 사이의 연관 정도를 결정하여, 포인트 연관 정도 세트를 획득한다.

일부 실시예에서, 각 그룹의 인접 포인트에서, 처리될 포인트에 대한 각 인접 포인트의 중요도를 결정하여, 상기 인접 포인트와 처리될 포인트의 연관 정도를 결정할 수 있으며; 예를 들어, 상기 인접 포인트가 처리될 포인트의 키 포인트에 속하는 신뢰도를, 상기 인접 포인트와 처리될 포인트의 연관 정도로 사용한다.

일부 가능한 구현방식에서, 한 그룹의 인접 포인트에서, 각 인접 포인트가 처리될 포인트의 키 포인트에 속하는 신뢰도를 결정함으로써, 처리될 포인트에 대한 상기 그룹의 인접 포인트의 중요도, 즉 그룹 연관 정도를 분석하며, 즉 단계 S202는 다음의 단계를 통해 구현될 수 있다.

제1 단계에서, 상기 풀링 특징이 상기 처리될 포인트의 키포인트 특징에 속하는 제1 신뢰도를 결정한다.

일부 실시예에서, 처리될 포인트의 키포인트 특징은 처리될 포인트의 인접 포인트 중의 키포인트이고, 상기 처리될 포인트와 선형 관계 및 연관 관계를 갖는 포인트이며; 예를 들어, 키 포인트는 처리될 포인트 사이의 시맨틱 관계는 밀접하며, 상호 작용이 많다. 하나의 구체적인 예에서, 복수 그룹의 인접 포인트에 대응하는 연관 특징에 대해 융합을 수행하고, 복수 그룹의 연관 특징의 풀링 특징을 완전 연결 계층에 입력함으로써, 상기 완전 연결 계층을 사용하여 복수 그룹의 인접 포인트에 대응하는 연관 특징에서 중요한 특징에 속하는 연관 특징을 분류하고, 한 그룹의 인접 포인트에 대응하는 연관 특징에서 인접 포인트와 연관 특징은 연관 관계를 가지므로, 복수 그룹의 인접 포인트 중의 각 인접 포인트가 키 포인트에 속하는지 여부를 분류하여, 각 인접 포인트가 상기 처리될 포인트의 키 포인트에 속하는 제1 신뢰도를 획득하는 것을 구현할 수 있다.

제2 단계에서, 상기 제1 신뢰도에 기반하여, 동일한 그룹의 인접 포인트에 대응하는 연관 특징이 상기 키포인트 특징에 속하는 제2 신뢰도를 결정하고, 제2 신뢰도 세트를 획득한다.

일부 실시예에서, 처리될 포인트에게 더욱 중요한 인접 포인트 그룹을 결정하기 위해, 복수 개의 독립적인 완전 연결 계층을 사용하여 융합된 복수 그룹의 연관 특징을 구별함으로써, 각 그룹의 인접 포인트에 대응하는 연관 특징의 중요도, 즉 제2 신뢰도를 획득한다. 여기서, 독립적인 완전 연결 계층의 개수는 인접 포인트의 개수와 동일하며, 이로써, 융합된 복수 그룹의 연관 특징을 서로 구별할 수 있다.

제3 단계에 있어서, 상기 제2 신뢰도 세트에 기반하여, 상기 동일한 그룹의 인접 포인트가 속하는 그룹의 그룹 연관 정도를 결정한다.

일부 실시예에서, 한 그룹의 인접 포인트에 대응하는 연관 특징이 키포인트 특징에 속하는 신뢰도를 결정하고, 이러한 신뢰도를 각 연관 특징에 표시하는 것을 통해, 상기 그룹의 중요도를 획득할 수 있다. 이와 같이, 먼저, 완전 연결 계층을 통해, 융합된 복수 그룹의 연관 특징의 중요도를 분류한 후, 복수 개의 독립적인 완전 연결 계층을 통해 상기 복수 그룹의 연관 특징을 독립적인 그룹으로 구별함으로써, 각 그룹의 인접 포인트의 중요도를 결정할 수 있다.

단계 S232에 있어서, 각 그룹의 포인트 연관 정도 세트에 기반하여, 각 그룹의 그룹 연관 정도를 결정한다.

일부 실시예에서, 각 그룹의 포인트 연관 정도 세트는 한 그룹의 인접 포인트에서, 처리될 포인트의 키 포인트에 속하는 각 인접 포인트의 신뢰도 세트로 이해할 수 있다. 한 그룹의 인접 포인트의 신뢰도를 합산함으로써, 처리될 포인트에 대한 상기 그룹의 중요도, 즉 상기 그룹의 그룹 연관 정도를 획득할 수 있다.

일부 가능한 구현방식에서, 한 그룹의 인접 포인트의 포인트 연관 정도를 획득한 후, 한 그룹의 포인트 연관 정도 세트에 대해 정규화를 수행하여, 각 그룹의 그룹 연관 정도를 획득하며; 예를 들어, 다음과 같은 동작으로 구현될 수 있다.

먼저, 상기 제2 신뢰도 세트 중의 제2 신뢰도에 대해 정규화 처리를 수행하여, 그룹 정규화 결과를 획득한다.

예를 들어, 각 그룹의 인접 포인트에 대응하는 한 그룹의 제2 신뢰도를 포인트 클라우드 보완 네트워크의 softmax 계층에 입력하고, softmax 함수를 사용하여 제2 신뢰도를 처리함으로써, 각 그룹의 제2 신뢰도의 정규화 결과를 획득할 수 있다. 또한 이러한 복수 그룹의 그룹 정규화 결과의 합은 1이다.

그 다음, 상기 그룹 정규화 결과에 기반하여, 상기 그룹 연관 정도를 결정한다.

예를 들어, 그룹 정규화 결과가 클수록 상기 그룹의 인접 포인트가 처리될 포인트에게 있어 더욱 중요한 것을 표시하며, 즉 상기 그룹의 인접 포인트가 처리될 포인트의 키 포인트일 확률이 높은 것을 표시한다. 이와 같이, softmax 계층을 사용하여 한 그룹의 인접 포인트의 포인트 연관 정도를 처리함으로써, 상기 그룹의 인접 포인트의 전반적인 중요도를 결정할 수 있으므로, 상기 그룹의 인접 포인트의 전반적인 중요도에 따라, 추출된 포인트 클라우드 특징을 향상시킬 수 있다.

단계 S233에 있어서, 상기 각 그룹의 그룹 연관 정도에 기반하여 상기 각 그룹에 대응하는 연관 특징을 조정하여, 상기 목표 특징을 획득한다.

일부 실시예에서, 각 그룹의 그룹 연관 정도와 상기 그룹에 대응하는 연관 특징에 대해 요소 별로 곱하여, 곱셈 결과를 획득하며; 이로써, 복수 그룹의 그룹 연관 정도와 대응하는 연관 특징을 요소 별로 곱하여, 복수 그룹의 곱셈 결과를 획득할 수 있으며; 상기 복수 그룹의 곱셈 결과를 요소 별로 합산하여, 목표 특징을 획득할 수 있다. 이와 같이, 한 그룹의 인접 포인트의 그룹 연관 정도를 사용하여 상기 그룹에 대응하는 연관 특징을 조정하고, 조정된 복수 그룹의 특징을 융합하여, 주위의 상이한 스케일의 복수 그룹의 인접 포인트 특징을 포함할 수 있는 목표 특징을 획득할 수 있다.

일부 실시예에서, 각 그룹의 인접 포인트 중의 각 인접 포인트에 대해, 자체 적응 방식을 통해, 각 인접 포인트와 처리될 포인트 사이의 상호 작용을 구현하며, 즉 단계 S102는 다음의 단계를 통해 구현될 수 있다.

단계 S121에 있어서, 상기 각 그룹의 인접 포인트의 제1 초기 특징 및 상기 처리될 포인트의 제2 초기 특징을 각각 결정한다.

일부 실시예에서, 각 그룹의 인접 포인트 중의 각 인접 포인트에 대해 특징 추출을 각각 수행하여, 제1 초기 특징을 획득하며, 즉 제1 초기 특징은 각 인접 포인트의 초기 특징을 포함하며; 처리될 포인트에 대해 특징 추출을 수행하여, 제2 초기 특징을 획득한다. 여기서 특징 추출은 훈련된 다층 퍼셉트론(Multi-Layer Perceptron, MLP) 또는 컨볼루션 네트워크 등에 의해 구현될 수 있다.

단계 S122에 있어서, 제1 기설정된 값에 기반하여, 상기 제1 초기 특징에 대해 선형 변환을 수행하여, 제1 변환 특징을 획득한다.

일부 실시예에서, 제1 기설정된 값은 설정된 임의의 값으로 구현될 수 있으며, 예를 들어, 제1 기설정된 값을 64 또는 32 등으로 설정한다. 먼저, 다층 퍼셉트론을 사용하여, 제1 초기 특징에 대해 선형 처리를 수행하며, 예를 들어, 제1 초기 특징에 대해 차원 증가를 수행하며; 그런 다음, 제1 기설정된 값에 따라, 차원 증가된 제1 초기 특징에 대해 선형 변환을 수행하여, 제1 변환 특징을 획득한다. 예를 들어, 제1 기설정된 값에 따라, 차원 증가된 제1 초기 특징에 대해 차원 감소를 수행하여, 제1 변환 특징을 획득한다.

단계 S123에 있어서, 제1 기설정된 값에 기반하여, 상기 제2 초기 특징에 대해 선형 변환을 수행하여, 제2 변환 특징을 획득한다.

일부 실시예에서, 처리될 포인트의 제2 초기 특징에 대한 처리 과정은 상기 단계 S122에서 제1 초기 특징을 처리하는 과정과 유사하다. 예를 들어, 먼저, 다층 퍼셉트론을 사용하여, 제2 초기 특징에 대해 선형 처리를 수행하며, 예를 들어, 제2 초기 특징에 대해 차원 증가를 수행하며; 그 다음, 제1 기설정된 값에 따라, 차원 증가된 제2 초기 특징에 대해 선형 변환을 수행하여, 제2 변환 특징을 획득한다. 예를 들어, 제1 기설정된 값에 따라, 차원 증가된 제2 초기 특징에 대해 차원 감소를 수행하여, 제2 변환 특징을 획득한다.

단계 S124에 있어서, 상기 각 그룹의 인접 포인트의 제1 변환 특징과 상기 제2 변환 특징 사이의 관계 파라미터를, 상기 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계로 결정한다.

일부 실시예에서, 각 그룹의 인접 포인트의 제1 변환 특징과 제2 변환 특징에 대해 인터랙션을 수행하며, 예를 들어, 각 그룹의 인접 포인트의 제1 변환 특징과 제2 변환 특징을 연결하거나 곱하여, 두 개의 특정 간의 관계 가중치를 획득하며, 상기 관계는 두 개의 특징 간의 관계 파라미터로 사용된다.

상기 단계 S121 내지 단계 S124는 “각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계를 결정함”의 방식을 구현하며, 상기 방식에서, 포인트 클라우드 중 인접 포인트와 처리될 포인트의 인터랙션 관계를 적응적으로 학습함으로써, 포인트 클라우드 데이터 중의 키포인트 특징을 추출하는데 용이할 수 있다.

상기 단계 S124 이후, 다른 기설정된 값을 사용하여 인접 포인트의 초기 특징에 대해 선형 변환을 수행하고, 연관 관계를 사용하여 변환된 초기 특징에 대해 조정을 수행함으로써, 상기 그룹의 인접 포인트에 대응하는 연관 특징을 획득할 수 있으며, 즉 상기 단계 S103은 다음과 같은 단계로 구현될 수 있다.

단계 S131에 있어서, 제2 기설정된 값에 기반하여, 상기 각 그룹의 인접 포인트의 제1 초기 특징에 대해 선형 변환을 수행하여, 제3 변환 특징을 획득한다.

일부 실시예에서, 제2 기설정된 값과 제1 기설정된 값 사이는 배수 관계를 가진다. 예를 들어, 제1 기설정된 값은 제2 기설정된 값의 n배이다. 하나의 구체적인 예에서, 제1 기설정된 값을 64로 설정할 수 있고, 제2 기설정된 값을 32로 설정할 수 있다. 일부 가능한 구현방식에서, 먼저, MLP 모델을 사용하여, 제1 초기 특징에 대해 선형 처리를 수행하며, 예를 들어, 제1 초기 특징에 대해 차원 증가를 수행하며; 그 다음, 제2 기설정된 값에 따라, 차원 증가된 제1 초기 특징에 대해 선형 변환을 수행하여, 제3 변환 특징을 획득한다.

단계 S132에 있어서, 상기 연관 관계 및 상기 각 그룹의 인접 포인트의 제3 변환 특징에 기반하여, 상기 처리될 포인트의 연관 특징을 결정한다.

일부 실시예에서, 상기 연관 관계에 따라, 각 그룹의 인접 포인트의 제3 변환 특징에 대해 강화를 수행하고, 각 그룹의 인접 포인트의 제3 변환 특징을 강화한 특징에 대해 융합을 수행하여, 상기 그룹의 인접 포인트에 대응하는 연관 특징을 획득한다. 이와 같이, 제1 기설정된 값과 배수 관계를 가진 제2 기설정된 값을 사용하여 한 그룹의 인접 포인트의 초기 특징에 대해 선형 변환을 수행하며; 처리될 포인트의 초기 특징과 상기 인접 포인트 그룹의 초기 특징 사이의 연관 관계를 이용하여, 선형 변환된 인접 포인트의 초기 특징에 대해 강화를 수행하여, 더욱 풍부한 특징 세부 정보를 가진 연관 특징을 획득할 수 있다.

일부 가능한 구현방식에서, 획득된 관계 파라미터를 사용하여 제3 변환 특징에 대해 중합을 수행하고, 획득된 중합 특징과 처리될 포인트의 초기 특징을 융합함으로써, 키포인트 정보를 포함하는 연관 특징을 획득할 수 있으며, 다음과 같은 동작으로 구현될 수 있다.

먼저, 상기 각 그룹의 인접 포인트에 대응하는 관계 파라미터에 기반하여, 상기 각 그룹의 인접 포인트의 제3 변환 특징을 중합하여, 중합 특징을 획득한다.

일부 실시예에서, 관계 파라미터가 처리될 포인트의 초기 특징과 한 그룹의 인접 포인트의 초기 특징 사이의 관계 가중치이면, 상기 관계 가중치를 사용하여 한 그룹의 인접 포인트의 제3 변환 특징에 대해 중합을 수행하여, 중합 특징을 획득한다. 예를 들어, 상기 관계 가중치를 사용하여 한 그룹의 인접 포인트의 제3 변환 특징에 대해 가중치 합산을 수행하여, 중합 특징을 획득한다.

그 다음, 상기 중합 특징 및 상기 제2 초기 특징에 대해 융합을 수행하여, 상기 처리될 포인트의 연관 특징을 획득한다.

일부 실시예에서, 중합 특징을 획득한 후, MLP 네트워크를 이용하여 상기 중합 특징에 대해 선형 변환을 수행하여, 인접 포인트의 초기 특징 차원이 1인 변환 특징을 획득하고, 상기 변환된 특징과 처리될 포인트의 초기 특징에 대해 요소 별로 합산하여, 처리될 포인트의 연관 특징을 획득한다. 이와 같이, 복잡한 계산을 거친 변환 특징과 복잡한 계산을 거치지 않은 제2 초기 특징을 결합하여, 처리될 포인트의 연관 특징을 공동으로 결정함으로써, 입력된 포인트 클라우드 데이터의 원본 특징을 유지할 수 있다.

일부 실시예에서, 포인트 클라우드 데이터를 획득한 후, 처리될 포인트의 초기 특징에 대해 첫 번째의 선형 변환을 수행하고, 선형 변환된 처리될 포인트를 중심점으로 하여, 복수 그룹의 인접 포인트를 결정하며, 다음의 단계를 통해 구현될 수 있다.

제1 단계에서, 상기 처리될 포인트에 대해 선형 변환을 수행하여, 변환된 처리될 포인트를 획득한다.

일부 실시예에서, MLP 네트워크를 사용하여, 처리될 포인트의 초기 특징에 대해 선현 변환을 수행하고, 변환된 초기 특징을 처리될 포인트의 초기 특징으로 사용한다.

제2 단계에서, 상기 변환된 처리될 포인트의 복수 그룹의 상기 인접 포인트를 결정한다.

일부 실시예에서, 변환된 처리될 포인트를 중심점으로 사용하여, 복수 그룹의 인접 포인트를 결정한다. 즉 “제1 기설정된 값에 기반하여, 상기 제1 초기 특징에 대해 선형 변환을 수행하여, 제1 변환 특징을 획득하는” 단계 전에, 처리될 포인트에 대해 선형 변환을 수행하였으므로, 처리될 포인트의 초기 특징에 대해 선형 변환을 수행한 후, 포인트 셀프 어텐션(Point Self-Attention, PSA) 모듈에 진입하여 포인트 클라우드 내부의 구조적 관계를 적응적으로 학습함으로써, 더욱 많은 효과적인 특징 정보를 획득할 수 있다.

일부 실시예에서, 잔차 경로를 추가하여, 목표 특징 추출 과정 중의 기울기를 보충하며, 즉 상기 단계 S104이 후, 다음과 같은 단계를 더 포함한다.

단계 S141에 있어서, 상기 목표 특징에 대해 선형 변환을 수행하여, 핵심 목표 특징을 획득한다.

일부 실시예에서, 상이한 스케일의 복수 그룹의 인접 포인트를 사용하여, 처리될 포인트의 목표 특징을 결정한 후, MLP 모델을 사용하여 목표 특징에 대해 선형 변환을 수행하고, 목표 특징 중 특징 벡터의 차원을 변경하여, 핵심 목표 특징을 획득한다.

단계 S142에 있어서, 상기 처리될 포인트의 제2 초기 특징에 대해 선형 변환을 수행하여, 상기 처리될 포인트의 잔차 특징을 획득한다.

일부 실시예에서, 먼저, 입력된 처리될 포인트에 대해 특징 추출을 수행하여, 제2 초기 특징을 획득하며; 그 다음, MLP 모델을 사용하여 제2 초기 특징에 대해 선형 변환을 수행하여, 상기 잔차 특징을 획득하며; 이와 같이, 상기 잔차 포인트 특징을 새롭게 추가된 잔차 경로로 사용하므로, 주경로가 복잡한 처리 과정을 거치면, 기울기가 사라지는 문제를 해결할 수 있다.

단계 S143에 있어서, 상기 잔차 특징 및 상기 핵심 목표 특징에 기반하여 상기 목표 특징에 대해 업데이트를 수행하여, 업데이트된 목표 특징을 획득한다.

일부 실시예에서, 잔차 특징과 핵심 목표 특징에 요소 별로 합산하여, 목표 특징에 대한 추가적인 강화를 구현하며, 즉 업데이트된 목표 특징을 획득한다. 이와 같이, 잔차 경로를 추가함으로써, 초기 특징에 대한 복잡한 처리 과정에서 사라진 추출을 보충할 수 있으며, 또한 이로써 업데이트된 목표 특징을 최종적으로 획득하여, 원본의 특징 정보를 고려한 것 뿐만 아니라, 복잡한 처리 과정을 거친 특징 정보도 고려하여, 업데이트된 목표 특징이 보다 풍부한 세부 사항을 포함하도록 한다.

이하, 실제 적용 시나리오에서 본 출원의 실시예의 예시적인 적용을 설명하며, 상이한 스케일의 복수 그룹의 인접 포인트를 적응적으로 선택함으로써, 포인트 클라우드 학습에서의 스케일 불변성을 해결하는 것을 예로 들어 설명한다.

일부 실시예에서, 원본 포인트 클라우드 데이터의 확률 분포를 고려하여, 원본 포인트 클라우드 데이터의 합리적인 윤곽을 대략적으로 예측하며, 이의 기초 위에, 대략적으로 추정된 윤곽에 대해 세부적인 보완을 수행하여, 정밀하고 완전한 제2 포인트 클라우드 데이터를 획득하며, 다음 단계 S111 내지 단계 S114를 통해 제1 포인트 클라우드 데이터를 획득할 수 있다.

단계 S111에 있어서, 원본 포인트 클라우드 데이터를 획득한다.

일부 실시예에서, 획득된 원본 포인트 클라우드 데이터는 직접 획득된 3차원(3-Dimension, 3D) 포인트 클라우드 데이터일 수 있거나, 수신된 다른 기기에 의해 송신된 3D 포인트 클라우드 데이터일 수 있다. 처리될 포인트는 포인트 클라우드 데이터 중의 어느 한 포인트로 이해될 수 있다. 예를 들어, 특정 각도에서 수집한 데이블 램프 외관을 나타내는 데이블 램프의 포인트 클라우드 데이터, 또는 수신된 어느 한 기기에 의해 송신된 특정 물체를 나타내는 포인트 클라우드 데이터일 수 있다. 원본 포인트 크라우드 데이터는 물체 형태를 비교적 완전하게 나타낼 수 있는 완전한 포인트 클라우드일 수 있고, 물체의 일부 형태를 나타낼 수 있는 잔류 결함의 포인트 클라우드일 수도 있다.

단계 S112에 있어서, 상기 원본 포인트 클라우드 데이터의 확률 분포를 결정한다.

일부 실시예에서, 원본 포인트 클라우드 데이터의 확률 분포는 상기 원본 포인트 클라우드 데이터가 인코딩되어 획득된 조건 확률 본포이며, 예를 들어, 원본 포인트 클라우드 데이터의 확률 분포는 포인트 클라우드 보완 네트워크를 사용하여 결정된다. 상기 포인트 클라우드 보완 네트워크는 초기 보완 포인트 클라우드를 생성하기 위한 확률 생성 네트워크 및 초기 보완 포인트 클라우드의 기초 위에 고품질 출력 포인트 클라우드를 생성하기 위한 관계 향상 네트워크인 두 부분으로 구성된다. 이로부터 생성된 보완 포인트 클라우드는 입력 포인트 클라우드의 세부 사항을 대부분 유지한다. 확률 생성 네트워크의 가변 자동 인코더를 사용하여 원본 포인트 클라우드 데이터를 인코딩하고, 선형 잔차 모듈을 사용하여 인코딩된 포인트 클라우드를 처리함으로써, 원본 포인트 클라우드 데이터의 조건 확률 분포를 빠르게 결정할 수 있다.

단계 S113에 있어서, 상기 확률 분포에 기반하여, 상기 원본 포인트 클라우드 데이터에 대해 보완을 수행하여, 초기 보완 포인트 클라우드를 획득한다.

일부 실시예에서, 포인트 클라우드 보완 네트워크에서, 보완될 포인트 클라우드의 확률 분포 및 표준 정규 분포의 차이를 참조하여, 원본 포인트 클라우드 데이터가 속한 대상의 완전한 형태를 예측하며; 상기 완전한 형태의 포인트 클라우드 데이터와 원본 포인트 클라우드 데이터의 사이의 차이값을 통해, 원본 포인트 클라우드 데이터에 대해 보완을 수행함으로써, 대략적으로 추정된 초기 보완 포인트 클라우드를 획득할 수 있다. 상기 초기 보완 포인트 클라우드는 원본 포인트 클라우드 데이터가 속하는 대상의 개략적인 윤곽을 대략적으로 설명한다.

단계 S114에 있어서, 상기 초기 보완 포인트 클라우드 및 상기 원본 포인트 클라우드에 대해 캐스케이드를 수행하여, 상기 제1 포인트 클라우드 데이터를 획득한다.

일부 실시예에서, 추정된 원본 포인트 클라우드 데이터의 대략적인 윤곽, 즉 초기 보완 포인트 클라우드 및 원본 포인트 클라우드 데이터를 병합하여, 제1 포인트 클라우드 데이터를 획득한다.

상기 단계 S111 내지 단계 S114는 포인트 클라우드 보완 네트워크의 확률 생성 네트워크를 이용하여 구현될 수 있으며, 상기 확률 생성 네트워크를 훈련하는 과정에서, 잔류 결함 포인트 클라우드의 분포와 특징 및 이에 대응하는 완전한 포인트 클라우드의 분포와 특징을 학습함으로써, 적용 시 잔류 결함 포인트 클라우드의 형태에 부합되고 합리적인 윤곽을 갖는 대략적인 포인트 클라우드를 생성할 수 있다. 즉 확률 생성 네트워크를 사용하여 보완될 네트워크에 대응하는 합리적인 윤곽을 갖는 초기 보완 포인트 클라우드를 생성한다. 확률 생성 네트워크에 의해 출력된 초기 보완 포인트 클라우드와 원본 포인트 클라우드 데이터를 병합하여, 제1 포인트 클라우드를 획득하고, 포인트 클라우드 보완 네트워크의 관계 향상 네트워크에 입력하며, 즉 단계 S115로 진입한다.

단계 S115에 있어서, 복수 개의 제1 포인트 클라우드 데이터 중의 처리될 포인트의 목표 특징에 기반하여, 상기 원본 포인트 클라우드 특징에 대해 포인트 클라우드 보완을 수행하여, 제2 포인트 클라우드 데이터를 생성한다.

일부 실시예에서, 관계 향상 네트워크에서, 제1 포인트 클라우드 데이터 중의 각 포인트에 대해, 먼저, 상기 포인트의 복수 그룹의 상이한 스케일의 인접 포인트를 결정하며; 그 다음, 각 그룹의 인접 포인트와 상기 포인트 사이의 연관 관계를 결정하며; 여기서, 연관 관계는 한 그룹의 인접 포인트에서 각 인접 포인트와 상기 포인트 사이의 인터랙션을 나타내기 위한 것이며; 인접 포인트와 상기 포인트 사이의 인터랙션 파라미터 및 가중치 계수를 통해 나타낼 수 있다. 복수 그룹의 인접 포인트 중의 각 그룹의 인접 포인트에 대해, 한 그룹의 인접 포인트에서, 각 인접 포인트와 소속 포인트 사이의 인터랙션 파라미터를 분석한다. 상기 인터랙션 파라미터에 기반하여, 한 그룹의 인접 포인트와 소속 포인트 사이의 연관 관계를 전반적으로 결정할 수 있음으로써, 각 그룹의 인접 포인트와 소속 포인트 사이의 연관 관계를 획득할 수 있다. 이로써, 각 포인트와 복수 그룹의 인접 포인트 사이의 연관 관계를 결정함으로써, 전체 캐스케이드 포인트 클라우드와 캐스케이드 포인트 클라우드의 복수 그룹의 인접 포인트 사이의 연관 관계를 획득할 수 있다. 이와 같이, 포인트 클라우드의 상이한 스케일 규모의 인접 포인트의 구조적 관계를 학습함으로써, 포인트 클라우드 보완의 정확도가 향상된다. 한 그룹의 인접 포인트와 소속 포인트 사이의 연관 관계에 따라, 초기 보완 포인트 클라우드의 포인트 클라우드 특징에 대해 강화를 수행하여, 더욱 정밀한 포인트 클라우드 특징을 획득하며, 상기 더욱 정밀한 포인트 클라우드 특징을 통해, 원본 포인트 클라우드 데이터에 대해 보안을 수행하여, 제2 포인트 클라우드 데이터를 획득한다. 이와 같이, 보완될 포인트 클라우드의 확률 분포를 고려하여, 원본 포인트 클라우드 데이터의 합리적인 윤곽을 예측할 수 있음으로써, 원본 포인트 클라우드 데이터의 형태에 부합되고 합리한 윤곽을 갖는 초기 보완 포인트 클라우드를 획득할 수 있으며; 또한 캐스케이드 포인트 클라우드에서의 상이한 스케일의 복수 그룹의 인접 포인트의 구조적 관계를 결합하여, 초기 보완 포인트 클라우드의 정밀도를 향상시킬 수 있으므로, 더욱 정밀한 포인트 클라우드 세부 정보를 가진 제2 포인트 클라우드 데이터를 획득할 수 있다.

하나의 구체적인 예에서, 원본 클라우드 데이터가 게임장에서 수집된 포인트 클라우드 데이터인 것으로 사용하고, 게임장 내의 게임의 경우, 포인트 클라우드 획득 장치를 사용하여 상기 게임이 진행되는 게임 테이블, 플레이어 및 게임 코인 등에 대해 이미지 수집을 수행하여, 원본 포인트 클라우드 데이터를 획득한다. 게임 장소에서 플레이이가 게임 코인을 내려다 볼 수 있으므로, 이 경우에서, 플레이어의 완전한 얼굴 이미지를 수집하기 어렵고; 또는, 플레이어의 손이 가려져 있으므로, 수집된 게임 코인 이미지도 불완전해지며; 이로써, 가려지는 등 원인이 존재하므로, 단일 포인트 클라우드 수집 장치에 의해 수집된 원본 포인트 클라우드 데이터가 불완전해짐으로써, 불완전한 포인트 클라우드 데이터를 통해 플레이어 간의 위치 관계를 정확하게 감지하기 어렵다. 본 출원의 실시예에서, 먼저 원본 포인트 클라우드 데이터의 윤곽을 대략적으로 추정하며; 그 다음, 추정된 대략적인 포인트 클라우드 및 원본 포인트 클라우드 데이터를 결합하여, 대략적으로 추정된 제1 포인트 클라우드 데이터를 획득하며; 마지막으로, 제1 포인트 클라우드 데이터 중의 특징을 통해 세부 강화를 수행하여, 상기 불완전한 원본 포인트 클라우드 데이터의 세부 정보를 복구하여, 원본 포인트 클라우드 데이터의 보완이 구현되어, 형태가 완전한 제2 포인트 클라우드 데이터를 획득하며; 이와 같이, 불완전한 원본 포인트 클라우드 데이터에 대해 보완을 수행함으로써, 게임 대상 간의 위치 관계를 정확하게 검출하는데 도움이 된다.

본 출원의 실시예는 포인트 클라우드 데이터 처리 장치를 제공하고, 도 3은 본 출원의 실시예의 포인트 클라우드 데이터 처리 장치의 구조 구성 모식도이며, 도 3에 도시된 바와 같이, 상기 포인트 클라우드 데이터 처리 장치(300) 는,

획득된 제1 포인트 클라우드 데이터에서, 어느 한 처리될 포인트의 복수 그룹의 인접 포인트를 결정하도록 구성된 제1 결정 모듈(301) - 상기 복수 그룹의 인접 포인트 중 각 그룹의 인접 포인트의 스케일은 상이함 - ;

각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계를 결정하도록 구성된 제2 결정 모듈(302);

상기 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계에 기반하여, 상기 처리될 포인트의 연관 특징을 결정하도록 구성된 제3 결정 모듈(303);

상기 복수 그룹의 인접 포인트에 대응하는 연관 특징에 기반하여, 상기 처리될 포인트의 목표 특징을 결정하도록 구성된 제4 결정 모듈(304); 및

복수 개의 상기 처리될 포인트의 목표 특징에 기반하여, 상기 제1 포인트 클라우드 데이터에 대해 포인트 클라우드 보완을 수행하여, 제2 포인트 클라우드 데이터를 생성하도록 구성된 제1 보완 모듈(305)을 포함한다.

일부 실시예에서, 상기 제4 결정 모듈(304)은,

상기 복수 그룹의 인접 포인트에 대응하는 연관 특징에 대해 평균 풀링 처리를 수행하여, 풀링 특징을 획득하도록 구성된 제1 처리 서브 모듈;

상기 풀링 특징에 기반하여, 각 그룹의 상기 인접 포인트와 상기 처리될 포인트의 그룹 연관 정도를 결정하도록 구성된 제1 결정 서브 모듈; 및

상기 그룹 연관 정도 및 상기 연관 특징에 기반하여, 상기 처리될 포인트의 목표 특징을 결정하도록 구성된 제2 결정 서브 모듈을 포함한다.

일부 실시예에서, 상기 제1 처리 서브 모듈은,

상기 복수 그룹의 인접 포인트에 대응하는 연관 특징을 융합하여, 융합 특징을 획득하도록 구성된 제1 융합 유닛; 및

상기 융합 특징에 대해 평균 풀링 처리를 수행하여, 상기 풀링 특징을 획득하도록 구성된 제1 처리 유닛을 포함한다.

일부 실시예에서, 상기 제1 결정 서브 모듈은,

상기 풀링 특징에 기반하여, 상기 각 그룹의 인접 포인트 중 각 인접 포인트와 상기 처리될 포인트 사이의 연관 정도를 결정하여, 포인트 연관 정도 세트를 획득하도록 구성된 제1 결정 유닛; 및

상기 각 그룹의 포인트 연관 정도 세트에 기반하여, 상기 각 그룹의 그룹 연관 정도를 결정하도록 구성된 제2 결정 유닛을 포함하며;

상기 제2 결정 서브 모듈은,

상기 각 그룹의 그룹 연관 정도에 기반하여 상기 각 그룹에 대응하는 연관 특징에 대해 조정을 수행하여, 상기 목표 특징을 획득하도록 구성된 제1 조정 유닛을 포함한다.

일부 실시예에서, 상기 제1 결정 서브 모듈은,

상기 풀링 특징이 상기 처리될 포인트의 키포인트 특징에 속하는 제1 신뢰도를 결정하도록 구성된 제3 결정 유닛;

상기 제1 신뢰도에 기반하여, 동일한 그룹의 인접 포인트에 대응하는 연관 특징이 상기 키포인트 특징에 속하는 제2 신뢰도를 결정하고, 제2 신뢰도 세트를 획득하도록 구성된 제4 결정 유닛; 및

상기 제2 신뢰도 세트에 기반하여, 상기 동일한 그룹의 인접 포인트가 속하는 그룹의 그룹 연관 정도를 결정하도록 구성된 제5 결정 유닛을 포함한다.

일부 실시예에서, 상기 제5 결정 유닛은,

상기 제2 신뢰도 세트 중의 제2 신뢰도에 대해 정규화 처리를 수행하여, 그룹 정규화 결과를 획득하도록 구성된 제1 처리 서브 유닛; 및

상기 그룹 정규화 결과에 기반하여, 상기 그룹 연관 정도를 결정하도록 구성된 제1 결정 서브 유닛을 포함한다.

일부 실시예에서, 상기 제2 결정 모듈(302)은,

상기 각 그룹의 인접 포인트의 제1 초기 특징 및 상기 처리될 포인트의 제2 초기 특징을 각각 결정하도록 구성된 제3 결정 서브 모듈;

제1 기설정된 값에 기반하여, 상기 제1 초기 특징에 대해 선형 변환을 수행하여, 제1 변환 특징을 획득하도록 구성된 제1 변환 서브 모듈;

상기 제1 기설정된 값에 기반하여, 상기 제2 초기 특징에 대해 선형 변환을 수행하여, 제2 변환 특징을 획득하도록 구성된 제2 변환 서브 모듈; 및

상기 각 그룹의 인접 포인트의 제1 변환 특징과 상기 제2 변환 특징 사이의 관계 파라미터를, 상기 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계로 결정하도록 구성된 제1 상호 작용 서브 모듈을 포함한다.

일부 실시예에서, 상기 제3 결정 모듈(303)은,

제2 기설정된 값에 기반하여, 상기 각 그룹의 인접 포인트의 제1 초기 특징에 대해 선형 변환을 수행하여, 제3 변환 특징을 획득하도록 구성된 제3 변환 서브 모듈 - 상기 제2 기설정된 값과 제1 기설정된 값 사이는 배수 관계를 가짐 - ; 및

상기 연관 관계 및 상기 각 그룹의 인접 포인트의 제3 변환 특징에 기반하여, 상기 처리될 포인트의 연관 특징을 결정하도록 구성된 제4 결정 서브 모듈을 포함한다.

일부 실시예에서, 상기 제4 결정 서브 모듈은,

상기 각 그룹의 인접 포인트에 대응하는 관계 파라미터에 기반하여, 상기 각 그룹의 인접 포인트의 제3 변환 특징에 대해 중합을 수행하여, 중합 특징을 획득하도록 구성된 제1 중합 유닛; 및

상기 중합 특징 및 상기 제2 초기 특징에 대해 융합을 수행하여, 상기 처리될 포인트의 연관 특징을 획득하도록 구성된 제1 융합 유닛을 포함한다.

일부 실시예에서, 상기 포인트 클라우드 데이터 처리 장치는,

상기 처리될 포인트에 대해 선형 변환을 수행하여, 변환된 처리될 포인트를 획득하도록 구성된 제1 변환 모듈; 및

상기 변환된 처리될 포인트의 복수 그룹의 상기 인접 포인트를 결정하도록 구성된 제5 결정 모듈을 더 포함한다.

상기 목표 특징에 대해 선형 변환을 수행하여, 핵심 목표 특징을 획득하도록 구성된 제2 변환 모듈;

상기 처리될 포인트의 제2 초기 특징에 대해 선형 변환을 수행하여, 상기 처리될 포인트의 잔차 특징을 획득하도록 구성된 제3 변환 모듈; 및

상기 잔차 특징 및 상기 핵심 목표 특징에 기반하여 상기 목표 특징에 대해 업데이트를 수행하여, 업데이트된 목표 특징을 획득하도록 구성된 제1 융합 모듈을 더 포함한다.

원본 포인트 클라우드 데이터를 획득하도록 구성된 제1 획득 모듈;

상기 원본 포인트 클라우드 데이터의 확률 분포를 결정하도록 구성된 제6 결정 모듈;

상기 확률 분포에 기반하여, 상기 원본 포인트 클라우드 데이터에 대해 보완을 수행하여, 초기 보완 포인트 클라우드를 획득하도록 구성된 제2 보완 모듈; 및

상기 초기 보완 포인트 클라우드 및 상기 원본 포인트 클라우드에 대해 캐스케이드를 수행하여, 상기 제1 포인트 클라우드 데이터를 획득하도록 구성된 제1 캐스케이드 모듈을 더 포함한다.

설명해야 할 것은, 전술한 장치 실시예의 설명은, 전술한 방법 실시예의 설명과 유사하고, 방법 실시예와 유사한 유익한 효과를 갖는다. 본 출원의 장치 실시예에 공개되지 않은 기술적 세부사항은, 본 출원의 방법 실시예의 설명을 참조하여 이해한다.

설명해야 할 것은, 본 출원의 실시예에서, 소프트웨어 기능 모듈의 형태로 상기 포인트 클라우드 데이터 처리 방법을 구현하고, 독립적인 제품으로 판매 또는 사용되는 경우, 하나의 컴퓨터 판독 가능 저장 매체에 저장될 수도 있다. 이러한 이해에 기반하여, 본 출원의 실시예의 기술방안은 실질적으로 또는 선행기술에 기여하는 부분이 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 컴퓨터 기기(단말, 서버 등)가 본 출원의 각 실시예의 방법의 전부 또는 일부를 실행할 수 있도록 구성된 복수의 명령어를 포함하는 하나의 저장 매체에 저장된다. 전술한 저장 매체는, U 디스크, 모바일 하드 디스크, 판독 전용 메모리(Read Only Memory, ROM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다. 따라서, 본 출원의 실시예는 임의의 특정 하드웨어 및 소프트웨어 조합으로 한정되지 않는다.

이에 대응하여, 본 출원의 실시예는 컴퓨터 실행 가능 명령어를 포함하는 컴퓨터 프로그램 제품을 더 제공하며, 상기 컴퓨터 실행 가능 명령어는 실행된 후, 본 출원의 실시예에세 제공한 포인트 클라우드 데이터 처리 방법의 단계를 구현할 수 있다.

이에 대응하여, 본 출원의 실시예는 컴퓨터 저장 매체를 더 제공하고, 상기 컴퓨터 저장 매체는 컴퓨터 실행 가능한 명령어를 저장하고, 상기 컴퓨터 실행 가능 명령어가 프로세서에 의해 실행될 때 상기 실시예에 제공된 포인트 클라우드 데이터 처리 방법의 단계를 구현한다.

이에 대응하여, 본 출원의 실시예는 컴퓨터 기기를 제공하며, 도 4는 본 출원의 실시예에 따른 컴퓨터 기기의 구조 구성 모식도이며, 도 4에 도시된 바와 같이, 상기 컴퓨터 기기(400)는, 프로세서(401), 적어도 하나의 통신 버스, 통신 인터페이스(402), 적어도 하나의 외부 통신 인터페이스 및 메모리(403)를 포함한다. 여기서, 통신 인터페이스(402)는 이러한 컴포넌트 사이의 연결 통신을 구현하도록 구성된다. 여기서, 통신 인터페이스(402)는 디스플레이 스크린을 포함할 수 있고, 외부 통신 인터페이스는 표준 유선 인터페이스 및 무선 인터페이스를 포함할 수 있다. 여기서 상기 프로세서(401)는 메모리에서 이미지 처리 프로그램을 실행하여, 상기 실시예에서 제공된 포인트 클라우드 데이터 처리 방법의 단계를 구현하도룩 구성된다.

상기 포인트 클라우드 데이터 처리 장치, 컴퓨터 기기 및 저장 매체 실시예의 설명은, 전술한 방법 실싱예의 설명과 유사하며, 상응한 방법 실시예와 유사한 기술적 설명 및 유익한 효과를 가지며, 편폭의 제한으로, 전술한 방법 실시예의 기재를, 여기서 반복하지 않는다. 본 출원의 포인트 클라우드 데이터 처리 장치, 컴퓨터 기기 및 저장 매체의 실시예에서 개시하지 않은 기술의 세부사항은, 본 출원의 방법 실시예의 설명을 참조하여 이해한다.

이해해야 할 것은, 명세서에 언급된 “하나의 실시예” 또는 “일 실시예”는 실시예와 관련된 특정 특징, 구조 또는 특성이 본 출원의 적어도 하나의 실시예에 포함된다는 것을 의미한다. 따라서, 전체 설명에 나타난 “하나의 실시예에서” 또는 “일 실시예에서”는 반드시 동일한 실시예를 지칭하는 것은 아니다. 또한, 이러한 특정 특징, 구조 또는 특성은 임의의 적절한 방식으로 하나 또는 복수 개의 실시예에서 조합될 수 있다. 이해해야 할 것은, 본 출원의 다양한 실시예에 있어서, 상기 각 과정의 번호의 크기는 실행 순서의 선후를 의미하지 않고, 각 과정의 실행 순서는 그 기능 및 내적 논리에 따라 결정되며, 본 출원의 실시예의 실시 과정에 대해 어떠한 한정도 하지 않는다. 전술한 본 출원의 실시예의 순번은 단지 설명을 위한 것이며, 실시예의 우열을 나타내지는 않는다. 설명해야 할 것은, 본 발명에서, 용어 “포함” 또는 이의 임의의 다른 변형은 비배타적인 포함을 포함하도록 의도됨으로써, 일련의 요소를 포함하는 프로세스, 방법, 물품 또는 장치로 하여금 이러한 요소를 포함하도록 할 뿐만 아니라, 명시적으로 열거되지 않은 다른 요소를 포함하도록 할 수도 있으며, 또는 이러한 프로세스, 방법, 물품, 또는 장치에 고유한 요소를 포함하도록 한다. 더 많은 한정이 없는 경우, 어구 “하나의……을 포함하다”에 의해 정의된 요소는, 상기 요소를 포함하는 과정, 방법, 물품 또는 장치에 다른 동일한 요소가 존재한다는 것을 배제하지 않는다.

본 출원에서 제공된 몇 개의 실시예에 있어서, 개시된 방법은 다른 방식으로 구현될 수 있음을 이해해야 한다. 이상에서 설명한 장치 실시예는 다만 예시적인 것이고, 예를 들면 상기 유닛의 분할은 다만 논리적 기능 분할일 뿐이고 실제 응용시 다른 분할 방식이 있을 수 있으며, 예를 들어, 복수의 유닛 또는 컴포넌트는 다른 하나의 시스템에 조합 또는 중합될 수 있거나, 일부 특징은 생략되거나 실행되지 않을 수 있다. 또한, 각각의 디스플레이되거나 논의된 구성 요소 사이의 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스를 통한 기기 또는 유닛의 간접 결합 또는 통신 연결일 수 있으며, 전기적, 기계적 또는 다른 형태일 수있다.

상기 분리된 부재로서 설명된 유닛은 물리적으로 분리될 수도 있고 물리적으로 분리되지 않을 수도 있으며, 유닛으로 디스플레이된 부재는 물리적 유닛일 수도 있고 아닐 수도 있으며, 즉 동일한 장소에 위치할 수도 있고, 또는 복수 개의 네트워크 유닛에 분포될 수도 있으며; 실제 필요에 따라 그 중의 일부 또는 전부를 선택하여 실시예의 방안의 목적을 구현할 수 있다.

또한, 본 출원의 각 실시예 중의 각 기능 유닛은 모두 하나의 처리 유닛에 중합될 수 있으며, 각 유닛은 각각 단독적으로 하나의 유닛으로 사용될 수 있으며, 둘 또는 둘 이상의 유닛이 하나의 유닛에 중합될 수 있으며; 상기 중합된 유닛은 하드웨어의 형태로 구현될 수 있으며, 소프트웨어 기능 유닛의 형태로 구현될 수도 있다. 당업자는 상기 방법 실시예를 구현하기 위한 모든 또는 일부 동작은 프로그램 명령어와 관련되는 하드웨어를 통해 완료될 수 있으며, 전술한 프로그램은 컴퓨터 판독 가능 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 때, 실행은 상기 방법 실시예의 단계를 포함하며; 전술한 저장 매체는 모바일 저장 기기, 판독 전용 메모리(Read Only Memory, ROM), 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

또는, 본 출원의 상기 중합된 유닛이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로 판매되거나 사용되는 경우 컴퓨터 판독 가능한 저장 매체에 저장될 수 있다. 이러한 이해에 기반하여, 본 출원의 실시예의 기술방안은 실질적으로 또는 선행기술에 기여하는 부분이 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 컴퓨터 기기(개인용 컴퓨터, 서버 및 네트워크 기기 등)가 본 출원의 각 실시예의 방법의 전부 또는 일부를 실행할 수 있도록 구성된 복수의 명령어를 포함하는 하나의 저장 매체에 저장된다. 전술한 저장 매체는, 모바일 저장 기기, ROM, 자기 디스크 또는 광 디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다. 이상의 설명은 다만 본 발명의 구체적인 실시 형태일뿐이고, 본 발명의 보호 범위는 이에 한정되지 않는다. 본 발명이 속하는 기술 분야의 통상의 기술자라면, 본 발명에서 개시된 기술적 범위 내의 변화 또는 교체가 모두 본 출원의 보호 범위 내에 속해야 함을 쉽게 알 수 있을 것이다. 따라서, 본 출원의 보호범위는 특허 청구범위의 보호범위를 기준으로 해야 한다.

Claims

포인트 클라우드 데이터 처리 방법으로서,
획득된 제1 포인트 클라우드 데이터에서, 어느 한 처리될 포인트의 복수 그룹의 인접 포인트를 결정하는 단계 - 상기 복수 그룹의 인접 포인트 중 각 그룹의 인접 포인트의 스케일은 상이함 - ;
상기 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계를 결정하는 단계;
상기 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계에 기반하여, 상기 처리될 포인트의 연관 특징을 결정하는 단계;
상기 복수 그룹의 인접 포인트에 대응하는 연관 특징에 기반하여, 상기 처리될 포인트의 목표 특징을 결정하는 단계; 및
복수 개의 상기 처리될 포인트의 목표 특징에 기반하여, 상기 제1 포인트 클라우드 데이터에 대해 포인트 클라우드 보완을 수행하여, 제2 포인트 클라우드 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제1항에 있어서,
상기 복수 그룹의 인접 포인트에 대응하는 연관 특징에 기반하여, 상기 처리될 포인트의 목표 특징을 결정하는 단계는,
상기 복수 그룹의 인접 포인트에 대응하는 연관 특징에 대해 평균 풀링 처리를 수행하여, 풀링된 특징을 획득하는 단계;
상기 풀링된 특징에 기반하여, 각 그룹의 상기 인접 포인트와 상기 처리될 포인트의 그룹 연관 정도를 결정하는 단계; 및
상기 그룹 연관 정도 및 상기 연관 특징에 기반하여, 상기 처리될 포인트의 목표 특징을 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제2항에 있어서,
상기 복수 그룹의 인접 포인트에 대응하는 연관 특징에 대해 평균 풀링 처리를 수행하여, 풀링된 특징을 획득하는 단계는,
상기 복수 그룹의 인접 포인트에 대응하는 연관 특징을 융합하여, 융합 특징을 획득하는 단계; 및
상기 융합 특징에 대해 평균 풀링 처리를 수행하여, 상기 풀링된 특징을 획득하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제2항에 있어서,
상기 풀링된 특징에 기반하여, 각 그룹의 상기 인접 포인트와 상기 처리될 포인트의 그룹 연관 정도를 결정하는 단계는,
상기 풀링된 특징에 기반하여, 상기 각 그룹의 인접 포인트의 각 인접 포인트와 상기 처리될 포인트 사이의 연관 정도를 결정하고, 포인트 연관 정도 세트를 획득하는 단계; 및
상기 각 그룹의 포인트 연관 정도 세트에 기반하여, 상기 각 그룹의 그룹 연관 정도를 결정하는 단계를 포함하며;
상기 그룹 연관 정도 및 상기 연관 특징에 기반하여, 상기 처리될 포인트의 목표 특징을 결정하는 단계는,
상기 각 그룹의 그룹 연관 정도에 기반하여 상기 각 그룹에 대응하는 연관 특징에 대해 조정을 수행하여, 상기 목표 특징을 획득하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제2항 또는 제3항에 있어서,
상기 풀링된 특징에 기반하여, 각 그룹의 상기 인접 포인트와 상기 처리될 포인트의 그룹 연관 정도를 결정하는 단계는,
상기 풀링된 특징이 상기 처리될 포인트의 핵심 특징에 속하는 제1 신뢰도를 결정하는 단계;
상기 제1 신뢰도에 기반하여, 동일한 그룹의 인접 포인트에 대응하는 연관 특징이 상기 핵심 특징에 속하는 제2 신뢰도를 결정하여, 제2 신뢰도 세트를 획득하는 단계; 및
상기 제2 신뢰도 세트에 기반하여, 상기 동일한 그룹의 인접 포인트가 속하는 그룹의 그룹 연관 정도를 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제5항에 있어서,
상기 제2 신뢰도 세트에 기반하여, 상기 동일한 그룹의 인접 포인트가 속하는 그룹의 그룹 연관 정도를 결정하는 단계는,
상기 제2 신뢰도 세트 중의 제2 신뢰도에 대해 정규화 처리를 수행하여, 그룹 정규화 결과를 획득하는 단계; 및
상기 그룹 정규화 결과에 기반하여, 상기 그룹 연관 정도를 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계를 결정하는 단계는,
상기 각 그룹의 인접 포인트의 제1 초기 특징 및 상기 처리될 포인트의 제2 초기 특징을 각각 결정하는 단계;
제1 기설정된 값에 기반하여, 상기 제1 초기 특징에 대해 선형 변환을 수행하여, 제1 변환 특징을 획득하는 단계;
상기 제1 기설정된 값에 기반하여, 상기 제2 초기 특징에 대해 선형 변환을 수행하여, 제2 변환 특징을 획득하는 단계; 및
상기 각 그룹의 인접 포인트의 제1 변환 특징과 상기 제2 변환 특징 사이의 관계 파라미터를, 상기 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계로 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제7항에 있어서,
상기 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계에 기반하여, 상기 처리될 포인트의 연관 특징을 결정하는 단계는,
제2 기설정된 값에 기반하여, 상기 각 그룹의 인접 포인트의 제1 초기 특징에 대해 선형 변환을 수행하여, 제3 변환 특징을 획득하는 단계 - 상기 제2 기설정된 값과 제1 기설정된 값 사이는 배수 관계를 가짐 - ; 및
상기 연관 관계 및 상기 각 그룹의 인접 포인트의 제3 변환 특징에 기반하여, 상기 처리될 포인트의 연관 특징을 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제8항에 있어서,
상기 연관 관계 및 상기 각 그룹의 인접 포인트의 제3 변환 특징에 기반하여, 상기 처리될 포인트의 연관 특징을 결정하는 단계는,
상기 각 그룹의 인접 포인트에 대응하는 관계 파라미터에 기반하여, 상기 각 그룹의 인접 포인트의 제3 변환 특징에 대해 중합을 수행하여, 중합 특징을 획득하는 단계; 및
상기 중합 특징 및 상기 제2 초기 특징에 대해 융합을 수행하여, 상기 처리될 포인트의 연관 특징을 획득하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제1항 내지 제9항 중 어느 한 항에 있어서,
상기 획득된 제1 포인트 클라우드 데이터에서, 어느 한 처리될 포인트의 복수 그룹의 인접 포인트를 결정하기 전에, 상기 포인트 클라우드 데이터 처리 방법은,
상기 처리될 포인트에 대해 선형 변환을 수행하여, 변환된 처리될 포인트를 획득하는 단계; 및
상기 변환된 처리될 포인트의 복수 그룹의 상기 인접 포인트를 결정하는 단계를 더 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제2항 내지 제10항 중 어느 한 항에 있어서,
상기 복수 그룹의 인접 포인트에 대응하는 연관 특징에 기반하여, 상기 처리될 포인트의 목표 특징을 결정한 후, 상기 포인트 클라우드 데이터 처리 방법은,
상기 목표 특징에 대해 선형 변환을 수행하여, 핵심 목표 특징을 획득하는 단계;
상기 처리될 포인트의 제2 초기 특징에 대해 선형 변환을 수행하여, 상기 처리될 포인트의 잔차 특징을 획득하는 단계; 및
상기 잔차 특징 및 상기 핵심 목표 특징에 기반하여 상기 목표 특징에 대해 업데이트를 수행하여, 업데이트된 목표 특징을 획득하는 단계를 더 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
제1항 내지 제11항 중 어느 한 항에 있어서,
상기 포인트 클라우드 데이터 처리 방법은,
원본 포인트 클라우드 데이터를 획득하는 단계;
상기 원본 포인트 클라우드 데이터의 확률 분포를 결정하는 단계;
상기 확률 분포에 기반하여, 상기 원본 포인트 클라우드 데이터에 대해 보완을 수행하여, 1차 보완 포인트 클라우드를 획득하는 단계; 및
상기 1차 보완 포인트 클라우드 및 상기 원본 포인트 클라우드에 대해 캐스케이드를 수행하여, 상기 제1 포인트 클라우드 데이터를 획득하는 단계를 더 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 방법.
포인트 클라우드 데이터 처리 장치로서,
상기 포인트 클라우드 데이터 처리 장치는,
획득된 제1 포인트 클라우드 데이터에서, 어느 한 처리될 포인트의 복수 그룹의 인접 포인트를 결정하도록 구성된 제1 결정 모듈 - 상기 복수 그룹의 인접 포인트 중 각 그룹의 인접 포인트의 스케일은 상이함 - ;
상기 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계를 결정하도록 구성된 제2 결정 모듈;
상기 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계에 기반하여, 상기 처리될 포인트의 연관 특징을 결정하도록 구성된 제3 결정 모듈; 및
상기 복수 그룹의 인접 포인트에 대응하는 연관 특징에 기반하여, 상기 처리될 포인트의 목표 특징을 결정하도록 구성된 제4 결정 모듈을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 장치.
제13항에 있어서,
상기 제4 결정 모듈은,
상기 복수 그룹의 인접 포인트에 대응하는 연관 특징에 대해 평균 풀링 처리를 수행하여, 풀링된 특징을 획득하도록 구성된 제1 처리 서브 모듈;
상기 풀링된 특징에 기반하여, 각 그룹의 상기 인접 포인트와 상기 처리될 포인트의 그룹 연관 정도를 결정하도록 구성된 제1 결정 서브 모듈; 및
상기 그룹 연관 정도 및 상기 연관 특징에 기반하여, 상기 처리될 포인트의 목표 특징을 결정하도록 구성된 제2 결정 서브 모듈을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 장치.
제14항에 있어서,
상기 처리 서브 모듈은,
상기 복수 그룹의 인접 포인트에 대응하는 연관 특징을 융합하여, 융합 특징을 획득하며;
상기 융합 특징에 대해 평균 풀링 처리를 수행하여, 상기 풀링된 특징을 획득하도록 구성된 것을 특징으로 하는 포인트 클라우드 데이터 처리 장치.
제14항에 있어서,
상기 제1 결정 서브 모듈은,
상기 풀링된 특징에 기반하여, 상기 각 그룹의 인접 포인트의 각 인접 포인트와 상기 처리될 포인트 사이의 연관 정도를 결정하여, 포인트 연관 정도 세트를 획득하도록 구성된 제1 결정 유닛; 및
상기 각 그룹의 포인트 연관 정도 세트에 기반하여, 상기 각 그룹의 그룹 연관 정도를 결정하도록 구성된 제2 결정 유닛을 포함하며;
상기 제2 결정 서브 모듈은,
상기 각 그룹의 그룹 연관 정도에 기반하여 상기 각 그룹에 대응하는 연관 특징에 대해 조정을 수행하여, 상기 목표 특징을 획득하도록 구성된 제1 조정 유닛을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 장치.
제14항 또는 제15항에 있어서,
상기 제1 결정 서브 모듈은,
상기 풀링된 특징이 상기 처리될 포인트의 핵심 특징에 속하는 제1 신뢰도를 결정하도록 구성된 제3 결정 유닛;
상기 제1 신뢰도에 기반하여, 동일한 그룹의 인접 포인트에 대응하는 연관 특징이 상기 핵심 특징에 속하는 제2 신뢰도를 결정하여, 제2 신뢰도 세트를 획득하도록 구성된 제4 결정 유닛; 및
상기 제2 신뢰도 세트에 기반하여, 상기 동일한 그룹의 인접 포인트가 속하는 그룹의 그룹 연관 정도를 결정하도록 구성된 제5 결정 유닛을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 장치.
제17항에 있어서,
상기 제5 결정 유닛은,
상기 제2 신뢰도 세트 중의 제2 신뢰도에 대해 정규화 처리를 수행하여, 그룹 정규화 결과를 획득하도록 구성된 제1 처리 서브 유닛; 및
상기 그룹 정규화 결과에 기반하여, 상기 그룹 연관 정도를 결정하도록 구성된 제1 결정 서브 유닛을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 장치.
제13항 내지 제18항 중 어느 한 항에 있어서,
상기 제2 결정 모듈은,
상기 각 그룹의 인접 포인트의 제1 초기 특징 및 상기 처리될 포인트의 제2 초기 특징을 각각 결정하도록 구성된 제3 결정 서브 모듈;
제1 기설정된 값에 기반하여, 상기 제1 초기 특징에 대해 선형 변환을 수행하여, 제1 변환 특징을 획득하도록 구성된 제1 변환 서브 모듈;
상기 제1 기설정된 값에 기반하여, 상기 제2 초기 특징에 대해 선형 변환을 수행하여, 제2 변환 특징을 획득하도록 구성된 제2 변환 서브 모듈; 및
상기 각 그룹의 인접 포인트의 제1 변환 특징과 상기 제2 변환 특징 사이의 관계 파라미터를, 상기 각 그룹의 인접 포인트와 상기 처리될 포인트 사이의 연관 관계로 결정하도록 구성된 제1 상호 작용 서브 모듈을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 장치.
제19항에 있어서,
상기 제3 결정 모듈은,
제2 기설정된 값에 기반하여, 상기 각 그룹의 인접 포인트의 제1 초기 특징에 대해 선형 변환을 수행하여, 제3 변환 특징을 획득하도록 구성된 제3 변환 서브 모듈 - 상기 제2 기설정된 값과 제1 기설정된 값 사이는 배수 관계를 가짐 - ; 및
상기 연관 관계 및 상기 각 그룹의 인접 포인트의 제3 변환 특징에 기반하여, 상기 처리될 포인트의 연관 특징을 결정하도록 구성된 제4 결정 서브 모듈을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 장치.
제20항에 있어서,
상기 제4 결정 서브 모듈은,
상기 각 그룹의 인접 포인트에 대응하는 관계 파라미터에 기반하여, 상기 각 그룹의 인접 포인트의 제3 변환 특징에 대해 중합을 수행하여, 중합 특징을 획득하도록 구성된 제1 중합 유닛; 및
상기 중합 특징 및 상기 제2 초기 특징에 대해 융합을 수행하여, 상기 처리될 포인트의 연관 특징을 획득하도록 구성된 제1 융합 유닛을 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 장치.
제13항 내지 제21항 중 어느 한 항에 있어서,
상기 포인트 클라우드 데이터 처리 장치는,
상기 처리될 포인트에 대해 선형 변환을 수행하여, 변환된 처리될 포인트를 획득하도록 구성된 제1 변환 모듈; 및
상기 변환된 처리될 포인트의 복수 그룹의 상기 인접 포인트를 결정하도록 구성된 제5 결정 모듈을 더 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 장치.
제14항 내지 제22항 중 어느 한 항에 있어서,
상기 포인트 클라우드 데이터 처리 장치는,
상기 목표 특징에 대해 선형 변환을 수행하여, 핵심 목표 특징을 획득하도록 구성된 제2 변환 모듈;
상기 처리될 포인트의 제2 초기 특징에 대해 선형 변환을 수행하여, 상기 처리될 포인트의 잔차 특징을 획득하도록 구성된 제3 변환 모듈; 및
상기 잔차 특징 및 상기 핵심 목표 특징에 기반하여 상기 목표 특징에 대해 업데이트를 수행하여, 업데이트된 목표 특징을 획득하도록 구성된 제1 융합 모듈을 더 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 장치.
제13항 내지 제24항 중 어느 한 항에 있어서,
상기 포인트 클라우드 데이터 처리 장치는,
원본 포인트 클라우드 데이터를 획득하도록 구성된 제1 획득 모듈;
상기 원본 포인트 클라우드 데이터의 확률 분포를 결정하도록 구성된 제6 결정 모듈;
상기 확률 분포에 기반하여, 상기 원본 포인트 클라우드 데이터에 대해 보완을 수행하여, 1차 보완 포인트 클라우드를 획득하도록 구성된 제2 보완 모듈; 및
상기 1차 보완 포인트 클라우드 및 상기 원본 포인트 클라우드에 대해 캐스케이드를 수행하여, 상기 제1 포인트 클라우드 데이터를 획득하도록 구성된 제1 캐스케이드 모듈을 더 포함하는 것을 특징으로 하는 포인트 클라우드 데이터 처리 장치.
컴퓨터 저장 매체로서,
상기 컴퓨터 저장 매체에는 컴퓨터 실행 가능한 명령어가 기록되고, 상기 컴퓨터 실행 가능한 명령어는 실행된 후, 제1항 내지 제12항 중 어느 한 항에 따른 포인트 클라우드 데이터 처리 방법의 단계를 구현 가능한 것을 특징으로 하는 컴퓨터 저장 매체.
컴퓨터 기기로서,
상기 컴퓨터 기기에는 메모리 및 프로세서가 포함되고, 상기 메모리에는 컴퓨터 실행 가능한 명령어가 저장되며, 상기 프로세서는 상기 메모리에서의 컴퓨터 실행 가능한 명령어를 실행할 때 제1항 내지 제12항 중 어느 한 항에 따른 포인트 클라우드 데이터 처리 방법의 단계를 구현 가능한 것을 특징으로 하는 컴퓨터 기기.
컴퓨터 프로그램 제품으로서,
상기 컴퓨터 프로그램 제품은 컴퓨터 실행 가능한 명령어를 포함하고, 상기 컴퓨터 실행 가능한 명령어는 실행된 후, 제1항 내지 제12항 중 어느 한 항에 따른 포인트 클라우드 데이터 처리 방법의 단계를 구현 가능한 것을 특징으로 하는 컴퓨터 프로그램 제품.