KR20220143550A

KR20220143550A - 포인트 클라우드 인코더를 생성하는 방법 및 장치 및 포인트 클라우드 데이터를 생성하는 방법 및 장치, 전자 기기 및 컴퓨터 저장 매체

Info

Publication number: KR20220143550A
Application number: KR1020217026663A
Authority: KR
Inventors: 종앙 카이; 신이 첸; 준제 장; 하이유 자오; 슈아이 이
Original assignee: 센스타임 인터내셔널 피티이. 리미티드.
Priority date: 2021-04-15
Filing date: 2021-05-31
Publication date: 2022-10-25
Also published as: AU2021204622A1; CN115428020A; US20220335654A1

Abstract

포인트 클라우드 인코더를 생성하는 방법 및 장치, 포인트 클라우드 데이터를 생성하는 방법 및 장치, 전자 기기 및 컴퓨터 저장 매체를 개시하였다. 포인트 클라우드 인코더를 생성하는 방법은, 대상의 제1 포인트 클라우드 데이터 및 제2 포인트 클라우드 데이터를 획득하는 단계; 제1 인코더에 기반하여, 상기 제1 포인트 클라우드 데이터의 글로벌 특징의 제1 확율 분포를 결정하는 단계; 제2 인코더에 기반하여, 상기 제2 포인트 클라우드 데이터의 글로벌 특징의 제2 확율 분포를 결정하는 단계; 상기 제1 확율 분포 및 상기 제2 확율 분포 사이의 제1 차이에 기반하여, 상기 제1 인코더의 가중을 조정하여, 상기 제1 인코더의 타깃 가중을 획득하는 단계; 상기 제1 인코더 및 상기 타깃 가중에 따라 포인트 클라우드 인코더를 생성하는 단계를 포함한다.

Description

포인트 클라우드 인코더를 생성하는 방법 및 장치 및 포인트 클라우드 데이터를 생성하는 방법 및 장치, 전자 기기 및 컴퓨터 저장 매체

본 출원은 출원 번호가 10202103893T이고, 2021년 4월 15일에 싱가포르 특허청에 출원한 발명 명칭이 "포인트 클라우드 인코더를 생성하는 방법 및 장치 및 포인트 클라우드 데이터를 생성하는 방법 및 장치, 전자 기기 및 컴퓨터 저장 매체"인 싱가포르 특허 출원의 우선권을 주장하고, 상기 싱가포르 특허 출원의 전부 내용을 인용하여 참조로 한다.

본 발명의 실시예는 기계 학습에 관한 것이지만 이에 한정되지 않고, 특히 포인트 클라우드 인코더를 생성하는 방법 및 장치 및 포인트 클라우드 데이터를 생성하는 방법 및 장치, 전자 기기 및 컴퓨터 저장 매체에 관한 것이다.

예를 들어 모니터링 시나리오, 촬영 시나리오인 여러 타입의 시나리오에 레이저 레이더 또는 깊이 카메라를 전개하므로, 포인트 클라우드 데이터를 수집할 수 있고, 포인트 클라우드 데이터는 이미지의 추가 데이터로서, 시나리오 정보를 더욱 진실하게 획득할 수 있다.

그러나, 레이저 레이더 또는 깊이 카메라를 사용하여 수집된 포인트 클라우드 데이터는 일반적으로 비교적 희소하고 불완전하며, 예를 들어, 대상이 어느 차단물에 의해 차단될 경우, 대상의 차단된 영역의 포인트 클라우드 데이터를 수집할 수 없고, 대상의 차단된 영역의 포인트 클라우드 데이터를 결정하기 위해, 수집된 포인트 클라우드에 대해 보전을 수행해야, 대상의 차단된 영역의 포인트 클라우드 데이터를 획득할 수 있다.

따라서, 포인트 클라우드 인코더를 어떻게 생성하여, 특정된 대상의 포인트 클라우드 데이터에 대해 보전하는지는, 기술자가 해결해야 할 시급한 문제이다.

본 발명의 실시예는 포인트 클라우드 인코더 및 포인트 클라우드 데이터를 생성하는 방법, 장치, 기기 및 매체를 제공한다.

제1 방면에 있어서, 포인트 클라우드 인코더를 생성하는 방법을 제공하고, 상기 방법은, 대상의 제1 포인트 클라우드 데이터 및 제2 포인트 클라우드 데이터를 획득하는 단계 - 상기 제2 포인트 클라우드 데이터의 완전성은 상기 제1 포인트 클라우드 데이터의 완전성보다 큼 -; 제1 인코더에 기반하여, 상기 제1 포인트 클라우드 데이터의 글로벌 특징의 제1 확율 분포를 결정하는 단계; 제2 인코더에 기반하여, 상기 제2 포인트 클라우드 데이터의 글로벌 특징의 제2 확율 분포를 결정하는 단계 - 상기 제1 인코더와 상기 제2 인코더는 가중을 공유함 -; 상기 제1 확율 분포 및 상기 제2 확율 분포 사이의 제1 차이에 기반하여, 상기 제1 인코더의 가중을 조정하여, 상기 제1 인코더의 타깃 가중을 획득하는 단계; 및 상기 제1 인코더 및 상기 타깃 가중에 따라 포인트 클라우드 인코더를 생성하는 단계를 포함한다.

제2 방면에 있어서, 포인트 클라우드 데이터를 생성하는 방법을 제공하고, 상기 방법은, 대상을 촬영하여 획득한 처리될 포인트 클라우드 데이터를 획득하는 단계; 상기 처리될 포인트 클라우드 데이터 및 훈련 후의 제1 인코더에 기반하여, 상기 처리될 포인트 클라우드 데이터의 글로벌 특징의 타깃 확율 분포를 결정하는 단계; 상기 타깃 확율 분포에 기반하여 상기 처리될 포인트 클라우드 데이터에 대해 포인트 클라우드 보전을 수행하여, 타깃 포인트 클라우드 데이터를 생성하는 단계 - 상기 타깃 포인트 클라우드 데이터의 완전성은 상기 처리될 포인트 클라우드 데이터의 완전성보다 큼 -;를 포함하고, 상기 제1 인코더의 타깃 가중, 적어도 제1 인코더에 의해 결정된 제1 포인트 클라우드 데이터의 글로벌 특징의 제1 확율 분포, 및 제2 인코더에 의해 결정된 제2 포인트 클라우드 데이터의 글로벌 특징의 제2 확율 분포 사이의 제1 차이에 기반하여, 상기 제1 인코더의 가중을 조정하여 획득한 것이며, 상기 제2 포인트 클라우드 데이터의 완전성은 상기 제1 포인트 클라우드 데이터의 완전성보다 크다.

제3 방면에 있어서, 포인트 클라우드 인코더를 생성하는 장치를 제공하고, 상기 장치는, 대상의 제1 포인트 클라우드 데이터 및 제2 포인트 클라우드 데이터를 획득 - 상기 제2 포인트 클라우드 데이터의 완전성은 상기 제1 포인트 클라우드 데이터의 완전성보다 큼 -하기 위한 획득 유닛; 제1 인코더에 기반하여, 상기 제1 포인트 클라우드 데이터의 글로벌 특징의 제1 확율 분포를 결정하기 위한 제1 결정 유닛; 제2 인코더에 기반하여, 상기 제2 포인트 클라우드 데이터의 글로벌 특징의 제2 확율 분포를 결정 - 상기 제1 인코더와 상기 제2 인코더는 가중을 공유함 -하기 위한 제2 결정 유닛; 상기 제1 확율 분포 및 상기 제2 확율 분포 사이의 제1 차이에 기반하여, 상기 제1 인코더의 가중을 조정하여, 상기 제1 인코더의 타깃 가중을 획득하기 위한 조정 유닛; 상기 제1 인코더 및 상기 타깃 가중에 따라 포인트 클라우드 인코더를 생성하기 위한 생성 유닛을 포함한다.

제4 방면에 있어서, 포인트 클라우드 데이터를 생성하는 장치를 제공하고, 상기 장치는, 대상을 촬영하여 획득한 처리될 포인트 클라우드 데이터를 획득하기 위한 획득 유닛; 상기 처리될 포인트 클라우드 데이터 및 훈련 후의 제1 인코더에 기반하여, 상기 처리될 포인트 클라우드 데이터의 글로벌 특징의 타깃 확율 분포를 결정하기 위한 제1 결정 유닛; 상기 타깃 확율 분포에 기반하여 상기 처리될 포인트 클라우드 데이터에 대해 포인트 클라우드 보전을 수행하여, 타깃 포인트 클라우드 데이터를 생성 - 상기 타깃 포인트 클라우드 데이터의 완전성은 상기 처리될 포인트 클라우드 데이터의 완전성보다 큼 -하기 위한 제2 결정 유닛; 여기서, 상기 제1 인코더의 타깃 가중은, 적어도 제1 인코더에 의해 결정된 제1 포인트 클라우드 데이터의 글로벌 특징의 제1 확율 분포, 및 제2 인코더에 의해 결정된 제2 포인트 클라우드 데이터의 글로벌 특징의 제2 확율 분포 사이의 제1 차이에 기반하여, 상기 제1 인코더의 가중을 조정하여 획득한 것이고; 상기 제2 포인트 클라우드 데이터의 완전성은 상기 제1 포인트 클라우드 데이터의 완전성보다 크다.

제5 방면에 있어서, 전자 기기를 제공하고, 상기 전자 기기는, 메모리 및 프로세서를 포함하고, 상기 메모리가 상기 프로세서에서 작동 가능한 컴퓨터 프로그램을 저장하고, 상기 프로세서가 상기 컴퓨터 프로그램을 실행할 경우, 상기 제1 방면의 방법에서의 단계를 구현하고 또는 상기 제2 방면의 방법에서의 단계를 구현한다.

제6 방면에 있어서, 컴퓨터 저장 매체를 제공하고, 상기 컴퓨터 저장 매체가 하나 또는 복수 개의 프로그램을 저장하고, 상기 하나 또는 복수 개의 프로그램이 하나 또는 복수 개의 프로세서에 의해 실행될 수 있으므로, 상기 제1 방면의 방법에서의 단계를 구현하고 또는 상기 제2 방면의 방법에서의 단계를 구현한다.

제7 방면에 있어서, 컴퓨터 프로그램 제품을 제공하고, 이는 컴퓨터 실행가능한 명령어를 포함하며, 상기 컴퓨터 실행 가능한 명령어가 기기의 프로세서 중에 작동된 경우, 상기 프로세서는 상기 제1 방면의 방법에서의 단계를 샐행하고 또는 상기 제2 방면의 방법에서의 단계를 실행한다.

본 발명의 실시예에 있어서, 제1 인코더의 가중이, 제1 포인트 클라우드 데이터의 제1 확율 분포 및 제2 포인트 클라우드 데이터의 제2 확율 분포에 기반하여 조정한 것이므로, 훈련하여 획득한 제1 인코더의 타깃 가중이 완전성이 비교적 낮은 제1 포인트 클라우드 데이터에 적응될 수 있을 뿐만 아니라, 완전성이 비교적 높은 제2 포인트 클라우드 데이터에 적응될 수도 있어, 조정하여 획득한 제1 인코더의 타깃 가중이 생성한 포인트 클라우드 인코더에 기반하여, 완전성이 비교적 낮은 포인트 클라우드 데이터의 보전을 가이드할 수 있으므로, 진실하고 완전한 포인트 클라우드 데이터를 획득하여, 보전 후의 포인트 클라우드 데이터가 더욱 완전할 뿐만 아니라, 진실 대상에 대한 설명이 더욱 정확할 수 있다.

본 발명의 실시예에서의 기술 방안을 더욱 명확하게 설명하기 위해, 아래에 실시예 또는 종래 기술에 대한 설명에 필요한 도면을 간략하게 소개하며, 아래의 설명에서의 도면은 본 발명의 일부 실시예일 뿐, 본 기술 분야의 통상의 기술자는, 창조적 작업 없이도, 이러한 도면에 따라 다른 도면을 획득할 수 있는 것은 자명한 것이다.
도 1은 본 발명의 실시예에서 제공한 감지 경고 시스템의 구조 예시도이다.
도 2는 본 발명의 실시예에서 제공한 포인트 클라우드 인코더를 생성하는 방법의 구현 흐름 예시도이다.
도 3은 본 발명의 실시예에서 제공한 다른 포인트 클라우드 인코더를 생성하는 방법의 구현 흐름 예시도이다.
도 4는 본 발명의 실시예에서 제공한 또 다른 포인트 클라우드 인코더를 생성하는 방법의 구현 흐름 예시도이다.
도 5는 본 발명의 실시예에서 제공한 또 다른 포인트 클라우드 인코더를 생성하는 방법의 구현 흐름 예시도이다.
도 6은 본 발명의 실시예에서 제공한 포인트 클라우드 데이터를 생성하는 방법의 구현 흐름 예시도이다.
도 7은 본 발명의 실시예에서 제공한 확율 모델 네트워크의 아키텍쳐 예시도이다.
도 8은 본 발명의 실시예에서 제공한 포인트 클라우드 인코더를 생성하는 장치의 구성 구조 예시도이다.
도 9는 본 발명의 실시예에서 제공한 포인트 클라우드 데이터를 생성하는 장치의 구성구조 예시도이다.
도 10은 본 발명의 실시예에서 제공한 전자 기기의 하드웨어 엔티티 예시도이다.

아래는 실시예를 통해 첨부 도면을 결합하여 구체적으로 본 발명의 기술방안에 대해 상세한 설명을 수행할 것이다. 아래의 복수 개의 실시예는 서로 결합될 수 있고, 동일하거나 비슷한 개념 또는 과정은 어느 실시예에서 더 이상 설명하지 않는다.

설명해야 할 것은, 본 발명의 인스턴스에 있어서, "제1", "제2"등은 유사한 대상을 구별하기 위한 것이고, 타깃의 순서 또는 선착순을 설명하기 위한 것은 아니다. 또한 본 발명의 실시예에 기재된 기술방안은, 충돌없이 임의로 조합될 수 있다.

도 1는 본 발명의 실시예에서 제공한 감지 경고 시스템의 구조 예시도이고, 도 1에 도시된 바와 같이, 상기 시스템(100)는 포인트 클라우드 수집 컴포넌트(101), 감지 기기(102) 및 관리 시스템(103)을 포함할 수 있다.

포인트 클라우드 수집 컴포넌트(101)는 감지 기기(102)와 통신 연결할 수 있다. 감지 기기(102)는 서버와 연결할 수 있으므로, 서버가 감지 기기(102)에 대해 대응된 제어를 수행할 수 있고, 감지 기기(102)도 서버가 제공한 서비스를 사용할 수 있다. 일부 실시 형태에 있어서, 감지 기기(102)는 다만 하나의 포인트 클라우드 수집 컴포넌트(101)에 대응될 수 있다. 일부 실시 형태에 있어서, 감지 기기(102)는 복수 개의 포인트 클라우드 수집 컴포넌트(101)에 대응될 수 있다. 일부 실시 형태에 있어서, 감지 기기(102)는 게임 장소에 설치될 수 있다. 예를 들어, 감지 기기(102)는 게임 장소에서의 서버와 연결될 수 있다. 다른 실시 방식에 있어서, 감지 기기(102)는 클라우드에 설치될 수 있다.

감지 기기(102)는 포인트 클라우드 수집 컴포넌트(101)가 수집한 실시적인 포인트 클라우드에 기반하여 게임 장소에서의 게임 테이블 및 게임 테이블 옆의 게임 참가자에 대해 분석을 수행하므로, 게임 참가자의 동작이 규정에 부합한지 여부 또는 정당한지 여부를 결정한다.

감지 기기(102)는 관리 시스템(103)과 통신 연결할 수 있다. 감지 기기(102)가 게임 참가자의 동작의 불정당함을 결정할 경우, 감지 기기(102)는 동작이 불정당한 게임 참가자에 대응된 게임 테이블 상의 관리 시스템(103)에 타깃 경고 정보를 송신하므로, 관리 시스템(103)이 상기 타깃 경고 정보에 대응된 경고를 송신할 수 있으며, 상기 게임 테이블을 통해 게임 참가자에 대해 경고를 수행할 수 있다.

일부 시나리오에 있어서, 상기 감지 기기(102)는 게임 장소에 배치된 카메라와 컴포넌트 연결할 수 있으므로, 융합 포인트 클라우드 및 이미지 데이터에 대해 더욱 정확한 분석을 수행할 수 있다. 2차원의 이미지 또는 영상에 비해, 포인트 클라우드의 데이터 포맷은 물체 거리 센서의 거리 정보를 손실하지 않고, 즉 물체가 공간에서의 3차원 위치 정보를 획득할 수 있다. 2차원의 이미지 또는 영상으로 인한 모호성(예를 들어 인체가 3차원 공간에서의 위치를 알수 없음)은 포인트 클라우드를 사용하여 방지할 수 있다. 따라서, 더욱 정확한 게임 참가자의 동작 또는 거동이 게임 규정에 부합한지 여부를 위해, 포인트 클라우드 수집 컴포넌트(101)를 통해 3차원의 포인트 클라우드 데이터를 획득한다. 그러나, 수집된 포인트 클라우드 데이터는 일반적으로 비교적 희소하고 불완전하며, 수집된 불완전한 포인트 클라우드 데이터에 대해 보전을 수행하고 비교적 완전한 형상을 생성하며, 깊이 네트워크 모델을 통해 구현할 수 있고, 그러나 모델의 가중을 어떻게 결정하여, 수집된 대상에 대한 포인트 클라우드 데이터에 대해 보전을 수행하므로, 완전성이 비교적 높은 포인트 클라우드 데이터를 획득하는지는, 기술자가 해결해야 할 시급한 문제이다.

포인트 클라우드 보전을 위한 깊이 학습 모델은 일반적으로 두 부분으로 구성되고, 대략 포인트 클라우드를 생성하는 네트워크 구조 및 본 기초 상에서 데테일을 향상하여 생성한 최종 포인트 클라우드의 네트워크 구조를 포함한다. 본 발명의 실시예에 있어서 주로 관심하는 것은 대략 포인트 클라우드를 생성하는 네트워크 구조에서 포인트 클라우드 인코더를 생성하는 방법이다.

관련 기술에 있어서, 존재한 생성한 대략 포인트 클라우드의 네트워크 구조는 일반적으로 인코더 및 디코더를 포함하고, 인코더의 입력은 불완전한 포인트 클라우드이고, 출력은 상기 포인트 클라우드의 표면 특징이다. 표면 특징을 디코더의 입력으로 하고, 디코더는 상기 표면 특징에 따라 대략의 완전 포인트 클라우드를 생성한다. 본 방법의 결점은 생성한 대략 포인트 클라우드는 일반적으로 상기 포인트 클라우드가 속한 카테고리의 대략 형상와 비슷하지만, 입력한 불완전한 포인트 클라우드와 함께 제공된 데테일을 무시한다는 것이다. 여기서, 포인트 클라우드의 표면 특징은 포인트 클라우드의 특징 정보일 수 있다.

본 발명의 실시예는 복합식의 대략 포인트 클라우드를 생성하는 네트워크 구조를 제공하고, 상기 네트워크 구조는 두 개의 평행 루트를 포함하며, 하나의 루트는 포인트 클라우드 재구축 루트이고, 다른 하나의 루트는 포인트 클라우드 보전 루트이다. 여기서, 포인트 클라우드 재구축 루트는 다만 훈련 중에 사용되고, 따라서 실제 응용에서의 포인트 클라우드 보전의 속도를 영향하지 않는다. 포인트 클라우드 보전 루트는 불완전한 포인트 클라우드를 입력으로 한 후, 인코더를 사용하여 불완전한 포인트 클라우드의 표면 특징 및 표면 특징에 따라 생성한 완전한 포인트 클라우드의 분포를 추출하고, 디코더는 다시 완전한 포인트 클라우드의 분포에 기반하여 완전한 형상의 대략 포인트 클라우드를 형성한다.

도 2는 본 발명의 실시예에서 제공한 포인트 클라우드 인코더를 생성하는 방법의 구현 흐름 예시도이고, 도 2에 도시된 바와 같이, 상기 방법은 포인트 클라우드 인코더를 생성하는 장치에 응용되고, 상기 방법은 단계 S201 내지 S205를 포함한다,

단계 S201에 있어서, 대상의 제1 포인트 클라우드 데이터 및 제2 포인트 클라우드 데이터를 획득하고, 제2 포인트 클라우드 데이터의 완전성은 제1 포인트 클라우드 데이터의 완전성보다 크다.

포인트 클라우드 인코더를 생성하는 장치는 신경망 장치일 수 있고, 신경망은 확율 모델 네트워크(Probabilistic Modeling Network, PMNet)일 수 있다. 포인트 클라우드 인코더를 생성하는 장치는 칩 또는 프로세서 등에 전개될 수 있다. 칩 또는 프로세서는 핸드폰(Mobile Phone), 태블릿 컴퓨터(Pad), 무선 송수신 기능을 구비한 컴퓨터, 개인용 정보 단말, 데스크탑 컴퓨터, 개인 정보 단말기, 휴대용 미디어 플레이어, 스마트 스피커, 내비게이션 기기, 스마트 시계, 스마트 안경, 스마트 목걸이 및 기타 웨어러블 기기, 보수계, 디지털 TV, 가상 현실(VirtualReality, VR)단말 기기, 증강 현실(Augmented Reality, AR)단말 기기, 공업 제어(Industrial Control)에서의 무선단말, 무인(Self Driving)에서의 무선 단말, 원격 수술(Remote Medical Surgery)에서의 무선 단말, 스마트 그리드(Smart Grid)에서의 무선 단말, 운송안전(Transportation Safety)에서의 무선 단말, 스마트 시티(Smart City)에서의 무선 단말, 스마트 홈(Smart Home)에서의 무선 단말 및 차량 인터넷시스템에서의 차량, 차량 탑재 기기 또는 차량 탑재 모듈 중 적어도 하나의 기기에 응용될수 있다.

제1 포인트 클라우드 데이터는 레이저 레이더 또는 깊이 카메라가 대상에 대해 촬영하여 획득한 포인트 클라우드 데이터일 수 있다. 일부 실시 형태에 있어서, 포인트 클라우드 인코더를 생성하는 장치는 레이저 레이더 또는 깊이 카메라로부터 어느 대상에 대해 촬영한 이미지에서 제1 포인트 클라우드 데이터를 결정할 수 있다. 일부 실시 형태에 있어서, 포인트 클라우드 인코더를 생성하는 장치는 레이저 레이더 또는 깊이 카메라로부터 어느 대상에 대해 촬영한 영상에서 이미지를 캡쳐하여, 제1 포인트 클라우드 데이터를 결정할 수 있다. 대상은 현실에 존재한 임의의 하나의 사물일 수 있고, 예를 들어, 일부 실시 형태에 있어서, 대상은 게임 장소에서의 게임 테이블, 또는, 게임 장소에서의 게임 테이블 및 게임 테이블 주변의 게임 참가자일 수 있다. 다른 실시 방식에 있어서, 대상은 게임 코인 또는 게임 참가자의 어느 부위(예를 들어 손 및 머리등 중 적어도 하나)일 수 있다. 일부 실시 형태에 있어서, 제1 포인트 클라우드 데이터는 하나의 이미지의 포인트 클라우드 데이터에 대응될 수 있다. 다른 일부 실시 형태에 있어서, 제1 포인트 클라우드 데이터는 복수 개의 이미지의 포인트 클라우드 데이터에 대응될 수 있다. 복수 개의 이미지는 타깃 가중을 결정하는데 필요하는 모든 이미지일 수 있다.

제1 포인트 클라우드 데이터는 불완전한 포인트 클라우드 데이터일 수 있다. 제1 포인트 클라우드 데이터에는 대량의 포인트를 포함할 수 있고, 각 포인트는 모두 초기 특징을 구비한다. 제1 포인트 클라우드 데이터의 초기 특징은, 제1 포인트 클라우드 데이터 중 각 포인트의 초기 특징을 포함할 수 있다.

단계 S202에 있어서, 제1 인코더에 기반하여, 제1 포인트 클라우드 데이터의 글로벌 특징의 제1 확율 분포를 결정한다.

본 발명의 실시예에서의 제1 인코더 및 제2 인코더는 모두 가변 자동 인코더(Variational Auto-Encoder, VAE)일 수 있다. 또한, 아래의 제1 디코더 및 제2 디코더는 모두 가변 자동 디코더일 수 있다.

제1 인코더는 제1 포인트 클라우드 데이터의 초기 특징을 수신할 수 있고, 제1 인코더의 초기 가중 정보에 기반하여 제1 포인트 클라우드 데이터의 초기 특징에 대해 계산하고, 제1 포인트 클라우드 데이터의 글로벌 특징의 제1 확율 분포를 출력한다. 제1 확율 분포는 조건 확율 분포일 수 있다. 제1 확율 분포는 제1 포인트 클라우드 데이터의 초기 특징이 고정할 경우 제1 포인트 클라우드 데이터의 글로벌 특징의 확율 분포일 수 있다. 제1 포인트 클라우드의 초기 특징은

이고 글로벌 특징은

이며, 즉 제 1 확율 분포는

이고, 제1 인코더의 가중은 포인트 클라우드 보전 루트의 인코더의 초기 가중일 수 있다.

단계 S203에 있어서, 제2 인코더에 기반하여, 제2 포인트 클라우드 데이터의 글로벌 특징의 제2 확율 분포를 결정하고, 제1 인코더는 제2 인코더와 가중을 공유한다.

제2 포인트 클라우드 데이터는 다른 실시예에 있어서 진실포인트 클라우드 데이터로 칭할 수도 있다.

본 발명의 실시예에 있어서, 제1 포인트 클라우드 데이터 또는 제2 포인트 클라우드 데이터의 초기 특징은, 3차원 좌표 정보, 에코 횟수, 강도 정보, 카테고리, RGB, 스캔 각도, 스캔 방향 중 적어도 하나를 포함할 수 있다.

제2 인코더는 제2 포인트 클라우드 데이터의 초기 특징을 수신할 수 있고, 제2 인코더의 가중 정보에 기반하여 제2 포인트 클라우드 데이터의 초기 특징에 대해 계산하고, 제2 포인트 클라우드 데이터의 글로벌 특징의 제2 확율 분포를 출력한다. 제2 확율 분포는 조건 확율 분포일 수 있다. 제2 확율 분포는 제2 포인트 클라우드 데이터의 초기 특징이 고정할 경우 제2 포인트 클라우드 데이터의 글로벌 특징의 확율 분포일 수 있다. 샘플링 포인트 클라우드의 초기 특징은

이고, 글로벌 특징은

이며, 즉 제 2 확율 분포는

이고, 제2 인코더의 가중은 포인트 클라우드 재구축 루트의 인코더의 초기 가중일 수 있다.

제1 인코더 및 제2 인코더가 가중을 공유하는 한가지 실시 방식은, 훈련 전, 훈련 중 및 훈련 후, 제1 인코더의 가중 및 제2 인코더의 가중이 동일하다.

단계 S204에 있어서, 제1 확율 분포 및 제2 확율 분포 사이의 제1 차이에 기반하여, 제1 인코더의 가중을 조정하여, 제1 인코더의 타깃 가중을 획득한다.

일부 실시 형태에 있어서, 포인트 클라우드 인코더를 생성하는 장치는 제1 확율 분포 및 제2 확율 분포에 기반하여 제1 인코더의 가중에 대해 훈련을 수행하므로, 제1 확율 분포 및 제2 확율 분포 사이의 제1 차이가 기설정 값보다 작게 하고, 제1 인코더의 타깃 가중을 획득한다.

획득 제1 인코더의 타깃 가중을 획득한 후, 포인트 클라우드 인코더를 생성하는 장치는 타깃 가중에 기반하여 제1 포인트 클라우드 데이터의 글로벌 특징의 확율 분포를 결정하고, 다음제1 포인트 클라우드 데이터의 글로벌 특징의 확율 분포 및 제1 디코더에 기반하여, 완전한 포인트 클라우드 데이터를 생성한다. 여기서, 완전한 포인트 클라우드 데이터는 제1 포인트 클라우드 데이터에 대응되는 대략 완전한 포인트 클라우드 데이터일 수 있다.

다른 실시 방식에 있어서, 포인트 클라우드 인코더를 생성하는 장치는 제1 디코더에 대해 훈련을 수행하여, 제1 디코더의 타깃 가중을 획득하고, 다음 제1 포인트 클라우드 데이터의 글로벌 특징의 확율 분포 및 제1 디코더의 타깃 가중에 기반하여, 대략 완전한 포인트 클라우드 데이터를 생성한다.

단계 S205에 있어서, 제1 인코더 및 타깃 가중에 따라 포인트 클라우드 인코더를 생성한다.

일부 실시예에 있어서, 포인트 클라우드 인코더에서의 구조와 제1 인코더의 구조가 동일하고, 포인트 클라우드 인코더에서의 가중은 타깃 가중이다.

도 3는 본 발명의 실시예에서 제공한 다른 포인트 클라우드 인코더를 생성하는 방법의 구현 흐름 예시도이고, 도 3에 도시된 바와 같이, 상기 방법은 포인트 클라우드 인코더를 생성하는 장치에 응용되고, 상기 방법은 단계 S301 내지 S307를 포함한다.

단계 S301에 있어서, 대상의 제1 포인트 클라우드 데이터 및 제2 포인트 클라우드 데이터를 획득하고, 제2 포인트 클라우드 데이터의 완전성은 제1 포인트 클라우드 데이터의 완전성보다 크다.

단계 S302에 있어서, 제1 인코더에 기반하여 제1 포인트 클라우드 데이터에 대해 특징 추출을 수행하여, 제1 포인트 클라우드 데이터의 글로벌 특징을 획득한다.

제1 인코더의 가중은, 추출된 특징의 차원을 제1 차원에서 제2 차원까지 증가하기 위한 제1 서브 가중을 포함할 수 있다. 제1 포인트 클라우드 데이터의 초기 특징은, 제1 포인트 클라우드 데이터 중 각 포인트의 초기 특징을 포함한다.

단계 S302는 제1 인코더의 제1 서브 가중에 기반하여, 제1 포인트 클라우드 데이터 중 각 포인트의 초기 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징을 획득하는 단계; 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징이 각 특징 차원에서의 최대값을 추출하여, 제1 포인트 클라우드 데이터의 융합 특징을 획득하는 단계; 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징 및 제1 포인트 클라우드 데이터의 융합 특징을 캐스케이드하여, 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징을 획득하는 단계; 및 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 기반하여, 제1 포인트 클라우드 데이터의 글로벌 특징을 결정하는 단계를 통해 구현될 수 있다.

제1 인코더의 제1 서브 가중은 제1 퍼셉트론에서의 가중 및 제2 퍼셉트론에서의 가중을 포함할 수 있다. 일부 실시 형태에 있어서, 제1 인코더의 제1 서브 가중에 기반하여, 제1 포인트 클라우드 데이터 중 각 포인트의 초기 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징을 획득하는 단계는, 제1 포인트 클라우드 데이터 중 각 포인트의 초기 특징을 제1 퍼셉트론에 입력하고, 제1 퍼셉트론이 제1 퍼셉트론의 가중을 통해 제1 포인트 클라우드 데이터 중 각 포인트의 초기 특징에 대해 계산을 수행하여, 제1 포인트 클라우드 데이터 중 각 포인트의 제4 특징을 획득하고 제2 퍼셉트론에 출력하며; 다음 제2 퍼셉트론이 제2 퍼셉트론에서의 가중을 통해 제1 포인트 클라우드 데이터 중 각 포인트의 제4 특징에 대해 계산을 수행하여, 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징을 획득하고 제1 최대 풀(Maxpool)모듈에 출력하므로, 제1 최대 풀 모듈이 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징이 각 특징 차원에서의 최대값을 추출하고, 제1 포인트 클라우드 데이터의 융합 특징을 획득한다.

본 발명의 실시예에서의 임의의 퍼셉트론(제1 내지 제8 퍼셉트론에서의 임의의 하나를 포함)은 다층 퍼셉트론(Multilayer Perceptron, MLP)일 수 있다. 다층 퍼셉트론은 공유 다층 퍼셉트론(Shared MLP)일 수 있다. 다층 퍼셉트론은 피드포워드 인공 신경망이고, 한 조의 입력 벡터를 한 조의 출력 벡터에 매핑한다. 임의의 하나의 퍼셉트론은 입력한 특징의 차원을 높이거나, 낮추거나 또는 변하지 않게 할 수 있다. 일부 실시 형태에 있어서, 제1 퍼셉트론은 입력한 특징을 128차원의 특징으로 변환하기 위한 것이고, 제2 퍼셉트론은 입력한 특징을 256차원의 특징으로 변환하기 위한 것이다. 제1 포인트 클라우드 데이터의 융합 특징의 차원은 256차원일 수 있다.

제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징의 차원은 제1 포인트 클라우드 데이터의 융합 특징의 차원과 동일할 수 있다. 예를 들어, 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징의 차원은 M이고, 제1 포인트 클라우드 데이터의 융합 특징의 차원은 M이며, 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징 및 제1 포인트 클라우드 데이터의 융합 특징을 캐스케이드한 후 획득한 차원은 2×M이다. 일부 실시 형태에 있어서, 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징의 차원도 2×M이다. 다른 실시 방식에 있어서, 획득한 2×M에 대해 차원 압축을 수행하여, 획득한 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징의 차원이 M이게끔 할수 있다.

이로써, 제1 포인트 클라우드 데이터 중 각 포인트의 초기 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하므로, 제1 포인트 클라우드 데이터에서의 더 높은 차원의 특징을 획득할 수 있고, 제1 포인트 클라우드 데이터의 심층적인 특징을 마이닝할 수 있으며, 나아가 훈련하여 획득한 제1 인코더의 타깃 가중이, 진실하고 완전한 포인트 클라우드 데이터를 더욱 잘 보전할 수 있고; 또한, 제1 포인트 클라우드 데이터의 완전성이 비교적 낮아 정보 량이 비교적 적으므로, 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징 및 제1 포인트 클라우드 데이터의 융합 특징을 캐스케이드하여, 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징을 획득하고, 나아가 획득한 제1 포인트 클라우드 데이터의 글로벌 특징이 제1 포인트 클라우드 데이터의 글로벌 상황을 잘 표징할 수 있다.

단계 S303에 있어서, 제1 포인트 클라우드 데이터의 글로벌 특징에 기반하여 제1 확율 분포를 결정한다.

제1 인코더의 가중은, 추출된 특징의 차원을 제2 차원에서 제3 차원까지 증가하기 위한 제2 서브 가중을 더 포함할 수 있다.

단계 S303은 제1 인코더의 제2 서브 가중에 기반하여, 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 제1 포인트 클라우드 데이터 중 각 포인트의 제3 특징을 획득하고; 제1 포인트 클라우드 데이터 중 각 포인트의 제3 특징이 각 특징 차원에서의 최대값을 추출하여, 제1 포인트 클라우드 데이터의 글로벌 특징을 획득하는 방식을 통해 구현될 수 있다.

제1 인코더의 제2 서브 가중은 제3 퍼셉트론에서의 가중 및 제4 퍼셉트론에서의 가중을 포함할 수 있다. 일부 실시 형태에 있어서, 제1 인코더의 제2 서브 가중에 기반하여, 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 제1 포인트 클라우드 데이터 중 각 포인트의 제3 특징을 획득하는 단계는, 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징을 제3 퍼셉트론에 입력하고, 제3 퍼셉트론이 제3 퍼셉트론의 가중을 통해 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 대해 계산을 수행하여, 제1 포인트 클라우드 데이터 중 각 포인트의 제5 특징을 획득하고 제4 퍼셉트론에 출력하며; 다음 제4 퍼셉트론이 제4 퍼셉트론에서의 가중을 통해 제1 포인트 클라우드 데이터 중 각 포인트의 제5 특징에 대해 계산을 수행하여, 제1 포인트 클라우드 데이터 중 각 포인트의 제3 특징을 획득하고 제2 최대 풀(Maxpool)모듈에 출력하므로, 제2 최대 풀링 레이어가 제1 포인트 클라우드 데이터의 글로벌 특징을 획득하도록 한다.

제3 퍼셉트론은 입력한 특징을 512차원의 특징으로 변환하기 위한 것이고, 제4 퍼셉트론은 입력한 특징을 1024차원의 특징으로 변환하기 위한 것이다. 제1 포인트 클라우드 데이터의 글로벌 특징도 동일하게 1024차원의 특징이다.

이로써, 제1 포인트 클라우드 데이터 중 각 포인트의 제3 특징은 선형 변환 및 비선형 변환 중 적어도 하나를 통해 획득한 것이므로, 추가로 제1 포인트 클라우드 데이터 중 각 포인트의 관련 특징을 획득할 수 있고, 나아가 제1 포인트 클라우드 데이터 중 각 포인트의 제3 특징이 획득한 제1 포인트 클라우드 데이터의 글로벌 특징에 기반하여, 훈련하여 획득한 제1 인코더의 타깃 가중이, 진실하고 완전한 포인트 클라우드 데이터를 더욱 잘 보전하도록 한다.

단계 S304에 있어서, 제2 인코더에 기반하여 제2 포인트 클라우드 데이터에 대해 특징 추출을 수행하여, 제2 포인트 클라우드 데이터의 글로벌 특징을 획득한다.

제2 인코더의 가중은, 추출된 특징의 차원을 제1 차원에서 제3차원까지 증가하기 위한 제1 서브 가중을 포함할 수 있고; 제2 포인트 클라우드 데이터의 초기 특징은, 제2 포인트 클라우드 데이터 중 각 포인트의 초기 특징을 포함할 수 있다.

단계 S304는 제2 인코더의 제3 서브 가중에 기반하여, 제2 포인트 클라우드 데이터 중 각 포인트의 초기 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 제2 포인트 클라우드 데이터 중 각 포인트의 제1 특징을 획득하고; 제2 포인트 클라우드 데이터 중 각 포인트의 제1 특징이 각 특징 차원에서의 최대값을 추출하여, 제2 포인트 클라우드 데이터의 융합 특징을 획득하며; 제2 포인트 클라우드 데이터 중 각 포인트의 제1 특징 및 제2 포인트 클라우드 데이터의 융합 특징을 요소씩 곱하여, 제2포인트 클라우드 데이터 중 각 포인트의 제2 특징을 획득하고; 및 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 기반하여, 제2 포인트 클라우드 데이터의 글로벌 특징을 결정하는 방식을 통해 구현될 수 있다.

제2 인코더의 제3 서브 가중은 제5 퍼셉트론에서의 가중 및 제6 퍼셉트론에서의 가중을 포함할 수 있다. 일부 실시 형태에 있어서, 제2 인코더의 제3 서브 가중에 기반하여, 제2 포인트 클라우드 데이터 중 각 포인트의 초기 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 제2 포인트 클라우드 데이터 중 각 포인트의 제1 특징을 획득하는 단계는, 제2 포인트 클라우드 데이터 중 각 포인트의 초기 특징을 제5 퍼셉트론에 입력하고, 제5 퍼셉트론이 제5 퍼셉트론의 가중을 통해 제2 포인트 클라우드 데이터 중 각 포인트의 초기 특징에 대해 계산을 수행하여, 제2 포인트 클라우드 데이터 중 각 포인트의 제4 특징을 획득하고 제6 퍼셉트론에 출력하며; 다음 제6 퍼셉트론이 제6 퍼셉트론에서의 가중을 통해 제2 포인트 클라우드 데이터 중 각 포인트의 제4 특징에 대해 계산을 수행하여, 제2 포인트 클라우드 데이터 중 각 포인트의 제1 특징을 획득하고 제3 최대 풀(Maxpool)모듈에 출력하므로, 제3 최대 풀 모듈이 제2 포인트 클라우드 데이터의 융합 특징을 획득하도록 한다.

제2 포인트 클라우드 데이터 중 각 포인트의 제1 특징의 차원은 M이고, 제2 포인트 클라우드 데이터의 융합 특징의 차원은 M이며, 제2 포인트 클라우드 데이터 중 각 포인트의 제1 특징과 제2 포인트 클라우드 데이터의 융합 특징 사이에, 각각의 요소를 곱한 후 획득한 차원은 M일 수 있다. 일부 실시 형태에 있어서, 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징이 즉 각각의 요소를 곱하여 획득한 M차원 특징이고, 다른 실시 방식에 있어서, 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징은 각각의 요소를 곱하여 획득한 M차원 특징에 대해 차원 확장을 수행하여 획득한 2×M차원 특징일 수 있다. 본 발명의 실시예에 있어서, 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징의 차원은, 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징의 차원과 동일하다.

이로써, 제2 포인트 클라우드 데이터 중 각 포인트의 초기 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하므로, 제2포인트 클라우드 데이터에서의 더 높은 차원의 특징을 획득할 수 있고, 제2 포인트 클라우드 데이터의 심층적인 특징을 마이닝할 수 있으며, 나아가 훈련하여 획득한 제1 인코더의 타깃 가중이, 진실하고 완전한 포인트 클라우드 데이터를 더욱 잘 보전할 수 있고; 또한, 제2 포인트 클라우드 데이터의 완전성이 비교적 높아 정보 량이 비교적 많으므로, 제2 포인트 클라우드 데이터 중 각 포인트의 제1 특징 및 제2 포인트 클라우드 데이터의 융합 특징의 각각의 요소를 곱하여, 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징을 획득하고, 나아가 획득한 제2 포인트 클라우드 데이터의 글로벌 특징이 제2 포인트 클라우드 데이터의 글로벌 상황을 잘 표징할 수 있다.

단계 S305에 있어서, 제2 포인트 클라우드 데이터의 글로벌 특징에 기반하여 제2 확율 분포를 결정한다.

제2 인코더의 가중은, 추출된 특징의 차원을 제2 차원에서 제3 차원까지 증가하기 위한 제4 서브 가중을 더 포함할 수 있다.

단계 S305는 제2 인코더의 제4 서브 가중에 기반하여, 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 제2 포인트 클라우드 데이터 중 각 포인트의 제3 특징을 획득하고; 제2 포인트 클라우드 데이터 중 각 포인트의 제3 특징이 각 특징 차원에서의 최대값을 추출하여, 제2 포인트 클라우드 데이터의 글로벌 특징을 획득하는 방식을 통해 구현될 수 있다.

제2 인코더의 제4 서브 가중은 제7 퍼셉트론에서의 가중 및 제8 퍼셉트론에서의 가중을 포함할 수 있다. 일부 실시 형태에 있어서, 제2 인코더의 제4 서브 가중에 기반하여, 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 제2 포인트 클라우드 데이터 중 각 포인트의 제3 특징을 획득하는 단계는, 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징을 제7 퍼셉트론에 입력하고, 제7 퍼셉트론이 제3 퍼셉트론의 가중을 통해 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 대해 계산을 수행하여, 제2 포인트 클라우드 데이터 중 각 포인트의 제5 특징을 획득하고 제8 퍼셉트론에 출력하며; 다음 제8 퍼셉트론이 제8 퍼셉트론에서의 가중을 통해 제2 포인트 클라우드 데이터 중 각 포인트의 제5 특징에 대해 계산을 수행하여, 제2 포인트 클라우드 데이터 중 각 포인트의 제3 특징을 획득하고 제4 최대 풀(Maxpool)모듈에 출력하므로, 제4 최대 풀링 레이어가 제2 포인트 클라우드 데이터의 글로벌 특징을 획득하도록 한다.

이로써, 제2 포인트 클라우드 데이터 중 각 포인트의 제3 특징은 선형 변환 및 비선형 변환 중 적어도 하나를 통해 획득한 것이므로, 추가로 제2 포인트 클라우드 데이터 중 각 포인트의 관련 특징을 획득할 수 있고, 나아가 제2 포인트 클라우드 데이터 중 각 포인트의 제3 특징이 획득한 제2 포인트 클라우드 데이터의 글로벌 특징에 기반하여, 훈련하여 획득한 제1 인코더의 타깃 가중이, 진실하고 완전한 포인트 클라우드 데이터를 더욱 잘 보전하도록 한다.

제5 퍼셉트론, 제6 퍼셉트론, 제7 퍼셉트론, 제8 퍼셉트론에서의 가중은, 각각 제1 퍼셉트론, 제2 퍼셉트론, 제3 퍼셉트론, 제4 퍼셉트론에서의 가중과 동일하거나 가중을 공유할 수 있다.

단계 S306에 있어서, 제1 확율 분포 및 제2 확율 분포 사이의 제1 차이에 기반하여, 제1 인코더의 가중을 조정하여, 제1 인코더의 타깃 가중을 획득한다.

단계 S307에 있어서, 제1 인코더 및 타깃 가중에 따라 포인트 클라우드 인코더를 생성한다.

본 발명의 실시예에 있어서, 제1 인코더 및 제2 인코더에 따라 각각제1 포인트 클라우드 데이터 및 제2 포인트 클라우드 데이터 특징에 대해 추출을 수행하고, 제1 포인트 클라우드 데이터의 글로벌 특징 및 제2 포인트 클라우드 데이터의 글로벌 특징을 각각 결정할수 있으므로, 제1 포인트 클라우드 데이터 및 제2 포인트 클라우드 데이터 중 더 많은 특징을 획득할 수 있으며, 나아가 제1 인코더의 가중에 대해 훈련을 수행할 경우, 제1 포인트 클라우드 데이터 및 제2 포인트 클라우드 데이터 중 비교적 많은 특징에 기반하여 훈련을 수행하므로, 훈련하여 획득한 제1 인코더의 타깃 가중이, 진실하고 완전한 포인트 클라우드 데이터를 더욱 잘 보전하도록 한다.

도 4는 본 발명의 실시예에서 제공한 또 다른 포인트 클라우드 인코더를 생성하는 방법의 구현 흐름 예시도이고, 도 4에 도시된 바와 같이, 상기 방법은 포인트 클라우드 인코더를 생성하는 장치에 응용되고, 상기 방법은 단계 S401 내지 S406를 포함한다.

단계 S401에 있어서, 대상의 제1 포인트 클라우드 데이터 및 제2 포인트 클라우드 데이터를 획득하고, 제2 포인트 클라우드 데이터의 완전성은 제1 포인트 클라우드 데이터의 완전성보다 크다.

단계 S402에 있어서, 제1 인코더에 기반하여, 제1 포인트 클라우드 데이터의 글로벌 특징의 제1 확율 분포를 결정한다.

단계 S403에 있어서, 제2 인코더에 기반하여, 제2 포인트 클라우드 데이터의 글로벌 특징의 제2 확율 분포를 결정하고, 제1 인코더는 제2 인코더와 가중을 공유한다.

단계 S404에 있어서, 제2 확율 분포와 지정된 확율 분포 사이의 제2 차이를 결정한다.

지정된 확율 분포는 가우스 분포일 수 있고, 예를 들어, 지정된 확율 분포는 표준 가우스 분포일 수 있다. 제2 차이의 공식은,

로 표시할 수 있다. 여기서, KL은 KL발산을 표시하고,

는 미리 가우스 분포로 정의한 섬험 조건이며,

는 제2 확율 분포이다.

단계 S405에 있어서, 제1 확율 분포 및 제2 확율 분포 사이의 제1 차이 및 제2 차이에 기반하여, 제1 인코더의 가중을 조정하여, 제1 인코더의 타깃 가중을 획득한다.

제1 차이의 공식은

로 표시할 수 있다. 여기서, KL은 KL발산을 표시하고,

는 제1 확율 분포이다.

일부 실시 형태에 있어서, 포인트 클라우드 인코더를 생성하는 장치 제2 차이 및 제1 차이에 기반하여, 제1 인코더의 가중에 대해 훈련을 수행하므로, 제2 차이가 제1 임계값보다 작고, 제1 차이가 제2 임계값보다 작게 하여, 제1 인코더의 타깃 가중을 획득한다.

단계 S406에 있어서, 제1 인코더 및 타깃 가중에 따라 포인트 클라우드 인코더를 생성한다.

본 발명의 실시예에 있어서, 제2 확율 분포와 지정된 확율 분포 사이의 제2 차이, 및 제1 확율 분포와 제2 확율 분포 사이의 제1 차이에 기반하여, 제1 인코더의 가중을 조정하므로, 제1 차이 및 제2 차이가 최대한 작게 하고, 나아가 제1 확율 분포 및 제2 확율 분포가 모두 최대한 지정된 확율 분포에 근접하게 하여, 훈련하여 획득한 제1 인코더의 타깃 가중이, 진실하고 완전한 포인트 클라우드 데이터를 보전할 수 있다.

도 5는 본 발명의 실시예에서 제공한 또 다른 포인트 클라우드 인코더를 생성하는 방법의 구현 흐름 예시도이고, 도 5에 도시된 바와 같이, 상기 방법은 포인트 클라우드 인코더를 생성하는 장치에 응용되고, 상기 방법은 단계 S501 내지 S508를 포함하고,

단계 S501에 있어서, 대상의 제1 포인트 클라우드 데이터 및 제2 포인트 클라우드 데이터를 획득하고, 제2 포인트 클라우드 데이터의 완전성은 제1 포인트 클라우드 데이터의 완전성보다 크다.

단계 S502에 있어서, 제1 인코더에 기반하여, 제1 포인트 클라우드 데이터의 글로벌 특징의 제1 확율 분포를 결정한다.

단계 S503에 있어서, 제2 인코더에 기반하여, 제2 포인트 클라우드 데이터의 글로벌 특징의 제2 확율 분포를 결정하고, 제1 인코더는 제2 인코더와 가중을 공유한다.

단계 S504에 있어서, 제2 확율 분포와 지정된 확율 분포 사이의 제2 차이를 결정한다.

단계 S505에 있어서, 제1 디코더에 기반하여 제1 병합 확율 분포에 대해 디코딩을 수행하여, 제1 포인트 클라우드 데이터에 대해 보전 후의 제3 포인트 클라우드 데이터를 획득한다.

일부 실시 형태에 있어서, 제1 확율 분포를 제1 디코더에 입력하므로, 제1 디코더가 제1 디코더의 가중에 기반하여 제1 확율 분포에 대해 계산을 수행하도록 하고, 제1 확율 분포에서의 각 확율값에 대응된 특징을 획득하며, 나아가 제3 포인트 클라우드 데이터를 획득한다.

단계 S506에 있어서, 제2 디코더에 기반하여 상기 제2 확율 분포에 대해 디코딩을 수행하여, 상기 제2 포인트 클라우드 데이터에 대해 재구축 후의 제4 포인트 클라우드 데이터를 획득한다.

일부 실시 형태에 있어서, 제2 확율 분포를 제2 디코더에 입력하므로, 제2 디코더가 제2 디코더의 가중에 기반하여 제2 확율 분포에 대해 계산을 수행하도록 하고, 제2 확율 분포에서의 각 확율값에 대응된 특징을 획득하며, 나아가 제4 포인트 클라우드 데이터를 획득한다.

제1 디코더 및 제2 디코더는 입력된 확율 분포를 포인트 클라우드 데이터로 변환하기 위한 것이다. 실시 과정에 있어서, 제1 디코더 및 제2 디코더는 전부 연결(Fully Connected, Fc)층을 포함할 수 있다.

단계 S507에 있어서, 제1 확율 분포 및 제2 확율 분포 사이의 제1 차이, 제2 차이, 제3 포인트 클라우드 데이터 및 제4 포인트 클라우드 데이터에 기반하여, 제1 인코더의 가중 및 제1 디코더의 가중를 조정하여, 제1 인코더의 타깃 가중 및 제1 디코더의 타깃 가중을 획득한다.

일부 실시 과정에 있어서, 단계 S507는, 제3 포인트 클라우드 데이터와 제2 포인트 클라우드 데이터 사이의 제3 차이를 결정하는 단계; 제4 포인트 클라우드 데이터와 제2 포인트 클라우드 데이터 사이의 제4 차이를 결정하는 단계; 제1 차이, 제2 차이, 제3 차이 및 제4 차이에 기반하여, 제1 인코더의 가중 및 제1 디코더의 가중을 조정하여, 제1 인코더의 타깃 가중 및 제1 디코더의 타깃 가중을 획득하는 단계를 통해 구현될 수 있다.

제3 차이의 공식은

로 표시할수 있다. 여기서, E는 함수에 대한 기대를 표시하고,

는 제1 포인트 클라우드 데이터의 진실적인 기초 분포를 표시하며;

는 제1 확율 분포이고;

는 글로벌 특징의 디코딩 분포이다.

제4 차이의 공식은

로 표시할수 있다. 여기서,

는 제2 포인트 클라우드 데이터의 진실적인 기초 분포를 표시하고;

는 제2 확율 분포이며;

는 글로벌 특징의 디코딩 분포이다. 실시 과정에 있어서,

는 이에 대응된 함수의 상이한 네트워크 가중을 표시한다.

실시 과정에 있어서, 포인트 클라우드 인코더를 생성하는 장치는 제2 차이, 제1 차이, 제3 차이 및 제4 차이에 기반하여, 제1 인코더의 가중 및 제1 디코더의 가중에 대해 훈련을 수행하므로, 제2 차이가 제1 임계값보다 작고, 제1 차이가 제2 임계값보다 작으며, 제3 차이가 제3 임계값보다 작고, 제4 차이가 제4 임계값보다 작도록 하고, 또는 제2 차이와 제4 차이의 합이 제5 임계값보다 작도록 하고, 제1 차이와 제3 차이의 합이 제6 임계값보다 작게 하므로, 제1 인코더의 타깃 가중 및 제1 디코더의 타깃 가중을 획득한다. 제1 임계값 내지 제6 임계값 중 임의의 두 개의 임계값이 동일하고, 또는, 적어도 두개의 임계값이 상이하다.

일부 실시 형태에 있어서, 포인트 클라우드 재구축 루트가 사용한 제2 인코더 및 제2 디코더를 훈련하기 위한 손실 함수는 공식(1)로 표시할 수 있다.

(1);

여기서,

는 가중 파라미터이다.

포인트 클라우드 보전 루트가 사용한 제1 인코더 및 제1 디코더를 훈련하기 위한 손실 함수는 공식(2)로 표시할 수 있고,

(2);

이로써, 제2 차이, 제1 차이, 제3 차이 및 제4 차이에 기반하여, 제1 인코더의 가중 및 제1 디코더의 가중에 대해 훈련을 수행하므로, 제1 확율 분포 및 제2 확율 분포가 모두 최대한 지정된 확율 분포에 근접하도록 할 수 있고, 제3 포인트 클라우드 데이터 및 제4 포인트 클라우드 데이터가 최대한 제2 포인트 클라우드 데이터에 근접하도록 할 수 있으므로, 훈련하여 획득한 제1 인코더의 타깃 가중 및 제1 디코더의 타깃 가중이, 진실하고 완전한 포인트 클라우드 데이터를 보전할 수 있다.

단계 S508에 있어서, 제1 인코더 및 제1 인코더의 타깃 가중에 따라 포인트 클라우드 인코더를 생성하고; 제2 인코더 및 제2 인코더의 타깃 가중에 따라 포인트 클라우드 디코더를 생성한다.

본 발명의 실시예에 있어서, 제3 포인트 클라우드 데이터가 제1 확율 분포 및 제1 디코더의 가중에 기반하여 결정된 것이고, 제4 포인트 클라우드 데이터는 제2 확율 분포 및 제2 디코더의 가중에 기반하여 결정된 것이므로, 제2 차이, 제1 차이, 제2 포인트 클라우드 데이터 및 제3 포인트 클라우드 데이터에 기반하여, 제1 인코더의 가중 및 제1 디코더의 가중에 대해 훈련을 수행하여, 훈련하여 획득한 제1 인코더의 타깃 가중 및 제1 디코더의 타깃 가중이, 진실하고 완전한 포인트 클라우드 데이터를 보전할 수 있다.

일부 실시 형태에 있어서, 제3 포인트 클라우드 데이터는 제1 포인트 클라우드 데이터를, 차례로 제1 인코더 및 제1 디코더를 통해, 제1 인코더의 가중 및 제1 디코더의 가중에 기반하여 획득한 것이고; 제4 포인트 클라우드 데이터는 제2 포인트 클라우드 데이터를, 차례로 제2 인코더 및 제2 디코더를 통해, 제2 인코더 및 가중 및 제2 디코더의 가중에 기반하여 획득한것이므로, 제3 포인트 클라우드 데이터를 사용하여 제1 인코더의 가중 및 제1 디코더의 가중에 대해 훈련을 수행하고, 제4 포인트 클라우드 데이터를 사용하여 제2 인코더의 가중 및 제2 디코더의 가중에 대해 훈련을 수행할 수 있다.

아래는 본 발명에서 제공한 포인트 클라우드 인코더를 생성하는 방법의 구현 흐름 예시도이고, 상기 방법은 포인트 클라우드 인코더를 생성하는 장치에 응용되며, 상기 방법은 제1 확율 분포 및 제2 확율 분포를 결정한 후, 아래 단계를 실행할 수 있다.

제1 확율 분포 및 제1 디코더의 가중에 기반하여, 제1 확율 분포에서의 각 확율값에 대응된 특징을 포함하는 제3 포인트 클라우드 데이터를 결정한다. 제2 확율 분포 및 제2 디코더의 가중 에 기반하여, 제2 확율 분포에서의 각 확율값에 대응된 특징을 포함하는 제4 포인트 클라우드 데이터를 결정한다. 여기서, 제1 디코더 및 제2 디코더는 가중을 공유한다. 제3 포인트 클라우드 데이터 및 제4 포인트 클라우드 데이터 에 기반하여, 제1 인코더의 가중 및 제1 디코더의 가중에 대해 훈련을 수행하여, 제1 인코더의 타깃 가중 및 제1 디코더의 타깃 가중을 획득한다. 추가로, 제1 인코더 및 제1 인코더의 타깃 가중에 따라 포인트 클라우드 인코더를 생성하고; 제2 인코더 및 제2 인코더의 타깃 가중에 따라 포인트 클라우드 디코더를 생성한다.

실시 과정에 있어서, 포인트 클라우드 인코더를 생성하는 장치는 제3 포인트 클라우드 데이터와 제2 포인트 클라우드 데이터 사이의 제3 차이를 결정할 수있고; 제4 포인트 클라우드 데이터와 제2 포인트 클라우드 데이터 사이의 제4 차이를 결정할 수 있으며; 제3 차이 및 제4 차이에 기반하여, 제1 인코더의 가중 및 제1 디코더의 가중에 대해 훈련을 수행하여, 제3 차이가 제3 임계값보다 작고, 제4 차이가 제4 임계값보다 작도록 하므로, 제1 인코더의 타깃 가중 및 제1 디코더의 타깃 가중을 획득한다.

본 발명의 실시에 있어서, 제3 포인트 클라우드 데이터 및 제4 포인트 클라우드 데이터에 기반하여, 제1 인코더의 가중 및 제1 디코더의 가중에 대해 훈련을 수행하여, 제3 포인트 클라우드 데이터 및 제4 포인트 클라우드 데이터가 최대한 제2 포인트 클라우드 데이터에 근접하도록 하므로, 훈련 과정을 단순화하고, 훈련하여 획득한 제1 인코더의 타깃 가중 및 제1 디코더의 타깃 가중이, 진실하고 완전한 포인트 클라우드 데이터를 재구축할 수 있다.

일부 실시 형태에 있어서, 단계 S505는, 제1 확율 분포에 대해 샘플링을 수행하여, 제1 샘플링 데이터를 획득하는 단계; 제1 확율 분포를 제1 샘플링 데이터와 병합하여, 제1 병합 확율 분포를 획득하는 단계; 및 상기 제1 디코더에 기반하여 상기 제1 병합 확율 분포에 대해 디코딩을 수행하여, 제1 포인트 클라우드 데이터에 대해 보전 후의 제3 포인트 클라우드 데이터를 획득하는 단계를 통해 구현될 수 있다.

다른 실시 방식에 있어서, 단계 S505는, 제1 확율 분포에 대해 샘플링을 수행하여, 제1 샘플링 데이터를 획득하는 단계; 제1 샘플링 데이터의 차원이 제1 확율 분포의 차원보다 작은 경우, 제1 샘플링 데이터에 대해 차원 확장을 수행하여, 차원이 제1 확율 분포의 차원과 동일한 타깃 샘플링 데이터를 획득하는 단계; 제1 확율 분포를 타깃 샘플링 데이터와 각각의 요소를 가하여, 제2 병합 확율 분포를 획득하는 단계; 및 제2 병합 확율 분포 및 제1 디코더의 가중에 기반하여, 제3 포인트 클라우드 데이터를 결정하는 단계를 통해 구현될 수 있다. 예를 들어, 제1 확율 분포에 1024 개의 확율값을 구비할 경우, 제1 확율 분포에 대해 샘플링을 수행하고, 획득한 제1 샘플링 데이터는 1024개 개의 확율값, 512 개의 확율값, 256 개의 확율값 등일 수 있다.

일부 실시 형태에 있어서, 단계 S506는, 제2 확율 분포에 대해 샘플링을 수행하여, 제2 샘플링 데이터를 획득하는 단계; 제1 확율 분포를 제2 샘플링 데이터와 병합하여, 제2 병합 확율 분포를 획득하는 단계; 및 상기 제2 디코더에 기반하여 상기 제2 병합 확율 분포에 대해 디코딩을 수행하여, 상기 제2 포인트 클라우드 데이터에 대해 재구축 후의 제4 포인트 클라우드 데이터를 획득하는 단계를 통해 구현될 수 있다.

일부 실시 형태에 있어서, 제2 샘플링 데이터의 차원이 제1 확율 분포의 차원과 동일할 경우, 제1 확율 분포를 제2 샘플링 데이터와 각각의 요소를 가하고, 제2 병합 확율 분포 획득한다. 제2 샘플링 데이터의 차원이 제1 확율 분포의 차원보다 작을 경우, 제2 샘플링 데이터에 대해 차원 확장을 수행하여, 차원이 제1 확율 분포의 차원과 동일한 지정된 샘플링 데이터를 획득하고; 제1 확율 분포를 지정된 샘플링 데이터와 각각의 요소를 가하여, 제2 병합 확율 분포를 획득한다.

이로써, 제1 확율 분포 및 제1 확율 분포에 대해 샘플링을 수행하는 제1 샘플링 데이터를 병합하여, 제1 병합 확율 분포를 회득하고, 제1 병합 확율 분포는 제1 확율 분포에 대한 증강이므로, 제1 병합 확율 분포가 획득한 제3 포인트 클라우드 데이터에 기반하여, 제1 포인트 클라우드 데이터에 대응된 대략 완전한 포인트 클라우드 데이터를 정확하게 반영할 수 있으며; 또한, 제1 확율 분포 및 제2 확율 분포에 대해 샘플링을 수행하여 획득한 제2 샘플링 데이터를 병합하여, 제2 병합 확율 분포를 획득하므로, 제2 병합 확율 분포 및 제2 디코더의 가중에 기반하여, 결정된 제4 포인트 클라우드 데이터는, 제1 포인트 클라우드 데이터의 특징을 포함할 뿐만 아니라, 제2 포인트 클라우드 데이터의 특징도 포함하므로, 제4 포인트 클라우드 데이터에 기반하여 훈련을 수행할 경우, 제1 포인트 클라우드 데이터의 특징 및 제2 포인트 클라우드 데이터의 특징을 결합할 수 있으며, 나아가 훈련하여 획득한 제1 인코더의 가중 및 제1 디코더의 가중이, 진실하고 완전한 포인트 클라우드 데이터를 보전할 수 있다.

본 발명의 실시예에 있어서, 포인트 클라우드를 획득하기 위해 깊이 카메라 또는 레이저 레이더를 사용하고, 완전한 포인트 클라우드 형상의 확율 분포 모델을 예측 및 학습하여, 불완전한 포인트 클라우드의 재구축 및 복귀를 가이드하며, 나아가 더 진실한 포인트 클라우드 형상을 재구축하므로, 생성한 포인트 클라우드 대략 형상이 입력된 포인트 클라우드 데테일이 부족한 문제를 어느 정도 해결된다.

본 발명의 실시예에서 제기한 네트워크 구조는 평행한 두개의 루트로 조성한다. 네트워크를 훈련할 경우, 한 조의 데이터 중 불완전한 포인트 클라우드를 포인트 클라우드 보전 루트의 입력으로 하고, 불완전한 포인트 클라우드에 대응된 완전한 포인트 클라우드를 포인트 클라우드 재구축 루트의 입력으로 한다.

포인트 클라우드 재구축 루트가 모델 훈련 중, 변형 자동 인코더는 불완전한 포인트 클라우드에 대응된 완전한 포인트 클라우드를 입력으로 하고, 입력 포인트 클라우드가 고정 값일 경우 생성한 표면 특징의 조건 확율 분포를 학습한다. 다음, 변형 자동 인코더는 본 포인트 클라우드 표면 특징에 따라 포인트 클라우드를 재구축하고, 동시에 입력 표면 특징이 고정 값일 경우 생성한 포인트 클라우드의 조건 확율 분포를 학습한다. 입력 포인트 클라우드가 고정 값일 경우 생성한 표면 특징의 조건 확율 분포가 가우스 분포에 근접하게 하기 위해, 상기 네트워크를 훈련할 때 K-L발산(두 개의 분포의 유사도를 설명했음)을 원용하여손 실 함수의 일 부분으로 한다. 동시에, 네트워크 재구축 포인트 클라우드의 능력을 훈련하기 위해, 생성한 완전한 포인트 클라우드 및 입력된 진실 완전한 포인트 클라우드 유사도를 비교하고, 본 유사도를 손실 함수의 일부분으로 한다.

포인트 클라우드 보전 루트가 모델 훈련할 경우, 변형 자동 인코더의 인코더 및 디코더의 파라미터는 포인트 클라우드 재구축 루트에서의 파라미터와 일치한 것이고, 다만 분포 추론 층의 파라미터가 상이하다. 포인트 클라우드 보전 루트는 불완전한 포인트 클라우드를 입력으로 하고, 입력 포인트 클라우드가 고정 값일 경우 생성한 표면 특징의 조건 확율 분포를 학습하며, 포인트 클라우드 보전 루트가 학습한 표면 특징 조건 확율 분포 및 대응된 포인트 클라우드 재구축 루트가 학습한 표면 특징 조건 확율 분포가 유사하게 하기 위해, 이 두 개의 분포의 K-L발산을 훈련된 손실 함수에 가입하고; 포인트 클라우드 보전 루트 생성한 대략 완전한 포인트 클라우드 및 입력 불완전한 포인트 클라우드에 대응된 진실 완전한 포인트 클라우드가 유사하게 하기 위해, 훈련된 손실 함수에도 생성 포인트 클라우드 및 진실 포인트 클라우드의 유사도를 가입한다.

본 발명의 실시예에 있어서, 변형 자동 인코더 및 디코더를 사용하여 대략 포인트 클라우드를 생성하고, 두개의 평행 루트를 사용하여 네트워크 훈련을 수행하며, 하나는 포인트 클라우드 보전 루트이고, 하나는 포인트 클라우드 재구축 루트이다. 두개의 평행 루트를 사용하므로, 네트워크가 입력된 불완전한 포인트 클라우드에 따라 대략의 완전한 포인트 클라우드를 생성할 수 있다. 불완전한 포인트 클라우드와 함께 제공된 입력된 데테일을 크게 보존할 수 있으므로, 관련 기술에 있어서 대략 포인트 클라우드를 생성하는 단계에서 다만 하나의 카테고리의 범용 템플레이트를 생성할수 있고, 입력된 불완전한 포인트 클라우드와 함께 제공된 정보 및 데테일을 무시하는 문제를 방지한다.

아래는 본 발명의 실시예에서 제공한 상기 임의의 실시예에 기반하여 훈련하여 획득한 제1 인코더의 타깃 가중을 설명하여, 처리될 포인트 클라우드 데이터의 방법, 즉 포인트 클라우드 인코더의 응용 방법을 결정한다.

도 6은 본 발명의 실시예에서 제공한 포인트 클라우드 데이터를 생성하는 방법의 구현 흐름 예시도이고, 도 6에 도시된 바와 같이, 상기 방법은 포인트 클라우드 데이터를 생성하는 장치에 응용되며, 일부 실시 형태에 있어서, 포인트 클라우드 데이터를 생성하는 장치는 포인트 클라우드 인코더를 생성하는 장치와 동일한 장치 또는 상이한 장치일 수 있고, 상기 방법은 단계 S601 내지 S602을 포함한다.

단계 S601에 있어서, 대상을 촬영하여 획득한 처리될 포인트 클라우드 데이터를 획득한다.

단계 S602에 있어서, 상기 처리될 포인트 클라우드 데이터 및 훈련 후의 제1 인코더에 기반하여, 상기 처리될 포인트 클라우드 데이터의 글로벌 특징의 타깃 확율 분포를 결정한다.

여기서, 제1 인코더의 타깃 가중은, 적어도 제1 인코더에 의해 결정된 제1 포인트 클라우드 데이터의 글로벌 특징의 제1 확율 분포, 및 제2 인코더에 의해 결정된 제2 포인트 클라우드 데이터의 글로벌 특징의 제2 확율 분포 사이의 제1 차이에 기반하여, 제1 인코더의 가중을 조정하여 획득한 것이고, 제2 포인트 클라우드 데이터의 완전성은 제1 포인트 클라우드 데이터의 완전성보다 크다.

단계 S603에 있어서, 타깃 확율 분포에 기반하여 처리될 포인트 클라우드 데이터에 대해 포인트 클라우드 보전을 수행하여, 타깃 포인트 클라우드 데이터를 생성하고, 타깃 포인트 클라우드 데이터의 완전성은 처리될 포인트 클라우드 데이터의 완전성보다 크다.

일부 실시 형태에 있어서, 단계 S603은, 타깃 확율 분포 및 제1 디코더의 타깃 가중에 기반하여, 타깃 포인트 클라우드 데이터를 결정하는 단계를 통해 구현할 수 있다.

여기서, 제1 인코더의 타깃 가중 및 제1 디코더의 타깃 가중은, 제1 확율 분포, 제2 확율 분포, 제1 확율 분포 및 제1 디코더의 가중에 기반하여 결정한 제3 포인트 클라우드 데이터, 및 제2 확율 분포 및 제2 디코더의 가중에 기반하여 결정한 제4 포인트 클라우드 데이터에 기반하여, 제1 인코더의 가중 및 제1 디코더의 가중에 대해 훈련을 수행하여 획득한 것이고; 제1 디코더와 제2 디코더는 가중을 공유한다.

제1 인코더의 타깃 가중 및 제1 디코더의 타깃 가중의 획득 방식은, 상기 임의의 관련된 실시예에서의 설명을 참조할수 있고, 여기서 더이상 설명하지 않을 것이다.

도 7은 본 발명의 실시예에서 제공한 확율 모델 네트워크의 아키텍쳐 예시도이고, 도 7에 도시된 바와 같이, 확율 모델 네트워크의 아키텍쳐는 두 개의 병렬된 파이프라인, 즉 불완전한 포인트 클라우드에 대응된 완전한 포인트 클라우드 Y의 상부 재구축 루트 및 불완전한 포인트 클라우드 X의 하부 보전 루트를 포함한다.

상부 재구축 루트에 있어서, 불완전한 포인트 클라우드(상기 실시예에서의 제1 포인트 클라우드 데이터에 대응됨)에 대응된 완전한 포인트 클라우드 Y(상기 실시예에서의 제2 포인트 클라우드 데이터에 대응됨)를 입력으로 하므로, 입력 포인트 클라우드가 고정 값일 경우 포인트 클라우드의 특징의 조건 확율 분포(상기 제2 확율 분포에 대응됨)를 학습한다. 예를 들어, 완전한 포인트 클라우드 Y를 변형 자동 인코더(701)에 입력하고, 변형 자동 인코더는 완전한 포인트 클라우드 Y의 특징에 따라 포인트 클라우드를 재구축하며, 동시에 입력 표면 특징이 고정 값일 경우 생성한 포인트 클라우드의 조건 확율 분포를 학습하고; 입력 포인트 클라우드가 고정 값일 경우 생성한 표면 특징의 조건 확율 분포가 가우스 분포에 근접하게 하기 위해, 상기 네트워크를 훈련할 때 K-L발산(두 개의 분포의 유사도를 설명했음)을 원용하여 손실 함수의 일부분으로 한다.

완전한 포인트 클라우드 Y를 변형 자동 인코더(701)에 입력하고, 차례로 두 번의MLP(각각 Shared MLP128 및 Shared MLP256임)계산을 통관한 후, 최대 풀(Maxpool)을 수행하며, 다음 최대 풀의 결과와 두 번의 MLP계산 후의 결과를, 각각의 요소를 곱한 후 획득한 결과를 차례로 두 번의 MLP(각각 Shared MLP512 및 Shared MLP1024임)계산을 한 후, 최대 풀(Maxpool)를 수행하여, 완전한 포인트 클라우드 데이터의 글로벌 특징을 획득한다. 다음 완전한 포인트 클라우드 데이터의 글로벌 특징 및 완전한 포인트 클라우드 데이터의 초기 특징에 기반하여, 선험적 추론을 수행하고, 제2 확율 분포를 획득한다.

하부 보전 루트에 있어서, 불완전한 포인트 클라우드 X를 입력으로 하므로, 입력 포인트 클라우드가 고정 값일 경우 생성한 포인트 클라우드 특징의 조건 확율 분포를 학습한다. 포인트 클라우드 보전 루트가 학습한 특징 조건 확율 분포와 대응된 포인트 클라우드 재구축 루트가 학습한 특징 조건 확율 분포가 유사하게 하기 위해, 이 두 개의 분포의 K-L발산을 훈련된 손실 함수에 가입한다.

불완전한 포인트 클라우드 X를 변형 자동 인코더(702)에 입력하고(여기서, 변형 자동 인코더(702)와 변형 자동 인코더(701)의 인코더 및 디코더의 파라미터는 일치함), 차례로 두 번의MLP(각각 Shared MLP128 및 Shared MLP256임)계산을 통관한 후, 최대 풀(Maxpool)을 수행하며, 다음 최대 풀의 결과와 두 번의 MLP계산 후의 결과를 캐스케이드한 후 획득한 결과를 차례로 두 번의 MLP(각각 Shared MLP512 및 Shared MLP1024임)계산을 한 후, 최대 풀(Maxpool)를 수행하여, 불완전한 포인트 클라우드 데이터X의 글로벌 특징을 획득한다. 다음 불완전한 포인트 클라우드 데이터X의 글로벌 특징 및 불완전한 포인트 클라우드 데이터X의 초기 특징에 기반하여, 후험적 추론을 수행하고, 제1 확율 분포를 획득한다.

상부 재구축 루트에 있어서, 제2 확율 분포에 대해 샘플링을 수행하고, 샘플링 결과를 제1 확율 분포와 각각의 요소를 가하여, 각각의 요소를 가한 결과를 전부 연결층(703)에 입력하므로, 전부 연결층(703)을 통해 재구축 포인트 클라우드(상기 제4 포인트 클라우드 데이터에 대응됨)를 출력할 수 있다.

하부 보전 루트에 있어서, 제1 확율 분포에 대해 샘플링을 수행하고, 샘플링 결과를 제1 확율 분포와 각각의 요소를 가하여, 각각의 요소를 가한 결과를 전부 연결층(704)에 입력하므로, 전부 연결층(704)을 통해 대략 완전한 포인트 클라우드(상기 제3 포인트 클라우드 데이터에 대응됨)를 출력할 수 있다.

재구축 포인트 클라우드 및 대략 완전한 포인트 클라우드를 획득한 후, PMNet네트워크에서의 파라미터에 대해 훈련을 수행해야 하고, 예를 들어 Shared MLP에서의 파라미터(제1 인코더의 가중에 대응됨) 및 전부 연결층의 파라미터(제1 디코더의 가중에 대응됨)에 대해 훈련을 수행하며, 제1 인코더와 제2 인코더가 가중을 공유하여, 제1 디코더 및 제2 디코더가 가중을 공유하므로, 제1 인코더의 가중 및 제2 인코더의 가중에 대해 훈련을 수행하여, 훈련 과정에 있어서, 획득한 대략 완전한 포인트 클라우드도 완전한 포인트 클라우드 Y에 점점 근접해지므로, 불완전한 포인트 클라우드 X에 대해 대략 보전을 수행하는 대략 완전한 포인트 클라우드를 획득한다. 대략 완전한 포인트 클라우드를 획득한 후, 대략 완전한 포인트 클라우드에 기반하여 정밀한 완전한 포인트 클라우드를 결정할 수 있다.

일부 실시 형태에 있어서, 불완전한 포인트 클라우드 X 및 최종 획득한 대략 완전한 포인트 클라우드를 캐스케이드하여, 연결된 포인트 클라우드 데이터를 관계 향상 네트워크(Relational Enhancement Network, RENet)에 입력하므로, 정밀한 완전한 포인트 클라우드를 획득한다. RENet는 에지 유지 풀링(Edge-preserved Pooling, EP)및 에지 유지 언풀링(Edge-preserved Unpooling, Eu)모듈을 사용하여 계층 인코더 -디코더 시스템 구조를 구현할 수 있다. 대략 완전한 포인트 클라우드 및 불완전한 포인트 클라우드를 계층 인코더의 입력으로 하고, 계층 인코더이 있어서, 차례로 잔차 포인트를 통해 핵심 모듈(Selective Kernel module, R-PSK)64, R-PSK128, R-PSK256및 R-PSK512를 선택하며 입력된 포인트 클라우드 데이터의 특징을 인코딩하여, 최종적으로 포인트 클라우드 특징 차원이 512인 포인트 클라우드 특징 데이터를 획득하고; R-PSK의 출력 결과에 대해 다층 EP처리를 통해, 계층 인코딩을 구현하며; 인코더의 출력 결과에 대해, 전부 연결층을 입력하고, 전부 연결층의 출력 결과와 R-PSK512의 출력 결과를 융합하므로, 특징 차원에 대해 확장을 수행한다. 융합 결과에 대해 계층 디코더를 사용하여 디코딩을 수행하고, 계층 디코더에 다층 EU를 사용하여 처리를 수행하여, 계층 디코딩을 구현하므로, 획득 R-PSK64의 출력 결과를 획득한며; 마지막으로, 공유 MLPs를 사용하여 R-PSK64의 출력 결과에 대해 처리를 수행하여, 최종의 정밀한 포인트 클라우드 구조를 획득한다.

이로써, 에지 감지 특징 확장 모듈을 사용하여 포인트 특징을 확장하므로, 예측된 정밀한 부분 데테일을 구비한 높은 해상도의 완전한 포인트 클라우드를 생성할 수 있다. 따라서, 멀티 스케일 구조 관계를 이용하여 정밀한 데테일을 생성할 수 있다. 여기서, 잔차 포인트 선택 핵심 모듈은 관계 향상 네트워크에 입력된 포인트 클라우드 데이터 중 각 포인트의 초기 특징에 대해 추가로 특징 추출을 수행하여, 각 포인트의 타깃 특징을 출력하기 위한 것이다.

전술한 실시예에 기반하여, 본 발명의 실시예는 클라우드 인코드를 생성하는 장치를 제공하고, 상기 장치는 모든 유닛을 포함하고, 및 각 유닛이 포함한 각 모듈을 포함하고, 전자 기기의 프로세서로 구현할 수 있다.

도 8은 본 발명의 실시예에서 제공한 포인트 클라우드 인코더를 생성하는 장치의 구성 구조 예시도이고, 도 8에 도시된 바와 같이, 포인트 클라우드 인코더를 생성하는 장치(800)는, 대상의 제1 포인트 클라우드 데이터 및 제2 포인트 클라우드 데이터를 획득 - 제2 포인트 클라우드 데이터의 완전성은 제1 포인트 클라우드 데이터의 완전성보다 큼 -하기 위한 획득 유닛(801); 제1 인코더에 기반하여, 제1 포인트 클라우드 데이터의 글로벌 특징의 제1 확율 분포를 결정하기 위한 제1 결정 유닛(802); 제2 인코더에 기반하여, 제2 포인트 클라우드 데이터의 글로벌 특징의 제2 확율 분포를 결정 - 상기 제1 인코더와 상기 제2 인코더는 가중을 공유함 -하기 위한 제2 결정 유닛(803); 제1 확율 분포 및 제2 확율 분포 사이의 제1 차이에 기반하여, 상기 제1 인코더의 가중을 조정하여, 제1 인코더의 타깃 가중을 획득하기 위한 조정 유닛(804); 제1 인코더 및 타깃 가중에 따라 포인트 클라우드 인코더를 생성하기 위한 생성 유닛(805)을 포함한다.

일부 실시예에 있어서, 제1 결정 유닛(802)은 또한, 제1 인코더에 기반하여 제1 포인트 클라우드 데이터에 대해 특징 추출을 수행하여, 제1 포인트 클라우드 데이터의 글로벌 특징을 획득하고; 제1 포인트 클라우드 데이터의 글로벌 특징에 기반하여 제1 확율 분포 결정하기 위한 것이고; 제2 결정 유닛은 또한, 제2 인코더에 기반하여 제2 포인트 클라우드 데이터에 대해 특징 추출을 수행하여, 제2 포인트 클라우드 데이터의 글로벌 특징을 획득하며; 제2 포인트 클라우드 데이터의 글로벌 특징에 기반하여 제2 확율 분포를 결정하기 위한 것이다.

일부 실시예에 있어서, 제1 인코더의 가중은, 추출된 특징의 차원을 제1 차원에서 제2 차원까지 증가하기 위한 제1 서브 가중을 포함하고; 제1 결정 유닛(802)은 또한, 제1 인코더의 제1 서브 가중에 기반하여, 제1 포인트 클라우드 데이터 중 각 포인트의 초기 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징을 획득하고; 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징이 각 특징 차원에서의 최대값을 추출하여, 제1 포인트 클라우드 데이터의 융합 특징을 획득하며; 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징 및 제1 포인트 클라우드 데이터의 융합 특징을 캐스케이드하여, 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징을 획득하고; 및 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 기반하여, 제1 포인트 클라우드 데이터의 글로벌 특징을 결정하기 위한 것이다.

일부 실시예에 있어서, 제1 인코더의 가중은 또한, 추출된 특징의 차원을 제2 차원에서 제3 차원까지 증가하기 위한 제2 서브 가중을 포함하고; 제1 결정 유닛(802)은 또한, 제1 인코더의 제2 서브 가중에 기반하여, 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 제1 포인트 클라우드 데이터 중 각 포인트의 제3 특징을 획득하고; 제1 포인트 클라우드 데이터 중 각 포인트의 제3 특징이 각 특징 차원에서의 최대값을 추출하여, 제1 포인트 클라우드 데이터의 글로벌 특징을 획득하기 위한 것이다.

일부 실시예에 있어서, 제2 인코더의 가중은, 추출된 특징의 차원을 제1 차원에서 제2 차원까지 증가하기 위한 제3 서브 가중을 포함하고; 제2 결정 유닛(803)은 또한, 제2 인코더의 제3 서브 가중에 기반하여, 제2 포인트 클라우드 데이터 중 각 포인트의 초기 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 제2 포인트 클라우드 데이터 중 각 포인트의 제1 특징을 획득하고; 제2 포인트 클라우드 데이터 중 각 포인트의 제1 특징이 각 특징 차원에서의 최대값을 추출하여, 제2 포인트 클라우드 데이터의 융합 특징을 획득하며; 제2 포인트 클라우드 데이터 중 각 포인트의 제1 특징 및 제1 포인트 클라우드 데이터의 융합 특징에 대해 각각의 요소를 곱하여, 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징을 획득하고; 및 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 기반하여, 제2 포인트 클라우드 데이터의 글로벌 특징을 결정하기 위한 것이다.

일부 실시예에 있어서, 제2 인코더의 가중은 또한, 추출된 특징의 차원을 제2 차원에서 제3 차원까지 증가하기 위한 제4 서브 가중을 포함하고; 제2 결정 유닛(803)은 또한, 제2 인코더의 제4 서브 가중에 기반하여, 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 제2 포인트 클라우드 데이터 중 각 포인트의 제3 특징을 획득하고; 제2 포인트 클라우드 데이터 중 각 포인트의 제3 특징이 각 특징 차원에서의 최대값을 추출하여, 제2 포인트 클라우드 데이터의 글로벌 특징을 획득하기 위한 것이다.

일부 실시예에 있어서, 조정 유닛(804)은 또한, 제2 확율 분포와 지정된 확율 분포 사이의 제2 차이를 결정하고; 제1 차이 및 제2 차이에 기반하여, 제1 인코더의 가중을 조정하여, 제1 인코더의 타깃 가중을 획득하기 위한 것이다.

일부 실시예에 있어서, 조정 유닛(804)은 또한, 제1 디코더에 기반하여 상기 제1 확율 분포에 대해 디코딩을 수행하여, 상기 제1 포인트 클라우드 데이터에 대해 보전 후의 제3 포인트 클라우드 데이터를 획득하고; 제2 디코더에 기반하여 상기 제2 확율 분포에 대해 디코딩을 수행하여, 상기 제2 포인트 클라우드 데이터에 대해 재구축 후의 제4 포인트 클라우드 데이터를 획득하며; 제1 차이, 제2 차이, 제3 포인트 클라우드 데이터 및 제4 포인트 클라우드 데이터에 기반하여, 제1 인코더의 가중 및 제1 디코더의 가중을 조정하여, 제1 인코더의 타깃 가중 및 제1 디코더의 타깃 가중을 획득하기 위한 것이다.

일부 실시예에 있어서, 조정 유닛(804)은 또한, 제3 포인트 클라우드 데이터와 제2 포인트 클라우드 데이터 사이의 제3 차이를 결정하고; 제4 포인트 클라우드 데이터와 제2 포인트 클라우드 데이터 사이의 제4 차이를 결정하며; 제1 차이, 제2 차이, 제3 차이 및 제4 차이에 기반하여, 제1 인코더의 가중 및 제1 디코더의 가중을 조정하여, 제1 인코더의 타깃 가중 및 제1 디코더의 타깃 가중을 획득하기 위한 것이다.

일부 실시예에 있어서, 조정 유닛(804)은 또한, 제1 확율 분포에 대해 샘플링을 수행하여, 제1 샘플링 데이터를 획득하고; 제1 확율 분포를 제1 샘플링 데이터와 병합하여, 제1 병합 확율 분포를 획득하며; 상기 제1 디코더에 기반하여 상기 제1 병합 확율 분포에 대해 디코딩을 수행하여, 제1 포인트 클라우드 데이터에 대해 보전 후의 제3 포인트 클라우드 데이터를 획득하고; 제2 확율 분포에 대해 샘플링을 수행하여, 제2 샘플링 데이터를 획득하며; 제1 확율 분포를 제2 샘플링 데이터와 병합하여, 제2 병합 확율 분포를 획득하며; 및 상기 제2 디코더에 기반하여 상기 제2 병합 확율 분포에 대해 디코딩을 수행하여, 상기 제2 포인트 클라우드 데이터에 대해 재구축 후의 제4 포인트 클라우드 데이터를 획득하기 위한 것이다.

전술한 실시예에 기반하여, 본 발명의 실시예는 클라우드 데이터를 생성하는 장치를 제공하고, 상기 장치는 모든 유닛을 포함하고, 및 각 유닛이 포함한 각 모듈을 포함하고, 전자 기기의 프로세서로 구현할 수 있다.

도 9는 본 발명의 실시예에서 제공한 포인트 클라우드 데이터를 생성하는 장치의 구성구조 예시도이고, 도 9에 도시된 바와 같이, 포인트 클라우드 데이터를 생성하는 장치(900)는,

대상을 촬영하여 획득한 처리될 포인트 클라우드 데이터를 획득하기 위한 획득 유닛(901);

처리될 포인트 클라우드 데이터 및 훈련 후의 제1 인코더에 기반하여, 처리될 포인트 클라우드 데이터의 글로벌 특징의 타깃 확율 분포를 결정하기 위한 제1 결정 유닛(902); 및

타깃 확율 분포에 기반하여 처리될 포인트 클라우드 데이터에 대해 포인트 클라우드 보전을 수행하여, 타깃 포인트 클라우드 데이터를 생성 - 타깃 포인트 클라우드 데이터의 완전성은 처리될 포인트 클라우드 데이터의 완전성보다 큼 -하기 위한 제2 결정 유닛(903)을 포함하고,

일부 실시예에 있어서, 제2 결정 유닛(903)은 또한, 타깃 확율 분포 및 제1 디코더의 타깃 가중에 기반하여, 타깃 포인트 클라우드 데이터를 결정하기 위한 것이다. 여기서, 제1 인코더의 타깃 가중 및 제1 디코더의 타깃 가중은, 제1 확율 분포, 제2 확율 분포, 제1 확율 분포 및 제1 디코더의 가중에 기반하여 결정한 제3 포인트 클라우드 데이터, 및 제2 확율 분포 및 제2 디코더의 가중에 기반하여 결정한 제4 포인트 클라우드 데이터에 기반하여, 제1 인코더의 가중 및 제1 디코더의 가중에 대해 훈련을 수행하여 획득한 것이고; 제1 디코더와 제2 디코더는 가중을 공유한다.

상기 장치 실시예의 설명은, 상기 방법의 실시예의 설명과 유사한 것으로서, 방법 실시예와 유사한 유익한 효과를 갖는다. 본 발명 장치 실시예에서 미개시한 기술적인 세부 사항은, 본 발명 방법 실시예의 설명을 참조하여 이해할 수 있다.

설명해야 할 것은, 본 발명의 실시예에 있어서, 소프트웨어 기능 모듈의 형태로 상기 포인트 클라우트 인코딩을 생성하는 방법을 구현하고, 독립적인 제품으로서 판매되거나 사용될 경우, 컴퓨터 저장 매체에 저장될 수도 있다. 이러한 이해에 기반하여, 본 발명의 실시예의 기술 방안, 즉 관련 기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 전자 기기로 하여금 본 발명의 각 실시예의 방법의 전부 또는 일부를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는, USB 디스크, 모바일 하드 디스크, 판독 전용 메모리(Read Only Memory, ROM), 자기 디스크 또는 광디스크 등과 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다. 이로써, 본 발명의 실시예는 임의의 특정된 하드웨어 및 소프트웨어 조합에 한정되지 않는다.

도 10은 본 발명의 실시예에서 제공한 전자 기기의 하드웨어 엔티티 예시도이고, 도 10에 도시된 바와 같이, 상기 전자 기기(1000)의 하드웨어 엔티티는, 프로세서(1001)및 메모리(1002), 여기서, 메모리(1002)는 프로세서(1001)에서 운행 가능한 컴퓨터 프로그램이 저장되여 있고, 프로세서(1001)는 프로그램을 실행할 경우 상기 임의의 실시예의 방법에서의 단계를 구현한다.

메모리(1002)는 프로세서에서 운행 가능한 컴퓨터 프로그램이 저장되여 있고, 메모리(1002)는 프로세서(1001)가 실행 가능한 명령어 및 응용을 저장하고, 프로세서(1001) 및 컴퓨터 기기(1000)에서 각 모듈에 의해 이미 처리되었거나 처리될 데이터(예를 들어, 이미지 데이터, 오디오 데이터, 음성 통신 데이터 및 동영상 통신 데이터)를 캐싱 하며, 플래시(FLASH) 또는 랜덤 액세스 메모리(Random Access Memory, RAM)를 통해 구현될 수 있도록 구성된다.

프로세서(1001)는 프로그램을 실행할 경우 상기 임의의 포인트 클라우드 인코더를 생성하는 방법 또는 포인트 클라우드 데이터를 생성하는 방법의 단계를 구현한다. 프로세서(1001)는 전자 기기(1000)의 전체 조작을 일반적으로 제어한다.

본 발명의 실시예는 컴퓨터 저장 매체를 제공하며, 컴퓨터 저장 매체는 하나 또는 복수 개의 프로그램을 저장하고, 상기 임의의 이미지 인식 방법을 구현하기 위해 상기 하나 또는 복수 개의 프로그램은 하나 또는 복수 개의 프로세서에 의해 실행되여, 상기 임의의 실시예의 포인트 클라우드 인코더를 생성하는 방법 또는 포인트 클라우드 데이터를 생성하는 방법의 단계를 구현한다.

여기서 설명해야 할 것은, 상기 저장 매체 및 기기 실시예의 설명은, 상기 방법 실시예의 설명과 유사한 것으로서, 방법 실시예와 유사한 유익한 효과를 갖는다. 본 발명의 저장 매체 및 기기 실시예에서 미 제시한 기술적인 세부 사항은, 본 발명의 방법 실시예의 설명을 참조하여 이해할 수 있다.

본 발명의 실시예의 프로세서 또는 포인트 클라우드 인코더를 생성하는 장치 또는 포인트 클라우드 데이터를 생성하는 장치는 신호 처리 기능을 구비한 집적 회로 칩일 수 있다. 구현 과정에 있어서, 상기 방법 실시예의 각 단계들은 프로세서의 하드웨어 집적 논리 회로 또는 소프트웨어 형태의 명령어를 통해 완료될 수 있다. 상기프로세서는 범용 프로세서일 수 있고, 응용 주문형 직접 회로(Application Specific Integrated Circuit, ASIC), 디지털 신호 프로세서(Digital Signal Processor, DSP), 디지털 신호 처리 기기(Digital Signal Processing Device, DSPD), 프로그래머블 논리 기기(Programmable Logic Device, PLD), 현장 프로그래머블 게이트 어레이(Field Programmable Gate Array, FPGA), 중앙처리장치(Central Processing Unit, CPU), 그래프프로세서(Graphics Processing Unit, GPU), 신경망 프로세서(Neural-network Processing Unit, NPU), 컨트롤러, 마이크로 컨트롤러 및 마이크로 프로세서 중 적어도 하나일 수 있다. 프로세서 또는 포인트 클라우드 인코더를 생성하는 장치 또는 포인트 클라우드 데이터를 생성하는 장치는 본 발명의 실시예에서 개시한 각 방법, 단계 및 논리 블록도를 구현 또는 실행할 수 있다. 범용 프로세서는 마이크로 프로세서 또는 임의의 일반적인 프로세서 등일 수도 있다. 본 발명의 실시예를 결합하여 개시된 방법의 단계는, 하드웨어 디코딩 프로세서로 직접 반영되어 실행 및 완료될 수 있거나, 디코딩 프로세서에서의 하드웨어 및 소프트웨어 모듈의 조합에 의해 실행 및 완료될 수 있다. 소프트웨어 모듈은 랜덤 액세스 메모리, 플래시 메모리, 판독 전용 메모리, 프로그래머블 판독 전용 메모리 또는 전기적 소거 가능한 프로그래머블 메모리, 레지스터 등 본 분야에서 널리 알려진 저장 매체에 위치할 수 있다. 상기 저장 매체는 메모리에 위치하고, 프로세서는 메모리의 정보를 판독한 후 하드웨어와 결합하여 상기 방법의 단계들을 완료한다.

이해할 수 있는 것은, 본 발명의 실시예의 메모리 또는 컴퓨터 저장 매체는 휘발성 메모리 또는 비휘발성 메모리일 수 있으며, 휘발성 메모리 및 비휘발성 메모리 모두를 포함할 수도 있다. 여기서, 비 휘발성 메모리는 판독 전용 메모리(Read-Only Memory, ROM), 프로그래머블 판독 전용 메모리(Programmable ROM, PROM), 소거 가능 프로그래머블 판독 전용 메모리(Erasable PROM, EPROM), 전기적 소거 가능 프로그래머블 판독 전용 메모리(Electrically EPROM, EEPROM) 또는 플래시 메모리일 수 있다. 휘발성 메모리는 외부 쾌속 캐시 역할을 하는 랜덤 액세스 메모리(Random Access Memory, RAM)일 수 있다. 한정적이 아닌 예시적인 설명을 통해, 많은 형태의 RAM이 사용 가능하며, 예를 들어, 정적 랜덤 액세스 메모리(Static RAM, SRAM), 동적 랜덤 액세스 메모리(Dynamic RAM, DRAM), 동기식 동적 랜덤 액세스 메모리(Synchronous DRAM, SDRAM), 더블 데이터 레이트 동기식 동적 랜덤 액세스 메모리(Double Data Rate SDRAM, DDR SDRAM), 향상된 동기식 동적 랜덤 액세스 메모리(Enhanced SDRAM, ESDRAM), 동기식 연결 동적 랜덤 액세스 메모리(Synchlink DRAM, SLDRAM) 및 직접 메모리 버스 랜덤 액세스 메모리(Direct Rambus RAM, DR RAM)이다. 유의해야 할 것은, 본 명세서에 설명된 시스템 및 방법의 메모리는 이들 메모리 및 다른 임의의 적합한 유형의 메모리를 포함하나 이에 한정되는 것은 아니다.

본 발명의 실시예 컴퓨터 프로그램 제품을 제공하고, 상기 컴퓨터 프로그램 제품은 컴퓨터 실행 가능한 명령어를 포함하며, 상기 컴퓨터 실행 가능한 명령어가 기기의 프로세서 중에 작동된 경우, 상기 프로세서는 상기 포인트 클라우드 인코더를 생성하는 방법을 실행하고 또는 포인트 클라우드 데이터를 생성하는 방법을 실행한다.

이해해야 할 것은, 명세서에서 언급한"하나의 실시예" 또는 "일 실시예" 또는 "본 발명의 실시예" 또는 "전술한 실시예" 또는 "일부 실시 방식" 또는 "일부 실시예"는 실시예와 관련된 특정한 특징, 구조 또는 특성은 본 발명의 적어도 하나의 실시예에 포함되는 것을 의미한다. 따라서, 명세서 각 곳에서 나타난 "하나의 실시예에서" 또는 "일 실시예에서" 또는 “본 발명의 실시예 "또는 "전술한 실시예" 또는 "일부 실시 방식 "또는 "일부 실시예"는 동일한 실시예를 무조건 가리키는 것은 아니다. 또한, 이러한 특정한 특징, 구조 또는 특성은 임의의 적합한 방식으로 하나 또는 복수 개의 실시예에 결합될 수 있다. 이해해야 할 것은, 본 발명의 각 종류의 실시예에서, 상기 각 과정의 번호의 크기는 수행 순서의 선후를 의미하지 않고, 본 발명의 실시예의 실시 과정은 어떠한 것도 한정하지 않으며, 각 과정의 수행 순서는 그 기능 및 내적 논리에 따라 확정된다. 상기 본 발명 실시예의 번호는 다만 설명을 위한 것일 뿐, 실시예의 우열을 나타내는 것은 아니다.

본 발명에서 제공된 몇 개의 실시예에 있어서, 개시된 방법은 다른 방법으로 구현될 수 있음을 이해해야 한다. 이상에서 설명한 장치 실시예는 다만 예시적인 것이고, 예를 들면 상기 유닛의 분할은 다만 논리적 기능 분할일 뿐이고 실제 응용 시 다른 분할 방법이 있을 수 있으며, 예를 들어, 복수의 유닛 또는 컴포넌트는 다른 하나의 시스템에 조합 또는 통합될 수 있거나, 일부 특징은 생략되거나 실행되지 않을 수 있다. 또한, 각각의 디스플레이되거나 논의된 구성 요소 사이의 결합 또는 직접 결합 또는 통신 연결은 일부 인터페이스를 통한 기기 또는 유닛의 간접 결합 또는 통신 연결일 수 있으며, 전기적, 기계적 또는 다른 형태 일 수 있다.

상기 분리된 부재로서 설명된 유닛은 물리적으로 분리될 수도 있고 물리적으로 분리되지 않을 수도 있으며, 유닛으로 디스플레이된 부재는 물리적 유닛일 수도 있고 아닐 수도 있으며, 즉 동일한 장소에 위치할 수도 있고, 또는 복수 개의 네트워크 유닛에 분포될 수도 있으며; 실제 필요에 따라 그중의 일부 또는 전부를 선택하여 실시예의 방법의 목적을 구현할 수 있다.

또한, 본 발명의 각 실시예에서의 각 기능 유닛은 하나의 처리 유닛에 전부 통합될 수 있으며, 각 유닛이 각각 독립적으로 하나의 유닛으로서 존재할 수도 있거나, 두 개 또는 두 개 이상의 유닛이 하나의 유닛에 통합될 수도 있으며; 상기 통합된 유닛은 하드웨어의 형태로 구현될 수 있을 뿐만 아니라, 하드웨어와 소프트웨어 기능 유닛의 형태로 구현될 수도 있다.

본 발명에서 제공한 몇 개의 방법 실시예에서 언급된 방법은, 충돌되지 않는 경우 임의로 조합되어, 새로운 방법 실시예를 얻을 수 있다.

본 발명에서 제공한 몇 개의 제품 실시예에서 언급된 특징은, 충돌되지 않는 경우 임의로 조합되어, 새로운 제품 실시예를 얻을 수 있다.

본 발명에서 제공한 몇 개의 방법 또는 기기 실시예에서 언급된 특징은, 충돌되지 않는 경우 임의로 조합되어, 새로운 방법 실시예 또는 기기 실시예를 얻을 수 있다.

본 기술분야의 통상의 기술자는 상기 방법 실시예를 구현하기 위한 모든 또는 일부 동작은 프로그램 명령어와 관련되는 하드웨어를 통해 완성되며, 전술한 프로그램은 컴퓨터 저장 매체에 저장될 수 있으며, 상기 프로그램이 실행될 때, 상기 방법 실시예를 포함하는 단계를 실행하며; 전술한 저장 매체는 모바일 저장 기기, ROM, RAM, 자기 디스크 또는 광디스크와 같은 프로그램 코드를 저장할 수 있는 다양한 매체를 포함한다.

또는, 본 발명의 상기 통합된 유닛이 소프트웨어 기능 유닛의 형태로 구현되고 독립적인 제품으로서 판매되거나 사용되는 경우, 컴퓨터 저장 매체에 저장될 수도 있다. 이러한 이해에 기반하여, 본 발명의 실시예의 기술 방안, 즉 관련 기술에 기여하는 부분은 소프트웨어 제품의 형태로 구현될 수 있고, 상기 컴퓨터 소프트웨어 제품은 하나의 저장 매체에 저장되며, 하나의 컴퓨터 기기(개인용 컴퓨터, 서버 또는 네트워크 기기 등일 수 있음)로 하여금 본 발명의 각 실시예의 상기 방법의 전부 또는 일부를 실행하는데 사용되는 복수 개의 명령어를 포함한다. 전술한 저장 매체는 모바일 저장 장치, ROM, 자기 디스크 또는 광디스크와 같은 프로그램 코드를 저장할 수 있는 매체를 포함한다.

본 발명의 실시예에 있어서, 상이한 실시예의 동일한 단계 및 동일한 내용의 설명은, 서로 참조할 수 있다. 본 발명 실시예 및 청구 범위에 사용된 단수 형태인 "한 가지" 및 "상기"는 본문이 다른 의미를 명확하게 나타내지 않는 한, 복수 형태를 포함한다.

이해해야 할 것은, 본문에서의 용어 "및/또는"은 단지 관련된 대상의 관련 관계를 서술하는 것이고, 세 종류의 관계가 존재할 수 있다는 것을 표시하며, 예를 들어, A 및/또는 B는 A가 단독으로 존해하거나, A와 B가 동시에 존해하거나, B가 단독으로 존재하는 세 종류의 경우를 표시할 수 있다. 또한, 본문에서의 부호 "/"은 일반적으로 전후 연관 대상이 "또는"의 관계임을 의미한다.

설명해야 할 것은, 본 발명에 관한 각 실시예에 있어서, 전부 단계를 실행 할 수 있고 또는 일부 단계를 실행할 수 있으며, 다만 하나의 완전한 기술방안을 형상할수 있으면 된다.

이상의 설명은, 다만 본 발명의 실시 형태일뿐이고, 본 발명의 보호 범위는 이에 한정되지 않는다. 본 출원이 속하는 기술 분야의 통상의 기술자라면, 본 발명에서 개시된 기술적 범위 내의 변화 또는 교체가 모두 본 발명의 보호 범위 내에 속해야 함을 쉽게 알 수 있을 것이다. 따라서, 본 발명의 보호 범위는 상기 청구범위의 보호 범위를 기준으로 해야 한다.

Claims

포인트 클라우드 인코더를 생성하는 방법으로서,
대상의 제1 포인트 클라우드 데이터 및 제2 포인트 클라우드 데이터를 획득하는 단계 - 상기 제2 포인트 클라우드 데이터의 완전성은 상기 제1 포인트 클라우드 데이터의 완전성보다 큼 -;
제1 인코더에 기반하여, 상기 제1 포인트 클라우드 데이터의 글로벌 특징의 제1 확율 분포를 결정하는 단계;
제2 인코더에 기반하여, 상기 제2 포인트 클라우드 데이터의 글로벌 특징의 제2 확율 분포를 결정하는 단계 - 상기 제1 인코더와 상기 제2 인코더는 가중을 공유함 -;
상기 제1 확율 분포 및 상기 제2 확율 분포 사이의 제1 차이에 기반하여, 상기 제1 인코더의 가중을 조정하여, 상기 제1 인코더의 타깃 가중을 획득하는 단계; 및
상기 제1 인코더 및 상기 타깃 가중에 따라 포인트 클라우드 인코더를 생성하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 방법.
제1항에 있어서,
상기 제1 인코더에 기반하여, 상기 제1 포인트 클라우드 데이터의 글로벌 특징의 제1 확율 분포를 결정하는 단계는,
상기 제1 인코더에 기반하여 상기 제1 포인트 클라우드 데이터에 대해 특징 추출을 수행하여, 상기 제1 포인트 클라우드 데이터의 글로벌 특징을 획득하는 단계; 및
상기 제1 포인트 클라우드 데이터의 글로벌 특징에 기반하여 상기 제1 확율 분포를 결정하는 단계를 포함하고,
상기 제2 인코더에 기반하여, 상기 제2 포인트 클라우드 데이터의 글로벌 특징의 제2 확율 분포를 결정하는 단계는,
상기 제2 인코더에 기반하여 상기 제2 포인트 클라우드 데이터에 대해 특징 추출을 수행하여, 상기 제2 포인트 클라우드 데이터의 글로벌 특징을 획득하는 단계; 및
상기 제2 포인트 클라우드 데이터의 글로벌 특징에 기반하여 상기 제2 확율 분포를 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 방법.
제2항에 있어서,
상기 제1 인코더의 가중은, 추출된 특징의 차원을 제1 차원에서 제2 차원까지 증가하기 위한 제1 서브 가중을 포함하고;
상기 제1 인코더에 기반하여 상기 제1 포인트 클라우드 데이터에 대해 특징 추출을 수행하여, 상기 제1 포인트 클라우드 데이터의 글로벌 특징을 획득하는 단계는,
상기 제1 인코더의 제1 서브 가중에 기반하여, 상기 제1 포인트 클라우드 데이터 중 각 포인트의 초기 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 상기 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징을 획득하는 단계;
상기 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징이 각 특징 차원에서의 최대값을 추출하여, 상기 제1 포인트 클라우드 데이터의 융합 특징을 획득하는 단계;
상기 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징 및 상기 제1 포인트 클라우드 데이터의 융합 특징을 캐스케이드하여, 상기 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징을 획득하는 단계; 및
상기 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 기반하여, 상기 제1 포인트 클라우드 데이터의 글로벌 특징을 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 방법.
제3항에 있어서,
상기 제1 인코더의 가중은, 추출된 특징의 차원을 제2 차원에서 제3 차원까지 증가하기 위한 제2 서브 가중을 더 포함하고; 상기 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 기반하여, 상기 제1 포인트 클라우드 데이터의 글로벌 특징을 결정하는 단계는,
상기 제1 인코더의 제2 서브 가중에 기반하여, 상기 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 상기 제1 포인트 클라우드 데이터 중 각 포인트의 제3 특징을 획득하는 단계; 및
상기 제1 포인트 클라우드 데이터 중 각 포인트의 제3 특징이 각 특징 차원에서의 최대값을 추출하여, 상기 제1 포인트 클라우드 데이터의 글로벌 특징을 획득하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 방법.
제2항 내지 제4항 중 어느 한 항에 있어서,
상기 제2 인코더의 가중은, 추출된 특징의 차원을 제1 차원에서 제2 차원까지 증가하기 위한 제3 서브 가중을 포함하고;
상기 제2 인코더에 기반하여 상기 제2 포인트 클라우드 데이터에 대해 특징 추출을 수행하여, 상기 제2 포인트 클라우드 데이터의 글로벌 특징을 획득하는 단계는,
상기 제2 인코더의 제3 서브 가중에 기반하여, 상기 제2 포인트 클라우드 데이터 중 각 포인트의 초기 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 상기 제2 포인트 클라우드 데이터 중 각 포인트의 제1 특징을 획득하는 단계;
상기 제2 포인트 클라우드 데이터 중 각 포인트의 제1 특징이 각 특징 차원에서의 최대값을 추출하여, 상기 제2 포인트 클라우드 데이터의 융합 특징을 획득하는 단계;
상기 제2 포인트 클라우드 데이터 중 각 포인트의 제1 특징 및 상기 제2 포인트 클라우드 데이터의 융합 특징에 대해 각각의 요소를 곱하여, 상기 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징을 획득하는 단계; 및
상기 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 기반하여, 상기 제2 포인트 클라우드 데이터의 글로벌 특징을 결정하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 방법.
제5항에 있어서,
상기 제2 인코더의 가중은, 추출된 특징의 차원을 제2 차원에서 제3 차원까지 증가하기 위한 제4 서브 가중을 더 포함하고; 상기 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 기반하여, 상기 제2 포인트 클라우드 데이터의 글로벌 특징을 결정하는 단계는,
상기 제2 인코더의 제4 서브 가중에 기반하여, 상기 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 상기 제2 포인트 클라우드 데이터 중 각 포인트의 제3 특징을 획득하는 단계; 및
상기 제2 포인트 클라우드 데이터 중 각 포인트의 제3 특징이 각 특징 차원에서의 최대값을 추출하여, 상기 제2 포인트 클라우드 데이터의 글로벌 특징을 획득하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 방법.
제1항 내지 제6항 중 어느 한 항에 있어서,
상기 제1 확율 분포 및 상기 제2 확율 분포 사이의 제1 차이에 기반하여, 상기 제1 인코더의 가중을 조정하여, 상기 제1 인코더의 타깃 가중을 획득하는 단계는,
상기 제2 확율 분포와 지정된 확율 분포 사이의 제2 차이를 결정하는 단계; 및
상기 제1 차이 및 상기 제2 차이에 기반하여, 상기 제1 인코더의 가중을 조정하여, 상기 제1 인코더의 타깃 가중을 획득하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 방법.
제7항에 있어서,
상기 제1 차이 및 상기 제2 차이에 기반하여, 상기 제1 인코더의 가중을 조정하여, 상기 제1 인코더의 타깃 가중을 획득하는 단계는,
제1 디코더에 기반하여 상기 제1 확율 분포에 대해 디코딩을 수행하여, 상기 제1 포인트 클라우드 데이터에 대해 보전 후의 제3 포인트 클라우드 데이터를 획득하는 단계;
제2 디코더에 기반하여 상기 제2 확율 분포에 대해 디코딩을 수행하여, 상기 제2 포인트 클라우드 데이터에 대해 재구축 후의 제4 포인트 클라우드 데이터를 획득하는 단계; 및
상기 제1 차이, 상기 제2 차이, 상기 제3 포인트 클라우드 데이터 및 상기 제4 포인트 클라우드 데이터에 기반하여, 상기 제1 인코더의 가중 및 상기 제1 디코더의 가중을 조정하여, 상기 제1 인코더의 타깃 가중 및 상기 제1 디코더의 타깃 가중을 획득하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 방법.
제8항에 있어서,
상기 제1 차이, 상기 제2 차이, 상기 제3 포인트 클라우드 데이터 및 상기 제4 포인트 클라우드 데이터에 기반하여, 상기 제1 인코더의 가중 및 상기 제1 디코더의 가중을 조정하여, 상기 제1 인코더의 타깃 가중 및 상기 제1 디코더의 타깃 가중을 획득하는 단계는,
상기 제3 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 사이의 제3 차이를 결정하는 단계;
상기 제4 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 사이의 제4 차이를 결정하는 단계; 및
상기 제1 차이, 상기 제2 차이, 상기 제3 차이 및 상기 제4 차이에 기반하여, 상기 제1 인코더의 가중 및 상기 제1 디코더의 가중을 조정하여, 상기 제1 인코더의 타깃 가중 및 상기 제1 디코더의 타깃 가중을 획득하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 방법.
제8항 또는 제9항에 있어서,
상기 제1 디코더에 기반하여 상기 제1 확율 분포에 대해 디코딩을 수행하여, 상기 제1 포인트 클라우드 데이터에 대해 보전 후의 제3 포인트 클라우드 데이터를 획득하는 단계는,
상기 제1 확율 분포에 대해 샘플링을 수행하여, 제1 샘플링 데이터를 획득하는 단계;
상기 제1 확율 분포와 상기 제1 샘플링 데이터를 병합하여, 제1 병합 확율 분포를 획득하는 단계; 및
상기 제1 디코더에 기반하여 상기 제1 병합 확율 분포에 대해 디코딩을 수행하여, 상기 제1 포인트 클라우드 데이터에 대해 보전 후의 제3 포인트 클라우드 데이터를 획득하는 단계를 포함하고,
상기 제2 디코더에 기반하여 상기 제2 확율 분포에 대해 디코딩을 수행하여, 상기 제2 포인트 클라우드 데이터에 대해 재구축 후의 제4 포인트 클라우드 데이터를 획득하는 단계는,
상기 제2 확율 분포에 대해 샘플링을 수행하여, 제2 샘플링 데이터를 획득하는 단계;
상기 제1 확율 분포와 상기 제2 샘플링 데이터를 병합하여, 제2 병합 확율 분포를 획득하는 단계; 및
상기 제2 디코더에 기반하여 상기 제2 합병 확율 분포에 대해 디코딩을 수행하여, 상기 제2 포인트 클라우드 데이터에 대해 재구축 후의 제4 포인트 클라우드 데이터를 획득하는 단계를 포함하는 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 방법.
포인트 클라우드 데이터를 생성하는 방법으로서,
대상을 촬영하여 획득한 처리될 포인트 클라우드 데이터를 획득하는 단계;
상기 처리될 포인트 클라우드 데이터 및 훈련 후의 제1 인코더에 기반하여, 상기 처리될 포인트 클라우드 데이터의 글로벌 특징의 타깃 확율 분포를 결정하는 단계; 및
상기 타깃 확율 분포에 기반하여 상기 처리될 포인트 클라우드 데이터에 대해 포인트 클라우드 보전을 수행하여, 타깃 포인트 클라우드 데이터를 생성하는 단계 - 상기 타깃 포인트 클라우드 데이터의 완전성은 상기 처리될 포인트 클라우드 데이터의 완전성보다 큼 - 를 포함하고,
상기 제1 인코더의 타깃 가중은, 적어도 제1 인코더에 의해 결정된 제1 포인트 클라우드 데이터의 글로벌 특징의 제1 확율 분포, 및 제2 인코더에 의해 결정된 제2 포인트 클라우드 데이터의 글로벌 특징의 제2 확율 분포 사이의 제1 차이에 기반하여, 상기 제1 인코더의 가중을 조정하여 획득한 것이고; 상기 제2 포인트 클라우드 데이터의 완전성은 상기 제1 포인트 클라우드 데이터의 완전성보다 큰 것을 특징으로 하는 포인트 클라우드 데이터를 생성하는 방법.
포인트 클라우드 인코더를 생성하는 장치로서,
대상의 제1 포인트 클라우드 데이터 및 제2 포인트 클라우드 데이터를 획득 - 상기 제2 포인트 클라우드 데이터의 완전성은 상기 제1 포인트 클라우드 데이터의 완전성보다 큼 -하기 위한 획득 유닛;
제1 인코더에 기반하여, 상기 제1 포인트 클라우드 데이터의 글로벌 특징의 제1 확율 분포를 결정하기 위한 제1 결정 유닛;
제2 인코더에 기반하여, 상기 제2 포인트 클라우드 데이터의 글로벌 특징의 제2 확율 분포를 결정 - 상기 제1 인코더와 상기 제2 인코더는 가중을 공유함 -하기 위한 제2 결정 유닛;
상기 제1 확율 분포 및 상기 제2 확율 분포 사이의 제1 차이에 기반하여, 상기 제1 인코더의 가중을 조정하여, 상기 제1 인코더의 타깃 가중을 획득하기 위한 조정 유닛; 및
상기 제1 인코더 및 상기 타깃 가중에 따라 포인트 클라우드 인코더를 생성하기 위한 생성 유닛을 포함하는 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 장치.
제12항에 있어서,
상기 제1 결정 유닛은 추가로,
상기 제1 인코더에 기반하여 상기 제1 포인트 클라우드 데이터에 대해 특징 추출을 수행하여, 상기 제1 포인트 클라우드 데이터의 글로벌 특징을 획득하고; 및
상기 제1 포인트 클라우드 데이터의 글로벌 특징에 기반하여 상기 제1 확율 분포를 결정하도록 구성되고,
상기 제2 결정 유닛 추가로,
상기 제2 인코더에 기반하여 상기 제2 포인트 클라우드 데이터에 대해 특징 추출을 수행하여, 상기 제2 포인트 클라우드 데이터의 글로벌 특징을 획득하고; 및
상기 제2 포인트 클라우드 데이터의 글로벌 특징에 기반하여 상기 제2 확율 분포를 결정하도록 구성된 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 장치.
제13항에 있어서,
상기 제1 인코더의 가중은, 추출된 특징의 차원을 제1 차원에서 제2 차원까지 증가하기 위한 제1 서브 가중을 포함하고;
상기 제1 결정 유닛 추가로,
상기 제1 인코더의 제1 서브 가중에 기반하여, 상기 제1 포인트 클라우드 데이터 중 각 포인트의 초기 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 상기 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징을 획득하고;
상기 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징이 각 특징 차원에서의 최대값을 추출하여, 상기 제1 포인트 클라우드 데이터의 융합 특징을 획득하며;
상기 제1 포인트 클라우드 데이터 중 각 포인트의 제1 특징 및 상기 제1 포인트 클라우드 데이터의 융합 특징을 캐스케이드하여, 상기 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징을 획득하고; 및
상기 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 기반하여, 상기 제1 포인트 클라우드 데이터의 글로벌 특징을 결정하도록 구성된 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 장치.
제14항에 있어서,
상기 제1 인코더의 가중은, 추출된 특징의 차원을 제2 차원에서 제3 차원까지 증가하기 위한 제2 서브 가중을 더 포함하고, 상기 제1 결정 유닛 추가로,
상기 제1 인코더의 제2 서브 가중에 기반하여, 상기 제1 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 상기 제1 포인트 클라우드 데이터 중 각 포인트의 제3 특징을 획득하고; 및
상기 제1 포인트 클라우드 데이터 중 각 포인트의 제3 특징이 각 특징 차원에서의 최대값을 추출하여, 상기 제1 포인트 클라우드 데이터의 글로벌 특징을 획득하도록 구성된 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 장치.
제13항 내지 제15항 중 어느 한 항에 있어서,
상기 제2 인코더의 가중은, 추출된 특징의 차원을 제1 차원에서 제2 차원까지 증가하기 위한 제3 서브 가중을 포함하고,
상기 제2 결정 유닛 추가로,
상기 제2 인코더의 제3 서브 가중에 기반하여, 상기 제2 포인트 클라우드 데이터 중 각 포인트의 초기 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 상기 제2 포인트 클라우드 데이터 중 각 포인트의 제1 특징을 획득하고;
상기 제2 포인트 클라우드 데이터 중 각 포인트의 제1 특징이 각 특징 차원에서의 최대값을 추출하여, 상기 제2 포인트 클라우드 데이터의 융합 특징을 획득하며;
상기 제2 포인트 클라우드 데이터 중 각 포인트의 제1 특징 및 상기 제2 포인트 클라우드 데이터의 융합 특징에 대해 각각의 요소를 곱하여, 상기 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징을 획득하고; 및
상기 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 기반하여, 상기 제2 포인트 클라우드 데이터의 글로벌 특징을 결정하도록 구성된 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 장치.
제16항에 있어서,
상기 제2 인코더의 가중은, 추출된 특징의 차원을 제2 차원에서 제3 차원까지 증가하기 위한 제4 서브 가중을 더 포함하고; 상기 제2 결정 유닛 추가로,
상기 제2 인코더의 제4 서브 가중에 기반하여, 상기 제2 포인트 클라우드 데이터 중 각 포인트의 제2 특징에 대해 선형 변환 및 비선형 변환 중 적어도 하나를 수행하여, 상기 제2 포인트 클라우드 데이터 중 각 포인트의 제3 특징을 획득하고;
상기 제2 포인트 클라우드 데이터 중 각 포인트의 제3 특징이 각 특징 차원에서의 최대값을 추출하여, 상기 제2 포인트 클라우드 데이터의 글로벌 특징을 획득하도록 구성된 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 장치.
제12항 내지 제17항 중 어느 한 한에 있어서,
상기 조정 유닛 추가로,
상기 제2 확율 분포와 지정된 확율 분포 사이의 제2 차이를 결정하고; 및
상기 제1 차이 및 상기 제2 차이에 기반하여, 상기 제1 인코더의 가중을 조정하여, 상기 제1 인코더의 타깃 가중을 획득하도록 구성된 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 장치.
제18항에 있어서,
상기 조정 유닛 추가로,
제1 디코더에 기반하여 상기 제1 확율 분포에 대해 디코딩을 수행하여, 상기 제1 포인트 클라우드 데이터에 대해 보전 후의 제3 포인트 클라우드 데이터를 획득하고;
제2 디코더에 기반하여 상기 제2 확율 분포에 대해 디코딩을 수행하여, 상기 제2 포인트 클라우드 데이터에 대해 재구축 후의 제4 포인트 클라우드 데이터를 획득하며; 및
상기 제1 차이, 상기 제2 차이, 상기 제3 포인트 클라우드 데이터 및 상기 제4 포인트 클라우드 데이터에 기반하여, 상기 제1 인코더의 가중 및 상기 제1 디코더의 가중을 조정하여, 상기 제1 인코더의 타깃 가중 및 상기 제1 디코더의 타깃 가중을 획득하도록 구성된 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 장치.
제19항에 있어서,
상기 조정 유닛 추가로,
상기 제3 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 사이의 제3 차이를 결정하고;
상기 제4 포인트 클라우드 데이터와 상기 제2 포인트 클라우드 데이터 사이의 제4 차이를 결정하며; 및
상기 제1 차이, 상기 제2 차이, 상기 제3 차이 및 상기 제4 차이에 기반하여, 상기 제1 인코더의 가중 및 상기 제1 디코더의 가중을 조정하여, 상기 제1 인코더의 타깃 가중 및 상기 제1 디코더의 타깃 가중을 획득하도록 구성된 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 장치.
제19항 내지 제20항 중 어느 한 한에 있어서,
상기 조정 유닛 추가로,
상기 제1 확율 분포에 대해 샘플링을 수행하여, 제1 샘플링 데이터를 획득하고;
상기 제1 확율 분포와 상기 제1 샘플링 데이터를 병합하여, 제1 병합 확율 분포를 획득하며;
상기 제1 디코더에 기반하여 상기 제1 병합 확율 분포에 대해 디코딩을 수행하여, 상기 제1 포인트 클라우드 데이터에 대해 보전 후의 제3 포인트 클라우드 데이터를 획득하고;
상기 제2 확율 분포에 대해 샘플링을 수행하여, 제2 샘플링 데이터를 획득하며;
상기 제1 확율 분포와 상기 제2 샘플링 데이터를 병합하여, 제2 병합 확율 분포를 획득하고; 및
상기 제2 디코더에 기반하여 상기 제2 합병 확율 분포에 대해 디코딩을 수행하여, 상기 제2 포인트 클라우드 데이터에 대해 재구축 후의 제4 포인트 클라우드 데이터를 획득하도록 구성된 것을 특징으로 하는 포인트 클라우드 인코더를 생성하는 장치.
포인트 클라우드 데이터를 생성하는 장치로서,
대상을 촬영하여 획득한 처리될 포인트 클라우드 데이터를 획득하기 위한 획득 유닛;
상기 처리될 포인트 클라우드 데이터 및 훈련 후의 제1 인코더에 기반하여, 상기 처리될 포인트 클라우드 데이터의 글로벌 특징의 타깃 확율 분포를 결정하기 위한 제1 결정 유닛;
상기 타깃 확율 분포에 기반하여 상기 처리될 포인트 클라우드 데이터에 대해 포인트 클라우드 보전을 수행하여, 타깃 포인트 클라우드 데이터를 생성 - 상기 타깃 포인트 클라우드 데이터의 완전성은 상기 처리될 포인트 클라우드 데이터의 완전성보다 큼 -하기 위한 제2 결정 유닛을 포함하고,
상기 제1 인코더의 타깃 가중은, 적어도 제1 인코더에 의해 결정된 제1 포인트 클라우드 데이터의 글로벌 특징의 제1 확율 분포, 및 제2 인코더에 의해 결정된 제2 포인트 클라우드 데이터의 글로벌 특징의 제2 확율 분포 사이의 제1 차이에 기반하여, 상기 제1 인코더의 가중을 조정하여 획득 - 상기 제2 포인트 클라우드 데이터의 완전성은 상기 제1 포인트 클라우드 데이터의 완전성보다 큼 -하도록 구성된 것을 특징으로 하는 포인트 클라우드 데이터를 생성하는 장치.
전자 기기로서,
메모리 및 프로세서를 포함하고,
상기 메모리가 상기 프로세서에서 작동 가능한 컴퓨터 프로그램을 저장하고,
상기 프로세서가 상기 컴퓨터 프로그램을 실행할 경우 제1항 내지 제10항 중 어느 한 항에 따른 단계를 구현하며; 또는,
상기 프로세서가 상기 컴퓨터 프로그램을 실행할 경우 제11항에 따른 단계를 구현하는 것을 특징으로 하는 전자 기기.
컴퓨터 저장 매체로서,
상기 컴퓨터 저장 매체가 하나 또는 복수 개의 프로그램을 저장하고, 상기 하나 또는 복수 개의 프로그램이 하나 또는 복수 개의 프로세서에 의해 실행되어, 제1항 내지 제10항 중 어느 한 항에 따른 방법을 구현하고; 또는,
상기 하나 또는 복수 개의 프로그램이 하나 또는 복수 개의 프로세서에 의해 실행되어, 제11항에 따른 방법을 구현하는 것을 특징으로 하는 컴퓨터 저장 매체.
컴퓨터 프로그램 제품으로서,
컴퓨터 판독 가능한 명령어를 포함하고, 상기 컴퓨터 판독 가능한 명령어가 기기의 프로세서에서 작동할 경우, 상기 프로세서가 제1항 내지 제10항 중 어느 한 항에 따른 방법을 실행하고; 또는,
상기 프로세서가 제11항에 따른 방법을 실행하는 것을 특징으로 하는 컴퓨터 프로그램 제품.