KR102510745B1

KR102510745B1 - 포인트 클라우드 세그먼트화 방법, 컴퓨터로 판독 가능한 저장 매체 및 컴퓨터 기기

Info

Publication number: KR102510745B1
Application number: KR1020217014443A
Authority: KR
Inventors: 수 류; 신룽 왕; 샤오융 선; 쟈야 쟈; 위윙 타이
Original assignee: 텐센트 테크놀로지(센젠) 컴퍼니 리미티드
Priority date: 2019-02-25
Filing date: 2020-02-10
Publication date: 2023-03-15
Also published as: JP2022501740A; JP7210085B2; CN109886272B; EP3933688A4; CN109886272A; EP3933688A1; WO2020173297A1; US11810377B2; EP3933688B1; US20210350183A1; KR20210074353A

Abstract

본 출원은 포인트 클라우드 세그먼트화 방법, 컴퓨터로 판독 가능한 저장 매체 및 컴퓨터 기기에 관한 것이다. 상기 포인트 클라우드 세그먼트화 방법은, 처리될 포인트 클라우드를 인코딩하여 공유된 특징을 획득하는 단계 - 상기 공유된 특징은 시맨틱 레벨 및 인스턴스 레벨에서 공유되는 특징을 가리킴 -; 상이한 디코딩 방식에 따라 상기 공유된 특징을 디코딩하여, 시맨틱 특징과 인스턴스 특징을 각각 획득하는 단계; 상기 시맨틱 특징을 인스턴스 특징 공간에 적응시키고 상기 시맨틱 특징을 상기 인스턴스 특징과 융합하여, 상기 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 획득하는 단계 - 상기 시맨틱 융합된 인스턴스 특징은 상기 시맨틱 특징과 융합된 인스턴스 특징을 나타냄 -; 상기 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 분할하여, 상기 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징을 획득하는 단계; 및 상기 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 상기 포인트 각각이 속하는 인스턴스 카테고리를 결정하는 단계를 포함한다. 본 출원에서 제공되는 방안은 포인트 클라우드 세그먼트화의 효율을 향상시킨다.

Description

포인트 클라우드 세그먼트화 방법, 컴퓨터로 판독 가능한 저장 매체 및 컴퓨터 기기

관련 출원

본 출원은 2019년 2월 25일에 출원된 "POINT CLOUD SEGMENTATION METHOD AND APPARATUS, COMPUTER-READABLE STORAGE MEDIUM, AND COMPUTER DEVICE(포인트 클라우드 세그먼트화 방법, 컴퓨터로 판독 가능한 저장 매체 및 컴퓨터 기기"라는 명칭의 중국 특허출원 제201910138419.6 호에 대한 우선권을 주장하며, 그 내용 전부는 원용에 의해 본 출원에 포함된다.

본 출원은 컴퓨터 기술 분야에 관한 것으로, 특히 포인트 클라우드 세그먼트화 방법, 컴퓨터로 판독 가능한 저장 매체 및 컴퓨터 기기에 관한 것이다.

컴퓨터 기술의 발달에 따라, 디지털 이미지의 수량이 점차 증가하고 디지털 이미지 처리 기술에 대한 수요도 점차 증가하고 있다. 예를 들어, 디지털 이미지는 포인트 클라우드로 나타낼 수 있다. 포인트 클라우드는 동일한 공간 참조 시스템에서 타깃 공간 분포 및 타깃 표면 특징을 표현하는 대량의 포인트 세트를 가리킨다. 객체의 표면상의 샘플링 포인트 각각의 공간 좌표가 획득된 후, 포인트 세트가 획득되며 이를 포인트 클라우드라고 한다. 포인트 클라우드의 세그먼트화 처리는 디지털 이미지 처리 기술에서 중요한 분야이다.

현재, 포인트 클라우드의 세그먼트화(예: 인스턴스 세그먼트화)는 일반적으로 특징 기반 유사성 행렬에 의존한다. 그러나 이러한 세그먼트화 방식은 일반적으로 많은 시간이 걸리고, 그 결과 포인트 클라우드 세그먼트화의 효율이 저하된다. 이 현상은 포인트 클라우드가 비교적 대량의 포인트를 포함하는 경우 특히 명백하다.

본 출원의 실시예는 포인트 클라우드 세그먼트화의 효율을 향상시키기 위해, 포인트 클라우드 세그먼트화 방법, 컴퓨터로 판독 가능한 저장 매체 및 컴퓨터 기기를 제공한다.

하나의 측면에 따르면, 포인트 클라우드 세그먼트화 방법이 제공되며, 상기 포인트 클라우드 세그먼트화 방법은,

처리될 포인트 클라우드(to-be-processed point cloud)를 인코딩하여 공유된 특징(shared feature)을 획득하는 단계 - 상기 공유된 특징은 시맨틱 레벨(semantic level)와 인스턴스 레벨(instance level)에서 공유되는 특징을 가리킴 -;

상이한 디코딩 방식에 따라 상기 공유된 특징을 디코딩하여, 시맨틱 특징(semantic feature)과 인스턴스 특징(instance feature)을 각각 획득하는 단계;

상기 시맨틱 특징을 인스턴스 특징 공간에 적응시키고 상기 시맨틱 특징을 상기 인스턴스 특징과 융합하여, 상기 포인트 클라우드의 시맨틱 융합된 인스턴스 특징(semantic-fused instance feature)을 획득하는 단계 - 상기 시맨틱 융합된 인스턴스 특징은 상기 시맨틱 특징과 융합된 인스턴스 특징을 나타냄 -;

상기 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 분할하여, 상기 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징을 획득하는 단계; 및

상기 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 상기 포인트 각각이 속하는 인스턴스 카테고리를 결정하는 단계를 포함한다.

다른 측면에 따르면, 포인트 클라우드 세그먼트화 장치가 제공되며, 상기 포인트 클라우드 세그먼트화 장치는,

처리될 포인트 클라우드를 인코딩하여 공유된 특징을 획득하도록 구성된 인코딩 모듈;

상이한 디코딩 방식에 따라 상기 공유된 특징을 디코딩하여, 시맨틱 특징과 인스턴스 특징을 각각 획득하도록 구성된 디코딩 모듈;

상기 시맨틱 특징을 인스턴스 특징 공간에 적응시키고 상기 시맨틱 특징을 상기 인스턴스 특징과 융합하여, 상기 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 획득하고 - 상기 시맨틱 융합된 인스턴스 특징은 상기 시맨틱 특징과 융합된 인스턴스 특징을 나타냄 -; 상기 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 분할하여, 상기 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징을 획득도록 구성된 시맨틱 융합된 인스턴스 모듈; 및

상기 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 상기 포인트 각각이 속하는 인스턴스 카테고리를 결정하도록 구성된 시맨틱 융합된 인스턴스 세그먼트화 모듈을 포함한다.

가능한 구현예에서, 상기 인코딩 모듈은 추가로, 상기 처리될 포인트 클라우드를 획득하고; 상기 포인트 클라우드 내의 포인트 각각의 좌표 특징과 채널 특징을 결합하여, 대응하는 포인트의 초기 특징을 획득하고; 포인트들의 초기 특징을 함께 인코딩하여, 상기 포인트 클라우드에 대응하는 공유된 특징을 획득하도록 구성된다.

가능한 구현예에서, 상기 디코딩 모듈은 추가로, 제1 디코딩 구조를 사용하여 상기 공유된 특징을 디코딩하여 상기 시맨틱 특징을 획득하고; 제2 디코딩 구조를 사용하여 상기 공유된 특징을 디코딩하여 상기 인스턴스 특징을 획득하도록 구성되고, 상기 제1 디코딩 구조와 상기 제2 디코딩 구조는 동일한 구조 및 상이한 디코딩 파라미터를 포함한다.

가능한 구현예에서, 상기 시맨틱 특징은 시맨틱 특징 행렬이고; 상기 인스턴스 특징은 인스턴스 특징 행렬이며; 상기 시맨틱 융합된 인스턴스 모듈은 추가로,

포인트 각각의 독립된 제1 완전 연결 계층을 사용하여 상기 시맨틱 특징 행렬을 상기 인스턴스 특징 공간에 적응시키고; 상기 인스턴스 특징 공간에 적응된 시맨틱 특징 행렬과, 상기 인스턴스 특징 행렬에 대해 요소별 가산을 수행하여, 상기 포인트 클라우드의 제1 행렬을 획득하도록 구성되며, 상기 제1 행렬은 시맨틱 융합된 인스턴스 특징 행렬이다.

가능한 구현예에서, 상기 시맨틱 융합된 인스턴스 모듈은 추가로, 상기 포인트 클라우드의 시맨틱 융합된 인스턴스 특징 행렬을 상기 포인트 각각의 독립된 제2 완전 연결 계층에 입력하고; 상기 제2 완전 연결 계층에 포함된 정규화 계층과 활성화 계층을 사용하여 상기 포인트 클라우드의 제1 행렬을 순차적으로 처리하여, 상기 포인트 클라우드 내의 포인트 각각의 제1 벡터를 획득하도록 구성되며, 상기 제1 벡터는 시맨틱 융합된 인스턴스 특징 벡터이다.

가능한 구현예에서, 상기 시맨틱 융합된 인스턴스 세그먼트화 모듈은 추가로,

상기 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징과 상기 포인트 각각을 제외한 상기 포인트 클라우드 내의 다른 포인트들의 시맨틱 융합된 인스턴스 특징 사이의 특징 거리를 개별적으로 계산하고; 계산을 통해 획득된 특징 거리에 따라 상기 포인트 클라우드 내의 포인트들을 클러스터화하여, 복수의 포인트 세트를 획득하도록 구성되며, 상기 복수의 포인트 세트 내의 포인트 세트 각각은 인스턴스 카테고리에 대응한다.

가능한 구현예에서, 상기 포인트 클라우드 세그먼트화 장치는 인스턴스 융합된 시맨틱 모듈 및 인스턴스 융합된 시맨틱 세그먼트화 모듈을 더 포함한다.

상기 인스턴스 융합된 시맨틱 모듈은, 상기 포인트 클라우드 내의 포인트 각각을 중심 포인트로서 개별적으로 사용하고; 상기 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 각각의 중심 포인트에 대응하는 복수의 인접 포인트들을 결정하고; 상기 각각의 중심 포인트에 대응하는 복수의 인접 포인트들의 시맨틱 특징을 융합하여, 대응하는 중심 포인트의 인스턴스 융합된 시맨틱 특징을 획득하도록 구성되고;

상기 인스턴스 융합된 시맨틱 세그먼트화 모듈은 상기 중심 포인트 각각의 인스턴스 융합된 시맨틱 특징에 따라 상기 각각의 포인트가 속한 시맨틱 카테고리를 결정하도록 구성된다.

가능한 구현예에서, 상기 인스턴스 융합된 시맨틱 모듈은 추가로, 상기 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 상기 각각의 중심 포인트와 상기 포인트 클라우드 내의 포인트 각각 사이의 특징 거리를 개별적으로 계산하고; 상기 중심 포인트로부터의 특징 거리가 미리 설정된 거리보다 작은 복수의 포인트들을 상기 중심 포인트에 대응하는 복수의 인접 포인트들로서 선택하도록 구성된다.

가능한 구현예에서, 상기 디코딩 모듈은 추가로, 제1 디코딩 방식으로 상기 공유된 특징을 디코딩하여 상기 포인트 클라우드의 시맨틱 특징 행렬을 획득하고; 상기 제1 디코딩 방식과는 다른 제2 디코딩 방식으로 상기 공유된 특징을 디코딩하여 상기 포인트 클라우드의 인스턴스 특징 행렬을 획득하도록 구성되며, 상기 시맨틱 특징 행렬은 상기 포인트 클라우드 내의 포인트 각각의 시맨틱 특징 벡터를 포함하고;

상기 인스턴스 융합된 시맨틱 모듈은 추가로 상기 각각의 중심 포인트에 대응하는 복수의 인접 포인트들의 시맨틱 특징 벡터에 대해 요소별 집계를 수행하여, 대응하는 중심 포인트의 제2 벡터를 획득하도록 구성되며, 상기 제2 벡터는 인스턴스 융합된 시맨틱 특징 벡터이다.

가능한 구현예에서, 상기 인스턴스 융합된 시맨틱 세그먼트화 모듈은 추가로, 포인트 각각의 독립된 제3 완전 연결 계층을 사용하여 상기 중심 포인트 각각의 인스턴스 융합된 시맨틱 특징을 대응하는 시맨틱 예측 벡터로 변환하고; 상기 중심 포인트 각각의 시맨틱 예측 벡터에서의 최대 벡터 요소에 대응하는 시맨틱 카테고리를 상기 각각의 포인트가 속한 시맨틱 카테고리로서 사용하도록 구성된다.

가능한 구현예에서, 상기 시맨틱 융합된 인스턴스 세그먼트화 모듈은 추가로, 상기 포인트 클라우드 내의 포인트 각각의 인스턴스 특징과 상기 포인트 각각을 제외한 상기 포인트 클라우드 내의 다른 포인트들의 인스턴스 특징 사이의 특징 거리를 개별적으로 계산하고; 계산을 통해 획득된 특징 거리에 따라 상기 포인트 클라우드 내의 포인트들을 클러스터화하여, 복수의 포인트 세트를 획득하고; 상기 복수의 포인트 세트 내의 포인트 세트 각각이 속하는 시맨틱 카테고리에 따라 상기 포인트 세트 각각이 속하는 인스턴스 카테고리를 결정하도록 구성된다.

다른 측면에 따르면, 컴퓨터 프로그램을 저장하는, 컴퓨터로 판독 가능한 저장 매체가 제공되며, 상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 전술한 포인트 클라우드 세그먼트화 방법의 작업을 수행하게 한다.

다른 측면에 따르면, 메모리 및 프로세서를 포함하는 컴퓨터 기기가 제공되며, 상기 메모리는 컴퓨터 프로그램을 저장하고, 상기 컴퓨터 프로그램은 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 전술한 포인트 클라우드 세그먼트화 방법의 작업을 수행하게 한다.

전술한 포인트 클라우드 세그먼트화 방법 및 장치, 컴퓨터로 판독 가능한 저장 매체 및 컴퓨터 기기에 따르면, 먼저, 처리될 포인트 클라우드를 인코딩하여 공유된 특징을 획득한 다음; 상이한 디코딩 브랜치(branch)를 사용하여 공유된 특징을 디코딩하여 시맨틱 특징과 인스턴스 특징을 각각 획득하고; 시맨틱 특징을 인스턴스 특징 공간에 적응시키고 인스턴스 특징과 융합하여, 포인트 클라우드의 풍부한 시맨틱 인식(semantic awareness)을 가진 인스턴스 특징을 획득한 다음; 포인트 클라우드 내의 포인트 각각의 풍부한 시맨틱 인식을 가진 인스턴스 특징을 획득하고, 각각의 포인트가 속한 인스턴스 카테고리를 결정할 수 있다. 이러한 방식으로, 세그먼트화는 더이상 특징 기반 유사성 행렬에 의존하지 않으므로, 포인트 클라우드 세그먼트화의 효율이 향상된다. 또한, 풍부한 시맨틱 인식을 가진 인스턴스 특징을 학습하여, 인스턴스 세그먼트화가 시맨틱 세그먼트화로부터 혜택을 받을 수 있도록 하여, 포인트 클라우드 세그먼트화의 정확도를 크게 향상시킬 수 있다.

도 1은 일 실시예에서의 포인트 클라우드 세그먼트화 방법의 애플리케이션 환경의 도면아다.
도 2는 일 실시예에서의 포인트 클라우드 세그먼트화 방법의 개략 흐름도이다.
도 3은 일 실시예에서의 포인트 클라우드 세그먼트화의 개략적인 원리 도면이다.
도 4는 일 실시예에서의 인스턴스와 시맨틱을 연관지어 세그먼트화하는(associatively segmenting instances and semantics, ASIS)의 네트워크 구조의 개략도이다.
도 5는 다른 실시예에서의 포인트 클라우드 세그먼트화 방법의 개략 흐름도이다.
도 6은 일 실시예에서의 인스턴스와 시맨틱을 연관지어 세그먼트화하는 개략도이다.
도 7은 일 실시예에서의 포인트 클라우드 세그먼트화 장치의 구성 블록도이다.
도 8은 다른 실시예에서의 포인트 클라우드 세그먼트화 장치의 구성 블록도이다.
도 9는 일 실시예에서의 컴퓨터 기기의 구성 블록도이다.

본 출원의 목적, 기술적 방안 및 이점을 보다 명확하게 하기 위해, 이하에서는 첨부 도면 및 실시예를 참조하여 본 출원을 상세하게 설명한다. 여기에 설명된 구체적인 실시예는 단지 본 출원을 설명하기 위해 사용될 뿐이며 본 출원을 한정하려는 의도는 아님을 이해해야 한다.

인공 지능(Artificial Intelligence, AI)은 인간의 지능을 시뮬레이션, 확대 및 확장하고, 환경을 감지하고, 지식을 얻고, 지식을 사용하여 최적을 결과를 얻기 위해, 디지털 컴퓨터 또는 디지털 컴퓨터에 의해 제어되는 기계를 사용하는 이론, 방법, 기술, 및 애플리케이션 시스템이다. 다시 말해, AI는 컴퓨터 과학의 종합 기술이며 지능의 본질을 이해하고 인간 지능과 유사한 방식으로 반응할 수 있는 새로운 지능 기계를 생산하려고 시도한다. AI는 다양한 지능형 기계의 설계 원리와 구현 방법을 연구하여, 기계가 감지, 추론 및 의사결정의 기능을 가질 수 있도록 한다.

AI 기술은 종합적인 학문 분야이며, 하드웨어 레벨의 기술과 소프트웨어 레벨의 기술을 모두 포함하는 광범위한 분야와 관련된다. 기본적인 AI 기술로는 일반적으로 센서, 전용 AI 칩, 클라우드 컴퓨팅, 분산 스토리지, 빅 데이터 처리 기술, 운영/상호작용 시스템 및 전기기계 통합과 같은 기술을 포함한다. AI 소프트웨어 기술로는 주로 컴퓨터 비전(computer vision, CV) 기술, 음성 처리 기술, 자연어 처리 기술, 및 기계 학습(machine learning)/심층 학습(deep learning)과 같은, 몇몇 주요 방향을 포함한다.

CV는 기계를 사용하여 "보는" 방법을 연구하는 과학이며, 구체적으로, 사람의 눈을 대체하여 카메라와 컴퓨터를 사용하여 타깃에 대해 인식, 추적 및 측정과 같은 머신 비전을 수행하고, 그래픽 처리를 추가로 수행하여, 컴퓨터가 타깃을 사람의 눈이 관찰하기에 더 적합한 이미지, 또는 검출을 위해 기구에 송신되는 이미지로 처리할 수 있도록 한다. 과학 학문 분야로서, CV는 관련 이론과 기술을 연구하고 이미지 또는 다차원 데이터에서 정보를 획득할 수 있는 AI 시스템을 구축하려고 시도한다. CV 기술로는 일반적으로 이미지 처리, 이미지 인식, 이미지 시맨틱 이해, 이미지 검색, 광학적 문자 인식(optical character recognition, OCR), 비디오 처리, 비디오 시맨틱 이해, 비디오 콘텐츠/행동 인식, 3차원 객체 재구축, 3D 기술, 가상 현실, 증강 현실, 동기식 위치결정, 지도 구축과 같은 기술을 포함하고, 일반적인 얼굴 인식 및 지문 인식과 같은 생물학적 특징 인식 기술을 더 포함한다.

AI 기술의 연구와 발전에 따라, AI 기술은 일반적인 스마트 홈, 스마트 웨어러블 기기, 가상 비서, 스마트 스피커, 스마트 마케팅, 무인 운전, 자동 운전, 무인 항공기, 로봇, 스마트 의료, 스마트 고객 서비스, 증강 현실과 같은, 여러 분야에 연구 및 적용되고 있다. 기술의 발전에 따라, AI 기술은 더 많은 분야에 적용될 것이고, 점점 더 중요한 역할을 할 것으로 생각된다.

본 출원의 실시예에서 제공되는 방안은, 예를 들어 AI의 CV와 같은 기술과 관련되며, 이는 이하의 실시예를 사용하여 구체적으로 설명된다:

도 1은 일 실시예에서의 포인트 클라우드 세그먼트화 방법의 애플리케이션 환경의 도면이다. 도 1을 참조하면, 포인트 클라우드 세그먼트화 방법은 포인트 클라우드 세그먼트화 시스템에 적용된다. 포인트 클라우드 세그먼트화 시스템은 단말기(110)와 서버(120)를 포함한다. 단말기(110)와 서버(120)는 네트워크를 사용하여 연결된다. 일례에서, 단말기(110)는 구체적으로 데스크톱 단말기 또는 이동 단말기일 수 있으며, 이동 단말기는 이동 전화, 태블릿 컴퓨터, 노트북 컴퓨터 등 중 적어도 하나일 수 있다. 서버(120)는 독립된 서버 또는 복수의 서버를 포함하는 서버 클러스터를 사용하여 구현될 수 있다. 본 출원의 본 실시예에서 이를 특별히 한정하지 않는다.

본 출원의 본 실시예에서의 포인트 클라우드 세그먼트화 방법은 단말기(110) 또는 서버(120)에 의해 개별적으로 실행될 수 있거나, 단말기(110)와 서버(120)에 의해 함께으로 실행될 수도 있다. 본 출원의 본 실시예에서 이를 특별히 한정하지 않는다.

가능한 구현예에서, 본 출원의 본 실시예에서의 포인트 클라우드는 2차원 포인트 클라우드, 3차원 포인트 클라우드 등을 포함한다. 2차원 포인트 클라우드는, 예를 들어 2차원 이미지의 화소 세트일 수 있다. 3차원 포인트 클라우드는, 예를 들어 3차원 장면의 3차원 포인트 세트일 수 있다.

본 출원의 본 실시예에서 포인트 클라우드 세그먼트화는 시맨틱 세그먼트화 및 인스턴스 세그먼트화를 포함한다.

시맨틱 세그먼트화는 포인트 그룹에 대해 시맨틱 주석을 수행하면서 포인트 클라우드를, 특정 시맨틱을 갖는 복수의 비중첩 포인트 그룹으로 세그먼트화하는 것을 가리킬 수 있다. 본질적으로, 시맨틱 세그먼트화는 포인트 레벨 분류를 구현한다. 전체 포인트 클라우드의 시맨틱 주석은 각각의 포인트를 분류함으로써 구현된다. 예를 들어, 2차원 이미지 또는 3차원 장면에서, 어떤 포인트가 고양이에 속하는지, 또는 어떤 포인트가 펜에 속하는지, 또는 어떤 포인트가 풍선에 속하는지가 구별된다.

인스턴스는 유형에 속하는 특정 객체이다. 특정 객체는 인스턴스, 예를 들어, 고양이, 펜 또는 풍선으로서 간주될 수 있다. 인스턴스 세그먼트화는 포인트 클라우드를 특정 객체에 속하는 복수의 중첩되지 않는 포인트 그룹으로 세그먼트화하는 것을 가리키며, 하나의 포인트 그룹은 하나의 인스턴스에 대응한다. 예를 들어, 2차원 이미지 또는 3차원 장면에, 어떤 포인트가 특정 객체에 속하는지, 어떤 포인트가 다른 특정 객체에 속하는지 등을 구별할 수 있다.

인스턴스 세그먼트화는 대안으로 시맨틱 세그먼트화에 기초하여 인스턴스의 시맨틱 카테고리를 구별하기 위해, 시맨틱 세그먼트화과 결합될 수 있다. 예를 들어, 2차원 이미지 또는 3차원 장면에 복수의 고양이가 있는 경우, 시맨틱 세그먼트화 결과와 결합된 인스턴스 세그먼트화를 통해, 고양이에 속하는 포인트들 중에서 어떤 포인트가 제1 고양이에 속하는지, 어떤 포인트가 제2 고양이에 속하는지를 구별할 수 있다.

도 2에 도시된 바와 같이, 예시적인 실시예에서, 본 출원의 본 실시예는 포인트 클라우드 세그먼트화 방법을 제공한다. 본 실시예는 주로 이 방법이 컴퓨터 기기에 적용되는 예를 사용하여 설명된다. 컴퓨터 기기는 도 1에서의 단말기(110) 또는 서버(120)일 수 있다. 도 2를 참조하면, 포인트 클라우드 세그먼트화 방법은 다음 단계를 포함한다:

S202. 처리될 포인트 클라우드를 인코딩하여 공유된 특징을 획득한다.

공유된 특징이란 신택스 레벨과 인스턴스 레벨에서 공유되는 특징을 가리킨다. 다시 말해, 공유된 특징에 기초한 처리를 통해 신택스 특징(semantic feature)과 인스턴스 특징(instance feature)은 개별적으로 획득할 수 있다. 신택스 특징은 포인트 클라우드의 신택스 특성(semantic characteristic)을 나타내는 데이터를 가리키고, 인스턴스 특징은 포인트 클라우드의 인스턴스 특성(instance characteristic)을 나타내는 데이터를 가리킨다.

처리될 포인트 클라우드를 획득한 후, 컴퓨터 기기는 처리될 포인트 클라우드에 대해 특징 데이터 추출을 수행한 다음, 추출된 특징 데이터를 인코딩하여 공유된 특징을 획득한다. 공유된 특징은 전체 포인트 클라우드의 정보를 커버하는 포인트 클라우드의 특성의 고차원 표현일 수 있음을 이해할 수 있다. 공유된 특징은 대안으로 전체 포인트 클라우드의 정보도 커버하는 포인트 클라우드의 특성의 저 차원 표현일 수 있다. 공유된 특징에 대한 데이터 형식에는 복수의 유형이 있을 수 있다. 예를 들어, 공유된 특징은 행렬, 즉, 공유된 특징 행렬의 형태일 수 있다.

예시적인 실시예에서, 컴퓨터 기기는 심층 학습 네트워크를 특징 인코더로서 선택할 수 있고, 특징 인코더를 사용하여 처리될 포인트 클라우드에 대해 특징 데이터 추출 및 인코딩을 수행하여 공유된 특징을 획득할 수 있다. 일례로, 특징 인코더로서 사용되는 심층 학습 네트워크는 PointNet 네트워크의 전반 부분, PointNet++ 네트워크의 전반 부분, 또는 다른 네트워크 구조일 수 있다. PointNet 네트워크는 다층 감지(multi-layer perceptron)와 최대 풀링(pooling)으로 구성되는 포인트 클라우드 처리 네트워크이며, PointNet++ 네트워크는 PointNet 네트워크의 개선된 것이다.

예를 들어, 컴퓨터 기기가 특징 인코더로 PointNet 네트워크를 사용한다고 가정하면, 공유된 특징 행렬은 로컬 특징과 글로벌 특징이 PointNet 네트워크에서 병합되는 네트워크 계층의 출력을 가리킨다. 이 경우, 특징 인코더는 PointNet 네트워크의 제1 네트워크 계층에서 로컬 특징과 글로벌 특징이 병합된 네트워크 계층까지의 네트워크 구조이다. 컴퓨터 기기가 PointNet++ 네트워크를 특징 인코더로서 사용한다고 가정하면, 공유된 특징 행렬은 PointNet++ 네트워크에서 마지막 세트 추상화 모듈(set abstraction module)의 출력을 가리킨다. 이 경우 특징 인코더는 PointNet++ 네트워크의 최초 네트워크 계층에서부터 최후의 세트 추상화 모듈까지의 네트워크 구조이다.

예시적인 실시예에서, S202는 처리될 포인트 클라우드를 획득하는 것; 처리될 포인트 클라우드 내의 포인트 각각의 좌표 특징과 채널 특징을 결합하여, 대응하는 포인트의 초기 특징을 획득하는 것; 및 포인트들의 초기 특징을 함께 인코딩하여, 처리될 포인트 클라우드에 대응하는 공유된 특징을 획득하는 것을 포함한다.

포인트의 좌표 특징은 포인트의 좌표 위치일 수 있다. 포인트의 채널 특징은 색상 채널 값과 같은, 포인트의 채널 값일 수 있다. 좌표 특징과 채널 특징을 결합하는 것은 각각의 좌표 위치와 각각의 채널 값을 스플라이싱(splicing)하는 것일 수 있다. 포인트의 초기 특징은 특징 추출 및 인코딩에 사용되는 특징이다.

예를 들어, 3차원 포인트 클라우드에서의 3차원 포인트의 좌표 특징은 좌표 차원 X의 좌표 위치 x, 좌표 차원 Y의 좌표 위치 y 및 좌표 차원 Z의 좌표 위치 z이고; 3차원 포인트 클라우드에서의 3차원 포인트의 채널 특징은 R 색상 채널의 채널 값 r, G 색상 채널의 채널 값 g, 및 B 색상 채널의 채널 값 b이다. 3차원 포인트 클라우드에서의 3차원 포인트의 좌표 특징과 채널 특징이 결합되어 (x, y, z, r, g, b)가 된다.

처리될 포인트 클라우드를 획득한 후, 컴퓨터 기기는 포인트 클라우드에서의 포인트 각각의 좌표 특징과 채널 특징을 결합할 수 있다. 그런 다음 컴퓨터 기기는 포인트 클라우드 내의 모든 포인트의 초기 특징을 함께 인코딩한다.

예시적인 실시예에서, 컴퓨터 기기는 포인트 클라우드 내의 모든 포인트의 초기 특징을 특징 인코더에 함께 입력할 수 있고, 모든 포인트의 초기 특징은 특징 인코더를 사용하여 처리되어 공유된 특징 행렬을 출력한다. 예를 들어, 처리될 포인트 클라우드는 크기가

인 포인트 클라우드이다, 즉, 포인트 클라우드는

개의 포인트를 포함한다. 컴퓨터 기기는 처리될 포인트 클라우드를 인코딩한다. 다시 말해,

개의 포인트의 초기 특징,

(x, y, z, r, g, b)의 초기 특징은 처리를 위해 특징 인코더에 입력된다. 다시 말해, 3차원 포인트 각각의 초기 특징은 1×6의 초기 특징 벡터일 수 있고, 3차원 포인트 클라우드 내의 모든 3차원 포인트의 초기 특징은

의 초기 특성 행렬로 결합되어 처리를 위해 특징 인코더에 입력될 수 있다.

물론, 다른 예시적인 실시예에서, 처리될 포인트 클라우드는 대안으로 2차원 포인트 클라우드일 수 있고, 이 경우 좌표 특징은 2차원만을 포함한다. 또한, 채널 특징은 대안으로 YUV 삼색 채널, 그레이스케일 채널 등일 수 있다. 본 출원의 본 실시예에서 이를 특별히 한정하지 않는다.

전술한 실시예에서, 포인트 클라우드 내의 포인트의 초기 특징은 두 가지 상이한 특징 레벨: 좌표 레벨과 채널 레벨에 의해 반영된다. 그런 다음 두 가지 특징 레벨을 포함하는 초기 특징이 인코딩되어, 포인트 클라우드 특성을 반영하는 보다 풍부한 특징 데이터 추출하므로, 포인트 클라우드의 후속하는 세그먼트화 처리를 매우 용이하게 한다.

예를 들어, 도 3은 예시적인 실시예에서의 포인트 클라우드 세그먼트화의 개략적인 원리 도면이다. 도 3을 참조하면, 본 출원의 본 실시예에서 처리될 포인트 클라우드는 크기가

인 3차원 포인트 클라우드라고 가정하며, 컴퓨터 기기는 특징 인코더(예: PointNet 네트워크의 전반 부분)를 사용하여

개의 3차원 포인트의 초기 특징(x, y, z, r, g, b)을 인코딩하여, 공유된 특징 행렬

을 획득한다.

S204. 상이한 디코딩 방식에 따라, 공유된 특징을 디코딩하여 시맨틱 특징과 인스턴스 특징을 각각 획득한다.

시맨틱 특징 및 인스턴스 특징은 두 개의 상이한 특징 레벨의 특징이라는 것을 이해할 수 있다. 동일한 데이터로부터 서로 다른 특징 레벨의 특징을 디코딩하려면, 일반적으로 서로 다른 결과를 얻기 위해 서로 다른 디코딩 방식으로 디코딩을 개별적으로 수행해야 한다.

디코딩 방식은 디코딩 원리에서 다를 수 있다. 예를 들어, 디코딩은 심층 학습 네트워크를 사용하거나 로지스틱 회귀(logistic regression)를 통해 수행된다. 디코딩 방식은 대안으로 네트워크 구조에서 다를 수 있다. 예를 들어, 디코딩은 구조가 상이한 심층 학습 네트워크를 사용하여 수행된다. 디코딩 방식은 대안으로 네트워크 구조 파라미터에서 다를 수 있다. 예를 들어 모델 구조는 동일하지만 네트워크 구조 파라미터가 상이한 심층 학습 네트워크를 사용하여 디코딩이 수행된다.

컴퓨터 기기는 두 개의 상이한 디코딩 방식에 따라 병렬로 공유된 특징을 개별적으로 디코딩하고, 공유된 특징으로부터 상이한 정보를 추출하고, 추출된 두 가지 상이한 유형의 정보에 따라 시맨틱 특징 및 인스턴스 특징을 각각 획득할 수 있다. 시맨틱 특징은 전체 포인트 클라우드의 시맨틱 레벨의 정보를 커버하는, 포인트 클라우드의 시맨틱 특성의 고차원 표현일 수 있고; 시맨틱 특징은 대안으로 전체 포인트 클라우드의 시맨틱 레벨의 정보를 커버하는, 포인트 클라우드의 시맨틱 특성의 저차원 표현일 수도 있음을 있을 것이다. 인스턴스 특징은 전체 포인트 클라우드의 인스턴스 레벨의 정보를 커버하는, 포인트 클라우드의 인스턴스 특징의 고차원 표현일 수 있고; 인스턴스 특징은 대안으로 전체 포인트 클라우드의 인스턴스 레벨의 정보를 커버하는, 포인트 클라우드의 인스턴스 특징의 저차원 표현일 수도 있다. 시맨틱 특징과 인스턴스 특징에 대한 데이터 포맷은 복수의 유형이 있을 수 있다. 예를 들어, 시맨틱 특징과 인스턴스 특징은 행렬, 즉 시맨틱 특징 행렬과 인스턴스 특징 행렬의 형태일 수 있다. 본 출원의 본 실시예에서는 이를 특별히 한정하지 않는다.

예시적인 실시예에서, S204는 제1 디코딩 구조를 사용하여 공유된 특징을 디코딩하여 시맨틱 특징을 획득하고; 제2 디코딩 구조를 사용하여 공유된 특징을 디코딩하여 인스턴스 특징을 획득하는 것을 포함하며, 여기서 제1 디코딩 구조 및 제2 디코딩 구조는 동일한 구조 및 상이한 디코딩 파라미터를 포함한다.

제1 디코딩 구조와 제2 디코딩 구조는 동일한 구조이지만 상이한 구조 파라미터를 갖는 두 가지 유형의 디코딩 구조이다. 예를 들어, 컴퓨터 기기는 PointNet 네트워크의 전반 부분을 공유된 특징을 디코딩하기 위한 디코더로서 선택할 수 있다. 그러면 디코딩을 수행하여 시맨틱 특징을 획득하는 pointNet 네트워크는 디코딩을 수행하여 인스턴스 특징을 획득하는 PointNet 네트워크와는 다른 네트워크 파라미터를 갖는다. 네트워크 파라미터는 샘플 데이터 트레이닝을 통해 획득된다.

컴퓨터 기기는 병렬로 제1 디코딩 구조를 사용하여 공유된 특징을 디코딩하여 시맨틱 특징을 획득하고, 제2 디코딩 구조를 사용하여 공유된 특징을 디코딩하여 인스턴스 특징을 획득할 수 있다.

예시적인 실시예에서, 컴퓨터 기기는 심층 학습 네트워크를 특징 인코더 및 두 개의 병렬 특징 디코더로서 선택하고, 특징 인코더를 사용하여 포인트 클라우드를 인코딩하여 공유된 특징을 획득하고, 두 개의 병렬 특징 디코더를 사용하여 공유된 특징을 디코딩하여 시맨틱 특징과 인스턴스 특징을 획득할 수 있다. 특징 인코더는 PointNet 네트워크의 전반 부분 또는 PointNet++ 네트워크의 전반 부분일 수 있고, 두 개의 병렬 특징 디코더는 PointNet 네트워크의 후반 부분 또는 PointNet++ 네트워크의 후반 부분일 수 있다. 물론, 특징 인코더 및 두 개의 병렬 특징 디코더는 대안으로 다른 네트워크 구조일 수 있다. 본 출원의 본 실시예에서는 이를 특별히 한정하지 않는다.

본 출원의 본 실시예에서, 공유된 특징은 동일한 구조이지만 상이한 파라미터를 가진 디코딩 구조에 기초하여 디코딩될 수 있다. 이러한 방식으로 획득된 시맨틱 특징과 인스턴스 특징은 특징 표현과 특징 차원에서 매칭되어, 두 특징 레벨에서의 후속한 특징 융합을 용이하게 하고, 포인트 클라우드 세그먼트화의 정확도를 향상시킨다. 또한, 동일한 구조를 가진 두 개의 디코딩 구조의 트레이닝은 상이한 구조 또는 상이한 원리를 가진 디코딩 구조의 트레이닝보다 더 편리하다.

여전히 도 3을 참조하면, 같이, 공유된 특징 행렬

을 획득한 후, 컴퓨터 기기는 두 개의 상이한 브랜치(branch)를 병렬로 사용하여 공유된 특징 행렬을 디코딩할 수 있다. 즉, 공유된 특징 행렬

은 시맨틱 세그먼트화 브랜치의 디코딩 구조를 사용하여 크기

의 시맨틱 특징 행렬

으로 디코딩되고, 공유된 특징 행렬

은 인스턴스 세그먼트화 브랜치의 디코딩 구조를 사용하여 크기

의 인스턴스 특징 행렬

로 디코딩된다.

는 특징의 차원 수이며, 그 값은 128, 256 등일 수 있다. 예를 들어, 3차원 포인트의 초기 특징이 6개의 값을 포함한 (x, y, z, r, g, b)이면, 특징의 차원 수는 6이다.

S206. 시맨틱 특징을 인스턴스 특징 공간에 적응시키고 시맨틱 특징을 인스턴스 특징과 융합하여, 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 획득하며, 포인트 클라우드의 시맨틱 융합된 인스턴스 특징은 시맨틱 특징과 융합된 인스턴스 특징을 나타낸다.

입력 데이터로부터 특징을 추출하는 프로세스는 한 공간의 입력 데이터를 다른 더 높거나 더 낮은 차원의 공간에 매핑하는 것으로 간주될 수 있음을 이해할 수 있을 것이다. 입력 데이터가 위치하는 공간이 입력 공간이고, 추출된 특징이 위치하는 공간이 특징 공간이다. 특징 공간에서의 특징은 입력 데이터의 더 높거나 더 낮은 차원의 추상 표현이다. 다양한 특징이 있으며, 특징 공간들도 상이하다. 모든 인스턴스 특징이 위치하는 공간이 인스턴스 특징 공간이고, 모든 시맨틱 특징이 위치한 공간이 시맨틱 특징 공간이다. 서로 다른 특징 공간의 특징들은 매핑 관계의 존재로 인해 서로 변환될 수 있다.

컴퓨터 기기는 획득된 시맨틱 특징을 시맨틱 특징 공간과 인스턴스 특징 공간 사이의 매핑 관계를 통해 인스턴스 특징 공간에 매핑하여, 시맨틱을 표현할 수 있을 뿐 아니라 인스턴스 특징 공간에 적응할 수도 있는 변환된 특징을 획득한 다음, 변환된 특징과 인스턴스 특징을 융합하여 풍부한 시맨틱 인식을 가진 인스턴스 특징을 획득할 수 있다. 다시 말해, 시맨틱 특징과 융합된 인스턴스 특징이 획득된다.

예시적인 실시예에서, 시맨틱 특징은 시맨틱 특징 행렬이고, 인스턴스 특징은 인스턴스 특징 행렬이다. 시맨틱 특징을 인스턴스 특징 공간에 적응시키고 시맨틱 특징을 인스턴스 특징과 융합하여, 시맨틱 융합된 인스턴스 특징을 획득하는 것은, 포인트 각각의 독립된 제1 완전 연결 계층(fully connected layer, FC)을 사용하여 시맨틱 특징 행렬을 인스턴스 특징 공간에 적응시키는 것; 및 인스턴스 특징 공간에 적응된 시맨틱 특징 행렬과, 인스턴스 특징 행렬에 대해 요소별 가산을 수행하여, 제1 행렬을 획득하는 것을 포함하며, 제1 행렬은 시맨틱 융합된 인스턴스 특징 행렬이다.

본 출원의 본 실시예에서, 시맨틱 특징과 인스턴스 특징은 행렬의 형태이다. 시맨틱 특징 공간과 인스턴스 특징 공간 사이의 매핑 관계는 포인트 각각의 독립된 완전 연결 계층에 의해 실현된다. 포인트 각각의 독립된 완전 연결 계층은 각각의 지점에 대해 개별적으로 전체 연결 처리가 수행됨을 의미한다. 컴퓨터 기기는 시맨틱 특징 행렬을 포인트 각각의 독립된 제1 완전 연결 계층에 입력하고, 제1 완전 연결 계층을 사용하여 시맨틱 특징 행렬을 처리하여, 인스턴스 특징 공간에 적응된 시맨틱 특징 행렬을 출력한다.

예시적인 실시예에서, 시맨틱 융합된 인스턴스 특징 행렬의 계산 공식은 다음과 같다:

는 시맨틱 융합된 인스턴스 특징 행렬이고,

는 인스턴스 특징 행렬이고,

은 시맨틱 특징 행렬이고,

은 인스턴스 특징 공간에 적응된 시맨틱 특징 행렬이다.

예시적인 실시예에서, 포인트 각각의 독립된 제1 완전 연결 계층의 네트워크 구조는 정규화 계층과 활성화 계층을 포함하고, 두 개의 네트워크 계층은 입력된 데이터를 순차적으로 처리한다. 활성화 계층의 활성화 함수는 ReLU 활성화 함수 등일 수 있다. 본 출원의 본 실시예에서는 이를 특별히 한정하지 않는다.

또한, 컴퓨터 기기는 인스턴스 특징 공간에 적응된 시맨틱 특징 행렬과, 인스턴스 특징 행렬에 대해 요소별 가산을 수행하여, 시맨틱 융합된 인스턴스 특징 행렬을 획득할 수 있다. 요소별 가산은 동일한 행렬 요소 위치에 있는 행렬 요소들을 가산하는 것을 가리킨다.

예를 들어, 행렬

과 행렬

의 경우, 요소별 가산은

과 행렬

과 행렬에 대해 요소별 가산을 수행하여 행렬

을 획득한다.

본 출원의 본 실시예에서, 시맨틱 특징과 인스턴스 특징은 서로 다른 의미를 가진 특징이기 때문에, 특징 융합에는 일정한 장애가 있다. 이 경우, 시맨틱 특성은 완전 연결 계층을 사용하여 인스턴스 특징 공간에 적응되어, 특징 융합에서의 장애를 극복하고, 풍부한 시맨틱 인식을 가진 인스턴스 특징을 획득할 수 있어, 후속하는 세그먼트화 처리에 도움이 된다.

예시적인 실시예에서, 컴퓨터 기기는 인스턴스와 시맨틱를 연관지어 세그먼트화하는(ASIS) 네트워크 구조를 사용하여 특징 융합 처리를 구현할 수 있다. 도 4는 예시적인 실시예에서의 인스턴스와 시맨틱스를 연관지어 세그먼트화하는 네트워크 구조의 개략도이다. 도 4를 참조하면, 인스턴스와 시맨틱를 연관지어 세그먼트화하는 네트워크 구조는 입력으로 함께 사용되는 시맨틱 특징 행렬

과 인스턴스 특징 행렬

을 동시에 수신하고, 시맨틱 특징 행렬

을 인스턴스 특징 행렬

과 요소별 가산될 인스턴스 특징 공간에 적응시켜, 시맨틱 융합된 인스턴스 특징 행렬

을 획득한다. 시맨틱 특징 행렬

을 인스턴스 특징 공간에 적응시키는 프로세스는 포인트 각각의 독립된 완전 연결 계층을 사용하여 실현될 수 있다.

S208. 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 분할하여, 포인트 클라우드 내의 포인트 각각에 대한 시맨틱 융합된 인스턴스 특징을 획득한다.

S206에서 획득된 시맨틱 융합된 인스턴스 특징은 처리될 포인트 클라우드 전체에 대응함을 이해할 수 있다. 여기서, 처리될 포인트 클라우드 전체의 시맨틱 융합된 인스턴스 특징을 처리하여, 처리될 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징을 나눔을 통해 획득한다.

예시적인 실시예에서, S208은 제1 행렬을 포인트 각각의 독립된 제2 완전 연결 계층에 입력하는 것; 및 제2 완전 연결 계층에 포함된 정규화 계층 및 활성화 계층을 사용하여 제1 행렬을 순차적으로 처리하여, 처리될 포인트 클라우드 내의 포인트 각각의 제1 벡터를 획득하는 것을 포함하며, 제1 벡터는 시맨틱 융합된 인스턴스 특징 벡터이다.

본 출원의 본 실시예에서, 전체 포인트 클라우드의 시맨틱 융합된 인스턴스 특징은 포인트 각각의 독립된 완전 연결 계층을 사용하여 처리되어, 처리될 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징을 나눔을 통해 획득한다. 컴퓨터 기기는 전체 포인트 클라우드의 시맨틱 융합된 인스턴스 특징 행렬을 포인트 각각의 독립된 제2 완전 연결 계층에 입력하고, 제2 완전 연결 계층을 사용하여 전체 포인트 클라우드의 시맨틱 융합된 인스턴스 특징 행렬을 처리하여, 처리될 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징을 출력한다.

예시적인 실시예에서, 포인트 각각의 독립된 제2 완전 연결 계층의 네트워크 구조는 정규화 계층과 활성화 계층을 포함하고, 두 개의 네트워크 계층은 입력된 데이터를 순차적으로 처리한다. 활성화 계층의 활성화 함수는 구체적으로 ReLU 활성화 함수 등일 수 있다. 본 출원의 본 실시예에서는 이를 특별히 한정하지 않는다.

본 출원의 본 실시예에서, 전체 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 획득한 후, 포인트 각각의 제1 벡터는 후속하는 인스턴스 세그먼트화의 원활한 진행을 보장하기 위해, 완전 연결 계층을 사용하여 획득된다.

도 4를 여전히 참조하면, 인스턴스와 시맨틱을 연관지어 세그먼트화하는 네트워크 구조를 사용하여 시맨틱 융합한 인스턴스 특징 행렬을 획득한 후, 컴퓨터 기기는 포인트 각각의 독립된 완전 연결 계층을 사용하여 포인트 클라우드의 인스턴스 임베딩 벡터

를 출력한다.

의 크기는

이고, 임베딩 벡터의 차원 수는

이다. 포인트 클라우드의 인스턴스 임베딩 벡터는 포인트(

개의 포인트)의 제1 벡터(

)의 세트로 이해될 수 있다. 도 3을 여전히 참조하면, 시맨틱 특징 행렬

및 인스턴스 특징 행렬

이 인스턴스와 시맨틱을 연관지어 세그먼트화하는 네트워크 구조에 입력된 후, 출력 중 하나가 획득된다: 포인트 클라우드의 인스턴스 임베딩 벡터

, 즉, 포인트 클라우드 내의 포인트 각각의 제1 벡터.

S210. 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 각각의 포인트가 속한 인스턴스 카테고리를 결정한다.

각각의 포인트가 속한 인스턴스 카테고리는 추상 레벨의 인스턴스 카테고리일 수 있다. 예를 들어, 인스턴스 카테고리는 제1 인스턴스 카테고리 또는 제2 인스턴스 카테고리일 수 있다. 예를 들어, 여기서 "추상"이라는 용어는 이것이 인스턴임을 알고 있지만, 그것이 구체적으로 어떤 인스턴지인지는 알지 못하는 것을 의미한다. 각각 포인트가 속한 인스턴스 카테고리는 대안으로 특정 레벨의 인스턴스 카테고리일 수 있다. 예를 들어, 인스턴스 카테고리는 제1 고양이 또는 제2 고양이일 수 있다.

포인트 클라우드의 인스턴스 임베딩 벡터는 포인트 클라우드에 포함된 포인트의 인스턴스 관계를 나타내는 것으로 이해될 수 있다: 동일한 인스턴스에 속한 포인트는 인스턴스 임베딩 벡터 공간에서 서로 가깝고, 상이한 인스턴스에 속한 포인트는 서로 멀리 떨어져 있다. 그러면, 각각의 포인트가 속한 추상 레벨의 인스턴스 카테고리는 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 포인트들을 클러스터화하여, 복수의 포인트 세트를 획득할 수 있으며, 즉 포인트는 인스턴스에 따라 그룹화될 수 있고, 각각의 포인트 세트는 인스턴스 카테고리에 대응한다. 각각의 포인트가 속한 특정 레벨의 인스턴스 카테고리는 시맨틱 세그먼트화 결과를 참조하여 결정되어야 한다.

예시적인 실시예에서, S210은 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징과 포인트 각각을 제외한 포인트 클라우드 내의 다른 포인트들의 시맨틱 융합된 인스턴스 특징 사이의 특징 거리를 개별적으로 계산하는 것; 및 계산을 통해 획득된 특징 거리에 따라 포인트 클라우드 내의 모든 포인트를 클러스터화하여, 복수의 포인트 세트를 획득하는 것을 포함하며, 복수의 포인트 세트 내의 포인트 세트 각각은 인스턴스 카테고리에 대응한다.

컴퓨터 기기는 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징과 포인트 각각을 제외한 포인트 클라우드 내의 다른 포인트들의 시맨틱 융합된 인스턴스 특징 사이의 특징 거리를 개별적으로 계산할 수 있다. 특징 거리는 포인트 각각의 시맨틱 융합된 인스턴스 특징 벡터와 포인트 각각을 제외한 포인트 클라우드 내의 다른 포인트들의 시맨틱 융합된 인스턴스 특징 벡터 사이의 벡터 거리이다. 예를 들어, 여기서 벡터 거리는 유클리드 거리(Euclidean distance) 또는 다른 거리일 수 있다. 본 출원의 본 실시예에서는 이를 특별히 한정하지 않는다. 전술한 계산 프로세스를 통해, 포인트 클라우드 내의 임의의 두 포인트 사이의 특징 거리를 계산할 수 있다.

또한, 포인트 클라우드 내의 임의의 두 포인트 사이의 특징 거리를 계산한 후, 컴퓨터 기기는 포인트 클라우드 내의 모든 포인트를 클러스터화하여 복수의 포인트 세트를 획득하며, 여기서 복수의 포인트 세트에서 각각의 포인트 세트는 인스턴스 카테고리에 대응함으로써, 포인트 클라우드 내의 포인트들의 인스턴스 세그먼트화를 완료하고, 추상 레벨에서의 인스턴스 나눔을 실현한다. 다시 말해, 클러스터링 결과는 어떤 포인트가 동일한 인스턴스에 속하는지를 지시한다. 포인트 클러스터링을 위한 알고리즘은 평균 시프트(mean-shift) 클러스터링 알고리즘, k 이웃(k-neighbor) 클러스터링 알고리즘 등일 수 있다. 본 출원의 본 실시예에서는 이를 특별히 한정하지 않는다.

예를 들어, 포인트 클라우드에 10개의 포인트가 있다. 클러스터링을 통해 3개의 포인트는 첫 번째 인스턴스에 속하고, 다른 3개의 포인트는 두 번째 인스턴스에 속하고, 나머지 4개의 포인트는 세 번째 인스턴스에 속한다는 것을 획득한다. 이는 추상 레벨에서의 인스턴스 세그먼트화가다.

도 3을 여전히 참조하면, 포인트 클라우드 내의 포인트 각각의 제1 벡터, 즉 포인트 클라우드의 인스턴스 임베딩 벡터

를 획득한 후, 컴퓨터 기기는 포인트의 시맨틱 융합된 인스턴스 특징을 클러스터화하여, 추상 레벨의 인스턴스 세그먼트화 결과를 획득하고, 어떤 인스턴스가 동일한 인스턴스 카테고리에 속하는지를 결정할 수 있다.

포인트 클라우드 내의 모든 포인트를 클러스터화하여 어떤 포인트들이 동일한 인스턴스에 속하는지를 획득한 후, 컴퓨터 기기는 인스턴스 내의 포인트의 시맨틱 세그먼트화 결과를 참조하여 특정 인스턴스 카테고리를 결정할 수 있다. 예를 들어, 포인트 클라우드에는 10개의 포인트가 있다. 클러스터링을 통해 3개의 포인트는 첫 번째 인스턴스에 속하고, 다른 3개의 포인트는 두 번째 인스턴스에 속하고, 나머지 4개의 포인트는 세 번째 인스턴스에 속한다는 것을 획득한다. 이 경우, 첫 번째 인스턴스에서의 3개의 포인트의 시맨틱 세그먼트화 결과가 고양이이면, 첫 번째 인스턴스는 첫 번째 고양이이고, 이 인스턴스 내의 포인트의 인스턴스 카테고리는 첫 번째 고양이이다. 두 번째 인스턴스의 3개의 포인트에 대한 시맨틱 세그먼트화 결과가 고양이이면, 두 번째 인스턴스는 두 번째 고양이이고, 이 인스턴스 내의 포인트의 인스턴스 카테고리는 두 번째 고양이이다. 세 번째 인스턴스에서의 4개의 포인트에 대한 시맨틱 세그먼트화 결과가 고양이면, 세 번째 인스턴스는 세 번째 고양이이고, 이 인스턴스 내의 포인트의 인스턴스 카테고리는 세 번째 고양이이다. 이것은 특정 레벨의 인스턴스 세그먼트화 결과이다. 포인트 클라우드에서 포인트의 시맨틱 세그먼트화에 대해서는 후속 실시예를 참조할 수 있다.

전술한 포인트 클라우드 세그먼트화 방법에 따르면, 먼저, 처리될 포인트 클라우드를 인코딩하여 공유된 특징을 획득한 다음; 상이한 디코딩 브랜치(branch)를 사용하여 공유된 특징을 디코딩하여, 시맨틱 특징과 인스턴스 특징을 각각 획득하고; 시맨틱 특징을 인스턴스 특징 공간에 적응시키고 인스턴스 특징과 융합하여, 포인트 클라우드의 풍부한 시맨틱 인식을 가진 인스턴스 특징을 획득한 다음; 포인트 클라우드 내의 포인트 각각의 풍부한 시맨틱 인식을 가진 인스턴스 특징을 획득하고, 각각의 포인트가 속한 인스턴스 카테고리를 결정할 수 있다. 이러한 방식으로, 세그먼트화는 더이상 특징 기반 유사성 행렬에 의존하지 않으므로, 포인트 클라우드 세그먼트화의 효율을 향상시킨다. 또한, 풍부한 시맨틱 인식을 가진 인스턴스 특징을 학습하여, 인스턴스 세그먼트화가 시맨틱 세그먼트화로부터 혜택을 받을 수 있도록 하여, 포인트 클라우드 세그먼트화의 정확도를 크게 향상시킬 수 있다.

도 5에 도시된 바와 같이, 예시적인 실시예에서, 본 출원의 본 실시예에서 제공되는 포인트 클라우드 세그먼트화 방법은 시맨틱 세그먼트화의 단계를 더 포함한다. 시맨틱 세그먼트화의 단계는 다음 단계를 포함한다:

S502. 포인트 클라우드 내의 포인트 각각을 중심 포인트로서 개별적으로 사용한다.

전술한 실시예는 포인트 클라우드상에서 인스턴스 세그먼트화를 수행하고자 하는 경우에 인스턴스 세그먼트화를 수행하기 위해 시맨틱 특징을 인스턴스 특징에 융합하는 프로세스이다. 본 실시예 및 후속 실시예는 포인트 클라우드상에서 시맨틱 세그먼트화를 수행하고자 하는 경우에 시맨틱 세그먼트화를 수행하기 위해 인스턴스 특징을 시맨틱 특징에 융합하는 프로세스이다.

인스턴스 임베딩 벡터 공간에서 포인트 클라우드 내의 임의의 두 포인트에 대응하는 시맨틱 융합된 인스턴스 특징 사이의 거리가 거리 조건을 충족하는 경우, 그 포인트 중 하나는 다른 포인트의 인접 포인트로서 결정됨을 알 수 있다. 인스턴스 임베딩 벡터 공간은 시맨틱 특징이 임베딩된 인스턴스 특징이 위치하는 공간, 즉 시맨틱 융합된 인스턴스 특징이 위치하는 공간이다. 동일한 인스턴스에 속하는 포인트는 인스턴스 임베딩 벡터 공간에서 서로 가깝고, 상이한 인터턴스에 속하는 포인트는 서로 멀리 떨어져 있다. 따라서, 포인트 클라우드 내의 포인트는 후속의 시맨틱 세그먼트화를 수행하기 위해, 포인트들의 시맨틱 융합된 인스턴스 특징들 간의 특징 거리에 따라 인스턴스 단위로 클러스터링될 수 있다.

컴퓨터 기기는 처리를 통해 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징을 획득한 후, 포인트 클라우드 내의 포인트의 시맨틱 융합된 인스턴스 특징 간의 특징 거리에 따라 포인트 클라우드 내의 포인트 각각을 중심 포인트로서 가진 클러스터링을 수행하고, 각각의 포인트에 인접한 복수의 인접 포인트(중심 포인트 자체를 포함)를 찾는다. 포인트 각각의 복수의 인접 포인트는 포인트 세트를 형성하고, 포인트 세트는 로컬 포인트 클라우드로 간주될 수 있다.

S504. 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 각각의 중심 포인트에 대응하는 복수의 인접 포인트들을 결정한다.

예시적인 실시예에서, 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 각각의 중심 포인트에 대응하는 복수의 인접 포인트들을 결정하는 것은, 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 각각의 중심 포인트와 포인트 클라우드 내의 각각의 포인트 사이의 특징 거리를 개별적으로 계산하는 것; 및 중심 포인트으로부터의 특징 거리가 미리 설정된 거리보다 작은 복수의 포인트들을 중심 포인트에 대응하는 복수의 인접 포인트들로서 선택하는 것을 포함한다.

컴퓨터 기기는 포인트 클라우드 내의 포인트 각각을 중심 포인트로서 개별적으로 사용하고, 중심 포인트의 시맨틱 융합된 인스턴스 특징과 중심 포인트를 제외한 포인트 클라우드 내의 다른 포인트들의 시맨틱 융합된 인스턴스 특징 사이의 특징 거리를 개별적으로 계산할 수 있다. 특징 거리는 중심 포인트의 시맨틱 융합된 인스턴스 특징 벡터와, 중심 포인트를 제외한 포인트 클라우드 내의 다른 포인트들의 시맨틱 융합된 인스턴스 특징 벡터 사이의 벡터 거리이다.

또한, 컴퓨터 기기는 다른 포인트에서 각각의 중심 포인트까지의 특징 거리를 계산한 후, 비교적 작은 거리를 가진 미리 설정된 수량(K)의 포인트를 중심 포인트의 복수의 인접 포인트(중심 포인트 자체를 포함)로 선별한다. 선택된 K개의 포인트가 동일한 인스턴스에 속하는 것을 보장하기 위해, 임계 값

을 사용하여 외부 포인트를 필터링할 수 있다. 예를 들어,

의 값은 0.5일 수 있다. 본 출원의 본 실시예에서는 이를 특별히 한정하지 않는다.

본 출원의 본 실시예에서, 포인트 클러스터링에 의해, 포인트 클라우드 내의 포인트는 인스턴스에 따라 그룹화된다. 이러한 방식으로, 인스턴스 특징이 시맨틱 특징에 융합되는 경우, 동일한 인스턴스에 속하는 포인트들은 시맨틱 세그먼트화를 위해 융합될 수 있으므로, 시맨틱 세그먼트화는 인스턴스 특징으로부터 혜택을 받을 수 있어, 시맨틱 세그먼트화의 정확도를 향상시킨다.

예시적인 실시예에서, 포인트 클라우드에서 포인트 각각의 인접 포인트의 수량은 동일하거나 상이할 수 있다. 본 출원의 본 실시예에서는 이를 특별히 한정하지 않는다.

도 4를 여전히 참조하면, 컴퓨터 기기는 포인트 클라우드의 인스턴스 임베딩 벡터

, 즉 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징 벡터를 획득한 후, 각각의 포인트에 대해, 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징 벡터에 따라 kNN(k-Nearest Neighbor) 알고리즘을 사용하여 인스턴스 임베딩 벡터 공간에서 인접한 포인트(포인트 자체 포함)의 미리 설정된 수량(K)을 찾을 수 있다.

S506. 각각의 중심 포인트에 대응하는 복수의 인접 포인트들의 시맨틱 특징을 융합하여, 대응하는 중심 포인트의 인스턴스 융합된 시맨틱 특징을 획득한다.

각각의 중심 포인트와 복수의 인접 포인트는 동일한 인스턴스에 속하고, 동일한 인스턴스에 속하는 포인트는 시맨틱 세그먼트화를 위해 융합될 수 있음을 알 수 있다. 그런 다음, 각각의 중심 포인트에 대해, 중심 포인트의 복수의 인접 포인트를 융합하여 대응하는 중심 포인트의 인스턴스 융합된 시맨틱 특징을 획득할 수 있다. 인스턴스 융합된 시맨틱 특징은 인스턴스 특징과 융합된 시맨틱 특징이다.

예시적인 실시예에서, 상이한 디코딩 방식에 따라 공유된 특징을 디코딩하여 시맨틱 특징 및 인스턴스 특징을 각각 획득하는 것은, 제1 디코딩 방식으로 공유된 특징을 디코딩하여 포인트 클라우드의 시맨틱 특징 행렬을 획득하는 것; 및 제1 디코딩 방식과는 다른 제2 디코딩 방식으로 공유된 특징을 디코딩하여 포인트 클라우드의 인스턴스 특징 행렬을 획득하는 것을 포함하고, 시맨틱 특징 행렬은 포인트 클라우드 내의 포인트 각각의 시맨틱 특징 벡터를 포함한다.

컴퓨터 기기는 제1 디코딩 방식에 따라 공유된 특징을 디코딩하여 포인트 클라우드의 시맨틱 특징 행렬을 획득한다. 포인트 클라우드의 시맨틱 특징 행렬은 포인트 클라우드 내의 포인트의 시맨틱 특징 벡터의 세트로 간주될 수 있다. 예를 들어, 컴퓨터 기기는 공유된 특징 행렬을 디코딩하여 시맨틱 특징 행렬(크기

인

), 즉 포인트(

개의 포인트)의 시맨틱 특징 벡터(크기

)를 획득한다.

예시적인 실시예에서, 복수의 인접 포인트의 시맨틱 특징을 융합하여, 대응하는 중심 포인트의 인스턴스 융합된 시맨틱 특징을 획득하는 것은, 각각의 중심 포인트에 대응하는 복수의 인접 포인트들의 시맨틱 특징 벡터에 대해 요소별 집계(element-wise aggregation)를 수행하여, 중심 포인트의 제2 벡터를 획득하는 것을 포함하며, 제2 벡터는 인스턴스 융합된 시맨틱 특징 벡터이다.

또한, 컴퓨터 기기는 포인트 클라우드에서 각각의 포인트의 복수의 인접 포인트를 획득한 후, 복수의 인접 포인트의 시맨틱 특징 벡터에 대해 요소별 집계를 수행하여, 포인트의 제2 벡터를 획득하며, 제2 벡터는 인스턴스 융합된 시맨틱 특징 벡터이다. 복수의 인접 포인트의 시맨틱 특징 벡터에 대한 요소별 집계는 요소별 최대 합류 연산(maximum confluence operation), 즉 요소별로 최대치를 구하는 것을 의미할 수 있다. 예를 들어, 벡터

, 벡터

의 경우, 세 벡터로부터 요소별로 구한 최대치는

이다.

본 출원의 본 실시예에서, 포인트 클러스터링에 의해, 포인트 클라우드 내의 포인트는 인스턴스에 따라 그룹화된다. 이러한 방식으로, 인스턴스 특징이 시맨틱 특징에 융합되는 경우, 동일한 인스턴스에 속하는 포인트는 시맨틱 세그먼트화를 위해 융합될 수 있으므로, 시맨틱 세그먼트화는 인스턴스 특징으로부터 혜택을 받을 수 있어, 시맨틱 세그먼트화의 정확도를 향상시킨다.

포인트 클라우드 내의 포인트들이 클러스터링된 후, 각각의 포인트는 색인 행렬에 대응함을 이해할 수 있다. 색인 행렬은 특징 융합의 기초로 사용되며, 색인 행렬은 포인트 클라우드에서 포인트 간의 이웃 관계를 나타낸다. 다시 말해, 포인트의 색인 행렬은 포인트의 복수의 인접 포인트를 가리킨다. 포인트 클라우드 내의 포인트의 시맨틱 특징 벡터는 크기가

인 특징 텐서(feature tensor)로 결합된다. 특징 텐서는 각각의 포인트의 로컬 포인트 클라우드를 명시적으로 설명한다. 다시 말해, 시맨틱 특징 벡터의

개의 세트가 있으며, 각각의 세트는 K개의 시맨틱 특징 벡터를 포함한다. K는 하나의 포인트의 인접 포인트의 수량이다.

도 4를 여전히 참조하면, 컴퓨터 기기는 각각의 포인트에 대해, 인스턴스 임베딩 벡터 공간에서 인접한 포인트(포인트 자체 포함)의 미리 설정된 수량(K)을 찾은 후, K개의 인접 포인트의 중심 포인트의 인스턴스 융합된 시맨틱 특징 벡터인 K개의 인접 포인트의 시맨틱 특징 벡터에 대해 요소별 집계를 수행하여, 포인트 클라우드의 시맨틱 임베딩 벡터

, 즉 포인트 클라우드 내의 모든 포인트의 인스턴스 융합된 시맨틱 특징 벡터의 세트를 획득한다.

S508. 포인트 클라우드 내의 중심 포인트 각각의 인스턴스 융합된 시맨틱 특징에 따라 각각의 포인트가 속하는 시맨틱 카테고리를 결정한다.

포인트 클라우드 내의 포인트 각각은 중심 포인트로서 사용될 수 있으므로, 포인트 클라우드 내의 포인트 각각은 복수의 인접 포인트에 대응한다, 즉 인스턴스 융합 시맨틱 특징은 포인트 클라우드 내의 포인트 각각에 대해 계산될 수 있다. 그러면, 포인트 클라우드 내의 포인트 각각에 대해, 포인트가 속하는 시맨틱 카테고리는 그 인스턴스 융합된 시맨틱 특징에 따라 결정될 수 있다.

예시적인 실시예에서, 포인트 클라우드 내의 포인트 각각의 인스턴스 융합된 시맨틱 특징에 따라 각각의 포인트가 속하는 시맨틱 카테고리를 결정하는 것은, 각각의 중심 포인트의 인스턴스 융합된 시맨틱 특징을 포인트 각각의 독립된 제3 완전 연결 계층을 사용하여 대응하는 시맨틱 예측 벡터로 변환하는 것; 및 중심 포인트 각각의 시맨틱 예측 벡터에서 최대 벡터 요소에 대응하는 시맨틱 카테고리를 각각의 포인트가 속하는 시맨틱 카테고리로서 사용하는 것을 포함한다.

본 출원의 본 실시예에서, 인스턴스 융합된 시맨틱 특징에 기초한 포인트 클라우드 내의 포인트의 시맨틱 세그먼트화 처리는 포인트 각각의 독립된 완전 연결 계층을 사용하여 실현된다. 컴퓨터 기기는 전체 포인트 클라우드의 시맨틱 임베딩 벡터, 즉, 포인트 각각의 인스턴스 융합된 시맨틱 특징 벡터를 포인트 각각의 독립된 제3 완전 연결 계층에 입력하고, 제3 완전 연결 계층을 사용하여 전체 포인트 클라우드의 시맨틱 임베딩 벡터를 처리하여, 포인트 클라우드의 시맨틱 예측 행렬을 출력한다. 포인트 클라우드의 시맨틱 예측 행렬은 포인트 각각의 시맨틱 예측 벡터를 포함한다. 포인트 각각의 시맨틱 예측 벡터의 차원 수는 미리 설정된 시맨틱 카테고리의 수량이다. 이러한 방식으로, 포인트 각각의 시맨틱 예측 벡터에서 최대 벡터 요소에 대응하는 시맨틱 카테고리를 각각의 포인트가 속하는 시맨틱 카테고리로서 사용할 수 있다.

시맨틱 예측 벡터에서 각각의 벡터 요소는 시맨틱 카테고리의 확률에 대응할 수 있음을 이해할 수 있다. 예를 들어, 포인트의 시맨틱 예측 벡터는

이며, 여기서 세 번째 벡터 요소가 가장 크다고 가정하면, 세 번째 벡터 요소에 해당하는 시맨틱 카테고리는 포인트가 속한 시맨틱 카테고리이다.

예시적인 실시예에서, 포인트 각각의 독립된 제3 완전 연결 계층의 네트워크 구조는 정규화 계층과 활성화 계층을 포함하고, 이 두 개의 네트워크 계층은 입력된 데이터를 순차적으로 처리한다.

도 4를 여전히 참조하면, 포인트 클라우드의 시맨틱 임베딩 벡터

, 즉 포인트 클라우드 내의 포인트 각각의 인스턴스 융합된 시맨틱 특징 벡터를 획득한 후, 컴퓨터 기기는 포인트 클라우드의 시맨틱 예측 행렬

, 즉, 포인트 각각의 독립된 완전 연결 계층을 사용하여 포인트의 시맨틱 예측 벡터의 세트를 출력한다.

도 3을 여전히 참조하면, 시맨틱 특징 행렬

과 인스턴스 특징 행렬

이 인스턴스와 시맨틱을 연관지어 세그먼트화하는 네트워크 구조에 입력된 후, 다른 출력: 시맨틱 예측 행렬

이 획득된다. 컴퓨터 기기에 의해 미리 설정된 시맨틱 카테고리의 수량은

이고; 이 경우, 시맨틱 예측 행렬

의 크기는

이다. 컴퓨터 기기는 각각의 포인트가 속한 시맨틱 카테고리를 결정하기 위해,

에 대해 Argmax(최대치의 인수) 연산을 수행할 수 있다.

본 출원의 본 실시예에서, 전체 포인트 클라우드의 인스턴스 융합된 시맨틱 특징을 획득한 후, 완전 연결 계층을 사용하여 각각의 포인트에 대해 시맨틱 세그먼트화를 수행할 수 있으므로, 세그먼트화 결과는 더욱 정확하다.

예시적인 실시예에서, 단계 S510이 더 포함된다:

S510. 포인트 각각의 시맨틱 융합된 인스턴스 특징 및 각각의 포인트가 속한 시맨틱 카테고리에 따라 각각의 포인트가 속한 인스턴스 카테고리를 결정한다.

예시적인 실시예에서, 각각의 포인트의 시맨틱 융합된 인스턴스 특징 및 각각의 포인트가 속한 시맨틱 카테고리에 따라 각각의 포인트가 속한 인스턴스 카테고리를 결정하는 것은, 포인트 클라우드 내의 포인트 각각의 인스턴스 특징과 포인트 각각을 제외한 포인트 클라우트 내의 다른 포인트의 인스턴스 특징 사이의 특징 거리를 개별적으로 계산하여, 복수의 포인트 세트를 획득하는 것; 계산을 통해 획득된 특징 거리에 따라 포인트 클라우드 내의 모든 포인트를 클러스터화하여, 복수의 포인트 세트를 획득하는 것; 및 복수의 포인트 세트 내의 포인트 세트 각각이 속한 시맨틱 카테고리에 따라 각각의 포인트 세트가 속하는 인스턴스 카테고리를 결정하는 것, 즉, 각각의 포인트 세트에 포함된 포인트가 속하는 시맨틱 카테고리에 따라 각각의 포인트 세트에 포함된 포인트가 속하는 인스턴스 카테고리를 결정하는 것을 포함한다. S510은 S210에 포함되어 있다.

시맨틱 세그먼트화 결과가 획득되지 않은 경우, 포인트 클라우드의 인스턴스 세그먼트화는 추상 레벨의 인스턴스 세그먼트화 결과이다, 즉, 어떤 포인트들이 동일한 인스턴스에 속하는 것인지만 결정할 수 있다. 시맨틱 세그먼트화 결과를 획득한 후, 시맨틱 세그먼트화 결과를 참조하여 특정 레벨의 인스턴스 세그먼트화 결과를 획득할 수 있다.

도 3을 여전히 참조하면, 컴퓨터 기기는 포인트 클라우드 내의 포인트 각각의 시맨틱 세그먼트화 결과를 획득한 후, 추상 레벨의 인스턴스 세그먼트화 결과와 포인트 각각의 시맨틱 세그먼트화 결과를 결합함으로써 특정 레벨의 인스턴스 세그먼트화 결과를 획득하고, 어떤 포인트가 어떤 인스턴스에 속하는지를 결정할 수 있다.

예를 들어, 컴퓨터 기기는 어떤 포인트들이 동일한 인스턴스에 속하는지 결정한 후, 인스턴스 내의 포인트의 시맨틱 세그먼트화 결과를 참조하여 인스턴스의 특정 인스턴스 카테고리를 결정할 수 있다. 예를 들어, 포인트 클라우드에 10개의 포인트가 있다. 클러스터링을 통해 3개의 포인트는 첫 번째 인스턴스에 속하고, 다른 3개의 포인트는 두 번째 인스턴스에 속하고, 나머지 4개의 포인트는 세 번째 인스턴스에 속함을 알 수 있다. 이 경우, 첫 번째 인스턴스 내의 3개의 포인트의 시맨틱 세그먼트화 결과가 고양이이면, 첫 번째 인스턴스는 첫 번째 고양이이고, 이 인스턴스 내의 포인트들의 인스턴스 카테고리는 첫 번째 고양이이다. 두 번째 인스턴스 내의 3개의 포인트의 시맨틱 세그먼트화 결과가 고양이이면, 두 번째 인스턴스는 두 번째 고양이이고, 이 인스턴스 내의 포인트의 인스턴스 카테고리는 두 번째 고양이이다. 세 번째 인스턴스 내의 4개의 포인트의 시맨틱 세그먼트화 결과가 고양이면, 세 번째 인스턴스는 세 번째 고양이이고, 이 인스턴스 내의 포인트들의 인스턴스 카테고리는 세 번째 고양이이다. 이것은 특정 레벨의 인스턴스 세그먼트화 결과이다.

본 출원의 본 실시예에서, 추상 레벨의 인스턴스 세그먼트화 결과가 획득된 후, 특정 레벨의 인스턴스 세그먼트화 결과는 시맨틱 세그먼트화 결과를 참조하여 획득될 수 있다. 시맨틱 세그먼트화는 인스턴스 세그먼트화로부터 혜택을 받고, 인스턴스 세그먼트화는 또한 시맨틱 세그먼트화로부터 혜택을 받는다. 이러한 방식으로, 포인트 클라우드 세그먼트화의 정확도가 크게 향상된다.

도 6은 일 실시예의 포인트 클라우드에서 인스턴스와 시맨틱을 연관지어 세그먼트화하는 개략도이다. 도 6을 참조하면, 처리될 3차원 포인트 클라우드는 공유된 특징을 획득하기 위해 인코딩되고, 공유된 특징은 병렬로, 시맨틱 특징을 획득하기 위해 시맨틱 세그먼트화 브랜치(Sem.Decoder)에 의해 디코딩되고 인스턴스 특징을 획득하기 위해 인스턴스 세그먼트화 브랜치(Ins.Decoder)에 의해 디코딩되며, 시맨틱 특징과 인스턴스 특징은 시맨틱 융합된 인스턴스 세그먼트화 후에 3차원 포인트 클라우드를 획득하고 인스턴스 융합된 시맨틱 세그먼트화 후에 3차원 포인트 클라우드를 획득하기 위해 ASIS를 거친다.

전술한 실시예에서, 처리될 포인트 클라우드는 공유된 특징을 획득하기 위해 인코딩되고, 공유된 특징은 시맨틱 특징과 인스턴스 특징을 각각 획득하기 위해, 서로 다른 디코딩 브랜치에 따라 디코딩된다. 하나의 측면에 따르면, 시맨틱 특징은 인스턴스 특징 공간에 적응되고 인스턴스 특징과 융합되어, 포인트 클라우드의 풍부한 시맨틱 인식을 가진 인스턴스 특징을 획득함으로써, 포인트 클라우드 내의 포인트 각각의 풍부한 시맨틱 인식을 가진 인스턴스 특징을 획득한다. 다른 측면에 따르면, 포인트 클라우드 내의 포인트들은 포인트 각각의 풍부한 시맨틱 인식을 가진 인스턴스 특징에 따라 인스턴스별로 그룹화되고, 동일한 인스턴스에 속하는 포인트들의 신택스 특징이 융합되므로, 시맨틱 세그먼트화는 인스턴스 세그먼트화로부터 혜택을 받는다. 이러한 방식으로, 풍부한 시맨틱 인식을 가진 인스턴스 특징이 학습되므로, 인스턴스 세그먼트화가 시맨틱 세그먼트화로부터 혜택을 받는다. 한편, 동일한 인스턴스에 속하는 포인트의 시맨틱 특징을 융합하여 더 높은 정확도로 시맨틱 카테고리 예측을 생성한다. 두 가지 유형의 세그먼트화가 서로로부터 혜택을 받아, 윈윈(win-win) 성능 향상을 달성한다. 세그먼트화의 효율이 향상될 뿐만 아니라 세그먼트화의 정확도도 향상된다.

예시적인 실시예에서, 대안으로, 포인트 클라우드 세그먼트화 방법은 단지 단계 S202-S208 또는 S502-S508, 즉 포인트 클라우드상에서 시맨틱 융합된 인스턴스 세그먼트화 또는 인스턴스 융합된 시맨틱 세그먼트화를 수행하는 단계를 포함할 수 있다.

예시적인 실시예에서, 본 출원의 본 실시예에서 제공되는 포인트 클라우드 세그먼트화 방법은 대안으로, 처리될 포인트 클라우드를 인코딩하여 공유된 특징을 획득하는 단계; 상이한 디코딩 방식에 따라 공유된 특징을 디코딩하여, 포인트 클라우드의 시맨틱 특징 및 포인트 클라우드의 인스턴스 특징을 각각 획득하는 단계; 포인트 클라우드의 시맨틱 특징을 인스턴스 특징 공간에 적응시키고 시맨틱 특징을 포인트 클라우드의 인스턴스 특징과 융합하여, 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 획득하는 단계; 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 분할하여, 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징을 획득하는 단계; 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 각각의 포인트에 대응하는 복수의 인접 포인트들을 결정하는 단계; 각각의 포인트에 대응하는 복수의 인접 포인트들의 시맨틱 특징을 융합하여, 대응하는 포인트의 인스턴스 융합된 시맨틱 특징을 획득하는 단계; 포인트 각각의 인스턴스 융합된 시맨틱 특징에 따라 각각의 포인트가 속한 시맨틱 카테고리를 결정하는 단계; 그리고 포인트 각각의 시맨틱 융합된 인스턴스 특징 및 각각의 포인트가 속하는 시맨틱 카테고리에 따라 각각의 포인트가 속한 인스턴스 카테고리를 결정하는 단계를 포함한다. 즉, 연관 시맨틱 융합된 인스턴스 세그먼트화 및 인스턴스 융합된 시맨틱 세그먼트화의 단계들이 포인트 클라우드에 대해 수행된다.

예시적인 실시예에서, 전술한 실시예에서, 처리될 포인트 클라우드를 획득 한 후, 인스턴스 세그먼트화 결과 및 시맨틱 세그먼트화 결과를 획득할 때까지 포인트 클라우드를 처리하는 과정에서 사용되는 심층 학습 네트워크 구조는 트레이닝을 통해 균일하게 획득될 수 있다. 트레이닝 프로세스는 감독하의(supervised) 트레이닝 프로세스이다. 포인트 클라우드 샘플이 트레이닝 데이터로서 사용되며, 컴퓨터 기기는 감독하의 트레이닝을 위해 각각의 포인트 클라우드 샘플에서 각각의 포인트 샘플에 대한 인스턴스 카테고리 라벨과 시맨틱 카테고리 라벨을 결정할 수 있다.

요약하면, 본 출원의 실시예에서 제공되는 기술적 방안은 광범위한 적용 전망을 가지며, 자동 운전, 실내 내비게이션 및 증강 현실 분야에서 큰 잠재력이 있다. 또한, 3차원 센서의 개발과 대중화에 따라, 3차원 공간의 지각이 특히 중요해졌다. 예를 들어, 실내 로봇의 제어에서, 스캐닝된 3차원 포인트 클라우드가 세그먼트화, 예를 들어 시맨틱 및 인스턴스에 의해 세그먼트화될 수 있으면, 로봇은 각각의 유형의 객체(시맨틱 세그먼트화) 또는 심지어 각각의 객체(인스턴스 세그먼트화)를 정확하게 지각하여, 로봇의 내비게이션 및 제어를 더욱 강화할 수 있다.

시맨틱 세그먼트화는 실내 로봇의 제어를 지도하기 위해 사용될 수 있다. 예를 들어, 실내 장면에서, 로봇은 센서를 통해 전방의 포인트 클라우드를 획득한다. 본 출원에서 제공되는 기술적 방안에 따르면, 로봇은 문이 앞에 있는 것을 학습하고 어느 부분이 문 손잡이인지 학습하여, 문을 여는 등의 추가 작업을 수행할 수 있다.

인스턴스 세그먼트화의 경우, 기본적인 적용은 방안의 의자의 개수를 세는 것과 같은 정량적 통계, 또는 의자 각각의 위치를 학습하는 것과 같은, 로봇의 제어를 지도하는 것이다. 대안으로, 증강 현실 장면에서, 각각의 의자는 작은 괴물로 변환될 수 있다.

실시예의 흐름도에서 화살표의 지시에 따라 단계가 순차적으로 표시되지만, 이러한 단계는 화살표로 지시된 시퀀스에 따라 반드시 순차적으로 수행되는 것은 아님을 이해해야 한다. 본 출원에서 달리 명시하지 않는 한, 단계의 실행은 엄격하게 제한되지 않으며, 단계는 다른 시퀀스로 수행될 수 있다. 또한, 전술한 실시예에서의 단계 중 적어도 일부는 복수의 하위 단계 또는 복수의 스테이지를 포함할 수 있다. 이러한 하위 단계 또는 스테이지는 반드시 동시에 완료되는 것은 아니지만, 상이한 시각에 수행될 수 있다. 게다가, 이들 하위 단계 또는 스테이지는 반드시 순차적으로 수행되는 것은 아니지만, 차례로 또는 다른 단계 또는 다른 단계의 하위 단계 또는 스테이지의 적어도 일부와 교대로 수행될 수 있다.

도 7에 도시된 바와 같이, 예시적인 실시예에서, 포인트 클라우드 세그먼트화 장치(700)가 제공된다. 도 7을 참조하면, 포인트 클라우드 세그먼트화 장치(700)는 인코딩 모듈(701), 디코딩 모듈(702), 시맨틱 융합된 인스턴스 모듈(703) 및 시맨틱 융합된 인스턴스 세그먼트화 모듈(704)을 포함한다.

인코딩 모듈(701)은 처리될 포인트 클라우드를 인코딩하여 공유된 특징을 획득하도록 구성된다.

디코딩 모듈(702)은 상이한 디코딩 방식에 따라 공유된 특징을 디코딩하여, 시맨틱 특징과 인스턴스 특징을 각각 획득하도록 구성된다.

시맨틱 융합된 인스턴스 모듈(703)은 시맨틱 특징을 인스턴스 특징 공간에 적응시키고 시맨틱 특징을 인스턴스 특징과 융합하여, 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 획득하고 - 포인트 클라우드의 시맨틱 융합된 인스턴스 특징은 시맨틱 특징과 융합된 인스턴스 특징을 나타냄 -; 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 분할하여, 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징을 획득도록 구성된다.

시맨틱 융합된 인스턴스 세그먼트화 모듈(704)은 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 각각의 포인트가 속하는 인스턴스 카테고리를 결정하도록 구성된다.

전술한 포인트 클라우드 세그먼트화 장치(700)에 따르면, 먼저, 처리될 포인트 클라우드를 인코딩하여 공유된 특징을 획득한 다음; 상이한 디코딩 브랜치를 사용하여 공유된 특징을 디코딩하여, 시맨틱 특징과 인스턴스 특징을 각각 획득하고; 시맨틱 특징을 인스턴스 특징 공간에 적응시키고 인스턴스 특징과 융합하여, 포인트 클라우드의 풍부한 시맨틱 인식을 가진 인스턴스 특징을 획득한 다음; 포인트 클라우드 내의 포인트 각각의 풍부한 시맨틱 인식을 가진 인스턴스 특징을 획득함으로써, 각각의 포인트가 속한 인스턴스 카테고리를 결정할 수 있다. 이러한 방식으로, 세그먼트화는 더이상 특징 기반 유사성 행렬에 의존하지 않아, 포인트 클라우드 세그먼트화의 효율이 향상된다. 또한, 풍부한 시맨틱 인식을 가진 인스턴스 특징이 학습되어, 인스턴스 세그먼트화가 시맨틱 세그먼트화로부터 혜택을 받을 수 있도록 함으로써, 포인트 클라우드 세그먼트화의 정확도를 크게 향상시킬 수 있다.

예시적인 실시예에서, 인코딩 모듈(701)은 추가로, 처리될 포인트 클라우드를 획득하도록 구성된다; 포인트 클라우드의 각 포인트의 좌표 특징과 채널 특징을 결합하여 해당 포인트의 초기 특징을 획득하는 단계; 포인트 클라우드에 대응하는 공유된 특징을 얻기 위해 포인트의 초기 특징을 공동으로 인코딩한다.

예시적인 실시예에서, 인코딩 모듈(701)은 추가로, 처리될 포인트 클라우드를 획득하고; 포인트 클라우드 내의 포인트 각각의 좌표 특징과 채널 특징을 결합하여, 대응하는 포인트의 초기 특징을 획득하고; 포인트들의 초기 특징을 함께 인코딩하여, 포인트 클라우드에 대응하는 공유된 특징을 획득하도록 구성된다.

예시적인 실시예에서, 디코딩 모듈(702)은 추가로, 제1 디코딩 구조를 사용하여 공유된 특징을 디코딩하여 시맨틱 특징을 획득하고; 제2 디코딩 구조를 사용하여 공유된 특징을 디코딩하여 인스턴스 특징을 획득하도록 구성되고, 여기서 제1 디코딩 구조와 제2 디코딩 구조는 동일한 구조 및 상이한 디코딩 파라미터를 포함한다.

예시적인 실시예에서, 시맨틱 특징은 시맨틱 특징 행렬이고, 인스턴스 특징은 인스턴스 특징 행렬이다. 시맨틱 융합된 인스턴스 모듈(703)은 추가로, 포인트 각각의 독립된 제1 완전 연결 계층을 사용하여 시맨틱 특징 행렬을 인스턴스 특징 공간에 적응시키고; 인스턴스 특징 공간에 적응된 시맨틱 특징 행렬과, 인스턴스 특징 행렬에 대해 요소별 가산을 수행하여, 포인트 클라우드의 제1 행렬을 획득하도록 구성되며, 제1 행렬은 시맨틱 융합된 인스턴스 특징 행렬이다.

예시적인 실시예에서, 시맨틱 융합된 인스턴스 모듈(703)은 추가로, 포인트 클라우드의 시맨틱 융합된 인스턴스 특징 행렬을 포인트 각각의 독립된 제2 완전 연결 계층에 입력하고; 제2 완전 연결 계층에 포함된 정규화 계층과 활성화 계층을 사용하여 포인트 클라우드의 제1 행렬을 순차적으로 처리하여, 포인트 클라우드 내의 포인트 각각의 제1 벡터를 획득하도록 구성되며, 제1 벡터는 시맨틱 융합된 인스턴스 특징 벡터이다.

예시적인 실시예에서, 시맨틱 융합된 인스턴스 세그먼트화 모듈(704)은 추가로, 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징과, 포인트 각각을 제외한 포인트 클라우드 내의 다른 포인트들의 시맨틱 융합된 인스턴스 특징 사이의 특징 거리를 개별적으로 계산하고; 계산을 통해 획득된 특징 거리에 따라 포인트 클라우드 내의 포인트들을 클러스터화하여, 복수의 포인트 세트를 획득하도록 구성되며, 복수의 포인트 세트 내의 포인트 세트 각각은 인스턴스 카테고리에 대응한다.

도 8에 도시된 바와 같이, 예시적인 실시예에서, 포인트 클라우드 세그먼트화 장치(700)는 인스턴스 융합된 시맨틱 모듈(705) 및 인스턴스 융합된 시맨틱 세그먼트화 모듈(706)을 더 포함한다.

인스턴스 융합된 시맨틱 모듈(705)은, 포인트 클라우드 내의 포인트 각각을 중심 포인트로서 개별적으로 사용하고; 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 각각의 중심 포인트에 대응하는 복수의 인접 포인트들을 결정하고; 각각의 중심 포인트에 대응하는 복수의 인접 포인트들의 시맨틱 특징을 융합하여, 대응하는 중심 포인트의 인스턴스 융합된 시맨틱 특징을 획득하도록 구성된다.

인스턴스 융합된 시맨틱 세그먼트화 모듈(706)은 중심 포인트 각각의 인스턴스 융합된 시맨틱 특징에 따라 각각의 포인트가 속한 시맨틱 카테고리를 결정하도록 구성된다.

전술한 포인트 클라우드 세그먼트화 장치(700)에 따르면, 먼저, 처리될 포인트 클라우드를 인코딩하여 공유된 특징을 획득한 다음; 상이한 디코딩 브랜치를 사용하여 공유된 특징을 디코딩하여, 시맨틱 특징과 인스턴스 특징을 각각 획득한다. 하나의 측면에 따르면, 시맨틱 특징을 인스턴스 특징 공간에 적응시키고 인스턴스 특징과 융합하여, 포인트 클라우드의 풍부한 시맨틱 인식을 가진 인스턴스 특징을 획득한다. 다른 측면에 따르면, 포인트 각각의 풍부한 시맨틱 인식을 가진 인스턴스 특징에 따라 포인트 클라우드 내의 포인트를 인스턴스에 의해 그룹화하고, 동일한 인스턴스에 속한 포인트의 시맨틱 특징을 융합하므로, 시맨틱 세그먼트화가 인스턴스 세그먼트화로부터 혜택을 받는다. 이러한 방식으로, 풍부한 시맨틱 인식을 가진 인스턴스 특징이 학습되므로, 인스턴스 세그먼트화가 시맨틱 세그먼트화로부터 혜택을 받는다. 한편, 동일한 인스턴스에 속하는 포인트의 시맨틱 특징을 융합하여 더 높은 정확도를 가진 시맨틱 카테고리 예측을 생성한다. 이 두 가지 유형의 세그먼트화는 서로로부터 혜택을 받아, 윈-윈 성능 향상을 달성한다. 세그먼트화의 효율이 향상될뿐만 아니라 세그먼트화의 정확도도 향상된다.

예시적인 실시예에서, 인스턴스 융합된 시맨틱 모듈(705)은 추가로, 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 각각의 중심 포인트와 포인트 클라우드 내의 포인트 각각 사이의 특징 거리를 개별적으로 계산하고; 중심 포인트로부터의 특징 거리가 미리 설정된 거리보다 작은 복수의 포인트들을 중심 포인트에 대응하는 복수의 인접 포인트들로서 선택하도록 구성된다.

예시적인 실시예에서, 디코딩 모듈(702)은 추가로, 제1 디코딩 방식으로 공유된 특징을 디코딩하여 포인트 클라우드의 시맨틱 특징 행렬을 획득하고; 제1 디코딩 방식과는 다른 제2 디코딩 방식으로 공유된 특징을 디코딩하여 포인트 클라우드의 인스턴스 특징 행렬을 획득하도록 구성되며, 시맨틱 특징 행렬은 포인트 클라우드 내의 포인트 각각의 시맨틱 특징 벡터를 포함한다. 인스턴스 융합된 시맨틱 모듈(705)은 추가로 각각의 중심 포인트에 대응하는 복수의 인접 포인트들의 시맨틱 특징 벡터에 대해 요소별 집계를 수행하여, 대응하는 중심 포인트의 제2 벡터를 획득하도록 구성되며, 제2 벡터는 인스턴스 융합된 시맨틱 특징 벡터이다.

예시적인 실시예에서, 인스턴스 융합된 시맨틱 세그먼트화 모듈(706)은 추가로, 포인트 각각의 독립된 제3 완전 연결 계층을 사용하여 중심 포인트 각각의 인스턴스 융합된 시맨틱 특징을 대응하는 시맨틱 예측 벡터로 변환하고; 중심 포인트 각각의 시맨틱 예측 벡터에서의 최대 벡터 요소에 대응하는 시맨틱 카테고리를 각각의 포인트가 속한 시맨틱 카테고리로서 사용하도록 구성된다.

예시적인 실시예에서, 시맨틱 융합된 인스턴스 세그먼트화 모듈(704)은 추가로, 포인트 클라우드 내의 포인트 각각의 인스턴스 특징과 포인트 각각을 제외한 포인트 클라우드 내의 다른 포인트들의 인스턴스 특징 사이의 특징 거리를 개별적으로 계산하고; 계산을 통해 획득된 특징 거리에 따라 포인트 클라우드 내의 포인트들을 클러스터화하여, 복수의 포인트 세트를 획득하고; 복수의 포인트 세트 내의 포인트 세트 각각이 속하는 시맨틱 카테고리에 따라 포인트 세트 각각이 속하는 인스턴스 카테고리를 결정하도록 구성된다.

도 9는 예시적인 실시예에서의 컴퓨터 기기의 내부 구성도이다. 컴퓨터 기기는 도 1의 단말기(110) 또는 서버(120)일 수 있다. 도 9에 도시된 바와 같이, 컴퓨터 기기는 시스템 버스를 사용하여 연결된 프로세서, 메모리 및 네트워크 인터페이스를 포함한다. 메모리는 비휘발성 저장 매체와 내부 메모리를 포함한다. 컴퓨터 기기의 비휘발성 저장 매체는 운영 체제를 저장하고 추가로 컴퓨터 프로그램을 저장할 수 있다. 컴퓨터 프로그램은 프로세서에 의해 실행될 때, 프로세서로 하여금 포인트 클라우드 세그먼트화 방법을 구현하게 할 수 있다. 내부 메모리가 컴퓨터 프로그램을 저장할 수도 있다. 컴퓨터 프로그램은 프로세서에 의해 실행될 때, 프로세서로 하여금 포인트 클라우드 세그먼트화 방법을 수행하게 할 수 있다. 당업자라면 도 9에 도시된 구성이 본 출원의 방안과 관련된 구성의 일부에 대한 블록도일 뿐이며, 본 출원의 방안이 적용되는 컴퓨터 기기를 한정하지 않음을 이해할 수 있다. 구체적으로, 컴퓨터 기기는 도면에 있는 것보다 더 많거나 적은 구성요소를 포함하거나, 일부 구성요소들의 조합을 포함하거나, 상이한 구성요소 레이아웃을 포함할 수 있다.

예시적인 실시예에서, 본 출원에서 제공되는 포인트 클라우드 세그먼트화 장치는 컴퓨터 프로그램의 형태로 구현될 수 있고, 컴퓨터 프로그램은 도 9에 도시된 컴퓨터 기기에서 실행될 수 있다. 컴퓨터 기기의 메모리는 포인트 클라우드 세그먼트화 장치를 구성하는 다양한 프로그램 모듈, 예를 들어, 도 7에 도시된 인코딩 모듈(701), 디코딩 모듈(702), 시맨틱 융합된 인스턴스 모듈(703) 및 시맨틱 융합된 인스턴스 세그먼트화 모듈(704)을 저장할 수 있다. 프로그램 모듈에 의해 형성된 컴퓨터 프로그램은 프로세서로 하여금 본 명세서에 설명된 본 출원의 실시예에서의 포인트 클라우드 세그먼트화 방법의 단계를 수행하게 한다.

예를 들어, 도 9에 도시된 컴퓨터 기기는 도 7에 도시된 포인트 클라우드 세그먼트화 장치(700)의 인코딩 모듈(701)을 통해 처리될 포인트 클라우드를 인코딩하여 공유된 특징을 획득할 수 있다. 디코딩 모듈(702)은 상이한 디코딩 방식에 따라 공유된 특징을 디코딩하여, 시맨틱 특징과 인스턴스 특징을 각각 획득하도록 구성된다. 시맨틱 융합된 인스턴스 모듈(703)은 시맨틱 특징을 인스턴스 특징 공간에 적응시키고 시맨틱 특징을 인스턴스 특징과 융합하여, 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 획득하고 - 포인트 클라우드의 시맨틱 융합된 인스턴스 특징은 시맨틱 특징과 융합된 인스턴스 특징을 나타냄 -; 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 분할하여, 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징을 획득도록 구성된다. 시맨틱 융합된 인스턴스 세그먼트화 모듈(704)은 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 각각의 포인트가 속하는 인스턴스 카테고리를 결정하도록 구성된다.

예시적인 실시예에서, 프로세서 및 메모리를 포함하는 컴퓨터 기기가 제공되며, 메모리는 컴퓨터 프로그램을 저장하고, 컴퓨터 프로그램은 프로세서에 의해 실행될 때, 프로세서로 하여금 전술한 포인트 클라우드 세그먼트화 방법의 단계를 수행하게 한다. 여기서, 포인트 클라우드 세그먼트화 방법의 단계는 전술한 실시예에서의 포인트 클라우드 세그먼트화 방법의 단계일 수 있다.

예시적인 실시예에서, 컴퓨터 프로그램을 저장하는 컴퓨터로 판독 가능한 저장 매체가 제공되며, 컴퓨터 프로그램은 프로세서에 의해 실행될 때, 프로세서로 하여금 전술한 포인트 클라우드 세그먼트화 방법의 단계를 수행하게 한다. 여기서, 포인트 클라우드 세그먼트화 방법의 단계는 전술한 실시예에서의 포인트 클라우드 세그먼트화 방법의 단계일 수 있다.

당업자라면 전술한 실시예의 방법의 프로시저의 전부 또는 일부가 관련 하드웨어를 명령하는 컴퓨터 프로그램에 의해 구현될 수 있음을 이해할 수 있을 것이다. 프로그램은 컴퓨터로 판독 가능한 비휘발성 저장 매체에 저장될 수 있다. 프로그램이 실행될 때, 전술한 방법 실시예의 프로시저가 구현될 수 있다. 본 출원에서 제공되는 실시예에서 사용되는 메모리, 스토리지, 데이터베이스 또는 기타 매체에 대한 언급은 모두 비휘발성 또는 휘발성 메모리를 포함할 수 있다. 비휘발성 메모리로는 ROM(read-only memory), PROM(Programmable ROM), EPROM(Electrically Programmable ROM), EEPROM(Electrically Erasable Programmable ROM) 또는 플래시 메모리를 포함할 수 있다. 휘발성 메모리로는 RAM(Random Access Memory) 또는 외부 고속 캐시를 포함할 수 있다. 한정이 아닌 설명으로, RAM은 SRAM(Static RAM), DRAM(Dynamic RAM), SDRAM(Synchronous DRAM), DDRSDRAM(Double Data Rate SDRAM), ESDRAM(Enhanced SDRAM), SLDRAM(Synchlink DRAM), RDRAM(Rambus Direct RAM), DRDRAM(Direct Rambus Dynamic RAM), 및 RDRAM(Rambus Dynamic RAM)과 같은, 복수의 형태로 얻을 수 있다.

전술한 실시예의 기술적 특징은 무작위로 결합될 수 있다. 설명을 간결하게 하기 위해, 전술한 실시예의 기술적 특징의 가능한 모든 조합이 설명된 것은 아니다. 그러나 이러한 기술적 특징의 조합은 충돌이 없는 한 본 명세서에 기재된 범위 내인 것으로 간주된다.

전술한 실시예는 본 출원의 몇 가지 구현예만을 보여주고 상세하게 설명하였지만, 이는 본 출원의 특허 범위에 대해 한정사항으로 해석되어서는 안 된다. 당업자의 경우, 본 출원의 사상에서 벗어나지 않고 여러 변형 및 개선을 할 수 있다. 이러한 변형 및 개선은 본 출원의 보호 범위에 속한다. 따라서 본 출원의 특허의 보호 범위는 첨부된 청구 범위에 따른다.

Claims

포인트 클라우드 세그먼트화 방법으로서,
처리될 포인트 클라우드(point cloud)를 인코딩하여 공유된 특징을 획득하는 단계 - 상기 공유된 특징은 시맨틱 레벨(semantic level)과 인스턴스 레벨(instance level)에서 공유되는 특징을 가리킴 -;
상이한 디코딩 방식에 따라 상기 공유된 특징을 디코딩하여, 시맨틱 특징(semantic feature)과 인스턴스 특징(instance feature)을 각각 획득하는 단계;
상기 시맨틱 특징을 인스턴스 특징 공간에 적응시키고 상기 시맨틱 특징을 상기 인스턴스 특징과 융합하여, 상기 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 획득하는 단계 - 상기 시맨틱 융합된 인스턴스 특징은 상기 시맨틱 특징과 융합된 인스턴스 특징을 나타냄 -;
상기 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 분할하여, 상기 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징을 획득하는 단계; 및
상기 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 각각의 상기 포인트가 속하는 인스턴스 카테고리를 결정하는 단계
를 포함하는 포인트 클라우드 세그먼트화 방법.
제1항에 있어서,
상기 처리될 포인트 클라우드를 인코딩하여 공유된 특징을 획득하는 단계는,
상기 처리될 포인트 클라우드를 획득하는 단계;
상기 포인트 클라우드 내의 포인트 각각의 좌표 특징과 채널 특징을 결합하여, 대응하는 포인트의 초기 특징을 획득하는 단계; 및
포인트들의 초기 특징을 함께 인코딩하여, 상기 포인트 클라우드에 대응하는 공유된 특징을 획득하는 단계를 포함하는, 포인트 클라우드 세그먼트화 방법.
제1항에 있어서,
상기 상이한 디코딩 방식에 따라 상기 공유된 특징을 디코딩하여, 시맨틱 특징과 인스턴스 특징을 각각 획득하는 단계는,
제1 디코딩 구조를 사용하여 상기 공유된 특징을 디코딩하여 상기 시맨틱 특징을 획득하는 단계; 및
제2 디코딩 구조를 사용하여 상기 공유된 특징을 디코딩하여 상기 인스턴스 특징을 획득하는 단계는 포함하고,
상기 제1 디코딩 구조와 상기 제2 디코딩 구조는 동일한 구조 및 상이한 디코딩 파라미터를 포함하는, 포인트 클라우드 세그먼트화 방법.
제1항에 있어서,
상기 시맨틱 특징은 시맨틱 특징 행렬이고, 상기 인스턴스 특징은 인스턴스 특징 행렬이며, 상기 시맨틱 특징을 인스턴스 특징 공간에 적응시키고 상기 시맨틱 특징을 상기 인스턴스 특징과 융합하여, 상기 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 획득하는 단계는,
상기 포인트 각각의 독립된 제1 완전 연결 계층을 사용하여 상기 시맨틱 특징 행렬을 상기 인스턴스 특징 공간에 적응시키는 단계; 및
상기 인스턴스 특징 공간에 적응된 시맨틱 특징 행렬과 상기 인스턴스 특징 행렬에 대해 요소별 가산을 수행하여, 상기 포인트 클라우드의 제1 행렬을 획득하는 단계 - 상기 제1 행렬은 시맨틱 융합된 인스턴스 특징 행렬임 -를 포함하는, 포인트 클라우드 세그먼트화 방법.
제4항에 있어서,
상기 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 분할하여, 상기 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징을 획득하는 단계는,
상기 포인트 클라우드의 시맨틱 융합된 인스턴스 특징 행렬을 상기 포인트 각각의 독립된 제2 완전 연결 계층에 입력하는 단계; 및
상기 제2 완전 연결 계층에 포함된 정규화 계층과 활성화 계층을 사용하여 상기 포인트 클라우드의 제1 행렬을 순차적으로 처리하여, 상기 포인트 클라우드 내의 포인트 각각의 제1 벡터를 획득하는 단계 - 상기 제1 벡터는 시맨틱 융합된 인스턴스 특징 벡터임 -를 포함하는, 포인트 클라우드 세그먼트화 방법.
제1항에 있어서,
상기 포인트 클라우드 내의 포인트 각각의 인스턴스 특징에 따라 상기 포인트 클라우드 내의 포인트 각각이 속하는 인스턴스 카테고리를 결정하는 단계는,
상기 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징과 상기 포인트 각각을 제외한 상기 포인트 클라우드 내의 다른 포인트들의 시맨틱 융합된 인스턴스 특징 사이의 특징 거리를 개별적으로 계산하는 단계; 및
계산을 통해 획득된 특징 거리에 따라 상기 포인트 클라우드 내의 포인트들을 클러스터화하여, 복수의 포인트 세트를 획득하는 단계 - 상기 복수의 포인트 세트 내의 포인트 세트 각각은 인스턴스 카테고리에 대응함 -를 포함하는, 포인트 클라우드 세그먼트화 방법.
제1항 내지 제5항 중 어느 한 항에 있어서,
상기 포인트 클라우드 내의 포인트 각각을 중심 포인트로서 개별적으로 사용하는 단계;
상기 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 각각의 중심 포인트에 대응하는 복수의 인접 포인트들을 결정하는 단계;
상기 각각의 중심 포인트에 대응하는 복수의 인접 포인트들의 시맨틱 특징을 융합하여, 대응하는 중심 포인트의 인스턴스 융합된 시맨틱 특징을 획득하는 단계; 및
상기 중심 포인트 각각의 인스턴스 융합된 시맨틱 특징에 따라 각각의 상기 포인트가 속한 시맨틱 카테고리를 결정하는 단계를 더 포함하는 포인트 클라우드 세그먼트화 방법.
제7항에 있어서,
상기 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 각각의 중심 포인트에 대응하는 복수의 인접 포인트들을 결정하는 단계는,
상기 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 상기 각각의 중심 포인트와 상기 포인트 클라우드 내의 포인트 각각 사이의 특징 거리를 개별적으로 계산하는 단계; 및
상기 중심 포인트로부터의 특징 거리가 미리 설정된 거리보다 작은 복수의 포인트들을 상기 중심 포인트에 대응하는 복수의 인접 포인트들로서 선택하는 단계를 포함하는, 포인트 클라우드 세그먼트화 방법.
제8항에 있어서,
상기 상이한 디코딩 방식에 따라 상기 공유된 특징을 디코딩하여, 시맨틱 특징과 인스턴스 특징을 각각 획득하는 단계는,
제1 디코딩 방식으로 상기 공유된 특징을 디코딩하여 상기 포인트 클라우드의 시맨틱 특징 행렬을 획득하는 단계; 및
상기 제1 디코딩 방식과는 다른 제2 디코딩 방식으로 상기 공유된 특징을 디코딩하여 상기 포인트 클라우드의 인스턴스 특징 행렬을 획득하는 단계 - 상기 시맨틱 특징 행렬은 상기 포인트 클라우드 내의 포인트 각각의 시맨틱 특징 벡터를 포함함 -를 포함하고;
상기 각각의 중심 포인트에 대응하는 복수의 인접 포인트들의 시맨틱 특징을 융합하여, 대응하는 중심 포인트의 인스턴스 융합된 시맨틱 특징을 획득하는 단계는,
상기 각각의 중심 포인트에 대응하는 복수의 인접 포인트들의 시맨틱 특징 벡터에 대해 요소별 집계를 수행하여, 대응하는 중심 포인트의 제2 벡터를 획득하는 단계 - 상기 제2 벡터는 인스턴스 융합된 시맨틱 특징 벡터임 -를 포함하는, 포인트 클라우드 세그먼트화 방법.
제7항에 있어서,
상기 중심 포인트 각각의 인스턴스 융합된 시맨틱 특징에 따라 각각의 상기 포인트가 속한 시맨틱 카테고리를 결정하는 단계는,
포인트 각각의 독립된 제3 완전 연결 계층을 사용하여 상기 중심 포인트 각각의 인스턴스 융합된 시맨틱 특징을 대응하는 시맨틱 예측 벡터로 변환하는 단계; 및
상기 중심 포인트 각각의 시맨틱 예측 벡터에서의 최대 벡터 요소에 대응하는 시맨틱 카테고리를 각각의 상기 포인트가 속한 시맨틱 카테고리로서 사용하는 단계를 포함하는, 포인트 클라우드 세그먼트화 방법.
제10항에 있어서,
상기 중심 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 각각의 상기 포인트가 속한 인스턴스 카테고리를 결정하는 단계는,
상기 포인트 클라우드 내의 포인트 각각의 인스턴스 특징과 상기 포인트 각각을 제외한 상기 포인트 클라우드 내의 다른 포인트들의 인스턴스 특징 사이의 특징 거리를 개별적으로 계산하는 단계;
계산을 통해 획득된 특징 거리에 따라 상기 포인트 클라우드 내의 포인트들을 클러스터화하여, 복수의 포인트 세트를 획득하는 단계; 및
상기 복수의 포인트 세트 내의 포인트 세트 각각이 속하는 시맨틱 카테고리에 따라 상기 포인트 세트 각각이 속하는 인스턴스 카테고리를 결정하는 단계를 포함하는, 포인트 클라우드 세그먼트화 방법.
컴퓨터 프로그램을 저장하는, 컴퓨터로 판독 가능한 저장 매체로서,
상기 컴퓨터 프로그램은 프로세서에 의해 실행될 때, 상기 프로세서로 하여금 제1항 내지 제6항 중 어느 한 항에 따른 방법의 작업을 수행하게 하는,
컴퓨터로 판독 가능한 저장 매체.
메모리 및 프로세서를 포함하는 컴퓨터 기기로서,
상기 메모리는 컴퓨터 프로그램을 저장하고, 상기 컴퓨터 프로그램은 상기 프로세서에 의해 실행될 때, 상기 프로세서로 하여금, 방법의 다음 작업:
처리될 포인트 클라우드를 인코딩하여 공유된 특징을 획득하는 작업 - 상기 공유된 특징은 시맨틱 레벨 및 인스턴스 레벨에서 공유되는 특징을 가리킴 -;
상이한 디코딩 방식에 따라 상기 공유된 특징을 디코딩하여, 시맨틱 특징과 인스턴스 특징을 각각 획득하는 작업;
상기 시맨틱 특징을 인스턴스 특징 공간에 적응시키고 상기 시맨틱 특징을 상기 인스턴스 특징과 융합하여, 상기 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 획득하는 작업 - 상기 시맨틱 융합된 인스턴스 특징은 상기 시맨틱 특징과 융합된 인스턴스 특징을 나타냄 -;
상기 포인트 클라우드의 시맨틱 융합된 인스턴스 특징을 분할하여, 상기 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징을 획득하는 작업; 및
상기 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 상기 포인트 각각이 속하는 인스턴스 카테고리를 결정하는 작업을 수행하게 하는,
컴퓨터 기기.
제13항에 있어서,
상기 프로세서는 상기 방법의 다음 작업:
상기 처리될 포인트 클라우드를 획득하는 작업;
상기 포인트 클라우드 내의 포인트 각각의 좌표 특징과 채널 특징을 결합하여, 대응하는 포인트의 초기 특징을 획득하는 작업; 및
포인트들의 초기 특징을 함께 인코딩하여, 상기 포인트 클라우드에 대응하는 공유된 특징을 획득하는 작업을 수행하는, 컴퓨터 기기.
제13항에 있어서,
상기 프로세서는 상기 방법의 다음 작업:
제1 디코딩 구조를 사용하여 상기 공유된 특징을 디코딩하여 상기 시맨틱 특징을 획득하는 작업; 및
제2 디코딩 구조를 사용하여 상기 공유된 특징을 디코딩하여 상기 인스턴스 특징을 획득하는 작업을 수행하고,
상기 제1 디코딩 구조와 상기 제2 디코딩 구조는 동일한 구조 및 상이한 디코딩 파라미터를 포함하는, 컴퓨터 기기.
제13항에 있어서,
상기 시맨틱 특징은 시맨틱 특징 행렬이고, 상기 인스턴스 특징은 인스턴스 특징 행렬이며, 상기 프로세서는 상기 방법의 다음 작업:
포인트 각각의 독립된 제1 완전 연결 계층을 사용하여 상기 시맨틱 특징 행렬을 상기 인스턴스 특징 공간에 적응시키는 작업; 및
상기 인스턴스 특징 공간 및 상기 인스턴스 특징 행렬에 적응된 시맨틱 특징 행렬에 대해 요소별 가산을 수행하여, 상기 포인트 클라우드의 제1 행렬을 획득하는 작업 - 상기 제1 행렬은 시맨틱 융합된 인스턴스 특징 행렬임 -을 수행하는, 컴퓨터 기기.
제16항에 있어서,
상기 프로세서는 상기 방법의 다음 작업:
상기 포인트 클라우드의 시맨틱 융합된 인스턴스 특징 행렬을 상기 포인트 각각의 독립된 제2 완전 연결 계층에 입력하는 작업; 및
상기 제2 완전 연결 계층에 포함된 정규화 계층과 활성화 계층을 사용하여 상기 포인트 클라우드의 제1 행렬을 순차적으로 처리하여, 상기 포인트 클라우드 내의 포인트 각각의 제1 벡터를 획득하는 작업 - 상기 제1 벡터는 시맨틱 융합된 인스턴스 특징 벡터임 -을 수행하는, 컴퓨터 기기.
제13항에 있어서,
상기 프로세서는 상기 방법의 다음 작업:
상기 포인트 클라우드 내의 포인트 각각의 시맨틱 융합된 인스턴스 특징과 상기 포인트 각각을 제외한 상기 포인트 클라우드 내의 다른 포인트들의 시맨틱 융합된 인스턴스 특징 사이의 특징 거리를 개별적으로 계산하는 작업; 및
계산을 통해 획득된 특징 거리에 따라 상기 포인트 클라우드 내의 포인트들을 클러스터화하여, 복수의 포인트 세트를 획득하는 작업 - 상기 복수의 포인트 세트 내의 포인트 세트 각각은 인스턴스 카테고리에 대응함 -을 수행하는, 컴퓨터 기기.
제13항 내지 제17항 중 어느 한 항에 있어서,
상기 프로세서는 상기 방법의 다음 작업:
상기 포인트 클라우드 내의 포인트 각각을 중심 포인트로서 개별적으로 사용하는 작업;
상기 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 각각의 중심 포인트에 대응하는 복수의 인접 포인트들을 결정하는 작업;
상기 각각의 중심 포인트에 대응하는 복수의 인접 포인트들의 시맨틱 특징을 융합하여, 대응하는 중심 포인트의 인스턴스 융합된 시맨틱 특징을 획득하는 작업; 및
상기 중심 포인트 각각의 인스턴스 융합된 시맨틱 특징에 따라 각각의 상기 포인트가 속한 시맨틱 카테고리를 결정하는 작업을 수행하는, 컴퓨터 기기.
제19항에 있어서,
상기 프로세서는 상기 방법의 다음 작업:
상기 포인트 각각의 시맨틱 융합된 인스턴스 특징에 따라 상기 각각의 중심 포인트와 상기 포인트 클라우드 내의 포인트 각각 사이의 특징 거리를 개별적으로 계산하는 작업; 및
상기 중심 포인트로부터의 특징 거리가 미리 설정된 거리보다 작은 복수의 포인트들을 상기 중심 포인트에 대응하는 복수의 인접 포인트들로서 선택하는 작업을 수행하는, 컴퓨터 기기.
제20항에 있어서,
상기 프로세서는 상기 방법의 다음 작업:
제1 디코딩 방식으로 상기 공유된 특징을 디코딩하여 상기 포인트 클라우드의 시맨틱 특징 행렬을 획득하는 작업; 및
상기 제1 디코딩 방식과는 다른 제2 디코딩 방식으로 상기 공유된 특징을 디코딩하여 상기 포인트 클라우드의 인스턴스 특징 행렬을 획득하는 작업 - 상기 시맨틱 특징 행렬은 상기 포인트 클라우드 내의 포인트 각각의 시맨틱 특징 벡터를 포함함 -을 수행하고;
상기 프로세서는 추가로 상기 방법의 다음 작업:
상기 각각의 중심 포인트에 대응하는 복수의 인접 포인트들의 시맨틱 특징 벡터에 대해 요소별 집계를 수행하여, 대응하는 중심 포인트의 제2 벡터를 획득하는 작업 - 상기 제2 벡터는 인스턴스 융합된 시맨틱 특징 벡터임 -을 수행하는, 컴퓨터 기기.
제19항에 있어서,
상기 프로세서는 상기 방법의 다음 작업:
포인트 각각의 독립된 제3 완전 연결 계층을 사용하여 상기 중심 포인트 각각의 인스턴스 융합된 시맨틱 특징을 대응하는 시맨틱 예측 벡터로 변환하는 작업; 및
상기 중심 포인트 각각의 시맨틱 예측 벡터에서의 최대 벡터 요소에 대응하는 시맨틱 카테고리를 각각의 상기 포인트가 속한 시맨틱 카테고리로서 사용하는 작업을 수행하는, 컴퓨터 기기.
제22항에 있어서,
상기 프로세서는 상기 방법의 다음 작업:
상기 포인트 클라우드 내의 포인트 각각의 인스턴스 특징과 상기 포인트 각각을 제외한 상기 포인트 클라우드 내의 다른 포인트들의 인스턴스 특징 사이의 특징 거리를 개별적으로 계산하는 작업;
계산을 통해 획득된 특징 거리에 따라 상기 포인트 클라우드 내의 포인트들을 클러스터화하여, 복수의 포인트 세트를 획득하는 작업; 및
상기 복수의 포인트 세트 내의 포인트 세트 각각이 속하는 시맨틱 카테고리에 따라 상기 포인트 세트 각각이 속하는 인스턴스 카테고리를 결정하는 작업을 수행하는, 컴퓨터 기기.