KR20210106703A - 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법 - Google Patents

3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법 Download PDF

Info

Publication number
KR20210106703A
KR20210106703A KR1020200021504A KR20200021504A KR20210106703A KR 20210106703 A KR20210106703 A KR 20210106703A KR 1020200021504 A KR1020200021504 A KR 1020200021504A KR 20200021504 A KR20200021504 A KR 20200021504A KR 20210106703 A KR20210106703 A KR 20210106703A
Authority
KR
South Korea
Prior art keywords
point
point cloud
feature information
information
dimension
Prior art date
Application number
KR1020200021504A
Other languages
English (en)
Other versions
KR102333682B1 (ko
Inventor
최수일
맹형이
Original Assignee
전남대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전남대학교산학협력단 filed Critical 전남대학교산학협력단
Priority to KR1020200021504A priority Critical patent/KR102333682B1/ko
Publication of KR20210106703A publication Critical patent/KR20210106703A/ko
Application granted granted Critical
Publication of KR102333682B1 publication Critical patent/KR102333682B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06K9/00718—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/20—Editing of 3D images, e.g. changing shapes or colours, aligning objects or positioning parts
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Software Systems (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Architecture (AREA)
  • Computer Hardware Design (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Computational Linguistics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

본 발명은 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법에 관한 것으로서, 상기 3차원 공간의 의미적 분할 시스템은 적어도 하나의 객체가 포함된 포인트 클라우드(point cloud)가 입력되는 입력모듈과, 상기 입력모듈에서 입력된 상기 포인트 클라우드에서 지역 특징(local feature) 정보를 추출하는 지역 특징 정보 추출부와, 상기 지역 특징 정보가 추출된 상기 포인트 클라우드에서 전역 특징(global feature) 정보를 추출하는 전역 특징 정보 추출부와, 상기 지역 특징 정보 및 전역 특징 정보를 토대로 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 생성하는 분할 결과 추출부를 구비한다.
본 발명에 따른 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법은 포인트넷(PointNet) 아키텍처를 기반으로 하여 포인트시프트(PointSIFT)를 이용하므로 3차원 포인트 클라우드에 대한 시멘틱 분할 작업에 대한 정확도 및 처리속도를 향상시킬 수 있는 장점이 있다.

Description

3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법{Semantic segmentation system in 3D point cloud and semantic segmentation method in 3D point cloud using the same}
본 발명은 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법에 관한 것으로서, 더욱 상세하게는 라이다(LiDAR)를 통해 제공되는 3차원 포인트 클라우드에서 지역 특징 정보 및 전역 특징 정보를 추출하고, 추출된 특징 정보를 토대로 시맨틱 분할을 수행하는 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법에 관한 것이다.
머신러닝(Machine Learning)은 컴퓨터 시스템이 사람 대신 패턴과 추론에 의존하면서 명확한 지시를 사용하지 않고 특정 작업을 수행하기 위해 사용하는 알고리즘과 통계 모델에 대한 연구로서 인공지능의 하위 개념이다. 머신러닝 알고리즘은 과제를 수행하도록 명시적으로 프로그래밍 되지 않고 예측이나 결정을 하기 위해 샘플 데이터를 기반으로 수학적 모델을 구축한다. 머신러닝은 컴퓨터를 이용한 예측에 중점을 두는 컴퓨터 통계와 밀접한 관련이 있다.
포인트 클라우드(Point cloud)는 어떤 좌표계의 데이터 포인트의 모음이다. 그중 포인트에는 3차원 좌표 X값, Y값, Z값, 색상, 분류값, 강도값, 시간 등의 풍부한 정보가 포함되어 있다. 주로 3차원 레이저 스캐너로 포인트 클라우드 데이터를 얻고, 다음으로 2차원 영상으로 3차원 영상의 재건을 수행하고, 재건 과정에서 포인트 데이터를 얻는다. 또 다른 것은 3차원 모델을 통해 포인트 클라우드를 얻는 것이다. 3D 스캔의 결과로서 포인트 데이터는 다양한 용도로 부품 제작, 품질 검사, 다원화된 시각, 캐릭터 제작, 3차원 지도와 대중 전달 애플리케이션 등을 위한 3D CAD 모델을 만드는 것을 포함되다.
3차원 공간의 의미적 분할(3D semantic segmentation)은 컴퓨터 비전에서 주요한 임무로서 포인트 클라우드를 분할하는 것이고, 서로 다른 객체들에 대해 의미적 분할을 사용할 때 포인트 클라우드를 의미 있는 부분으로 나눈다. 그러나 종래의 3차원 공간의 의미적 분할 방법은 단순히 이미지의 특징점을 토대로 수행되므로 정확도 및 분할 처리 속도가 비교적 느리다는 단점이 있다.
등록특허공보 제10-2069666호: 포인트 클라우드 맵 기반의 자율주행차량용 실시간 주행경로 설정 방법
본 발명은 상기와 같은 문제점을 개선하기 위해 창안된 것으로서, 포인트넷(PointNet) 아키텍처를 기반으로 하여 포인트시프트(PointSIFT)를 이용하여 3차원 포인트 클라우드의 시맨틱 분할을 수행할 수 있는 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법을 제공하는데 그 목적이 있다.
상기 목적을 달성하기 위한 본 발명에 따른 3차원 공간의 의미적 분할 시스템은 적어도 하나의 객체가 포함된 포인트 클라우드(point cloud)가 입력되는 입력모듈과, 상기 입력모듈에서 입력된 상기 포인트 클라우드에서 지역 특징(local feature) 정보를 추출하는 지역 특징 정보 추출부와, 상기 지역 특징 정보가 추출된 상기 포인트 클라우드에서 전역 특징(global feature) 정보를 추출하는 전역 특징 정보 추출부와, 상기 지역 특징 정보 및 전역 특징 정보를 토대로 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 생성하는 분할 결과 추출부를 구비한다.
상기 지역 특징 정보 추출부는 상기 입력모듈에서 입력된 상기 포인트 클라우드에 포함된 각 포인트의 차원을 확장하는 제1확장모듈과, 상기 제1확장모듈에 의해 각 포인트의 차원이 확장된 상기 포인트 클라우드에서 상기 지역 특징 정보를 획득하는 제1정보 획득부를 구비한다.
상기 제1확장모듈은 기학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 포인트 클라우드에 포함된 각 포인트의 차원을 확장한다.
상기 제1정보 획득부는 포인트시프트(PointSIFT) 알고리즘을 이용하여 상기 포인트 클라우드에서 상기 지역 특징 정보를 추출하는 것이 바람직하다.
상기 전역 특징 정보 추출부는 상기 지역 특징 정보 추출부에서 각 포인트의 차원이 확장되고, 상기 포인트시프트(PointSIFT)이 적용된 상기 포인트 클라우드의 각 포인트의 차원을 재차 확장하는 제2확장모듈과, 상기 제2확장모듈에 의해 각 포인트의 차원이 재차 확장된 상기 포인트 클라우드에서 상기 전역 특징 정보를 획득하는 제2정보 획득부를 구비한다.
상기 제2확장모듈은 기학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 포인트 클라우드에 포함된 각 포인트의 차원을 확장하는 것이 바람직하다.
상기 제2정보 획득부는 상기 제2확장모듈에서 각 포인트의 차원이 확장된 상기 포인트 클라우드를 포인트시프트(PointSIFT) 알고리즘을 이용하여 처리하는 제1포인트 처리모듈과, 상기 제1포인트 처리모듈에서 처리된 상기 포인트 클라우드에서 상기 전역 특징 정보를 추출하는 전역 특징 획득모듈을 구비한다.
상기 전역 특징 획득모듈은 맥스 풀링(Max-pooling) 함수를 이용하여 상기 제1포인트 처리모듈에서 처리된 상기 포인트 클라우드에서 상기 전역 특징 정보를 추출할 수 있다.
상기 분할 결과 추출부는 상기 지역 특징 정보 및 전역 특징 정보를 상호 연결하여 결합 특징 정보를 생성하는 특징 연결모듈과, 상기 결합 특징 정보를 토대로 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 획득하는 분할유닛을 구비한다.
상기 분할유닛은 상기 결합 특징 정보에 포함된 포인트의 차원을 축소하는 차원 축소유닛과, 상기 차원 축소유닛에 의해 포인트의 차원이 축소된 상기 결합 특징 정보를 토대로 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 획득하는 계층 처리모듈을 구비한다.
상기 계층 처리모듈은 완전 연결 계층 인공신경망(fully-connected layer)을 이용하여 상기 결합 특징 정보를 분류하여 상기 분할 결과 정보를 생성할 수 있다.
상기 차원 축소유닛은 기학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 결합 특징 정보에 포함된 각 포인트의 차원을 축소하는 축소모듈과, 상기 축소모듈에서 각 포인트의 차원이 축소된 상기 결합 특징 정보를 포인트시프트(PointSIFT) 알고리즘을 이용하여 처리하고, 처리된 상기 결합 특징 정보를 상기 계층 처리모듈에 제공하는 제2포인트 처리모듈을 구비한다.
상기 특징 연결모듈은 상기 지역 특징 정보 및 리쉐이프(reshape) 함수가 적용된 전역 특징 정보를 상호 연결하여 결합 특징 정보를 생성한다.
한편, 본 발명에 따른 3차원 공간의 의미적 분할 방법은 입력모듈을 통해 적어도 하나의 객체가 포함된 포인트 클라우드(point cloud)가 입력되는 입력단계와, 상기 입력모듈에서 입력된 상기 포인트 클라우드에서 지역 특징(local feature) 정보를 추출하는 지역 특징 정보 추출단계와, 상기 지역 특징 정보가 추출된 상기 포인트 클라우드에서 전역 특징(global feature) 정보를 추출하는 전역 특징 정보 추출단계와, 상기 지역 특징 정보 및 전역 특징 정보를 토대로 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 생성하는 결과 추출단계를 포함한다.
상기 지역 특징 정보 추출단계는 상기 입력모듈에서 입력된 상기 포인트 클라우드에 포함된 각 포인트의 차원을 확장하는 1차 확장단계와, 상기 1차 확장단계에 의해 각 포인트의 차원이 확장된 상기 포인트 클라우드에서 상기 지역 특징 정보를 획득하는 제1정보 획득단계를 포함한다.
상기 제1정보 획득단계에서는, 포인트시프트(PointSIFT) 알고리즘을 이용하여 상기 포인트 클라우드에서 상기 지역 특징 정보를 추출한다.
상기 전역 특징 정보 추출단계는 상기 지역 특징 정보 추출단계에서 각 포인트의 차원이 확장되고, 상기 포인트시프트(PointSIFT) 알고리즘이 적용된 상기 포인트 클라우드의 각 포인트의 차원을 재차 확장하는 2차 확장단계와, 상기 2차 확장단계에 의해 각 포인트의 차원이 재차 확장된 상기 포인트 클라우드에서 상기 전역 특징 정보를 획득하는 제2정보 획득단계를 포함한다.
상기 2차 확장단계에서는, 기학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 포인트 클라우드에 포함된 각 포인트의 차원을 확장할 수 있다.
상기 제2정보 획득단계는 상기 2차 확장단계에서 각 포인트의 차원이 확장된 상기 포인트 클라우드를 포인트시프트(PointSIFT) 알고리즘을 이용하여 처리하는 포인트 처리단계와, 상기 포인트 처리단계에서 처리된 상기 포인트 클라우드에서 상기 전역 특징 정보를 추출하는 전역 정보 획득단계를 포함한다.
상기 전역 정보 획득단계에서는, 맥스 풀링(Max-pooling) 함수를 이용하여 상기 포인트 처리단계에서 처리된 상기 포인트 클라우드에서 상기 전역 특징 정보를 추출할 수 있다.
상기 결과 추출단계는 상기 지역 특징 정보 및 전역 특징 정보를 상호 연결하여 결합 특징 정보를 생성하는 특징 연결단계와, 상기 결합 특징 정보를 토대로 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 획득하는 분할단계를 구비한다.
상기 분할단계는 상기 결합 특징 정보에 포함된 포인트의 차원을 축소하는 축소단계와, 계층 처리모듈을 통해 상기 축소단계에서 각 포인트의 차원이 축소된 상기 결합 특징 정보를 이용하여 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 획득하는 계층 처리단계를 포함한다.
상기 계층 처리단계에서는, 완전 연결 계층 인공신경망(fully-connected layer)을 이용하여 상기 결합 특징 정보를 분류하여 상기 분할 결과 정보를 생성할 수 있다.
상기 축소단계는 기학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 결합 특징 정보에 포함된 각 포인트의 차원을 축소하는 작업단계와, 상기 작업단계에서 각 포인트의 차원이 축소된 상기 결합 특징 정보를 포인트시프트(PointSIFT) 알고리즘을 이용하여 처리하고, 처리된 상기 결합 특징 정보를 상기 계층 처리모듈에 제공하는 축소 처리단계를 포함한다.
상기 특징 연결단계에서는, 상기 지역 특징 정보 및 리쉐이프(reshape) 함수가 적용된 전역 특징 정보를 상호 연결하여 결합 특징 정보를 생성한다.
본 발명에 따른 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법은 포인트넷(PointNet) 아키텍처를 기반으로 하여 포인트시프트(PointSIFT)를 이용하므로 3차원 포인트 클라우드에 대한 시멘틱 분할 작업에 대한 정확도 및 처리속도를 향상시킬 수 있는 장점이 있다.
도 1은 본 발명에 따른 3차원 공간의 의미적 분할 시스템에 대한 블럭도이고,
도 2는 방향 인코딩 컨볼루션 유닛(orientationencoding convolution unit)에 대한 구성도이고,
도 3은 본 발명에 따른 3차원 공간의 의미적 분할 방법에 대한 순서도이고,
도 4는 원본 포인트 클라우드와, 본 발명에 따른 3차원 공간의 의미적 분할 방법에 의해 생성된 분할 결과 정보에 대한 비교 결과이다.
이하, 첨부한 도면을 참조하여 본 발명의 실시예에 따른 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법에 대해 상세히 설명한다. 본 발명은 다양한 변경을 가할 수 있고 여러 가지 형태를 가질 수 있는 바, 특정 실시 예들을 도면에 예시하고 본문에 상세하게 설명하고자 한다. 그러나 이는 본 발명을 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다. 첨부된 도면에 있어서, 구조물들의 치수는 본 발명의 명확성을 기하기 위하여 실제보다 확대하여 도시한 것이다.
제1, 제2 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다.
본 출원에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1에는 본 발명에 따른 3차원 공간의 의미적 분할 시스템(100)이 도시되어 있다.
도면을 참조하면, 상기 3차원 공간의 의미적 분할 시스템(100)은 적어도 하나의 객체가 포함된 포인트 클라우드(point cloud)가 입력되는 입력모듈(200)과, 상기 입력모듈(200)에서 입력된 상기 포인트 클라우드에서 지역 특징(local feature) 정보를 추출하는 지역 특징 정보 추출부(300)와, 상기 지역 특징 정보가 추출된 상기 포인트 클라우드에서 전역 특징(global feature) 정보를 추출하는 전역 특징 정보 추출부(400)와, 상기 지역 특징 정보 및 전역 특징 정보를 토대로 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 생성하는 분할 결과 추출부(500)를 구비한다.
입력모듈(200)은 라이다(LiDAR)와 같은 촬영기기에 연결되어 해당 촬영기기로부터 3차원 포인트 클라우드를 제공받는다. 입력모듈(200)은 상기 포인트 클라우드를 지역 특징 정보 추출부(300)에 전달한다.
상기 지역 특징 정보 추출부(300)는 상기 입력모듈(200)에서 입력된 상기 포인트 클라우드에 포함된 각 포인트의 차원을 확장하는 제1확장모듈(301)과, 상기 제1확장모듈(301)에 의해 각 포인트의 차원이 확장된 상기 포인트 클라우드에서 상기 지역 특징 정보를 획득하는 제1정보 획득부(302)를 구비한다.
상기 제1확장모듈(301)은 기학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 포인트 클라우드에 포함된 각 포인트의 차원을 확장한다. 여기서, MLP란, 학습 과정을 통해 자유롭게 활성화되는 내부적 뉴런의 집합체로 구성되어 있는 알고리즘으로서, 구체적으로 입력 집합체와 여러 가중치의 선형 결합을 통한 다중 학습에 의해 신경망이 구성되어 최적의 결과값을 결정할 수 있는 다중 학습 신경망 알고리즘을 의미한다. 작업자는 포인트 클라우드의 각 포인트의 확장을 위한 다수의 샘플을 통해 상기 MLP를 학습시키고, 제1확장모듈(301)은 학습된 MLP를 이용하여 입력모듈(200)에 입력된 포인트 클라우드의 차원을 확장한다. 여기서, 제1확장모듈(301)은 포인트넷(PointNet)의 업샘플링(up sampling) 다층 퍼셉트론(Multi-Layer Perceptron)이 적용될 수도 있다.
이때, 상기 포인트넷(PointNet)은 포인트 클라우드 데이터를 직접 처리하고 포인트의 특징을 추출하는 알고리즘이다. 포인트 클라우드에서 3D 포인트의 원래 차원은 다층 퍼셉트론（MLP:Multilayer Perceptron)에 의해 매우 높은 차원으로 확장된다. 상기 포인트넷(PointNet)은 포인트 클라우드의 모든 지역 특징(local feature)를 고려하여 하나의 차원값 세트를 하나의 지역 특징차원에 있는 포인트넷 지역 특징값 집합으로 만들고, 포인트넷은 대칭 함수를 사용하여 각 집합에 대한 대표값을 선택하여 포인트 집합 전역 특징(global feature)을 출력한다. 이 포인트넷(PointNet)은 포인트 클라우드 표현의 불규칙한 분포 문제를 해결하는 것으로서, 포인트 클라우드의 전역 특징을 추출한 후에는 이러한 전역 특징을 객체 분류 및 세분화와 같은 다른 목적을 위해 다층 퍼셉트론(MLP)으로 다시 정렬한다. 여기서, 상기 포인트넷(PointNet)은 업샘플링(up sampling) 다층 퍼셉트론, 각 포인트의 지역 특징집합, 대칭함수 Max-pooling, 전역 특징, 다운샘플링(down sampling) 다층 퍼셉트론으로 이루어진다.
제1정보 획득부(302)는 포인트시프트(PointSIFT) 알고리즘을 이용하여 상기 포인트 클라우드에서 상기 전역 특징 정보를 추출한다. 여기서, 제1정보 획득부(302)는 포인트시프트(PointSIFT) 모듈이 적용된다.
상기 포인트시프트(SIFT-like Network Module for 3D Point Cloud Semantic Segmentation) 모듈은 SIFT (Scale-Invariant Feature Transformation) 알고리즘을 기반으로 구현되며 방향 인코딩(Orientation-encoding)과 스케일 인식(Scale-awareness)이라는 두 가지 주요 속성을 포함한다. 즉, 포인트시프트(PointSIFT) 모듈은 d차원을 갖는 n개의 포인트 클라우드 데이터를 입력으로서 취하고, 방향 인코딩(Orientation-encoding, OE) 컨볼루션 유닛에 의해 포인트 클라우드 특징을 방향 인코딩(Orientation-encoding)하고, 여러 방향 인코딩의 결과를 쌓아서 스케일 감지 능력을 형성한 것을 특징으로 한다. 해당 포인트시프트 모듈은 방향 인코딩 컨볼루션 유닛과 스케일 인식 유닛을 구비한다.
상기 방향 인코딩(Orientation-encoding) 컨볼루션 유닛은 공간의 특정 지점을 중심으로 하고, 인접한 3D 공간을 8개의 방향에 따라 8개의 부분 공간(subspace)으로 분할하고, 이들 중에서 가장 가까운 이웃을 각각 찾는다. 컨볼루션 작업이 방향 정보를 감지하기 위해 XYZ 축에서 각각 컨벌루션을 실행하는 것을 특징으로 한다.
해당 방향 인코딩 컨볼루션 유닛을 보다 상세히 설명하면 다음과 같다. 도 2에는 방향 인코딩 컨볼루션 유닛(orientationencoding convolution unit)에 대한 구성도가 도시되어 있다. 여기서, 51은 포인트 클라우드에 포함된 포인트이고, 52는 포인트 클라우드의 부분 공간에 해당 포인트(51)에 가장 가까운 포인트이다.
방향 인코딩(OE: Orientation-encoding) 컨볼루션은 포인트시프트(PointSIFT) 블록의 기본 단위로 주변 지점을 캡처한다. 포인트 p0이 주어지면 해당 특징은 f0이다. p0을 중심점으로 하는 3D 공간에서는 8개의 방향에 따라 8개의 부분 공간으로 나눈다. p0의 가장 가까운 k개의 이웃 포인트로부터, 특정 옥탄트 내에서 탐색 반경 r에 점이 없다면, 서브 공간의 특징은 f0와 같다고 간주된다. 입력 포인트 클라우드가 n×d 라고 가정하면, 단계가 끝나면 각 특징은 그 주위에 8개의 방향 정보를 가지며, 이는 n×d×8 이 된다.
또한, 컨벌루션 동작이 방향정보를 감지하기 위해, X, Y 및 Z축에 각각 3상 컨볼루션이 수행된다. 검색된 k 개의 최근접 이웃 포인트 M∈R(2×2×2×d)의 특징 인코딩에 대해, 처음 차원은 각각 8개의 서브 공간의 포인트의 코딩을 나타낸다. 3상 컨볼루션은 다음과 같이 표현된다.
Figure pat00001
???? ??
여기서 Ax,Ay,Az는 최적화할 컨볼루션 가중치이고, Convx，Convy，Convz는 각각 X,Y,Z축의 컨벌루션 연산을 나타내고 g(.)는 ReLU(BatchNorm)(.))을 나타낸다.
포인트시프트(PointSIFT) 모듈의 스케일 인식 유닛은 방향 인코딩 유닛의 스택에 의해 형성된다. 높은 순위의 방향 인코딩(OE) 유닛은 낮은 순위의 방향 인코딩(OE) 유닛보다 더 큰 수용 영역(receptive field)을 갖는다. 특정 방향 인코딩(OE) 컨볼루션 유닛에 대해, 8개방향 필드의 특징이 추출되고, 수용 영역(receptive field)은 8방향의 k개의 필드로 간주될 수 있고, 각 필드는 하나의 특징점에 대응한다. 이상적으로는 스택 i번과 수용 필드는??8i개 포인트이다. 마지막으로, 레이어들은 결합(concat) 함수를 통해 함께 연결한 다음 점별 컨벌루션 (1×1컨볼루션)으로 연결되므로 네트워크가 학습에 따라 적절한 규모를 선택할 수 있다.
제1정보 획득부(302)는 추출된 지역 특징 정보를 분할 결과 추출부(500)에 제공한다. 여기서, 지역 특징 정보는 포인트 클라우드 형태로 형성되며, 제1확장모듈(301)에서 확장된 포인트 클라우드의 포인트의 각 차원의 집합이 적용된다.
상기 전역 특징 정보 추출부(400)는 상기 제1확장모듈(301)에서 각 포인트의 차원이 확장되고, 제1정보 획득부(302)에서 포인트시프트(PointSIFT) 모듈이 적용된 상기 포인트 클라우드의 각 포인트의 차원을 재차 확장하는 제2확장모듈(410)과, 상기 제2확장모듈(410)에 의해 각 포인트의 차원이 재차 확장된 상기 포인트 클라우드에서 상기 전역 특징 정보를 획득하는 제2정보 획득부(420)를 구비한다.
제2확장모듈(410)은 기학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 포인트 클라우드에 포함된 각 포인트의 차원을 확장한다. 여기서, 제2확장모듈(410)은 상기 포인트넷(PointNet)의 업샘플링(up sampling) 다층 퍼셉트론(Multi-Layer Perceptron)이 적용될 수도 있다.
제2정보 획득부(420)는 상기 제2확장모듈(410)에서 각 포인트의 차원이 확장된 상기 포인트 클라우드를 포인트시프트(PointSIFT) 알고리즘을 이용하여 처리하는 제1포인트 처리모듈(421)과, 상기 제1포인트 처리모듈(421)에서 처리된 상기 포인트 클라우드에서 상기 전역 특징 정보를 추출하는 전역 특징 획득모듈(422)을 구비한다.
제1포인트 처리모듈(421)은 상기 포인트시프트(PointSIFT) 모듈이 적용된다. 상기 제1포인트 처리모듈(421)은 처리된 포인트 클라우드를 전역 특징 획득모듈(422)에 제공한다.
전역 특징 획득모듈(422)은 맥스 풀링(Max-pooling) 함수를 이용하여 상기 제1포인트 처리모듈(421)에서 처리된 상기 포인트 클라우드에서 상기 전역 특징 정보를 추출한다. 여기서, 전역 특징 획득모듈(422)은 맥스 풀링(Max-pooling) 함수를 이용하여 제1포인트 처리모듈(421)에서 처리된 포인트 클라우드의 포인트를 대칭조작하여 전역 특징 정보를 추출한다. 상기 전역 특징 정보는 포인트 클라우드의 형태로 형성될 수도 있다.
상기 분할 결과 추출부(500)는 상기 지역 특징 정보 및 전역 특징 정보를 상호 연결하여 결합 특징 정보를 생성하는 특징 연결모듈(510)과, 상기 결합 특징 정보를 토대로 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 획득하는 분할유닛(520)을 구비한다.
상기 특징 연결모듈(510)은 포인트 클라우드로부터 추출된 지역 특징 정보 및 전역 특징 정보를 연결하는 것으로서, 리쉐이프(reshape) 함수를 상기 전역 특징 정보에 적용하고, 상기 지역 특징 정보 및 리쉐이프(reshape) 함수가 적용된 전역 특징 정보를 상호 연결하여 결합 특징 정보를 생성한다. 해당 결합 특징 정보는 포인트 클라우드 형태로 형성될 수도 있다.
상기 분할유닛(520)은 상기 결합 특징 정보에 포함된 포인트의 차원을 축소하는 차원 축소유닛(530)과, 상기 차원 축소유닛(530)에 의해 포인트의 차원이 축소된 상기 결합 특징 정보를 토대로 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 획득하는 계층 처리모듈(540)을 구비한다.
차원 축소유닛(530)은 기학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 결합 특징 정보에 포함된 각 포인트의 차원을 축소하는 축소모듈(531)과, 상기 축소모듈(531)에서 각 포인트의 차원이 축소된 상기 결합 특징 정보를 포인트시프트(PointSIFT) 알고리즘을 이용하여 처리하고, 처리된 상기 결합 특징 정보를 상기 계층 처리모듈(540)에 제공하는 제2포인트 처리모듈(532)을 구비한다.
축소모듈(531)은 포인트넷(PointNet)의 다운샘플링(down sampling) 다층 퍼셉트론(Multi-Layer Perceptron)이 적용될 수 있다. 작업자는 포인트 클라우드의 각 포인트의 축소를 위한 다수의 샘플을 통해 상기 MLP를 학습시키고, 축소모듈(531)은 학습된 MLP를 이용하여 특징 연결모듈(510)에서 제공되는 결합 특징 정보의 각 포인트의 차원을 축소한다. 상기 축소모듈(531)은 포인트의 차원이 축소된 해당 결합 특징 정보를 제2포인트 처리모듈(532)에 제공한다.
상기 제2포인트 처리모듈(532)은 상기 포인트시프트(PointSIFT) 모듈이 적용된다. 상기 제2포인트 처리모듈(532)은 처리된 결합 특징 정보를 계층 처리모듈(540)에 제공한다.
상기 계층 처리모듈(540)은 상기 결합 특징 정보를 분류하여 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 생성하는 것으로서, 완전 연결 계층 인공신경망(fully-connected layer)을 이용하여 상기 결합 특징 정보를 분류하여 상기 분할 결과 정보를 생성한다. 완전연결 인공신경망(fully-connected layer)은 하나 이상의 완전연결 계층(fully-connected layer)들로 구성된다. 해당 분할 결과 정보는 포인트 클라우드에서 각 객체가 분할 표시된 결과물이 적용된다.
한편, 계층 처리모듈(540)은 해당 완전 연결 계층 인공신경망에 더해 ReLU(Rectified Linear Unit) 함수와 Batchnorm 함수를 추가로 적용하여 상기 분할 결과 정보를 추출할 수도 있다.
한편, 도 3에는 본 발명에 따른 3차원 공간의 의미적 분할 시스템(100)을 이용한 3차원 공간의 의미적 분할 방법에 대한 순서도가 도시되어 있다.
도면을 참조하면, 상기 3차원 공간의 의미적 분할 방법은 입력단계(S100), 지역 특징 정보 추출단계(S200), 전역 특징 정보 추출단계(S300) 및 결과 추출단계(S400)를 포함한다.
상기 입력단계(S100)는 입력모듈(200)을 통해 적어도 하나의 객체가 포함된 포인트 클라우드(point cloud)가 입력되는 단계이다. 입력모듈(200)은 라이다(LiDAR)와 같은 촬영기기에 연결되어 해당 촬영기기로부터 3차원 포인트 클라우드를 제공받는다.
지역 특징 정보 추출단계(S200)는 상기 입력모듈(200)에서 입력된 상기 포인트 클라우드에서 지역 특징(local feature) 정보를 추출하는 단계로서, 1차 확장단계(S201) 및 제1정보 획득단계(S202)를 포함한다.
1차 확장단계(S201)는 상기 입력모듈(200)에서 입력된 상기 포인트 클라우드에 포함된 각 포인트의 차원을 확장하는 단계이다. 여기서, 제1확장모듈(301)은 해당 포인트 클라우드의 차원을 확장하는데, 기학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 포인트 클라우드에 포함된 각 포인트의 차원을 확장한다.
제1정보 획득단계(S202)는 상기 1차 확장단계(S201)에 의해 각 포인트의 차원이 확장된 상기 포인트 클라우드에서 상기 지역 특징 정보를 획득하는 단계이다. 여기서, 제1정보 획득부(302)가 해당 포인트 클라우드에서 지역 특징 정보를 추출하는데, 포인트시프트(PointSIFT) 알고리즘을 이용하여 상기 포인트 클라우드에서 상기 지역 특징 정보를 추출하는 것이 바람직하다.
한편, 전역 특징 정보 추출단계(S300)는 상기 지역 특징 정보가 추출된 상기 포인트 클라우드에서 전역 특징(global feature) 정보를 추출하는 단계로서, 2차 확장단계(S310) 및 제2정보 획득단계(S320)를 포함한다.
상기 2차 확장단계(S310)는 상기 1차 확장단계(S201)에서 각 포인트의 차원이 확장되고, 제1정보 획득단계(S202)에서 포인트시프트(PointSIFT) 알고리즘이 적용된 상기 포인트 클라우드의 각 포인트의 차원을 재차 확장하는 단계이다. 여기서, 제2확장모듈(410)이 포인트 클라우드에 포함된 각 포인트의 차원을 재차 확장한다. 이때, 제2확장모듈(410)은 기학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 포인트 클라우드에 포함된 각 포인트의 차원을 확장한는 것이 바람직하다.
상기 제2정보 획득단계(S320)는 상기 2차 확장단계(S310)에 의해 각 포인트의 차원이 재차 확장된 상기 포인트 클라우드에서 상기 전역 특징 정보를 획득하는 단계로서, 포인트 처리단계(S321) 및 전역 정보 획득단계(S322)를 포함한다.
상기 포인트 처리단계(S321)는 2차 확장단계(S310)에서 각 포인트의 차원이 확장된 상기 포인트 클라우드를 포인트시프트(PointSIFT) 알고리즘을 이용하여 처리한다. 제1포인트 처리모듈(421)은 포인트 클라우드를 처리하여 전역 특징 획득모듈(422)에 제공한다.
전역 정보 획득단계(S322)는 상기 포인트 처리단계(S321)에서 처리된 상기 포인트 클라우드에서 상기 전역 특징 정보를 추출하는 단계이다. 여기서, 전역 특징 획득모듈(422)이 해당 전역 특징 정보를 추출하는데, 맥스 풀링(Max-pooling) 함수를 이용하여 상기 제1포인트 처리모듈(421)에서 처리된 상기 포인트 클라우드에서 상기 전역 특징 정보를 추출한다
한편, 상기 결과 추출단계(S400)는 상기 지역 특징 정보 및 전역 특징 정보를 토대로 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 생성하는 단계로서, 특징 연결단계(S410) 및 분할단계(S420)를 포함한다.
상기 특징 연결단계(S410)는 상기 지역 특징 정보 및 전역 특징 정보를 상호 연결하여 결합 특징 정보를 생성하는 단계이다. 여기서, 특징 연결모듈(510)은 포인트 클라우드로부터 추출된 지역 특징 정보 및 전역 특징 정보를 연결하는 것으로서, 리쉐이프(reshape) 함수를 상기 전역 특징 정보에 적용하고, 상기 지역 특징 정보 및 리쉐이프(reshape) 함수가 적용된 전역 특징 정보를 상호 연결하여 결합 특징 정보를 생성한다.
분할단계(S420)는 상기 결합 특징 정보를 토대로 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 획득하는 단계로서, 축소단계(S430) 및 계층 처리단계(S440)를 포함한다.
축소단계(S430)는 상기 결합 특징 정보에 포함된 포인트의 차원을 축소하는 단계로서, 작업단계(S431) 및 축소 처리단계(S432)를 포함한다.
작업단계(S431)는 기학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 결합 특징 정보에 포함된 각 포인트의 차원을 축소하는 단계이다. 여기서, 축소모듈(531)은 해당 결합 특징 정보의 각 포인트의 차원을 축소하여 제2포인트 처리모듈(532)로 전달한다.
축소 처리단계(S432)는 상기 작업단계(S431)에서 각 포인트의 차원이 축소된 상기 결합 특징 정보를 포인트시프트(PointSIFT) 알고리즘을 이용하여 처리하고, 처리된 상기 결합 특징 정보를 상기 계층 처리모듈(540)에 제공하는 단계이다. 여기서, 제2포인트 처리모듈(532)이 결합 특징 정보를 처리하여 계층 처리모듈(540)에 제공한다.
상기 계층 처리단계(S440)는 계층 처리모듈(540)을 통해 상기 축소단계(S430)에서 각 포인트의 차원이 축소된 상기 결합 특징 정보를 이용하여 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 획득하는 단계이다. 여기서, 상기 계층 처리모듈(540)은 상기 결합 특징 정보를 분류하여 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 생성하는 것으로서, 완전 연결 계층 인공신경망(fully-connected layer)을 이용하여 상기 결합 특징 정보를 분류하여 상기 분할 결과 정보를 생성한다.
한편, 도 4에는 원본 포인트 클라우드와, 본 발명에 따른 3차원 공간의 의미적 분할 방법에 의해 생성된 분할 결과 정보에 대한 비교 결과가 도시되어 있다. 여기서, 71은 라이다(Lidar)에 의해 획득한 초기의 포인트 클라우드이고, 72는 작업자가 초기의 포인트 클라우드를 수작업으로 분할한 포인트 클라우드의 실측자료(ground-truth)이고, 73은 본 발명에 따른 3차원 공간의 의미적 분할 방법에 의해 생성된 분할 결과 정보이다. 도면을 참조하면, 본 발명에 따른 분할 결과 정보는 작업자 수작업으로 분할한 실측자료와 매우 유사함을 알 수 있다.
상술된 바와 같이 본 발명에 따른 3차원 공간의 의미적 분할 시스템(100) 및 이를 이용한 3차원 공간의 의미적 분할 방법은 포인트넷(PointNet) 아키텍처를 기반으로 하여 포인트시프트(PointSIFT)를 이용하므로 3차원 포인트 클라우드에 대한 시멘틱 분할 작업에 대한 정확도 및 처리속도를 향상시킬 수 있는 장점이 있다.
제시된 실시예들에 대한 설명은 임의의 본 발명의 기술분야에서 통상의 지식을 가진 자가 본 발명을 이용하거나 또는 실시할 수 있도록 제공된다. 이러한 실시예들에 대한 다양한 변형들은 본 발명의 기술 분야에서 통상의 지식을 가진자에게 명백할 것이며, 여기에 정의된 일반적인 원리들은 본 발명의 범위를 벗어남이 없이 다른 실시예들에 적용될 수 있다. 그리하여, 본 발명은 여기에 제시된 실시예들로 한정되는 것이 아니라, 여기에 제시된 원리들 및 신규한 특징들과 일관되는 최광의의 범위에서 해석되어야 할 것이다.
100: 3차원 공간의 의미적 분할 시스템
200: 입력모듈
300: 지역 특징 정보 추출부
301: 제1확장모듈
302: 제1정보 획득부
400: 전역 특징 정보 추출부
410: 제2확장모듈
420: 제2정보 획득부
421: 제1포인트 처리모듈
422: 전역 특징 획득모듈
500: 분할 결과 추출부
510: 특징 연결모듈
520: 분할유닛
530: 차원 축소유닛
531: 축소모듈
532: 제2포인트 처리모듈
540: 계층 처리모듈

Claims (26)

  1. 적어도 하나의 객체가 포함된 포인트 클라우드(point cloud)가 입력되는 입력모듈;
    상기 입력모듈에서 입력된 상기 포인트 클라우드에서 지역 특징(local feature) 정보를 추출하는 지역 특징 정보 추출부;
    상기 지역 특징 정보가 추출된 상기 포인트 클라우드에서 전역 특징(global feature) 정보를 추출하는 전역 특징 정보 추출부; 및
    상기 지역 특징 정보 및 전역 특징 정보를 토대로 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 생성하는 분할 결과 추출부;를 구비하는,
    3차원 공간의 의미적 분할 시스템.
  2. 제1항에 있어서,
    상기 지역 특징 정보 추출부는
    상기 입력모듈에서 입력된 상기 포인트 클라우드에 포함된 각 포인트의 차원을 확장하는 제1확장모듈; 및
    상기 제1확장모듈에 의해 각 포인트의 차원이 확장된 상기 포인트 클라우드에서 상기 지역 특징 정보를 획득하는 제1정보 획득부;를 구비하는,
    3차원 공간의 의미적 분할 시스템.
  3. 제2항에 있어서,
    상기 제1확장모듈은 기학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 포인트 클라우드에 포함된 각 포인트의 차원을 확장하는,
    3차원 공간의 의미적 분할 시스템.
  4. 제2항 또는 제3항에 있어서,
    상기 제1정보 획득부는 포인트시프트(PointSIFT) 알고리즘을 이용하여 상기 포인트 클라우드에서 상기 지역 특징 정보를 추출하는,
    3차원 공간의 의미적 분할 시스템.
  5. 제4항에 있어서,
    상기 전역 특징 정보 추출부는
    상기 제1확장모듈에서 각 포인트의 차원이 확장되고, 상기 제1정보 획득부에서 상기 포인트시트프 알고리즘이 적용된 상기 포인트 클라우드의 각 포인트의 차원을 재차 확장하는 제2확장모듈;
    상기 제2확장모듈에 의해 각 포인트의 차원이 재차 확장된 상기 포인트 클라우드에서 상기 전역 특징 정보를 획득하는 제2정보 획득부;를 구비하는,
    3차원 공간의 의미적 분할 시스템.
  6. 제5항에 있어서,
    상기 제2확장모듈은 기학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 포인트 클라우드에 포함된 각 포인트의 차원을 확장하는,
    3차원 공간의 의미적 분할 시스템.
  7. 제5항 또는 제6항에 있어서,
    상기 제2정보 획득부는
    상기 제2확장모듈에서 각 포인트의 차원이 확장된 상기 포인트 클라우드를 포인트시프트(PointSIFT) 알고리즘을 이용하여 처리하는 제1포인트 처리모듈; 및
    상기 제1포인트 처리모듈에서 처리된 상기 포인트 클라우드에서 상기 전역 특징 정보를 추출하는 전역 특징 획득모듈;을 구비하는,
    3차원 공간의 의미적 분할 시스템.
  8. 제7항에 있어서,
    상기 전역 특징 획득모듈은 맥스 풀링(Max-pooling) 함수를 이용하여 상기 제1포인트 처리모듈에서 처리된 상기 포인트 클라우드에서 상기 전역 특징 정보를 추출하는,
    3차원 공간의 의미적 분할 시스템.
  9. 제5항에 있어서,
    상기 분할 결과 추출부는
    상기 지역 특징 정보 및 전역 특징 정보를 상호 연결하여 결합 특징 정보를 생성하는 특징 연결모듈; 및
    상기 결합 특징 정보를 토대로 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 획득하는 분할유닛;을 구비하는,
    3차원 공간의 의미적 분할 시스템.
  10. 제9항에 있어서,
    상기 분할유닛은
    상기 결합 특징 정보에 포함된 포인트의 차원을 축소하는 차원 축소유닛; 및
    상기 차원 축소유닛에 의해 포인트의 차원이 축소된 상기 결합 특징 정보를 토대로 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 획득하는 계층 처리모듈;을 구비하는,
    3차원 공간의 의미적 분할 시스템.
  11. 제10항에 있어서,
    상기 계층 처리모듈은 완전 연결 계층 인공신경망(fully-connected layer)을 이용하여 상기 결합 특징 정보를 분류하여 상기 분할 결과 정보를 생성하는,
    3차원 공간의 의미적 분할 시스템.
  12. 제10항에 있어서,
    상기 차원 축소유닛은
    기학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 결합 특징 정보에 포함된 각 포인트의 차원을 축소하는 축소모듈; 및
    상기 축소모듈에서 각 포인트의 차원이 축소된 상기 결합 특징 정보를 포인트시프트(PointSIFT) 알고리즘을 이용하여 처리하고, 처리된 상기 결합 특징 정보를 상기 계층 처리모듈에 제공하는 제2포인트 처리모듈;을 구비하는,
    3차원 공간의 의미적 분할 시스템.
  13. 제9항에 있어서,
    상기 특징 연결모듈은 상기 지역 특징 정보 및 리쉐이프(reshape) 함수가 적용된 전역 특징 정보를 상호 연결하여 결합 특징 정보를 생성하는,
    3차원 공간의 의미적 분할 시스템.
  14. 입력모듈을 통해 적어도 하나의 객체가 포함된 포인트 클라우드(point cloud)가 입력되는 입력단계;
    상기 입력모듈에서 입력된 상기 포인트 클라우드에서 지역 특징(local feature) 정보를 추출하는 지역 특징 정보 추출단계;
    상기 지역 특징 정보가 추출된 상기 포인트 클라우드에서 전역 특징(global feature) 정보를 추출하는 전역 특징 정보 추출단계; 및
    상기 지역 특징 정보 및 전역 특징 정보를 토대로 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 생성하는 결과 추출단계;를 포함하는,
    3차원 공간의 의미적 분할 방법.
  15. 제14항에 있어서,
    상기 지역 특징 정보 추출단계는
    상기 입력모듈에서 입력된 상기 포인트 클라우드에 포함된 각 포인트의 차원을 확장하는 1차 확장단계; 및
    상기 1차 확장단계에 의해 각 포인트의 차원이 확장된 상기 포인트 클라우드에서 상기 지역 특징 정보를 획득하는 제1정보 획득단계;를 포함하는,
    3차원 공간의 의미적 분할 방법.
  16. 제15항에 있어서,
    상기 1차 확장단계에서는, 기학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 포인트 클라우드에 포함된 각 포인트의 차원을 확장하는,
    3차원 공간의 의미적 분할 방법.
  17. 제15항 또는 제16항에 있어서,
    상기 제1정보 획득단계에서는, 포인트시프트(PointSIFT) 알고리즘을 이용하여 상기 포인트 클라우드에서 상기 지역 특징 정보를 추출하는,
    3차원 공간의 의미적 분할 방법.
  18. 제15항에 있어서,
    상기 전역 특징 정보 추출단계는
    상기 1차 확장단계에서 각 포인트의 차원이 확장된 상기 포인트 클라우드의 각 포인트의 차원을 재차 확장하는 2차 확장단계; 및
    상기 2차 확장단계에 의해 각 포인트의 차원이 재차 확장된 상기 포인트 클라우드에서 상기 전역 특징 정보를 획득하는 제2정보 획득단계;를 포함하는,
    3차원 공간의 의미적 분할 방법.
  19. 제18항에 있어서,
    상기 2차 확장단계에서는, 기학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 포인트 클라우드에 포함된 각 포인트의 차원을 확장하는,
    3차원 공간의 의미적 분할 방법.
  20. 제18항 또는 제19항에 있어서,
    상기 제2정보 획득단계는
    상기 2차 확장단계에서 각 포인트의 차원이 확장된 상기 포인트 클라우드를 포인트시프트(PointSIFT) 알고리즘을 이용하여 처리하는 포인트 처리단계; 및
    상기 포인트 처리단계에서 처리된 상기 포인트 클라우드에서 상기 전역 특징 정보를 추출하는 전역 정보 획득단계;를 포함하는,
    3차원 공간의 의미적 분할 방법.
  21. 제20항에 있어서,
    상기 전역 정보 획득단계에서는, 맥스 풀링(Max-pooling) 함수를 이용하여 상기 포인트 처리단계에서 처리된 상기 포인트 클라우드에서 상기 전역 특징 정보를 추출하는,
    3차원 공간의 의미적 분할 방법.
  22. 제18항에 있어서,
    상기 결과 추출단계는
    상기 지역 특징 정보 및 전역 특징 정보를 상호 연결하여 결합 특징 정보를 생성하는 특징 연결단계; 및
    상기 결합 특징 정보를 토대로 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 획득하는 분할단계;를 구비하는,
    3차원 공간의 의미적 분할 방법.
  23. 제22항에 있어서,
    상기 분할단계는
    상기 결합 특징 정보에 포함된 포인트의 차원을 축소하는 축소단계; 및
    계층 처리모듈을 통해 상기 축소단계에서 각 포인트의 차원이 축소된 상기 결합 특징 정보를 이용하여 상기 포인트 클라우드에서 상기 객체에 대한 분할 결과 정보를 획득하는 계층 처리단계;를 포함하는,
    3차원 공간의 의미적 분할 방법.
  24. 제23항에 있어서,
    상기 계층 처리단계에서는, 완전 연결 계층 인공신경망(fully-connected layer)을 이용하여 상기 결합 특징 정보를 분류하여 상기 분할 결과 정보를 생성하는,
    3차원 공간의 의미적 분할 방법.
  25. 제23항에 있어서,
    상기 축소단계는
    기학습된 MLP(Multi-Layer Perceptron)을 이용하여 상기 결합 특징 정보에 포함된 각 포인트의 차원을 축소하는 작업단계; 및
    상기 작업단계에서 각 포인트의 차원이 축소된 상기 결합 특징 정보를 포인트시프트(PointSIFT) 알고리즘을 이용하여 처리하고, 처리된 상기 결합 특징 정보를 상기 계층 처리모듈에 제공하는 축소 처리단계;를 포함하는,
    3차원 공간의 의미적 분할 방법.
  26. 제22항에 있어서,
    상기 특징 연결단계에서는, 상기 지역 특징 정보 및 리쉐이프(reshape) 함수가 적용된 전역 특징 정보를 상호 연결하여 결합 특징 정보를 생성하는,
    3차원 공간의 의미적 분할 방법.
KR1020200021504A 2020-02-21 2020-02-21 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법 KR102333682B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200021504A KR102333682B1 (ko) 2020-02-21 2020-02-21 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200021504A KR102333682B1 (ko) 2020-02-21 2020-02-21 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법

Publications (2)

Publication Number Publication Date
KR20210106703A true KR20210106703A (ko) 2021-08-31
KR102333682B1 KR102333682B1 (ko) 2021-11-30

Family

ID=77489420

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200021504A KR102333682B1 (ko) 2020-02-21 2020-02-21 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법

Country Status (1)

Country Link
KR (1) KR102333682B1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792637A (zh) * 2021-09-07 2021-12-14 浙江大学 一种基于激光点云的目标车辆位置速度估计方法
CN114693932A (zh) * 2022-04-06 2022-07-01 南京航空航天大学 一种大型飞机大部件点云语义分割方法
CN115456064A (zh) * 2022-09-05 2022-12-09 江汉大学 基于点云的物体分类方法及相关设备
CN116468892A (zh) * 2023-04-24 2023-07-21 北京中科睿途科技有限公司 三维点云的语义分割方法、装置、电子设备和存储介质

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023120770A1 (ko) * 2021-12-22 2023-06-29 엔센스코리아주식회사 3차원 공간에서 생성한 인지적 매쉬 정보와 가상 객체들간의 상호작용 방법 및 그 장치
KR20230126075A (ko) 2022-02-22 2023-08-29 전남대학교산학협력단 3차원 객체 검출 방법
KR20240013454A (ko) * 2022-07-22 2024-01-30 포항공과대학교 산학협력단 영상처리 장치 및 영상처리 장치를 위한 3차원 형상 잠재공간의 기계 학습 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090081968A (ko) * 2008-01-25 2009-07-29 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정시스템 및 방법
KR20130037996A (ko) * 2011-10-07 2013-04-17 한국전자통신연구원 3차원 포인트 클라우드의 공간 분할 방법
JP2019159940A (ja) * 2018-03-14 2019-09-19 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 点群特徴抽出装置、点群特徴抽出方法及びプログラム
KR102069666B1 (ko) 2018-11-14 2020-01-23 주식회사 모빌테크 포인트 클라우드 맵 기반의 자율주행차량용 실시간 주행경로 설정 방법
KR20200037816A (ko) * 2017-08-02 2020-04-09 스트롱 포스 아이오티 포트폴리오 2016, 엘엘씨 대규모 데이터 세트들을 갖는 산업 사물 인터넷 데이터 수집 환경에서의 검출을 위한 방법들 및 시스템들
KR20200070287A (ko) * 2017-10-05 2020-06-17 어플리케이션스 모빌스 오버뷰 인코포레이티드 객체 인식 방법

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090081968A (ko) * 2008-01-25 2009-07-29 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정시스템 및 방법
KR100951890B1 (ko) * 2008-01-25 2010-04-12 성균관대학교산학협력단 상황 모니터링을 적용한 실시간 물체 인식 및 자세 추정 방법
KR20130037996A (ko) * 2011-10-07 2013-04-17 한국전자통신연구원 3차원 포인트 클라우드의 공간 분할 방법
KR20200037816A (ko) * 2017-08-02 2020-04-09 스트롱 포스 아이오티 포트폴리오 2016, 엘엘씨 대규모 데이터 세트들을 갖는 산업 사물 인터넷 데이터 수집 환경에서의 검출을 위한 방법들 및 시스템들
KR20200070287A (ko) * 2017-10-05 2020-06-17 어플리케이션스 모빌스 오버뷰 인코포레이티드 객체 인식 방법
JP2019159940A (ja) * 2018-03-14 2019-09-19 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ 点群特徴抽出装置、点群特徴抽出方法及びプログラム
KR102069666B1 (ko) 2018-11-14 2020-01-23 주식회사 모빌테크 포인트 클라우드 맵 기반의 자율주행차량용 실시간 주행경로 설정 방법

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113792637A (zh) * 2021-09-07 2021-12-14 浙江大学 一种基于激光点云的目标车辆位置速度估计方法
CN113792637B (zh) * 2021-09-07 2023-10-03 浙江大学 一种基于激光点云的目标车辆位置速度估计方法
CN114693932A (zh) * 2022-04-06 2022-07-01 南京航空航天大学 一种大型飞机大部件点云语义分割方法
CN114693932B (zh) * 2022-04-06 2023-07-21 南京航空航天大学 一种大型飞机大部件点云语义分割方法
CN115456064A (zh) * 2022-09-05 2022-12-09 江汉大学 基于点云的物体分类方法及相关设备
CN115456064B (zh) * 2022-09-05 2024-02-02 江汉大学 基于点云的物体分类方法及相关设备
CN116468892A (zh) * 2023-04-24 2023-07-21 北京中科睿途科技有限公司 三维点云的语义分割方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
KR102333682B1 (ko) 2021-11-30

Similar Documents

Publication Publication Date Title
KR102333682B1 (ko) 3차원 공간의 의미적 분할 시스템 및 이를 이용한 3차원 공간의 의미적 분할 방법
US11367222B2 (en) Three-dimensional shape classification and retrieval using convolutional neural networks and majority vote
CN112529015A (zh) 一种基于几何解缠的三维点云处理方法、装置及设备
CN113570029A (zh) 获取神经网络模型的方法、图像处理方法及装置
CN114049381A (zh) 一种融合多层语义信息的孪生交叉目标跟踪方法
CN112651316B (zh) 二维和三维多人姿态估计系统及方法
WO2023125628A1 (zh) 神经网络模型优化方法、装置及计算设备
CN114612902A (zh) 图像语义分割方法、装置、设备、存储介质及程序产品
Soumya et al. Emotion recognition from partially occluded facial images using prototypical networks
US20220222934A1 (en) Neural network construction method and apparatus, and image processing method and apparatus
JP2023133087A (ja) マルチモーダルアテンション駆動に基づく三次元点群特徴抽出方法
JP7225731B2 (ja) 多変数データシーケンスの画像化
CN116740324A (zh) 一种双路结构的点云补全系统及方法
Gurevich et al. Descriptive image analysis: Part III. Multilevel model for algorithms and initial data combining in pattern recognition
CN113688783B (zh) 人脸特征提取方法、低分辨率人脸识别方法及设备
CN114359907A (zh) 语义分割方法、车辆控制方法、电子设备及存储介质
CN111461130A (zh) 一种高精度图像语义分割算法模型及分割方法
JP7489834B2 (ja) 情報処理装置、プロブラムおよび情報処理方法
EP4339826A2 (en) Machine-learning for topologically-aware cad retrieval
CN114092650B (zh) 一种基于高效图卷积的三维点云生成方法
CN116934598B (zh) 一种多尺度特征融合的轻量级遥感图像超分方法及系统
EP4283565A1 (en) Device and computer-implemented method for evaluating a control of a generator for determining pixels of a synthetic image
Singer View-Agnostic Point Cloud Generation
Hu et al. Unsupervised Segmentation for Terracotta Warrior Point Cloud (SRG-Net)
Nzegha et al. Improving Deep Unconstrained Facial Recognition by Data Augmentation

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant