KR20210063841A - 3d 포인트 클라우드의 클러스터링 방법 및 이를 수행하는 장치 - Google Patents

3d 포인트 클라우드의 클러스터링 방법 및 이를 수행하는 장치 Download PDF

Info

Publication number
KR20210063841A
KR20210063841A KR1020190152439A KR20190152439A KR20210063841A KR 20210063841 A KR20210063841 A KR 20210063841A KR 1020190152439 A KR1020190152439 A KR 1020190152439A KR 20190152439 A KR20190152439 A KR 20190152439A KR 20210063841 A KR20210063841 A KR 20210063841A
Authority
KR
South Korea
Prior art keywords
point cloud
clustering
cloud data
data
point
Prior art date
Application number
KR1020190152439A
Other languages
English (en)
Other versions
KR102276044B1 (ko
Inventor
한상호
Original Assignee
숭실대학교산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 숭실대학교산학협력단 filed Critical 숭실대학교산학협력단
Priority to KR1020190152439A priority Critical patent/KR102276044B1/ko
Publication of KR20210063841A publication Critical patent/KR20210063841A/ko
Application granted granted Critical
Publication of KR102276044B1 publication Critical patent/KR102276044B1/ko

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/005Tree description, e.g. octree, quadtree
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T15/003D [Three Dimensional] image rendering
    • G06T15/08Volume rendering
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/11Region-based segmentation
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10028Range image; Depth image; 3D point clouds
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2210/00Indexing scheme for image generation or computer graphics
    • G06T2210/12Bounding box

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Geometry (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)

Abstract

본 발명의 일 실시예에 따른 전자장치에 의한 3D 포인트 클라우드의 클러스터링 방법은 대용량의 3D 포인트 클라우드 데이터를 입력받고, 3차원 공간 샘플링을 수행하는 단계; 다운 샘플링된 3D 포인트 클라우드를 관심 영역인 예측된 2차원 도로 평면도 상에 투영하여 2D 포인트 클라우드 데이터를 생성하는 단계; 생성된 2D 포인트 클라우드를 그리드 형태의 공간으로 분할하는 단계; 분할된 영역 마다 점 데이터의 수가 임계치 이상인 분할 영역에 객체의 경계 박스(Bounding Box)를 생성하는 단계; 및 경계박스가 생성된 2D 포인트 클라우드를 기반으로 3D 클러스터링을 수행하는 단계를 포함한다.

Description

3D 포인트 클라우드의 클러스터링 방법 및 이를 수행하는 장치{METHOD OF CLUSTERING 3D POINT CLOUD DATA AND APPARATUSES OPERATING THE SAME}
본 발명은 3D 포인트 클라우드의 클러스터링 방법 및 이를 수행하는 장치에 관한 것이다.
복잡한 도로 환경에서 자율주행 국부 경로계획은 차량과 인접한 공간의 데이터를 기반으로 이루어지기 때문에 운전자의 편의성과 안정성 확보를 위하여 객체들에 대한 정확한 검출과 실시간 처리를 요구한다.
한편, 3차원 LiDAR 기술의 눈부신 발전으로 대규모 영역, 대용량 데이터 획득이 용이해졌고, 그 정밀도 또한 높아지고 있다. 대용량 3차원 데이터에 대한 처리기술 및 유용한 특징 정보 또는 형상정보를 정확하고 신속하게 추출할 수 있는 관련 연구도 국내외적으로 지속적으로 수행되고 있다. 따라서 업계에서는 LiDAR 장비를 도입하여 국부 경로계획을 위한 객체 검출 알고리즘을 구축하고자 하는 하는 추세이다.
평균적으로 40km/s ~ 100km/s의 고속으로 주행하는 자율주행 자동차에서 포인트 클라우드 데이터를 이용한 객체 검출 알고리즘은 3D 포인트 클라우드 데이터의 실시간 처리를 요구한다.
그러나, 3차원 이미지 스캔 결과로 얻어진 3D 포인트 클라우드 데이터는 수백에서 수억개 이상의 포인트들로 구성되어 있는 빅 데이터가 대부분인데 반해, 주로 사용되는 유클리드 거리(Euclidean Distance)를 이용하는 K-평균 클러스터링 알고리즘은 계산량이 많기 때문에, 차량의 제어와 주행 안전을 보장하기 위해 높은 성능과 실시간 처리를 요구하는 자율주행 자동차의 국부경로 계획에 적용하기에는 많은 어려움이 있다.
따라서, 국부경로 계획을 위한 3차원 포인트 클라우드의 대용량 데이터를 실시간으로 처리할 수 있는 방법이 필요하다.
상기의 문제점을 해결하기 위해 본 발명에서는 자율주행 자동차의 국부 경로계획의 실시간성을 보장하기 위한 2D 포인트 클라우드 데이터 분할(segmentation)에 기반한 3D 포인트 클라우드 데이터 클러스터링 장치 및 그 방법을 제공한다.
그러나 본 발명의 목적은 상기에 언급된 사항으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다. 제공한다.
상술한 목적을 달성하기 위한 본 발명의 일 실시예에 따른 3D 포인트 클라우드의 클러스터링 방법은 대용량의 3D 포인트 클라우드 데이터를 입력받고, 3차원 공간 샘플링을 수행하는 단계; 다운 샘플링된 3D 포인트 클라우드를 관심 영역인 예측된 2차원 도로 평면도 상에 투영하여 2D 포인트 클라우드 데이터를 생성하는 단계; 생성된 2D 포인트 클라우드를 그리드 형태의 공간으로 분할하는 단계; 분할된 영역 마다 점 데이터의 수가 임계치 이상인 분할 영역에 객체의 경계 박스(Bounding Box)를 생성하는 단계; 및 경계박스가 생성된 2D 포인트 클라우드를 기반으로 3D 클러스터링을 수행하는 단계를 포함한다.
바람직하게, 상기 3차원 공간 샘플링을 수행하는 단계는, 입력된 3차원 포인트 클라우드에 복셀 그리드 필터를 적용하여 다운 샘플링을 수행한다.
바람직하게, 상기 2D 포인트 클라우드 데이터를 생성하는 단계는, 다운 샘플링된 3D 포인트 클라우드에 RANSAC(RANdom SAmple Consensus) 알고리즘을 적용하여 2D 포인트 클라우드 데이터를 생성한다.
바람직하게, 상기 생성된 2D 포인트 클라우드를 그리드 형태의 공간으로 분할하는 단계는, 생성된 2D 포인트 클라우드에 쿼드 트리(Quadtree) 분할 알고리즘을 적용하여 공간 분할한다.
바람직하게, 2D 포인트 클라우드에서 도로 면에 존재하는 객체 영역들을 검출하고, 검출된 객체 영역들을 Z축으로 확장하여 3D 클러스터링을 수행한다.
본 발명의 일 실시예에 따른 3D 포인트 클라우드의 클러스터링 장치는 대용량의 3D 포인트 클라우드 데이터를 입력받고, 3차원 공간 샘플링을 수행하는 3D 공간 샘플링부; 다운 샘플링된 3D 포인트 클라우드를 관심 영역인 예측된 2차원 도로 평면도 상에 투영하여 2D 포인트 클라우드를 생성하는 2D 클라우드 데이터 변환부; 생성된 2D 포인트 클라우드를 그리드 형태의 공간으로 분할하는 공간 분할부; 및 분할된 영역 마다 점 데이터의 수가 임계치 이상인 분할 영역에 객체의 경계 박스(Bounding Box)를 생성하는 3D 클러스터링부를 포함한다.
본 발명에 따른 3D 포인트 클라우드의 클러스터링 방법에 의해 국부 경로계획에 중요한 관심 영역인 도로 영역에 한정하여 2D 포인트 클라우드 데이터의 분할에 의해 3D 포인트 클라우드 클러스터링을 빠르게 수행한다.
도 1은 본 발명의 일 실시예에 따른 3D 포인트 클라우드의 클러스터링 방법을 설명하는 흐름도이다.
도 2는 본 발명의 일 실시예에 따른 복셀화를 설명하는 도면이다.
도 3은 본 발명의 일 실시예에 따른 RANSAC을 통해 얻은 도로 평면도이다.
도 4는 본 발명의 일 실시예에 따른 쿼드트리 알고리즘을 설명하기 위한 예시도이다.
도 5는 본 발명의 일 실시예에 따른 쿼드트리 분할의 결과에 따른 도로 평면도이다.
도 6은 본 발명의 일 실시예에 따른 제안하는 클러스터링 결과에 따른 도로 평면도이다.
도 7은 본 발명의 일 실시예에 따른 3D 포인트 클라우드의 클러스터링을 처리하기 위한 장치를 나타내는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면을 참조하여 상세하게 설명하도록 한다. 그러나 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재 항목들의 조합 또는 복수의 관련된 기재 항목들 중의 어느 항목을 포함한다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있다는 것을 의미한다.
설명에 앞서, 본 발명의 일 실시예에서 언급하는 포인트 클라우드 방식은 3차원 데이터를 표현하기 위한 방법으로 주로 채택되는 방법으로서, 포인트 클라우드는, 물체에 빛/신호를 보내서 돌아오는 시간을 기록하여 각 빛/신호 당 거리 정보를 빛/신호의 속도의 크기를 이용하여 거리 정보를 계산하여 생성된 포인트 들의 3차원 집합(set cloud)을 의미한다.
2D 이미지가 (x,y)로 나타남에 비해, 3D 정보를 나타내는 포인트 클라우드는 기본적으로 (x,y,z)와 같이 깊이를 나타내는 z 정보를 갖고 있다.
이하, 첨부된 도면을 참조하여 본 발명의 일 실시예에 대해 상세하게 설명한다.
도 1은 본 발명의 일 실시예에 따른 3D 포인트 클라우드의 클러스터링 방법을 설명하는 흐름도이고, 도 2는 본 발명의 일 실시예에 따른 복셀화를 설명하는 도면이다.
도 1을 참조하면, S110 단계에서, 3D 포인트 클라우드의 클러스터링 방법을 수행하는 장치가 대용량의 3차원 포인트 클라우드를 입력받고, S120단계에서, 입력받은 3차원 포인트 클라우드에 대하여 3차원 공간 샘플링을 수행한다.
입력된 3차원 포인트의 수를 줄이기 위한 다운 샘플링(downsampling)을 수행하여 데이터 수를 줄임으로써 연산 부하를 감소시킨다. 다운 샘플링을 위해, 입력된 3차원 포인트 클라우드에 복셀 그리드 필터(Voxel Grid Filter)를 적용한다.
여기서, 복셀이란 3D에서의 최소 단위를 의미하며, 복셀화란 포인트 클라우드를 복셀로 변환하는 작업을 의미한다.
도 2를 참조하여, 복셀화를 설명한다.
먼저, 도 2의 (a)와 같이, 포인트 클라우드 공간 영역을 이용하여 사용자 정의에 의해 적합한 복셀의 크기(leaf_size)를 선택함으로써, 복셀 그리드를 생성한다. 여기서 복셀의 단위(leaf_size)가 크면 클수록 데이터의 양을 줄일 수 있다. 다만 복셀의 단위가 크면 클수록 물체의 표현력이 줄어드므로, 계산 부하와 물체의 표현력의 트레이드 오프 관계에 유의하여 최적의 단위를 적용하여야 한다.
다음, 도 2의 (b)와 같이, 각 복셀의 중심점에서 리프 사이즈 내의 제1 포인트 유무를 계산한다.
도 2의 (c)와 같이, 제1 포인트들간의 중심점을 계산하고 나머지 포인트는 제거한다. 각 복셀 그리드에 할당된 포인트 셋(set)의 평균치로 모든 복셀의 무게 중심 점을 포인트들로 산정한다.
이와 같이 복셀화를 통해, 도 2의 (b)에서의 5개의 제1 포인트는 도 2의 (c)에서의 하나의 제2 포인트로 표현됨을 알 수 있다. 즉, 데이터의 크기는 1/5로 줄어든 것을 알 수 있다.
이와 같이 복셀(Voxel) 기반의 통계적 아웃라이어 제거 기법으로서 데이터 간략화(샘플링)와 아웃라이어 제거 필터링을 채택하여, 3D 대용량 포인트 클라우드에서 노이즈를 효과적으로 제거할 수 있다.
다시 도 1로 되돌아와서, S130단계에서, 복셀화된 3D 포인트 클라우드 데이터를 관심 영역인 예측된 2차원 도로 평면도 상에 투영한다.
이를 위해 먼저, 2차원 도로 평면도 및 3D 포인트 클라우드 데이터를 동일하 픽셀 공간 해상도로 변환한다.
다음, 2차원 도로 평면도와 3차원 클라우드 데이터의 특징점을 각각 추출한다.
2차원 영상의 특징점은 SURF(Speeded Up Robust Features), SIFT(Scale Invariant Feature Transform), Corner 및 Edge 중 적어도 하나 방법을 이용하여 특징점을 추출할 수 있다.
2차원 도로 평면도의 특징점과 3차원 클라우드 데이터의 특징점을 매칭하여 매칭점 쌍을 유도한다.
RANSAC(RANdom SAmple Consensus)을 이용하여 매칭점 쌍을 필터링하여 유효 정합점을 추출한다. 여기서, 유효 정합점은 매칭 특징점일 수 있다.
RANSAC(RANdom SAmple Consensus)은 무작위 샘플을 뽑은 후 최대로 컨센서스가 형성된 샘플들을 선택한다. RANSAC은 컨센서스가 최대인, 즉 가장 많은 수의 데이터들로부터 지지를 받는 모델을 선택하는 방법이다.
도 3은 본 발명의 일 실시예에 따른 RANSAC을 통해 얻은 도로 평면도이다.
RANSAC 알고리즘을 통해서 도로 면의 방정식을 구하기 위해 3D 포인트 클라우드 데이터 중 도로 면이 존재하는 z 범위를 가진 포인트 클라우드 데이터를 추출한다. 이후, 선별된 포인트 클라우드 데이터에 대해 RANSAC 알고리즘을 적용한다. 예측된 평면과 나머지 점들과의 거리를 측정하여 인라이어들(inliers)을 추출한 후 가장 근사화된 도로 면의 방정식을 예측한다.
도 3에서 3D 포인트 클라우드 데이터로부터 예측된 도로 평면은 검은색 영역으로 표시된다.
다시 도 1로 되돌아와서, S140단계에서, 변환된 2D 포인트 클라우드 데이터에서 공간 분할을 수행한다.
공간 분할은 효율적인 데이터 처리를 위하여 전체 공간을 트리 구조의 재귀적인 방법으로 분할하게 된다. 이 때 분할하는 방법이나 기준에 따라 여러가지 방법으로 분류하며 2진 트리, 4진 트리 및 8진 트리 등을 이용할 수 있다.
본 발명의 일 실시예에서는 획득한 도로 평면을 가로, 세로 각각 2의 거듭제곱(2N)개 영역으로 나누고, 이들 영역에 대해 4진(Quadtree) 분할 알고리즘을 적용한다.
쿼드트리는 부모노드 아래 자식 노드를 4개씩 가지고 있는 트리이고 4진 분할 알고리즘은 공간을 4개의 정사각형으로 계층적 분할에 기초하여 데이터 압축하는 알고리즘이다.
도 4는 본 발명의 일 실시예에 따른 쿼드트리 알고리즘을 설명하기 위한 예시도이다.
도 4의 (a)에 도시된 이미지를 쿼드트리에 의해 압축하고자 하면, 검은색을 0, 흰색을 1로 상정하면 도 4의 (b)와 같이 나타낼 수 있다.
해당 이미지를 쿼드트리를 이용해 압축하면 (0(1101)1(0011)(0111)1(1110)으로 표현할 수 있게 된다.
도 5는 전술한 쿼드트리 알고리즘을 적용한 도로 평면도이다.
도 5에 도시된 바와 같이, 쿼드트리 분할 알고리즘에 따라 객체 영역은 세밀하게 분할하고, 배경 영역은 거칠게 분할한다.
다시 도 1로 되돌아와서, S150단계에서, 2D 포인트 클라우드 데이터에서 객체의 경계 박스(Bounding Box)를 생성한다. 공간 분할된 영역마다 점 데이터의 수를 확인하고, 점 데이터의 수가 임계치 이상인 분할 영역에 객체의 경계 박스(Bounding Box)를 생성한다.
S160단계에서, 2D 분할 알고리즘으로부터 예측된 2D 분할 데이터를 기반으로 빠른 3D 클러스터링을 수행한다.
국부 경로 계획에서 중요한 관심 영역인 도로 면에 투영된 2D 포인트 클라우드 데이터의 분할을 통해 도로 면에 존재하는 객체 영역들을 검출한다. 객체 영역들을 Z축으로 확장하여 후보 객체 영역들을 예측하고, 이는 각 그리드에 포함된 형상과 기하학적으로 연결 가능성이 있는 주변 그리드의 형상이 있는지 여부를 검사함으로써 합병(merge)을 한 후 3D 포인트 클라우드 데이터의 분포를 고려하여 3D 클러스터링을 수행한다.
도 6은 본 발명의 일 실시예에 따른 3차원 클러스터링 결과에 따른 도로 평면도이다.
다음, S170단계에서, 3차원 클러스터링 결과값으로부터 용이하게 장애물을 검출한다.
전술한 3D 클러스터링 방법에 의해 3D 포인트 클라우드 데이터로부터, 국부 경로계획에 중요한 관심 영역인 도로 영역에 한정하여 2D 포인트 클라우드 데이터의 공간 분할 처리에 기반한 빠른 3D 포인트 클라우드 클러스터링을 수행한다. 즉, 2D 공간 분할 처리 방법의 속도로 3D 포인트 클라우드 클러스티링을 행할 수 있게 된다.
도 7은 본 발명의 일 실시예에 따른 3D 포인트 클라우드의 클러스터링을 실행하는 장치(이하, 3D 클러스터링 장치라 함)의 구성을 개략적으로 나타낸 블록도이다.
도 7을 참조하면, 일 실시예에 따른 3D 클러스터링 장치는 3D 공간 샘플링부(110), 2D 클라우드 데이터 변환부(120), 공간 분할부(130), 3D 클러스터링부(140) 및 제어부(150)를 포함할 수 있다.
3D 공간 샘플링부(110)는 대용량의 3D 포인트 클라우드 데이터를 입력받고, 복셀 그리드 필터를 적용하여 3차원 공간 샘플링을 수행한다.
2D 클라우드 데이터 변환부(120)는 다운 샘플링된 3D 포인트 클라우드를 관심 영역인 예측된 2차원 도로 평면도 상에 투영하고 RANSAC(RANdom SAmple Consensus) 알고리즘을 적용하여 2D 포인트 클라우드 데이터를 생성한다.
공간 분할부(130)는 생성된 2D 포인트 클라우드를 쿼드 트리(Quadtree) 분할 알고리즘을 적용하여 그리드 형태의 공간으로 분할하고, 분할된 영역 마다 점 데이터의 수가 임계치 이상인 분할 영역에 객체의 경계 박스(Bounding Box)를 생성한다.
3D 클러스터링부(140)는 경계박스가 생성된 2D 포인트 클라우드를 기반으로 3D 클러스터링을 수행한다.
국부 경로 계획에서 중요한 관심 영역인 도로 면에 투영된 2D 포인트 클라우드 데이터의 분할을 통해 도로 면에 존재하는 객체 영역들을 검출한다. 객체 영역들을 Z축으로 확장하여 후보 객체 영역들을 예측하고, 이들 영역을 분할과 합병을 한 후 3D 포인트 클라우드 데이터의 분포를 고려하여 3D 클러스터링을 수행한다.
상기 제어부(150)는 본 발명의 일 실시예에 따른 3D 공간 샘플링부(110), 2D 클라우드 데이터 변환부(120), 공간 분할부(130) 및 3D 클러스터링부(140) 등의 동작을 전반적으로 제어할 수 있다.
본 발명의 일 실시예의 3D 클러스터링 방법에 따르면, 국부 경로계획에 중요한 관심 영역인 도로 영역에 한정하여 2D 포인트 클라우드 데이터의 쿼드트리 분할 후 3D 포인트 클라우드 클러스터링을 빠르게 수행한다.
본 발명의 일 실시예에 따른 3D 포인트 클라우드의 클러스터링 방법은 계산량이 많고 객체 검출률이 떨어지는 기존 방식을 대체함으로써 율주행자동차나 이동로봇과 같은 이동체의 자율주행의 실시간 국부경로 계획에 크게 기여할 것으로 기대한다. 또한 3D 포인트 클라우드 지도로부터 객체들을 정확하고 빠르게 검출함으로써 자율주행을 위한 벡터지도에도 기여를 할 수 있다. 자주행자동차의 벡터 지도제작 이외에도, 자율주행자동차의 국부 경로 계획 및 이동체의 자율주행 시스템 등 다양한 분야에 응용가능하다.
본 발명의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
한편, 상술한 본 발명의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 컴퓨터로 읽을 수 있는 기록매체를 이용하여 상기 프로그램을 동작시키는 범용 디지털 컴퓨터에서 구현될 수 있다.
상기 컴퓨터로 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 를 포함한다.
이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.
110 : 3D 공간 샘플링부
120 : 2D 클라우드 데이터 변환부
130 : 공간 분할부
140 : 3D 클러스터링부
150 : 제어부

Claims (10)

  1. 전자장치에 의한 3D 포인트 클라우드의 클러스터링 방법으로서,
    대용량의 3D 포인트 클라우드 데이터를 입력받고, 3차원 공간 샘플링을 수행하는 단계;
    다운 샘플링된 3D 포인트 클라우드를 관심 영역인 예측된 2차원 도로 평면도 상에 투영하여 2D 포인트 클라우드 데이터를 생성하는 단계;
    생성된 2D 포인트 클라우드를 그리드 형태의 공간으로 분할하는 단계;
    분할된 영역 마다 점 데이터의 수가 임계치 이상인 분할 영역에 객체의 경계 박스(Bounding Box)를 생성하는 단계; 및
    경계박스가 생성된 2D 포인트 클라우드를 기반으로 3D 클러스터링을 수행하는 단계;
    를 포함하는 3D 포인트 클라우드의 클러스터링 방법.
  2. 제1항에 있어서,
    상기 3차원 공간 샘플링을 수행하는 단계는,
    입력된 3차원 포인트 클라우드에 복셀 그리드 필터를 적용하여 다운 샘플링을 수행하는, 3D 포인트 클라우드의 클러스터링 방법.
  3. 제1항에 있어서,
    상기 2D 포인트 클라우드 데이터를 생성하는 단계는,
    다운 샘플링된 3D 포인트 클라우드에 RANSAC(RANdom SAmple Consensus) 알고리즘을 적용하여 2D 포인트 클라우드 데이터를 생성하는 3D 포인트 클라우드의 클러스터링 방법.
  4. 제1항에 있어서,
    상기 생성된 2D 포인트 클라우드를 그리드 형태의 공간으로 분할하는 단계는,
    생성된 2D 포인트 클라우드에 쿼드 트리(Quadtree) 분할 알고리즘을 적용하여 공간 분할하는 3D 포인트 클라우드의 클러스터링 방법.
  5. 제1항에 있어서,
    상기 3D 클러스터링을 수행하는 단계는,
    2D 포인트 클라우드에서 도로 면에 존재하는 객체 영역들을 검출하고, 검출된 객체 영역들을 Z축으로 확장하여 3D 클러스터링을 수행하는 3D 포인트 클라우드의 클러스터링 방법.
  6. 대용량의 3D 포인트 클라우드 데이터를 입력받고, 3차원 공간 샘플링을 수행하는 3D 공간 샘플링부;
    다운 샘플링된 3D 포인트 클라우드를 관심 영역인 예측된 2차원 도로 평면도 상에 투영하여 2D 포인트 클라우드를 생성하는 2D 클라우드 데이터 변환부;
    생성된 2D 포인트 클라우드를 그리드 형태의 공간으로 분할하는 공간 분할부; 및
    분할된 영역 마다 점 데이터의 수가 임계치 이상인 분할 영역에 객체의 경계 박스(Bounding Box)를 생성하는 3D 클러스터링부
    를 포함하는 클러스터링 장치.
  7. 제6항에 있어서,
    상기 3D 공간 샘플링부는 입력된 3차원 포인트 클라우드에 복셀 그리드 필터를 적용하여 다운 샘플링을 수행하는 클러스터링 장치.
  8. 제6항에 있어서,
    상기 2D 클라우드 데이터 변환부는 다운 샘플링된 3D 포인트 클라우드에 RANSAC(RANdom SAmple Consensus) 알고리즘을 적용하여 2D 포인트 클라우드 데이터를 생성하는 클러스터링 장치.
  9. 제6항에 있어서,
    상기 공간 분할부는,
    생성된 2D 포인트 클라우드에 쿼드 트리(Quadtree) 분할 알고리즘을 적용하여 공간 분할하는 클러스터링 장치.
  10. 제6항에 있어서,
    상기 3D 클러스터링부는 상기 2D 포인트 클라우드에서 도로 면에 존재하는 객체 영역들을 검출하고, 검출된 객체 영역들을 Z축으로 확장하여 3D 클러스터링을 수행하는 클러스터링 장치.

KR1020190152439A 2019-11-25 2019-11-25 3d 포인트 클라우드의 클러스터링 방법 및 이를 수행하는 장치 KR102276044B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190152439A KR102276044B1 (ko) 2019-11-25 2019-11-25 3d 포인트 클라우드의 클러스터링 방법 및 이를 수행하는 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190152439A KR102276044B1 (ko) 2019-11-25 2019-11-25 3d 포인트 클라우드의 클러스터링 방법 및 이를 수행하는 장치

Publications (2)

Publication Number Publication Date
KR20210063841A true KR20210063841A (ko) 2021-06-02
KR102276044B1 KR102276044B1 (ko) 2021-07-12

Family

ID=76373124

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190152439A KR102276044B1 (ko) 2019-11-25 2019-11-25 3d 포인트 클라우드의 클러스터링 방법 및 이를 수행하는 장치

Country Status (1)

Country Link
KR (1) KR102276044B1 (ko)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113808145A (zh) * 2021-09-30 2021-12-17 深圳市优必选科技股份有限公司 巡检移动装置的巡检路网获取方法及巡检移动装置
KR102343047B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 2d 이미지 전처리 방법
KR102343053B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 라이다 점군의 3d 바운딩 박스 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
WO2023003354A1 (ko) * 2021-07-20 2023-01-26 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR102516008B1 (ko) * 2022-09-21 2023-03-30 (주)이노시뮬레이션 포인트 클라우드 데이터를 이용한 복셀 다운 샘플링 방법 및 이를 실행하는 장치
WO2023182764A1 (ko) * 2022-03-21 2023-09-28 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법.
WO2023182762A1 (ko) * 2022-03-21 2023-09-28 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023136661A1 (en) * 2022-01-13 2023-07-20 Samsung Electronics Co., Ltd. Methods and systems for interacting with 3d ar objects from a scene

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090091617A (ko) * 2008-02-25 2009-08-28 삼성전자주식회사 이웃 포인트의 탐색이 용이한 3d 영상 처리 방법
KR20130026853A (ko) * 2011-09-06 2013-03-14 한국전자통신연구원 복셀 그리드를 이용한 포인트 클라우드의 렌더링 방법 및 장치
KR101666937B1 (ko) * 2016-05-13 2016-10-17 한국건설기술연구원 3차원 포인트 클라우드의 대용량 데이터를 처리하기 위한 장치 및 그 방법
KR20180041176A (ko) * 2015-09-09 2018-04-23 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 고정밀 지도 데이터 처리 방법, 장치, 저장 매체 및 기기
KR20190070514A (ko) * 2017-12-13 2019-06-21 연세대학교 산학협력단 격자지도 생성 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090091617A (ko) * 2008-02-25 2009-08-28 삼성전자주식회사 이웃 포인트의 탐색이 용이한 3d 영상 처리 방법
KR20130026853A (ko) * 2011-09-06 2013-03-14 한국전자통신연구원 복셀 그리드를 이용한 포인트 클라우드의 렌더링 방법 및 장치
KR20180041176A (ko) * 2015-09-09 2018-04-23 바이두 온라인 네트웍 테크놀러지 (베이징) 캄파니 리미티드 고정밀 지도 데이터 처리 방법, 장치, 저장 매체 및 기기
KR101666937B1 (ko) * 2016-05-13 2016-10-17 한국건설기술연구원 3차원 포인트 클라우드의 대용량 데이터를 처리하기 위한 장치 및 그 방법
KR20190070514A (ko) * 2017-12-13 2019-06-21 연세대학교 산학협력단 격자지도 생성 장치 및 방법

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102343047B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 2d 이미지 전처리 방법
KR102343053B1 (ko) * 2021-06-17 2021-12-24 주식회사 인피닉 라이다 점군의 3d 바운딩 박스 생성 방법 및 이를 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
WO2023003354A1 (ko) * 2021-07-20 2023-01-26 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
CN113808145A (zh) * 2021-09-30 2021-12-17 深圳市优必选科技股份有限公司 巡检移动装置的巡检路网获取方法及巡检移动装置
CN113808145B (zh) * 2021-09-30 2023-09-26 深圳市优必选科技股份有限公司 巡检移动装置的巡检路网获取方法及巡检移动装置
WO2023182764A1 (ko) * 2022-03-21 2023-09-28 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법.
WO2023182762A1 (ko) * 2022-03-21 2023-09-28 엘지전자 주식회사 포인트 클라우드 데이터 송신 장치, 포인트 클라우드 데이터 송신 방법, 포인트 클라우드 데이터 수신 장치 및 포인트 클라우드 데이터 수신 방법
KR102516008B1 (ko) * 2022-09-21 2023-03-30 (주)이노시뮬레이션 포인트 클라우드 데이터를 이용한 복셀 다운 샘플링 방법 및 이를 실행하는 장치

Also Published As

Publication number Publication date
KR102276044B1 (ko) 2021-07-12

Similar Documents

Publication Publication Date Title
KR102276044B1 (ko) 3d 포인트 클라우드의 클러스터링 방법 및 이를 수행하는 장치
JP6561199B2 (ja) レーザ点群に基づく都市道路の認識方法、装置、記憶媒体及び機器
CN108470174B (zh) 障碍物分割方法及装置、计算机设备及可读介质
KR101392804B1 (ko) 지상 라이다에서 취득된 포인트 클라우드 기반의 실내공간 3차원 모델 추출 방법 및 이를 구현하기 위한 프로그램이 기록된 기록매체
CN109190573B (zh) 应用于无人驾驶车辆的地面检测方法、电子设备、车辆
US20140270476A1 (en) Method for 3d object identification and pose detection using phase congruency and fractal analysis
KR101495333B1 (ko) 장애물 검출 장치 및 방법
KR101822185B1 (ko) 3d 포인트 클라우드 poi 검출 방법 및 장치
CN105701798A (zh) 柱状物体的点云提取方法及装置
CN112904369B (zh) 机器人重定位方法、装置、机器人和计算机可读存储介质
Zhao et al. Optimization algorithm for point cloud quality enhancement based on statistical filtering
CN113012063A (zh) 一种动态点云修复方法、装置及计算机设备
CN115131225A (zh) 隧道限界确定方法、装置电子设备及存储介质
CN117237913A (zh) 一种多激光雷达障碍物识别方法
CN113077473A (zh) 三维激光点云路面分割方法、系统、计算机设备及介质
WO2022150013A1 (en) Method, data processing apparatus and computer program product for generating map data
Shui et al. Automatic planar shape segmentation from indoor point clouds
Fu et al. Feature line extraction from point clouds based on geometric structure of point space
Kovacs et al. Edge detection in discretized range images
Zhu et al. Intelligent Point Cloud Edge Detection Method Based on Projection Transformation
Li et al. Real-Time Stair Detection Using Multi-stage Ground Estimation Based on KMeans and RANSAC
Chu et al. Convergent application for trace elimination of dynamic objects from accumulated lidar point clouds
CN111681318B (zh) 一种基于点云数据建模的方法、装置和电子设备
Gkeli et al. Automatic 3D reconstruction of buildings roof tops in densely urbanized areas
US11294384B2 (en) Vehicle navigation using point cloud decimation

Legal Events

Date Code Title Description
AMND Amendment
E601 Decision to refuse application
AMND Amendment
X701 Decision to grant (after re-examination)
GRNT Written decision to grant