KR20230111037A - 라이다 기반 객체 감지 방법 및 장치 - Google Patents

라이다 기반 객체 감지 방법 및 장치 Download PDF

Info

Publication number
KR20230111037A
KR20230111037A KR1020220006746A KR20220006746A KR20230111037A KR 20230111037 A KR20230111037 A KR 20230111037A KR 1020220006746 A KR1020220006746 A KR 1020220006746A KR 20220006746 A KR20220006746 A KR 20220006746A KR 20230111037 A KR20230111037 A KR 20230111037A
Authority
KR
South Korea
Prior art keywords
points
lidar
object detection
point
cluster
Prior art date
Application number
KR1020220006746A
Other languages
English (en)
Inventor
정무관
김남균
Original Assignee
현대자동차주식회사
기아 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사, 기아 주식회사 filed Critical 현대자동차주식회사
Priority to KR1020220006746A priority Critical patent/KR20230111037A/ko
Priority to US17/899,040 priority patent/US20230228879A1/en
Priority to CN202211197058.0A priority patent/CN116482710A/zh
Publication of KR20230111037A publication Critical patent/KR20230111037A/ko

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/56—Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/58—Recognition of moving objects or obstacles, e.g. vehicles or pedestrians; Recognition of traffic objects, e.g. traffic signs, traffic lights or roads
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/4802—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00 using analysis of echo signal for target characterisation; Target signature; Target cross-section
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481—Constructional features, e.g. arrangements of optical elements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/26—Segmentation of patterns in the image field; Cutting or merging of image elements to establish the pattern region, e.g. clustering-based techniques; Detection of occlusion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/762—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using clustering, e.g. of similar faces in social networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/77—Processing image or video features in feature spaces; using data integration or data reduction, e.g. principal component analysis [PCA] or independent component analysis [ICA] or self-organising maps [SOM]; Blind source separation
    • G06V10/771—Feature selection, e.g. selecting representative features from a multi-dimensional feature space
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10028—Range image; Depth image; 3D point clouds

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Computing Systems (AREA)
  • Databases & Information Systems (AREA)
  • Evolutionary Computation (AREA)
  • General Health & Medical Sciences (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 하나의 실시예에 의한 라이다 기반 객체 감지 방법은, 라이다로부터 획득한 포인트 클라우드를 군집화하는 단계; 군집화 단계에서 생성된 군집 중 분할 대상 군집을 선정하는 단계; 상기 분할 대상 군집에 속한 포인트들 중 인접 포인트들과 이루는 형상적 특징에 따라 분할 포인트들을 선정하고, 상기 분할 포인트들의 적어도 일부에 의해 결정된 대표 포인트를 기준으로 상기 분할 대상 군집을 분할하는 단계를 포함한다.

Description

라이다 기반 객체 감지 방법 및 장치{Lidar-based Object Detecting Method and Apparatus}
본 발명은 라이다를 기반으로 하여 객체를 감지하는 방법 및 장치에 관한 것이다.
최근 자율주행 기술에 대한 관심이 높아지면서, 자율주행에 있어 필수적인 객체 감지 장치 중 하나인 라이다(LIDAR: Light Detection And Ranging) 기반 객체 감지 장치에 대한 개발이 활발하다.
라이다 기반 객체 감지 장치는, 일반적으로 를 주변으로 송출하여 객체로부터 반사되어 온 레이저를 포인트 클라우드 데이터로 획득하고, 그렇게 획득된 라이다 데이터를 이용해 객체를 감지한다.
객체 감지를 위해, 포인트 클라우드는 먼저 전처리 된 후 미리 정한 규칙에 따라 군집화되며, 그렇게 얻어진 군집 데이터들로부터 형상을 추출한다.
여기서, 군집화 방식의 하나로서 그리드 기반 군집화는 전처리를 거친 포인트 클라우드 데이터에 대해 그리드 맵을 생성하고, 인접한 그리드의 특징을 비교하여 유사한 특징을 가지는 그리드를 하나의 군집으로 묶어 군집화하고 있다.
이러한 그리드 기반 방식은 그리드 내 존재하는 여러 포인트를 활용하여 그리드의 특징을 생성하고, 이 특징을 비교하여 두 그리드가 같은 군집인지 아닌지 파악하는 방식으로서, 그리드 단위로 신호 처리가 되어 출력을 생성하므로, 포인트 레벨에서의 신호 처리 방식에 비하여 실시간성에 있어 유리한 장점이 있다.
그러나, 그리드의 특징을 생성하는데 활용하지 않는 포인트 또는 그 특징 정보가 있을 수 있으며, 그로 인한 포인트 단위에서의 정보 소실의 발생 및 오군집이 발생할 가능성이 있다.
즉, 실제로는 두 개의 구분된 객체이지만, 그리드 해상도의 문제로 각각의 객체에서 검출된 포인트가 충분히 가까운 것으로 처리되어 두 객체가 하나의 군집으로 묶이는 문제가 발생할 수 있다.
예시적으로, 도 1에 보이는 바와 같이, 차량이 가드레일과 같은 도로 경계의 정지 객체에 가까이 위치한 경우, 제1 그리드는 정지 객체 포인트에 대한 것이고, 제2 그리드는 차량 포인트에 대한 것임에도, 두 그리드를 동일 군집으로 묶어 오군집을 발생시킬 수 있다.
본 발명은 라이다 포인트 데이터들에 대한 개선된 군집화를 통하여 객체 감지 능력을 향상시키는 것을 목적으로 한다.
또한, 본 발명의 적어도 하나의 실시예는 컴퓨터 계산 비용을 크게 증가시키지 않고 그러한 개선된 군집화를 수행하는 것을 목적으로 한다.
본 발명의 하나의 실시예에 의한 라이다 기반 객체 감지 방법은, 라이다로부터 획득한 포인트 클라우드를 군집화하는 단계; 군집화 단계에서 생성된 군집 중 분할 대상 군집을 선정하는 단계; 상기 분할 대상 군집에 속한 포인트들 중 인접 포인트들과 이루는 형상적 특징에 따라 분할 포인트들을 선정하고, 상기 분할 포인트들의 적어도 일부에 의해 결정된 대표 포인트를 기준으로 상기 분할 대상 군집을 분할하는 단계를 포함한다.
본 발명의 적어도 하나의 실시예에서, 상기 분할 단계는: 상기 분할 대상 군집에 속한 포인트들 중 상기 형상적 특징에 따라 분할 포인트들을 선정하는 단계; 상기 분할 포인트들을 군집화 하는 단계; 상기 분할 포인트 군집들 중 최종 분할 포인트 군집을 선정하고, 상기 최종 분할 포인트 군집의 대표 포인트를 이용해 상기 분할 대상 군집을 분할하는 단계를 포함한다.
또한, 본 발명의 적어도 하나의 실시예에서, 상기 분할은 상기 대표 포인트를 지나는 직선을 기준으로 이루어진다.
본 발명의 적어도 하나의 실시예에서, 상기 직선은 상기 대표 포인트와 원점을 연결하여 얻어진다.
본 발명의 적어도 하나의 실시예에서, 상기 분할은 상기 분할 대상 군집의 전체 포인트 개수에 대한 적어도 하나의 분할 군집의 포인트 개수의 비가 기준치 이하인 경우에 이루어진다.
본 발명의 적어도 하나의 실시예에서, 상기 최종 분할 포인트 군집은, 원점을 지나는 기준선에 대해 그 대표 포인트가 이루는 각도가 최대 및 최소인 두 분할 포인트 군집 중 하나로 선정된다.
본 발명의 적어도 하나의 실시예에서, 상기 최종 분할 포인트 군집은, 분할 후 생성될 분할 군집들의 포인트들 개수 차이를 기준으로 선정된다.
본 발명의 적어도 하나의 실시예에서, 상기 분할 포인트 군집화는, 상기 분할 포인트들을 2D 그리드 맵으로 맵핑한 후, 상기 분할 포인트가 포함된 그리드들의 인접도를 기준으로 이루어진다.
본 발명의 적어도 하나의 실시예에서, 상기 분할 포인트가 포함된 그리드들 중 서로 직접 연결되어 위치한 그리드들을 동일한 분할 포인트 군집으로 결정한다.
본 발명의 적어도 하나의 실시예에서, 상기 대표 포인트는, 상기 적어도 일부의 분할 포인트들의 평균 좌표값에 의해 결정된다.
본 발명의 적어도 하나의 실시예에서, 상기 분할 대상 군집은 상기 분할 포인트들의 개수에 따라 선정된다.
본 발명의 적어도 하나의 실시예에서, 상기 형상적 특징은 상기 인접한 포인트들과 함께 이루는 각도(θ)를 포함한다.
본 발명의 적어도 하나의 실시예에서, 상기 분할 포인트는 상기 각도(θ)가 예각인지에 따라 선정된다.
본 발명의 적어도 하나의 실시예에서, 상기 예각인지 여부는 "1-cosθ"를 이용해 결정된다.
본 발명의 적어도 하나의 실시예에서, 상기 인접한 포인트들은 상기 분할 포인트와 동일 레이어 상의 포인트들이다.
한편, 본 발명의 실시예에 의한 라이다 기반 객체 감지 장치는, 마이크로 프로세서, 메모리, 입출력 장치를 포함하는 라이다 기반 객체 감지 장치에 있어서, 상기 마이크로 프로세서는 전술한 감지 방법을 실행한다.
본 발명에 의하면 라이다 포인트 데이터들에 대한 개선된 군집화 결과를 내어 향상된 객체 감지 능력을 얻을 수 있다.
또한, 본 발명의 적어도 하나의 실시예에 의하면 컴퓨터 계산 비용을 크게 증가시키지 않고 그러한 개선된 군집화를 수행할 수 있다.
도 1은 그리드 기반 군집화에 대한 예시이다.
도 2는 본 발명의 하나의 실시예에 의한 객체 감지 방법에 있어 군집화에 대한 플로우 차트이다.
도 3은 분할 대상 군집에 대한 예시이다.
도 4는 분할 포인트와 인접 포인트들이 이루는 각도를 예시한다.
도 5는 한 군집에서 확인된 분할 포인트를 예시하는 개념도이다.
도 6은 분할 포인트를 군집화 하는 과정 및 그 군집의 대표 포인트를 예시한다.
도 7은 분할 대상 군집을 분할하는 과정을 나타낸 플로우 차트이다.
도 8은 분할 대상 군집을 분할하는 과정을 개념적으로 도시한 도면이다.
도 9는 본 발명의 실시예에 의한 라이다 기반 객체 감지 장치 및 그를 포함한 운전 제어 시스템의 구성도이다.
본 명세서에 개시된 실시 예를 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 명세서에 개시된 실시 예의 요지를 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 첨부된 도면은 본 명세서에 개시된 실시 예를 쉽게 이해할 수 있도록 하기 위한 것일 뿐, 첨부된 도면에 의해 본 명세서에 개시된 기술적 사상이 제한되지 않으며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제1, 제2 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다.
본 명세서에서, "포함한다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
또한, 유닛(Unit) 또는 제어 유닛(Control Unit)은 차량 특정 기능을 제어하는 제어 장치(Controller)의 명명에 널리 사용되는 용어일 뿐, 보편적 기능 유닛(Generic function unit)을 의미하는 것은 아니다. 예컨대, 각 유닛(Unit) 또는 제어 유닛(Control Unit)은 담당하는 기능의 제어를 위해 다른 제어기나 센서와 통신하는 통신 장치, 운영체제나 로직 명령어와 입출력 정보 등을 저장하는 메모리 및 담당 기능 제어에 필요한 판단, 연산, 결정 등을 수행하는 하나 이상의 프로세서를 포함할 수 있다.
이하 첨부된 도면을 참조하여 본 발명의 실시예에 대해 상세히 설명한다.
먼저, 도 2는 본 발명의 하나의 실시예에 의한 객체 감지 방법의 군집화에 대한 플로우 차트이며, 도 3은 분할 대상 군집에 대한 예시이를 나타낸다. 그리고, 도 4는 분할 포인트와 인접 포인트들이 이루는 각도를 예시하며, 도 5는 한 군집에서 확인된 분할 포인트를 예시하는 개념도이다. 또한, 도 6은 분할 포인트를 군집화 하는 과정 및 그 군집의 대표 포인트를 예시이며, 도 7은 분할 대상 군집을 분할하는 과정을 나타낸 플로우 차트이다. 그리고, 도 8은 분할 대상 군집을 분할하는 과정을 개념적으로 도시한 도면이다.
본 실시예의 객체 감지 방법은, 라이다로부터 획득한 포인트 클라우드를 군집화하는 단계(S100)와, 그렇게 생성된 군집들 중 분할 대상 후보를 선정하는 단계(S200)와, 분할 대상 군집을 분할하는 단계(S300)를 포함한다.
또한, 분할 대상 군집을 분할하는 단계(S300)는 분할 대상에 속한 라이다 포인트들 중 분할 포인트(break point)를 선정하는 단계분할 대상 군집을 분할하는 단계(S310)와, 분할 포인트들을 군집화하는 단계분할 대상 군집을 분할하는 단계(S320)와, 분할 포인트 군집을 이용해 분할 대상 군집을 분할하는 단계분할 대상 군집을 분할하는 단계(S330)를 포함한다.
라이다로부터 획득한 포인트 클라우드는 먼저, 전처리(preprocessing)를 통해, 신호의 세기 또는 반사율이 낮은 포인트와 자차의 차체에 의해 반사된 포인트 등이 제거되어 유효 데이터만으로 추출되며, 라이다 포인트를 차량의 기준 좌표계로 맞추는 캘리브레이션이 수행된다.
여기서, 본 실시예는 라이다로부터 획득한 포인트 클라우드가 복수의 레이어로 획득된 3D 데이터인 경우에 대한 것이지만, 본 발명은 반드시 이에 한정되는 것은 아니다.
포인트 클라우드에 대한 전처리가 끝나면, 포인트 클라우드를 그리드 기반에서 군집화 하는 군집화 단계분할 대상 군집을 분할하는 단계(S100)가 수행된다.
군집화를 위해, 전처리된 포인트 클라우드를 그리드에 맵핑하고, 각 그리드에 포함된 포인트를 활용하여 그리드의 특징을 생성하며, 그리드 간 특징의 유사 정도를 비교하여 같은 군집으로 처리할 지 여부를 판단한다.
다음으로, 군집화 단계를 통해 생성된 군집들 중에 분할 대상 군집을 선정한다(S200).
오군집은 주로 동적 객체(예, 차량)와 가벽(temporary wall) 또는 가드레일이 하나의 군집으로 묶여 발생하지만, 이 외에도, 차량과 차량 사이에 오토바이가 있는 경우 이들이 하나의 군집으로 묶이거나 또는 차량과 사람이 하나의 군집으로 묶여 발생할 수도 있다.
분할 대상 군집은 그와 같은 오군집들이 대상이 되도록 선정되는 것이 바람직하다.
본 실시예에서 분할 대상 군집은 후술하는 분할 포인트를 이용하여 선정된다.
예시적으로, 분할 포인트 개수가 기준값 이상인 군집들이 분할 대상 군집으로 선정될 수 있다.
예시적으로, 도 3은 가벽과 차량이 하나의 군집으로 묶인 오군집(C)의 예이며, 해당 군집(C)이 분할 포인트 기준에 의해 분할 대상 군집(C)으로 선정된 경우를 나타낸다. 참고로, 도 3(a)는 객체 감지 대상의 실제 사진 모습이고, 도 3(b)는 라이다로 획득한 포인트 클라우드이며, 도 3(c)는 포인트 클라우드에 대해 군집화가 실행된 모습을 예시하고 있다.
본 실시예에서 분할 포인트는 인접한 포인트들이 이루는 형상적 특징을 기준으로 선정된다(S310).
예시적으로, 도 4에 보이는 바와 같이 인덱스 기준으로 전후의 2개 포인트(Pn-1, Pn+1)이루는 각도(θ)가 예각일 경우 해당 포인트(Pn)는 분할 포인트로 선정된다.
상기와 같은 각도 검출은 동일 레이어 상의 포인트들을 대상으로 이루어지며, 연속한 3 개 인덱스 중 유효 포인트가 존재하지 않으면 해당 인덱스 직후 인덱스의 포인트가 이용된다. 예시적으로 도 4에서 인덱스 'Pn+1'에 유효 포인트가 존재하지 않는다면, 도시되지는 않았지만 그 이후 인덱스인 'Pn+2'의 포인트가 이용된다.
또한, 도 4의 각도(θ)가 예각인지 여부를 판단함에 있어서는, 아래와 같은 수학식이 이용될 수 있다.
Figure pat00001
여기서, cosθ는 아래 식과 같다.
위 수학식 1은 θ가 0보다 크고 π보다 작은 범위에서, 최소값으로 0, 최대값으로 2를 가지며 비선형으로 증가하는 경향을 갖는다. 즉, 각도(θ)가 커짐에 따라 수학식 1의 값도 증가하는 경향을 가진다.
따라서, 수학식 1을 통해 3 포인트가 이루는 삼각형에서 가운데 포인트에 해당하는 각도를 수치화 하여 사용할 수 있다.
수학식 1은 컴퓨터 계산 비용이 높은 삼각함수 연산 없이 각도에 대한 예각 조건의 확인이 가능한 점에서 활용도가 매우 높다.
한편, 위와 같은 예각 기준 대신에, 센서 구성과 장착위치에 따라 실제 주행환경에서의 데이터를 바탕으로 최적의 기준값을 정할 수 있으며, 그 기준값 이상 되는 포인트를 분할 포인트로 선정할 수도 있다.
도 5는 위와 같은 예각 기준을 적용하여 분할 포인트를 선정한 예시이다.
먼저, 도 5의 포인트 클라우드 군집은 도 3에서 예시된 분할 대상 군집을 간략히 모사한 것으로서, 인덱스 'Pk+1'부터 'Pk+7'의 포인트들이 차량에 대한 데이터이고, 인덱스 'Pk-7'부터 'Pk'의 포인트들이 가벽에 대한 데이터이다.
도 5의 포인트들에 대하여 상기와 같은 예각 기준을 적용하면 'Pk-1'부터 'Pk'까지 3 포인트가 분할 포인트로 선정된다. 도 3에서 분할 포인트는 3 개로 예시하고 있지만, 이는 단지 예시일 뿐이며, 레이어 마다 분할 포인트들이 존재할 수 있고, 동일 레이어에서도 3 개 이상의 분할 포인트가 존재할 수도 있다.
분할 대상 군집에 대한 분할 포인트가 모두 선정되면, 다음으로, 분할 포인트들을 군집화하는 단계(S320)가 수행된다.
도 6을 참조하면, 먼저, 도 6(b)와 같이 분할 포인트들은 2D 그리드 맵에 맵핑한다. 여기서, 그리드는 예시적으로 정사각형이며, 분할 포인트가 밀집한 데이터를 확인하여 같은 객체에서 검출된 분할 포인트가 한 군집으로 처리될 수 있도록 그 크기가 결정되는 것이 바람직하다.
분할 포인트 군집화를 위해, 도 6(c)에 보이는 바와 같이 특정 그리드를 기준으로 그에 인접한 그리드가 있으면, 같은 군집으로 라벨링한다.
그리고, 그렇게 결정된 분할 포인트 군집에 대해서는 도 6(d)에 보이는 바와 같이 그에 속하는 분할 포인트들의 평균값을 이용하여 대표 포인트를 결정한다.
본 실시예에서, 대표 포인트는 해당 분할 포인드들의 평균값을 가지는 포인트로 새로 생성되지만, 대표 포인트는 해당 분할 포인트 군집을 대표하기 위해 이용될 뿐 객체 검출 포인트로 활용되지는 않는다.
또한, 대표 포인트 결정은 위 경우에 한정되는 것은 아니며, 예시적으로, 본 실시예와는 달리 그 평균값과 가장 가까운 분할 포인트로 결정될 수도 있다.
하나의 분할 대상 군집(C)에 대하여 분할 포인트 군집은 복수개일 수 있으며, 이 중 최적의 분할 포인트 군집을 선정할 필요가 있다.
도 7은 분할 대상 군집의 분할에 이용될 최종 분할 포인트 군집이 선정되는 과정을 나타내며, 이하 이를 참조하여 상세히 설명한다.
먼저, 각 분할 포인트 군집들에 대하여 분할 포인트 개수가 제1 기준값 이상이지 여부를 판단한다(S331, S332).
분할 포인트 개수가 제1 기준값 이상인지 여부를 판단하는 것은 해당 분할 포인트 군집의 유효성을 판단하기 위함이며, 유효하지 않은 군집은 분할 포인트 군집에서 제외된다.
여기서, 상기 유효성 판단의 기준인 제1 기준값은 실제 주행 상의 데이터를 통하여 실험적으로 얻을 수 있으며, 많은 실험을 통해 최적의 값이 결정됨이 바람직하다.
유효한 군집들만이 남은 상태에서 이 중 최종 군집이 선정되는데, 계산량을 최소화하기 위해, 군집의 특징각(θf)을 이용하여 후보가 먼저 선정되고 후보 군집들 중 후술하는 조건을 만족하는 것으로 최종 선정된다(S333).
본 실시예에서는 유효 군집들 중 특징각(θf)이 최대인 군집과 최소인 군집이 후보로 선정되며(S3331), 후보로 선정된 2 개 군집 중에 특징각(θf)의 직선으로 분할 대상 군집을 분할할 경우 분할해서 나온 그 두 분할 군집 사이에 포인트 개수의 차이가 더 작은 쪽이 최종 군집으로 선정된다(S3332).
여기서, 특징각(θf)은 도 8에 보이는 바와 같이, 분할 포인트 군집의 대표 포인트와 원점(P0)을 연결한 직선(L)의 각도이다. 또한, 여기서, 원점(P0)은 라이다 위치에 상응하는 좌표로 결정될 수 있다.
본 실시예에서는, 특징각(θf) 기준으로 최대, 최소값의 2 개 군집을 최종 후보로 선정함으로써 계산량을 상당히 줄일 수 있다. 이미 분할 포인트 개수가 제1 기준값 이상인 것들을 대상으로 하고 있으므로 2 개의 후보만으로도 유효한 분할 포인트 군집을 얻을 수 있으며, 이는 실제 데이터를 통해서도 확인되었다.
최종 분할 포인트 군집이 선정되면 그 특징각(θf) 직선(L)으로 분할했을 때, 분할해 나온 분할 군집(DC1, DC2) 중 포인트가 더 많은 군집의 포인트 개수가 전체 포인트 개수에서 차지하는 비율이 제2 기준값보다 작은지 판단한다(S334).
여기서, 해당 비율이 제2 기준값 이상으로 판단되면, 해당 군집은 유효하지 않은 분할 포인트 군집인 것으로 결정하고 추가적인 계산 비용을 방지하기 위해 분할 프로세스를 그대로 종료한다.
상기 비율이 제2 기준값보다 작은 것으로 판단된 경우에는 그 특징각(θf) 직선(L)으로 최종 분할을 수행해 분할 대상 군집(C)으로부터 최종 2 개의 군집(C1, C2)을 얻는다. 분할 후에는 기존 군집(C)를 삭제하고 최종 2 개 군집(C1, C2)을 새로운 군집으로 등록한다.
여기서, 제2 기준값 또한 실제 주행 상의 데이터를 통하여 실험적으로 얻을 수 있으며, 많은 실험을 통해 최적의 값이 결정됨이 바람직하다.
한편, 본 발명의 하나의 실시예에 의한 라이다 기반 객체 감지 장치(20)는 전술한 실시예의 방법을 실행하도록 만들어진 장치로서, 도 9에 도시되는 바와 같이 주행 전략 유닛(30), 차량 제어 유닛(40) 등과 함께 운전 제어 시스템을 구성한다.
이러한 객체 감지 장치(20)는 도 9에 보이는 바와 같이, 라이다(10)로부터 포인트 클라우드 데이터를 수신하여 객체 감지를 실행한 후 그 결과를 주행 전략 유닛(30)으로 출력한다.
객체 감지 장치(20)는 도시되는 바와 같이 마이크로 프로세서와 메모리와 입출력 장치를 포함할 수 있다.
여기서, 입출력 장치는 라이다(10)로부터 데이터를 수신하며 감지 결과를 주행 전략부로 출력하는 장치이다.
또한, 마이크로 프로세서는 포인트 클라우드에 대하여 필요한 데이터 프로세싱을 수행해 객체를 감지하는 곳으로서, 전술한 실시예의 방법이 프로그램으로 탑재된다.
메모리에는 마이크로 프로세서에서 실행되는 감지 프로그램과 기준값 등 관련 데이터 등이 저장된다.
또한, 주행 전략 유닛(30)은 객체 감지 장치(20)를 통하여 감지된 결과에 따라 차량의 주행에 대한 전략을 세우며, 그 결과를 차량 제어 유닛(40)으로 출력한다.
차량 제어 유닛(40)은 그 결과에 따라, 조향장치 및/또는 제동장치에 대한 제어신호를 각 해당 장치로 전송하여 주행 전략 유닛(30)에서 세워진 주행 전략이 실행되도록 한다.
10 : 라이다
20 : 라이다 기반 객체 감지 장치
30 : 주행 전략 유닛
40 : 차량 제어 유닛

Claims (16)

  1. 라이다로부터 획득한 포인트 클라우드를 군집화하는 단계;
    군집화 단계에서 생성된 군집 중 분할 대상 군집을 선정하는 단계;
    상기 분할 대상 군집에 속한 포인트들 중 인접 포인트들과 이루는 형상적 특징에 따라 분할 포인트들을 선정하고, 상기 분할 포인트들의 적어도 일부에 의해 결정된 대표 포인트를 기준으로 상기 분할 대상 군집을 분할하는 단계
    를 포함하는,
    라이다 기반 객체 감지 방법.
  2. 제1항에 있어서,
    상기 분할 단계는:
    상기 분할 대상 군집에 속한 포인트들 중 상기 형상적 특징에 따라 분할 포인트들을 선정하는 단계;
    상기 분할 포인트들을 군집화 하는 단계;
    상기 분할 포인트 군집들 중 최종 분할 포인트 군집을 선정하고, 상기 최종 분할 포인트 군집의 대표 포인트를 이용해 상기 분할 대상 군집을 분할하는 단계
    를 포함하는,
    라이다 기반 객체 감지 방법.
  3. 제2항에 있어서,
    상기 분할은 상기 대표 포인트를 지나는 직선을 기준으로 이루어지는,
    라이다 기반 객체 감지 방법.
  4. 제3항에 있어서,
    상기 직선은 상기 대표 포인트와 원점을 연결하여 얻어지는,
    라이다 기반 객체 감지 방법.
  5. 제2항에 있어서,
    상기 분할은 상기 분할 대상 군집의 전체 포인트 개수에 대한 적어도 하나의 분할 군집의 포인트 개수의 비가 기준치 이하인 경우에 이루어지는,
    라이다 기반 객체 감지 방법.
  6. 제2항에 있어서,
    상기 최종 분할 포인트 군집은, 원점을 지나는 기준선에 대해 그 대표 포인트가 이루는 각도가 최대 및 최소인 두 분할 포인트 군집 중 하나로 선정되는,
    라이다 기반 객체 감지 방법.
  7. 제6항에 있어서,
    상기 최종 분할 포인트 군집은, 분할 후 생성될 분할 군집들의 포인트들 개수 차이를 기준으로 선정되는,
    라이다 기반 객체 감지 방법.
  8. 제2항에 있어서,
    상기 분할 포인트 군집화는, 상기 분할 포인트들을 2D 그리드 맵으로 맵핑한 후, 상기 분할 포인트가 포함된 그리드들의 인접도를 기준으로 이루어지는,
    라이다 기반 객체 감지 방법.
  9. 제8항에 있어서,
    상기 분할 포인트가 포함된 그리드들 중 서로 직접 연결되어 위치한 그리드들을 동일한 분할 포인트 군집으로 결정하는,
    라이다 기반 객체 감지 방법.
  10. 제1항에 있어서,
    상기 대표 포인트는, 상기 적어도 일부의 분할 포인트들의 평균 좌표값에 의해 결정되는,
    라이다 기반 객체 감지 방법.
  11. 제1항에 있어서,
    상기 분할 대상 군집은 상기 분할 포인트들의 개수에 따라 선정되는,
    라이다 기반 객체 감지 방법.
  12. 제1항에 있어서,
    상기 형상적 특징은 상기 인접한 포인트들과 함께 이루는 각도(θ)를 포함하는,
    라이다 기반 객체 감지 방법.
  13. 제12항에 있어서,
    상기 분할 포인트는 상기 각도(θ)가 예각인지에 따라 선정되는,
    라이다 기반 객체 감지 방법.
  14. 제13항에 있어서,
    상기 예각인지 여부는 "1-cosθ"를 이용해 결정되는,
    라이다 기반 객체 감지 방법.
  15. 제12항에 있어서,
    상기 인접한 포인트들은 상기 분할 포인트와 동일 레이어 상의 포인트들인,
    라이다 기반 객체 감지 방법.
  16. 마이크로 프로세서, 메모리, 입출력 장치를 포함하는 라이다 기반 객체 감지 장치에 있어서,
    상기 마이크로 프로세서는 제1항 내지 제15항의 방법을 실행하는,
    라이다 기반 객체 감지 장치.
KR1020220006746A 2022-01-17 2022-01-17 라이다 기반 객체 감지 방법 및 장치 KR20230111037A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020220006746A KR20230111037A (ko) 2022-01-17 2022-01-17 라이다 기반 객체 감지 방법 및 장치
US17/899,040 US20230228879A1 (en) 2022-01-17 2022-08-30 Lidar-based object detection method and apparatus
CN202211197058.0A CN116482710A (zh) 2022-01-17 2022-09-28 基于激光雷达的物体检测方法和装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020220006746A KR20230111037A (ko) 2022-01-17 2022-01-17 라이다 기반 객체 감지 방법 및 장치

Publications (1)

Publication Number Publication Date
KR20230111037A true KR20230111037A (ko) 2023-07-25

Family

ID=87161650

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020220006746A KR20230111037A (ko) 2022-01-17 2022-01-17 라이다 기반 객체 감지 방법 및 장치

Country Status (3)

Country Link
US (1) US20230228879A1 (ko)
KR (1) KR20230111037A (ko)
CN (1) CN116482710A (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117292140B (zh) * 2023-10-17 2024-04-02 小米汽车科技有限公司 点云数据的处理方法、装置、车辆及存储介质
CN117274651B (zh) * 2023-11-17 2024-02-09 北京亮道智能汽车技术有限公司 基于点云的物体检测方法、装置及计算机可读存储介质

Also Published As

Publication number Publication date
CN116482710A (zh) 2023-07-25
US20230228879A1 (en) 2023-07-20

Similar Documents

Publication Publication Date Title
CN108629231B (zh) 障碍物检测方法、装置、设备及存储介质
KR102061522B1 (ko) 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법
KR20230111037A (ko) 라이다 기반 객체 감지 방법 및 장치
CN107766405B (zh) 自动车辆道路模型定义系统
US20190012548A1 (en) Unified deep convolutional neural net for free-space estimation, object detection and object pose estimation
JP6721784B2 (ja) 情報処理装置、サーバ装置、制御方法、プログラム及び記憶媒体
JP2018092483A (ja) 物体認識装置
CN112880694B (zh) 确定车辆的位置的方法
KR20200094384A (ko) 포인트 클라우드의 군집화 장치 및 그 방법
KR102146175B1 (ko) 센서, 제어 장치, 운전자 보조 시스템, 및 자동차를 사용하는 간접 측정에 의해 자동차 주위에서 하나 이상의 물체의 검출을 향상시키는 방법
US11010927B2 (en) Method and system for generating dynamic map information capable of providing environment information
CN113267761B (zh) 激光雷达目标检测识别方法、系统及计算机可读存储介质
KR102401382B1 (ko) 라이다를 이용한 노면 검출 시스템 및 그를 이용한 노면의 검출 방법
CN114663526A (zh) 障碍物检测方法、装置、机器人及计算机可读存储介质
US20230111364A1 (en) Method for detecting crosswalk using lidar sensor and crosswalk detection device for performing the method
US20210089791A1 (en) Vehicle lane mapping
US11861914B2 (en) Object recognition method and object recognition device
EP3770637B1 (en) Object recognizing device
CN113077473A (zh) 三维激光点云路面分割方法、系统、计算机设备及介质
CN115128637A (zh) 用于激光雷达传感器的作用距离确定的方法
KR20200128865A (ko) Cnn 기반의 객체 검출 장치 및 그 방법
US20220179080A1 (en) Apparatus and method for tracking an object using a lidar sensor
CN116964472A (zh) 用于借助于雷达传感器系统的反射信号来探测环境的至少一个对象的方法
JP7064400B2 (ja) 物体検知装置
KR102275671B1 (ko) 객체 형태 검출 장치 및 방법