KR20200087296A - 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템 - Google Patents

라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템 Download PDF

Info

Publication number
KR20200087296A
KR20200087296A KR1020180170687A KR20180170687A KR20200087296A KR 20200087296 A KR20200087296 A KR 20200087296A KR 1020180170687 A KR1020180170687 A KR 1020180170687A KR 20180170687 A KR20180170687 A KR 20180170687A KR 20200087296 A KR20200087296 A KR 20200087296A
Authority
KR
South Korea
Prior art keywords
data
obstacle
lidar sensor
point cloud
obstacle detection
Prior art date
Application number
KR1020180170687A
Other languages
English (en)
Inventor
김수연
김현수
Original Assignee
(주)엠아이테크
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)엠아이테크 filed Critical (주)엠아이테크
Priority to KR1020180170687A priority Critical patent/KR20200087296A/ko
Publication of KR20200087296A publication Critical patent/KR20200087296A/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491—Details of non-pulse systems
    • G01S7/4912—Receivers
    • G01S7/4913—Circuits for detection, sampling, integration or read-out
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/90—Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0212—Control of position or course in two dimensions specially adapted to land vehicles with means for defining a desired trajectory
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/02—Control of position or course in two dimensions
    • G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
    • G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
    • G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
    • G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408—Radar; Laser, e.g. lidar
    • B60W2420/52—
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/20—Static objects
    • G05D2201/0213—

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Electromagnetism (AREA)
  • Human Computer Interaction (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Optics & Photonics (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은, 차량에 설치된 라이다 센서로부터 주변 환경을 포함한 장애물에 대한 3차원 점군 데이터를 획득하는 데이터 획득부와, 상기 3차원 점군 데이터로부터 지면 및 노이즈 성분을 제거하는 노이즈 제거부와, 상기 3차원 점군 데이터를 클러스터링하여 복수의 점군으로 분류하고, 분류된 점군 각각에 바운딩 박스를 설정하고 라벨링하는 장애물 검출부, 및 상기 라벨링된 점군에 대응된 상기 바운딩 박스의 크기를 기초로 상기 장애물의 크기를 연산하는 연산부를 포함하는 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템을 제공한다.

Description

라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템{3D viewer system for detecting object based on lidar sensor data}
본 발명은 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템에 관한 것으로서, 보다 상세하게는 라이다 센서로부터 획득되는 3차원 주변 환경 데이터로부터 장애물을 검출하고 검출 결과를 뷰어 화면을 통해 제공할 수 있는 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템에 관한 것이다.
자율주행차량은 주변 주행 환경을 인식하여 차량의 경로를 자동으로 제어하는 차량을 의미한다. 주변 환경을 인식하는 센서에는 라이다(Lidar), 레이더(Radar), 2D 카메라, 3D 스캐너, 스테레오 비전 등이 존재하며, 이들 센서로부터 거리 및 형상 정보를 획득할 수 있다.
최근에는 거리 및 형상 정보 획득 기기들을 복합적으로 활용하는 기법이 주로 사용되고 있다. 여기서 각각의 센서에 획득한 2D/3D 거리 및 형상 정보를 통합하는 과정은 주행 경로 계산 및 차량 제어를 위해 필수적인 전처리 과정 중 하나로 볼 수 있다.
더욱이, 자율 주행차량의 안정성을 고려하여 본다면, 차량 주행 중에 실시간 변화하는 장애물과의 거리 및 형상 정보를 빠르고 효과적으로 통합하여 시각화하는 기술이 절실히 요구된다.
본 발명의 배경이 되는 기술은 한국등록특허 제10-1613849호(2016.04.29 공고)에 개시되어 있다.
본 발명은 라이다 센서로부터 획득되는 3차원 주변 환경 데이터로부터 장애물을 검출하고 검출 결과를 뷰어 화면을 통해 실시간 제공할 수 있는 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템을 제공하는데 목적이 있다.
본 발명은, 차량에 설치된 라이다 센서로부터 주변 환경을 포함한 장애물에 대한 3차원 점군 데이터를 획득하는 데이터 획득부와, 상기 3차원 점군 데이터로부터 지면 및 노이즈 성분을 제거하는 노이즈 제거부와, 상기 3차원 점군 데이터를 클러스터링하여 복수의 점군으로 분류하고, 분류된 점군 각각에 바운딩 박스를 설정하고 라벨링하는 장애물 검출부, 및 상기 라벨링된 점군에 대응된 상기 바운딩 박스의 크기를 기초로 상기 장애물의 크기를 연산하는 연산부를 포함하는 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템을 제공한다.
또한, 상기 연산부는, 상기 3차원 점군 데이터로부터 상기 바운딩 박스의 위치에 대응된 거리 데이터를 추출하여 상기 장애물의 거리를 획득할 수 있다.
또한, 상기 장애물 검출부는, K-Means 클러스터링 기법을 통해 상기 3차원 점군 데이터를 상기 복수의 점군으로 클러스터링하여 분류할 수 있다.
또한, 상기 장애물 검출부는, 상기 3차원 점군 데이터의 노말 보팅 텐서(Normal Votion Tenser)를 통해 얻은 고유 벡터를 이용하여 상기 K-Means 클러스터링을 수행하며 클러스터의 영역 확장 시에 브랜치(branch) 성분을 제거할 수 있다.
또한, 상기 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템은, 상기 획득된 3차원 점군 데이터를 제공하는 뷰어창, 상기 검출된 장애물의 크기를 포함한 검출 결과를 제공하는 장애물 검출창, 그리고 데이터 로그를 제공하는 로그창을 포함한 화면을 제공하는 뷰어부를 더 포함할 수 있다.
본 발명에 따른 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템에 따르면, 라이다 센서로부터 획득되는 3차원 스캔 데이터로부터 장애물을 검출하고 검출된 장애물의 거리 및 크기를 뷰어 화면을 통해 실시간 출력하여 제공할 수 있으며 이를 통해 자율주행 차량의 안정성을 높일 수 있는 이점이 있다.
도 1은 본 발명의 실시예에 따른 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템의 구성을 나타낸 도면이다.
도 2는 도 1의 시스템을 이용한 장애물 검출 방법을 설명하는 도면이다.
도 3은 본 발명의 실시예에서 라이다 센서의 전방에 장애물을 설치한 모습을 나타낸 도면이다.
도 4는 본 발명의 실시예에서 라이다 센서를 통해 3차원 점군 데이터를 생성한 결과를 예시한 도면이다.
도 5는 도 4에 도시된 3차원 점군 데이터로부터 지면과 노이즈 성분을 제거한 결과를 나타낸 도면이다.
도 6은 본 발명의 실시예에서 K-Means 클러스터링 기법을 통해 장애물 정보를 획득한 결과를 나타낸 도면이다.
도 7은 본 발명의 실시예에서 장애물을 검출하는 알고리즘을 설명하는 도면이다.
도 8은 본 발명의 실시예에서 점군 클러스터링 원리를 설명하는 도면이다.
도 9는 본 발명의 실시예에서 클러스터의 영역 확장 시에 브랜치 성분을 제거하는 클리닝 과정을 설명하는 도면이다.
도 10은 본 발명의 실시예에서 제공하는 뷰어 화면을 예시한 도면이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시 예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 실시예에 따른 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템의 구성을 나타낸 도면이다.
도 1에 나타낸 것과 같이, 본 발명의 실시예에 따른 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템(100)은 데이터 획득부(110), 노이즈 제거부(120), 장애물 검출부(130), 연산부(140), 뷰어부(150)를 포함한다.
데이터 획득부(110)는 차량에 설치된 라이다(Lidar) 센서로부터 주변 환경을 포함한 장애물에 대한 3차원 점군(point cloud) 데이터를 생성한다.
노이즈 제거부(120)는 3차원 점군 데이터로부터 지면(도로) 및 노이즈 성분을 제거한다. 3차원 점군 데이터에 포함된 지면이나 도로 등의 노이즈를 제거할 경우 장애물을 더욱 효과적으로 검출할 수 있다.
장애물 검출부(130)는 지면과 노이즈 성분이 제거된 3차원 점군 데이터를 K-Means 클러스터링 기법을 통해 클러스터링하여 복수의 점군으로 분류하고 분류된 점군 각각에 바운딩 박스(Bounding Box)를 설정하여 라벨링한다. 이에 따라 각각의 장애물 마다 라벨링이 이루어진다.
연산부(140)는 라벨링된 점군에 대응된 바운딩 박스의 크기를 기초로 장애물의 크기를 연산한다. 이러한 연산부(140)는 센서로부터 획득된 3차원 점군 데이터 내에서 바운딩 박스의 위치에 대응된 거리 데이터를 추출하여 장애물이 떨어진 거리를 획득할 수 있다. 라이다 센서에서 얻은 3차원 스캔 데이터 상에는 거리 정보가 포함되어 있어 해당 바운딩 박스의 위치에 대응한 거리 값을 이용하여 장애물의 거리를 획득할 수 있다.
뷰어부(150)는 획득된 3차원 점군 데이터를 제공하는 뷰어창, 장애물 검출 결과를 제공하는 장애물 검출창, 그리고 데이터 로그를 제공하는 로그창 등을 포함한 뷰어 화면을 출력하여 제공한다.
물론, 뷰어부(150)는 시스템의 처리 과정 및 장애물 검출 결과를 실시간 표출하여 제공할 수 있고 더욱 다양한 뷰어 기능을 제공할 수 있다. 또한, 차량에 설치된 디스플레이 수단, 내비게이션 장치, 사용자 단말 등을 통하여 뷰어 화면을 실시간 제공할 수 있다.
도 2는 도 1의 시스템을 이용한 장애물 검출 방법을 설명하는 도면이다.
먼저, 데이터 획득부(110)는 차량에 설치된 라이다 센서로부터 주변 환경을 포함한 장애물에 대한 3차원 점군 데이터를 획득한다(S210).
도 3은 본 발명의 실시예에서 라이다 센서의 전방에 장애물을 설치한 모습을 나타낸 도면이다. 이러한 도 3은 라이다 센서의 전방에 장애물을 위치시키고 라이다 센서를 통해 전방을 스캔하는 모습에 해당한다.
도 4는 본 발명의 실시예에서 라이다 센서를 통해 3차원 점군 데이터를 생성한 결과를 예시한 도면이다. 도 4에 나타낸 것과 같이, 라이다 센서를 이용하여 전방을 스캔하면 장애물과 주변 환경에 대한 3차원 점군 데이터를 생성할 수 있다.
이후, 노이즈 제거부(120)는 3차원 점군 데이터로부터 지면 및 노이즈 성분을 제거한다(S220).
도 5는 본 발명의 실시예에서 3차원 점군 데이터로부터 지면과 노이즈 성분을 제거한 결과를 나타낸 도면이다. 도 5의 좌측 그림은 3차원 점군 데이터의 탑뷰를 나타내며 우측 그림은 그에 대한 지면/노이즈 제거 결과를 나타낸다. 이와 같이 3차원 점군 데이터에 포함된 지면이나 도로 등의 노이즈를 제거할 경우 장애물의 탐색 효율을 높일 수 있다.
지면/노이즈 제거 이후, 장애물 검출부(130)는 3차원 점군 데이터를 클러스터링하여 복수의 점군으로 분류하고, 분류된 점군 각각에 바운딩 박스를 설정하여 라벨링한다(S230).
이러한 S230 단계는 K-Means 클러스터링 기법을 통해 3차원 점군 데이터를 복수의 점군으로 클러스터링하여 분류한다.
도 6은 본 발명의 실시예에서 K-Means 클러스터링 기법을 통해 장애물 정보를 획득한 결과를 나타낸 도면이다. 도 6은 도 5의 우측 그림에 대해 K-Means 클러스터링 기법을 적용하여 5개의 점군을 얻고 각각의 점군에 대응하여 바운딩 박스를 적용하여 라벨링한 것을 나타낸다. 분류된 점군 각각은 장애물에 해당하며 이들 각각에 대해 고유의 라벨링이 부여된다.
도 7은 본 발명의 실시예에서 장애물을 검출하는 알고리즘을 설명하는 도면이다. 도 7과 같이, 장애물 검출부(130)는 지면과 노이즈가 제거된 3차원 점군 데이터를 입력받고, 입력된 3차원 점군 데이터의 노말 보팅 텐서(Normal Votion Tenser)를 통해 고유 벡터를 분석한 다음, K-Means 클러스터링을 수행한다. 또한, 클러스터링된 각각의 클러스터에 대해 영역 확장을 수행하되 각 클러스터에 포함된 브랜치(branch) 성분을 제거한다.
일반적으로 텐서 보팅은 두 점 관계로부터 얻은 텐서를 보팅하는 과정으로, 먼저 대응하는 근방(neighborhood)을 이용하여 점마다 보팅텐서(voting tensor; 보팅으로 만들어진 텐서)를 계산하고 텐서의 고유치(eigenvalue) 해석을 통해 로컬구조를 추론하는 특징 가중치를 계산한다.
우선, 3차원 점군 데이터에 대한 노말 보팅 텐서(Tυ)는 다음의 수학식 1에 의해 계산된다.
Figure pat00001
여기서, Tυ는 3D 점의 주변 점 Nt(υ) 들에 대한 Normal Voting Tensor이다. 수학식 1의 가중치 μt는 다음과 같이 정의된다.
Figure pat00002
여기서, area(ti)는 점이 속한 삼각형에 대한 면적, area(max)는 주변 삼각형 중 가장 큰 삼각형의 면적,
Figure pat00003
는 현재 점이 속한 삼각형의 무게 중심,
Figure pat00004
는 현재 점의 3차원 좌표,
Figure pat00005
는 주변 점을 정의하는 정육면체 공간의 길이를 나타낸다.
이와 같은 보팅 텐서 연산 방법은 기 공지된 것에 해당하므로 더욱 상세한 설명은 생략한다.
도 8은 본 발명의 실시예에서 점군 클러스터링 원리를 설명하는 도면이고, 도 9는 본 발명의 실시예에서 클러스터의 영역 확장 시에 브랜치 성분을 제거하는 클리닝 과정을 설명하는 도면이다.
본 발명의 실시예는 전체 점군 데이터에 대하여 중심점의 위치가 일정 거리 안에서 변동할 때까지 도 8의 1~4 과정을 반복하여 점군을 분류한다. 그리고 영역 확장 시 발생하는 가지(브랜치) 성분은 도 9의 클리닝 과정을 통해 클러스터에서 제외시킨다.
도 10은 본 발명의 실시예에서 제공하는 뷰어 화면을 예시한 도면이다.
도 10의 좌측에 도시된 라이다 뷰어창은 라이다 센서로부터 획득한 3차원 점군 데이터를 제공하며, 우측의 장애물 검출창은 지면과 노이즈가 제거된 3차원 점군 데이터로부터 장애물을 검출한 결과를 제공한다. 검출된 장애물은 별도의 색상으로 표출되며 장애물의 검출 크기는 텍스트 등의 형태로 제공된다. 뷰어 화면은 미리 제작된 응용 프로그램 상에서 제공될 수 있으며, 응용 프로그램은 다양한 형태로 구현될 수 있다.
이상과 같은 본 발명에 따른 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템에 따르면, 라이다 센서로부터 획득되는 3차원 스캔 데이터로부터 장애물을 검출하고 검출된 장애물의 거리 및 크기를 뷰어 화면 상에 실시간 출력하여 제공함으로써 자율주행 차량의 안정성을 높일 수 있는 이점이 있다.
또한, 라이다 센서로부터 획득하는 거리 정보를 3D 환경에 통합할 경우, 라이다 센서 이외에 실제 2D 주행 영상이나 다른 센서로부터 획득하는 정보와 함께 더 정밀한 지도 데이터를 생성할 수 있다. 다양한 센서정보를 통합하는 기술을 활용하여 주변환경 및 지도데이터를 생성하면, 자율 주행 차량의 경로 탐색 및 차량제어의 성능을 향상시켜 자율주행차량의 안전성을 크게 높일 수 있고, 운전자에게 시각적인 주변환경 및 주행정보를 효과적으로 전달할 수 있다.
또한 다양한 센서 정보를 이용한 빅데이터 분석 및 인공지능 활용을 통하여 현재 레벨 1(가속/조향/제동 중 하나를 자동차가 제어)인 자율주행차량의 기술 수준을 운전자가 전혀 관여하지 않는 레벨 4 수준의 자율주행 차량의 기술 수준까지 높일 수 있을 것으로 기대된다.
본 발명은 도면에 도시된 실시 예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 다른 실시 예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 특허청구범위의 기술적 사상에 의하여 정해져야 할 것이다.
100: 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템
110: 데이터 획득부 120: 노이즈 제거부
130: 장애물 검출부 140: 연산부
150: 뷰어부

Claims (5)

  1. 차량에 설치된 라이다 센서로부터 주변 환경을 포함한 장애물에 대한 3차원 점군 데이터를 획득하는 데이터 획득부;
    상기 3차원 점군 데이터로부터 지면 및 노이즈 성분을 제거하는 노이즈 제거부;
    상기 3차원 점군 데이터를 클러스터링하여 복수의 점군으로 분류하고, 분류된 점군 각각에 바운딩 박스를 설정하고 라벨링하는 장애물 검출부; 및
    상기 라벨링된 점군에 대응된 상기 바운딩 박스의 크기를 기초로 상기 장애물의 크기를 연산하는 연산부를 포함하는 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템.
  2. 청구항 1에 있어서,
    상기 연산부는,
    상기 3차원 점군 데이터로부터 상기 바운딩 박스의 위치에 대응된 거리 데이터를 추출하여 상기 장애물의 거리를 획득하는 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템.
  3. 청구항 1에 있어서,
    상기 장애물 검출부는,
    K-Means 클러스터링 기법을 통해 상기 3차원 점군 데이터를 상기 복수의 점군으로 클러스터링하여 분류하는 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템.
  4. 청구항 3에 있어서,
    상기 장애물 검출부는,
    상기 3차원 점군 데이터의 노말 보팅 텐서(Normal Votion Tenser)를 통해 얻은 고유 벡터를 이용하여 상기 K-Means 클러스터링을 수행하며 클러스터의 영역 확장 시에 브랜치(branch) 성분을 제거하는 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템.
  5. 청구항 1에 있어서,
    상기 획득된 3차원 점군 데이터를 제공하는 뷰어창, 상기 검출된 장애물의 크기를 포함한 검출 결과를 제공하는 장애물 검출창, 그리고 데이터 로그를 제공하는 로그창을 포함한 화면을 제공하는 뷰어부를 더 포함하는 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템.
KR1020180170687A 2018-12-27 2018-12-27 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템 KR20200087296A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180170687A KR20200087296A (ko) 2018-12-27 2018-12-27 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180170687A KR20200087296A (ko) 2018-12-27 2018-12-27 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템

Publications (1)

Publication Number Publication Date
KR20200087296A true KR20200087296A (ko) 2020-07-21

Family

ID=71832617

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180170687A KR20200087296A (ko) 2018-12-27 2018-12-27 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템

Country Status (1)

Country Link
KR (1) KR20200087296A (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220099473A (ko) * 2021-01-06 2022-07-13 한국과학기술원 라이다 포인트 클라우드 노이즈 제거 방법 및 장치
KR102420585B1 (ko) * 2022-01-05 2022-07-13 국방과학연구소 라이다 시스템의 운용 환경이 고려하여 점군 정보를 결정하기 위한 장치 및 방법
KR102590923B1 (ko) * 2022-09-29 2023-10-20 에스엠아이이노베이션 주식회사 골프 카트의 장애물 감지 시스템 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220099473A (ko) * 2021-01-06 2022-07-13 한국과학기술원 라이다 포인트 클라우드 노이즈 제거 방법 및 장치
KR102420585B1 (ko) * 2022-01-05 2022-07-13 국방과학연구소 라이다 시스템의 운용 환경이 고려하여 점군 정보를 결정하기 위한 장치 및 방법
KR102590923B1 (ko) * 2022-09-29 2023-10-20 에스엠아이이노베이션 주식회사 골프 카트의 장애물 감지 시스템 및 방법

Similar Documents

Publication Publication Date Title
KR102109941B1 (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
US11488392B2 (en) Vehicle system and method for detecting objects and object distance
KR102198724B1 (ko) 포인트 클라우드 데이터를 처리하기 위한 방법 및 장치
US11403851B2 (en) Systems and methods for utilizing machine learning and other models to reconstruct a vehicle accident scene from video
JP6144656B2 (ja) 歩行者の視覚的認識が困難であり得ることを運転者に警告するシステム及び方法
EP3624002A2 (en) Training data generating method for image processing, image processing method, and devices thereof
CN116685874A (zh) 摄像机-激光雷达融合对象检测系统和方法
US20230184560A1 (en) Visual interface display method and apparatus, electronic device, and storage medium
KR20210111052A (ko) 의미론적 영상을 활용한 포인트 클라우드 분류 장치 및 방법
KR20180058624A (ko) 차량에서의 돌발적으로 출현한 이동 객체를 탐지하는 방법 및 장치
CN112825192B (zh) 基于机器学习的对象辨识系统及其方法
CN110210384B (zh) 一种道路全局信息实时提取与表示系统
KR20200087296A (ko) 라이다 센서 데이터 기반 장애물 검출 3차원 뷰어 시스템
CN113255779B (zh) 多源感知数据融合识别方法、系统及计算机可读存储介质
CN104902261A (zh) 用于低清晰度视频流中的路面识别的装置和方法
WO2021199584A1 (en) Detecting debris in a vehicle path
Bruno et al. Analysis and fusion of 2d and 3d images applied for detection and recognition of traffic signs using a new method of features extraction in conjunction with deep learning
CN116597122A (zh) 数据标注方法、装置、电子设备及存储介质
Sirbu et al. Real-time line matching based speed bump detection algorithm
JP2007033931A (ja) 衛星画像等を用いた地図作成のための道路認識システム
Börcs et al. A model-based approach for fast vehicle detection in continuously streamed urban LIDAR point clouds
Bruno et al. A comparison of traffic signs detection methods in 2d and 3d images for the benefit of the navigation of autonomous vehicles
CN117789160A (zh) 一种基于聚类优化的多模态融合目标检测方法及系统
Sadekov et al. Road sign detection and recognition in panoramic images to generate navigational maps
Börcs et al. On board 3D object perception in dynamic urban scenes

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E601 Decision to refuse application