KR20190127624A - 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법 - Google Patents

라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법 Download PDF

Info

Publication number
KR20190127624A
KR20190127624A KR1020190137378A KR20190137378A KR20190127624A KR 20190127624 A KR20190127624 A KR 20190127624A KR 1020190137378 A KR1020190137378 A KR 1020190137378A KR 20190137378 A KR20190137378 A KR 20190137378A KR 20190127624 A KR20190127624 A KR 20190127624A
Authority
KR
South Korea
Prior art keywords
density
image
candidate group
lidar data
lidar
Prior art date
Application number
KR1020190137378A
Other languages
English (en)
Other versions
KR102061522B1 (ko
Inventor
박태형
김태형
Original Assignee
충북대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 충북대학교 산학협력단 filed Critical 충북대학교 산학협력단
Priority to KR1020190137378A priority Critical patent/KR102061522B1/ko
Publication of KR20190127624A publication Critical patent/KR20190127624A/ko
Application granted granted Critical
Publication of KR102061522B1 publication Critical patent/KR102061522B1/ko

Links

Images

Classifications

    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/895—
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88—Lidar systems specially adapted for specific applications
    • G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
    • G01S17/90—Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
    • G06T5/002—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/10—Segmentation; Edge detection
    • G06T7/11—Region-based segmentation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10032—Satellite or aerial image; Remote sensing
    • G06T2207/10044—Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Optical Radar Systems And Details Thereof (AREA)
  • Image Analysis (AREA)

Abstract

라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법을 개시한다.
본 실시예의 일 측면에 의하면, 라이다 센서로부터 수신된 라이다 데이터를 밀집도와 연관성을 기준으로 그룹화하여 비교영상을 생성하는 클러스터링부; 상기 수신된 라이다 데이터 중 상기 비교영상과 매칭되는 라이다 데이터를 그룹화하여 객체후보군을 검출하는 후보검출부; 및 상기 객체후보군의 특징을 기반으로 해당 객체후보군을 분류하여 분류정보를 생성하는 객체판단부를 포함하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치를 제공한다.

Description

라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법{APPARATUS AND METHOD FOR DETECTING OBJECT BASED ON DENSITY USING LIDAR SENSOR}
본 발명은 객체 검출 장치 및 방법에 관한 것으로서, 보다 구체적으로는 라이다 센서만을 이용하여 객체를 검출 및 분류하고, 밀집도를 기준으로 라이다 데이터를 필터링하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
최근, 로봇 제어, 첨단 운전자 보조 시스템(Advanced Driver Assistant System, ADAS), 자율주행차량 등에 대한 관심이 높아짐에 따라, 자율주행차량 등에 장착 또는 적용되어 주변 객체를 검출하는 장치 및 방법에 대한 많은 연구가 진행되고 있다.
주변 객체를 검출하는 방법 중 대표적인 방법으로 카메라로 촬영된 영상을 이용하여 주변 객체를 검출하는 방법을 들 수 있다. 카메라를 이용하는 방법은 객체에 대한 정확한 형상 정보를 획득할 수 있어 객체의 종류를 상대적으로 정확하게 판단할 수 있다는 장점을 가진다.
그러나 이 방법은 2차원 영상을 생성하는 카메라의 특성 상 객체의 3차원 위치(거리정보)를 정확하게 추정하기 어려운 한계를 가진다. 또한, 이 방법은 어두운 환경에서는 정확한 영상을 생성하기 어려운 카메라의 특성, 반사된 빛에 의한 영향, 객체로 인식되는 객체의 그림자 등 외부 환경에 의한 오류를 내포할 가능성이 높다고 할 수 있다.
주변 객체를 검출하는 방법 중 대표적인 다른 방법으로 카메라와 라이다(Light Detection And Range, LiDAR) 센서를 함께 이용하여 객체를 검출하는 방법을 들 수 있다. 라이다 센서는 레이저가 객체에 반사되어 되돌아 오는 시간을 측정하여 정확한 거리정보를 확보할 수 있으므로 이종의 센서(카메라 및 라이다)를 이용하는 방법은 전술된 카메라만을 이용하는 방법의 단점을 일부 보완할 수 있다.
그러나 이 방법은 서로 다른 복수 개의 센서가 단일 대상에 적용되어야 하므로 소형 로봇 등을 대상으로 구현되는 경우 설치 용이성을 저하시킬 수 있음은 물론, 비용이 상승하는 문제점을 발생시킬 수 있다.
또한, 이 방법은 이종의 센서로부터 생성되는 객체에 대한 데이터를 상호 보완적으로 이용하기 위하여 이종의 센서 사이에 내부 및 외부 파라미터에 대한 캘리브레이션(Calibration) 과정이 필수적으로 수행되어야 하므로 객체 검출 과정의 복잡도를 증가시켜 실시간 객체 검출에 적합하지 않게 되는 문제점을 가지고 있다.
본 발명의 실시예는 라이다 센서만을 이용하여 객체를 검출하도록 구성되므로 객체에 대한 정확한 위치정보를 확보할 수 있고 설치 용이성과 비용 효율성 또한, 향상시킬 수 있다.
또한, 본 발명의 실시예는 라이다 센서에서 감지된 데이터를 밀집도를 기준으로 필터링하고, 이 필터링된 데이터를 이용하여 객체를 검출하도록 구성되므로 객체 검출 과정에 소요되는 시간을 감소시켜 실시간 객체 검출을 더욱 용이하게 구현할 수 있다.
본 발명에 의한 실시예의 일 측면에 의하면, 라이다 센서로부터 수신된 라이다 데이터를 밀집도와 연관성을 기준으로 그룹화하여 비교영상을 생성하는 클러스터링부; 상기 수신된 라이다 데이터 중 상기 비교영상과 매칭되는 라이다 데이터를 그룹화하여 객체후보군을 검출하는 후보검출부; 및 상기 객체후보군의 특징을 기반으로 해당 객체후보군을 분류하여 분류정보를 생성하는 객체판단부를 포함하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치를 제공한다.
또한, 본 발명에 의한 실시예의 다른 측면에 의하면, 라이다 센서로부터 수신된 라이다 데이터를 밀집도를 기준으로 밀집도영상을 생성하는 필터링단계; 연관성을 기준으로 상기 밀집도영상을 그룹화하여 비교영상을 생성하는 비교영상생성단계; 상기 수신된 라이다 데이터 중 상기 비교영상과 매칭되는 라이다 데이터를 그룹화하여 객체후보군을 검출하는 후보검출단계; 및 상기 객체후보군의 특징을 기반으로 해당 객체후보군을 분류하여 분류정보를 생성하는 객체판단단계를 포함하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 방법을 제공한다.
이상에서 설명한 바와 같은 본 발명의 실시예에 의하면, 라이다 센서만을 이용하여 객체를 검출하므로 객체 검출에 이용되는 장치를 간소화시키고 객체 검출에 대한 비용 효율성을 향상시킬 수 있게 된다.
또한, 라이다 센서에서 감지된 라이다 데이터를 밀집도를 기반으로 필터링하므로 밀집도가 작은 영역 즉, 객체일 확률이 낮은 영역을 제거할 수 있어 객체 검출에 대한 정확성을 더욱 높일 수 있다.
나아가 필터링된 라이다 데이터를 이용하여 객체를 검출하고 분류하므로 객체 검출 및 분류에 소요되는 시간을 감소시켜 실시간 객체 검출을 더욱 용이하게 구현할 수 있다.
도 1은 본 발명의 실시예에 따른 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 관련 구성을 전반적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 객체 검출 장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 밀집도를 기준으로 라이다 데이터를 필터링하고 이를 이용하여 객체를 검출하고 분류하는 과정을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 객체후보군을 2차원 영상으로 변환하여 생성하고 이를 이용하여 객체를 검출하고 분류하는 과정을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 밀집도를 기준으로 라이다 데이터를 필터링하는 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 실시예에 따른 객체후보군을 2차원 영상으로 변환하여 생성하는 과정을 설명하기 위한 예시도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의하여야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부,' '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.
도 1은 본 발명의 실시예에 따른 라이다 센서(50)를 이용한 밀집도 기반의 객체 검출 장치(이하 '객체검출장치'라 지칭한다)(100) 및 관련 구성을 전반적으로 도시한 도면이다. 이하에서는 도 1을 참조하여 본 발명의 객체검출장치(100) 및 관련 구성에 대하여 설명하도록 한다.
본 발명의 객체검출장치(100)는 라이다 센서(50)가 외부에 존재하는 다른 차량, 사람, 사물 등 객체를 감지하여 생성한 라이다 데이터를 수신하고, 이를 이용하여 객체를 검출 및 분류하는 장치 해당한다.
도 1에 나타낸 본 발명의 실시예는 본 발명의 객체검출장치(100)가 구현되는 다양한 실시예 중 하나로서, 본 발명의 객체검출장치(100)가 자율주행차량(10)에 설치되어 외부 객체를 검출하고 분류하는 실시예를 나타낸다.
외부 객체를 검출 및 분류하고 그 결과를 사용자 또는 운전자에게 제공하거나 동작 제어에 반영하는 대상에 해당한다면, 본 발명의 객체검출장치는(100) 도 1에 도시된 자율주행차량(10)뿐만 아니라 로봇, 일반 차량 등 다양한 대상에 설치될 수 있음은 물론이다.
이하에서는 이와 같은 다양한 실시예 중 본 발명의 객체검출장치가 자율주행차량(10)에 설치되는 실시예를 중심으로 객체를 검출하고 분류하는 방법에 대하여 설명하도록 한다.
도 1에 도시된 라이다 센서(50)는 레이더 파장의 빛을 외부로 방출하고, 이 방출된 빛이 외부 객체에 반사되어 되돌아오는데 소요되는 시간을 측정하여 외부 객체의 위치에 대한 정보(라이다 데이터)를 생성한다.
본 발명의 객체검출장치(100)는 라이다 데이터를 이용하여 객체의 존재 여부뿐만 아니라, 객체의 종류도 분류하도록 구성되므로, 본 발명에서 이용되는 라이다 센서(50)는 2D 라이다 센서(50)가 복수의 레이어로 구성되어 3차원 정보가 포함된 라이다 데이터를 생성하는 3D 라이다 센서(50)로 구현되는 것이 바람직하다.
다만, 2D 라이다 센서(50)를 틸팅시키거나 회전시키는 경우 3차원 정보가 포함된 라이다 데이터가 확보될 수 있으므로, 본 발명에서 이용되는 라이다 센서(50)는 틸팅 또는 회전 이동이 가능하도록 구성된 2D 라이다 센서(50)로 구현될 수 있음은 물론이다.
이와 같은 3D 라이다 센서(50) 또는 2D 라이다 센서(50)는 객체 검출의 효율성을 고려하여 도 1에 도시된 자율주행차량(10)의 전방 위치는 물론, 측면과 후방 위치 등 다양한 위치에 설치될 수 있다.
외부 객체에 대한 위치정보가 포함된 클라우드 형태의 라이다 데이터가 라이다 센서(50)로부터 수신되면, 본 발명의 객체검출장치(100)는 수신된 라이다 데이터를 대상으로 후술되는 다양한 프로세싱을 적용하여 객체를 검출 및 분류한다.
객체의 검출 및 분류가 완료되면, 본 발명의 객체검출장치가 적용된 자율주행차량(10) 또는 로봇은 검출 및 분류 결과를 이용하여 현재의 외부 상황을 판단하고, 이를 기반으로 이동 또는 정지 여부, 이동의 방향, 이동 속도 등의 동작을 외부 상황에 적합하도록 결정할 수 있게 된다.
본 발명의 객체검출장치가 일반 차량의 첨단 운전자 보조 시스템으로 적용되는 경우, 본 발명의 객체검출장치가 검출 및 분류 결과를 차량의 디스플레이장치 또는 사운드 장치 등의 출력 유닛(20)으로 전송하면 해당 차량의 운전자는 출력 유닛(20)을 통하여 표출된 검출 결과 및 분류 결과에 대응되도록 해당 차량의 동작을 제어할 수 있게 된다.
도 2는 본 발명의 실시예에 따른 객체 검출 장치를 개략적으로 나타낸 블록 구성도이며, 도 3은 본 발명의 실시예에 따른 밀집도를 기준으로 라이다 데이터를 필터링하고 이를 이용하여 객체를 검출 및 분류하는 과정을 설명하기 위한 흐름도이다. 이하에서는 도 2 및 도 3을 참조하여 본 발명에 의한 객체검출장치의 구성과 객체를 검출하고 분류하는 과정에 대하여 상세히 설명하도록 한다.
도 2에 도시된 바와 같이, 본 발명의 객체검출장치는 I/O인터페이스부(110), 지면데이터제거부(115), 클러스터링부(120), 후보검출부(130), 후보영상생성부(150) 및 객체판단부(140)를 포함하여 구성될 수 있다.
먼저, 본 발명의 I/O인터페이스부(110)는 외부 객체의 위치에 대한 정보가 포함된 라이다 데이터를 라이다 센서(50)로부터 수신 받는다(S310). 본 발명은 수신된 라이다 데이터를 그대로 이용하여 후술되는 필터링 과정, 군집화 과정 등을 수행하도록 구성될 수 있다.
실시형태에 따라, 본 발명은 라이다 데이터 중 지면에 해당하는 데이터를 선행적으로 제거하고, 지면 데이터가 제거된 라이다 데이터를 이용하여 후술되는 필터링 과정 등을 수행하도록 구성될 수 있다.
이를 위하여, 본 발명의 지면데이터제거부(115)는 수신된 라이다 데이터 중 지면 데이터를 제거한다(S320). 지면 데이터를 제거하는 방법은 라이다 데이터들의 높이 차이를 기준으로 지면에 해당하는 데이터를 파악하여 제거하는 높이 기반 알고리즘, 라이다 데이터들의 법선 벡터를 기준으로 지면에 해당하는 데이터를 파악하여 제거하는 법선 벡터 기반 알고리즘 등 다양한 방법으로 구현될 수 있다.
이와 같이, 본 발명의 객체검출장치가 라이다 데이터 중 지면 데이터를 제거하도록 구성되면, 본 발명은 지면을 객체로 검출하는 오류의 발생을 미연에 방지할 수 있어 객체 검출 및 분류에 대한 높은 신뢰성을 확보할 수 있게 된다.
본 발명의 클러스터링부(120)는 지면 데이터가 제거된 라이다 데이터 또는 수신된 라이다 데이터를 그룹화하여 비교영상을 생성한다(S330). 라이다 데이터를 그룹화하는 프로세싱은 라이다 데이터들 사이의 밀집도와 연관성을 기준으로 수행된다.
라이다 데이터들의 밀집도는 특정 영역에 분포 또는 위치되어 있는 라이다 데이터들의 개수를 기준으로 판단되며, 라이다 데이터들의 연관성은 라이다 데이터들 사이의 유클리드 거리, 반사율, 법선 벡터 등을 기준으로 판단된다.
즉, 본 발명의 클러스터링부(120)는 라이다 데이터들이 분포되어 있는 정도와 라이다 데이터들 사이의 유사도를 기준으로 유사한 영역에 분포되고 유사한 속성을 가지는 라이다 데이터들을 판별하여 이들을 개별적인 그룹으로 군집화함으로써 비교영상을 생성한다.
비교영상이 생성되면, 본 발명의 후보검출부(130)는 I/O인터페이스부(110)에 수신된 라이다 데이터와 비교영상을 비교하여 I/O인터페이스부(110)에 수신된 라이다 데이터 중 비교영상과 매칭되는 라이다 데이터를 선별하고, 선별된 라이다 데이터를 그룹화하여 객체후보군을 검출한다(S340). 객체후보군은 실제 차량 또는 로봇 외부에 존재하는 객체일 확률이 높은 대상을 의미한다.
객체후보군이 검출되면, 본 발명의 객체판단부(140)는 객체후보군의 특징 즉, 객체후보군에 포함된 하나 이상의 라이다 데이터의 특징을 추출한다(S360). 객체후보군의 특징을 추출하는 방법은 SIFT(Scale Invariant Feature Transform) 알고리즘, HOG(Histogram of Oriented Grandients) 알고리즘, Haar 알고리즘, Ferm 알고리즘 등 다양한 알고리즘을 이용하여 구현될 수 있다.
객체후보군의 특징이 추출되면, 본 발명의 객체판단부(140)는 추출된 특징을 기반으로 해당 객체후보군의 종류(사람, 차량 등)를 분류하여 분류정보를 생성한다(S360).
객체후보군을 분류하는 방법 또한, SVM(Support Vector Machine), MLP(Multilayer Perceptron) 등 다양한 학습 모델을 이용하여 구현될 수 있다. 즉, 본 발명의 객체판단부(140)는 추출된 특징을 이용하여 지속적으로 학습되고, 새로운 객체후보군에 대한 특징이 추출되는 경우 학습된 결과를 이용하여 새로이 추출된 특징에 해당하는 객체후보군을 분류함으로써 분류정보를 생성한다.
생성된 분류정보는 본 발명의 I/O인터페이스부(110)를 통하여 출력 유닛(20)으로 전송되어 외부로 표출되거나, 본 발명의 I/O인터페이스부(110)를 통하여 로봇 또는 자율주행차량(10)의 동작 제어에 이용될 수 있다(S370).
도 5는 본 발명의 실시예에 따른 밀집도를 기준으로 라이다 데이터를 필터링하는 과정을 설명하기 위한 예시도이다. 이하에서는 도 2, 도 3 및 도 5를 참조하여 밀집도를 기준으로 라이다 데이터를 필터링함으로써 객체 검출 및 분류에 대한 시간 효율성을 향상시키는 본 발명의 기술적 특징에 대하여 설명하도록 한다.
전술된 바와 같이, 본 발명은 틸팅 또는 회전 이동이 가능한 2D 라이다 센서(50)또는 3D 라이다 센서(50)를 이용하여 외부 객체를 검출하고 분류하도록 구성된다. 이와 같이 구성되는 경우, 라이다 센서(50)에서 생성되는 라이다 데이터는 단일 객체에 대해 복수 개의 점으로 구성되는 포인트 클라우드 형태를 가지며, 이 라이다 데이터에는 객체와의 거리, 라이다 센서(50)를 기준으로 한 객체의 수평 각도뿐만 아니라, 라이다 센서(50)를 기준으로 한 객체의 수직 각도가 포함된다.
따라서 단일 객체를 표현하는 라이다 데이터의 개수가 증가하게 되고 라이다 데이터 자체의 크기 또한, 증가하게 되므로 라이다 데이터를 처리하는데 많은 시간이 소요될 수 있다. 더욱이, 라이다 센서(50)의 감지 범위 내에 복수 개의 객체가 존재하는 경우 라이다 데이터를 처리하는데 소요되는 시간이 기하급수적으로 증가될 수 있다.
본 발명은 이러한 문제를 인식하고, 이를 해결하기 위하여 밀집도를 기준으로 라이다 데이터를 필터링함으로써 처리해야 할 라이다 데이터의 개수를 감소시키도록 구성된다.
이를 위하여 먼저, 본 발명의 클러스터링부(120)를 구성하는 필터링부(123)는 밀집도를 기준으로 라이다 데이터를 필터링하여 밀집도 영상을 생성한다(S335). 라이다 데이터를 필터링하는 프로세싱은 다양한 방법으로 구현될 수 있다.
예를 들어, 본 발명의 필터링부(123)는 특정 영역 내 포함된 라이다 데이터의 개수를 기준으로 라이다 데이터의 밀집도를 판단하고, 해당 영역이 기준 밀집도(기준이 되는 라이다 데이터의 개수) 이하의 밀집도를 가지는 경우 해당 영역을 제거(필터링)하며 이와 반대로, 해당 영역이 기준 밀집도 이상의 밀집도를 가지는 경우 해당 영역을 포함시켜 밀집도 영상을 생성할 수 있다.
또한, 본 발명의 필터링부(123)는 도 5에 예시된 바와 같이 라이다 데이터를 픽셀 단위로 구분하고 필터링 프로세싱이 픽셀 단위로 구현되도록 구성될 수 있다. 이를 구체적으로 설명하면 아래와 같다.
먼저, 본 발명의 필터링부(123)는 도 5 (1)의 (A)에 예시된 바와 같이 라이다 데이터를 동일한 면적 또는 크기를 가지는 픽셀 단위로 구분하고(S333), 기 설정된 밀집도(기준 밀집도)를 기준으로 각 픽셀 값을 이진화(1 or 0)하거나 도 5 (1)의 (B)에 예시된 바와 같이 픽셀 내 라이다 데이터의 개수를 기준으로 각 픽셀에 차등적인 밀집도를 할당한다.
각 픽셀 값을 1 또는 0으로 이진화한 경우, 본 발명의 필터링부(123)는 0에 해당하는 픽셀을 필터링(제거)하여 밀집영상을 생성한다(S335). 각 픽셀에 차등적인 밀집도를 할당한 경우, 본 발명의 필터링부(123)는 기준 값 이하의 밀집도를 가지는 픽셀을 필터링하여 밀집도 영상을 생성한다(S335).
이러한 다양한 방법을 통하여 생성된 밀집도 영상과 라이다 센서(50)로부터 수신된 라이다 데이터를 비교한 예시가 도 5 (2)에 표현되어 있다. 도 5 (2)의 (A)는 라이다 센서(50)로부터 수신된 포인트 클라우드 형태의 라이다 데이터에 대한 예시이며, 도 5 (2)의 (B)는 필터링 프로세싱이 적용되어 생성된 밀집도 영상에 대한 예시이다.
도 5 (2)의 (A)와 (B)를 비교하면, 라이다 센서(50)로부터 수신된 라이다 데이터 중 밀집도가 낮은 영역의 라이다 데이터가 필터링되어 제거되는데 반하여, 밀집도가 높은 라이다 데이터는 더욱 강조되는 것을 알 수 있다.
밀집도 영상이 생성되면, 클러스터링부(120)를 구성하는 본 발명의 비교영상생성부(125)는 라이다 데이터들 사이의 연관성을 기준으로 라이다 데이터를 그룹화하여 비교영상을 생성한다(S337).
이후, 비교영상과의 매칭을 통하여 객체후보군을 검출하는 전술된 프로세싱과 객체후보군의 특징을 기반으로 해당 객체후보군을 분류하는 전술된 프로세싱이 적용되어 해당 객체후보군에 대한 분류정보가 생성된다.
이와 같이, 본 발명이 밀집도를 기준으로 라이다 데이터를 필터링하도록 구성되면, 비교영상 생성에 이용되는 라이다 데이터의 개수가 감소하게 되므로 비교영상을 생성하는 프로세싱은 물론, 객체를 검출 및 분류하는 전체적인 프로세싱에 소요되는 시간이 감소하게 되어 본 발명의 실시간 적용성이 향상되게 된다.
도 4는 본 발명의 실시예에 따른 객체후보군을 2차원 영상으로 변환하여 생성하고 이를 이용하여 객체를 검출하고 분류하는 과정을 설명하기 위한 흐름도이며, 도 6은 본 발명의 실시예에 따른 객체후보군을 2차원 영상으로 변환하여 생성하는 과정을 설명하기 위한 예시도이다.
이하에서는 도 2, 도 4 및 도 6을 참조하여 3차원 포인트 클라우드 형태를 가지는 객체후보군을 2차원 영상으로 변환하여 생성하는 본 발명의 기술적 특징에 대하여 설명하도록 한다.
전술된 필터링 프로세싱(S410), 그룹화 프로세싱(S420) 및 비교영상과의 매칭 프로세싱(S430)을 거쳐 검출된 객체후보군은 도 6 (A)에 예시된 바와 같이 3차원의 포인트 클라우드 형태를 가지고 있다.
이러한 3차원의 라이다 데이터를 그대로 이용하여 객체후보군의 특징을 추출하고 이를 기반으로 해당 객체후보군을 분류하는 방법도 구현 가능하나, 3차원의 라이다 데이터를 2차원 데이터로 변환하여 이용하는 것이 연산 속도를 더욱 향상시킬 수 있다는 측면에서 바람직하다고 할 수 있다.
본 발명은 객체후보군에 대한 2차원 영상을 생성하는 후보영상생성부(150)를 더 포함하여 구성됨으로써 연산 속도를 더욱 향상시킬 수 있는 효과를 달성할 수 있다.
구체적으로, 본 발명의 후보영상생성부(150)는 라이다 센서(50)의 위치를 원점으로 하고 라이다 센서(50)의 자세 또는 각도를 3차원 좌표계 각각의 축으로 하는 모델좌표계에 객체후보군의 라이다 데이터를 맵핑한 후, 모델좌표계의 프론트뷰(front-view)를 기준으로 해당 객체후보군에 대한 2차원 영상을 생성한다(S440).
프론트뷰를 기준으로 객체후보군에 대한 2차원 영상을 생성하는 프로세싱은 프론트뷰에서 인식되는 라이다 데이터(객체후보군)를 2차원 영상으로 생성하는 방법, 라이다 데이터를 프론트뷰에 해당하는 평면(기준평면)에 투영하여 2차원 영상을 생성하는 방법 등 다양한 방법으로 구현될 수 있다.
객체후보군에 포함된 라이다 데이터를 프론트뷰에 해당하는 평면 즉, 기준평면에 투영하여 객체후보군에 대한 2차원 영상을 생성하는 방법에 대하여 설명하면 다음과 같다.
먼저, 본 발명의 후보영상생성부(150)를 구성하는 포인트추출부(153)는 객체후보군에 포함된 라이다 데이터의 좌표 값을 이용하여 해당 객체후보군의 대표 포인트(도 6 (A)의 중심점)를 추출한다(S443).
대표 포인트는 해당 객체후보군을 구성하는 라이다 데이터들의 좌표 값을 평균하여 추출하거나 최대 값 또는 최소 값을 추출하는 등 다양한 방법을 이용하여 확보할 수 있다.
본 발명의 후보영상생성부(150)를 구성하는 영상변환부(155)는 라이다 센서(50) 즉, 모델좌표계의 원점과 대표 포인트가 이루는 각도(θ)와 거리(r)를 이용하여 도 6 (B)와 (C)에 예시된 바와 같이 대표 포인트가 모델좌표계의 원점에 위치하도록 해당 객체후보군을 이동 및 회전 변환한다(S445).
본 발명의 후보영상생성부(150)를 구성하는 영상투영부(157)는 도 6 (D)에 예시된 바와 같이 이동 및 회전 변환된 객체후보군 내 라이다 데이터를 기준평면(도 6 (D)의 yz평면)에 투영하여 해당 객체후보군에 대한 2차원 영상을 생성한다(S447).
객체후보군 내 라이다 데이터를 기준평면에 투영하여 객체후보군에 대한 2차원 영상이 생성되면, 본 발명의 객체판단부(140)는 2차원 영상으로 생성된 객체후보군의 특징을 기반으로 해당 객체후보군을 분류하여 분류정보를 생성한다(S450).
이와 같이, 객체후보군의 2차원 영상을 생성하고, 이를 이용하여 객체를 분류하면, 객체 분류에 소요되는 시간을 감소시킬 수 있어 본 발명의 실시간 이용성을 더욱 향상시킬 수 있게 된다.
실시형태에 따라, 본 발명은 객체후보군에 대한 분류정보뿐만 아니라, 객체후보군의 위치정보 및 거리정보를 더 생성하도록 구성될 수 있다. 이를 위하여 본 발명은 객체후보군의 위치정보를 생성하는 위치정보생성부(160)와 객체후보군의 거리정보를 생성하는 거리정보생성부(170)를 더 포함하여 구성될 수 있다.
본 발명의 위치정보생성부(160)는 객체후보군의 대표 포인트에 대한 좌표를 이용하여 해당 객체후보군의 위치정보를 생성하며(S460), 본 발명의 거리정보생성부(170)는 대표 포인트와 기준평면 사이의 수직 거리를 연산하여 해당 객체후보군의 거리정보를 생성한다(S460).
이와 같이, 본 발명이 객체후보군의 위치정보 및 거리정보를 더 생성하도록 구성되면, 본 발명이 적용되는 로봇, 자율주행차량(10) 등에 객체의 분류뿐만 아니라 객체로 판단된 대상에 대한 위치와 거리를 실시간으로 제공할 수 있게 되므로 본 발명이 적용되는 로봇 등이 실시간으로 변화하는 외부 환경에 동적으로 대응할 수 있게 된다.
또한, 본 발명은 객체후보군에 포함된 라이다 데이터 모두를 이용하여 객체의 거리 및 위치를 연산하는 것이 아니라, 객체후보군의 대표 포인트만을 이용하여 객체의 거리 및 위치를 연산하도록 구성되므로 연산 속도를 향상시켜 실시간 이용성을 확보할 수 있게 된다.
실시형태에 따라, 본 발명은 객체후보군에 대한 영상뿐만 아니라, 비교영상도 2차원 영상으로 생성하도록 구성될 수 있다. 구체적으로, 본 발명의 클러스터링부(120)는 모델좌표계의 탑뷰(top-wiew)를 기준으로 라이다 데이터를 그룹화하여 비교영상을 생성하도록 구성될 수 있다(S420).
라이다 데이터를 픽셀 단위로 구분하고 필터링 프로세싱을 픽셀 단위로 구현하는 전술된 실시예의 경우, 본 발명의 필터링부(123)는 모델좌표계의 탑뷰를 기준으로 라이다 데이터를 픽셀 단위로 구분하고, 기 설정된 밀집도를 기준으로 각 픽셀 값을 이진화하거나 픽셀 내 라이다 데이터의 개수를 기준으로 각 픽셀에 차등적인 밀집도를 할당한다.
이 후, 본 발명의 필터링부(123)는 0에 해당하는 픽셀 또는 기준 값 이하의 밀집도를 가지는 픽셀을 필터링하여 밀집도 영상을 생성하고, 본 발명의 비교영상생성부(125)는 포인트 클라우드 형태의 라이다 데이터와 밀집도 영상을 대상으로 매칭 프로세싱을 적용하여 비교영상을 생성한다.
이와 같이, 본 발명이 탑뷰를 기준으로 비교영상을 2차원 영상으로 생성하도록 구성되면, 라이다 센서(50)가 설치된 대상(로봇, 자율주행차량(10), 일반 차량 등)을 중심으로 상기 대상 주변의 객체가 전방위적으로 반영된 비교영상을 생성할 수 있게 되므로 객체 검출의 정확성을 더욱 향상시킬 수 있게 된다.
이상 도 3 및 도 4에서는, 복수의 과정을 순차적으로 수행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서, 도 3 및 도 4에 기재된 순서를 변경하여 수행하거나 상기 복수의 과정 중 일부를 병렬적으로 수행하는 것으로 다양하게 수정 및 변경하여 적용 가능할 것이므로, 도 3 및 도 4는 시계열적인 순서로 한정되는 것은 아니다.
한편, 도 3 및 도 4에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
50 : 라이다 센서 100 : 객체검출장치
110 : I/O인터페이스부 115 : 지면데이터제거부
120 : 클러스터링부 123 : 필터링부
125 : 비교영상생성부 130 : 후보검출부
140 : 객체판단부 150 : 후보영상생성부
153 : 포인트추출부 155 : 영상변환부
157 : 영상투영부 160 : 위치정보생성부
170 : 거리정보생성부

Claims (6)

  1. 밀집도를 기준으로, 라이다 센서로부터 수신된 라이다 데이터들을 필터링하여 밀집도영상을 생성하는 필터링부;
    상기 밀집도영상을, 연관성을 기준으로 그룹화하여 비교영상을 생성하는 비교영상생성부;
    상기 수신된 라이다 데이터들 중 상기 비교영상과 매칭되는 라이다 데이터들을 그룹화하여 객체후보군을 검출하는 후보검출부; 및
    상기 객체후보군의 특징을 기반으로 해당 객체후보군을 분류하여 분류정보를 생성하는 객체판단부를 포함하고,
    상기 필터링부는,
    상기 수신된 라이다 데이터들 중에서, 기준 밀집도 이하의 밀집도를 가지는 라이다 데이터들을 제거하여, 상기 밀집도 영상을 생성하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치.
  2. 제1항에 있어서,
    상기 필터링부는,
    상기 수신된 라이다 데이터들을 픽셀 단위로 구분하고, 상기 픽셀들 중에서 상기 기준 밀집도 이하의 밀집도를 가지는 픽셀을 제거하여, 상기 밀집도 영상을 생성하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치.
  3. 제1항에 있어서,
    상기 라이다 센서의 위치와 자세를 기준으로 하는 3차원 모델좌표계의 프론트뷰(front-view)로 상기 객체후보군에 대한 2차원 영상을 생성하는 후보영상생성부를 더 포함하고,
    상기 객체판단부는,
    상기 2차원 영상으로 생성된 객체후보군의 특징을 기반으로 해당 객체후보군을 분류하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치.
  4. 제3항에 있어서, 상기 후보영상생성부는,
    상기 객체후보군에 포함된 라이다 데이터의 좌표 값을 이용하여 해당 객체후보군의 대표 포인트를 추출하는 포인트추출부;
    상기 대표 포인트가 상기 모델좌표계의 원점 위치로 이동하도록 해당 객체후보군을 이동 및 회전 변환하는 영상변환부; 및
    상기 이동 및 회전 변환된 객체후보군 내 라이다 데이터들을 상기 모델좌표계의 프론트뷰에 해당하는 평면인 기준평면에 투영하여 해당 객체후보군에 대한 2차원 영상을 생성하는 영상투영부를 포함하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치.
  5. 제4항에 있어서,
    상기 대표 포인트의 좌표를 이용하여 해당 객체후보군의 위치정보를 생성하는 위치정보생성부; 및
    상기 대표 포인트와 상기 기준평면 사이의 수직 거리를 연산하여 해당 객체후보군의 거리정보를 생성하는 거리정보생성부를 더 포함하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치.
  6. 밀집도를 기준으로, 라이다 센서로부터 수신된 라이다 데이터들을 필터링하여 밀집도영상을 생성하는 필터링단계;
    상기 밀집도 영상을, 연관성을 기준으로 그룹화하여 비교영상을 생성하는 비교영상생성단계;
    상기 수신된 라이다 데이터 중 상기 비교영상과 매칭되는 라이다 데이터들을 그룹화하여 객체후보군을 검출하는 후보검출단계; 및
    상기 객체후보군의 특징을 기반으로 해당 객체후보군을 분류하여 분류정보를 생성하는 객체판단단계를 포함하고,
    상기 필터링단계는,
    상기 수신된 라이다 데이터들 중에서, 기준 밀집도 이하의 밀집도를 가지는 라이다 데이터들을 제거하여, 상기 밀집도 영상을 생성하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 방법.
KR1020190137378A 2019-10-31 2019-10-31 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법 KR102061522B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190137378A KR102061522B1 (ko) 2019-10-31 2019-10-31 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190137378A KR102061522B1 (ko) 2019-10-31 2019-10-31 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180050989 Division 2018-05-03 2018-05-03

Publications (2)

Publication Number Publication Date
KR20190127624A true KR20190127624A (ko) 2019-11-13
KR102061522B1 KR102061522B1 (ko) 2020-01-02

Family

ID=68534960

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190137378A KR102061522B1 (ko) 2019-10-31 2019-10-31 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법

Country Status (1)

Country Link
KR (1) KR102061522B1 (ko)

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102198195B1 (ko) * 2020-09-23 2021-01-05 서울공간정보 주식회사 편의성이 향상된 mms를 이용한 맵 데이터 제작 방법
KR20210076335A (ko) * 2019-12-16 2021-06-24 재단법인대구경북과학기술원 도로 특징 지도 구축 방법 및 장치
KR20210076330A (ko) * 2019-12-16 2021-06-24 재단법인대구경북과학기술원 포인트 데이터 기반 지도 구축 방법 및 장치
KR102310608B1 (ko) * 2021-07-08 2021-10-13 주식회사 인피닉 레이더 및 라이다를 기반으로 하는 자율주행 학습 데이터의 처리 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310601B1 (ko) * 2021-07-08 2021-10-13 주식회사 인피닉 레이저 프리뷰를 이용한 학습 데이터 수집 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102355914B1 (ko) 2020-08-31 2022-02-07 (주)오토노머스에이투지 라이다 센서를 이용한 주행 도로의 반사율에 기반하여 이동체의 이동 속도를 제어하기 위한 방법 및 이를 이용한 속도 제어 장치
KR20220028750A (ko) 2020-08-31 2022-03-08 (주) 오토노머스에이투지 이동체에 설치된 멀티 레이어 라이다 센서의 센싱 포인트들을 분류하는 방법 및 이를 이용한 컴퓨팅 장치
KR20220040119A (ko) * 2020-09-23 2022-03-30 주식회사 새한지앤아이 데이터 신뢰도가 향상된 mms를 이용한 맵 데이터 제작 방법
KR102391811B1 (ko) * 2021-12-14 2022-04-28 한국해양과학기술원 카메라 정보를 활용한 라이다 기반 연안해역 상황인식 장치 및 방법
WO2022114311A1 (ko) * 2020-11-30 2022-06-02 한국전자기술연구원 다중 영상을 이용한 라이다 센서 정보 보정 및 업-샘플링 방법 및 장치
KR20220075794A (ko) * 2020-11-30 2022-06-08 (주)심스리얼리티 3차원 지도의 생성 방법
KR102407690B1 (ko) * 2020-12-23 2022-06-10 충북대학교 산학협력단 평면 특징을 이용한 3차원 라이다의 캘리브레이션 방법
KR20220078029A (ko) * 2020-12-03 2022-06-10 충북대학교 산학협력단 3d 라이다를 이용한 비정형 객체 검출 시스템 및 그 방법
KR20220112095A (ko) * 2021-02-03 2022-08-10 (주)서울로보틱스 객체 추적 장치, 객체 추적 방법 및 이를 수행하는 프로그램을 기록한 기록매체
KR102445846B1 (ko) * 2022-02-24 2022-09-21 (주)시스콘 장애물 추적 시스템 및 장애물 추적 방법
WO2023200075A1 (ko) * 2022-04-12 2023-10-19 (주)서울로보틱스 객체 추적 장치, 객체 추적 방법 및 이를 수행하는 프로그램을 기록한 기록매체

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220000724A (ko) * 2020-06-26 2022-01-04 삼성전자주식회사 공기 조화기 및 그의 제어 방법

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210076335A (ko) * 2019-12-16 2021-06-24 재단법인대구경북과학기술원 도로 특징 지도 구축 방법 및 장치
KR20210076330A (ko) * 2019-12-16 2021-06-24 재단법인대구경북과학기술원 포인트 데이터 기반 지도 구축 방법 및 장치
KR102355914B1 (ko) 2020-08-31 2022-02-07 (주)오토노머스에이투지 라이다 센서를 이용한 주행 도로의 반사율에 기반하여 이동체의 이동 속도를 제어하기 위한 방법 및 이를 이용한 속도 제어 장치
KR20220028750A (ko) 2020-08-31 2022-03-08 (주) 오토노머스에이투지 이동체에 설치된 멀티 레이어 라이다 센서의 센싱 포인트들을 분류하는 방법 및 이를 이용한 컴퓨팅 장치
KR102198195B1 (ko) * 2020-09-23 2021-01-05 서울공간정보 주식회사 편의성이 향상된 mms를 이용한 맵 데이터 제작 방법
KR20220040119A (ko) * 2020-09-23 2022-03-30 주식회사 새한지앤아이 데이터 신뢰도가 향상된 mms를 이용한 맵 데이터 제작 방법
WO2022114311A1 (ko) * 2020-11-30 2022-06-02 한국전자기술연구원 다중 영상을 이용한 라이다 센서 정보 보정 및 업-샘플링 방법 및 장치
KR20220075794A (ko) * 2020-11-30 2022-06-08 (주)심스리얼리티 3차원 지도의 생성 방법
KR20220078029A (ko) * 2020-12-03 2022-06-10 충북대학교 산학협력단 3d 라이다를 이용한 비정형 객체 검출 시스템 및 그 방법
KR102407690B1 (ko) * 2020-12-23 2022-06-10 충북대학교 산학협력단 평면 특징을 이용한 3차원 라이다의 캘리브레이션 방법
KR20220112095A (ko) * 2021-02-03 2022-08-10 (주)서울로보틱스 객체 추적 장치, 객체 추적 방법 및 이를 수행하는 프로그램을 기록한 기록매체
KR102310601B1 (ko) * 2021-07-08 2021-10-13 주식회사 인피닉 레이저 프리뷰를 이용한 학습 데이터 수집 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102310608B1 (ko) * 2021-07-08 2021-10-13 주식회사 인피닉 레이더 및 라이다를 기반으로 하는 자율주행 학습 데이터의 처리 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
WO2023282466A1 (ko) * 2021-07-08 2023-01-12 주식회사 인피닉 레이저 프리뷰를 이용한 학습 데이터 수집 방법 및 실행하기 위하여 기록매체에 기록된 컴퓨터 프로그램
KR102391811B1 (ko) * 2021-12-14 2022-04-28 한국해양과학기술원 카메라 정보를 활용한 라이다 기반 연안해역 상황인식 장치 및 방법
KR102445846B1 (ko) * 2022-02-24 2022-09-21 (주)시스콘 장애물 추적 시스템 및 장애물 추적 방법
WO2023200075A1 (ko) * 2022-04-12 2023-10-19 (주)서울로보틱스 객체 추적 장치, 객체 추적 방법 및 이를 수행하는 프로그램을 기록한 기록매체

Also Published As

Publication number Publication date
KR102061522B1 (ko) 2020-01-02

Similar Documents

Publication Publication Date Title
KR102061522B1 (ko) 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법
KR102109941B1 (ko) 라이다 센서 및 카메라를 이용한 객체 검출 방법 및 그를 위한 장치
JP6842520B2 (ja) 物体検出方法、装置、機器、記憶媒体及び車両
CN110163904B (zh) 对象标注方法、移动控制方法、装置、设备及存储介质
US10776651B2 (en) Material handling method, apparatus, and system for identification of a region-of-interest
Nedevschi et al. Stereo-based pedestrian detection for collision-avoidance applications
CN110865393A (zh) 基于激光雷达的定位方法及系统、存储介质和处理器
WO2020048285A1 (en) Estimating two-dimensional object bounding box information based on bird's-eye view point cloud
WO2020192431A1 (en) System and method for ordered representation and feature extraction for point clouds obtained by detection and ranging sensor
US20060115113A1 (en) Method for the recognition and tracking of objects
CN110794406B (zh) 多源传感器数据融合系统和方法
AU2010338283B2 (en) Head recognition method
EP3719697B1 (en) Method and device for determining whether a hand cooperates with a manual steering element of a vehicle
US20210124960A1 (en) Object recognition method and object recognition device performing the same
KR20210090384A (ko) 카메라 및 라이다 센서를 이용한 3d 객체 검출방법 및 장치
KR102559196B1 (ko) 3d 라이다를 이용한 비정형 객체 검출 시스템 및 그 방법
JP2007121111A (ja) 合成開口レーダ画像による目標物識別方法及び装置
JP2019139420A (ja) 立体物認識装置、撮像装置および車両
WO2020127151A1 (en) Method for improved object detection
US20220171975A1 (en) Method for Determining a Semantic Free Space
KR20230101560A (ko) 차량용 라이다 시스템 및 그 객체 검출 방법
Morris et al. A view-dependent adaptive matched filter for ladar-based vehicle tracking
KR20230036651A (ko) 라이다 데이터의 다중 좌표계 특징을 사용한 객체 검출 시스템 및 방법
Borgmann et al. Pedestrian detection and tracking in sparse MLS point clouds using a neural network and voting-based approach
US11538260B2 (en) Object identification apparatus, object identification method, and nontransitory computer readable medium storing control program

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant