KR102061522B1 - Apparatus and method for detecting object based on density using lidar sensor - Google Patents
Apparatus and method for detecting object based on density using lidar sensor Download PDFInfo
- Publication number
- KR102061522B1 KR102061522B1 KR1020190137378A KR20190137378A KR102061522B1 KR 102061522 B1 KR102061522 B1 KR 102061522B1 KR 1020190137378 A KR1020190137378 A KR 1020190137378A KR 20190137378 A KR20190137378 A KR 20190137378A KR 102061522 B1 KR102061522 B1 KR 102061522B1
- Authority
- KR
- South Korea
- Prior art keywords
- density
- image
- candidate group
- lidar data
- lidar
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 50
- 238000001914 filtration Methods 0.000 claims description 31
- 238000001514 detection method Methods 0.000 claims description 24
- 230000000052 comparative effect Effects 0.000 abstract description 10
- 238000010586 diagram Methods 0.000 description 5
- 238000006243 chemical reaction Methods 0.000 description 2
- 230000000694 effects Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G01S17/895—
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/90—Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
-
- G06T5/002—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/70—Denoising; Smoothing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/10—Segmentation; Edge detection
- G06T7/11—Region-based segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Electromagnetism (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Optical Radar Systems And Details Thereof (AREA)
- Image Analysis (AREA)
Abstract
라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법을 개시한다.
본 실시예의 일 측면에 의하면, 라이다 센서로부터 수신된 라이다 데이터를 밀집도와 연관성을 기준으로 그룹화하여 비교영상을 생성하는 클러스터링부; 상기 수신된 라이다 데이터 중 상기 비교영상과 매칭되는 라이다 데이터를 그룹화하여 객체후보군을 검출하는 후보검출부; 및 상기 객체후보군의 특징을 기반으로 해당 객체후보군을 분류하여 분류정보를 생성하는 객체판단부를 포함하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치를 제공한다.Disclosed are an apparatus and method for detecting objects based on density using a lidar sensor.
According to an aspect of the present embodiment, the clustering unit for generating a comparative image by grouping the LiDAR data received from the LiDAR sensor based on the density and the relationship; A candidate detector for detecting an object candidate group by grouping LiDAR data matching the comparison image among the received LiDAR data; And an object determining unit for classifying the object candidate group based on the characteristics of the object candidate group to generate classification information.
Description
본 발명은 객체 검출 장치 및 방법에 관한 것으로서, 보다 구체적으로는 라이다 센서만을 이용하여 객체를 검출 및 분류하고, 밀집도를 기준으로 라이다 데이터를 필터링하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and method for detecting an object, and more specifically, to an object detecting apparatus based on density using a lidar sensor for detecting and classifying an object using only a lidar sensor and filtering lidar data based on the density. And to a method.
이 부분에 기술된 내용은 단순히 본 발명의 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.The contents described in this section merely provide background information on the embodiments of the present invention and do not constitute a prior art.
최근, 로봇 제어, 첨단 운전자 보조 시스템(Advanced Driver Assistant System, ADAS), 자율주행차량 등에 대한 관심이 높아짐에 따라, 자율주행차량 등에 장착 또는 적용되어 주변 객체를 검출하는 장치 및 방법에 대한 많은 연구가 진행되고 있다.Recently, with increasing interest in robot control, advanced driver assistant systems (ADAS), autonomous vehicles, and the like, many studies on devices and methods for detecting surrounding objects installed or applied to autonomous vehicles are being conducted. It's going on.
주변 객체를 검출하는 방법 중 대표적인 방법으로 카메라로 촬영된 영상을 이용하여 주변 객체를 검출하는 방법을 들 수 있다. 카메라를 이용하는 방법은 객체에 대한 정확한 형상 정보를 획득할 수 있어 객체의 종류를 상대적으로 정확하게 판단할 수 있다는 장점을 가진다. As a representative method of detecting a surrounding object, a method of detecting a surrounding object by using an image captured by a camera may be mentioned. The method using a camera has an advantage in that accurate shape information of an object can be obtained so that the type of object can be determined relatively accurately.
그러나 이 방법은 2차원 영상을 생성하는 카메라의 특성 상 객체의 3차원 위치(거리정보)를 정확하게 추정하기 어려운 한계를 가진다. 또한, 이 방법은 어두운 환경에서는 정확한 영상을 생성하기 어려운 카메라의 특성, 반사된 빛에 의한 영향, 객체로 인식되는 객체의 그림자 등 외부 환경에 의한 오류를 내포할 가능성이 높다고 할 수 있다.However, this method has a limitation in that it is difficult to accurately estimate the 3D position (distance information) of the object due to the characteristics of the camera generating the 2D image. In addition, this method is likely to contain errors caused by the external environment, such as the characteristics of the camera, the effect of reflected light, the shadow of the object recognized as an object that is difficult to produce an accurate image in a dark environment.
주변 객체를 검출하는 방법 중 대표적인 다른 방법으로 카메라와 라이다(Light Detection And Range, LiDAR) 센서를 함께 이용하여 객체를 검출하는 방법을 들 수 있다. 라이다 센서는 레이저가 객체에 반사되어 되돌아 오는 시간을 측정하여 정확한 거리정보를 확보할 수 있으므로 이종의 센서(카메라 및 라이다)를 이용하는 방법은 전술된 카메라만을 이용하는 방법의 단점을 일부 보완할 수 있다.Another representative method of detecting a surrounding object is a method of detecting an object by using a camera and a LiDAR sensor. Since the Lidar sensor can obtain accurate distance information by measuring the time when the laser is reflected back to the object, the method using heterogeneous sensors (camera and lidar) can partially compensate for the disadvantages of using the above-described camera only. have.
그러나 이 방법은 서로 다른 복수 개의 센서가 단일 대상에 적용되어야 하므로 소형 로봇 등을 대상으로 구현되는 경우 설치 용이성을 저하시킬 수 있음은 물론, 비용이 상승하는 문제점을 발생시킬 수 있다.However, since this method requires a plurality of different sensors to be applied to a single target, when the target is implemented for a small robot or the like, the ease of installation may be degraded and the cost may be increased.
또한, 이 방법은 이종의 센서로부터 생성되는 객체에 대한 데이터를 상호 보완적으로 이용하기 위하여 이종의 센서 사이에 내부 및 외부 파라미터에 대한 캘리브레이션(Calibration) 과정이 필수적으로 수행되어야 하므로 객체 검출 과정의 복잡도를 증가시켜 실시간 객체 검출에 적합하지 않게 되는 문제점을 가지고 있다.In addition, in this method, the complexity of the object detection process is necessary because a calibration process for internal and external parameters must be performed among heterogeneous sensors in order to complementarily use data on objects generated from heterogeneous sensors. It has a problem that it is not suitable for real-time object detection by increasing.
본 발명의 실시예는 라이다 센서만을 이용하여 객체를 검출하도록 구성되므로 객체에 대한 정확한 위치정보를 확보할 수 있고 설치 용이성과 비용 효율성 또한, 향상시킬 수 있다.Since the embodiment of the present invention is configured to detect the object using only the lidar sensor, it is possible to secure accurate position information on the object, and to improve installation ease and cost efficiency.
또한, 본 발명의 실시예는 라이다 센서에서 감지된 데이터를 밀집도를 기준으로 필터링하고, 이 필터링된 데이터를 이용하여 객체를 검출하도록 구성되므로 객체 검출 과정에 소요되는 시간을 감소시켜 실시간 객체 검출을 더욱 용이하게 구현할 수 있다.In addition, the embodiment of the present invention is configured to filter the data detected by the lidar sensor based on the density, and to detect the object using the filtered data, thereby reducing the time required for the object detection process to detect the real-time object It can be implemented more easily.
본 발명에 의한 실시예의 일 측면에 의하면, 라이다 센서로부터 수신된 라이다 데이터를 밀집도와 연관성을 기준으로 그룹화하여 비교영상을 생성하는 클러스터링부; 상기 수신된 라이다 데이터 중 상기 비교영상과 매칭되는 라이다 데이터를 그룹화하여 객체후보군을 검출하는 후보검출부; 및 상기 객체후보군의 특징을 기반으로 해당 객체후보군을 분류하여 분류정보를 생성하는 객체판단부를 포함하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치를 제공한다.According to an aspect of an embodiment of the present invention, the clustering unit for generating a comparative image by grouping the LiDAR data received from the LiDAR sensor based on the density and association; A candidate detector for detecting an object candidate group by grouping LiDAR data matching the comparison image among the received LiDAR data; And an object determining unit for classifying the object candidate group based on the characteristics of the object candidate group to generate classification information.
또한, 본 발명에 의한 실시예의 다른 측면에 의하면, 라이다 센서로부터 수신된 라이다 데이터를 밀집도를 기준으로 밀집도영상을 생성하는 필터링단계; 연관성을 기준으로 상기 밀집도영상을 그룹화하여 비교영상을 생성하는 비교영상생성단계; 상기 수신된 라이다 데이터 중 상기 비교영상과 매칭되는 라이다 데이터를 그룹화하여 객체후보군을 검출하는 후보검출단계; 및 상기 객체후보군의 특징을 기반으로 해당 객체후보군을 분류하여 분류정보를 생성하는 객체판단단계를 포함하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 방법을 제공한다.In addition, according to another aspect of an embodiment of the present invention, the filtering step of generating a dense image based on the density of the lidar data received from the lidar sensor; A comparison image generation step of generating a comparison image by grouping the dense image based on the correlation; A candidate detection step of detecting object candidate groups by grouping LiDAR data matching the comparison image among the received LiDAR data; And an object determining step of classifying the object candidate group based on the characteristics of the object candidate group to generate classification information.
이상에서 설명한 바와 같은 본 발명의 실시예에 의하면, 라이다 센서만을 이용하여 객체를 검출하므로 객체 검출에 이용되는 장치를 간소화시키고 객체 검출에 대한 비용 효율성을 향상시킬 수 있게 된다.According to the embodiment of the present invention as described above, since the object is detected using only the lidar sensor, it is possible to simplify the apparatus used for object detection and to improve the cost efficiency for object detection.
또한, 라이다 센서에서 감지된 라이다 데이터를 밀집도를 기반으로 필터링하므로 밀집도가 작은 영역 즉, 객체일 확률이 낮은 영역을 제거할 수 있어 객체 검출에 대한 정확성을 더욱 높일 수 있다.In addition, since the Lidar data detected by the LiDAR sensor is filtered based on the density, the area where the density is small, that is, the area where the probability of the object is low, can be removed, thereby increasing the accuracy of object detection.
나아가 필터링된 라이다 데이터를 이용하여 객체를 검출하고 분류하므로 객체 검출 및 분류에 소요되는 시간을 감소시켜 실시간 객체 검출을 더욱 용이하게 구현할 수 있다. Furthermore, since the object is detected and classified using the filtered LiDAR data, real-time object detection can be more easily implemented by reducing the time required for object detection and classification.
도 1은 본 발명의 실시예에 따른 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치 및 관련 구성을 전반적으로 도시한 도면이다.
도 2는 본 발명의 실시예에 따른 객체 검출 장치를 개략적으로 나타낸 블록 구성도이다.
도 3은 본 발명의 실시예에 따른 밀집도를 기준으로 라이다 데이터를 필터링하고 이를 이용하여 객체를 검출하고 분류하는 과정을 설명하기 위한 흐름도이다.
도 4는 본 발명의 실시예에 따른 객체후보군을 2차원 영상으로 변환하여 생성하고 이를 이용하여 객체를 검출하고 분류하는 과정을 설명하기 위한 흐름도이다.
도 5는 본 발명의 실시예에 따른 밀집도를 기준으로 라이다 데이터를 필터링하는 과정을 설명하기 위한 예시도이다.
도 6은 본 발명의 실시예에 따른 객체후보군을 2차원 영상으로 변환하여 생성하는 과정을 설명하기 위한 예시도이다.FIG. 1 is a view generally showing an apparatus for detecting a density based object and a related configuration using a lidar sensor according to an embodiment of the present invention.
2 is a block diagram schematically illustrating an object detecting apparatus according to an exemplary embodiment of the present invention.
3 is a flowchart illustrating a process of filtering LiDAR data based on the density and detecting and classifying objects using the same according to an embodiment of the present invention.
4 is a flowchart illustrating a process of converting and generating an object candidate group into a 2D image according to an embodiment of the present invention and detecting and classifying objects using the same.
5 is an exemplary diagram for describing a process of filtering LiDAR data based on the density according to an embodiment of the present invention.
6 is an exemplary diagram for describing a process of generating and converting an object candidate group into a 2D image according to an embodiment of the present invention.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의하여야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 요지를 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략한다.Hereinafter, some embodiments of the present invention will be described in detail through exemplary drawings. In adding reference numerals to the components of each drawing, it should be noted that the same reference numerals are assigned to the same components as much as possible even though they are shown in different drawings. In describing the embodiments of the present invention, when it is determined that the detailed description of the related well-known configuration or function may obscure the gist of the present invention, the detailed description thereof will be omitted.
또한, 본 발명의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 명세서 전체에서, 어떤 부분이 어떤 구성요소를 '포함', '구비'한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 '…부,' '모듈' 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다.In addition, in describing the component of this invention, terms, such as 1st, 2nd, A, B, (a), (b), can be used. These terms are only for distinguishing the components from other components, and the nature, order or order of the components are not limited by the terms. Throughout the specification, when a part is said to include, 'include' a certain component, which means that it may further include other components, except to exclude other components unless otherwise stated. . In addition, as described in the specification. The term 'module' refers to a unit that processes at least one function or operation, which may be implemented by hardware or software or a combination of hardware and software.
도 1은 본 발명의 실시예에 따른 라이다 센서(50)를 이용한 밀집도 기반의 객체 검출 장치(이하 '객체검출장치'라 지칭한다)(100) 및 관련 구성을 전반적으로 도시한 도면이다. 이하에서는 도 1을 참조하여 본 발명의 객체검출장치(100) 및 관련 구성에 대하여 설명하도록 한다.FIG. 1 is a view generally showing a compactness-based object detecting apparatus 100 (hereinafter referred to as an object detecting apparatus) 100 and a related configuration using a
본 발명의 객체검출장치(100)는 라이다 센서(50)가 외부에 존재하는 다른 차량, 사람, 사물 등 객체를 감지하여 생성한 라이다 데이터를 수신하고, 이를 이용하여 객체를 검출 및 분류하는 장치 해당한다.The
도 1에 나타낸 본 발명의 실시예는 본 발명의 객체검출장치(100)가 구현되는 다양한 실시예 중 하나로서, 본 발명의 객체검출장치(100)가 자율주행차량(10)에 설치되어 외부 객체를 검출하고 분류하는 실시예를 나타낸다.The embodiment of the present invention shown in FIG. 1 is one of various embodiments in which the
외부 객체를 검출 및 분류하고 그 결과를 사용자 또는 운전자에게 제공하거나 동작 제어에 반영하는 대상에 해당한다면, 본 발명의 객체검출장치는(100) 도 1에 도시된 자율주행차량(10)뿐만 아니라 로봇, 일반 차량 등 다양한 대상에 설치될 수 있음은 물론이다.If the object corresponds to a target for detecting and classifying an external object and providing the result to a user or a driver or reflecting the result in an operation control, the
이하에서는 이와 같은 다양한 실시예 중 본 발명의 객체검출장치가 자율주행차량(10)에 설치되는 실시예를 중심으로 객체를 검출하고 분류하는 방법에 대하여 설명하도록 한다.Hereinafter, a description will be given of a method of detecting and classifying objects based on the embodiments in which the object detecting apparatus of the present invention is installed in the
도 1에 도시된 라이다 센서(50)는 레이더 파장의 빛을 외부로 방출하고, 이 방출된 빛이 외부 객체에 반사되어 되돌아오는데 소요되는 시간을 측정하여 외부 객체의 위치에 대한 정보(라이다 데이터)를 생성한다.The
본 발명의 객체검출장치(100)는 라이다 데이터를 이용하여 객체의 존재 여부뿐만 아니라, 객체의 종류도 분류하도록 구성되므로, 본 발명에서 이용되는 라이다 센서(50)는 2D 라이다 센서(50)가 복수의 레이어로 구성되어 3차원 정보가 포함된 라이다 데이터를 생성하는 3D 라이다 센서(50)로 구현되는 것이 바람직하다.Since the
다만, 2D 라이다 센서(50)를 틸팅시키거나 회전시키는 경우 3차원 정보가 포함된 라이다 데이터가 확보될 수 있으므로, 본 발명에서 이용되는 라이다 센서(50)는 틸팅 또는 회전 이동이 가능하도록 구성된 2D 라이다 센서(50)로 구현될 수 있음은 물론이다.However, when the
이와 같은 3D 라이다 센서(50) 또는 2D 라이다 센서(50)는 객체 검출의 효율성을 고려하여 도 1에 도시된 자율주행차량(10)의 전방 위치는 물론, 측면과 후방 위치 등 다양한 위치에 설치될 수 있다.The
외부 객체에 대한 위치정보가 포함된 클라우드 형태의 라이다 데이터가 라이다 센서(50)로부터 수신되면, 본 발명의 객체검출장치(100)는 수신된 라이다 데이터를 대상으로 후술되는 다양한 프로세싱을 적용하여 객체를 검출 및 분류한다.When the LiDAR data of the cloud type including the location information of the external object is received from the LiDAR
객체의 검출 및 분류가 완료되면, 본 발명의 객체검출장치가 적용된 자율주행차량(10) 또는 로봇은 검출 및 분류 결과를 이용하여 현재의 외부 상황을 판단하고, 이를 기반으로 이동 또는 정지 여부, 이동의 방향, 이동 속도 등의 동작을 외부 상황에 적합하도록 결정할 수 있게 된다. When the detection and classification of the object is completed, the
본 발명의 객체검출장치가 일반 차량의 첨단 운전자 보조 시스템으로 적용되는 경우, 본 발명의 객체검출장치가 검출 및 분류 결과를 차량의 디스플레이장치 또는 사운드 장치 등의 출력 유닛(20)으로 전송하면 해당 차량의 운전자는 출력 유닛(20)을 통하여 표출된 검출 결과 및 분류 결과에 대응되도록 해당 차량의 동작을 제어할 수 있게 된다.When the object detecting apparatus of the present invention is applied as an advanced driver assistance system of a general vehicle, when the object detecting apparatus of the present invention transmits the detection and classification result to the
도 2는 본 발명의 실시예에 따른 객체 검출 장치를 개략적으로 나타낸 블록 구성도이며, 도 3은 본 발명의 실시예에 따른 밀집도를 기준으로 라이다 데이터를 필터링하고 이를 이용하여 객체를 검출 및 분류하는 과정을 설명하기 위한 흐름도이다. 이하에서는 도 2 및 도 3을 참조하여 본 발명에 의한 객체검출장치의 구성과 객체를 검출하고 분류하는 과정에 대하여 상세히 설명하도록 한다.FIG. 2 is a block diagram schematically illustrating an object detecting apparatus according to an exemplary embodiment of the present invention, and FIG. 3 illustrates filtering of LiDAR data based on the density of the object detecting apparatus according to an exemplary embodiment of the present invention. This is a flowchart for explaining the process. Hereinafter, a configuration of an object detecting apparatus and a process of detecting and classifying objects according to the present invention will be described in detail with reference to FIGS. 2 and 3.
도 2에 도시된 바와 같이, 본 발명의 객체검출장치는 I/O인터페이스부(110), 지면데이터제거부(115), 클러스터링부(120), 후보검출부(130), 후보영상생성부(150) 및 객체판단부(140)를 포함하여 구성될 수 있다.As shown in FIG. 2, the object detecting apparatus of the present invention includes an I /
먼저, 본 발명의 I/O인터페이스부(110)는 외부 객체의 위치에 대한 정보가 포함된 라이다 데이터를 라이다 센서(50)로부터 수신 받는다(S310). 본 발명은 수신된 라이다 데이터를 그대로 이용하여 후술되는 필터링 과정, 군집화 과정 등을 수행하도록 구성될 수 있다. First, the I /
실시형태에 따라, 본 발명은 라이다 데이터 중 지면에 해당하는 데이터를 선행적으로 제거하고, 지면 데이터가 제거된 라이다 데이터를 이용하여 후술되는 필터링 과정 등을 수행하도록 구성될 수 있다.According to an exemplary embodiment, the present invention may be configured to remove data corresponding to the ground out of the lidar data and to perform a filtering process described below using the lidar data from which the ground data is removed.
이를 위하여, 본 발명의 지면데이터제거부(115)는 수신된 라이다 데이터 중 지면 데이터를 제거한다(S320). 지면 데이터를 제거하는 방법은 라이다 데이터들의 높이 차이를 기준으로 지면에 해당하는 데이터를 파악하여 제거하는 높이 기반 알고리즘, 라이다 데이터들의 법선 벡터를 기준으로 지면에 해당하는 데이터를 파악하여 제거하는 법선 벡터 기반 알고리즘 등 다양한 방법으로 구현될 수 있다.To this end, the ground
이와 같이, 본 발명의 객체검출장치가 라이다 데이터 중 지면 데이터를 제거하도록 구성되면, 본 발명은 지면을 객체로 검출하는 오류의 발생을 미연에 방지할 수 있어 객체 검출 및 분류에 대한 높은 신뢰성을 확보할 수 있게 된다.As described above, when the object detecting apparatus of the present invention is configured to remove the ground data from the lidar data, the present invention can prevent the occurrence of an error of detecting the ground as an object in advance, thereby increasing the high reliability of the object detection and classification. It can be secured.
본 발명의 클러스터링부(120)는 지면 데이터가 제거된 라이다 데이터 또는 수신된 라이다 데이터를 그룹화하여 비교영상을 생성한다(S330). 라이다 데이터를 그룹화하는 프로세싱은 라이다 데이터들 사이의 밀집도와 연관성을 기준으로 수행된다.The
라이다 데이터들의 밀집도는 특정 영역에 분포 또는 위치되어 있는 라이다 데이터들의 개수를 기준으로 판단되며, 라이다 데이터들의 연관성은 라이다 데이터들 사이의 유클리드 거리, 반사율, 법선 벡터 등을 기준으로 판단된다.The density of LiDAR data is determined based on the number of LiDAR data distributed or located in a specific area, and the correlation of LiDAR data is determined based on Euclidean distance, reflectance, normal vector, etc. between LiDAR data. .
즉, 본 발명의 클러스터링부(120)는 라이다 데이터들이 분포되어 있는 정도와 라이다 데이터들 사이의 유사도를 기준으로 유사한 영역에 분포되고 유사한 속성을 가지는 라이다 데이터들을 판별하여 이들을 개별적인 그룹으로 군집화함으로써 비교영상을 생성한다.That is, the
비교영상이 생성되면, 본 발명의 후보검출부(130)는 I/O인터페이스부(110)에 수신된 라이다 데이터와 비교영상을 비교하여 I/O인터페이스부(110)에 수신된 라이다 데이터 중 비교영상과 매칭되는 라이다 데이터를 선별하고, 선별된 라이다 데이터를 그룹화하여 객체후보군을 검출한다(S340). 객체후보군은 실제 차량 또는 로봇 외부에 존재하는 객체일 확률이 높은 대상을 의미한다.When the comparison image is generated, the
객체후보군이 검출되면, 본 발명의 객체판단부(140)는 객체후보군의 특징 즉, 객체후보군에 포함된 하나 이상의 라이다 데이터의 특징을 추출한다(S360). 객체후보군의 특징을 추출하는 방법은 SIFT(Scale Invariant Feature Transform) 알고리즘, HOG(Histogram of Oriented Grandients) 알고리즘, Haar 알고리즘, Ferm 알고리즘 등 다양한 알고리즘을 이용하여 구현될 수 있다.When the object candidate group is detected, the
객체후보군의 특징이 추출되면, 본 발명의 객체판단부(140)는 추출된 특징을 기반으로 해당 객체후보군의 종류(사람, 차량 등)를 분류하여 분류정보를 생성한다(S360). When the feature of the object candidate group is extracted, the
객체후보군을 분류하는 방법 또한, SVM(Support Vector Machine), MLP(Multilayer Perceptron) 등 다양한 학습 모델을 이용하여 구현될 수 있다. 즉, 본 발명의 객체판단부(140)는 추출된 특징을 이용하여 지속적으로 학습되고, 새로운 객체후보군에 대한 특징이 추출되는 경우 학습된 결과를 이용하여 새로이 추출된 특징에 해당하는 객체후보군을 분류함으로써 분류정보를 생성한다.The method for classifying the object candidate group may also be implemented using various learning models such as a support vector machine (SVM) and a multilayer perceptron (MLP). That is, the
생성된 분류정보는 본 발명의 I/O인터페이스부(110)를 통하여 출력 유닛(20)으로 전송되어 외부로 표출되거나, 본 발명의 I/O인터페이스부(110)를 통하여 로봇 또는 자율주행차량(10)의 동작 제어에 이용될 수 있다(S370). The generated classification information is transmitted to the
도 5는 본 발명의 실시예에 따른 밀집도를 기준으로 라이다 데이터를 필터링하는 과정을 설명하기 위한 예시도이다. 이하에서는 도 2, 도 3 및 도 5를 참조하여 밀집도를 기준으로 라이다 데이터를 필터링함으로써 객체 검출 및 분류에 대한 시간 효율성을 향상시키는 본 발명의 기술적 특징에 대하여 설명하도록 한다.5 is an exemplary diagram for describing a process of filtering LiDAR data based on the density according to an embodiment of the present invention. Hereinafter, technical features of the present invention for improving time efficiency for object detection and classification by filtering LiDAR data based on the density based on FIGS. 2, 3, and 5 will be described.
전술된 바와 같이, 본 발명은 틸팅 또는 회전 이동이 가능한 2D 라이다 센서(50)또는 3D 라이다 센서(50)를 이용하여 외부 객체를 검출하고 분류하도록 구성된다. 이와 같이 구성되는 경우, 라이다 센서(50)에서 생성되는 라이다 데이터는 단일 객체에 대해 복수 개의 점으로 구성되는 포인트 클라우드 형태를 가지며, 이 라이다 데이터에는 객체와의 거리, 라이다 센서(50)를 기준으로 한 객체의 수평 각도뿐만 아니라, 라이다 센서(50)를 기준으로 한 객체의 수직 각도가 포함된다. As described above, the present invention is configured to detect and classify external objects using the
따라서 단일 객체를 표현하는 라이다 데이터의 개수가 증가하게 되고 라이다 데이터 자체의 크기 또한, 증가하게 되므로 라이다 데이터를 처리하는데 많은 시간이 소요될 수 있다. 더욱이, 라이다 센서(50)의 감지 범위 내에 복수 개의 객체가 존재하는 경우 라이다 데이터를 처리하는데 소요되는 시간이 기하급수적으로 증가될 수 있다.Therefore, since the number of LiDAR data representing a single object is increased and the size of the LiDAR data itself is also increased, it may take a long time to process the LiDAR data. Furthermore, when a plurality of objects exist within the sensing range of the
본 발명은 이러한 문제를 인식하고, 이를 해결하기 위하여 밀집도를 기준으로 라이다 데이터를 필터링함으로써 처리해야 할 라이다 데이터의 개수를 감소시키도록 구성된다.The present invention is configured to reduce the number of LiDAR data to be processed by recognizing this problem and filtering LiDAR data based on density to solve this problem.
이를 위하여 먼저, 본 발명의 클러스터링부(120)를 구성하는 필터링부(123)는 밀집도를 기준으로 라이다 데이터를 필터링하여 밀집도 영상을 생성한다(S335). 라이다 데이터를 필터링하는 프로세싱은 다양한 방법으로 구현될 수 있다.To this end, first, the
예를 들어, 본 발명의 필터링부(123)는 특정 영역 내 포함된 라이다 데이터의 개수를 기준으로 라이다 데이터의 밀집도를 판단하고, 해당 영역이 기준 밀집도(기준이 되는 라이다 데이터의 개수) 이하의 밀집도를 가지는 경우 해당 영역을 제거(필터링)하며 이와 반대로, 해당 영역이 기준 밀집도 이상의 밀집도를 가지는 경우 해당 영역을 포함시켜 밀집도 영상을 생성할 수 있다.For example, the
또한, 본 발명의 필터링부(123)는 도 5에 예시된 바와 같이 라이다 데이터를 픽셀 단위로 구분하고 필터링 프로세싱이 픽셀 단위로 구현되도록 구성될 수 있다. 이를 구체적으로 설명하면 아래와 같다.In addition, the
먼저, 본 발명의 필터링부(123)는 도 5 (1)의 (A)에 예시된 바와 같이 라이다 데이터를 동일한 면적 또는 크기를 가지는 픽셀 단위로 구분하고(S333), 기 설정된 밀집도(기준 밀집도)를 기준으로 각 픽셀 값을 이진화(1 or 0)하거나 도 5 (1)의 (B)에 예시된 바와 같이 픽셀 내 라이다 데이터의 개수를 기준으로 각 픽셀에 차등적인 밀집도를 할당한다.First, the
각 픽셀 값을 1 또는 0으로 이진화한 경우, 본 발명의 필터링부(123)는 0에 해당하는 픽셀을 필터링(제거)하여 밀집영상을 생성한다(S335). 각 픽셀에 차등적인 밀집도를 할당한 경우, 본 발명의 필터링부(123)는 기준 값 이하의 밀집도를 가지는 픽셀을 필터링하여 밀집도 영상을 생성한다(S335).When each pixel value is binarized to 1 or 0, the
이러한 다양한 방법을 통하여 생성된 밀집도 영상과 라이다 센서(50)로부터 수신된 라이다 데이터를 비교한 예시가 도 5 (2)에 표현되어 있다. 도 5 (2)의 (A)는 라이다 센서(50)로부터 수신된 포인트 클라우드 형태의 라이다 데이터에 대한 예시이며, 도 5 (2)의 (B)는 필터링 프로세싱이 적용되어 생성된 밀집도 영상에 대한 예시이다.An example of comparing the density image generated by the various methods and the LiDAR data received from the
도 5 (2)의 (A)와 (B)를 비교하면, 라이다 센서(50)로부터 수신된 라이다 데이터 중 밀집도가 낮은 영역의 라이다 데이터가 필터링되어 제거되는데 반하여, 밀집도가 높은 라이다 데이터는 더욱 강조되는 것을 알 수 있다.Comparing (A) and (B) of FIG. 5 (2), LiDAR data of a low density region of the LiDAR data received from the
밀집도 영상이 생성되면, 클러스터링부(120)를 구성하는 본 발명의 비교영상생성부(125)는 라이다 데이터들 사이의 연관성을 기준으로 라이다 데이터를 그룹화하여 비교영상을 생성한다(S337).When the dense image is generated, the
이후, 비교영상과의 매칭을 통하여 객체후보군을 검출하는 전술된 프로세싱과 객체후보군의 특징을 기반으로 해당 객체후보군을 분류하는 전술된 프로세싱이 적용되어 해당 객체후보군에 대한 분류정보가 생성된다.Thereafter, the above-described processing for detecting the object candidate group through matching with the comparison image and the above-described processing for classifying the object candidate group based on the characteristics of the object candidate group are applied to generate classification information for the corresponding object candidate group.
이와 같이, 본 발명이 밀집도를 기준으로 라이다 데이터를 필터링하도록 구성되면, 비교영상 생성에 이용되는 라이다 데이터의 개수가 감소하게 되므로 비교영상을 생성하는 프로세싱은 물론, 객체를 검출 및 분류하는 전체적인 프로세싱에 소요되는 시간이 감소하게 되어 본 발명의 실시간 적용성이 향상되게 된다. As such, when the present invention is configured to filter the LiDAR data based on the density, the number of LiDAR data used to generate the comparative image is reduced, so that the processing of generating the comparative image as well as the overall detection and classification of the object are performed. The time required for processing is reduced, thereby improving the real-time applicability of the present invention.
도 4는 본 발명의 실시예에 따른 객체후보군을 2차원 영상으로 변환하여 생성하고 이를 이용하여 객체를 검출하고 분류하는 과정을 설명하기 위한 흐름도이며, 도 6은 본 발명의 실시예에 따른 객체후보군을 2차원 영상으로 변환하여 생성하는 과정을 설명하기 위한 예시도이다.4 is a flowchart illustrating a process of generating and converting an object candidate group into a 2D image according to an embodiment of the present invention, and detecting and classifying objects using the same, and FIG. 6 is an object candidate group according to an embodiment of the present invention. Is an exemplary view for explaining a process of generating a 2D image by converting the image into two-dimensional images.
이하에서는 도 2, 도 4 및 도 6을 참조하여 3차원 포인트 클라우드 형태를 가지는 객체후보군을 2차원 영상으로 변환하여 생성하는 본 발명의 기술적 특징에 대하여 설명하도록 한다.Hereinafter, technical features of the present invention for generating and converting an object candidate group having a 3D point cloud form into a 2D image will be described with reference to FIGS. 2, 4, and 6.
전술된 필터링 프로세싱(S410), 그룹화 프로세싱(S420) 및 비교영상과의 매칭 프로세싱(S430)을 거쳐 검출된 객체후보군은 도 6 (A)에 예시된 바와 같이 3차원의 포인트 클라우드 형태를 가지고 있다. The object candidate group detected through the above-described filtering processing (S410), grouping processing (S420), and matching processing with the comparison image (S430) has a three-dimensional point cloud type as illustrated in FIG. 6A.
이러한 3차원의 라이다 데이터를 그대로 이용하여 객체후보군의 특징을 추출하고 이를 기반으로 해당 객체후보군을 분류하는 방법도 구현 가능하나, 3차원의 라이다 데이터를 2차원 데이터로 변환하여 이용하는 것이 연산 속도를 더욱 향상시킬 수 있다는 측면에서 바람직하다고 할 수 있다.It is possible to implement a method of extracting the characteristics of the object candidate group using the three-dimensional LiDAR data as it is and classifying the object candidate group based on this, but converting and using the three-dimensional LiDAR data into the two-dimensional data It can be said that it is preferable in that it can improve further.
본 발명은 객체후보군에 대한 2차원 영상을 생성하는 후보영상생성부(150)를 더 포함하여 구성됨으로써 연산 속도를 더욱 향상시킬 수 있는 효과를 달성할 수 있다.The present invention is further configured to further include a candidate
구체적으로, 본 발명의 후보영상생성부(150)는 라이다 센서(50)의 위치를 원점으로 하고 라이다 센서(50)의 자세 또는 각도를 3차원 좌표계 각각의 축으로 하는 모델좌표계에 객체후보군의 라이다 데이터를 맵핑한 후, 모델좌표계의 프론트뷰(front-view)를 기준으로 해당 객체후보군에 대한 2차원 영상을 생성한다(S440).Specifically, the candidate
프론트뷰를 기준으로 객체후보군에 대한 2차원 영상을 생성하는 프로세싱은 프론트뷰에서 인식되는 라이다 데이터(객체후보군)를 2차원 영상으로 생성하는 방법, 라이다 데이터를 프론트뷰에 해당하는 평면(기준평면)에 투영하여 2차원 영상을 생성하는 방법 등 다양한 방법으로 구현될 수 있다.The process of generating a 2D image of the object candidate group based on the front view is a method of generating a 2D image of LiDAR data (object candidate group) recognized in the front view, and a plane corresponding to the front view (reference) And a method of generating a 2D image by projecting onto a plane).
객체후보군에 포함된 라이다 데이터를 프론트뷰에 해당하는 평면 즉, 기준평면에 투영하여 객체후보군에 대한 2차원 영상을 생성하는 방법에 대하여 설명하면 다음과 같다.A method of generating a 2D image of the object candidate group by projecting the LiDAR data included in the object candidate group to the plane corresponding to the front view, that is, the reference plane, will be described below.
먼저, 본 발명의 후보영상생성부(150)를 구성하는 포인트추출부(153)는 객체후보군에 포함된 라이다 데이터의 좌표 값을 이용하여 해당 객체후보군의 대표 포인트(도 6 (A)의 중심점)를 추출한다(S443).First, the
대표 포인트는 해당 객체후보군을 구성하는 라이다 데이터들의 좌표 값을 평균하여 추출하거나 최대 값 또는 최소 값을 추출하는 등 다양한 방법을 이용하여 확보할 수 있다.The representative point can be secured using various methods, such as extracting the average coordinate values of the LiDAR data constituting the object candidate group or extracting the maximum value or the minimum value.
본 발명의 후보영상생성부(150)를 구성하는 영상변환부(155)는 라이다 센서(50) 즉, 모델좌표계의 원점과 대표 포인트가 이루는 각도(θ)와 거리(r)를 이용하여 도 6 (B)와 (C)에 예시된 바와 같이 대표 포인트가 모델좌표계의 원점에 위치하도록 해당 객체후보군을 이동 및 회전 변환한다(S445).The
본 발명의 후보영상생성부(150)를 구성하는 영상투영부(157)는 도 6 (D)에 예시된 바와 같이 이동 및 회전 변환된 객체후보군 내 라이다 데이터를 기준평면(도 6 (D)의 yz평면)에 투영하여 해당 객체후보군에 대한 2차원 영상을 생성한다(S447).The
객체후보군 내 라이다 데이터를 기준평면에 투영하여 객체후보군에 대한 2차원 영상이 생성되면, 본 발명의 객체판단부(140)는 2차원 영상으로 생성된 객체후보군의 특징을 기반으로 해당 객체후보군을 분류하여 분류정보를 생성한다(S450).When the 2D image of the object candidate group is generated by projecting the LiDAR data in the object candidate group to the reference plane, the
이와 같이, 객체후보군의 2차원 영상을 생성하고, 이를 이용하여 객체를 분류하면, 객체 분류에 소요되는 시간을 감소시킬 수 있어 본 발명의 실시간 이용성을 더욱 향상시킬 수 있게 된다.As such, by generating a two-dimensional image of the object candidate group and classifying the objects using the same, the time required for classifying the objects can be reduced, thereby further improving real-time usability of the present invention.
실시형태에 따라, 본 발명은 객체후보군에 대한 분류정보뿐만 아니라, 객체후보군의 위치정보 및 거리정보를 더 생성하도록 구성될 수 있다. 이를 위하여 본 발명은 객체후보군의 위치정보를 생성하는 위치정보생성부(160)와 객체후보군의 거리정보를 생성하는 거리정보생성부(170)를 더 포함하여 구성될 수 있다.According to an embodiment, the present invention may be configured to further generate not only classification information for the object candidate group but also position information and distance information of the object candidate group. To this end, the present invention may further comprise a location
본 발명의 위치정보생성부(160)는 객체후보군의 대표 포인트에 대한 좌표를 이용하여 해당 객체후보군의 위치정보를 생성하며(S460), 본 발명의 거리정보생성부(170)는 대표 포인트와 기준평면 사이의 수직 거리를 연산하여 해당 객체후보군의 거리정보를 생성한다(S460).Location
이와 같이, 본 발명이 객체후보군의 위치정보 및 거리정보를 더 생성하도록 구성되면, 본 발명이 적용되는 로봇, 자율주행차량(10) 등에 객체의 분류뿐만 아니라 객체로 판단된 대상에 대한 위치와 거리를 실시간으로 제공할 수 있게 되므로 본 발명이 적용되는 로봇 등이 실시간으로 변화하는 외부 환경에 동적으로 대응할 수 있게 된다.As such, when the present invention is configured to further generate location information and distance information of the object candidate group, the robot and the
또한, 본 발명은 객체후보군에 포함된 라이다 데이터 모두를 이용하여 객체의 거리 및 위치를 연산하는 것이 아니라, 객체후보군의 대표 포인트만을 이용하여 객체의 거리 및 위치를 연산하도록 구성되므로 연산 속도를 향상시켜 실시간 이용성을 확보할 수 있게 된다.In addition, the present invention is configured to calculate the distance and position of the object using only the representative points of the object candidate group, not to calculate the distance and position of the object using all the LiDAR data included in the object candidate group, thereby improving the computation speed. It is possible to secure real-time usability.
실시형태에 따라, 본 발명은 객체후보군에 대한 영상뿐만 아니라, 비교영상도 2차원 영상으로 생성하도록 구성될 수 있다. 구체적으로, 본 발명의 클러스터링부(120)는 모델좌표계의 탑뷰(top-wiew)를 기준으로 라이다 데이터를 그룹화하여 비교영상을 생성하도록 구성될 수 있다(S420).According to an embodiment, the present invention may be configured to generate not only an image for the object candidate group but also a comparative image as a 2D image. In detail, the
라이다 데이터를 픽셀 단위로 구분하고 필터링 프로세싱을 픽셀 단위로 구현하는 전술된 실시예의 경우, 본 발명의 필터링부(123)는 모델좌표계의 탑뷰를 기준으로 라이다 데이터를 픽셀 단위로 구분하고, 기 설정된 밀집도를 기준으로 각 픽셀 값을 이진화하거나 픽셀 내 라이다 데이터의 개수를 기준으로 각 픽셀에 차등적인 밀집도를 할당한다.In the above-described embodiment of dividing the LiDAR data in pixels and implementing the filtering processing in pixels, the
이 후, 본 발명의 필터링부(123)는 0에 해당하는 픽셀 또는 기준 값 이하의 밀집도를 가지는 픽셀을 필터링하여 밀집도 영상을 생성하고, 본 발명의 비교영상생성부(125)는 포인트 클라우드 형태의 라이다 데이터와 밀집도 영상을 대상으로 매칭 프로세싱을 적용하여 비교영상을 생성한다.Thereafter, the
이와 같이, 본 발명이 탑뷰를 기준으로 비교영상을 2차원 영상으로 생성하도록 구성되면, 라이다 센서(50)가 설치된 대상(로봇, 자율주행차량(10), 일반 차량 등)을 중심으로 상기 대상 주변의 객체가 전방위적으로 반영된 비교영상을 생성할 수 있게 되므로 객체 검출의 정확성을 더욱 향상시킬 수 있게 된다.As such, when the present invention is configured to generate a comparative image as a 2D image based on the top view, the object is centered on an object (robot,
이상 도 3 및 도 4에서는, 복수의 과정을 순차적으로 수행하는 것으로 기재하고 있으나, 이는 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것이다. 다시 말해, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면, 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서, 도 3 및 도 4에 기재된 순서를 변경하여 수행하거나 상기 복수의 과정 중 일부를 병렬적으로 수행하는 것으로 다양하게 수정 및 변경하여 적용 가능할 것이므로, 도 3 및 도 4는 시계열적인 순서로 한정되는 것은 아니다.3 and 4, the plurality of processes are described as being sequentially performed, but this is merely illustrative of the technical idea of the present embodiment. In other words, one of ordinary skill in the art to which the present embodiment belongs may perform the modifications in the order described in FIGS. 3 and 4 or perform some of the plurality of processes in parallel without departing from the essential characteristics of the present embodiment. 3 and 4 are not limited to the time-series order because they may be variously modified and changed.
한편, 도 3 및 도 4에 도시된 과정들은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의하여 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 즉, 컴퓨터가 읽을 수 있는 기록매체는 마그네틱 저장매체(예를 들면, 롬, 플로피 디스크, 하드디스크 등), 광학적 판독 매체(예를 들면, 시디롬, 디브이디 등) 및 캐리어 웨이브(예를 들면, 인터넷을 통한 전송)와 같은 저장매체를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산방식으로 컴퓨터가 읽을 수 있는 코드가 저장되고 실행될 수 있다.3 and 4 may be embodied as computer readable codes on a computer readable recording medium. The computer-readable recording medium includes all kinds of recording devices in which data that can be read by a computer system is stored. That is, the computer-readable recording medium may be a magnetic storage medium (for example, ROM, floppy disk, hard disk, etc.), an optical reading medium (for example, CD-ROM, DVD, etc.) and a carrier wave (for example, the Internet Storage medium). The computer readable recording medium can also be distributed over network coupled computer systems so that the computer readable code is stored and executed in a distributed fashion.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.The above description is merely illustrative of the technical idea of the present embodiment, and those skilled in the art to which the present embodiment belongs may make various modifications and changes without departing from the essential characteristics of the present embodiment. Therefore, the present embodiments are not intended to limit the technical idea of the present embodiment but to describe the present invention, and the scope of the technical idea of the present embodiment is not limited by these embodiments. The scope of protection of the present embodiment should be interpreted by the following claims, and all technical ideas within the scope equivalent thereto should be construed as being included in the scope of the present embodiment.
50 : 라이다 센서 100 : 객체검출장치
110 : I/O인터페이스부 115 : 지면데이터제거부
120 : 클러스터링부 123 : 필터링부
125 : 비교영상생성부 130 : 후보검출부
140 : 객체판단부 150 : 후보영상생성부
153 : 포인트추출부 155 : 영상변환부
157 : 영상투영부 160 : 위치정보생성부
170 : 거리정보생성부50: lidar sensor 100: object detection device
110: I / O interface unit 115: ground data removal unit
120: clustering unit 123: filtering unit
125: comparison image generation unit 130: candidate detection unit
140: object determination unit 150: candidate image generation unit
153: point extraction unit 155: image conversion unit
157: video projection unit 160: location information generation unit
170: distance information generation unit
Claims (6)
상기 밀집도영상을, 연관성을 기준으로 그룹화하여 비교영상을 생성하는 비교영상생성부;
상기 수신된 라이다 데이터들 중 상기 비교영상과 매칭되는 라이다 데이터들을 그룹화하여 객체후보군을 검출하는 후보검출부; 및
상기 객체후보군의 특징을 기반으로 해당 객체후보군을 분류하여 분류정보를 생성하는 객체판단부를 포함하고,
상기 필터링부는,
상기 수신된 라이다 데이터들 중에서, 기준 밀집도 이하의 밀집도를 가지는 라이다 데이터들을 제거하여, 상기 밀집도 영상을 생성하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치.A filtering unit to generate a density image by filtering the LiDAR data received from the LiDAR sensor based on the density;
A comparison image generation unit for generating the comparison image by grouping the dense image based on the correlation;
A candidate detector for detecting an object candidate group by grouping LiDAR data matching the comparison image among the received LiDAR data; And
Based on the characteristics of the object candidate group includes an object determination unit for classifying the object candidate group to generate classification information,
The filtering unit,
An apparatus for detecting density based objects using a lidar sensor, wherein the lidar data is generated from the received lidar data by removing the lidar data having a density less than or equal to a reference density.
상기 필터링부는,
상기 수신된 라이다 데이터들을 픽셀 단위로 구분하고, 상기 픽셀들 중에서 상기 기준 밀집도 이하의 밀집도를 가지는 픽셀을 제거하여, 상기 밀집도 영상을 생성하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치.The method of claim 1,
The filtering unit,
Density-based object detection using a lidar sensor, characterized in that the received lidar data are classified in units of pixels, and pixels having a density less than or equal to the reference density are generated from the pixels, thereby generating the density image. Device.
상기 라이다 센서의 위치와 자세를 기준으로 하는 3차원 모델좌표계의 프론트뷰(front-view)로 상기 객체후보군에 대한 2차원 영상을 생성하는 후보영상생성부를 더 포함하고,
상기 객체판단부는,
상기 2차원 영상으로 생성된 객체후보군의 특징을 기반으로 해당 객체후보군을 분류하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치.The method of claim 1,
Further comprising a candidate image generation unit for generating a two-dimensional image for the object candidate group in a front view of the three-dimensional model coordinate system based on the position and attitude of the lidar sensor,
The object determination unit,
An apparatus for detecting density based objects using a lidar sensor, wherein the object candidate group is classified based on the characteristics of the object candidate group generated by the 2D image.
상기 객체후보군에 포함된 라이다 데이터의 좌표 값을 이용하여 해당 객체후보군의 대표 포인트를 추출하는 포인트추출부;
상기 대표 포인트가 상기 모델좌표계의 원점 위치로 이동하도록 해당 객체후보군을 이동 및 회전 변환하는 영상변환부; 및
상기 이동 및 회전 변환된 객체후보군 내 라이다 데이터들을 상기 모델좌표계의 프론트뷰에 해당하는 평면인 기준평면에 투영하여 해당 객체후보군에 대한 2차원 영상을 생성하는 영상투영부를 포함하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치.The method of claim 3, wherein the candidate image generation unit,
A point extracting unit for extracting a representative point of the object candidate group by using coordinate values of LiDAR data included in the object candidate group;
An image converter configured to move and rotate the object candidate group such that the representative point moves to the origin position of the model coordinate system; And
And an image projection unit configured to generate a 2D image of the object candidate group by projecting the Lidar data in the moved and rotated object candidate groups to a reference plane that is a plane corresponding to the front view of the model coordinate system. An object detection apparatus based on density using a sensor.
상기 대표 포인트의 좌표를 이용하여 해당 객체후보군의 위치정보를 생성하는 위치정보생성부; 및
상기 대표 포인트와 상기 기준평면 사이의 수직 거리를 연산하여 해당 객체후보군의 거리정보를 생성하는 거리정보생성부를 더 포함하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 장치.The method of claim 4, wherein
A location information generation unit for generating location information of the corresponding object candidate group using the coordinates of the representative point; And
And a distance information generator configured to calculate the vertical distance between the representative point and the reference plane to generate distance information of the corresponding object candidate group.
상기 밀집도 영상을, 연관성을 기준으로 그룹화하여 비교영상을 생성하는 비교영상생성단계;
상기 수신된 라이다 데이터 중 상기 비교영상과 매칭되는 라이다 데이터들을 그룹화하여 객체후보군을 검출하는 후보검출단계; 및
상기 객체후보군의 특징을 기반으로 해당 객체후보군을 분류하여 분류정보를 생성하는 객체판단단계를 포함하고,
상기 필터링단계는,
상기 수신된 라이다 데이터들 중에서, 기준 밀집도 이하의 밀집도를 가지는 라이다 데이터들을 제거하여, 상기 밀집도 영상을 생성하는 것을 특징으로 하는 라이다 센서를 이용한 밀집도 기반의 객체 검출 방법.A filtering step of filtering the LiDAR data received from the LiDAR sensor based on the density to generate a dense image;
A comparison image generation step of generating the comparison image by grouping the density image on the basis of correlation;
A candidate detection step of detecting object candidate groups by grouping LiDAR data matching the comparison image among the received LiDAR data; And
And an object determining step of classifying the object candidate group based on the characteristics of the object candidate group and generating classification information.
The filtering step,
A method for detecting an object based on density using a Lidar sensor, characterized in that for generating the density image by removing the Lidar data having a density less than a reference density among the received Lidar data.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190137378A KR102061522B1 (en) | 2019-10-31 | 2019-10-31 | Apparatus and method for detecting object based on density using lidar sensor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190137378A KR102061522B1 (en) | 2019-10-31 | 2019-10-31 | Apparatus and method for detecting object based on density using lidar sensor |
Related Parent Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180050989 Division | 2018-05-03 | 2018-05-03 |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20190127624A KR20190127624A (en) | 2019-11-13 |
KR102061522B1 true KR102061522B1 (en) | 2020-01-02 |
Family
ID=68534960
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190137378A KR102061522B1 (en) | 2019-10-31 | 2019-10-31 | Apparatus and method for detecting object based on density using lidar sensor |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102061522B1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021261756A1 (en) * | 2020-06-26 | 2021-12-30 | 삼성전자주식회사 | Air conditioner and control method therefor |
Families Citing this family (16)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102384754B1 (en) * | 2019-12-16 | 2022-04-08 | 재단법인대구경북과학기술원 | Method and apparatus for constructing map based on point data |
KR102274548B1 (en) * | 2019-12-16 | 2021-07-07 | 재단법인대구경북과학기술원 | Road feature map construction method and apparatus |
KR102355914B1 (en) | 2020-08-31 | 2022-02-07 | (주)오토노머스에이투지 | Method and device for controlling velocity of moving body based on reflectivity of driving road using lidar sensor |
KR102400033B1 (en) | 2020-08-31 | 2022-05-20 | (주)오토노머스에이투지 | Method and computing device for classifying sensing points of multi-layer lidar sensor installed on moving body |
KR102474719B1 (en) * | 2020-09-23 | 2022-12-07 | 주식회사 새한지앤아이 | Mapping Method Using MMS |
KR102198195B1 (en) * | 2020-09-23 | 2021-01-05 | 서울공간정보 주식회사 | Mapping Method Using MMS |
KR102461980B1 (en) * | 2020-11-30 | 2022-11-03 | (주)심스리얼리티 | Method for producing three-dimensional map |
WO2022114311A1 (en) * | 2020-11-30 | 2022-06-02 | 한국전자기술연구원 | Method and apparatus for lidar sensor information correction and up-sampling using multiple images |
KR102559196B1 (en) * | 2020-12-03 | 2023-07-25 | 충북대학교 산학협력단 | Unstructured object detection system and method using 3D LiDAR |
KR102407690B1 (en) * | 2020-12-23 | 2022-06-10 | 충북대학교 산학협력단 | Calibration method of multiple LiDARs using plane feature |
KR102587926B1 (en) * | 2021-02-03 | 2023-10-12 | (주)서울로보틱스 | Object tracking apparatus, object tracking, recording medium recording program performing the same |
KR102310608B1 (en) * | 2021-07-08 | 2021-10-13 | 주식회사 인피닉 | Method for processing data of machine learning for automatic driving based on radar and lidar, and computer program recorded on record-medium for executing method therefor |
KR102310601B1 (en) * | 2021-07-08 | 2021-10-13 | 주식회사 인피닉 | Control method of multiple sensors for data collection, and computer program recorded on record-medium for executing method thereof |
KR102391811B1 (en) * | 2021-12-14 | 2022-04-28 | 한국해양과학기술원 | System and method for recognizing coastal condition based on lidar using camera information |
KR102445846B1 (en) * | 2022-02-24 | 2022-09-21 | (주)시스콘 | Obstacle tracking system and obstacle tracing method |
WO2023200075A1 (en) * | 2022-04-12 | 2023-10-19 | (주)서울로보틱스 | Object tracking device, object tracking method, and recording medium on which program for performing object tracking method is recorded |
-
2019
- 2019-10-31 KR KR1020190137378A patent/KR102061522B1/en active IP Right Grant
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2021261756A1 (en) * | 2020-06-26 | 2021-12-30 | 삼성전자주식회사 | Air conditioner and control method therefor |
Also Published As
Publication number | Publication date |
---|---|
KR20190127624A (en) | 2019-11-13 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102061522B1 (en) | Apparatus and method for detecting object based on density using lidar sensor | |
KR102109941B1 (en) | Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera | |
US10776651B2 (en) | Material handling method, apparatus, and system for identification of a region-of-interest | |
CN110163904B (en) | Object labeling method, movement control method, device, equipment and storage medium | |
US10970871B2 (en) | Estimating two-dimensional object bounding box information based on bird's-eye view point cloud | |
US20060115113A1 (en) | Method for the recognition and tracking of objects | |
CN110865393A (en) | Positioning method and system based on laser radar, storage medium and processor | |
CN110794406B (en) | Multi-source sensor data fusion system and method | |
AU2010338283B2 (en) | Head recognition method | |
EP3719697A1 (en) | Method and device for determining whether a hand cooperates with a manual steering element of a vehicle | |
KR20210090384A (en) | Method and Apparatus for Detecting 3D Object Using Camera and Lidar Sensor | |
JP2007121111A (en) | Target identifying technique using synthetic aperture radar image and device therof | |
KR102559196B1 (en) | Unstructured object detection system and method using 3D LiDAR | |
WO2020127151A1 (en) | Method for improved object detection | |
JP2019139420A (en) | Three-dimensional object recognition device, imaging device, and vehicle | |
US20220171975A1 (en) | Method for Determining a Semantic Free Space | |
KR20230101560A (en) | Vehicle lidar system and object detecting method thereof | |
Morris et al. | A view-dependent adaptive matched filter for ladar-based vehicle tracking | |
JP7072765B2 (en) | Image processing device, image recognition device, image processing program, and image recognition program | |
CA2460615C (en) | Model-based object classification and target recognition | |
US11538260B2 (en) | Object identification apparatus, object identification method, and nontransitory computer readable medium storing control program | |
AU2020317303B2 (en) | Information processing device, data generation method, and program | |
Borgmann et al. | Pedestrian detection and tracking in sparse MLS point clouds using a neural network and voting-based approach | |
Selver et al. | Visual and LIDAR data processing and fusion as an element of real time big data analysis for rail vehicle driver support systems | |
Huerta et al. | Multimodal feedback fusion of laser, image and temporal information |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A107 | Divisional application of patent | ||
A201 | Request for examination | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |