KR101822373B1 - Apparatus and method for detecting object - Google Patents
Apparatus and method for detecting object Download PDFInfo
- Publication number
- KR101822373B1 KR101822373B1 KR1020160057185A KR20160057185A KR101822373B1 KR 101822373 B1 KR101822373 B1 KR 101822373B1 KR 1020160057185 A KR1020160057185 A KR 1020160057185A KR 20160057185 A KR20160057185 A KR 20160057185A KR 101822373 B1 KR101822373 B1 KR 101822373B1
- Authority
- KR
- South Korea
- Prior art keywords
- data
- raw data
- point
- group
- point group
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 45
- 238000012545 processing Methods 0.000 claims abstract description 25
- 238000001514 detection method Methods 0.000 claims description 30
- 238000012937 correction Methods 0.000 claims description 19
- 239000000284 extract Substances 0.000 claims description 7
- 238000004364 calculation method Methods 0.000 description 10
- 238000010586 diagram Methods 0.000 description 9
- 238000005259 measurement Methods 0.000 description 4
- 230000014509 gene expression Effects 0.000 description 3
- 102100034112 Alkyldihydroxyacetonephosphate synthase, peroxisomal Human genes 0.000 description 2
- 101000799143 Homo sapiens Alkyldihydroxyacetonephosphate synthase, peroxisomal Proteins 0.000 description 2
- 238000000848 angular dependent Auger electron spectroscopy Methods 0.000 description 2
- 230000003111 delayed effect Effects 0.000 description 2
- 230000007613 environmental effect Effects 0.000 description 2
- 238000000605 extraction Methods 0.000 description 2
- 230000001788 irregular Effects 0.000 description 2
- 238000012417 linear regression Methods 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000000470 constituent Substances 0.000 description 1
- 238000007796 conventional method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 230000002093 peripheral effect Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 238000000926 separation method Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- G01S17/936—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/894—3D imaging with simultaneous measurement of time-of-flight at a 2D array of receiver pixels, e.g. time-of-flight cameras or flash lidar
-
- G—PHYSICS
- G05—CONTROLLING; REGULATING
- G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
- G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
- G05D1/02—Control of position or course in two dimensions
- G05D1/021—Control of position or course in two dimensions specially adapted to land vehicles
- G05D1/0231—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means
- G05D1/0238—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors
- G05D1/024—Control of position or course in two dimensions specially adapted to land vehicles using optical position detecting means using obstacle or wall sensors in combination with a laser
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B60W2420/52—
-
- B60W2420/62—
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- General Physics & Mathematics (AREA)
- Mechanical Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Optics & Photonics (AREA)
- Aviation & Aerospace Engineering (AREA)
- Image Analysis (AREA)
- Traffic Control Systems (AREA)
Abstract
본 발명은 주변 환경에 대한 원시 데이터(raw data)를 수집하는 센서 모듈, 센서 모듈로부터 원시 데이터를 입력받고, 기 설정된 기준에 따라서 원시 데이터 중 물체 후보군 데이터를 생성하는 데이터 분류 모듈, 물체 후보군 데이터 중, 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 클러스터 모듈, 포인트 그룹에서 물체 데이터를 추출하는 데이터 처리 모듈을 포함하는 물체 탐지 장치, 방법 및 시스템에 관한 것이다.The present invention relates to a sensor module for collecting raw data on a surrounding environment, a data classification module for receiving raw data from a sensor module and generating object candidate group data among raw data according to a predetermined criterion, A cluster module for generating at least one point group according to a predetermined degree of similarity, and a data processing module for extracting object data in a point group.
Description
본 발명은 주변 환경에 대한 원시 데이터(raw data)를 수집하는 센서 모듈, 센서 모듈로부터 원시 데이터를 입력받고, 기 설정된 기준에 따라서 원시 데이터 중 물체 후보군 데이터를 생성하는 데이터 분류 모듈, 물체 후보군 데이터 중, 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 클러스터 모듈, 포인트 그룹에서 물체 데이터를 추출하는 데이터 처리 모듈을 포함하는 물체 탐지 장치, 방법 및 시스템에 관한 것이다.The present invention relates to a sensor module for collecting raw data on a surrounding environment, a data classification module for receiving raw data from a sensor module and generating object candidate group data among raw data according to a predetermined criterion, A cluster module for generating at least one point group according to a predetermined degree of similarity, and a data processing module for extracting object data in a point group.
센서 인근의 지형 정보를 정확하게 측정해주는 LIDAR(LIght Detection And Ranging)는 첨단 운전자 보조 시스템(Adaptive Driver Assistance Systems, ADAS) 및 자율 주행 자동차의 환경 인식 시스템에 유용하게 이용될 수 있는 센서 중 하나이다. 이러한 LIDAR는 카메라나 레이더에 비해 그 정확도가 종/횡의 모든 방향에 대해 우수하고, 종래에 단점으로 지적되었던 LIDAR 센서 자체의 크기와 가격 문제가 최근 해결되는 추세이기 때문에, 자율 주행 자동차 분야에서의 LIDAR의 역할은 점점 커질 것으로 기대되고 있다. LIDAR (LIght Detection And Ranging), which accurately measures the terrain information near the sensor, is one of the sensors that can be usefully used in the ADIS (Adaptive Driver Assistance Systems) and environmental recognition systems of autonomous vehicles. This LIDAR is superior to camera or radar in accuracy in all directions of longitudinal and transverse directions, and since the size and price problem of LIDAR sensor itself, which was pointed out as a disadvantage in the past, has recently been solved, The role of LIDAR is expected to grow.
LIDAR는 제품의 종류에 따라 인식 가능 거리, 측정 데이터의 양 등 그 성능과 수집하는 데이터의 종류가 달라지게 되는데, 현재 상용되어 있는 제품 중 가장 많은 데이터를 제공해주는 3D LIDAR제품의 경우 회전당 100,000개가 넘는 3차원 좌표값들을 반환하여 준다. 그런데, 한번에 수많은 데이터를 처리하게 되는 경우, LIDAR 기반 물체 탐지에 걸리는 시간이 급격히 증가하는 문제점이 발생하게 된다.Depending on the product type, LIDAR will have different distances such as the distance to be recognized, the amount of measurement data, and the type of data to be collected. For 3D LIDAR products, which provide the largest amount of data currently available, 100,000 Returns the over-all three-dimensional coordinate values. However, when a large number of data are processed at once, there is a problem that the time required for LIDAR-based object detection increases sharply.
ADAS 및 자율 주행 기술의 구현을 위해 가장 먼저 수행되어야 하는 업무 중 하나가 환경 인식이라는 점을 감안할 때, LIDAR가 수집하게 되는 방대한 데이터의 실시간 처리는 인식 지연으로 인한 사고의 방지 차원에서 반드시 필요하며, 종래의 LIDAR가 가지고 있는 문제점을 해결하여야 한다.Given that environmental awareness is one of the first tasks to be undertaken to implement ADAS and autonomous navigation technology, real-time processing of vast amounts of data that LIDAR collects is essential to prevent accidents due to delayed recognition, The problem of conventional LIDAR should be solved.
한편, LIDAR는 레이저를 사용하는 본질적 특징으로 인해 특정 물체 표면에서 데이터가 누락되는 경우가 발생하는데, 이는 하나의 물체를 2개 이상으로 나눠서 인식하는 잘못된 결과를 초래한다. LIDAR를 통해 차량 인근 물체의 3D 형태 정보를 얻을 수 있다는 점을 감안할 때, 물체의 3D 형태 정보를 보다 정확히 얻기 위해 반드시 해결되어야 하는 문제이다.LIDAR, on the other hand, is inherently characterized by the use of lasers, which can result in missing data on the surface of a particular object, which results in the misperception that an object is split into two or more. Considering that LIDAR can obtain information on the 3D shape of the object near the vehicle, it is a problem that must be solved in order to obtain more accurate 3D shape information of the object.
본 발명은 상술한 바와 같이 종래의 물체 탐지 장치가 가지는 문제점을 해결하기 위하여, 회전당 최대 10만개 이상의 측정값을 제공하는 3D LIDAR 센서를 이용하는 경우라도 실시간으로 물체를 인식할 수 있으며, 데이터가 누락되는 물체의 표면에서도 물체의 추가적인 분리 없이 인식이 가능하며, 보다 정확한 형태를 제공할 수 있는 고정밀/실시간 물체 탐지 장치, 방법 및 시스템을 제공하는 것을 목적으로 한다. As described above, in order to solve the problems of the conventional object detecting apparatus, the present invention can recognize an object in real time even if a 3D LIDAR sensor providing a measurement value of up to 100,000 or more per rotation is used, Real-time object detection apparatus, method, and system capable of recognizing a surface of an object to be detected without further separation of the object and providing a more accurate shape.
본 발명이 이루고자 하는 기술적 과제는 이상에서 언급한 기술적 과제로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 기술적 과제가 포함될 수 있다. The technical problem to be solved by the present invention is not limited to the above-mentioned technical problems, and various technical problems can be included within the scope of what is well known to a person skilled in the art from the following description.
상기와 같은 과제를 해결하기 위한 본 발명의 일 실시예에 따른 물체 탐지 장치는, 주변 환경에 대한 원시 데이터(raw data)를 수집하는 센서 모듈, 상기 센서 모듈로부터 상기 원시 데이터를 입력받고, 기 설정된 기준에 따라서 상기 원시 데이터 중 물체 후보군 데이터를 생성하는 데이터 분류 모듈, 상기 물체 후보군 데이터 중, 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 클러스터 모듈, 상기 포인트 그룹에서 물체 데이터를 추출하는 데이터 처리 모듈을 포함할 수 있다.According to an aspect of the present invention, there is provided an apparatus for detecting an object, the apparatus comprising: a sensor module for collecting raw data of a surrounding environment; A cluster module for generating object candidate group data of the raw data according to a criterion, a cluster module for generating at least one point group according to a predetermined similarity among the object candidate group data, a data processing unit for extracting object data from the point group Modules.
또한, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 센서 모듈이 2D 또는 3D LIDAR(LIght Detection And Ranging) 센서인 것을 특징으로 한다.The object detecting apparatus according to an embodiment of the present invention is characterized in that the sensor module is a 2D or 3D LIDAR (Light Detection And Ranging) sensor.
또한, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 센서 모듈이 1주기 또는 1프레임을 기준으로 원시 데이터를 수집하여 누적하는 것을 특징으로 한다.The object detecting apparatus according to an embodiment of the present invention is characterized in that the sensor module collects and accumulates raw data on the basis of one cycle or one frame.
아울러, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 데이터 분류 모듈이 상기 원시 데이터의 영역별 정보를 파악하기 위한 격자(grid) 구조를 생성하는 것을 특징으로 한다.According to an embodiment of the present invention, the data classification module generates a grid structure for grasping information of each region of the raw data.
이 때, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 데이터 분류 모듈이 상기 원시 데이터를 기 저장된 점유 격자(occupancy grid)에 투사하고, 상기 원시 데이터 중 물체 후보군 데이터를 생성하는 것을 특징으로 한다. 또한, 상기 점유 격자는 직교좌표계 또는 극좌표계 격자이고, 상기 원시 데이터는 3D 데이터 포인트이며, 상기 데이터 분류 모듈이 상기 3D 데이터 포인트를 상기 점유 격자의 좌표값에 할당하는 것을 특징으로 한다.At this time, in the object detecting apparatus according to an embodiment of the present invention, the data classification module projects the original data on a pre-stored occupancy grid, and generates object candidate group data of the raw data do. The occupancy grid may be an orthogonal coordinate system or a polar coordinate system lattice, the raw data may be a 3D data point, and the data classification module may assign the 3D data point to coordinate values of the occupancy grid.
또한, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 데이터 분류 모듈이 격자별로 포함하는 원시 데이터의 높이값 중 가장 낮은 값을 해당 격자의 지면 높이로 판단하여 저장하고, 상기 지면 높이보다 기 설정된 이상 높은 원시 데이터의 집합을 물체 후보군 데이터로 생성하는 것을 특징으로 한다.According to an embodiment of the present invention, the data classification module determines the lowest value of the height values of the raw data included in the grid by the grid, and stores the grid height as a height of the grid, And a set of higher-than-set primitive data is generated as object candidate group data.
또한, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 데이터 분류 모듈이 원시 데이터를 포함하는 2차원 또는 3차원 격자 구조를 통해 2차원 격자 셀(grid cell) 또는 3차원 격자 복셀(grid voxel)을 생성하는 것을 특징으로 한다. 이 때, 상기 데이터 분류 모듈은, 상기 격자 셀 또는 상기 격자 복셀에 포함되는 원시 데이터의 평균(mean), 분산(variance), 표준편차 중 어느 하나를 연산하여 원시 데이터의 대표 원시 데이터를 산출하고, 각각의 대표 원시 데이터들을 꼭짓점(node)으로 선정하여, 이를 변(edge)로 연결하는 그래프(graph)를 생성하는 것을 특징으로 한다.According to another aspect of the present invention, there is provided an apparatus for detecting an object, wherein the data classification module comprises a two-dimensional or three-dimensional grid structure including primitive data, a two-dimensional grid cell or a three-dimensional grid voxel ). At this time, the data classification module calculates representative raw data of raw data by calculating one of mean, variance, and standard deviation of the raw data included in the grid cell or the grid voxel, And a graph is generated by selecting each representative raw data as a node and connecting the extracted representative raw data with an edge.
또한, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 클러스터 모듈이 상기 물체 후보군 데이터간 유클리드 거리, 반사율, 법선 벡터 중 어느 하나를 포함하는 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 것을 특징으로 한다.The object detecting apparatus according to an embodiment of the present invention is characterized in that the cluster module generates at least one point group according to the degree of similarity including any one of Euclidean distance, reflectance, and normal vector between the object candidate group data .
그리고, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 물체 후보군 데이터의 밀도에 따라서, 상기 센서 모듈이 수집하는 원시 데이터의 탐색 범위를 조절하는 것을 특징으로 한다.The object detecting apparatus according to an embodiment of the present invention is characterized in that the search range of the raw data collected by the sensor module is adjusted according to the density of the object candidate group data.
아울러, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 데이터 처리 모듈이 상기 포인트 그룹을 지면 접점까지 확장하는 것을 특징으로 한다. 이 때, 상기 데이터 처리 모듈은, 물체 후보군 데이터에 포함되지 않은 원시 데이터를 지면 데이터로 추출하고, 상기 지면 데이터 중 인근 포인트 그룹과 유사도가 높은 포인트들을 상기 포인트 그룹에 포함시키는 것을 특징으로 한다.In addition, the object detecting apparatus according to an embodiment of the present invention is characterized in that the data processing module extends the point group to the ground contact point. In this case, the data processing module may extract raw data not included in the object candidate group data as the ground data, and include points in the point group that are similar to the nearby point group among the ground data.
이 때, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 데이터 처리 모듈이 상기 포인트 그룹에 포함되어 있는 포인트를 선택하여, 상기 포인트의 법선 벡터, 반사율, 기울기 중 하나 이상을 이용하여 상기 포인트 그룹을 지면 접점 데이터까지 확장하는 것을 특징으로 한다. 또한, 상기 데이터 처리 모듈은, 상기 포인트 그룹에 포함되어 있는 임의의 2개 포인트를 선택하여, 상기 포인트 간 연결선이 이루는 직선의 기울기, 연결선과 연결선 사이의 각도 차이 중 하나 이상을 이용하여 상기 포인트 그룹을 지면 접점까지 확장하는 것을 특징으로 한다.At this time, the object detection apparatus according to an embodiment of the present invention is characterized in that the data processing module selects a point included in the point group, and calculates a point by using one or more of a normal vector, a reflectance, And extends the group to the contact point data. The data processing module may be configured to select any two points included in the point group and to use the at least one of the gradient of the straight line formed by the point-to-point connection line and the angle difference between the connection line and the connection line, To the ground contact.
또한, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 포인트 그룹 생성 과정에서 과분할(over-segmentation)이 발생하는 경우, 상기 포인트 그룹의 회귀(regression)를 수행하는 회귀 보정 모듈을 더 포함할 수 있다.Further, the object detecting apparatus according to an embodiment of the present invention may further include a regression correction module that performs regression of the point group when over-segmentation occurs in the point group generation process .
이 때, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 회귀 보정 모듈이 상기 포인트 그룹 간 거리가 기 설정된 값 이하인 경우에만 회귀를 수행하는 것을 특징으로 한다.In this case, the object detection apparatus according to an embodiment of the present invention is characterized in that the regression correction module performs the regression only when the distance between the point groups is less than a predetermined value.
또한, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 회귀 보정 모듈이 수집된 포인트의 롤(roll), 피치(pitch), 요(yaw) 값을 추출하여, 회귀값(regression parameter)을 보정하는 것을 특징으로 한다.In the object detecting apparatus according to an embodiment of the present invention, the regression correction module extracts a roll, a pitch, and a yaw value of a collected point and corrects a regression parameter .
또한, 본 발명의 일 실시예에 따른 물체 탐지 장치는, 상기 회귀 보정 모듈이 회귀를 통해 예측한 값과, 그에 인접한 포인트 그룹에 포함된 포인트 값을 비교하여, 그 차이가 기 설정된 값 이하인 경우 두 포인트 그룹을 하나의 포인트 그룹으로 변환하는 것을 특징으로 한다.The object detection apparatus according to an embodiment of the present invention compares a value predicted through regression by the regression correction module with a point value included in a group of points adjacent to the object and if the difference is less than a predetermined value, And converting the point group into one point group.
한편, 본 발명의 일 실시예에 따른 물체 탐지 방법은, (a) 주변 환경에 대한 원시 데이터를 수집하는 단계, (b) 상기 원시 데이터를 입력받고, 기 설정된 기준에 따라서 상기 원시 데이터 중 물체 후보군 데이터를 생성하는 단계, (c) 상기 물체 후보군 데이터 중, 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 단계, (d) 상기 포인트 그룹에서 물체 데이터를 추출하는 단계를 포함할 수 있다.According to another aspect of the present invention, there is provided an object detecting method comprising the steps of: (a) collecting raw data of a surrounding environment; (b) receiving the raw data; (C) generating at least one point group according to a predetermined degree of similarity among the object candidate group data; and (d) extracting object data from the point group.
한편, 본 발명의 일 실시예에 따른 물체 탐지 시스템은, 주변 환경에 대한 원시 데이터를 수집하고, 물체 탐지 서버에 송신하는 센서 장치, 상기 원시 데이터를 수신하고, 기 설정된 기준에 따라서 상기 원시 데이터 중 물체 후보군 데이터를 생성하며, 상기 물체 후보군 데이터 중 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하고, 상기 포인트 그룹에서 물체 데이터를 추출하여 컨트롤러에 송신하는 물체 탐지 서버, 상기 물체 데이터를 수신하는 컨트롤러를 포함할 수 있다.According to another aspect of the present invention, there is provided an object detection system comprising: a sensor device for collecting raw data of a surrounding environment and transmitting the raw data to an object detection server; An object detection server for generating object candidate group data, generating at least one point group according to predetermined similarity among the object candidate group data, extracting object data from the point group and transmitting the extracted object data to the controller, . ≪ / RTI >
본 발명의 물체 탐지 장치, 방법 및 시스템은, 과속 방지턱, 오르막/내리막 등의 불규칙적인 경사로가 있는 도심 주행환경에서도 안정적으로 작동하고, 3D LIDAR로부터 제공되는 데이터의 수가 100,000개 이상으로 많은 경우에도 실시간으로 작동할 수 있다.The apparatus, method and system for detecting an object of the present invention stably operate even in an urban driving environment having an irregular slope such as a speed limit bass, an uphill / downhill and the like, and even when the number of data provided from 3D LIDAR is more than 100,000, Lt; / RTI >
또한, 종래의 물체 탐지 장치가 수집한 데이터 중 지면 인식 방법을 먼저 수행함으로써 복잡하고 데이터 처리에 많은 시간이 걸리는 반면, 본 발명의 물체 탐지 장치는 기 설정된 기준에 따라서 물체 후보군 및 포인트 그룹을 생성하여 물체 데이터를 곧바로 추출하므로, 빠른 물체 탐지가 가능하게 된다.In addition, among the data collected by the conventional object detecting apparatus, the object recognizing method is complicated and takes a lot of time to process the data. On the other hand, the object detecting apparatus of the present invention generates an object candidate group and a point group The object data is extracted directly, which enables fast object detection.
또한, 본 발명의 물체 탐지 장치, 방법 및 시스템은, 물체의 종류에 관계 없이, 주행 환경에서 마주칠 수 있는 모든 장애물, 예컨대 자동차, 사람, 구조물, 표지판, 신호등, 가로등, 나무 등의 인식이 가능하여 안전한 ADAS 및 자율 주행 자동차의 구현에 기여할 수 있다.The object detecting apparatus, method, and system of the present invention can recognize all obstacles that may be encountered in a traveling environment, such as an automobile, a person, a structure, a sign, a traffic light, a streetlight, a tree, etc. regardless of the type of object Thereby contributing to the implementation of safe ADAS and autonomous vehicles.
또한, 본 발명의 물체 탐지 장치, 방법 및 시스템은, LIDAR의 본질적인 특징으로 인해 하나의 물체가 두 개 이상으로 쪼개져서 인식되는 문제를 해결함으로써 물체의 형태 정보를 기존의 방법들에 비해 정확히 얻을 수 있다.In addition, the apparatus, method and system for detecting an object of the present invention solves the problem that an object is divided into two or more pieces due to the inherent characteristics of the LIDAR, so that the shape information of the object can be obtained more accurately than the conventional methods have.
또한, 본 발명의 물체 탐지 장치, 방법 및 시스템은, 물체 데이터를 추출하는 경우 격자 또는 영역을 지정한 후, 격자에 포함되는 다수의 데이터의 대표값을 추출하여 샘플링하므로, 모든 데이터를 추출하지 않더라도 빠른 연산과 계산이 가능하게 된다.In addition, the object detecting apparatus, method, and system of the present invention extracts and samples representative values of a plurality of data included in a grid after specifying a grid or an area when extracting object data, Operation and calculation are possible.
또한, 본 발명의 물체 탐지 장치, 방법 및 시스템은, 포인트 분할(segmentation) 수행시 과분할(over-segmentation)이 발생하게 되면, 해당 데이터에 회귀 연산(regression)을 수행함으로써 물체 탐지의 정확도를 향상시킬 수 있다.In addition, the apparatus, method and system for detecting an object of the present invention improve the accuracy of object detection by performing regression on the data when over-segmentation occurs during point segmentation .
도 1은 본 발명의 물체 탐지 장치를 나타내는 구성도이다.
도 2a 및 도 2b는 본 발명의 물체 탐지 장치가 원시 데이터를 수집하는 예시도이다.
도 3은 본 발명의 물체 탐지 장치가 격자를 이용하는 예시도이다.
도 4a 및 도 4b는 본 발명의 물체 탐지 장치가 대표 포인트를 추출하는 예시도이다.
도 5a 및 도 5b는 본 발명의 물체 탐지 장치가 원시 데이터에서 물체 후보군 데이터를 생성하고, 포인트 그룹을 생성하는 예시도이다.
도 6 및 도 7은 본 발명의 물체 탐지 장치가 지면 접점 데이터를 추출하는 예시도이다.
도 8은 본 발명의 물체 탐지 장치가 포인트 그룹을 생성한 뒤 회귀 보정하는 예시도이다.
도 9는 본 발명의 물체 탐지 방법을 나타내는 순서도이다.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a configuration diagram showing an object detecting apparatus according to the present invention. Fig.
FIGS. 2A and 2B are diagrams illustrating an example in which the object detecting apparatus of the present invention collects raw data. FIG.
FIG. 3 is an exemplary view in which a lattice is used in the object detecting apparatus of the present invention.
4A and 4B are diagrams for explaining representative points extracted by the object detecting apparatus of the present invention.
5A and 5B are diagrams illustrating an example in which the object detecting apparatus of the present invention generates object candidate group data from raw data and generates a point group.
FIGS. 6 and 7 are diagrams for illustrating an example in which the object detection device of the present invention extracts ground contact data.
FIG. 8 is an exemplary diagram of an object detecting apparatus according to the present invention performing regression correction after generating a point group. FIG.
9 is a flowchart showing an object detecting method of the present invention.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 '물체 탐지 장치, 방법 및 시스템'을 상세하게 설명한다. 설명하는 실시 예들은 본 발명의 기술 사상을 통상의 기술자가 용이하게 이해할 수 있도록 제공되는 것으로 이에 의해 본 발명이 한정되지 않는다. 또한, 첨부된 도면에 표현된 사항들은 본 발명의 실시 예들을 쉽게 설명하기 위해 도식화된 도면으로 실제로 구현되는 형태와 상이할 수 있다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, an apparatus, method, and system for detecting an object according to the present invention will be described in detail with reference to the accompanying drawings. The present invention is not limited to the above-described embodiments, and various changes and modifications may be made without departing from the scope of the present invention. In addition, the matters described in the attached drawings may be different from those actually implemented by the schematic drawings to easily describe the embodiments of the present invention.
한편, 이하에서 표현되는 각 구성부는 본 발명을 구현하기 위한 예일 뿐이다. 따라서, 본 발명의 다른 구현에서는 본 발명의 사상 및 범위를 벗어나지 않는 범위에서 다른 구성부가 사용될 수 있다.In the meantime, each constituent unit described below is only an example for implementing the present invention. Thus, in other implementations of the present invention, other components may be used without departing from the spirit and scope of the present invention.
또한, 어떤 구성요소들을 '포함'한다는 표현은, '개방형'의 표현으로서 해당 구성요소들이 존재하는 것을 단순히 지칭할 뿐이며, 추가적인 구성요소들을 배제하는 것으로 이해되어서는 안 된다. Also, the expression " comprising " is intended to merely denote that such elements are present as an expression of " open ", and should not be understood to exclude additional elements.
또한, '제1, 제2' 등과 같은 표현은, 복수의 구성들을 구분하기 위한 용도로만 사용된 표현으로써, 구성들 사이의 순서나 기타 특징들을 한정하지 않는다. Also, the expressions such as 'first, second', etc. are used only to distinguish between plural configurations, and do not limit the order or other features among the configurations.
실시예들의 설명에 있어서, 각 층(막), 영역, 패턴 또는 구조물들이 기판, 각 층(막), 영역, 패드 또는 패턴들의 “상/위(on)”에 또는 “하/아래(under)”에 형성된다는 기재는, 직접(directly) 또는 다른 층을 개재하여 형성되는 것을 모두 포함한다. 각 층의 상/위 또는 하/아래에 대한 기준은 도면을 기준으로 설명한다.In the description of the embodiments, it is to be understood that each layer (film), area, pattern or structure may be referred to as being "on" or "under / under" Quot; includes all that is formed directly or through another layer. The criteria for top / bottom or bottom / bottom of each layer are described with reference to the drawings.
어떤 부분이 다른 부분과 "연결"되어 있다고 할 때, 이는 "직접적으로 연결"되어 있는 경우뿐아니라, 그 중간에 다른 부재를 사이에 두고 "간접적으로 연결"되어 있는 경우도 포함한다. 또한 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 구비할 수 있다는 것을 의미한다. When a part is "connected" to another part, it includes not only "directly connected" but also "indirectly connected" with another part in between. Also, when an element is referred to as "comprising ", it means that it can include other elements, not excluding other elements unless specifically stated otherwise.
도 1은 본 발명의 물체 탐지 장치를 나타내는 구성도이다.BRIEF DESCRIPTION OF THE DRAWINGS Fig. 1 is a configuration diagram showing an object detecting apparatus according to the present invention. Fig.
도 1을 참조하면, 본 발명의 물체 탐지 장치(100)는 센서 모듈(110), 데이터 분류 모듈(120), 클러스터 모듈(130), 데이터 처리 모듈(140), 회귀 보정 모듈(150)을 포함할 수 있다.Referring to FIG. 1, an
센서 모듈(110)은 주변 환경에 대한 원시 데이터(raw data)를 수집할 수 있다. 이 때, 본 발명의 센서 모듈은 2D 또는 3D LIDAR 센서일 수 있으며, 센서 모듈이 설치된 주변 환경의 2D 데이터 또는 3D 데이터를 수신할 수 있다. 특히, 본 발명의 센서 모듈은 자율주행 자동차에 설치될 수 있으며, 자동차 주변의 물체 표면 또는 센서 모듈 주변의 물체 표면에서 반사되어 돌아온 데이터를 측정하여 입력할 수 있다.The sensor module 110 may collect raw data for the surrounding environment. At this time, the sensor module of the present invention may be a 2D or 3D LIDAR sensor, and may receive 2D data or 3D data of a surrounding environment in which the sensor module is installed. In particular, the sensor module of the present invention can be installed in an autonomous vehicle, and can measure and input data reflected from an object surface around an automobile or an object surface around the sensor module.
또한, 본 발명의 센서 모듈은 3D LIDAR 데이터를 이용할 수 있다. 이 때, 3D LIDAR 데이터라면 3D 정보를 가지는 일련의 포인트들의 집합을 말하며, 3D 정보는 하나의 LIDAR에서 뿐만이 아니라 서로 다른 위치에 장착된 다수의 2D 또는 3D LIDAR로부터 수신된 센싱정보를 융합하여 생성한 3D 정보일 수 있다. In addition, the sensor module of the present invention can use 3D LIDAR data. In this case, if the 3D LIDAR data is a set of points having 3D information, the 3D information is generated not only from one LIDAR but also from a plurality of 2D or 3D LIDAR mounted at different positions Can be 3D information.
또한, 본 발명의 센서 모듈은 자동차의 천장 또는 전면/후면 등 자율주행 자동차의 물체 탐지에 적합한 위치로 형성될 수 있다. 도 2a 및 도 2b를 참조하면, 본 발명의 물체 탐지 장치(100)는 자동차에 설치되어, 물체 탐지 장치 및 센서 모듈의 일정한 거리 내에 존재하는 물체(210, 220, 230)를 감지하고 그에 대한 원시 데이터를 수신할 수 있다.Further, the sensor module of the present invention may be formed in a position suitable for detecting an object of an autonomous vehicle such as a ceiling or a front / rear surface of an automobile. 2A and 2B, the
또한, 본 발명의 센서 모듈은 레이저 포인터 등으로 구현되어, 360도 회전하면서 전후좌우 사방에 레이저 포인터를 방출하여 반사된 신호를 수신하는 등으로 원시 데이터를 수집할 수 있다. 이 때, 센서 모듈은 회전하면서 원시 데이터를 수집하며, 1주기 또는 1프레임(frame)을 기준으로 원시 데이터를 수집하여 누적할 수 있다.In addition, the sensor module of the present invention can be realized by a laser pointer or the like, and can collect raw data by emitting a laser pointer to the front, rear, left, and right sides while receiving a reflected signal. At this time, the sensor module collects raw data while rotating, and can collect and accumulate raw data based on one cycle or one frame.
예를 들어, 센서 모듈이 수신하는 원시 데이터의 수를 NP라 할 때, 직교좌표계 상에서의 데이터 입력은 아래와 같이 표현될 수 있다.For example, if the number of primitive data received by the sensor module is N P , the data input on the Cartesian coordinate system can be expressed as:
P = {pi|pi=(x,y,z)i,i=0,1,…,NP-1}P = {p i | p i = (x, y, z) i , i = 0,1, ... , N P -1}
데이터 분류 모듈(120)은 센서 모듈로부터 원시 데이터를 입력받고, 기 설정된 기준에 따라서 원시 데이터 중 물체 후보군 데이터를 생성할 수 있다. 이 때, 종래의 물체 탐지 장치와 달리, 본 발명의 물체 탐지 장치는 지면 인식 과정 없이 물체를 인식하도록 하므로, 빠른 연산 속도와 효율적인 처리 과정이 가능하게 된다.The data classification module 120 receives the raw data from the sensor module and can generate object candidate group data among the raw data according to a predetermined criterion. At this time, unlike the conventional object detecting apparatus, the object detecting apparatus of the present invention allows an object to be recognized without a ground recognition process, thereby enabling a fast computing speed and an efficient processing process.
또한, 본 발명의 데이터 분류 모듈(120)은 원시 데이터의 영역별 정보를 파악하기 위한 격자(grid) 구조를 생성할 수 있다. 이러한 격자는 센서 모듈(110) 또는 물체 탐지 장치(100)를 기준으로 하여 주변 구역을 일정한 또는 임의의 크기를 가지는 가상 구역으로 나뉘는 것을 의미한다. 예를 들어, 3차원 격자의 경우, 물체 탐지 장치를 기준(0, 0, 0)으로 가로, 세로, 높이 1m를 하나의 격자로 설정하고, 해당 격자 내부에 포함되는 원시 데이터를 수집할 수 있다.In addition, the data classification module 120 of the present invention can generate a grid structure for grasping the information of each region of the raw data. This grid means that the peripheral region is divided into a virtual region having a certain size or an arbitrary size based on the sensor module 110 or the
또한, 본 발명의 데이터 분류 모듈(120)은 원시 데이터를 기 저장된 점유 격자(occupancy grid)에 투사하고, 원시 데이터 중 물체 후보군 데이터를 생성할 수 있다. 이 때, 점유 격자는 직교좌표계 또는 극좌표계 격자이고, 원시 데이터는 3D 데이터 포인트일 수 있다. 또한, 데이터 분류 모듈이 3D 데이터 포인트를 점유 격자의 좌표값에 할당할 수 있다.In addition, the data classification module 120 of the present invention can project original data on a pre-stored occupancy grid, and generate object candidate group data among raw data. At this time, the occupancy grid may be an orthogonal coordinate system or a polar coordinate system grid, and the raw data may be a 3D data point. In addition, the data classification module may assign the 3D data points to the coordinate values of the occupancy grid.
이러한 격자 또는 점유 격자 내부에서 감지되는 원시 데이터들은, 물체의 형상 또는 크기에 따라서 많은 원시 데이터가 수집될 수도 있고, 원시 데이터가 수집되지 않을 수도 있다. 다만, 이 때 수집되는 원시 데이터는 별도의 순서나 형상을 알 수 없는 말 그대로의 원시(raw) 데이터이므로, 후술하는 바와 같이 그 가공에 있어 속도를 향상시키기 위한 방식을 사용할 수 있다.Raw data that is sensed within such a grid or occupancy grid may be gathered in accordance with the shape or size of the object, and raw data may not be collected. However, since the raw data collected at this time is raw raw data that can not be recognized in a separate order or shape, a method for improving the processing speed can be used as described later.
도 3을 참조하면, 본 발명의 물체 탐지 장치(100)의 주변에서 격자(310, 320, 330)를 일정한 또는 임의의 크기를 가지도록 가상 구획한다. 이어, 물체 탐지 장치의 센서 모듈이 각각의 격자에 포함되어 있는 물체(210, 220, 230)에서 감지되는 다수의 원시 데이터들을 수집하게 된다. 수집된 원시 데이터들은 후술하는 바와 같이 일정한 기준에 따라서 물체 후보군 데이터로 생성된다.Referring to FIG. 3, the
데이터 분류 모듈(120)은 격자별로 포함하는 원시 데이터의 높이값 중 가장 낮은 값을 해당 격자의 지면 높이로 판단하여 저장하고, 상기 지면 높이보다 기 설정된 이상 높은 원시 데이터의 집합을 물체 후보군 데이터로 생성할 수 있다. 본 발명의 물체 탐지 장치의 경우, 종래와 달리 지면인지 아닌지를 별도로 확인하는 과정을 제외하므로, 격자별로 수집된 원시 데이터들 중 가장 낮은 값을 지면 높이로 임의 설정하고 기 설정된 높이(ex; 30cm) 이상에 위치하는 데이터들을 물체 후보군 데이터로 생성하도록 한다.The data classification module 120 determines the lowest value of the height values of the raw data included in each grid to be the ground height of the corresponding grid and stores the set of raw data higher than the predetermined height as object candidate data can do. Since the object detection apparatus of the present invention excludes the process of separately checking whether or not the ground is different from the conventional one, the lowest value among the raw data collected for each grid is arbitrarily set as the ground height, And generates the object candidate group data.
예를 들어, 물체 탐지 장치(100)가 설치된 자율 주행 자동차가 주행을 하는 경우, 지면에서 기 설정된 높이 이하(20cm)의 보도블록은 물체 후보군 데이터에 제외할 수 있다. 그러나, 기 설정된 높이 이상(1.2m)의 다른 자동차는 물체 후보군 데이터에 포함시킬 수 있다.For example, when an autonomous vehicle equipped with the
본 발명의 데이터 분류 모듈이 원시 데이터를 입력받아 물체 후보군 데이터를 생성하기까지에 대한 실시예를 설명하면 다음과 같다. 2D 점유 격자(occupancy grid)에 기반한 물체 후보군 데이터 생성은, 3D 데이터 입력의 영역별 정보를 파악하기 위해 2차원 격자구조를 생성할 수 있다. 이 때, 2차원 격자구조는 2차원 직교좌표계상의 격자구조일 수도 있고, 극좌표계상의 격자구조일 수도 있다. 또한, 3D LIDAR 센서 입력으로 들어온 3D 데이터 포인트들은, 생성된 2차원 격자에 해당 좌표값에 따라 할당된다.An exemplary embodiment of the data classification module of the present invention from input of raw data to generation of object candidate group data will be described as follows. The object candidate group data generation based on the 2D occupancy grid can generate a two-dimensional grid structure to grasp the area-specific information of the 3D data input. At this time, the two-dimensional lattice structure may be a lattice structure in a two-dimensional orthogonal coordinate system or a lattice structure in a polar coordinate system. In addition, the 3D data points entered into the 3D LIDAR sensor input are assigned to the generated two-dimensional grid according to the corresponding coordinate values.
각 격자에는 할당된 3D 데이터 포인트들이 갖는 높이값(직교좌표상에서의 z값)중 가장 낮은 값이 저장된다. 각 격자에서는 높이값보다 높은 z값을 갖는 모든 포인트들을 물체 후보군 데이터로 추출한다. 일례로, 총 NC개의 격자 중, j번째 격자에 저장된 가장 낮은 높이값을 hj라 하면, j번째 격자에 포함된 모든 포인트들 중, z값이 hj보다 큰 포인트들은 물체 후보군 데이터 C의 원소가 된다. 이를 수식으로 표현하면 아래와 같다.In each grid, the lowest value among the height values (z values in Cartesian coordinates) of the assigned 3D data points is stored. In each lattice, all points having a z value higher than the height value are extracted as object candidate group data. For example, if the lowest height value stored in the jth grid among the total N C grids is h j , out of all the points included in the jth grid, the points whose z value is larger than h j are the points of the object candidate cluster data C It becomes an element. The equation is expressed as follows.
C = {pi|pi>hj+t1, pi∈P, j=0,1,…,NC-1}C = {p i | p i > h j + t 1 , p i? P, j = 0,1, ... , N C -1}
t1 은 물체로서 인식되기 위한 최소한의 높이를 결정하는 문턱값이다. 일례로, hj가 -2.2(m), t1이 0.3(m) 이라면, 해당 격자에 속하는 포인트들 중, z값이 -1.9보다 큰 모든 포인트들은 C에 포함된다. 또한, C에 포함된 포인트들은, 향후 개별 물체로 클러스터링 되는데, 이 때 클러스터링 속도 향상을 위해 2차원 또는 3차원의 격자구조가 이용되거나, 해당 격자구조들을 통해 생성된 셀들을 꼭짓점(node)으로 정의하고, 이를 변(edge)으로 연결하는 그래프(graph)등이 이용될 수 있다. 또한, 상기 그래프의 경우 격자구조 기반이 아닌 개별 포인트가 하나의 꼭짓점(node)이 되는 구조 또한 이용이 가능하다.t 1 is a threshold value that determines the minimum height to be recognized as an object. For example, if h j is -2.2 (m) and t 1 is 0.3 (m), then all of the points belonging to the lattice with z greater than -1.9 are included in C. In addition, points included in C are clustered into individual objects in the future. In this case, a two-dimensional or three-dimensional lattice structure is used to improve the clustering speed, or cells created through the corresponding lattice structures are defined as vertices And a graph connecting them to the edges may be used. Also, in the case of the graph, it is also possible to use a structure in which individual points that are not based on the lattice structure are one vertex.
또한, 본 발명의 데이터 분류 모듈(120)은 원시 데이터를 포함하는 2차원 또는 3차원 격자 구조를 통해 생성된 2차원 격자 셀(grid cell) 또는 3차원 격자 복셀(grid voxel)을 생성할 수 있다. 이 때, 본 발명의 데이터 분류 모듈은, 격자 셀 또는 격자 복셀에 포함되는 원시 데이터의 평균(mean), 분산(variance), 표준편차 중 어느 하나를 연산하여 원시 데이터의 대표 원시 데이터를 산출하고, 각각의 대표 원시 데이터들을 연결하여 물체 후보군 데이터를 생성할 수 있다.In addition, the data classification module 120 of the present invention can generate a two-dimensional grid cell or a three-dimensional grid voxel generated through a two-dimensional or three-dimensional grid structure including raw data . At this time, the data classification module of the present invention calculates representative raw data of raw data by calculating one of mean, variance, and standard deviation of the raw data included in the grid cell or the lattice voxel, It is possible to generate object candidate group data by connecting each representative raw data.
물체 후보군 데이터에 포함되는 포인트들을 빠르게 클러스터링할 수 있도록 2차원 또는 3차원 격자 구조를 생성할 수 있다. 격자 구조가 없이 원시 데이터를 수집하는 경우, 지나치게 넓은 범위에서 수집되는 원시 데이터의 정리에 대한 데이터 처리가 지연되지만, 일정한 격자를 설정하고 격자 내부에 포함되는 원시 데이터끼리 먼저 그룹핑한 후 처리하게 되면 보다 빠른 연산이 가능하게 된다.A two-dimensional or three-dimensional grid structure can be created so that points included in the object candidate group data can be clustered quickly. In the case of collecting raw data without a grid structure, the data processing for the arrangement of raw data collected in an excessively wide range is delayed. However, if a certain grid is set and the raw data included in the grid is first grouped and then processed Fast calculation is possible.
앞서 설명한 바와 같이, 센서 모듈에 의해 수집된 원시 데이터들은 별도의 순서가 없기 때문에, 원시 데이터들이 서로 인접하고 있는지 또는 이격되어 있는지 등 물체 후보군 데이터를 생성할 때, 원시 데이터가 많아지면 많아질수록 순서를 정하는 데 기하급수적으로 처리속도가 늘어나게 된다.As described above, since the raw data collected by the sensor module does not have a separate order, when generating the object candidate group data such as whether the raw data are adjacent to or spaced from each other, The processing speed increases exponentially in order to determine the processing speed.
도 4a 및 도 4b를 참조하면, 본 발명의 물체 탐지 장치가 포인트 그룹의 빠른 처리를 위하여, 격자(340, 350) 내부에 있는 다수의 원시 데이터를 모두 사용하지 않고, 대표 원시 데이터(341, 351)를 선정한 후 대표 원시 데이터들만을 추후 연산에 사용하도록 한다. 이를 통하여 샘플링 효과를 얻을 수 있으며, 기하급수적으로 늘어날 수 밖에 없는 원시 데이터들의 정리를 간편하게 해결할 수 있다.4A and 4B, the object detecting apparatus of the present invention may use representative
이 때, 대표 원시 데이터를 설정하는 경우, 다수의 원시 데이터의 평균, 분산, 표준편차, 중간값, 최빈값 등 통계적으로 사용될 수 있는 대표값은 모두 적용될 수 있다.At this time, when representative raw data is set, representative values that can be used statistically such as average, variance, standard deviation, intermediate value, and mode value of a plurality of raw data can all be applied.
도 5a 및 도 5b는 본 발명의 물체 탐지 장치가 생성한 원시 데이터에서 물체 후보군 데이터를 생성하고, 포인트 그룹을 생성하는 예시도이다.FIGS. 5A and 5B are exemplary diagrams for generating object candidate group data from raw data generated by the object detecting apparatus of the present invention, and generating point groups. FIG.
클러스터 모듈(130)은 물체 후보군 데이터 중 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성할 수 있다. The cluster module 130 may generate at least one point group according to predetermined similarity among the object candidate group data.
본 발명의 물체 탐지 장치가 원시 데이터에서 물체 후보군 데이터를 선정하는 경우, 여러 물체 후보군 데이터가 산출될 수 있다. 도 5a를 참조하면, 물체 탐지 장치(100)가 제1 물체(210) 및 제3 물체(230)에 대한 원시 데이터를 수집하고, 일정 기준에 따라서 그 기준에 충족하는 물체 후보군 데이터(211, 231)를 생성하게 된다. When the object detection apparatus of the present invention selects object candidate group data from the raw data, various object candidate group data can be calculated. 5A, the
이러한 물체 후보군 데이터는 물체로 추정되는 유력한 데이터일 뿐, 이 데이터가 정말로 물체인지를 확인하기 위해서는, 해당 물체의 형상을 확인하여야 한다. 따라서, 물체 후보군 데이터들(211, 231) 중 유사도를 기준으로 포인트 그룹(213, 214, 215, 233, 234)을 생성하여, 해당 물체를 보다 명확하게 확인할 수 있도록 한다.These object candidate data are only valid data that can be estimated as an object. To check whether this data is really an object, the shape of the object should be confirmed. Accordingly, the
이 때, 클러스터 모듈은 물체 후보군 데이터간 유클리드 거리, 반사율, 법선 벡터 중 어느 하나를 포함하는 유사도에 따라 적어도 하나의 포인트 그룹을 생성할 수 있다. 이는 물체 후보군 데이터에서, 동일한 물체 표면에서 나타날 수 있는 모든 유사도를 확인하기 위함으로, 물체 데이터의 정확한 추출에 필요하다.At this time, the cluster module can generate at least one point group according to the degree of similarity including any one of Euclidean distance, reflectance, and normal vector between object candidate group data. This is necessary for accurate extraction of object data in order to confirm all similarities that may appear on the same object surface in object candidate data.
또한, 물체 후보군 데이터의 밀도에 따라서, 상기 센서 모듈이 수집하는 원시 데이터의 탐색 범위를 조절할 수 있다. 유사도의 계산시, 계산에 이용되는 포인트의 수에 따라서 유사도 값이 달라질 수 있다. 특히, 특정 범위보다 더 가까운 포인트들을 이용하여 유사도를 계산하는 경우, 센서 오차의 영향이 커지는 문제점이 발생할 수 있으며, 포인트간 멀리 떨어져 있는 경우 계산에 필요할 정도로 충분한 데이터를 확보하지 못할 수 있다. 따라서, 계산에 필요한 포인트의 수를 확보하기 위하여 인근 포인트의 탐색 범위를 넓히거나 좁혀 유사도 판단에 사용할 수 있다.In addition, the search range of the raw data collected by the sensor module can be adjusted according to the density of the object candidate group data. When calculating the similarity degree, the similarity degree value may be changed according to the number of points used in the calculation. In particular, when calculating the similarity using points closer to a certain range, there may arise a problem that the influence of the sensor error increases, and when the distance is far from the point, sufficient data necessary for calculation may not be secured. Therefore, in order to secure the number of points necessary for the calculation, the search range of the neighboring points can be widened or narrowed and used for judging the similarity.
데이터 처리 모듈(140)은 포인트 그룹에서 물체 데이터를 추출할 수 있다. The data processing module 140 may extract the object data from the point group.
이 때, 데이터 처리 모듈은 물체 데이터의 정확한 추출을 위하여 상기 포인트 그룹을 지면 접점까지 확장할 수 있다. 또한, 데이터 처리 모듈은, 물체 후보군 데이터에 포함되지 않은 원시 데이터를 지면 데이터로 추출하고, 상기 지면 데이터 중 인근 포인트 그룹과 유사도가 높은 포인트들을 상기 포인트 그룹에 포함시킬 수 있다.At this time, the data processing module may extend the point group to the ground contact for accurate extraction of object data. Also, the data processing module may extract raw data not included in the object candidate group data as the ground data, and include points having a high degree of similarity with the nearby point group among the ground data.
예를 들어, 데이터 분류 모듈이 물체 후보군 데이터를 생성하는 경우, 기 설정된 기준이 지면으로부터 일정 높이(ex; 30cm)이라면, 일정 높이 이하에 위치하는 원시 데이터들은 지면과 물체의 접점이 어디인지를 확인할 때 사용될 수 있다. 도 6을 살펴보면, 지면(200)에 일정 높이(240)를 기준으로, 높이에 미치지 못하는 원시 데이터(212)들의 포인트를 모두 산출하고, 해당 포인트의 여러 상태를 확인 후 접점(216)을 찾을 수 있다.For example, when the data classification module generates object candidate group data, if the preset reference is a predetermined height (eg, 30 cm) from the ground, the raw data located below the predetermined height are used to check the contact point between the ground and the object Can be used. 6, all of the points of the
또한, 물체의 하단 경계를 찾을 때, 지면과의 접점을 파악하기 위하여 물체와 지면이 직교하는 영역을 찾아내어 클러스터링할 수 있다. 이 때, 상기 포인트 그룹에 포함되어 있는 포인트를 선택하여, 상기 포인트의 법선 벡터, 반사율, 기울기 중 어느 하나에 따라 지면 접점 데이터를 추출할 수도 있고, 상기 포인트 그룹에 포함되어 있는 임의의 2개 포인트를 선택하여, 상기 포인트 간 연결선이 이루는 직선의 기울기, 연결선과 연결선 사이의 각도 차이 중 어느 하나에 따라 지면 접점 데이터를 추출할 수 있다.Also, when searching the bottom boundary of an object, it is possible to find and clustering regions where the object and the ground are perpendicular to each other to grasp the contact point with the ground. At this time, the point included in the point group may be selected to extract the ground contact data according to any one of the normal vector, the reflectance, and the slope of the point, and any two points And the ground contact data can be extracted according to any one of the slope of the straight line formed by the point-to-point connection line and the angular difference between the connection line and the connection line.
본 발명의 물체 탐지 장치가 포함하는 클러스터 모듈(130)이 수행하는 물체 탐지 방법의 구체적인 실시예를 설명하면 다음과 같다.A specific embodiment of the object detecting method performed by the cluster module 130 included in the object detecting apparatus of the present invention will be described as follows.
유사도 기반 인접 데이터 클러스터링 단계에서는 상기 물체 후보군 C에 포함되는 포인트들 중, 유사도가 높은 것들을 하나의 동일한 그룹으로 만들어주는 클러스터링을 수행한다. 이 때, 유사도는 동일한 물체 표면에서 관측될 수 있는 다양한 특징들이 이용될 수 있다. 일례로, 포인트간 유클리드 거리, 각 포인트의 반사율, 특정 포인트의 인접 포인트들을 이용하여 계산되는 surface normal 등이 이용될 수 있다. In the similarity-based neighbor data clustering step, clustering is performed to make objects having the highest degree of similarity among the points included in the object candidate group C into one same group. At this time, various features that can be observed on the same object surface can be used for similarity. For example, a point-to-point Euclidean distance, a reflectance of each point, a surface normal calculated using adjacent points of a particular point, and the like may be used.
이 때, 상기 유사도 계산시, 계산에 이용되는 포인트의 수에 따라 유사도 값이 달라지는 문제가 발생할 수 있다. 즉, 포인트간 간격이 멀어져 포인트의 밀도가 낮아지는 경우 surface normal 등의 값이 달라지거나 Euclidean distance가 멀어져 클러스터링이 중단되는 경우가 발생 가능하다. 본 발명에서는 상기의 경우 인근 포인트의 탐색 영역을 일정 범위 내에서 늘림으로써 계산에 요구되는 포인트의 수를 확보한다.At this time, the similarity value may vary depending on the number of points used in the calculation. In other words, if the density of points decreases as the distance between the points increases, the value of surface normal may change, or the Euclidean distance may become farther away, resulting in the clustering being interrupted. In the present invention, in the above case, the number of points required for calculation is secured by increasing the search area of a nearby point within a certain range.
유사도 기반 인접 데이터 클러스터링의 결과로 생성된 포인트 그룹의 수가 NS개라면, 이들은 모두 센서 인근에 존재하는 물체라 가정할 수 있고, 이 집합을 O라 하면, 이는 아래와 같이 표현될 수 있다.If the number of point groups generated as a result of the similarity-based neighbor data clustering is N S , they can all be assumed to be objects near the sensor. If this set is O, this can be expressed as follows.
O={Ot|t=0,1,…,NS-1}O = {O t | t = 0,1, ... , N S -1}
지면 접점 인식 단계에서는, 상기 유사도 기반 인접 데이터 클러스터링 단계의 결과로 생성된 물체들 Ot 의 하단 경계면을 찾는다. 상기 물체후보군 C의 원소들은 2D grid 상에서 가장 낮은 점보다 특정 높이(t1)만큼 높은 포인트들만 포함되었으므로, C에 속하지 않았던 포인트들 중, 물체에 포함되는 데이터들을 찾는 과정이 수행된다.In the ground contact recognition step, the bottom boundary of the objects O t generated as a result of the similarity-based neighbor data clustering step is searched. Since the elements of the object candidate group C include only points that are higher than the lowest point on the 2D grid by a specific height t 1 , a process of searching for data included in the object among the points not belonging to C is performed.
이는 Ot에 포함된 포인트들과, 그 인근 포인트들 중 C에 속하지 않았던 포인트들의 유사도 기반 클러스터링을 통해 수행되는데, 이 때에는 물체와 지면의 경계의 수직성이 이용된다. 도 7은 수직성의 일례로 물체상의 포인트와 C에 속하지 않은 인근 포인트가 형성하는 기울기를 이용하여 지면의 접점을 인식하는 예시 이미지이다.This is done through similarity-based clustering of the points contained in O t and points that did not belong to C of the neighboring points, where the perpendicularity of the boundary between the object and the ground is used. FIG. 7 is an example image for recognizing a contact point of a ground using a slope formed by a point on an object and a point not belonging to C as an example of the perpendicularity.
t2 는 지면의 접점으로서 인식되기 위한 기울기를 결정하는 문턱값이다. 이 때, 물체와 지면의 경계가 이루는 수직성은 기울기뿐만이 아니라 해당 포인트들이 형성하는 각도 등, 수직성을 표현할 수 있는 다른 정보 역시 이용될 수 있다.t 2 is a threshold value for determining the slope to be recognized as a contact point on the ground. At this time, not only the slope but also the angle formed by the boundary between the object and the ground can be used as well as other information representing the verticality.
도 8은 본 발명의 물체 탐지 장치가 포인트 그룹을 생성한 뒤 회귀 보정하는 예시도이다.FIG. 8 is an exemplary diagram of an object detecting apparatus according to the present invention performing regression correction after generating a point group. FIG.
본 발명의 물체 탐지 장치의 경우, 포인트 그룹 생성 과정에서 과분할(over-segmentation) 현상이 발생할 수 있다. 이 때, 물체 탐지 장치에 포함되는 회귀 보정 모듈(150)은 포인트 그룹의 회귀(regression)를 수행하여, 회귀 보정으로 정확도를 향상시킬 수 있다. 회귀에는 일차, 이차 방정식 등의 선형 모델과 가우시안 프로세스(Gaussian Process) 등의 비선형 모델을 모두 이용할 수 있다.In the case of the object detection apparatus of the present invention, an over-segmentation phenomenon may occur in the point group generation process. At this time, the regression correction module 150 included in the object detection apparatus may perform regression of the point group to improve the accuracy by regression correction. For regression, both linear models such as first order and quadratic equations and nonlinear models such as Gaussian process can be used.
이 때, 본 발명의 회귀 보정 모듈은, 포인트 그룹 간 거리가 기 설정된 값 이하의 경우에만 회귀를 수행할 수 있다. 특히, 포인트 그룹 간 가장 가까운 유클리드 거리가 특정 문턱값 이하인 포인트 그룹간에만 회귀를 수행하여, 과분할이 아닌 명백히 서로 다른 물체에 대한 불필요한 연산을 줄이도록 할 수 있다.At this time, the regression correction module of the present invention can perform the regression only when the distance between the point groups is less than a preset value. In particular, it is possible to perform a regression only between groups of points whose closest Euclidean distance between the point groups is less than or equal to a certain threshold, so as to reduce unnecessary operations on distinctly different objects, which are not overpriced.
또한, 본 발명의 회귀 보정 모듈은, 상기 회귀 보정 모듈이 회귀를 통해 예측한 값과, 그에 인접한 포인트 그룹에 포함된 포인트의 값을 비교하여, 그 차이가 기 설정된 값 이하인 경우 두 포인트 그룹을 하나의 포인트 그룹으로 변환할 수 있다. The regression correction module of the present invention compares the value predicted through the regression by the regression correction module with the value of a point included in a group of points adjacent thereto and if the difference is less than a preset value, Can be converted into a point group of.
또한, 본 발명의 회귀 보정 모듈은, 도로의 경사 등으로 인하여 센서 모듈로부터 들어오는 입력 데이터의 왜곡으로 인해 발생하는 성능 저하를 개선하기 위하여, 수집된 포인트의 롤(roll), 피치(pitch), 요(yaw) 값을 추출하여, 회귀값(regression parameter)을 보정할 수 있으며, 회귀 성능을 개선할 수 있다.Also, the regression correction module of the present invention may be configured so as to improve the roll, pitch, and yaw of the collected points in order to improve performance degradation caused by distortion of input data coming from the sensor module due to inclination of the road or the like. it is possible to extract the yaw value, correct the regression parameter, and improve the regression performance.
차량의 움직임으로 인해 센서 데이터가 왜곡되는 경우, 정상적인 데이터를 이용하여 회귀값을 설정한 경우 최적의 성능으로 수행되지 않을 수도 있으므로, 이를 방지하기 위해 본 발명에서는 roll, pitch, yaw 값을 이용하여 regression parameter를 보정함으로써 성능을 개선시킨다. 이는 센서 데이터에 포함된 도로의 상태 등을 파악하고 그 상태값(parameter)을 보정하는 것으로, 경사가 있는 경우 회귀가 제대로 되지 않을 수 있는 상황을 보정하여 준다.In the present invention, when the sensor data is distorted due to the movement of the vehicle and the regression value is set using normal data, the optimum performance may not be achieved. To prevent this, the present invention uses a roll, pitch, To improve performance. This is to grasp the state of the roads included in the sensor data, and to correct the state value, thereby correcting a situation in which the regression may not be performed properly if there is a slope.
본 발명의 물체 탐지 장치가 포함하는 회귀 보정 모듈(150)이 수행하는 물체 탐지 방법의 구체적인 실시예를 설명하면 다음과 같다.A specific embodiment of the object detection method performed by the regression correction module 150 included in the object detection apparatus of the present invention will be described as follows.
3D LIDAR는 레이저를 사용하는 본질적 특징으로 인해 특정 물체 표면에서 데이터가 누락되는 경우가 발생하는데, 이는 3D LIDAR의 레이저 측정값간 간격이 불규칙적으로 변화하는 현상을 일으켜 유사도 기반으로 클러스터링 시 하나의 물체가 두 개 이상으로 나뉘어지는 문제를 유발한다.In 3D LIDAR, the intrinsic feature of using a laser causes data to be missing on a specific object surface, which causes irregular intervals between laser measurement values of 3D LIDAR, Resulting in a problem that is divided into two or more.
따라서, 물체 탐지 장치의 분할(Segmentation) 결과로 발생할 수 있는 과분할(over-segmentation) 문제의 경우, 단일 프레임 내에서의 회귀(regression)를 통해 개선하여, 정확도를 향상할 수 있다. 이 때, 물체 인식 결과들 중, 하나의 물체가 두 개 이상으로 쪼개져 있는 부분을 찾아 하나로 합쳐주게 된다.Therefore, in the case of an over-segmentation problem that may occur as a result of segmentation of an object detection apparatus, it is possible to improve the accuracy by regression in a single frame. At this time, among the object recognition results, a part where one object is divided into two or more parts is searched and combined into one.
본 발명에서 회귀 연산(regression)을 통해 정확도를 향상하는 방법은, 인접한 두 물체간 표면 정보가 서로의 표면 정보를 갖고 예측될 수 있다면 두 물체가 동일한 하나의 물체라고 판단하는 방식이다. 도 8을 참조하면, 본 발명의 물체 탐지 장치의 센서 모듈이 측정한 측정값들이 선형 관계에 있다고 가정하는 선형 회귀(linear regression)를 적용한 일례이다. 하나의 자동차를 측정한 포인트들이 두 개의 그룹 A, B로 나뉘어 있는데, 그룹 A에 속하는 포인트들로 생성한 직선의 연장선이 그룹 B에 속하는 포인트들과 이루는 오차의 차이가 작은 경우, 두 물체를 하나로 묶는 방식이다. In the present invention, a method of improving accuracy through regression is a method in which two objects are considered to be the same object if the surface information between adjacent two objects can be predicted with the surface information of each other. Referring to FIG. 8, there is shown an example of linear regression in which measured values measured by the sensor module of the object detecting apparatus of the present invention are assumed to be in a linear relationship. When the point of measurement of one vehicle is divided into two groups A and B and the difference between the line of extension of the straight line generated by points belonging to group A and the point belonging to group B is small, It is a way of bundling.
회귀(regression) 수행시, 이용되는 포인트들의 수가 많아질수록 계산량이 늘어나 처리 속도가 느려질 수 있다. 이를 방지 하기 위해, 두 그룹에 속한 포인트들 중, 거리가 가까운 포인트들만을 선별하여 계산에 이용할 수 있다. 이 때, 오차는 평균 제곱근 오차 (Root Mean Square Error) 혹은 평균 제곱 오차(Mean Square Error)로 계산되는데, 해당 오차가 특정 문턱값 t3보다 작은 경우, 두 물체는 하나로 합해진다. 일례로 RMSE의 경우, 수식은 아래와 같이 정리될 수 있다.In regression, as the number of points used increases, the amount of computation increases and the processing speed may become slower. In order to prevent this, only the points near the distance among the points belonging to the two groups can be selected and used for the calculation. In this case, the error is calculated as a root mean square error or a mean square error. If the error is smaller than the specific threshold value t 3 , the two objects are combined into one. For example, in the case of RMSE, the equations can be summarized as follows.
상기 n은 regression에 의해 예측된 값들의 개수이다.Where n is the number of values predicted by regression.
도 8에서는 선형 회귀가 일례로 제시되어 있으나, 이는 특정 회귀 모델의 제한을 의미하는 것은 아니며, 본 발명은 기타 quadratic, cubic 등 선형 모델 뿐 아니라 Gaussian process 등 비선형 모델 또한 역시 적용이 가능하다. In FIG. 8, the linear regression is shown as an example, but this does not mean a limitation of the specific regression model. The present invention can be applied not only to linear models such as quadratic and cubic but also to nonlinear models such as Gaussian process.
도 9는 본 발명의 물체 탐지 방법을 나타내는 순서도이다.9 is a flowchart showing an object detecting method of the present invention.
도 9를 참조하면, 본 발명의 물체 탐지 방법은 (a) 주변 환경에 대한 원시 데이터를 수집하는 단계, (b) 상기 원시 데이터를 입력받고, 기 설정된 기준에 따라서 상기 원시 데이터 중 물체 후보군 데이터를 생성하는 단계, (c) 상기 물체 후보군 데이터 중, 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 단계, (d) 상기 포인트 그룹에서 물체 데이터를 추출하는 단계를 포함할 수 있다.Referring to FIG. 9, the object detecting method of the present invention includes the steps of (a) collecting raw data of a surrounding environment, (b) receiving the raw data, (C) generating at least one point group according to a predetermined degree of similarity among the object candidate group data, and (d) extracting object data from the point group.
이 때, 본 발명의 물체 탐지 방법은 앞서 도 1 내지 도 8에서 설명한 상세한 부가 내용들을 적용하여, 물체 탐지 방법을 수행할 수 있다.At this time, the object detecting method of the present invention can perform the object detecting method by applying the additional contents described in FIGS. 1 to 8 above.
한편, 본 발명의 물체 탐지 시스템은 주변 환경에 대한 원시 데이터를 수집하고, 물체 탐지 서버에 송신하는 센서 장치, 상기 원시 데이터를 수신하고, 기 설정된 기준에 따라서 상기 원시 데이터 중 물체 후보군 데이터를 생성하며, 상기 물체 후보군 데이터 중 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하고, 상기 포인트 그룹에서 물체 데이터를 추출하여 컨트롤러에 송신하는 물체 탐지 서버, 상기 물체 데이터를 수신하는 컨트롤러를 포함할 수 있다.Meanwhile, the object detection system of the present invention includes a sensor device for collecting raw data about a surrounding environment and transmitting the raw data to an object detection server, receiving the raw data, generating object candidate data among the raw data according to a preset reference, An object detection server for generating at least one point group according to a preset similarity among the object candidate group data, extracting object data from the point group and transmitting the object data to the controller, and a controller for receiving the object data.
상술한 본 발명의 물체 탐지 장치의 경우, 자율주행 자동차 등에 설치되어 해당 물체 탐지 장치가 자체적으로 그 연산을 수행하지만, 센서 장치와 별도로 원거리에 위치하여 독립적인 하드웨어로 구현되는 물체 탐지 서버로 원시 데이터를 송신하여 서버에서 해당 연산을 처리하고, 자동차 등에 설치된 컨트롤러로 다시 물체 데이터를 송신하여 자동차를 제어할 수도 있다.In the case of the above-described object detecting apparatus of the present invention, an object detecting apparatus installed in an autonomous vehicle or the like, performs an arithmetic operation on its own, but an object detecting server located at a remote location apart from the sensor apparatus, The server may process the calculation, and the object data may be transmitted again to the controller installed in the vehicle or the like to control the vehicle.
본 발명은 기본적으로 차량 환경에서의 물체 인식을 염두에 두고 고안되었으나, 상기 기술한 LIDAR를 이용하여, 움직이는 모든 물체를 포함한, 충돌 가능성이 있는 물체의 인식이 필요한 모든 기술분야에 활용이 가능하다. 일례로 공장의 무인 전동지게차가 사전에 정의된 구간을 자동주행하며 물건을 나르는 경우, 주변의 다른 로봇이나 보행자들을 피해 움직여야 할 경우 본 발명이 적용될 수 있다. 또한 LIDAR를 특정 위치에 고정시켜두고 사용하는 경우, 백화점 입구, 고속도로의 톨게이트 등을 통행하는 보행자 및 차량의 수를 세는 데에도 이용될 수 있다.Although the present invention is basically designed in consideration of object recognition in a vehicle environment, it is possible to utilize the LIDAR described above in all the technical fields requiring recognition of a possible collision object including all moving objects. For example, the present invention can be applied to a case where an unmanned electric forklift of a factory carries a product by automatically traveling in a predefined section, and moves around other robots or pedestrians in the vicinity. Also, when the LIDAR is fixedly used at a certain position, it can be used for counting the number of pedestrians and vehicles passing through a department store entrance, a toll gate on a highway, and the like.
위에서 설명된 본 발명의 실시 예들은 예시의 목적을 위해 개시된 것이며, 이들에 의하여 본 발명이 한정되는 것은 아니다. 또한, 본 발명에 대한 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 사상과 범위 안에서 다양한 수정 및 변경을 가할 수 있을 것이며, 이러한 수정 및 변경은 본 발명의 범위에 속하는 것으로 보아야 할 것이다.The embodiments of the present invention described above are disclosed for the purpose of illustration, and the present invention is not limited thereto. It will be apparent to those skilled in the art that various modifications and variations can be made in the present invention without departing from the spirit and scope of the invention.
100 : 물체 탐지 장치
110 : 센서 모듈
120 : 데이터 분류 모듈
130 : 클러스터 모듈
140 : 데이터 처리 모듈
150 : 회귀 보정 모듈
200 : 지면
210, 220, 230 : 물체
211, 212, 231, 232 : 원시 데이터
211, 231 : 물체 후보군 데이터
213, 214, 215, 233, 234 : 포인트 그룹
216, 221 : 지면 접점 데이터
222 : 포인트 그룹
223 : 물체 후보군 데이터에 포함되지 않는 원시 데이터
241, 241 : 포인트 그룹
240 : 기 설정된 기준(높이)
310, 320, 330, 340, 350, 360, 370, 380 : 격자
341, 351, 361, 371, 381 : 대표 포인트100: object detection device
110: Sensor module
120: Data classification module
130: Cluster module
140: Data processing module
150: regression correction module
200: Ground
210, 220, 230: object
211, 212, 231, 232: raw data
211, 231: Object candidate data
213, 214, 215, 233, 234: a point group
216, 221: Ground contact data
222: Point group
223: raw data not included in object candidate data
241, 241: Point group
240: preset standard (height)
310, 320, 330, 340, 350, 360, 370, 380: grid
341, 351, 361, 371, 381: representative point
Claims (21)
상기 센서 모듈로부터 상기 원시 데이터를 입력받고, 기 설정된 기준에 따라서 상기 원시 데이터 중 물체 후보군 데이터를 생성하는 데이터 분류 모듈;
상기 물체 후보군 데이터 중, 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 클러스터 모듈;
포인트 그룹 생성 과정에서 과분할(over-segmentation)이 발생하는 경우, 상기 포인트 그룹의 회귀(regression)를 수행하는 회귀 보정 모듈; 및
상기 포인트 그룹에서 물체 데이터를 추출하는 데이터 처리 모듈;
을 포함하는 물체 탐지 장치.
A sensor module for collecting raw data of the surrounding environment;
A data classification module that receives the raw data from the sensor module and generates object candidate group data of the raw data according to a predetermined criterion;
A cluster module for generating at least one group of points from the object candidate group data according to predetermined similarity;
A regression correction module that performs regression of the point group when an over-segmentation occurs in the point group generation process; And
A data processing module for extracting object data from the point group;
And an object detection device.
상기 센서 모듈은,
2D 또는 3D LIDAR(LIght Detection And Ranging) 센서인 것을 특징으로 하는 물체 탐지 장치.
The method according to claim 1,
The sensor module includes:
2D or 3D LIDAR (LIght Detection And Ranging) sensor.
상기 센서 모듈은, 1주기 또는 1프레임을 기준으로 원시 데이터를 수집하여 누적하는 것을 특징으로 하는 물체 탐지 장치.
The method according to claim 1,
Wherein the sensor module collects and accumulates raw data based on one cycle or one frame.
상기 데이터 분류 모듈은,
상기 원시 데이터의 영역별 정보를 파악하기 위한 격자(grid) 구조를 생성하는 것을 특징으로 하는 물체 탐지 장치.
The method according to claim 1,
Wherein the data classification module comprises:
And generates a grid structure for grasping information of each region of the raw data.
상기 데이터 분류 모듈은,
상기 원시 데이터를 기 저장된 점유 격자(occupancy grid)에 투사하고, 상기 원시 데이터 중 물체 후보군 데이터를 생성하는 것을 특징으로 하는 물체 탐지 장치.
5. The method of claim 4,
Wherein the data classification module comprises:
And projecting the raw data to a pre-stored occupancy grid, and generating object candidate group data of the raw data.
상기 점유 격자는 직교좌표계 또는 극좌표계 격자이고,
상기 원시 데이터는 3D 데이터 포인트이며,
상기 데이터 분류 모듈이 상기 3D 데이터 포인트를 상기 점유 격자의 좌표값에 할당하는 것을 특징으로 하는 물체 탐지 장치.
6. The method of claim 5,
Wherein the occupancy lattice is a Cartesian coordinate system or a polar coordinate system lattice,
The raw data is a 3D data point,
And the data classification module assigns the 3D data point to coordinate values of the occupancy grid.
상기 데이터 분류 모듈은,
격자별로 포함하는 원시 데이터의 높이값 중 가장 낮은 값을 해당 격자의 지면 높이로 판단하여 저장하고, 상기 지면 높이보다 기 설정된 기준 이상 높은 원시 데이터의 집합을 물체 후보군 데이터로 생성하는 것을 특징으로 하는 물체 탐지 장치.
5. The method of claim 4,
Wherein the data classification module comprises:
Wherein the object candidate group data is generated by storing the lowest value among the height values of the raw data included in each lattice as the height of the lattice of the corresponding lattice and storing the set of raw data higher than the predetermined height, Detector.
상기 데이터 분류 모듈은,
원시 데이터를 포함하는 2차원 또는 3차원 격자 구조를 통해 2차원 격자 셀(grid cell) 또는 3차원 격자 복셀(grid voxel)을 생성하는 것을 특징으로 하는 물체 탐지 장치.
The method according to claim 1,
Wherein the data classification module comprises:
Wherein a grid cell or a grid voxel is generated through a two-dimensional or three-dimensional grid structure including raw data.
상기 데이터 분류 모듈은,
상기 격자 셀 또는 상기 격자 복셀에 포함되는 원시 데이터의 평균(mean), 분산(variance), 표준편차 중 어느 하나를 연산하여 원시 데이터의 대표 원시 데이터를 산출하고, 각각의 대표 원시 데이터들을 꼭짓점(node)으로 선정하여, 이를 변(edge)로 연결하는 그래프(graph)를 생성하는 것을 특징으로 하는 물체 탐지 장치.
9. The method of claim 8,
Wherein the data classification module comprises:
The representative raw data of the raw data is calculated by calculating one of mean, variance and standard deviation of the raw data included in the grid cell or the grid voxel, ), And generates a graph connecting edges of the graph with edges.
상기 클러스터 모듈은,
상기 물체 후보군 데이터간 유클리드 거리, 반사율, 법선 벡터 중 어느 하나를 포함하는 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 것을 특징으로 하는 물체 탐지 장치.
The method according to claim 1,
The cluster module includes:
And generates at least one point group according to the degree of similarity including any one of Euclidean distance, reflectance, and normal vector between the object candidate group data.
상기 물체 후보군 데이터의 밀도에 따라서, 상기 센서 모듈이 수집하는 원시 데이터의 탐색 범위를 조절하는 것을 특징으로 하는 물체 탐지 장치.
The method according to claim 1,
Wherein the search range of the raw data collected by the sensor module is adjusted according to the density of the object candidate group data.
상기 센서 모듈로부터 상기 원시 데이터를 입력받고, 기 설정된 기준에 따라서 상기 원시 데이터 중 물체 후보군 데이터를 생성하는 데이터 분류 모듈;
상기 물체 후보군 데이터 중, 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 클러스터 모듈; 및
상기 포인트 그룹에서 물체 데이터를 추출하는 데이터 처리 모듈;을 포함하고,
상기 데이터 처리 모듈은,
상기 포인트 그룹을 지면 접점까지 확장하고, 물체 후보군 데이터에 포함되지 않은 원시 데이터를 지면 데이터로 추출하고, 상기 지면 데이터 중 인근 포인트 그룹과 유사도가 설정된 기준 이상인 포인트들을 상기 포인트 그룹에 포함시키는 것을 특징으로 하는 물체 탐지 장치.
A sensor module for collecting raw data of the surrounding environment;
A data classification module that receives the raw data from the sensor module and generates object candidate group data of the raw data according to a predetermined criterion;
A cluster module for generating at least one group of points from the object candidate group data according to predetermined similarity; And
And a data processing module for extracting object data from the point group,
The data processing module includes:
Extracting raw data not included in the object candidate group data as ground data, and including points in the point group having a degree of similarity higher than a reference level set in proximity to a nearby point group among the ground surface data, .
상기 데이터 처리 모듈은,
상기 포인트 그룹에 포함되어 있는 포인트를 선택하여, 상기 포인트의 법선 벡터, 반사율, 기울기 중 하나 이상을 이용하여 상기 포인트 그룹을 지면 접점 데이터까지 확장하는 것을 특징으로 하는 물체 탐지 장치.
13. The method of claim 12,
The data processing module includes:
Selects points included in the point group and expands the point group to ground contact data by using at least one of a normal vector, a reflectance, and a slope of the point.
상기 데이터 처리 모듈은,
상기 포인트 그룹에 포함되어 있는 임의의 2개 포인트를 선택하여, 상기 포인트 간 연결선이 이루는 직선의 기울기, 연결선과 연결선 사이의 각도 차이 중 하나 이상을 이용하여 상기 포인트 그룹을 지면 접점까지 확장하는 것을 특징으로 하는 물체 탐지 장치.
13. The method of claim 12,
The data processing module includes:
And the point group is extended to the ground contact point by using at least one of a slope of a line formed by the point-to-point connection line and an angle difference between the connection line and the connection line by selecting any two points included in the point group .
상기 회귀 보정 모듈은,
상기 포인트 그룹 간 거리가 기 설정된 값 이하인 경우에만 회귀를 수행하는 것을 특징으로 하는 물체 탐지 장치.
The method according to claim 1,
The regression correction module,
And the regression is performed only when the distance between the point groups is less than a predetermined value.
상기 회귀 보정 모듈은,
수집된 포인트의 롤(roll), 피치(pitch), 요(yaw) 값을 추출하여, 회귀값(regression parameter)을 보정하는 것을 특징으로 하는 물체 탐지 장치.
The method according to claim 1,
The regression correction module,
And extracts a roll, a pitch, and a yaw value of the collected points, and corrects a regression parameter.
상기 회귀 보정 모듈은,
회귀를 통해 예측한 값과, 그에 인접한 포인트 그룹에 포함된 포인트 값을 비교하여, 그 차이가 기 설정된 값 이하인 경우 두 포인트 그룹을 하나의 포인트 그룹으로 변환하는 것을 특징으로 하는 물체 탐지 장치.
The method according to claim 1,
The regression correction module,
And comparing the value predicted through the regression with a point value included in the adjacent point group, and when the difference is equal to or less than a predetermined value, converts the two point groups into one point group.
(b) 상기 원시 데이터를 입력받고, 기 설정된 기준에 따라서 상기 원시 데이터 중 물체 후보군 데이터를 생성하는 단계;
(c) 상기 물체 후보군 데이터 중, 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하는 단계;
(d) 상기 포인트 그룹에서 물체 데이터를 추출하는 단계; 를 포함하고,
상기 포인트 그룹을 생성하는 단계(c)에서 과분할이 발생하는 경우, 상기 포인트 그룹의 회귀를 수행하는 것을 특징으로 하는 물체 탐지 방법.
(a) collecting raw data about the environment;
(b) receiving the raw data and generating object candidate group data of the raw data according to a predetermined criterion;
(c) generating at least one point group according to predetermined similarity among the object candidate group data;
(d) extracting object data from the point group; Lt; / RTI >
And if the over-division occurs in the step (c) of generating the point group, the regression of the point group is performed.
상기 원시 데이터를 수신하고, 기 설정된 기준에 따라서 상기 원시 데이터 중 물체 후보군 데이터를 생성하며, 상기 물체 후보군 데이터 중 기 설정된 유사도에 따라 적어도 하나의 포인트 그룹을 생성하고, 상기 포인트 그룹에서 물체 데이터를 추출하여 컨트롤러에 송신하는 물체 탐지 서버; 및
상기 물체 데이터를 수신하는 컨트롤러;를 포함하고,
상기 물체 탐지 서버는 상기 포인트 그룹을 생성하는 단계에서 과분할이 발생하는 경우 상기 포인트 그룹의 회귀를 수행하는 것을 특징으로 하는 물체 탐지 시스템.
A sensor device for collecting raw data about the environment and transmitting the data to an object detection server;
Generating object candidate group data of the raw data according to a predetermined criterion, generating at least one point group according to predetermined similarity among the object candidate group data, extracting object data from the point group, To the controller; And
And a controller for receiving the object data,
Wherein the object detection server performs the regression of the point group when an over-division occurs in the step of generating the point group.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160057185A KR101822373B1 (en) | 2016-05-10 | 2016-05-10 | Apparatus and method for detecting object |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020160057185A KR101822373B1 (en) | 2016-05-10 | 2016-05-10 | Apparatus and method for detecting object |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20170126740A KR20170126740A (en) | 2017-11-20 |
| KR101822373B1 true KR101822373B1 (en) | 2018-03-08 |
Family
ID=60809445
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020160057185A KR101822373B1 (en) | 2016-05-10 | 2016-05-10 | Apparatus and method for detecting object |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR101822373B1 (en) |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11450063B2 (en) | 2018-08-21 | 2022-09-20 | Samsung Electronics Co., Ltd. | Method and apparatus for training object detection model |
| KR20240002503A (en) | 2022-06-29 | 2024-01-05 | 인하대학교 산학협력단 | Federated learning method and system of guard system reflecting similarity rate of unit environment |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2021509710A (en) * | 2017-12-18 | 2021-04-01 | エスゼット ディージェイアイ テクノロジー カンパニー リミテッドＳｚ Ｄｊｉ Ｔｅｃｈｎｏｌｏｇｙ Ｃｏ．，Ｌｔｄ | Terrain prediction methods, equipment, systems and unmanned aerial vehicles |
| KR102519653B1 (en) | 2018-01-20 | 2023-04-07 | 삼성전자주식회사 | Apparatus and method for point cloud compression |
| KR102109941B1 (en) * | 2018-01-23 | 2020-05-12 | 충북대학교 산학협력단 | Method and Apparatus for Vehicle Detection Using Lidar Sensor and Camera |
| WO2019216469A1 (en) * | 2018-05-11 | 2019-11-14 | 서울대학교 산학협력단 | Method and device for clustering detected targets in vehicle radar system |
| KR102159320B1 (en) * | 2018-08-06 | 2020-09-23 | 국방과학연구소 | Object recognition method using 3d lidar |
| KR102195164B1 (en) * | 2019-04-29 | 2020-12-24 | 충북대학교 산학협력단 | System and method for multiple object detection using multi-LiDAR |
| BR112022020569A2 (en) * | 2020-04-11 | 2022-12-06 | Lg Electronics Inc | POINT CLOUD DATA TRANSMISSION DEVICE, POINT CLOUD DATA TRANSMISSION METHOD, POINT CLOUD DATA RECEPTION DEVICE AND POINT CLOUD DATA RECEPTION METHOD |
| KR102664699B1 (en) * | 2023-07-21 | 2024-05-10 | 주식회사 모빌테크 | Method for building modeling aerial lidar, and computer program recorded on record-medium for executing method therefor |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR101404655B1 (en) * | 2014-04-18 | 2014-06-09 | 국방과학연구소 | Power line extraction using eigenvalues ratio of 3d raw data of laser radar |
| JP2014109537A (en) * | 2012-12-04 | 2014-06-12 | Mitsubishi Electric Corp | Laser radar apparatus |
| JP2014520307A (en) * | 2011-05-16 | 2014-08-21 | エルゴン エナジー コーポレーション リミテッド | Method and system for processing image data |
-
2016
- 2016-05-10 KR KR1020160057185A patent/KR101822373B1/en active IP Right Grant
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2014520307A (en) * | 2011-05-16 | 2014-08-21 | エルゴン エナジー コーポレーション リミテッド | Method and system for processing image data |
| JP2014109537A (en) * | 2012-12-04 | 2014-06-12 | Mitsubishi Electric Corp | Laser radar apparatus |
| KR101404655B1 (en) * | 2014-04-18 | 2014-06-09 | 국방과학연구소 | Power line extraction using eigenvalues ratio of 3d raw data of laser radar |
Cited By (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US11450063B2 (en) | 2018-08-21 | 2022-09-20 | Samsung Electronics Co., Ltd. | Method and apparatus for training object detection model |
| KR20240002503A (en) | 2022-06-29 | 2024-01-05 | 인하대학교 산학협력단 | Federated learning method and system of guard system reflecting similarity rate of unit environment |
Also Published As
| Publication number | Publication date |
|---|---|
| KR20170126740A (en) | 2017-11-20 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR101822373B1 (en) | Apparatus and method for detecting object | |
| US11885910B2 (en) | Hybrid-view LIDAR-based object detection | |
| CN109829386B (en) | Intelligent vehicle passable area detection method based on multi-source information fusion | |
| US10209081B2 (en) | System and method for precision localization and mapping | |
| US11790668B2 (en) | Automated road edge boundary detection | |
| US20190147320A1 (en) | "Matching Adversarial Networks" | |
| JP6664470B2 (en) | High-accuracy map data processing method, apparatus, storage medium, and device | |
| US20190310651A1 (en) | Object Detection and Determination of Motion Information Using Curve-Fitting in Autonomous Vehicle Applications | |
| CN110674705B (en) | Small-sized obstacle detection method and device based on multi-line laser radar | |
| AU2017302833B2 (en) | Database construction system for machine-learning | |
| JP2023523243A (en) | Obstacle detection method and apparatus, computer device, and computer program | |
| US8818702B2 (en) | System and method for tracking objects | |
| KR102195164B1 (en) | System and method for multiple object detection using multi-LiDAR | |
| US20190094858A1 (en) | Parking Location Prediction | |
| US8994823B2 (en) | Object detection apparatus and storage medium storing object detection program | |
| CN116685874A (en) | Camera-laser radar fusion object detection system and method | |
| CN115049700A (en) | Target detection method and device | |
| Börcs et al. | Fast 3-D urban object detection on streaming point clouds | |
| RU2744012C1 (en) | Methods and systems for automated determination of objects presence | |
| Kellner et al. | Road curb detection based on different elevation mapping techniques | |
| CN116830164A (en) | LiDAR decorrelated object detection system and method | |
| Kellner et al. | Multi-cue, model-based detection and mapping of road curb features using stereo vision | |
| Schlichting et al. | Vehicle localization by lidar point correlation improved by change detection | |
| Ma et al. | A convolutional neural network method to improve efficiency and visualization in modeling driver’s visual field on roads using MLS data | |
| CN116311127A (en) | Road boundary detection method, computer equipment, readable storage medium and motor vehicle |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |