KR102114558B1 - Ground and non ground detection apparatus and method utilizing lidar - Google Patents
Ground and non ground detection apparatus and method utilizing lidar Download PDFInfo
- Publication number
- KR102114558B1 KR102114558B1 KR1020180149266A KR20180149266A KR102114558B1 KR 102114558 B1 KR102114558 B1 KR 102114558B1 KR 1020180149266 A KR1020180149266 A KR 1020180149266A KR 20180149266 A KR20180149266 A KR 20180149266A KR 102114558 B1 KR102114558 B1 KR 102114558B1
- Authority
- KR
- South Korea
- Prior art keywords
- point
- points
- ground
- lidar
- distortion
- Prior art date
Links
- 238000001514 detection method Methods 0.000 title claims abstract description 32
- 238000000034 method Methods 0.000 title claims abstract description 27
- 238000012937 correction Methods 0.000 claims description 29
- 230000001174 ascending effect Effects 0.000 claims description 4
- 230000033001 locomotion Effects 0.000 abstract description 23
- 238000000605 extraction Methods 0.000 abstract description 6
- 238000013507 mapping Methods 0.000 description 5
- 238000011160 research Methods 0.000 description 3
- 230000008901 benefit Effects 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 230000004807 localization Effects 0.000 description 1
- 239000011159 matrix material Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/481—Constructional features, e.g. arrangements of optical elements
- G01S7/4817—Constructional features, e.g. arrangements of optical elements relating to scanning
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/483—Details of pulse systems
- G01S7/486—Receivers
- G01S7/4861—Circuits for detection, sampling, integration or read-out
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G06T5/006—
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T5/00—Image enhancement or restoration
- G06T5/80—Geometric correction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/10—Image acquisition modality
- G06T2207/10032—Satellite or aerial image; Remote sensing
- G06T2207/10044—Radar image
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Geometry (AREA)
- Theoretical Computer Science (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
본 발명은 라이다를 이용한 지면 및 비지면 검출 장치 및 방법에 관한 것으로, 라이다를 통해 획득된 3D 점군의 기하학적 특징을 활용한 지면 및 비지면 검출 장치 및 방법에 관한 것이다.The present invention relates to a ground and non-ground detection device and method using a lidar, and to a ground and non-ground detection device and method utilizing the geometric features of the 3D point group obtained through the lidar.
라이다(LiDAR) 센서는 라이다 센서는 360도 회전하면서 레이저 펄스와 같은 광을 방사하고, 반사되어 돌아오는 광을 감지함으로써 주변을 스캔하여 자신을 중심으로 상대 거리에 기반한 3D 점군(Point Cloud)을 획득함으로써, 다른 깊이 측정 센서들과는 달리, 야외에서 넓은 범위의 깊이 정보를 획득할 수 있다는 점에서 큰 장점을 갖는다. 이에 따라, 라이다를 활용한 많은 연구가 진행되고 있으며, 특히 물체 검출, 도로 검출 등에 대한 연구가 라이다에서 획득된 점군 상에서 이루어지고 있다. 또한 라이다를 활용한 SLAM(Simultaneous Localization and Mapping) 관련 연구도 많이 이루어지고 있다.The LiDAR sensor is a 3D point cloud based on a relative distance centered on itself by scanning the surroundings by emitting light such as a laser pulse while rotating 360 degrees and detecting the light that is reflected back. By obtaining a, unlike other depth measurement sensors, it has a great advantage in that it can acquire a wide range of depth information outdoors. Accordingly, many studies have been conducted using riders, and in particular, studies on object detection, road detection, and the like have been conducted on point groups obtained from riders. In addition, many researches on SLAM (Simultaneous Localization and Mapping) using riders have been conducted.
현재 라이다 활용 연구들은 오도메트리(Odometry)/맵핑(Mapping) 시 사용되는 특징점들을 별도의 RGB 영상을 사용하여 획득하거나 3D 점군 그 자체에서 추출한다. 그러나 3D 점군에서 추출되는 특징점들은 매 프레임마다 일정하다고 볼 수 없으며, 점군 전체의 기하학적 특징을 활용하지 않는다는 단점이 있다. 또한, 많은 라이다 활용 연구들이 차량과 같은 이동 수단에 라이다 센서를 장착하여 수행됨에 따라 라이다에서 추출된 3D 점군은 라이다 센서의 이동으로 인한 왜곡이 포함되어 있다. 이에 왜곡을 보상하기 위한 후처리 작업을 수행되어야 한다.Currently, researches using Lida acquire characteristic points used in Odometry / Mapping using separate RGB images or extract them from the 3D point group itself. However, the feature points extracted from the 3D point group cannot be considered to be constant every frame, and there is a disadvantage that the geometric features of the entire point group are not utilized. In addition, as many researches on lidar use are carried out by mounting a lidar sensor on a vehicle such as a vehicle, the 3D point cloud extracted from the lidar contains distortion due to the movement of the lidar sensor. Accordingly, a post-processing operation must be performed to compensate for distortion.
도1 은 라이다의 이동에 의해 점군에 발생된 왜곡의 일예를 나타낸다.1 shows an example of distortion generated in a point cloud by the movement of a lidar.
도1 의 (a)에서 A 영역과 B 영역 및 (b)에서 A 영역이 점군 왜곡이 발생된 영역의 일부를 나타내며, (a)에서 확대된 A 영역과 B 영역 살펴보면, 라이다에서 획득된 점군에서 왜곡이 발생된 영역은 다른 영역에 비해 상대적으로 일정지 않은 간격을 갖는 것을 알 수 있다.In FIG. 1 (a), area A and area B, and area (b) area A represent a part of the area where point group distortion is generated. Looking at area A and area B enlarged in (a), the point group obtained from lidar It can be seen that the distortion-generated region has a relatively non-uniform spacing compared to other regions.
이러한 왜곡은 상기한 바와 같이, 라이다 센서의 위치 이동에 따른 것으로써, 라이다가 특정 위치에 고정된 상태에서 취득한 점군에서는 왜곡이 존재할 가능성이 낮지만, 라이다가 이동하며 획득한 점군에서는 라이다가 360도 회전하여 점군을 획득하는 동안 라이다의 위치 이동에 의해 스캔의 시작점과 끝점의 위치가 상이하게 되며, 이로 인해 왜곡이 발생하게 된다.As described above, the distortion is due to the movement of the position of the lidar sensor, and it is unlikely that distortion is present in the point group acquired while the lidar is fixed at a specific position, but in the point group obtained by moving the lidar, While the Ida is rotated 360 degrees to acquire a point cloud, the position of the start and end points of the scan is different due to the positional movement of the Lida, which causes distortion.
도2 는 라이다의 이동에 의한 왜곡 보정을 하기 위한 오도 메트리 경로의 일예를 나타낸다.Fig. 2 shows an example of a misleading metric path for distortion correction due to the movement of a lidar.
기존에는 라이다가 획득한 3D 점군의 움직임 왜곡을 보정하기 위해, 라이다 이외의 센서(예를 들어, IMU/GPS)를 활용하여 움직임을 보정하는 방식이 주로 이용되고 있다. 그리고 SLAM 관련 연구들에서의 평가는 실제 3차원 지도보다 도2 와 같은 오도메트리 예측 결과를 제시하고, 제시된 오도메트리 예측에서 회전행렬, 이동벡터의 오차를 표현하는 방법으로 수행되고 있다.Conventionally, in order to correct the motion distortion of the 3D point group acquired by the lidar, a method of correcting motion using a sensor (eg, IMU / GPS) other than the lidar is mainly used. And the evaluation in SLAM-related studies is performed as a method of presenting the prediction results of the odometrics as shown in Fig. 2 than the actual 3D map, and expressing the error of the rotation matrix and the motion vector in the proposed odometric predictions.
그러나 IMU/GPS 활용한 움직임 왜곡 보정방법은 매우 고가의 IMU 센서를 이용하지 않는 이상, 고층건물들이 있는 도심지에서는 활용 불가능하다는 한계가 있다. 따라서 라이다 센서만을 활용하여 움직임 왜곡 보정이 가능한 기법이 요구되고 있다.However, the motion distortion correction method using IMU / GPS has a limitation that it cannot be used in urban areas with high-rise buildings, unless a very expensive IMU sensor is used. Therefore, a technique capable of correcting motion distortion using only a lidar sensor is required.
또한 SLAM 연구에서는 3차원 점군의 특징점을 에지(edge)/플래너(planar)를 기반으로 추출하거나, 기준값을 비교하여 100여개의 점만을 추출하였다. In addition, in the SLAM study, feature points of a 3D point group were extracted based on an edge / planar, or only 100 points were extracted by comparing reference values.
도3 은 기존의 SLAM에서 추출된 특징점들의 일예를 나타낸다.3 shows an example of feature points extracted from the existing SLAM.
도3 에 도시된 바와 같이, 3차원 점군에서 에지(edge)/플래너(planar) 기반 또는 기준값과의 비교를 통해 획득되는, 저밀도(sparse) 특징점들은 이후 맵핑/정합 시에 오차가 크게 발생할 수 있다는 문제가 있다.As shown in FIG. 3, in 3D point clusters, low / sparse feature points obtained through comparison with edge / planar-based or reference values may cause a large error in subsequent mapping / matching. there is a problem.
본 발명의 목적은 라이다를 통해 획득된 3D 점군의 기하학적 특징을 활용하여 지면과 비지면, 즉 물체를 구분하여 검출 할 수 있는 지면 및 비지면 검출 장치 및 방법을 제공하는데 있다.An object of the present invention is to provide a ground and non-ground detection apparatus and method that can detect ground and non-ground, that is, objects by using geometric features of a 3D point cloud obtained through a lidar.
본 발명의 다른 목적은 라이다의 이동에 의한 움직임 왜곡을 보상할 수 있는 라이다를 이용한 지면 및 비지면 검출 장치 및 방법을 제공하는데 있다.Another object of the present invention is to provide a ground and non-ground detection apparatus and method using a lidar capable of compensating for motion distortion caused by movement of a lidar.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 장치는 기지정된 방향으로 360도 회전하면서 스캔하여, 각각 3차원 좌표계(x, y, z)의 좌표값을 갖는 다수의 점으로 구성되는 3D 점군을 획득하는 라이다 센서; 상기 3D 점군에서 상기 라이다 센서가 회전하며 스캔하는 동안 이동하여 발생한 왜곡을 보정하는 왜곡 보정부; 왜곡 보정된 3D 점군의 다수의 점을 상기 라이다 센서의 FOV(Field of View)에 따라 구분하여 N개의 ID 라인으로 구별하는 ID 라인 구별부; 상기 N개의 ID 라인의 다수의 점 각각에 대해 xy 평면 상에서 동일 ID 라인의 가장 인접한 점과 다른 ID 라인의 가장 인접한 점을 탐색하여, 탐색된 점들과의 xy 평면 상의 거리가 기지정된 제1 기준 거리이내이고, z값의 차가 기지정된 제2 기준 거리 이상인 점들을 판별하여 특징점으로 추출하는 특징점 추출부; 및 판별된 특징점을 비지면으로 검출하고, 특징점 이외의 점들을 지면으로 검출하는 비지면 검출부; 를 포함한다.A ground and non-ground detection device using a lidar according to an embodiment of the present invention for achieving the above object is scanned while rotating 360 degrees in a predetermined direction, and coordinate values of a three-dimensional coordinate system (x, y, z), respectively A lidar sensor acquiring a 3D point group consisting of a plurality of points having a; A distortion correction unit for correcting distortion caused by the rotation of the rider sensor during the scan in the 3D point group; An ID line discriminating unit for dividing a plurality of points of the distortion-corrected 3D point group into N ID lines by dividing them according to a field of view (FOV) of the lidar sensor; For each of the plurality of points of the N ID lines, a first reference distance in which a distance on the xy plane is determined by searching for the closest point of the same ID line and the closest point of another ID line on the xy plane A feature point extracting unit for determining points within a difference between the z values and the second reference distance or more as a feature point; And a non-ground detection unit that detects the determined feature points as non-ground and detects points other than the feature points as ground. It includes.
상기 왜곡 보정부는 상기 3D 점군에서 시작점과 끝점을 탐색하고, 탐색된 시작점 및 끝점 사이의 x축 방향 거리차와 y축 방향의 거리차를 오프셋값으로 계산하여 획득하며, 상기 라이다 센서의 스캔 방향을 고려하여 3D 점군에서 먼저 스캔되는 기지정된 구간의 점들에 대해 획득된 오프셋값을 이용하여 보상할 수 있다.The distortion correction unit searches for a start point and an end point in the 3D point group, and calculates and obtains a distance difference in the x-axis direction and a distance in the y-axis direction between the searched start and end points as offset values, and scans the direction of the lidar sensor In consideration of, it is possible to compensate using offset values obtained for points of a predetermined section that is first scanned in a 3D point group.
상기 왜곡 보정부는 라이다 센서가 초기 1/2 회전 하는 구간동안 획득되는 구간의 점들에 대해 왜곡을 보상할 수 있다.The distortion correction unit may compensate for distortions of points in a section obtained during a section in which the lidar sensor is initially rotated 1/2.
상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 방법은 라이다 센서를 이용하여 기지정된 방향으로 360도 회전하면서 스캔하여, 각각 3차원 좌표계(x, y, z)의 좌표값을 갖는 다수의 점으로 구성되는 3D 점군을 획득하는 단계; 상기 3D 점군에서 상기 라이다 센서가 회전하며 스캔하는 동안 이동하여 발생한 왜곡을 보정하는 단계; 왜곡 보정된 3D 점군의 다수의 점을 상기 라이다 센서의 FOV(Field of View)에 따라 구분하여 N개의 ID 라인으로 구별하는 단계; 상기 N개의 ID 라인의 다수의 점 각각에 대해 xy 평면 상에서 동일 ID 라인의 가장 인접한 점과 다른 ID 라인의 가장 인접한 점을 탐색하는 단계; 탐색된 점들과의 xy 평면 상의 거리가 기지정된 제1 기준 거리이내이고, z값의 차가 기지정된 제2 기준 거리 이상인 점들을 판별하여 특징점으로 추출하는 단계; 및 판별된 특징점을 비지면으로 검출하고, 특징점 이외의 점들을 지면으로 검출하는 단계; 를 포함한다.The ground and non-ground detection method using a lidar according to another embodiment of the present invention for achieving the above object is scanned while rotating 360 degrees in a predetermined direction using a lidar sensor, and each of the three-dimensional coordinate systems (x, y , z) obtaining a 3D point group consisting of a plurality of points having coordinate values; Correcting distortion caused by the rider sensor rotating and moving during the scan in the 3D point group; Dividing a plurality of points of the distortion-corrected 3D point group into N ID lines by dividing them according to the field of view (FOV) of the lidar sensor; Searching for a plurality of points of the N ID lines on the xy plane, the closest point of the same ID line and the closest point of another ID line; Determining a point in which the distance on the xy plane with respect to the searched points is within a predetermined first reference distance, and a difference in the z value is greater than or equal to a predetermined second reference distance and extracting the feature point; And detecting the determined feature point as non-ground, and detecting points other than the feature point as ground. It includes.
따라서, 본 발명의 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 장치 및 방법은 스캔 시작점의 위치와 끝점의 위치를 탐색하여, 시작점과 끝점의 차이로부터 오프셋값을 획득하여 라이다의 이동에 의한 왜곡을 보정할 수 있으며, 왜곡 보정된 점군에서 각 점들 사이의 xy 평면상에서의 거리차와 z축 방향의 거리차를 이용하여 특징점을 추출함으로써, 지면과 비지면을 정확하게 검출할 수 있도록 한다. 그러므로, 맵핑/정합 시에 우수한 성능의 깊이 정보를 제공할 수 있으며, SLAM, 물체 검출, 자율주행 알고리즘 등에 다양하게 활용할 수 있다.Therefore, the ground and non-ground detection apparatus and method using the lidar according to the embodiment of the present invention search for the position of the scan start point and the position of the end point, obtain an offset value from the difference between the start point and the end point to move the lidar. Distortion can be corrected, and feature points are extracted by using the distance difference in the xy plane and the distance in the z-axis direction between each point in the distortion-corrected point group, thereby accurately detecting the ground and the non-ground. Therefore, it is possible to provide depth information with excellent performance in mapping / matching, and can be used in various ways, such as SLAM, object detection, and autonomous driving algorithms.
도1 은 라이다의 이동에 의해 점군에 발생된 왜곡의 일예를 나타낸다.
도2 는 라이다의 이동에 의한 왜곡 보정을 하기 위한 오도 메트리 경로의 일예를 나타낸다.
도3 은 기존의 SLAM에서 추출된 특징점들의 일예를 나타낸다.
도4 는 라이다 센서에서 획득되는 3D 점군의 개념을 설명하기 위한 도면이다.
도5 는 3D 점군에서 물체가 가지는 기하학적 특징을 기반으로 추출한 특징점의 일예를 나타낸다.
도6 은 본 발명의 일 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 장치의 개략적 구조를 나타낸다.
도7 및 도8 은 각각 도6 의 왜곡 보정부가 라이다 센서의 움직임 왜곡을 보정하는 개념 및 알고리즘을 나타낸다.
도9 는 도6 의 특징점 추출부가 3D 점군에서 비지면 점들과 지면 점들을 구분하는 개념을 설명하기 위한 도면이다.
도10 은 본 발명의 일 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 방법을 나타낸다.
도11 및 도12 는 본 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 장치 및 방법을 이용하여 획득된 3D 점군의 점들을 지면과 비지면으로 구분하여 검출한 결과를 나타낸다.1 shows an example of distortion generated in a point cloud by the movement of a lidar.
Fig. 2 shows an example of a misleading metric path for distortion correction due to the movement of a lidar.
3 shows an example of feature points extracted from the existing SLAM.
4 is a view for explaining the concept of the 3D point cloud obtained from the lidar sensor.
5 shows an example of feature points extracted based on geometric features of an object in a 3D point group.
6 shows a schematic structure of a ground and non-ground detection device using a lidar according to an embodiment of the present invention.
7 and 8 show concepts and algorithms in which the distortion correction unit of FIG. 6 corrects motion distortion of the lidar sensor, respectively.
9 is a view for explaining the concept of the feature point extraction unit of FIG. 6 to distinguish non-ground points and ground points from a 3D point group.
10 shows a method of detecting ground and non-ground using a lidar according to an embodiment of the present invention.
11 and 12 show results obtained by dividing the points of the 3D point group obtained using the ground and non-ground detection apparatus and method using the lidar according to the present embodiment into a ground and a non-ground.
본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the contents described in the accompanying drawings, which illustrate preferred embodiments of the present invention.
이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail by explaining preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention can be implemented in various different forms, and is not limited to the described embodiments. And, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.
명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. Throughout the specification, when a part “includes” a certain component, it means that the component may further include other components, not to exclude other components, unless otherwise stated. In addition, terms such as "... part", "... group", "module", and "block" described in the specification mean a unit that processes at least one function or operation, which is hardware or software or hardware. And software.
도4 는 라이다 센서에서 획득되는 3D 점군의 개념을 설명하기 위한 도면이다.4 is a view for explaining the concept of the 3D point cloud obtained from the lidar sensor.
상기한 바와 같이, 라이다 센서는 z축을 중심으로 360도 회전하면서, 레이저 펄스와 같은 광을 방사하고, 방사된 광이 지면 또는 물체에 도달하여 반사되어 돌아오는 광을 감지함으로써 주변을 스캔한다. 이때, 라이다 센서는 광의 반사 위치를 3차원 좌표계의 좌표값(x, y, z)으로 표현되는 다수의 점으로 구성되는 3D 점군의 형태로 획득한다.As described above, the lidar sensor rotates 360 degrees around the z-axis, and emits light such as a laser pulse, and scans the surroundings by detecting the light that has returned to the ground or an object and reflected back. At this time, the lidar sensor acquires the reflection position of the light in the form of a 3D point group consisting of a plurality of points represented by coordinate values (x, y, z) of the 3D coordinate system.
도4 의 (a)에 도시된 바와 같이, 3차원 좌표계에서 x축은 라이다 센서의 전방 방향으로 이동 방향을 나타내고, y축은 라이다 센서의 좌측 방향을 나타내며, z 축은 라이다 센서의 상단 방향을 나타낸다.As shown in Fig. 4 (a), in the three-dimensional coordinate system, the x-axis represents the moving direction in the forward direction of the lidar sensor, the y-axis represents the left direction of the lidar sensor, and the z-axis represents the upper direction of the lidar sensor. Shows.
라이다 센서가 360도 회전하며 획득되는 3D 점군은 각각 다수의 점으로 구성되는 N개(여기서 N은 자연수)의 라인을 포함하며, N개의 라인 각각은 ID 라인(ID)이라 한다.The 3D point group obtained by rotating the lidar sensor 360 degrees includes N lines (where N is a natural number) each composed of a plurality of points, and each of the N lines is called an ID line (ID).
도4 의 (a)에서는 일예로 3D 점군의 N개의 ID 중 제k-1 ID 라인(IDk-1), 제k ID 라인(IDk) 및 제k+1 ID 라인(IDk+1)의 3개의 ID 라인만을 도시하였다. 그리고 도4 에서 pj k+1 은 제k+1 ID 라인(IDk+1)에서 j번째 점을 의미한다.In FIG. 4 (a), for example, among the N IDs of the 3D point group, the k-1 ID line (ID k-1 ), the k ID line (ID k ), and the k + 1 ID line (ID k + 1 ). Only 3 ID lines are shown. In addition, in FIG. 4, p j k + 1 means a j-th point in the k + 1 ID line (ID k + 1 ).
따라서 제k+1 ID 라인(IDk+1)의 j번째 점(pj k+1)의 좌표값(x, y, z)이 xy 평면 상의 점이 아니라, z 축 방향 크기를 갖는 점(z ≠ 0)이라면, 제k+1 ID 라인(IDk+1)의 j번째 점(pj k+1)은 (b)에 도시된 바와 같이, x축을 기준으로 xy 평면 상에 투영된 점(pj k+1')의 위치에 대한 수평각(φ)과 함께 xy 평면을 기준으로 z 축 방향으로의 수직각(θ)을 갖는다.Therefore, the coordinate value (x, y, z) of the j-th point (p j k + 1 ) of the k + 1 ID line (ID k + 1 ) is not a point on the xy plane, but a point having a z-axis size (z ≠ 0), the jth point (p j k + 1 ) of the k + 1 ID line (ID k + 1 ) is a point projected on the xy plane with respect to the x axis, as shown in (b) ( It has a vertical angle θ in the z-axis direction with respect to the xy plane along with a horizontal angle φ for the position of p j k + 1 ′).
도5 는 3D 점군에서 물체가 가지는 기하학적 특징을 기반으로 추출되는 특징점의 일예를 나타낸다.5 shows an example of a feature point extracted based on a geometric feature of an object in a 3D point group.
도5 에서는 라이다에서 획득된 3D 점군에서 기하학적 특징을 이용하여 지면(ground)과 비지면(non-ground)을 구분함으로써, 획득되는 특징점을 나타낸다. 도5 에서 회색 점은 지면에 대한 점을 나타내고, 보라색 점은 비지면에 대한 점, 즉 특징점을 나타낸다.In FIG. 5, the feature points obtained by distinguishing the ground from the non-ground using geometric features in the 3D point group obtained from the lidar are shown. In FIG. 5, the gray dots represent points on the ground, and the purple dots represent points on the non-ground, that is, the feature points.
일반적으로 평면적 특성을 갖는 지면에 비해 이외의 물체, 즉 비지면의 기하학적 특징은 지면에 대한 상대적 높이차에 있는 것으로 판단할 수 있다.In general, it can be determined that a geometrical characteristic of an object other than the ground having a planar property, that is, non-ground, is in a relative height difference with respect to the ground.
이에 본 발명에서는 3D 점군에서 주변 점들에 비해 x, y 축에서의 좌표값의 차이는 크지 않으나, z축에서의 좌표값의 차이가 돌출되게 나타나는 점이 비지면을 나타내는 특징점으로 선택될 수 있다는 개념에 따라 지면과 비지면을 구분하여 검출하도록 한다.Accordingly, in the present invention, in the 3D point group, the difference between the coordinate values in the x and y axes is not large compared to the surrounding points, but the concept that the point in which the difference in coordinate values in the z-axis protrudes can be selected as a feature point indicating non-ground surface. Therefore, the ground and the non-ground should be detected separately.
도5 에서 확인할 수 있듯이, 3D 점군에서 기하학적 특징을 이용하여 지면과 비지면을 구분하고, 구분된 비지면에 대한 점들을 특징점으로 추출할 수 있다면, 이후 물체를 용이하게 검출할 수 있으며, 물체 대한 맵핑/정합 시에 오차를 크게 줄일 수 있게 된다.As can be seen in FIG. 5, if the ground and the non-ground are distinguished using geometric features in the 3D point group, and the points on the divided ground can be extracted as the feature points, then the object can be easily detected, and the object When mapping / matching, errors can be greatly reduced.
도6 은 본 발명의 일 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 장치의 개략적 구조를 나타내고, 도7 및 도8 은 각각 도6 의 왜곡 보정부가 라이다 센서의 움직임 왜곡을 보정하는 개념 및 알고리즘을 나타내며, 도9 는 도6 의 특징점 추출부가 3D 점군에서 비지면 점들과 지면 점들을 구분하는 개념을 설명하기 위한 도면이다.6 shows a schematic structure of a ground and non-ground detection device using a lidar according to an embodiment of the present invention, and FIGS. 7 and 8 are concepts in which the distortion correction unit of FIG. 6 corrects motion distortion of the lidar sensor, respectively And an algorithm, and FIG. 9 is a diagram for explaining a concept in which the feature point extraction unit of FIG. 6 classifies non-ground points and ground points in a 3D point group.
도6 을 참조하면, 본 실시예에 따른 지면 및 비지면 검출 장치는 라이다 센서(100), 왜곡 보정부(200), ID 라인 구별부(300), 특징점 추출부(400) 및 비지면 검출부(500)를 포함한다.Referring to FIG. 6, the ground and non-ground detection apparatus according to the present embodiment is a
라이다 센서(100)는 360도 회전하면서, 레이저 펄스와 같은 광을 방사하고, 방사된 광이 지면 또는 물체에 도달하여 반사되어 돌아오는 광을 감지하여, 각각 다수의 점을 포함하는 3D 점군을 획득한다.The
왜곡 보정부(200)는 라이다 센서(100)에서 획득된 3D 점군에서 라이다 센서의 이동에 의해 발상된 움직임 왜곡을 보상한다. 도7 에 도시된 바와 같이, 움직임 왜곡은 라이다 센서(100)가 스캔 하는 동안 x축 및 y축 방향으로의 움직임 변화가 있어, 스캔의 시작점(A)과 끝점(B)의 위치가 상이하게 됨으로써 발생한다. 따라서 스캔 시작점(A)과 끝점(B)의 x값 및 y값을 기반으로 왜곡 보상을 수행한다. 도7 에서 원점(O)은 지정된 방향으로부터 스캔 시작하여 1회전하여 스캔을 종료한 시점에서의 라이다 센서(100)의 위치를 의미한다.The
왜곡 보정부(200)는 우선 스캔의 시작점(A) 및 끝점(B)의 위치를 탐색한다. 왜곡 보정부(200)는 3D 점군(P)에서 시작점(A)과 끝점(B)을 판별하고, 판별된 시작점(A)과 끝점(B)의 위치를 판별한다.The
이때 왜곡 보정부(200)는 3D 점군을 구성하는 N개의 ID 라인을 구분하지 못한다. 따라서 왜곡 보정부(200)는 N개의 ID 라인(ID1 ~ IDn) 각각의 시작점과 끝점을 직접 확인할 수 없으며, 이에 각 점의 좌표값(x, y, z) 중 x, y 좌표값을 기반으로 N개의 ID 라인 중 가장 외측 ID 라인(IDn) 또는 가장 내측 ID 라인(ID1)의 시작점 및 끝점을 탐색한다.At this time, the
이하에서는 일예로 라이다 센서(100)가 x축 방향으로 이동하고, 라이다 센서(100)가 ??x 방향으로부터 시계 방향(-180도 ~ 180도)으로 스캔하며, 가장 외측 ID 라인의 시작점 및 끝점을 탐색하는 것으로 가정한다.Hereinafter, as an example, the
왜곡 보정부(200)는 도8 에 나타난 바와 같이, 수평각(φ)을 기반으로 (-180 < φ < -180 + th1)으로 지정되는 제1 각도 범위에서 시작점(A)을 탐색한다. 여기서 th1은 기지정된 각도 문턱값을 의미한다. 일예로 각도 문턱값(th1)은 주기적으로 광을 방사하는 라이다 센서(100)가 광을 방사하는 1 주기 동안 회전하는 각도로 설정될 수 있다.As shown in FIG. 8, the
왜곡 보정부(200)는 각도 문턱값(th1)에 의해 지정된 제1 각도 범위 이내에서 획득된 적어도 하나의 점(pi)의 좌표값(x, y, z)를 분석하여, 가장 작은 x값(min x)을 시작점(A)의 x값(starting x)으로 설정하고, 가장 작은 y값(min y)을 시작점(A)의 y값(starting y)으로 설정한다. 즉 시작점(A)의 위치를 xy 좌표 평면 상에서의 좌표값(starting x, starting y)으로 설정한다.The
그리고 왜곡 보정부(200)는 시작점(A)과 유사하게 끝점(B)을 수평각(φ)을 기반으로 (180 - th1 < φ < 180)의 범위에서 탐색한다. 왜곡 보정부(200)는 지정된 각도 범위 이내에서 획득된 적어도 하나의 점의 좌표값(x, y, z)를 분석하여, 가장 작은 x값(min x)을 끝점(B)의 x값(ending x)으로 설정하고, 가장 큰 y값(max y)을 끝점(B)의 y값(ending y)으로 설정한다. 즉 끝점(B)의 위치를 xy 좌표 평면 상에서의 좌표값(ending x, ending y)으로 설정한다.Then, the
시작점(A)의 위치(starting x, starting y)와 끝점(B)의 위치(ending x, ending y)가 설정되면, 왜곡 보정부(200)는 시작점(A)의 위치(starting x, starting y)와 끝점(B)의 위치(ending x, ending y)를 이용하여 x축 오프셋값(d1)(offsetx) 및 y축 오프셋값(d2)(offsety)을 획득한다. 여기서 x축 오프셋값(offsetx) 및 y축 오프셋값(offsety)은 도7 에서 각각 d1 및 d2로 나타나있다. 그리고 도8 에 나타난 바와 같이, x축 방향 및 y축 방향의 오프셋값(offsetx, offsety)은 각각 끝점(B)의 x, y 좌표값(ending x, ending y)에서 시작점(A)의 x, y 좌표값(starting x, starting y)을 차감하여 획득할 수 있다.When the position of the starting point (A) (starting x, starting y) and the position of the ending point (B) (ending x, ending y) are set, the
왜곡 보정부(200)는 오프셋값(offsetx, offsety)이 획득되면, 3D 점군(P)에서 y값이 0보다 큰 점(pi)들(pi.y > 0)에 대해 y축 방향의 오프셋값(offsety)과 수평각(φ)을 이용하여 y값이 0보다 큰 점(pi)들(pi.y > 0)의 y값을 수학식 1과 같이 보상한다.When the offset values (offset x , offset y ) are obtained, the distortion correction unit 200 y-axis for points (p i ) (p i .y> 0) whose y value is greater than 0 in the 3D point group (P). the y value of the offset level (offset y) and the horizontal angle (φ) of the y value is greater point (p i) greater than 0 using a (p i .y> 0) the direction is compensated as shown in the equation (1).
수학식 1에서 (ID/N) 항목은 각 점이 3D 점군을 구성하는 N개의 ID 라인(ID1 ~ IDn) 중 하나에 포함되는 점이므로, 포함된 ID 라인(ID)에 대응하는 크기의 오프셋이 반영되도록 하기 위함이다.In
또한 y값이 0보다 큰 점들(pi.y > 0)에 대해 x축 방향의 오프셋값(offsetx)이 기지정된 문턱 오프셋값(thoff)보다 크면, y값이 0보다 큰 점(pi)들(pi.y > 0)의 y값을 x축 방향의 오프셋값(offsetx)과 수평각(φ)을 이용하여 수학식 2와 같이 보상한다.In addition, the value of y is greater than 0 points (p i .y> 0) the offset value of the x-axis direction with respect to the (x offset) the group is greater than a specified threshold offset value (th off), the value of y is greater than 0 points (p The y values of i ) (p i .y> 0) are compensated using
여기서 왜곡 보정부(200)가 y값이 0보다 큰 점들(pi.y > 0), 즉 라이다 센서(100)의 스캔 시작점부터 절반만 오프셋값을 보상하는 것은 스캔 종료 시점의 라이다 센서(100)의 위치를 원점(O)으로 설정하였으므로, 스캔 초기 구간에 왜곡이 크게 발생하기 때문이다.Here, the
만일 라이다 센서(100)의 스캔 시작 위치 또는 방향이 상이하거나, N개의 ID 라인(ID1 ~ IDn) 중 가장 내측 ID 라인(ID1)의 시작점(A) 및 끝점(B)을 탐색하는 경우, 시작점(A) 및 끝점(B)의 도8 의 알고리즘 또한 일부 수정될 수 있다.If the scan start position or direction of the
왜곡 보정부(200)가 3D 점군의 왜곡을 보상하면, ID 라인 구별부(300)는 왜곡 보상된 3D 점군을 벡터화하여 N개의 ID 라인으로 구별한다. ID 라인 구별부(300)는 3D 점군의 다수의 점들 각각에 대한 수평각()과 수직각()을 획득하고, 라이다 센서(100)의 FOV(Field of View)에 기반하여, 수학식 3에 따라 다수의 구간으로 구분함으로써, N개의 ID 라인(ID)을 획득한다.When the
여기서, 이고, 채널 수(# of channels), 상한 및 하한은 라이다 센서(100)의 고정 변수들이다.here, And the number of channels (# of channels), the upper limit and the lower limit are fixed variables of the
ID 라인 구별부(300)는 획득된 N개의 ID 라인(ID) 각각의 다수의 점(pi) 을 수평각(φ)을 기준으로 오름차순 정렬할 수 있다. 즉 N개의 ID 라인(ID1 ~ IDn) 각각의 점들(pi)을 스캔 시작 위치로부터 순차적으로 정렬할 수 있다.The ID
한편, 특징점 추출부(400)는 N개의 ID 라인(ID1 ~ IDn)의 점들(pi)의 기하학적 특징을 분석하여 지면이 아닌 점들을 판별하여, 특징점을 추출한다.On the other hand, the feature
상기한 바와 같이, 비지면의 기하학적 특징은 지면에 대한 상대적 높이차에 있는 것으로 고려할 수 있다.As mentioned above, the geometrical features of the non-ground can be considered to be in a difference in height relative to the ground.
이에 본 발명에서는 3D 점군에서 주변 점들에 비해 x, y 축에서의 좌표값의 차이는 크지 않으나, z축에서의 좌표값의 차이가 크게 나타나는 점을 특징점으로 추출한다.Accordingly, in the present invention, the difference in coordinate values in the x and y axes is not large compared to the surrounding points in the 3D point group, but a point in which the difference in coordinate values in the z axis is large is extracted as a feature point.
특징점 추출부(400)는 Nearest Neighbors Search 기법에 따라 N개의 ID 라인(ID1 ~ IDn) 각각의 점들(pi)에 대해 xy 평면 상에서 동일 ID 라인의 가장 인접한 점과 다른 ID 라인의 가장 인접한 점을 탐색한다. 일예로 도9 에서 제4 ID 라인(ID4)의 j번째 점(pj 4)을 A라 할 때, 특징점 추출부(400)는 동일한 제4 ID 라인(ID4)에서 j-1번째 점(pj-1 4) 과 j+1번째 점(pj+1 4)을 탐색하여 가장 인접한 점을 C로 지정한다. 그리고 제3 ID 라인(ID3) 및 제5 ID 라인(ID5)의 점군(p3, p5)에서 가장 점(A)에 가장 인접한 점을 탐색하여 B로 지정한다.The feature
특징점 추출부(400)는 A점과 B점 및 C점 사이의 xy 평면 상에서의 거리를 계산하여, xy 평면 상에서의 B점 또는 C점까지의 거리가 기지정된 제1 기준 거리이내이면, A점과 B점 및 C점 사이의 z값 차를 계산한다. 만일 B점 또는 C점과의 z값의 차 중 적어도 하나가 기지정된 제2 기준 거리 이상이면, 제2 기준 거리 이상인 점을 특징점으로 추출한다.The feature
비지면 검출부(500)는 특징점 추출부(400)에서 판별된 특징점을 비지면, 즉 물체로 검출하고, 특징점 이외의 점들을 지면으로 검출한다. 비지면 검출부(500)는 3D 점군의 다수의 점을 지면에 대한 점과 비지면에 대한 점으로 구분하여 서로 다른 색상으로 표현함으로써, 사용자가 물체와 지면을 용이하게 식별할 수 있도록 할 수 있다.The
도10 은 본 발명의 일 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 방법을 나타낸다.10 shows a method of detecting ground and non-ground using a lidar according to an embodiment of the present invention.
도5 내지 도9 를 참조하여, 도10 의 라이다를 이용한 지면 및 비지면 검출 방법을 설명하면, 우선 라이다 센서(100)가 주변을 360도 회전하며 스캔하여 3D 점군(P)을 획득한다(S10).Referring to Figures 5 to 9, when explaining the ground and non-ground detection method using the lidar of FIG. 10, first, the
왜곡 보정부(200)는 라이다 센서(100)가 획득한 3D 점군(P)에서 라이다 센서(100)가 스캔하는 동안 이동하여 발생한 왜곡을 보상한다(S20). 왜곡 보정부(200)는 먼저 3D 점군(P)에서 시작점과 끝점을 탐색한다. 이때 왜곡 보정부(200)는 3D 점군(P)의 N개의 ID 라인(ID1 ~ IDn) 중 가장 외측 ID 라인(IDn) 또는 가장 내측 ID 라인(ID1)의 시작점 및 끝점을 탐색한다. 그리고 탐색된 시작점 및 끝점 사이의 x축 방향 거리차(d1)와 y축 방향의 거리차(d2)를 오프셋값으로 계산하여 획득한다(S22). 오프셋값이 계산되면, 왜곡 보정부(200)는 스캔 방향을 고려하여, 3D 점군에서 먼저 스캔되는 구간(여기서는 일예로 라이다 센서(100)가 초기 1/2 회전 하는 구간)의 점들에 대해 왜곡 보상을 수행한다(S23).The
이후 ID 라인 구별부(300)가 왜곡 보상된 3D 점군의 다수의 점들 각각이 수평각()과 수직각()으로 표현되도록 벡터화하고, 벡터화된 3D 점군의 다수의 점들 각각을 라이다 센서(100)의 FOV에 기반하여 다수의 구간으로 구분함으로써, N개의 ID 라인(ID)을 획득한다(S30). ID 라인 구별부(300)는 획득된 N개의 ID 라인(ID) 각각의 다수의 점(pi) 을 수평각(φ)을 기준으로 오름차순 정렬할 수 있다.Thereafter, each of the plurality of points of the 3D point group in which the ID
특징점 추출부(S40)는 N개의 ID 라인(ID1 ~ IDn) 각각의 점들(pi)에 대해 xy 평면 상에서 동일 ID 라인의 가장 인접한 점과 다른 ID 라인의 가장 인접한 점을 탐색하고, 탐색된 점들과의 xy 평면 상의 거리가 기지정된 제1 기준 거리이내이고, z값의 차가 기지정된 제2 기준 거리 이상인 점들을 판별하여 특징점으로 추출한다(S40).The feature point extracting unit S40 searches for the closest point of the same ID line and the closest point of another ID line on the xy plane for each of the points p i of the N ID lines ID 1 to ID n , and searches The points on the xy plane with respect to the determined points are within a predetermined first reference distance, and points with a difference in z value equal to or greater than the predetermined second reference distance are determined and extracted as a feature point (S40).
비지면 검출부(500)는 판별된 특징점을 비지면, 즉 물체로 검출하고, 특징점 이외의 점들을 지면으로 검출한다(S50).The
도11 및 도12 는 본 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 장치 및 방법을 이용하여 획득된 3D 점군의 점들을 지면과 비지면으로 구분하여 검출한 결과를 나타낸다.11 and 12 show results obtained by dividing the points of the 3D point group obtained using the ground and non-ground detection apparatus and method using the lidar according to the present embodiment into a ground and a non-ground.
도11 에서 지면은 회색으로 표시하였으며, 비지면은 분홍색으로 표시한 지면/비지면 검출 영상을 나타낸다. 도11 에 도시된 바와 같이, 본 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 장치 및 방법은 지면과 비지면을 정확하게 검출할 수 있다.In FIG. 11, the ground is shown in gray, and the non-ground indicates a ground / non-ground detection image in pink. As shown in Fig. 11, the apparatus and method for detecting the ground and the ground using the lidar according to the present embodiment can accurately detect the ground and the ground.
도12 에서는 지면에 대한 점들은 별도로 표시하지 않았으며, 비지면에 대한 점들의 색상을 z 값에 따라 상이하게 표현하였다. 도12 와 같이 z 값에 따라 색상을 상이하게 표현하는 경우, 사용자가 비지면의 형상을 더욱 정확하게 인지할 수 있게 됨을 알 수 있다.In FIG. 12, the dots for the ground are not separately displayed, and the color of the dots for the non-ground is expressed differently according to the z value. As shown in FIG. 12, when colors are differently expressed according to the z value, it can be seen that the user can more accurately recognize the shape of the ground surface.
또한 도11 및 도12 에서는 라이다 센서(100)의 이동에 의한 왜곡이 보상되어 있음을 알 수 있다.11 and 12, it can be seen that distortion due to movement of the
본 발명에 따른 방법은 컴퓨터에서 실행 시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.The method according to the present invention can be implemented as a computer program stored in a medium for execution on a computer. The computer readable medium herein can be any available medium that can be accessed by a computer, and can also include any computer storage medium. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data, and ROM (readable) Dedicated memory), RAM (random access memory), CD (compact disk) -ROM, DVD (digital video disk) -ROM, magnetic tape, floppy disk, optical data storage, and the like.
본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely exemplary, and those skilled in the art will understand that various modifications and other equivalent embodiments are possible therefrom.
따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.Therefore, the true technical protection scope of the present invention should be defined by the technical spirit of the appended claims.
100: 라이다 센서 200: 왜곡 보정부
300: ID 라인 구별부 400: 특징점 추출부
500: 비지면 검출부100: lidar sensor 200: distortion correction unit
300: ID line distinguishing unit 400: feature point extraction unit
500: non-ground detection unit
Claims (10)
상기 3D 점군에서 상기 라이다 센서가 회전하며 스캔하는 동안 이동하여 발생한 왜곡을 보정하는 왜곡 보정부;
왜곡 보정된 3D 점군의 다수의 점을 상기 라이다 센서의 FOV(Field of View)에 따라 구분하여 N개의 ID 라인으로 구별하는 ID 라인 구별부;
상기 N개의 ID 라인의 다수의 점 각각에 대해 xy 평면 상에서 동일 ID 라인의 가장 인접한 점과 다른 ID 라인의 가장 인접한 점을 탐색하여, 탐색된 점들과의 xy 평면 상의 거리가 기지정된 제1 기준 거리이내이고, z값의 차가 기지정된 제2 기준 거리 이상인 점들을 판별하여 특징점으로 추출하는 특징점 추출부; 및
판별된 특징점을 비지면으로 검출하고, 특징점 이외의 점들을 지면으로 검출하는 비지면 검출부; 를 포함하되,
상기 왜곡 보정부는
상기 3D 점군에서 시작점과 끝점을 탐색하고,
탐색된 시작점 및 끝점 사이의 x축 방향 거리차와 y축 방향의 거리차를 오프셋값으로 계산하여 획득하며,
상기 라이다 센서의 스캔 방향을 고려하여 3D 점군에서 먼저 스캔되는 기지정된 구간의 점들에 대해 획득된 오프셋값을 이용하여 보상하고,
상기 왜곡 보정부는
상기 라이다 센서가 x축 방향으로 이동하고, -x 방향(-180도)으로부터 회전하여 스캔을 시작하는 경우,
-180도에서 기지정된 각도 문턱값(th1) 이내(-180 < 수평각(φ) < -180 + th1)의 범위에서 획득된 적어도 하나의 점의 x값과 y값을 비교하여 상기 시작점을 설정하고,
180도에서 기지정된 각도 문턱값 이내(180 - th1 < φ < 180)의 범위에서 획득된 적어도 하나의 점의 x값과 y값을 비교하여 상기 끝점을 설정하는 라이다를 이용한 지면 및 비지면 검출 장치.
A lidar sensor that scans while rotating 360 degrees in a predetermined direction to obtain a 3D point group consisting of a plurality of points each having coordinate values of a three-dimensional coordinate system (x, y, z);
A distortion correction unit for correcting distortion caused by the rotation of the rider sensor during the scan in the 3D point group;
An ID line discriminating unit for dividing a plurality of points of the distortion-corrected 3D point group into N ID lines by dividing them according to a field of view (FOV) of the lidar sensor;
For each of the plurality of points of the N ID lines, a first reference distance in which a distance on the xy plane is determined by searching for the closest point of the same ID line and the closest point of another ID line on the xy plane A feature point extracting unit for determining points within a difference between the z values and the second reference distance or more as a feature point; And
A non-ground detection unit that detects the determined feature points as non-ground and detects points other than the feature points as ground; Including,
The distortion correction unit
Search for a start point and an end point in the 3D point group,
It is obtained by calculating the distance difference in the x-axis direction and the distance in the y-axis direction between the searched start and end points as offset values.
Compensation using offset values obtained for points in a predetermined section that is first scanned in a 3D point group in consideration of the scan direction of the lidar sensor,
The distortion correction unit
When the lidar sensor moves in the x-axis direction and rotates from the -x direction (-180 degrees) to start scanning,
-180 to the start point by comparing the groups x and y values of the at least one point obtained from a range of an angle threshold value (th 1) within (-180 <horizontal angle (φ) <-180 th + 1) at the Set it up,
Ground and non-ground using a rider that sets the end point by comparing the x value and the y value of at least one point obtained within a range of 180 degrees within a predetermined angle threshold (180-th 1 <φ <180). Detection device.
라이다 센서가 초기 1/2 회전 하는 구간동안 획득되는 구간의 점들에 대해 왜곡을 보상하는 라이다를 이용한 지면 및 비지면 검출 장치.
The method of claim 1, wherein the distortion correction unit
A ground and non-ground detection device using a lidar that compensates for distortion of points obtained during a section in which the lidar sensor is initially rotated for 1/2 turn.
보상 대상 점들의 y값을 상기 오프셋값 중 y축 방향의 오프셋값(offsety)과 상기 수평각(φ)을 이용하여 수학식
에 따라 보상하고,
보상 대상 점들의 y값을 상기 오프셋값 중 x축 방향의 오프셋값(offsetx)과 상기 수평각(φ)을 이용하여 수학식
에 따라 보상하는 라이다를 이용한 지면 및 비지면 검출 장치.The method of claim 1, wherein the distortion correction unit
Of the offset value and the y value of the compensated offset value points along the y axis (y offset) Equation using the horizontal angle (φ)
Reward according to,
The y value of the points to be compensated is expressed by using the offset value in the x-axis direction (offset x ) and the horizontal angle (φ) among the offset values.
Ground and non-ground detection device using lidar to compensate according to.
수학식
(여기서, θ는 수직각이고, 이고, 채널 수(# of channels), 상한 및 하한은 라이다 센서의 고정 변수들이다.)
에 따라 다수의 구간으로 구분함으로써, 상기 N개의 ID 라인을 획득하고,
획득된 N개의 ID 라인 각각의 다수의 점을 수평각을 기준으로 오름차순 정렬하는 라이다를 이용한 지면 및 비지면 검출 장치.The method of claim 1, wherein the ID line discrimination unit
Equation
(Where θ is the vertical angle, And # of channels, upper and lower limits are fixed variables of the lidar sensor.)
By dividing into a plurality of sections according to, to obtain the N ID line,
A ground and non-ground detection device using a lidar that sorts a plurality of points of each of the acquired N ID lines in ascending order based on a horizontal angle.
상기 3D 점군에서 상기 라이다 센서가 회전하며 스캔하는 동안 이동하여 발생한 왜곡을 보정하는 단계;
왜곡 보정된 3D 점군의 다수의 점을 상기 라이다 센서의 FOV(Field of View)에 따라 구분하여 N개의 ID 라인으로 구별하는 단계;
상기 N개의 ID 라인의 다수의 점 각각에 대해 xy 평면 상에서 동일 ID 라인의 가장 인접한 점과 다른 ID 라인의 가장 인접한 점을 탐색하는 단계;
탐색된 점들과의 xy 평면 상의 거리가 기지정된 제1 기준 거리이내이고, z값의 차가 기지정된 제2 기준 거리 이상인 점들을 판별하여 특징점으로 추출하는 단계; 및
판별된 특징점을 비지면으로 검출하고, 특징점 이외의 점들을 지면으로 검출하는 단계; 를 포함하되,
상기 왜곡을 보정하는 단계는
상기 3D 점군에서 시작점과 끝점을 탐색하는 단계;
탐색된 시작점 및 끝점 사이의 x축 방향 거리차와 y축 방향의 거리차를 오프셋값으로 계산하여 획득하는 단계; 및
상기 라이다 센서의 스캔 방향을 고려하여 3D 점군에서 먼저 스캔되는 기지정된 구간의 점들에 대해 획득된 오프셋값을 이용하여 보상하는 단계; 를 포함하고,
상기 왜곡을 보정하는 단계는,
상기 라이다 센서가 x축 방향으로 이동하고, -x 방향(-180도)으로부터 회전하여 스캔을 시작하는 경우, -180도에서 기지정된 각도 문턱값(th1) 이내(-180 < 수평각(φ) < -180 + th1)의 범위에서 획득된 적어도 하나의 점의 x값과 y값을 비교하여 상기 시작점을 설정하고, 180도에서 기지정된 각도 문턱값 이내(180 - th1 < φ < 180)의 범위에서 획득된 적어도 하나의 점의 x값과 y값을 비교하여 상기 끝점을 설정하는 라이다를 이용한 지면 및 비지면 검출 방법.
Scanning while rotating 360 degrees in a predetermined direction using a lidar sensor, to obtain a 3D point group consisting of a plurality of points each having a coordinate value of a 3D coordinate system (x, y, z);
Correcting distortion caused by the rider sensor rotating and moving during the scan in the 3D point group;
Dividing a plurality of points of the distortion-corrected 3D point group into N ID lines by dividing them according to the field of view (FOV) of the lidar sensor;
Searching for a plurality of points of the N ID lines on the xy plane, the closest point of the same ID line and the closest point of another ID line;
Determining a point in which the distance on the xy plane with respect to the searched points is within a predetermined first reference distance, and a difference in the z value is greater than or equal to a predetermined second reference distance and extracting it as a feature point; And
Detecting the determined feature point as a non-ground surface, and detecting points other than the feature point as a ground; Including,
Correcting the distortion is
Searching for a start point and an end point in the 3D point group;
Calculating and obtaining a distance difference in the x-axis direction and a distance in the y-axis direction between the searched start point and end point as an offset value; And
Compensating by using the offset value obtained for points of a predetermined section that is first scanned in a 3D point group in consideration of the scan direction of the lidar sensor; Including,
Compensating the distortion,
When the lidar sensor moves in the x-axis direction and starts scanning by rotating from the -x direction (-180 degrees), within a predetermined angle threshold (th 1 ) at -180 degrees (-180 <horizontal angle (φ ) <-180 + th 1 ) Set the starting point by comparing the x and y values of at least one point obtained in the range, and within a predetermined angle threshold at 180 degrees (180-th 1 <φ <180 Method of detecting ground and non-ground using a lidar that sets the end point by comparing x and y values of at least one point obtained in the range of).
라이다 센서가 초기 1/2 회전 하는 구간동안 획득되는 구간의 점들에 대해 왜곡을 보상하는 라이다를 이용한 지면 및 비지면 검출 방법.The method of claim 7, wherein correcting the distortion is
A method of detecting ground and non-ground using a lidar that compensates for distortion of points in a section obtained during a section in which the lidar sensor is initially rotated 1/2.
수학식
(여기서, θ는 수직각이고, 이고, 채널 수(# of channels), 상한 및 하한은 라이다 센서의 고정 변수들이다.)
에 따라 다수의 구간으로 구분함으로써, 상기 N개의 ID 라인을 획득하는 단계; 및
획득된 N개의 ID 라인 각각의 다수의 점을 수평각을 기준으로 오름차순 정렬하는 단계; 를 포함하는 라이다를 이용한 지면 및 비지면 검출 방법.The method of claim 7, wherein the step of distinguishing by the ID line
Equation
(Where θ is the vertical angle, And # of channels, upper and lower limits are fixed variables of the lidar sensor.)
Acquiring the N ID lines by dividing them into a plurality of sections according to; And
Arranging a plurality of points of each of the obtained N ID lines in ascending order based on a horizontal angle; Ground and non-ground detection method using a lidar comprising a.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180149266A KR102114558B1 (en) | 2018-11-28 | 2018-11-28 | Ground and non ground detection apparatus and method utilizing lidar |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020180149266A KR102114558B1 (en) | 2018-11-28 | 2018-11-28 | Ground and non ground detection apparatus and method utilizing lidar |
Publications (1)
Publication Number | Publication Date |
---|---|
KR102114558B1 true KR102114558B1 (en) | 2020-05-22 |
Family
ID=70913737
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020180149266A KR102114558B1 (en) | 2018-11-28 | 2018-11-28 | Ground and non ground detection apparatus and method utilizing lidar |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102114558B1 (en) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113176585A (en) * | 2021-04-14 | 2021-07-27 | 浙江工业大学 | Three-dimensional laser radar-based road surface anomaly detection method |
KR102378643B1 (en) | 2021-09-24 | 2022-03-25 | (주)뷰런테크놀로지 | Method and system for determining ground and ceiling of lidar point data |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101899549B1 (en) | 2017-12-27 | 2018-09-17 | 재단법인 경북아이티융합 산업기술원 | Obstacle recognition apparatus of obstacle recognition using camara and lidar sensor and method thereof |
-
2018
- 2018-11-28 KR KR1020180149266A patent/KR102114558B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101899549B1 (en) | 2017-12-27 | 2018-09-17 | 재단법인 경북아이티융합 산업기술원 | Obstacle recognition apparatus of obstacle recognition using camara and lidar sensor and method thereof |
Non-Patent Citations (2)
Title |
---|
Craig Glennie, Derek D. Lichti. Static Calibration and Analysis of the Velodyne HDL-64E S2 for High Accuracy Mobile Scanning. Remote Sensing. 2010년 1부.* * |
Lei Wang, Yongjun Zhang. LiDAR Ground Filtering Algorithm for Urban Areas Using Scan Line Based Segmentation. 2008년 1월 1부.* * |
Cited By (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113176585A (en) * | 2021-04-14 | 2021-07-27 | 浙江工业大学 | Three-dimensional laser radar-based road surface anomaly detection method |
CN113176585B (en) * | 2021-04-14 | 2024-03-22 | 浙江工业大学 | Pavement anomaly detection method based on three-dimensional laser radar |
KR102378643B1 (en) | 2021-09-24 | 2022-03-25 | (주)뷰런테크놀로지 | Method and system for determining ground and ceiling of lidar point data |
KR102497874B1 (en) | 2021-09-24 | 2023-02-09 | (주)뷰런테크놀로지 | Method and system for determining ground and ceiling of lidar point data |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN111989544B (en) | System and method for indoor vehicle navigation based on optical target | |
CN110807350B (en) | System and method for scan-matching oriented visual SLAM | |
Kang et al. | Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model | |
US10145951B2 (en) | Object detection using radar and vision defined image detection zone | |
EP3349041B1 (en) | Object detection system | |
KR101591471B1 (en) | apparatus and method for extracting feature information of object and apparatus and method for generating feature map | |
US11500391B2 (en) | Method for positioning on basis of vision information and robot implementing same | |
US10107899B1 (en) | System and method for calibrating light intensity | |
CN104732514A (en) | Apparatus, systems, and methods for processing a height map | |
JP2012037490A (en) | Data analysis device, data analysis method and program | |
US10444398B2 (en) | Method of processing 3D sensor data to provide terrain segmentation | |
Guan et al. | A marker-free method for registering multi-scan terrestrial laser scanning data in forest environments | |
US9582721B2 (en) | Method and apparatus for determining movement | |
KR102114558B1 (en) | Ground and non ground detection apparatus and method utilizing lidar | |
CN111366896A (en) | Method and device for detecting reflective column, electronic equipment and readable storage medium | |
KR20220041485A (en) | Method and apparatus for tracking an object using LIDAR sensor, vehicle including the apparatus, and recording medium for recording program performing the method | |
Sohn et al. | Sequential modelling of building rooftops by integrating airborne LiDAR data and optical imagery: preliminary results | |
Franzini et al. | Validation of a UAV-derived point cloud by semantic classification and comparison with tls data | |
US11669988B1 (en) | System and method for three-dimensional box segmentation and measurement | |
CN115656991A (en) | Vehicle external parameter calibration method, device, equipment and storage medium | |
KR102460825B1 (en) | Method and system for localization | |
KR20230109406A (en) | Apparatus and method for detecting an object based on fusion of thermal imaging camera and lidar sensor | |
US6714663B1 (en) | Method and software-implemented apparatus for ground plane estimation in multi-dimensional data | |
Franzini et al. | Weighted ICP point clouds registration by segmentation based on eigenfeatures clustering | |
US20240019545A1 (en) | Method for extracting outline of object in vehicle and vehicle thereof |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |