KR102114558B1 - Ground and non ground detection apparatus and method utilizing lidar - Google Patents

Ground and non ground detection apparatus and method utilizing lidar Download PDF

Info

Publication number
KR102114558B1
KR102114558B1 KR1020180149266A KR20180149266A KR102114558B1 KR 102114558 B1 KR102114558 B1 KR 102114558B1 KR 1020180149266 A KR1020180149266 A KR 1020180149266A KR 20180149266 A KR20180149266 A KR 20180149266A KR 102114558 B1 KR102114558 B1 KR 102114558B1
Authority
KR
South Korea
Prior art keywords
point
points
ground
lidar
distortion
Prior art date
Application number
KR1020180149266A
Other languages
Korean (ko)
Inventor
이상윤
이준협
김우진
황상원
Original Assignee
연세대학교 산학협력단
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 연세대학교 산학협력단 filed Critical 연세대학교 산학협력단
Priority to KR1020180149266A priority Critical patent/KR102114558B1/en
Application granted granted Critical
Publication of KR102114558B1 publication Critical patent/KR102114558B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/89Lidar systems specially adapted for specific applications for mapping or imaging
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/483Details of pulse systems
    • G01S7/486Receivers
    • G01S7/4861Circuits for detection, sampling, integration or read-out
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/497Means for monitoring or calibrating
    • G06T5/006
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/80Geometric correction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10032Satellite or aerial image; Remote sensing
    • G06T2207/10044Radar image

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Electromagnetism (AREA)
  • Geometry (AREA)
  • Theoretical Computer Science (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

The present invention provides a ground and non-ground detection apparatus using a LiDAR and a method thereof. The apparatus comprises: a LiDAR sensor performing a scanning operation while rotating at 360 degrees in a predetermined direction to obtain a three dimensional point group composed of multiple points each of which has a coordinate value of the three dimensional coordinate system (x, y, z); a distortion correcting unit correcting a distortion generated due to movement in the three dimensional point group while the LiDAR sensor rotates and performs the scanning operation; an ID line identification unit discriminating the multiple points of the distortion-corrected three dimensional point group according to a field of view (FOV) of the LiDAR sensor to identify N ID lines; a feature point extraction unit detecting the nearest point of the same ID line and the nearest point of other ID line on the xy plane with respect to each of the multiple points of the N ID lines and determining points of which distances from the detected points on the xy plane are within a predetermined first reference distance and of which z value differences are equal to or greater than a predetermined second reference distance to extract the points as feature points; and a non-ground detection unit detecting the determined feature points as the non-ground and detecting the points except the feature points as the ground.

Description

라이다를 이용한 지면 및 비지면 검출 장치 및 방법{GROUND AND NON GROUND DETECTION APPARATUS AND METHOD UTILIZING LIDAR}Ground and non-ground detection device and method using riders {GROUND AND NON GROUND DETECTION APPARATUS AND METHOD UTILIZING LIDAR}

본 발명은 라이다를 이용한 지면 및 비지면 검출 장치 및 방법에 관한 것으로, 라이다를 통해 획득된 3D 점군의 기하학적 특징을 활용한 지면 및 비지면 검출 장치 및 방법에 관한 것이다.The present invention relates to a ground and non-ground detection device and method using a lidar, and to a ground and non-ground detection device and method utilizing the geometric features of the 3D point group obtained through the lidar.

라이다(LiDAR) 센서는 라이다 센서는 360도 회전하면서 레이저 펄스와 같은 광을 방사하고, 반사되어 돌아오는 광을 감지함으로써 주변을 스캔하여 자신을 중심으로 상대 거리에 기반한 3D 점군(Point Cloud)을 획득함으로써, 다른 깊이 측정 센서들과는 달리, 야외에서 넓은 범위의 깊이 정보를 획득할 수 있다는 점에서 큰 장점을 갖는다. 이에 따라, 라이다를 활용한 많은 연구가 진행되고 있으며, 특히 물체 검출, 도로 검출 등에 대한 연구가 라이다에서 획득된 점군 상에서 이루어지고 있다. 또한 라이다를 활용한 SLAM(Simultaneous Localization and Mapping) 관련 연구도 많이 이루어지고 있다.The LiDAR sensor is a 3D point cloud based on a relative distance centered on itself by scanning the surroundings by emitting light such as a laser pulse while rotating 360 degrees and detecting the light that is reflected back. By obtaining a, unlike other depth measurement sensors, it has a great advantage in that it can acquire a wide range of depth information outdoors. Accordingly, many studies have been conducted using riders, and in particular, studies on object detection, road detection, and the like have been conducted on point groups obtained from riders. In addition, many researches on SLAM (Simultaneous Localization and Mapping) using riders have been conducted.

현재 라이다 활용 연구들은 오도메트리(Odometry)/맵핑(Mapping) 시 사용되는 특징점들을 별도의 RGB 영상을 사용하여 획득하거나 3D 점군 그 자체에서 추출한다. 그러나 3D 점군에서 추출되는 특징점들은 매 프레임마다 일정하다고 볼 수 없으며, 점군 전체의 기하학적 특징을 활용하지 않는다는 단점이 있다. 또한, 많은 라이다 활용 연구들이 차량과 같은 이동 수단에 라이다 센서를 장착하여 수행됨에 따라 라이다에서 추출된 3D 점군은 라이다 센서의 이동으로 인한 왜곡이 포함되어 있다. 이에 왜곡을 보상하기 위한 후처리 작업을 수행되어야 한다.Currently, researches using Lida acquire characteristic points used in Odometry / Mapping using separate RGB images or extract them from the 3D point group itself. However, the feature points extracted from the 3D point group cannot be considered to be constant every frame, and there is a disadvantage that the geometric features of the entire point group are not utilized. In addition, as many researches on lidar use are carried out by mounting a lidar sensor on a vehicle such as a vehicle, the 3D point cloud extracted from the lidar contains distortion due to the movement of the lidar sensor. Accordingly, a post-processing operation must be performed to compensate for distortion.

도1 은 라이다의 이동에 의해 점군에 발생된 왜곡의 일예를 나타낸다.1 shows an example of distortion generated in a point cloud by the movement of a lidar.

도1 의 (a)에서 A 영역과 B 영역 및 (b)에서 A 영역이 점군 왜곡이 발생된 영역의 일부를 나타내며, (a)에서 확대된 A 영역과 B 영역 살펴보면, 라이다에서 획득된 점군에서 왜곡이 발생된 영역은 다른 영역에 비해 상대적으로 일정지 않은 간격을 갖는 것을 알 수 있다.In FIG. 1 (a), area A and area B, and area (b) area A represent a part of the area where point group distortion is generated. Looking at area A and area B enlarged in (a), the point group obtained from lidar It can be seen that the distortion-generated region has a relatively non-uniform spacing compared to other regions.

이러한 왜곡은 상기한 바와 같이, 라이다 센서의 위치 이동에 따른 것으로써, 라이다가 특정 위치에 고정된 상태에서 취득한 점군에서는 왜곡이 존재할 가능성이 낮지만, 라이다가 이동하며 획득한 점군에서는 라이다가 360도 회전하여 점군을 획득하는 동안 라이다의 위치 이동에 의해 스캔의 시작점과 끝점의 위치가 상이하게 되며, 이로 인해 왜곡이 발생하게 된다.As described above, the distortion is due to the movement of the position of the lidar sensor, and it is unlikely that distortion is present in the point group acquired while the lidar is fixed at a specific position, but in the point group obtained by moving the lidar, While the Ida is rotated 360 degrees to acquire a point cloud, the position of the start and end points of the scan is different due to the positional movement of the Lida, which causes distortion.

도2 는 라이다의 이동에 의한 왜곡 보정을 하기 위한 오도 메트리 경로의 일예를 나타낸다.Fig. 2 shows an example of a misleading metric path for distortion correction due to the movement of a lidar.

기존에는 라이다가 획득한 3D 점군의 움직임 왜곡을 보정하기 위해, 라이다 이외의 센서(예를 들어, IMU/GPS)를 활용하여 움직임을 보정하는 방식이 주로 이용되고 있다. 그리고 SLAM 관련 연구들에서의 평가는 실제 3차원 지도보다 도2 와 같은 오도메트리 예측 결과를 제시하고, 제시된 오도메트리 예측에서 회전행렬, 이동벡터의 오차를 표현하는 방법으로 수행되고 있다.Conventionally, in order to correct the motion distortion of the 3D point group acquired by the lidar, a method of correcting motion using a sensor (eg, IMU / GPS) other than the lidar is mainly used. And the evaluation in SLAM-related studies is performed as a method of presenting the prediction results of the odometrics as shown in Fig. 2 than the actual 3D map, and expressing the error of the rotation matrix and the motion vector in the proposed odometric predictions.

그러나 IMU/GPS 활용한 움직임 왜곡 보정방법은 매우 고가의 IMU 센서를 이용하지 않는 이상, 고층건물들이 있는 도심지에서는 활용 불가능하다는 한계가 있다. 따라서 라이다 센서만을 활용하여 움직임 왜곡 보정이 가능한 기법이 요구되고 있다.However, the motion distortion correction method using IMU / GPS has a limitation that it cannot be used in urban areas with high-rise buildings, unless a very expensive IMU sensor is used. Therefore, a technique capable of correcting motion distortion using only a lidar sensor is required.

또한 SLAM 연구에서는 3차원 점군의 특징점을 에지(edge)/플래너(planar)를 기반으로 추출하거나, 기준값을 비교하여 100여개의 점만을 추출하였다. In addition, in the SLAM study, feature points of a 3D point group were extracted based on an edge / planar, or only 100 points were extracted by comparing reference values.

도3 은 기존의 SLAM에서 추출된 특징점들의 일예를 나타낸다.3 shows an example of feature points extracted from the existing SLAM.

도3 에 도시된 바와 같이, 3차원 점군에서 에지(edge)/플래너(planar) 기반 또는 기준값과의 비교를 통해 획득되는, 저밀도(sparse) 특징점들은 이후 맵핑/정합 시에 오차가 크게 발생할 수 있다는 문제가 있다.As shown in FIG. 3, in 3D point clusters, low / sparse feature points obtained through comparison with edge / planar-based or reference values may cause a large error in subsequent mapping / matching. there is a problem.

한국 등록 특허 제10-1899549호 (2018.09.11 등록)Korean Registered Patent No. 10-1899549 (Registration on September 11, 2018)

본 발명의 목적은 라이다를 통해 획득된 3D 점군의 기하학적 특징을 활용하여 지면과 비지면, 즉 물체를 구분하여 검출 할 수 있는 지면 및 비지면 검출 장치 및 방법을 제공하는데 있다.An object of the present invention is to provide a ground and non-ground detection apparatus and method that can detect ground and non-ground, that is, objects by using geometric features of a 3D point cloud obtained through a lidar.

본 발명의 다른 목적은 라이다의 이동에 의한 움직임 왜곡을 보상할 수 있는 라이다를 이용한 지면 및 비지면 검출 장치 및 방법을 제공하는데 있다.Another object of the present invention is to provide a ground and non-ground detection apparatus and method using a lidar capable of compensating for motion distortion caused by movement of a lidar.

상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 장치는 기지정된 방향으로 360도 회전하면서 스캔하여, 각각 3차원 좌표계(x, y, z)의 좌표값을 갖는 다수의 점으로 구성되는 3D 점군을 획득하는 라이다 센서; 상기 3D 점군에서 상기 라이다 센서가 회전하며 스캔하는 동안 이동하여 발생한 왜곡을 보정하는 왜곡 보정부; 왜곡 보정된 3D 점군의 다수의 점을 상기 라이다 센서의 FOV(Field of View)에 따라 구분하여 N개의 ID 라인으로 구별하는 ID 라인 구별부; 상기 N개의 ID 라인의 다수의 점 각각에 대해 xy 평면 상에서 동일 ID 라인의 가장 인접한 점과 다른 ID 라인의 가장 인접한 점을 탐색하여, 탐색된 점들과의 xy 평면 상의 거리가 기지정된 제1 기준 거리이내이고, z값의 차가 기지정된 제2 기준 거리 이상인 점들을 판별하여 특징점으로 추출하는 특징점 추출부; 및 판별된 특징점을 비지면으로 검출하고, 특징점 이외의 점들을 지면으로 검출하는 비지면 검출부; 를 포함한다.A ground and non-ground detection device using a lidar according to an embodiment of the present invention for achieving the above object is scanned while rotating 360 degrees in a predetermined direction, and coordinate values of a three-dimensional coordinate system (x, y, z), respectively A lidar sensor acquiring a 3D point group consisting of a plurality of points having a; A distortion correction unit for correcting distortion caused by the rotation of the rider sensor during the scan in the 3D point group; An ID line discriminating unit for dividing a plurality of points of the distortion-corrected 3D point group into N ID lines by dividing them according to a field of view (FOV) of the lidar sensor; For each of the plurality of points of the N ID lines, a first reference distance in which a distance on the xy plane is determined by searching for the closest point of the same ID line and the closest point of another ID line on the xy plane A feature point extracting unit for determining points within a difference between the z values and the second reference distance or more as a feature point; And a non-ground detection unit that detects the determined feature points as non-ground and detects points other than the feature points as ground. It includes.

상기 왜곡 보정부는 상기 3D 점군에서 시작점과 끝점을 탐색하고, 탐색된 시작점 및 끝점 사이의 x축 방향 거리차와 y축 방향의 거리차를 오프셋값으로 계산하여 획득하며, 상기 라이다 센서의 스캔 방향을 고려하여 3D 점군에서 먼저 스캔되는 기지정된 구간의 점들에 대해 획득된 오프셋값을 이용하여 보상할 수 있다.The distortion correction unit searches for a start point and an end point in the 3D point group, and calculates and obtains a distance difference in the x-axis direction and a distance in the y-axis direction between the searched start and end points as offset values, and scans the direction of the lidar sensor In consideration of, it is possible to compensate using offset values obtained for points of a predetermined section that is first scanned in a 3D point group.

상기 왜곡 보정부는 라이다 센서가 초기 1/2 회전 하는 구간동안 획득되는 구간의 점들에 대해 왜곡을 보상할 수 있다.The distortion correction unit may compensate for distortions of points in a section obtained during a section in which the lidar sensor is initially rotated 1/2.

상기 목적을 달성하기 위한 본 발명의 다른 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 방법은 라이다 센서를 이용하여 기지정된 방향으로 360도 회전하면서 스캔하여, 각각 3차원 좌표계(x, y, z)의 좌표값을 갖는 다수의 점으로 구성되는 3D 점군을 획득하는 단계; 상기 3D 점군에서 상기 라이다 센서가 회전하며 스캔하는 동안 이동하여 발생한 왜곡을 보정하는 단계; 왜곡 보정된 3D 점군의 다수의 점을 상기 라이다 센서의 FOV(Field of View)에 따라 구분하여 N개의 ID 라인으로 구별하는 단계; 상기 N개의 ID 라인의 다수의 점 각각에 대해 xy 평면 상에서 동일 ID 라인의 가장 인접한 점과 다른 ID 라인의 가장 인접한 점을 탐색하는 단계; 탐색된 점들과의 xy 평면 상의 거리가 기지정된 제1 기준 거리이내이고, z값의 차가 기지정된 제2 기준 거리 이상인 점들을 판별하여 특징점으로 추출하는 단계; 및 판별된 특징점을 비지면으로 검출하고, 특징점 이외의 점들을 지면으로 검출하는 단계; 를 포함한다.The ground and non-ground detection method using a lidar according to another embodiment of the present invention for achieving the above object is scanned while rotating 360 degrees in a predetermined direction using a lidar sensor, and each of the three-dimensional coordinate systems (x, y , z) obtaining a 3D point group consisting of a plurality of points having coordinate values; Correcting distortion caused by the rider sensor rotating and moving during the scan in the 3D point group; Dividing a plurality of points of the distortion-corrected 3D point group into N ID lines by dividing them according to the field of view (FOV) of the lidar sensor; Searching for a plurality of points of the N ID lines on the xy plane, the closest point of the same ID line and the closest point of another ID line; Determining a point in which the distance on the xy plane with respect to the searched points is within a predetermined first reference distance, and a difference in the z value is greater than or equal to a predetermined second reference distance and extracting the feature point; And detecting the determined feature point as non-ground, and detecting points other than the feature point as ground. It includes.

따라서, 본 발명의 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 장치 및 방법은 스캔 시작점의 위치와 끝점의 위치를 탐색하여, 시작점과 끝점의 차이로부터 오프셋값을 획득하여 라이다의 이동에 의한 왜곡을 보정할 수 있으며, 왜곡 보정된 점군에서 각 점들 사이의 xy 평면상에서의 거리차와 z축 방향의 거리차를 이용하여 특징점을 추출함으로써, 지면과 비지면을 정확하게 검출할 수 있도록 한다. 그러므로, 맵핑/정합 시에 우수한 성능의 깊이 정보를 제공할 수 있으며, SLAM, 물체 검출, 자율주행 알고리즘 등에 다양하게 활용할 수 있다.Therefore, the ground and non-ground detection apparatus and method using the lidar according to the embodiment of the present invention search for the position of the scan start point and the position of the end point, obtain an offset value from the difference between the start point and the end point to move the lidar. Distortion can be corrected, and feature points are extracted by using the distance difference in the xy plane and the distance in the z-axis direction between each point in the distortion-corrected point group, thereby accurately detecting the ground and the non-ground. Therefore, it is possible to provide depth information with excellent performance in mapping / matching, and can be used in various ways, such as SLAM, object detection, and autonomous driving algorithms.

도1 은 라이다의 이동에 의해 점군에 발생된 왜곡의 일예를 나타낸다.
도2 는 라이다의 이동에 의한 왜곡 보정을 하기 위한 오도 메트리 경로의 일예를 나타낸다.
도3 은 기존의 SLAM에서 추출된 특징점들의 일예를 나타낸다.
도4 는 라이다 센서에서 획득되는 3D 점군의 개념을 설명하기 위한 도면이다.
도5 는 3D 점군에서 물체가 가지는 기하학적 특징을 기반으로 추출한 특징점의 일예를 나타낸다.
도6 은 본 발명의 일 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 장치의 개략적 구조를 나타낸다.
도7 및 도8 은 각각 도6 의 왜곡 보정부가 라이다 센서의 움직임 왜곡을 보정하는 개념 및 알고리즘을 나타낸다.
도9 는 도6 의 특징점 추출부가 3D 점군에서 비지면 점들과 지면 점들을 구분하는 개념을 설명하기 위한 도면이다.
도10 은 본 발명의 일 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 방법을 나타낸다.
도11 및 도12 는 본 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 장치 및 방법을 이용하여 획득된 3D 점군의 점들을 지면과 비지면으로 구분하여 검출한 결과를 나타낸다.
1 shows an example of distortion generated in a point cloud by the movement of a lidar.
Fig. 2 shows an example of a misleading metric path for distortion correction due to the movement of a lidar.
3 shows an example of feature points extracted from the existing SLAM.
4 is a view for explaining the concept of the 3D point cloud obtained from the lidar sensor.
5 shows an example of feature points extracted based on geometric features of an object in a 3D point group.
6 shows a schematic structure of a ground and non-ground detection device using a lidar according to an embodiment of the present invention.
7 and 8 show concepts and algorithms in which the distortion correction unit of FIG. 6 corrects motion distortion of the lidar sensor, respectively.
9 is a view for explaining the concept of the feature point extraction unit of FIG. 6 to distinguish non-ground points and ground points from a 3D point group.
10 shows a method of detecting ground and non-ground using a lidar according to an embodiment of the present invention.
11 and 12 show results obtained by dividing the points of the 3D point group obtained using the ground and non-ground detection apparatus and method using the lidar according to the present embodiment into a ground and a non-ground.

본 발명과 본 발명의 동작상의 이점 및 본 발명의 실시에 의하여 달성되는 목적을 충분히 이해하기 위해서는 본 발명의 바람직한 실시예를 예시하는 첨부 도면 및 첨부 도면에 기재된 내용을 참조하여야만 한다. In order to fully understand the present invention, the operational advantages of the present invention, and the objects achieved by the practice of the present invention, reference should be made to the accompanying drawings and the contents described in the accompanying drawings, which illustrate preferred embodiments of the present invention.

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시예를 설명함으로써, 본 발명을 상세히 설명한다. 그러나, 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며, 설명하는 실시예에 한정되는 것이 아니다. 그리고, 본 발명을 명확하게 설명하기 위하여 설명과 관계없는 부분은 생략되며, 도면의 동일한 참조부호는 동일한 부재임을 나타낸다. Hereinafter, the present invention will be described in detail by explaining preferred embodiments of the present invention with reference to the accompanying drawings. However, the present invention can be implemented in various different forms, and is not limited to the described embodiments. And, in order to clearly describe the present invention, parts irrelevant to the description are omitted, and the same reference numerals in the drawings indicate the same members.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라, 다른 구성요소를 더 포함할 수 있는 것을 의미한다. 또한, 명세서에 기재된 "...부", "...기", "모듈", "블록" 등의 용어는 적어도 하나의 기능이나 동작을 처리하는 단위를 의미하며, 이는 하드웨어나 소프트웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. Throughout the specification, when a part “includes” a certain component, it means that the component may further include other components, not to exclude other components, unless otherwise stated. In addition, terms such as "... part", "... group", "module", and "block" described in the specification mean a unit that processes at least one function or operation, which is hardware or software or hardware. And software.

도4 는 라이다 센서에서 획득되는 3D 점군의 개념을 설명하기 위한 도면이다.4 is a view for explaining the concept of the 3D point cloud obtained from the lidar sensor.

상기한 바와 같이, 라이다 센서는 z축을 중심으로 360도 회전하면서, 레이저 펄스와 같은 광을 방사하고, 방사된 광이 지면 또는 물체에 도달하여 반사되어 돌아오는 광을 감지함으로써 주변을 스캔한다. 이때, 라이다 센서는 광의 반사 위치를 3차원 좌표계의 좌표값(x, y, z)으로 표현되는 다수의 점으로 구성되는 3D 점군의 형태로 획득한다.As described above, the lidar sensor rotates 360 degrees around the z-axis, and emits light such as a laser pulse, and scans the surroundings by detecting the light that has returned to the ground or an object and reflected back. At this time, the lidar sensor acquires the reflection position of the light in the form of a 3D point group consisting of a plurality of points represented by coordinate values (x, y, z) of the 3D coordinate system.

도4 의 (a)에 도시된 바와 같이, 3차원 좌표계에서 x축은 라이다 센서의 전방 방향으로 이동 방향을 나타내고, y축은 라이다 센서의 좌측 방향을 나타내며, z 축은 라이다 센서의 상단 방향을 나타낸다.As shown in Fig. 4 (a), in the three-dimensional coordinate system, the x-axis represents the moving direction in the forward direction of the lidar sensor, the y-axis represents the left direction of the lidar sensor, and the z-axis represents the upper direction of the lidar sensor. Shows.

라이다 센서가 360도 회전하며 획득되는 3D 점군은 각각 다수의 점으로 구성되는 N개(여기서 N은 자연수)의 라인을 포함하며, N개의 라인 각각은 ID 라인(ID)이라 한다.The 3D point group obtained by rotating the lidar sensor 360 degrees includes N lines (where N is a natural number) each composed of a plurality of points, and each of the N lines is called an ID line (ID).

도4 의 (a)에서는 일예로 3D 점군의 N개의 ID 중 제k-1 ID 라인(IDk-1), 제k ID 라인(IDk) 및 제k+1 ID 라인(IDk+1)의 3개의 ID 라인만을 도시하였다. 그리고 도4 에서 pj k+1 은 제k+1 ID 라인(IDk+1)에서 j번째 점을 의미한다.In FIG. 4 (a), for example, among the N IDs of the 3D point group, the k-1 ID line (ID k-1 ), the k ID line (ID k ), and the k + 1 ID line (ID k + 1 ). Only 3 ID lines are shown. In addition, in FIG. 4, p j k + 1 means a j-th point in the k + 1 ID line (ID k + 1 ).

따라서 제k+1 ID 라인(IDk+1)의 j번째 점(pj k+1)의 좌표값(x, y, z)이 xy 평면 상의 점이 아니라, z 축 방향 크기를 갖는 점(z ≠ 0)이라면, 제k+1 ID 라인(IDk+1)의 j번째 점(pj k+1)은 (b)에 도시된 바와 같이, x축을 기준으로 xy 평면 상에 투영된 점(pj k+1')의 위치에 대한 수평각(φ)과 함께 xy 평면을 기준으로 z 축 방향으로의 수직각(θ)을 갖는다.Therefore, the coordinate value (x, y, z) of the j-th point (p j k + 1 ) of the k + 1 ID line (ID k + 1 ) is not a point on the xy plane, but a point having a z-axis size (z ≠ 0), the jth point (p j k + 1 ) of the k + 1 ID line (ID k + 1 ) is a point projected on the xy plane with respect to the x axis, as shown in (b) ( It has a vertical angle θ in the z-axis direction with respect to the xy plane along with a horizontal angle φ for the position of p j k + 1 ′).

도5 는 3D 점군에서 물체가 가지는 기하학적 특징을 기반으로 추출되는 특징점의 일예를 나타낸다.5 shows an example of a feature point extracted based on a geometric feature of an object in a 3D point group.

도5 에서는 라이다에서 획득된 3D 점군에서 기하학적 특징을 이용하여 지면(ground)과 비지면(non-ground)을 구분함으로써, 획득되는 특징점을 나타낸다. 도5 에서 회색 점은 지면에 대한 점을 나타내고, 보라색 점은 비지면에 대한 점, 즉 특징점을 나타낸다.In FIG. 5, the feature points obtained by distinguishing the ground from the non-ground using geometric features in the 3D point group obtained from the lidar are shown. In FIG. 5, the gray dots represent points on the ground, and the purple dots represent points on the non-ground, that is, the feature points.

일반적으로 평면적 특성을 갖는 지면에 비해 이외의 물체, 즉 비지면의 기하학적 특징은 지면에 대한 상대적 높이차에 있는 것으로 판단할 수 있다.In general, it can be determined that a geometrical characteristic of an object other than the ground having a planar property, that is, non-ground, is in a relative height difference with respect to the ground.

이에 본 발명에서는 3D 점군에서 주변 점들에 비해 x, y 축에서의 좌표값의 차이는 크지 않으나, z축에서의 좌표값의 차이가 돌출되게 나타나는 점이 비지면을 나타내는 특징점으로 선택될 수 있다는 개념에 따라 지면과 비지면을 구분하여 검출하도록 한다.Accordingly, in the present invention, in the 3D point group, the difference between the coordinate values in the x and y axes is not large compared to the surrounding points, but the concept that the point in which the difference in coordinate values in the z-axis protrudes can be selected as a feature point indicating non-ground surface. Therefore, the ground and the non-ground should be detected separately.

도5 에서 확인할 수 있듯이, 3D 점군에서 기하학적 특징을 이용하여 지면과 비지면을 구분하고, 구분된 비지면에 대한 점들을 특징점으로 추출할 수 있다면, 이후 물체를 용이하게 검출할 수 있으며, 물체 대한 맵핑/정합 시에 오차를 크게 줄일 수 있게 된다.As can be seen in FIG. 5, if the ground and the non-ground are distinguished using geometric features in the 3D point group, and the points on the divided ground can be extracted as the feature points, then the object can be easily detected, and the object When mapping / matching, errors can be greatly reduced.

도6 은 본 발명의 일 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 장치의 개략적 구조를 나타내고, 도7 및 도8 은 각각 도6 의 왜곡 보정부가 라이다 센서의 움직임 왜곡을 보정하는 개념 및 알고리즘을 나타내며, 도9 는 도6 의 특징점 추출부가 3D 점군에서 비지면 점들과 지면 점들을 구분하는 개념을 설명하기 위한 도면이다.6 shows a schematic structure of a ground and non-ground detection device using a lidar according to an embodiment of the present invention, and FIGS. 7 and 8 are concepts in which the distortion correction unit of FIG. 6 corrects motion distortion of the lidar sensor, respectively And an algorithm, and FIG. 9 is a diagram for explaining a concept in which the feature point extraction unit of FIG. 6 classifies non-ground points and ground points in a 3D point group.

도6 을 참조하면, 본 실시예에 따른 지면 및 비지면 검출 장치는 라이다 센서(100), 왜곡 보정부(200), ID 라인 구별부(300), 특징점 추출부(400) 및 비지면 검출부(500)를 포함한다.Referring to FIG. 6, the ground and non-ground detection apparatus according to the present embodiment is a lidar sensor 100, a distortion correction unit 200, an ID line discrimination unit 300, a feature point extraction unit 400, and a non-ground detection unit 500.

라이다 센서(100)는 360도 회전하면서, 레이저 펄스와 같은 광을 방사하고, 방사된 광이 지면 또는 물체에 도달하여 반사되어 돌아오는 광을 감지하여, 각각 다수의 점을 포함하는 3D 점군을 획득한다.The lidar sensor 100 rotates 360 degrees, emits light such as a laser pulse, and senses the returned light when the emitted light reaches the ground or an object and returns, thereby generating a group of 3D points each containing a plurality of points. To acquire.

왜곡 보정부(200)는 라이다 센서(100)에서 획득된 3D 점군에서 라이다 센서의 이동에 의해 발상된 움직임 왜곡을 보상한다. 도7 에 도시된 바와 같이, 움직임 왜곡은 라이다 센서(100)가 스캔 하는 동안 x축 및 y축 방향으로의 움직임 변화가 있어, 스캔의 시작점(A)과 끝점(B)의 위치가 상이하게 됨으로써 발생한다. 따라서 스캔 시작점(A)과 끝점(B)의 x값 및 y값을 기반으로 왜곡 보상을 수행한다. 도7 에서 원점(O)은 지정된 방향으로부터 스캔 시작하여 1회전하여 스캔을 종료한 시점에서의 라이다 센서(100)의 위치를 의미한다.The distortion correcting unit 200 compensates for motion distortion generated by the movement of the lidar sensor in the 3D point group obtained from the lidar sensor 100. As shown in FIG. 7, the motion distortion is a movement change in the x-axis and y-axis directions while the lidar sensor 100 scans, so that the positions of the start point (A) and the end point (B) of the scan are different. Occurs by Therefore, distortion compensation is performed based on the x and y values of the scan start point (A) and the end point (B). In FIG. 7, the origin (O) means the position of the lidar sensor 100 at the time when the scan is started from the designated direction and rotated once to end the scan.

왜곡 보정부(200)는 우선 스캔의 시작점(A) 및 끝점(B)의 위치를 탐색한다. 왜곡 보정부(200)는 3D 점군(P)에서 시작점(A)과 끝점(B)을 판별하고, 판별된 시작점(A)과 끝점(B)의 위치를 판별한다.The distortion correction unit 200 first searches the positions of the start point (A) and the end point (B) of the scan. The distortion correction unit 200 determines the start point A and the end point B from the 3D point group P, and determines the positions of the determined start point A and end point B.

이때 왜곡 보정부(200)는 3D 점군을 구성하는 N개의 ID 라인을 구분하지 못한다. 따라서 왜곡 보정부(200)는 N개의 ID 라인(ID1 ~ IDn) 각각의 시작점과 끝점을 직접 확인할 수 없으며, 이에 각 점의 좌표값(x, y, z) 중 x, y 좌표값을 기반으로 N개의 ID 라인 중 가장 외측 ID 라인(IDn) 또는 가장 내측 ID 라인(ID1)의 시작점 및 끝점을 탐색한다.At this time, the distortion correction unit 200 does not distinguish N ID lines constituting the 3D point group. Therefore, the distortion correction unit 200 cannot directly check the start and end points of each of the N ID lines (ID 1 to ID n ), and thus the x and y coordinate values of the coordinate values (x, y, z) of each point Based on the N ID lines, the start and end points of the outermost ID line (ID n ) or the innermost ID line (ID 1 ) are searched.

이하에서는 일예로 라이다 센서(100)가 x축 방향으로 이동하고, 라이다 센서(100)가 ??x 방향으로부터 시계 방향(-180도 ~ 180도)으로 스캔하며, 가장 외측 ID 라인의 시작점 및 끝점을 탐색하는 것으로 가정한다.Hereinafter, as an example, the lidar sensor 100 moves in the x-axis direction, and the lidar sensor 100 scans clockwise (-180 degrees to 180 degrees) from the ?? x direction, and the starting point of the outermost ID line And it is assumed that the end point is searched.

왜곡 보정부(200)는 도8 에 나타난 바와 같이, 수평각(φ)을 기반으로 (-180 < φ < -180 + th1)으로 지정되는 제1 각도 범위에서 시작점(A)을 탐색한다. 여기서 th1은 기지정된 각도 문턱값을 의미한다. 일예로 각도 문턱값(th1)은 주기적으로 광을 방사하는 라이다 센서(100)가 광을 방사하는 1 주기 동안 회전하는 각도로 설정될 수 있다.As shown in FIG. 8, the distortion correction unit 200 searches for the starting point A in a first angle range designated as (-180 <φ <-180 + th 1 ) based on the horizontal angle φ. Here, th 1 means a predetermined angle threshold. For example, the angle threshold value th 1 may be set to an angle at which the lidar sensor 100 that periodically emits light rotates for one period that emits light.

왜곡 보정부(200)는 각도 문턱값(th1)에 의해 지정된 제1 각도 범위 이내에서 획득된 적어도 하나의 점(pi)의 좌표값(x, y, z)를 분석하여, 가장 작은 x값(min x)을 시작점(A)의 x값(starting x)으로 설정하고, 가장 작은 y값(min y)을 시작점(A)의 y값(starting y)으로 설정한다. 즉 시작점(A)의 위치를 xy 좌표 평면 상에서의 좌표값(starting x, starting y)으로 설정한다.The distortion correction unit 200 analyzes the coordinate values (x, y, z) of at least one point (p i ) obtained within the first angle range specified by the angle threshold value (th 1 ), the smallest x The value (min x) is set to the starting point (A) x value (starting x), and the smallest y value (min y) is set to the starting point (A) y value (starting y). That is, the position of the starting point A is set to a coordinate value (starting x, starting y) on the xy coordinate plane.

그리고 왜곡 보정부(200)는 시작점(A)과 유사하게 끝점(B)을 수평각(φ)을 기반으로 (180 - th1 < φ < 180)의 범위에서 탐색한다. 왜곡 보정부(200)는 지정된 각도 범위 이내에서 획득된 적어도 하나의 점의 좌표값(x, y, z)를 분석하여, 가장 작은 x값(min x)을 끝점(B)의 x값(ending x)으로 설정하고, 가장 큰 y값(max y)을 끝점(B)의 y값(ending y)으로 설정한다. 즉 끝점(B)의 위치를 xy 좌표 평면 상에서의 좌표값(ending x, ending y)으로 설정한다.Then, the distortion correction unit 200 searches for the end point B in the range of (180-th 1 <φ <180) based on the horizontal angle φ, similar to the starting point A. The distortion correction unit 200 analyzes coordinate values (x, y, z) of at least one point obtained within a specified angular range, and the smallest x value (min x) is the x value of the ending point B (ending) x), and the largest y value (max y) is set to the y value of the ending point B (ending y). That is, the position of the end point B is set to a coordinate value (ending x, ending y) on the xy coordinate plane.

시작점(A)의 위치(starting x, starting y)와 끝점(B)의 위치(ending x, ending y)가 설정되면, 왜곡 보정부(200)는 시작점(A)의 위치(starting x, starting y)와 끝점(B)의 위치(ending x, ending y)를 이용하여 x축 오프셋값(d1)(offsetx) 및 y축 오프셋값(d2)(offsety)을 획득한다. 여기서 x축 오프셋값(offsetx) 및 y축 오프셋값(offsety)은 도7 에서 각각 d1 및 d2로 나타나있다. 그리고 도8 에 나타난 바와 같이, x축 방향 및 y축 방향의 오프셋값(offsetx, offsety)은 각각 끝점(B)의 x, y 좌표값(ending x, ending y)에서 시작점(A)의 x, y 좌표값(starting x, starting y)을 차감하여 획득할 수 있다.When the position of the starting point (A) (starting x, starting y) and the position of the ending point (B) (ending x, ending y) are set, the distortion correcting unit 200 starts the position (A) of the starting point (starting x, starting y) ) And the end point (B) of the position (ending x, ending y) to obtain the x-axis offset value (d 1 ) (offset x ) and y-axis offset value (d 2 ) (offset y ). Here, the x-axis offset value (offset x ) and the y-axis offset value (offset y ) are shown as d 1 and d 2 in FIG. 7, respectively. And, as shown in FIG. 8, the offset values (offset x , offset y ) in the x-axis direction and the y-axis direction are each of the starting point (A) at the x and y coordinate values (ending x, ending y) of the end point (B), respectively. It can be obtained by subtracting the x and y coordinate values (starting x, starting y).

왜곡 보정부(200)는 오프셋값(offsetx, offsety)이 획득되면, 3D 점군(P)에서 y값이 0보다 큰 점(pi)들(pi.y > 0)에 대해 y축 방향의 오프셋값(offsety)과 수평각(φ)을 이용하여 y값이 0보다 큰 점(pi)들(pi.y > 0)의 y값을 수학식 1과 같이 보상한다.When the offset values (offset x , offset y ) are obtained, the distortion correction unit 200 y-axis for points (p i ) (p i .y> 0) whose y value is greater than 0 in the 3D point group (P). the y value of the offset level (offset y) and the horizontal angle (φ) of the y value is greater point (p i) greater than 0 using a (p i .y> 0) the direction is compensated as shown in the equation (1).

Figure 112018118722071-pat00001
Figure 112018118722071-pat00001

수학식 1에서 (ID/N) 항목은 각 점이 3D 점군을 구성하는 N개의 ID 라인(ID1 ~ IDn) 중 하나에 포함되는 점이므로, 포함된 ID 라인(ID)에 대응하는 크기의 오프셋이 반영되도록 하기 위함이다.In Equation 1, since the (ID / N) item is a point included in one of the N ID lines (ID 1 to ID n ) constituting a 3D point group, an offset of a size corresponding to the included ID line (ID) This is to ensure that it is reflected.

또한 y값이 0보다 큰 점들(pi.y > 0)에 대해 x축 방향의 오프셋값(offsetx)이 기지정된 문턱 오프셋값(thoff)보다 크면, y값이 0보다 큰 점(pi)들(pi.y > 0)의 y값을 x축 방향의 오프셋값(offsetx)과 수평각(φ)을 이용하여 수학식 2와 같이 보상한다.In addition, the value of y is greater than 0 points (p i .y> 0) the offset value of the x-axis direction with respect to the (x offset) the group is greater than a specified threshold offset value (th off), the value of y is greater than 0 points (p The y values of i ) (p i .y> 0) are compensated using Equation 2 using the offset value ( x ) in the x-axis direction and the horizontal angle (φ).

Figure 112018118722071-pat00002
Figure 112018118722071-pat00002

여기서 왜곡 보정부(200)가 y값이 0보다 큰 점들(pi.y > 0), 즉 라이다 센서(100)의 스캔 시작점부터 절반만 오프셋값을 보상하는 것은 스캔 종료 시점의 라이다 센서(100)의 위치를 원점(O)으로 설정하였으므로, 스캔 초기 구간에 왜곡이 크게 발생하기 때문이다.Here, the distortion correction unit 200 compensates for the offset values of only half from the scan start point of the lidar sensor 100, where the y value is greater than 0 (p i .y> 0), that is, the lidar sensor at the end of the scan This is because the location of the (100) is set as the origin (O), so that distortion occurs in the initial scan section.

만일 라이다 센서(100)의 스캔 시작 위치 또는 방향이 상이하거나, N개의 ID 라인(ID1 ~ IDn) 중 가장 내측 ID 라인(ID1)의 시작점(A) 및 끝점(B)을 탐색하는 경우, 시작점(A) 및 끝점(B)의 도8 의 알고리즘 또한 일부 수정될 수 있다.If the scan start position or direction of the lidar sensor 100 is different, or search for the start point (A) and end point (B) of the innermost ID line (ID 1 ) among the N ID lines (ID 1 to ID n ) In the case, the algorithm of Fig. 8 of the start point (A) and the end point (B) may also be partially modified.

왜곡 보정부(200)가 3D 점군의 왜곡을 보상하면, ID 라인 구별부(300)는 왜곡 보상된 3D 점군을 벡터화하여 N개의 ID 라인으로 구별한다. ID 라인 구별부(300)는 3D 점군의 다수의 점들 각각에 대한 수평각(

Figure 112018118722071-pat00003
)과 수직각(
Figure 112018118722071-pat00004
)을 획득하고, 라이다 센서(100)의 FOV(Field of View)에 기반하여, 수학식 3에 따라 다수의 구간으로 구분함으로써, N개의 ID 라인(ID)을 획득한다.When the distortion correction unit 200 compensates for the distortion of the 3D point group, the ID line distinguishing unit 300 vectorizes the distortion-compensated 3D point group and distinguishes them into N ID lines. The ID line discrimination unit 300 is a horizontal angle for each of a plurality of points in the 3D point group (
Figure 112018118722071-pat00003
) And vertical angle (
Figure 112018118722071-pat00004
), And based on the field of view (FOV) of the lidar sensor 100, divided into a plurality of sections according to Equation 3 to obtain N ID lines ID.

Figure 112018118722071-pat00005
Figure 112018118722071-pat00005

여기서,

Figure 112018118722071-pat00006
이고, 채널 수(# of channels), 상한 및 하한은 라이다 센서(100)의 고정 변수들이다.here,
Figure 112018118722071-pat00006
And the number of channels (# of channels), the upper limit and the lower limit are fixed variables of the lidar sensor 100.

ID 라인 구별부(300)는 획득된 N개의 ID 라인(ID) 각각의 다수의 점(pi) 을 수평각(φ)을 기준으로 오름차순 정렬할 수 있다. 즉 N개의 ID 라인(ID1 ~ IDn) 각각의 점들(pi)을 스캔 시작 위치로부터 순차적으로 정렬할 수 있다.The ID line distinguishing unit 300 may arrange a plurality of points p i of each of the obtained N ID lines ID in ascending order based on the horizontal angle φ. That is, points p i of each of the N ID lines ID 1 to ID n may be sequentially arranged from the scan start position.

한편, 특징점 추출부(400)는 N개의 ID 라인(ID1 ~ IDn)의 점들(pi)의 기하학적 특징을 분석하여 지면이 아닌 점들을 판별하여, 특징점을 추출한다.On the other hand, the feature point extracting unit 400 analyzes the geometric features of the points p i of the N ID lines ID 1 to ID n to determine points other than the ground, and extracts the feature points.

상기한 바와 같이, 비지면의 기하학적 특징은 지면에 대한 상대적 높이차에 있는 것으로 고려할 수 있다.As mentioned above, the geometrical features of the non-ground can be considered to be in a difference in height relative to the ground.

이에 본 발명에서는 3D 점군에서 주변 점들에 비해 x, y 축에서의 좌표값의 차이는 크지 않으나, z축에서의 좌표값의 차이가 크게 나타나는 점을 특징점으로 추출한다.Accordingly, in the present invention, the difference in coordinate values in the x and y axes is not large compared to the surrounding points in the 3D point group, but a point in which the difference in coordinate values in the z axis is large is extracted as a feature point.

특징점 추출부(400)는 Nearest Neighbors Search 기법에 따라 N개의 ID 라인(ID1 ~ IDn) 각각의 점들(pi)에 대해 xy 평면 상에서 동일 ID 라인의 가장 인접한 점과 다른 ID 라인의 가장 인접한 점을 탐색한다. 일예로 도9 에서 제4 ID 라인(ID4)의 j번째 점(pj 4)을 A라 할 때, 특징점 추출부(400)는 동일한 제4 ID 라인(ID4)에서 j-1번째 점(pj-1 4) 과 j+1번째 점(pj+1 4)을 탐색하여 가장 인접한 점을 C로 지정한다. 그리고 제3 ID 라인(ID3) 및 제5 ID 라인(ID5)의 점군(p3, p5)에서 가장 점(A)에 가장 인접한 점을 탐색하여 B로 지정한다.The feature point extracting unit 400 is adjacent to the closest point of the same ID line and the closest point of another ID line on the xy plane for each point p i of the N ID lines ID 1 to ID n according to the Nearest Neighbors Search technique. Search for points. As an example, when the j-th point (p j 4 ) of the fourth ID line (ID 4 ) in FIG. 9 is A, the feature point extracting unit 400 is the j-1-th point in the same fourth ID line (ID 4 ). Search for (p j-1 4 ) and j + 1th point (p j + 1 4 ) and designate the nearest point as C. Then, the point closest to the point A in the point group p 3 and p 5 of the third ID line ID 3 and the fifth ID line ID 5 is searched and designated as B.

특징점 추출부(400)는 A점과 B점 및 C점 사이의 xy 평면 상에서의 거리를 계산하여, xy 평면 상에서의 B점 또는 C점까지의 거리가 기지정된 제1 기준 거리이내이면, A점과 B점 및 C점 사이의 z값 차를 계산한다. 만일 B점 또는 C점과의 z값의 차 중 적어도 하나가 기지정된 제2 기준 거리 이상이면, 제2 기준 거리 이상인 점을 특징점으로 추출한다.The feature point extracting unit 400 calculates a distance on the xy plane between points A and B and C, and if the distance to point B or C on the xy plane is within a predetermined first reference distance, point A And z-value difference between point B and point C. If at least one of the difference of the z value from the B point or the C point is greater than or equal to a second predetermined reference distance, a point greater than or equal to the second reference distance is extracted as a feature point.

비지면 검출부(500)는 특징점 추출부(400)에서 판별된 특징점을 비지면, 즉 물체로 검출하고, 특징점 이외의 점들을 지면으로 검출한다. 비지면 검출부(500)는 3D 점군의 다수의 점을 지면에 대한 점과 비지면에 대한 점으로 구분하여 서로 다른 색상으로 표현함으로써, 사용자가 물체와 지면을 용이하게 식별할 수 있도록 할 수 있다.The non-ground detection unit 500 detects the feature points determined by the feature point extraction unit 400 as non-ground, that is, objects, and detects points other than the feature points as the ground. The non-ground detection unit 500 divides a plurality of points of a 3D point group into points on the ground and points on the non-ground, and expresses them in different colors, so that the user can easily identify objects and the ground.

도10 은 본 발명의 일 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 방법을 나타낸다.10 shows a method of detecting ground and non-ground using a lidar according to an embodiment of the present invention.

도5 내지 도9 를 참조하여, 도10 의 라이다를 이용한 지면 및 비지면 검출 방법을 설명하면, 우선 라이다 센서(100)가 주변을 360도 회전하며 스캔하여 3D 점군(P)을 획득한다(S10).Referring to Figures 5 to 9, when explaining the ground and non-ground detection method using the lidar of FIG. 10, first, the lidar sensor 100 rotates around 360 degrees and scans to obtain a 3D point group (P). (S10).

왜곡 보정부(200)는 라이다 센서(100)가 획득한 3D 점군(P)에서 라이다 센서(100)가 스캔하는 동안 이동하여 발생한 왜곡을 보상한다(S20). 왜곡 보정부(200)는 먼저 3D 점군(P)에서 시작점과 끝점을 탐색한다. 이때 왜곡 보정부(200)는 3D 점군(P)의 N개의 ID 라인(ID1 ~ IDn) 중 가장 외측 ID 라인(IDn) 또는 가장 내측 ID 라인(ID1)의 시작점 및 끝점을 탐색한다. 그리고 탐색된 시작점 및 끝점 사이의 x축 방향 거리차(d1)와 y축 방향의 거리차(d2)를 오프셋값으로 계산하여 획득한다(S22). 오프셋값이 계산되면, 왜곡 보정부(200)는 스캔 방향을 고려하여, 3D 점군에서 먼저 스캔되는 구간(여기서는 일예로 라이다 센서(100)가 초기 1/2 회전 하는 구간)의 점들에 대해 왜곡 보상을 수행한다(S23).The distortion correction unit 200 compensates for distortion caused by the movement of the rider sensor 100 during scanning in the 3D point group P acquired by the rider sensor 100 (S20). The distortion correction unit 200 first searches for a start point and an end point in the 3D point group P. At this time, the distortion correction unit 200 searches for the start and end points of the outermost ID line ID n or the innermost ID line ID 1 of the N ID lines ID 1 to ID n of the 3D point group P. . And the distance difference (d1) in the x-axis direction and the distance difference (d2) in the y-axis direction between the searched start and end points are calculated and obtained as offset values (S22). When the offset value is calculated, the distortion correcting unit 200 distorts the points in the section that is first scanned in the 3D point group (in this example, the section where the rider sensor 100 initially rotates 1/2) in consideration of the scan direction. Compensation is performed (S23).

이후 ID 라인 구별부(300)가 왜곡 보상된 3D 점군의 다수의 점들 각각이 수평각(

Figure 112018118722071-pat00007
)과 수직각(
Figure 112018118722071-pat00008
)으로 표현되도록 벡터화하고, 벡터화된 3D 점군의 다수의 점들 각각을 라이다 센서(100)의 FOV에 기반하여 다수의 구간으로 구분함으로써, N개의 ID 라인(ID)을 획득한다(S30). ID 라인 구별부(300)는 획득된 N개의 ID 라인(ID) 각각의 다수의 점(pi) 을 수평각(φ)을 기준으로 오름차순 정렬할 수 있다.Thereafter, each of the plurality of points of the 3D point group in which the ID line discrimination unit 300 is distortion-compensated is horizontal (
Figure 112018118722071-pat00007
) And vertical angle (
Figure 112018118722071-pat00008
Vectorized to be represented by), and each of the plurality of points of the vectorized 3D point group is divided into a plurality of sections based on the FOV of the lidar sensor 100, thereby obtaining N ID lines (ID) (S30). The ID line distinguishing unit 300 may arrange a plurality of points p i of each of the obtained N ID lines ID in ascending order based on the horizontal angle φ.

특징점 추출부(S40)는 N개의 ID 라인(ID1 ~ IDn) 각각의 점들(pi)에 대해 xy 평면 상에서 동일 ID 라인의 가장 인접한 점과 다른 ID 라인의 가장 인접한 점을 탐색하고, 탐색된 점들과의 xy 평면 상의 거리가 기지정된 제1 기준 거리이내이고, z값의 차가 기지정된 제2 기준 거리 이상인 점들을 판별하여 특징점으로 추출한다(S40).The feature point extracting unit S40 searches for the closest point of the same ID line and the closest point of another ID line on the xy plane for each of the points p i of the N ID lines ID 1 to ID n , and searches The points on the xy plane with respect to the determined points are within a predetermined first reference distance, and points with a difference in z value equal to or greater than the predetermined second reference distance are determined and extracted as a feature point (S40).

비지면 검출부(500)는 판별된 특징점을 비지면, 즉 물체로 검출하고, 특징점 이외의 점들을 지면으로 검출한다(S50).The non-ground detection unit 500 detects the determined feature point as an empty surface, that is, an object, and detects points other than the feature point as the ground (S50).

도11 및 도12 는 본 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 장치 및 방법을 이용하여 획득된 3D 점군의 점들을 지면과 비지면으로 구분하여 검출한 결과를 나타낸다.11 and 12 show results obtained by dividing the points of the 3D point group obtained using the ground and non-ground detection apparatus and method using the lidar according to the present embodiment into a ground and a non-ground.

도11 에서 지면은 회색으로 표시하였으며, 비지면은 분홍색으로 표시한 지면/비지면 검출 영상을 나타낸다. 도11 에 도시된 바와 같이, 본 실시예에 따른 라이다를 이용한 지면 및 비지면 검출 장치 및 방법은 지면과 비지면을 정확하게 검출할 수 있다.In FIG. 11, the ground is shown in gray, and the non-ground indicates a ground / non-ground detection image in pink. As shown in Fig. 11, the apparatus and method for detecting the ground and the ground using the lidar according to the present embodiment can accurately detect the ground and the ground.

도12 에서는 지면에 대한 점들은 별도로 표시하지 않았으며, 비지면에 대한 점들의 색상을 z 값에 따라 상이하게 표현하였다. 도12 와 같이 z 값에 따라 색상을 상이하게 표현하는 경우, 사용자가 비지면의 형상을 더욱 정확하게 인지할 수 있게 됨을 알 수 있다.In FIG. 12, the dots for the ground are not separately displayed, and the color of the dots for the non-ground is expressed differently according to the z value. As shown in FIG. 12, when colors are differently expressed according to the z value, it can be seen that the user can more accurately recognize the shape of the ground surface.

또한 도11 및 도12 에서는 라이다 센서(100)의 이동에 의한 왜곡이 보상되어 있음을 알 수 있다.11 and 12, it can be seen that distortion due to movement of the lidar sensor 100 is compensated.

본 발명에 따른 방법은 컴퓨터에서 실행 시키기 위한 매체에 저장된 컴퓨터 프로그램으로 구현될 수 있다. 여기서 컴퓨터 판독가능 매체는 컴퓨터에 의해 액세스 될 수 있는 임의의 가용 매체일 수 있고, 또한 컴퓨터 저장 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함하며, ROM(판독 전용 메모리), RAM(랜덤 액세스 메모리), CD(컴팩트 디스크)-ROM, DVD(디지털 비디오 디스크)-ROM, 자기 테이프, 플로피 디스크, 광데이터 저장장치 등을 포함할 수 있다.The method according to the present invention can be implemented as a computer program stored in a medium for execution on a computer. The computer readable medium herein can be any available medium that can be accessed by a computer, and can also include any computer storage medium. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data, and ROM (readable) Dedicated memory), RAM (random access memory), CD (compact disk) -ROM, DVD (digital video disk) -ROM, magnetic tape, floppy disk, optical data storage, and the like.

본 발명은 도면에 도시된 실시예를 참고로 설명되었으나 이는 예시적인 것에 불과하며, 본 기술 분야의 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely exemplary, and those skilled in the art will understand that various modifications and other equivalent embodiments are possible therefrom.

따라서, 본 발명의 진정한 기술적 보호 범위는 첨부된 청구범위의 기술적 사상에 의해 정해져야 할 것이다.Therefore, the true technical protection scope of the present invention should be defined by the technical spirit of the appended claims.

100: 라이다 센서 200: 왜곡 보정부
300: ID 라인 구별부 400: 특징점 추출부
500: 비지면 검출부
100: lidar sensor 200: distortion correction unit
300: ID line distinguishing unit 400: feature point extraction unit
500: non-ground detection unit

Claims (10)

기지정된 방향으로 360도 회전하면서 스캔하여, 각각 3차원 좌표계(x, y, z)의 좌표값을 갖는 다수의 점으로 구성되는 3D 점군을 획득하는 라이다 센서;
상기 3D 점군에서 상기 라이다 센서가 회전하며 스캔하는 동안 이동하여 발생한 왜곡을 보정하는 왜곡 보정부;
왜곡 보정된 3D 점군의 다수의 점을 상기 라이다 센서의 FOV(Field of View)에 따라 구분하여 N개의 ID 라인으로 구별하는 ID 라인 구별부;
상기 N개의 ID 라인의 다수의 점 각각에 대해 xy 평면 상에서 동일 ID 라인의 가장 인접한 점과 다른 ID 라인의 가장 인접한 점을 탐색하여, 탐색된 점들과의 xy 평면 상의 거리가 기지정된 제1 기준 거리이내이고, z값의 차가 기지정된 제2 기준 거리 이상인 점들을 판별하여 특징점으로 추출하는 특징점 추출부; 및
판별된 특징점을 비지면으로 검출하고, 특징점 이외의 점들을 지면으로 검출하는 비지면 검출부; 를 포함하되,
상기 왜곡 보정부는
상기 3D 점군에서 시작점과 끝점을 탐색하고,
탐색된 시작점 및 끝점 사이의 x축 방향 거리차와 y축 방향의 거리차를 오프셋값으로 계산하여 획득하며,
상기 라이다 센서의 스캔 방향을 고려하여 3D 점군에서 먼저 스캔되는 기지정된 구간의 점들에 대해 획득된 오프셋값을 이용하여 보상하고,
상기 왜곡 보정부는
상기 라이다 센서가 x축 방향으로 이동하고, -x 방향(-180도)으로부터 회전하여 스캔을 시작하는 경우,
-180도에서 기지정된 각도 문턱값(th1) 이내(-180 < 수평각(φ) < -180 + th1)의 범위에서 획득된 적어도 하나의 점의 x값과 y값을 비교하여 상기 시작점을 설정하고,
180도에서 기지정된 각도 문턱값 이내(180 - th1 < φ < 180)의 범위에서 획득된 적어도 하나의 점의 x값과 y값을 비교하여 상기 끝점을 설정하는 라이다를 이용한 지면 및 비지면 검출 장치.

A lidar sensor that scans while rotating 360 degrees in a predetermined direction to obtain a 3D point group consisting of a plurality of points each having coordinate values of a three-dimensional coordinate system (x, y, z);
A distortion correction unit for correcting distortion caused by the rotation of the rider sensor during the scan in the 3D point group;
An ID line discriminating unit for dividing a plurality of points of the distortion-corrected 3D point group into N ID lines by dividing them according to a field of view (FOV) of the lidar sensor;
For each of the plurality of points of the N ID lines, a first reference distance in which a distance on the xy plane is determined by searching for the closest point of the same ID line and the closest point of another ID line on the xy plane A feature point extracting unit for determining points within a difference between the z values and the second reference distance or more as a feature point; And
A non-ground detection unit that detects the determined feature points as non-ground and detects points other than the feature points as ground; Including,
The distortion correction unit
Search for a start point and an end point in the 3D point group,
It is obtained by calculating the distance difference in the x-axis direction and the distance in the y-axis direction between the searched start and end points as offset values.
Compensation using offset values obtained for points in a predetermined section that is first scanned in a 3D point group in consideration of the scan direction of the lidar sensor,
The distortion correction unit
When the lidar sensor moves in the x-axis direction and rotates from the -x direction (-180 degrees) to start scanning,
-180 to the start point by comparing the groups x and y values of the at least one point obtained from a range of an angle threshold value (th 1) within (-180 <horizontal angle (φ) <-180 th + 1) at the Set it up,
Ground and non-ground using a rider that sets the end point by comparing the x value and the y value of at least one point obtained within a range of 180 degrees within a predetermined angle threshold (180-th 1 <φ <180). Detection device.

삭제delete 제1 항에 있어서, 상기 왜곡 보정부는
라이다 센서가 초기 1/2 회전 하는 구간동안 획득되는 구간의 점들에 대해 왜곡을 보상하는 라이다를 이용한 지면 및 비지면 검출 장치.
The method of claim 1, wherein the distortion correction unit
A ground and non-ground detection device using a lidar that compensates for distortion of points obtained during a section in which the lidar sensor is initially rotated for 1/2 turn.
삭제delete 제1 항에 있어서, 상기 왜곡 보정부는
보상 대상 점들의 y값을 상기 오프셋값 중 y축 방향의 오프셋값(offsety)과 상기 수평각(φ)을 이용하여 수학식
Figure 112020016339479-pat00009

에 따라 보상하고,
보상 대상 점들의 y값을 상기 오프셋값 중 x축 방향의 오프셋값(offsetx)과 상기 수평각(φ)을 이용하여 수학식
Figure 112020016339479-pat00010

에 따라 보상하는 라이다를 이용한 지면 및 비지면 검출 장치.
The method of claim 1, wherein the distortion correction unit
Of the offset value and the y value of the compensated offset value points along the y axis (y offset) Equation using the horizontal angle (φ)
Figure 112020016339479-pat00009

Reward according to,
The y value of the points to be compensated is expressed by using the offset value in the x-axis direction (offset x ) and the horizontal angle (φ) among the offset values.
Figure 112020016339479-pat00010

Ground and non-ground detection device using lidar to compensate according to.
제1 항에 있어서, 상기 ID 라인 구별부는
수학식
Figure 112018118722071-pat00011

(여기서, θ는 수직각이고,
Figure 112018118722071-pat00012
이고, 채널 수(# of channels), 상한 및 하한은 라이다 센서의 고정 변수들이다.)
에 따라 다수의 구간으로 구분함으로써, 상기 N개의 ID 라인을 획득하고,
획득된 N개의 ID 라인 각각의 다수의 점을 수평각을 기준으로 오름차순 정렬하는 라이다를 이용한 지면 및 비지면 검출 장치.
The method of claim 1, wherein the ID line discrimination unit
Equation
Figure 112018118722071-pat00011

(Where θ is the vertical angle,
Figure 112018118722071-pat00012
And # of channels, upper and lower limits are fixed variables of the lidar sensor.)
By dividing into a plurality of sections according to, to obtain the N ID line,
A ground and non-ground detection device using a lidar that sorts a plurality of points of each of the acquired N ID lines in ascending order based on a horizontal angle.
라이다 센서를 이용하여 기지정된 방향으로 360도 회전하면서 스캔하여, 각각 3차원 좌표계(x, y, z)의 좌표값을 갖는 다수의 점으로 구성되는 3D 점군을 획득하는 단계;
상기 3D 점군에서 상기 라이다 센서가 회전하며 스캔하는 동안 이동하여 발생한 왜곡을 보정하는 단계;
왜곡 보정된 3D 점군의 다수의 점을 상기 라이다 센서의 FOV(Field of View)에 따라 구분하여 N개의 ID 라인으로 구별하는 단계;
상기 N개의 ID 라인의 다수의 점 각각에 대해 xy 평면 상에서 동일 ID 라인의 가장 인접한 점과 다른 ID 라인의 가장 인접한 점을 탐색하는 단계;
탐색된 점들과의 xy 평면 상의 거리가 기지정된 제1 기준 거리이내이고, z값의 차가 기지정된 제2 기준 거리 이상인 점들을 판별하여 특징점으로 추출하는 단계; 및
판별된 특징점을 비지면으로 검출하고, 특징점 이외의 점들을 지면으로 검출하는 단계; 를 포함하되,
상기 왜곡을 보정하는 단계는
상기 3D 점군에서 시작점과 끝점을 탐색하는 단계;
탐색된 시작점 및 끝점 사이의 x축 방향 거리차와 y축 방향의 거리차를 오프셋값으로 계산하여 획득하는 단계; 및
상기 라이다 센서의 스캔 방향을 고려하여 3D 점군에서 먼저 스캔되는 기지정된 구간의 점들에 대해 획득된 오프셋값을 이용하여 보상하는 단계; 를 포함하고,
상기 왜곡을 보정하는 단계는,
상기 라이다 센서가 x축 방향으로 이동하고, -x 방향(-180도)으로부터 회전하여 스캔을 시작하는 경우, -180도에서 기지정된 각도 문턱값(th1) 이내(-180 < 수평각(φ) < -180 + th1)의 범위에서 획득된 적어도 하나의 점의 x값과 y값을 비교하여 상기 시작점을 설정하고, 180도에서 기지정된 각도 문턱값 이내(180 - th1 < φ < 180)의 범위에서 획득된 적어도 하나의 점의 x값과 y값을 비교하여 상기 끝점을 설정하는 라이다를 이용한 지면 및 비지면 검출 방법.
Scanning while rotating 360 degrees in a predetermined direction using a lidar sensor, to obtain a 3D point group consisting of a plurality of points each having a coordinate value of a 3D coordinate system (x, y, z);
Correcting distortion caused by the rider sensor rotating and moving during the scan in the 3D point group;
Dividing a plurality of points of the distortion-corrected 3D point group into N ID lines by dividing them according to the field of view (FOV) of the lidar sensor;
Searching for a plurality of points of the N ID lines on the xy plane, the closest point of the same ID line and the closest point of another ID line;
Determining a point in which the distance on the xy plane with respect to the searched points is within a predetermined first reference distance, and a difference in the z value is greater than or equal to a predetermined second reference distance and extracting it as a feature point; And
Detecting the determined feature point as a non-ground surface, and detecting points other than the feature point as a ground; Including,
Correcting the distortion is
Searching for a start point and an end point in the 3D point group;
Calculating and obtaining a distance difference in the x-axis direction and a distance in the y-axis direction between the searched start point and end point as an offset value; And
Compensating by using the offset value obtained for points of a predetermined section that is first scanned in a 3D point group in consideration of the scan direction of the lidar sensor; Including,
Compensating the distortion,
When the lidar sensor moves in the x-axis direction and starts scanning by rotating from the -x direction (-180 degrees), within a predetermined angle threshold (th 1 ) at -180 degrees (-180 <horizontal angle (φ ) <-180 + th 1 ) Set the starting point by comparing the x and y values of at least one point obtained in the range, and within a predetermined angle threshold at 180 degrees (180-th 1 <φ <180 Method of detecting ground and non-ground using a lidar that sets the end point by comparing x and y values of at least one point obtained in the range of).
삭제delete 제7 항에 있어서, 상기 왜곡을 보정하는 단계는
라이다 센서가 초기 1/2 회전 하는 구간동안 획득되는 구간의 점들에 대해 왜곡을 보상하는 라이다를 이용한 지면 및 비지면 검출 방법.
The method of claim 7, wherein correcting the distortion is
A method of detecting ground and non-ground using a lidar that compensates for distortion of points in a section obtained during a section in which the lidar sensor is initially rotated 1/2.
제7 항에 있어서, 상기 ID 라인으로 구별하는 단계는
수학식
Figure 112018118722071-pat00013

(여기서, θ는 수직각이고,
Figure 112018118722071-pat00014
이고, 채널 수(# of channels), 상한 및 하한은 라이다 센서의 고정 변수들이다.)
에 따라 다수의 구간으로 구분함으로써, 상기 N개의 ID 라인을 획득하는 단계; 및
획득된 N개의 ID 라인 각각의 다수의 점을 수평각을 기준으로 오름차순 정렬하는 단계; 를 포함하는 라이다를 이용한 지면 및 비지면 검출 방법.
The method of claim 7, wherein the step of distinguishing by the ID line
Equation
Figure 112018118722071-pat00013

(Where θ is the vertical angle,
Figure 112018118722071-pat00014
And # of channels, upper and lower limits are fixed variables of the lidar sensor.)
Acquiring the N ID lines by dividing them into a plurality of sections according to; And
Arranging a plurality of points of each of the obtained N ID lines in ascending order based on a horizontal angle; Ground and non-ground detection method using a lidar comprising a.
KR1020180149266A 2018-11-28 2018-11-28 Ground and non ground detection apparatus and method utilizing lidar KR102114558B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180149266A KR102114558B1 (en) 2018-11-28 2018-11-28 Ground and non ground detection apparatus and method utilizing lidar

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180149266A KR102114558B1 (en) 2018-11-28 2018-11-28 Ground and non ground detection apparatus and method utilizing lidar

Publications (1)

Publication Number Publication Date
KR102114558B1 true KR102114558B1 (en) 2020-05-22

Family

ID=70913737

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180149266A KR102114558B1 (en) 2018-11-28 2018-11-28 Ground and non ground detection apparatus and method utilizing lidar

Country Status (1)

Country Link
KR (1) KR102114558B1 (en)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113176585A (en) * 2021-04-14 2021-07-27 浙江工业大学 Three-dimensional laser radar-based road surface anomaly detection method
KR102378643B1 (en) 2021-09-24 2022-03-25 (주)뷰런테크놀로지 Method and system for determining ground and ceiling of lidar point data

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899549B1 (en) 2017-12-27 2018-09-17 재단법인 경북아이티융합 산업기술원 Obstacle recognition apparatus of obstacle recognition using camara and lidar sensor and method thereof

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101899549B1 (en) 2017-12-27 2018-09-17 재단법인 경북아이티융합 산업기술원 Obstacle recognition apparatus of obstacle recognition using camara and lidar sensor and method thereof

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Craig Glennie, Derek D. Lichti. Static Calibration and Analysis of the Velodyne HDL-64E S2 for High Accuracy Mobile Scanning. Remote Sensing. 2010년 1부.* *
Lei Wang, Yongjun Zhang. LiDAR Ground Filtering Algorithm for Urban Areas Using Scan Line Based Segmentation. 2008년 1월 1부.* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113176585A (en) * 2021-04-14 2021-07-27 浙江工业大学 Three-dimensional laser radar-based road surface anomaly detection method
CN113176585B (en) * 2021-04-14 2024-03-22 浙江工业大学 Pavement anomaly detection method based on three-dimensional laser radar
KR102378643B1 (en) 2021-09-24 2022-03-25 (주)뷰런테크놀로지 Method and system for determining ground and ceiling of lidar point data
KR102497874B1 (en) 2021-09-24 2023-02-09 (주)뷰런테크놀로지 Method and system for determining ground and ceiling of lidar point data

Similar Documents

Publication Publication Date Title
CN111989544B (en) System and method for indoor vehicle navigation based on optical target
CN110807350B (en) System and method for scan-matching oriented visual SLAM
Kang et al. Automatic targetless camera–lidar calibration by aligning edge with gaussian mixture model
US10145951B2 (en) Object detection using radar and vision defined image detection zone
EP3349041B1 (en) Object detection system
KR101591471B1 (en) apparatus and method for extracting feature information of object and apparatus and method for generating feature map
US11500391B2 (en) Method for positioning on basis of vision information and robot implementing same
US10107899B1 (en) System and method for calibrating light intensity
CN104732514A (en) Apparatus, systems, and methods for processing a height map
JP2012037490A (en) Data analysis device, data analysis method and program
US10444398B2 (en) Method of processing 3D sensor data to provide terrain segmentation
Guan et al. A marker-free method for registering multi-scan terrestrial laser scanning data in forest environments
US9582721B2 (en) Method and apparatus for determining movement
KR102114558B1 (en) Ground and non ground detection apparatus and method utilizing lidar
CN111366896A (en) Method and device for detecting reflective column, electronic equipment and readable storage medium
KR20220041485A (en) Method and apparatus for tracking an object using LIDAR sensor, vehicle including the apparatus, and recording medium for recording program performing the method
Sohn et al. Sequential modelling of building rooftops by integrating airborne LiDAR data and optical imagery: preliminary results
Franzini et al. Validation of a UAV-derived point cloud by semantic classification and comparison with tls data
US11669988B1 (en) System and method for three-dimensional box segmentation and measurement
CN115656991A (en) Vehicle external parameter calibration method, device, equipment and storage medium
KR102460825B1 (en) Method and system for localization
KR20230109406A (en) Apparatus and method for detecting an object based on fusion of thermal imaging camera and lidar sensor
US6714663B1 (en) Method and software-implemented apparatus for ground plane estimation in multi-dimensional data
Franzini et al. Weighted ICP point clouds registration by segmentation based on eigenfeatures clustering
US20240019545A1 (en) Method for extracting outline of object in vehicle and vehicle thereof

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant