KR102320920B1

KR102320920B1 - Method and system for processing multi layer data of respective multi lidars

Info

Publication number: KR102320920B1
Application number: KR1020190121852A
Authority: KR
Inventors: 오영철; 한지형; 허명선; 유병용
Original assignee: (주)오토노머스에이투지
Priority date: 2019-10-01
Filing date: 2019-10-01
Publication date: 2021-11-04
Also published as: KR20210039244A

Abstract

다중 라이다의 멀티 레이어 데이터를 처리하는 방법 및 이를 이용한 시스템이 개시된다. 더욱 구체적으로는, (a) 제1 라이다 센서 내지 제n - 상기 n은 1 이상의 정수임 - 라이다 센서 각각으로부터 제1 멀티 레이어 데이터 내지 제n 멀티 레이어 데이터가 획득되면, 상기 제1 라이다 센서 내지 상기 제n 라이다 센서에 각각 연동되는 제1 피처 추출 장치 내지 제n 피처 추출 장치 중 어느 하나인 제k - 상기 k는 1 이상 n 이하의 정수임 - 피처 추출 장치가, 제k 멀티 레이어 데이터를 각각의 레이어별로 클러스터링하여 제k 레이어별 클러스터링 데이터를 생성하는 단계; 및 (b) 상기 제1 피처 추출 장치 내지 상기 제n 피처 추출 장치 각각으로부터 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터가 획득되면, 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 클러스터링 데이터를 클러스터링하여 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 생성하며, 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 결합하여 주변 오브젝트 데이터를 생성하는 단계;를 포함하는 방법 및 이를 이용한 시스템이 개시된다.Disclosed are a method for processing multi-layer data of multiple lidar and a system using the same. More specifically, (a) the first LiDAR sensor to n-th - The n is an integer greater than or equal to 1 - When the first multi-layer data to the n-th multi-layer data are obtained from each LiDAR sensor, the first LiDAR sensor to the k-th of any one of the first feature extraction device to the n-th feature extraction device interlocked with the n-th lidar sensor, respectively - The k is an integer greater than or equal to 1 and less than or equal to n - The feature extraction device extracts the k-th multi-layer data generating clustering data for each k-th layer by clustering for each layer; and (b) when the clustering data for each layer to the clustering data for each nth layer are obtained from each of the first to nth feature extraction devices, the object matching device is configured to: Generating first object data to n-th object data by clustering the layer-by-layer clustering data in each of the n-th layer-by-layer clustering data, and generating peripheral object data by combining the first object data to the n-th object data A method comprising; and a system using the same are disclosed.

Description

Method for processing multi-layer data of multi-lidar and a system using the same

본 발명은 다중 라이다의 멀티 레이어 데이터를 처리하는 방법 및 이를 이용한 시스템에 관한 것이다.The present invention relates to a method for processing multi-layer data of a multi-lidar and a system using the same.

라이다(LiDAR: Light Detection And Ranging)는 고출력의 펄스 레이저를 이용하여 물체에 반사되어 돌아오는 레이저 빔의 시간을 측정하여 거리정보를 획득하는 기술로, 자율주행자동차, 지구환경 관측, 대기분석, 및 무인기기 등 다양한 분야에 활용되고 있다.LiDAR (Light Detection And Ranging) is a technology that acquires distance information by measuring the time of a laser beam that is reflected off an object and returns by using a high-power pulsed laser. and unmanned devices, etc.

최근에는 3D 리버스 엔지니어링, 자율주행 및 무인자동차를 위한 레이저 스캐너 및 3D 영상 카메라의 핵심 기술로 활용되면서 그 활용성과 중요성이 점차 증가되고 있다.Recently, as it is used as a core technology for 3D reverse engineering, laser scanners and 3D imaging cameras for autonomous driving and unmanned vehicles, its utility and importance are gradually increasing.

특히, 자율주행 자동차에서는 다양한 안전 서비스 지원을 위한 주변 관측을 위하여, 하나의 레이어만 가지고 오브젝트를 측정하는 실내 로봇 등과는 달리, 도로의 경사, 구배 등을 감안해서 강건하게 측정하기 위하여 멀티 레이어 형태로 구성되어 있다.In particular, in autonomous vehicles, unlike indoor robots that measure objects with only one layer for observation of the surroundings to support various safety services, multi-layers are used to robustly measure in consideration of the slope and gradient of the road. Consists of.

이러한 멀티 레이어 라이다에서는 그리드 맵 방식을 이용하여 멀티 레이어 데이터를 투영시켜 오브젝트의 군집화 및 추적을 하고 있다.In such a multi-layer lidar, objects are grouped and tracked by projecting multi-layer data using a grid map method.

그리고, 라이다 센서의 노이즈 때문에 라이다 센서에서 출력되는 포인트 데이터를 군집화하여 하나의 오브젝트에서 몇 개의 포인트 이상일 경우에 오브젝트로 인식하고 있다.In addition, because of the noise of the lidar sensor, point data output from the lidar sensor is clustered, and when there are more than several points in one object, it is recognized as an object.

따라서, 라이다 센서의 오브젝트 인식 성능은 안정적일 수 없으며, 인식 성능은 광원의 최대 인지 거리에 비하여 매우 짧다. 특히, 작은 물체를 정확히 인지하지 못하는 문제점이 있다.Therefore, the object recognition performance of the lidar sensor cannot be stable, and the recognition performance is very short compared to the maximum recognition distance of the light source. In particular, there is a problem in that a small object cannot be accurately recognized.

일례로, 라이다 센서를 장착한 자율주행 자동차의 경우 도로 공사 구간의 라바콘이나 보행자 등과 같은 작은 물체를 사전에 인지하지 못하여 자율주행 자동차의 회피 거동에 필요한 시간을 확보할 수 없어 다양한 사고를 발생하는 문제점이 있다.For example, in the case of an autonomous vehicle equipped with a lidar sensor, small objects such as rubber cones or pedestrians in the road construction section cannot be recognized in advance, so it is not possible to secure the time necessary for the autonomous vehicle's avoidance behavior, which causes various accidents. There is a problem.

한편, 라이다 센서의 인지 성능을 높이기 위해서는 더 비싼 광원을 사용하거나 해상도를 높여야 하지만, 인지 성능을 극대화하기 위해서 비싼 장비를 사용하여야 한다는 문제점이 있다.On the other hand, in order to increase the recognition performance of the lidar sensor, it is necessary to use a more expensive light source or increase the resolution, but there is a problem in that expensive equipment must be used to maximize the recognition performance.

또한, 자율주행 자동차에서는 가능의 안정성을 위해서 다수의 라이다 센서를 장착해서 인지 성능을 높이고 있다.In addition, self-driving cars are equipped with multiple lidar sensors to improve cognitive performance for stability.

하지만, 라이다 센서로 오브젝트를 인식하기 위해서는 포인트 데이터에서 지면 제거, 같은 오브젝트로 측정된 포인트들을 하나로 묶는 클러스터링, 및 이전 프레임과 비교하여 오브젝트의 속도 등을 추출하는 많은 연산과정이 필요하다.However, in order to recognize an object with the lidar sensor, many calculations are required to remove the ground from the point data, to cluster the points measured with the same object into one, and to extract the speed of the object compared to the previous frame.

따라서, 적은 수의 라이다 센서를 사용할 경우에는 연산량이 크게 부담되지 않지만, 다수의 라이다 센서를 사용할 경우에는 실시간 처리를 위해서 고성능의 컴퓨팅 리소스를 필요로 한다.Therefore, when using a small number of lidar sensors, the amount of computation is not greatly burdened, but when using a large number of lidar sensors, high-performance computing resources are required for real-time processing.

특히, 현재 여러 개의 라이다 센서들의 신호를 처리하면서 자율주행에 필요한 정밀 위치 인지, 주행 전략 생성, 및 제어를 동시에 처리할 수 있는 컴퓨팅 리소스, 가령, ECU는 고가이며, 리던던시까지 확보하여야 하는 자율주행 자동차의 경우에는 2개의 ECU를 구비하여야 하므로 비용이 증가하게 되며, 그에 따라 라이다 센서를 적용한 자율주행 자동차를 양산하는 데 어려움이 있다.In particular, computing resources that can simultaneously process the precise location recognition, driving strategy creation, and control required for autonomous driving while processing signals from several LiDAR sensors are expensive, such as ECUs, and autonomous driving that requires redundancy. In the case of automobiles, since two ECUs are required, the cost increases, and accordingly, it is difficult to mass-produce autonomous vehicles to which lidar sensors are applied.

본 발명은 상술한 문제점을 모두 해결하는 것을 목적으로 한다.An object of the present invention is to solve all of the above problems.

또한, 본 발명은, 고성능의 ECU(Electronic Control Unit)를 사용하지 않고도, 각각의 라이다 센서에 연동된 상대적으로 저렴한 ECU를 사용하여 라이다 센서의 인지 성능을 향상시키는 것을 다른 목적으로 한다.Another object of the present invention is to improve the cognitive performance of a lidar sensor by using a relatively inexpensive ECU linked to each lidar sensor without using a high-performance electronic control unit (ECU).

또한, 본 발명은, 각각의 라이다 센서에 연동된 ECU가 각각의 라이다 센서로부터의 데이터를 전처리함으로써 네트워크를 통한 데이터의 전송량을 감소시키는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to reduce the amount of data transmitted through the network by pre-processing data from each lidar sensor by the ECU linked to each lidar sensor.

또한, 본 발명은, 비싼 광원을 사용하거나 해상도를 높이지 않고도 라이다 센서의 인지 성능을 향상시키는 것을 또 다른 목적으로 한다.Another object of the present invention is to improve the recognition performance of a lidar sensor without using an expensive light source or increasing the resolution.

또한, 본 발명은, 라이다 센서에서 작은 물체를 용이하게 인지할 수 있도록 하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to enable a lidar sensor to easily recognize a small object.

또한, 본 발명은 라이다 센서에서 원거리에 위치하는 물체를 용이하게 인지할 수 있도록 하는 것을 또 다른 목적으로 한다.In addition, it is another object of the present invention to enable a lidar sensor to easily recognize an object located at a distance.

또한, 본 발명은 라이다 센서의 인지 성능을 안정적으로 유지하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to stably maintain the cognitive performance of the lidar sensor.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 다음과 같다.The characteristic configuration of the present invention for achieving the object of the present invention as described above and realizing the characteristic effects of the present invention to be described later is as follows.

본 발명의 일 태양에 따르면, 다중 라이다의 멀티 레이어 데이터를 처리하는 방법에 있어서, (a) 제1 라이다 센서 내지 제n - 상기 n은 1 이상의 정수임 - 라이다 센서 각각으로부터 제1 멀티 레이어 데이터 내지 제n 멀티 레이어 데이터가 획득되면, 상기 제1 라이다 센서 내지 상기 제n 라이다 센서에 각각 연동되는 제1 피처 추출 장치 내지 제n 피처 추출 장치 중 어느 하나인 제k - 상기 k는 1 이상 n 이하의 정수임 - 피처 추출 장치가, 제k 멀티 레이어 데이터를 각각의 레이어별로 클러스터링하여 제k 레이어별 클러스터링 데이터를 생성하는 단계; 및 (b) 상기 제1 피처 추출 장치 내지 상기 제n 피처 추출 장치 각각으로부터 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터가 획득되면, 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 클러스터링 데이터를 클러스터링하여 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 생성하며, 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 결합하여 주변 오브젝트 데이터를 생성하는 단계;를 포함하는 방법이 개시된다.According to an aspect of the present invention, in a method of processing multi-layer data of multiple lidar, (a) a first multi-layer from each of the lidar sensors to n-th - wherein n is an integer greater than or equal to 1 - lidar sensor When data to n-th multi-layer data are acquired, kth - the k is 1 an integer greater than or equal to n - generating, by the feature extraction apparatus, clustering data for each k-th layer by clustering the k-th multi-layer data for each layer; and (b) when the clustering data for each layer to the clustering data for each nth layer are obtained from each of the first to nth feature extraction devices, the object matching device is configured to: Generating first object data to n-th object data by clustering the layer-by-layer clustering data in each of the n-th layer-by-layer clustering data, and generating peripheral object data by combining the first object data to the n-th object data A method comprising ; is disclosed.

일례로서, 상기 (a) 단계에서, 상기 제k 피처 추출 장치가, 상기 제k 멀티 레이어 데이터에 포함된 레이어별 포인트 데이터들을 각각의 레이어별로 클러스터링하여 레이어별 선분 데이터를 추출하고, 상기 레이어별 선분 데이터를 포함하는 상기 제k 레이어별 클러스터링 데이터를 생성하고, 상기 (b) 단계에서, 상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 클러스터링하여 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 생성하며, 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 결합하여 상기 주변 오브젝트 데이터를 생성하는 것을 특징으로 하는 방법이 개시된다.As an example, in step (a), the kth feature extraction apparatus clusters the point data for each layer included in the kth multi-layer data for each layer to extract line segment data for each layer, and the line segment for each layer The k-th layer-specific clustering data including data is generated, and in step (b), the object matching device generates line segment data for each layer in each of the first layer-specific clustering data to the n-th layer-specific clustering data. Disclosed is a method comprising clustering to generate the first object data to the n-th object data, and generating the surrounding object data by combining the first object data to the n-th object data.

일례로서, 상기 제k 레이어별 클러스터링 데이터는 언클러스터링된 포인트 데이터들을 더 포함하며, 상기 (b) 단계에서, 상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 언클러스터링된 포인트 데이터들을 클러스터링하여 제1 선분화 데이터 내지 제n 선분화 데이터를 생성하며, 제k 오브젝트 데이터 및 제k 선분화 데이터를 각각 결합하여 상기 주변 오브젝트 데이터를 생성하는 것을 특징으로 하는 방법이 개시된다.As an example, the k-th layer-specific clustering data further includes unclustered point data, and in step (b), the object matching device performs the first layer-specific clustering data to the n-th layer-specific clustering data, respectively. 1st line segmentation data to nth line segmentation data are generated by clustering the unclustered point data for each layer in the A method is disclosed.

일례로서, 상기 (a) 단계에서, 상기 제k 피처 추출 장치가, 상기 제k 멀티 레이어 데이터에 포함된 상기 레이어별 포인트 데이터를 필터링하여 지면 포인트 데이터들을 추출하고, 상기 지면 포인트 데이터들을 참조로 하여 제k 연석 데이터를 생성하는 것을 특징으로 하는 방법이 개시된다.As an example, in step (a), the k-th feature extraction apparatus extracts ground point data by filtering the point data for each layer included in the k-th multi-layer data, and referring to the ground point data, A method comprising generating kth curb data is disclosed.

일례로서, 상기 (b) 단계에서, 상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 참조하여, 중첩되는 영역에 위치하는 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트를 동일 오브젝트로 클러스터링함으로써 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 생성하는 것을 특징으로 하는 방법이 개시된다.As an example, in step (b), the object matching apparatus refers to the first layer-by-layer line segment data in each of the first layer-by-layer clustering data to the n-th layer-by-layer clustering data, which is located in the overlapping area. Disclosed is a method comprising generating the first object data to the n-th object data by clustering a first specific object of a specific layer and a second specific object of a second specific layer into the same object.

일례로서, 상기 (a) 단계에서, 상기 제k 피처 추출 장치는, (i) 상기 제k 멀티 레이어 데이터의 각각의 레이어에 포함된 오브젝트들에 대응하는 제1 포인트 내지 제p 포인트 각각에서 직전 포인트와의 거리값이 기설정된 제1 기준값 이상인지를 확인한 결과, 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들이 확인되면, 상기 제1 포인트를 제1 시작 포인트로 지정하고, 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들을 제2 시작 포인트 내지 제j 시작 포인트로 지정하며, 상기 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들의 직전 포인트들을 제1 브레이크 포인트 내지 제(j-1) 브레이크 포인트로 지정하고, 상기 제p 포인트를 제j 브레이크 포인트로 지정하며, (ii) 상기 각각의 레이어에서, 제i - 상기 i는 1 이상 상기 j 이하의 정수임 - 시작 포인트와 제i 브레이크 포인트 사이의 포인트들 중, 상기 제i 시작 포인트와 상기 제i 브레이크 포인트를 연결하는 제i 선분 사이의 최대 거리값을 가지는 특정 포인트를 확인하고, 상기 특정 포인트와 상기 제i 선분 사이의 최대 거리값이 기설정된 제2 기준값 이상인지를 확인하며, 상기 특정 포인트와 상기 제i 선분 사이의 최대 거리값이 상기 제2 기준값 이상일 경우 상기 특정 포인트를 코너 포인트로 지정하며, (iii) 상기 각각의 레이어에서, 상기 제i 시작 포인트와 상기 코너 포인트 사이의 포인트들 각각과, 상기 제i 시작 포인트와 상기 코너 포인트를 연결하는 선분 사이의 제2 거리값들이 상기 제2 기준값 미만인지를 확인하며, 상기 제2 거리값들이 상기 제2 기준값 미만일 경우 상기 제i 시작 포인트와 상기 코너 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정하고, 상기 코너 포인트와 제i 브레이크 포인트 사이의 포인트들 각각과, 상기 코너 포인트와 제i 브레이크 포인트를 연결하는 선분 사이의 제3 거리값들이 상기 제2 기준값 미만인지를 확인하며, 상기 제3 거리값들이 상기 제2 기준값 미만일 경우 상기 코너 포인트와 제i 브레이크 포인트를 연결하는 선분을 상기 제i 오브젝트의 피처 라인으로 설정함으로써, 상기 제i 오브젝트의 피처 라인인 선분 데이터를 포함하는 상기 제k 레이어별 클러스터링 데이터를 생성하는 것을 특징으로 하는 방법이 개시된다.As an example, in the step (a), the k-th feature extraction apparatus, (i) the immediately preceding point in each of the first to p-th points corresponding to objects included in each layer of the k-th multi-layer data As a result of checking whether the distance value to and is equal to or greater than a preset first reference value, if points having a distance to the previous point equal to or greater than the first reference value are identified, the first point is designated as a first starting point, and Points having a distance value equal to or greater than the first reference value are designated as the second starting point to the j-th starting point, and points immediately preceding points having a distance from the immediately preceding point equal to or greater than the first reference value are designated as first breakpoints to (j-) 1) designate a breakpoint, designate the pth point as a jth breakpoint, and (ii) in each of the above layers, i-th i is an integer greater than or equal to 1 and less than or equal to j-start point and i-th break A specific point having a maximum distance value between the i-th line segment connecting the i-th start point and the i-th break point is identified among the points between the points, and the maximum distance value between the specific point and the i-th line segment is identified. It is checked whether or not it is equal to or greater than the preset second reference value, and when the maximum distance value between the particular point and the i-th line segment is equal to or greater than the second reference value, the particular point is designated as a corner point, (iii) in each layer , it is checked whether second distance values between each of the points between the i-th starting point and the corner point and a line segment connecting the i-th starting point and the corner point are less than the second reference value, When the distance values are less than the second reference value, a line segment connecting the i-th start point and the corner point is set as a feature line of an i-th object, and each of the points between the corner point and the i-th break point, and the corner It is checked whether third distance values between a line segment connecting the point and the i-th break point are less than the second reference value, and the third distance values are is less than the second reference value, by setting a line segment connecting the corner point and the i-th break point as the feature line of the i-th object, clustering for each k-th layer including line segment data that is the feature line of the i-th object A method comprising generating data is disclosed.

일례로서, 상기 (b) 단계에서, 상기 오브젝트 매칭 장치는, 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트 각각의 피처 라인의 시작 포인트와 브레이크 포인트가 동일하지 않을 경우, 상기 제1 특정 레이어와 상기 제2 특정 레이어의 높이 차가 기설정된 제3 기준값 이하이며, 상기 제1 특정 레이어의 상기 제1 특정 오브젝트의 제1 피처 라인과 상기 제2 특정 레이어의 상기 제2 특정 오브젝트의 제2 피처 라인의 기울기와 이격 거리가 기설정된 제4 기준값 이하이면 동일 오브젝트로 클러스터링하는 것을 특징으로 하는 방법이 개시된다.As an example, in step (b), the object matching apparatus may be configured to: When the start point and break point of the feature line of each of the first specific object of the first specific layer and the second specific object of the second specific layer are not the same, , the difference in height between the first specific layer and the second specific layer is less than or equal to a preset third reference value, and the first feature line of the first specific object of the first specific layer and the second specific layer of the second specific layer Disclosed is a method characterized in that when the inclination of the second feature line of the object and the separation distance are equal to or less than a fourth reference value, clustering of the same object is disclosed.

본 발명의 다른 태양에 따르면, 다중 라이다의 멀티 레이어 데이터를 처리하는 시스템에 있어서, 제1 라이다 센서 내지 제n - 상기 n은 1 이상의 정수임 - 라이다 센서 각각으로부터 제1 멀티 레이어 데이터 내지 제n 멀티 레이어 데이터가 획득되면, 상기 제1 라이다 센서 내지 상기 제n 라이다 센서에 각각 연동되는 제1 피처 추출 장치 내지 제n 피처 추출 장치 중 어느 하나인 피처 추출 장치로서, 제k - 상기 k는 1 이상 상기 n 이하의 정수임 - 멀티 레이어 데이터를 각각의 레이어별로 클러스터링하여 제k 레이어별 클러스터링 데이터를 생성하는 제k 피처 추출 장치; 및 상기 제1 피처 추출 장치 내지 상기 제n 피처 추출 장치 각각으로부터 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터가 획득되면, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 클러스터링 데이터를 클러스터링하여 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 생성하며, 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 결합하여 주변 오브젝트 데이터를 생성하는 오브젝트 매칭 장치;를 포함하는 다중 라이다의 멀티 레이어 데이터를 처리하는 시스템이 개시된다.According to another aspect of the present invention, in a system for processing multi-layer data of multiple LIDARs, the first LIDAR sensor to n-th - wherein n is an integer greater than or equal to 1 - The first multi-layer data to the first multi-layer data from each of the LIDAR sensors When n multi-layer data is obtained, a feature extraction device that is any one of a first feature extraction device to an n-th feature extraction device interlocked with the first lidar sensor to the n-th lidar sensor, respectively, wherein kth - the kth is an integer greater than or equal to 1 and less than or equal to n - a k-th feature extraction apparatus for generating k-th layer clustering data by clustering multi-layer data for each layer; and when clustering data for each first layer to clustering data for each nth layer is obtained from each of the first feature extracting apparatus to the nth feature extracting apparatus, in each of the clustering data for each first layer to the clustering data for each nth layer An object matching device generating first object data to n-th object data by clustering the layer-by-layer clustering data of A system for processing multi-layer data of Ida is disclosed.

일례로서, 상기 제k 피처 추출 장치가, 상기 제k 멀티 레이어 데이터에 포함된 레이어별 포인트 데이터들을 각각의 레이어별로 클러스터링하여 레이어별 선분 데이터를 추출하고, 상기 레이어별 선분 데이터를 포함하는 상기 제k 레이어별 클러스터링 데이터를 생성하고, 상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 클러스터링하여 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 생성하며, 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 결합하여 상기 주변 오브젝트 데이터를 생성하는 것을 특징으로 하는 시스템이 개시된다.As an example, the k-th feature extraction apparatus extracts line segment data for each layer by clustering point data for each layer included in the k-th multi-layer data for each layer, and the k-th including the line segment data for each layer Clustering data for each layer is generated, and the object matching apparatus clusters line segment data for each layer in each of the clustering data for each first layer to the clustering data for each nth layer to cluster the first object data to the nth object data. and generating the surrounding object data by combining the first object data to the n-th object data.

일례로서, 상기 제k 레이어별 클러스터링 데이터는 언클러스터링된 포인트 데이터들을 더 포함하며, 상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 언클러스터링된 포인트 데이터들을 클러스터링하여 제1 선분화 데이터 내지 제n 선분화 데이터를 생성하며, 제k 오브젝트 데이터 및 제k 선분화 데이터를 각각 결합하여 상기 주변 오브젝트 데이터를 생성하는 것을 특징으로 하는 시스템이 개시된다.As an example, the k-th layer-by-layer clustering data further includes unclustered point data, and the object matching device performs unclustered layer-by-layer clustering data for each of the first layer-by-layer clustering data to the n-th layer-by-layer clustering data. Disclosed is a system characterized in that first line segmentation data to nth line segmentation data are generated by clustering point data, and the surrounding object data is generated by combining kth object data and kth line segmentation data, respectively.

일례로서, 상기 제k 피처 추출 장치가, 상기 제k 멀티 레이어 데이터에 포함된 상기 레이어별 포인트 데이터를 필터링하여 지면 포인트 데이터들을 추출하고, 상기 지면 포인트 데이터들을 참조로 하여 제k 연석 데이터를 생성하는 것을 특징으로 하는 시스템이 개시된다.As an example, the k-th feature extraction apparatus extracts ground point data by filtering the point data for each layer included in the k-th multi-layer data, and generates k-th curb data with reference to the ground point data A system characterized in that is disclosed.

일례로서, 상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 참조하여, 중첩되는 영역에 위치하는 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트를 동일 오브젝트로 클러스터링함으로써 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 생성하는 것을 특징으로 하는 시스템이 개시된다.As an example, the object matching apparatus may refer to line segment data for each layer in each of the clustering data for each first layer to the clustering data for each nth layer, and a first specific object of a first specific layer located in an overlapping area. and generating the first object data to the n-th object data by clustering a second specific object of a second specific layer into the same object.

일례로서, 상기 제k 피처 추출 장치는, (i) 상기 제k 멀티 레이어 데이터의 각각의 레이어에 포함된 오브젝트들에 대응하는 제1 포인트 내지 제p 포인트 각각에서 직전 포인트와의 거리값이 기설정된 제1 기준값 이상인지를 확인한 결과, 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들이 확인되면, 상기 제1 포인트를 제1 시작 포인트로 지정하고, 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들을 제2 시작 포인트 내지 제j 시작 포인트로 지정하며, 상기 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들의 직전 포인트들을 제1 브레이크 포인트 내지 제(j-1) 브레이크 포인트로 지정하고, 상기 제p 포인트를 제j 브레이크 포인트로 지정하며, (ii) 상기 각각의 레이어에서, 제i - 상기 i는 1 이상 상기 j 이하의 정수임 - 시작 포인트와 제i 브레이크 포인트 사이의 포인트들 중, 상기 제i 시작 포인트와 상기 제i 브레이크 포인트를 연결하는 제i 선분 사이의 최대 거리값을 가지는 특정 포인트를 확인하고, 상기 특정 포인트와 상기 제i 선분 사이의 최대 거리값이 기설정된 제2 기준값 이상인지를 확인하며, 상기 특정 포인트와 상기 제i 선분 사이의 최대 거리값이 상기 제2 기준값 이상일 경우 상기 특정 포인트를 코너 포인트로 지정하며, (iii) 상기 각각의 레이어에서, 상기 제i 시작 포인트와 상기 코너 포인트 사이의 포인트들 각각과, 상기 제i 시작 포인트와 상기 코너 포인트를 연결하는 선분 사이의 제2 거리값들이 상기 제2 기준값 미만인지를 확인하며, 상기 제2 거리값들이 상기 제2 기준값 미만일 경우 상기 제i 시작 포인트와 상기 코너 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정하고, 상기 코너 포인트와 제i 브레이크 포인트 사이의 포인트들 각각과, 상기 코너 포인트와 제i 브레이크 포인트를 연결하는 선분 사이의 제3 거리값들이 상기 제2 기준값 미만인지를 확인하며, 상기 제3 거리값들이 상기 제2 기준값 미만일 경우 상기 코너 포인트와 제i 브레이크 포인트를 연결하는 선분을 상기 제i 오브젝트의 피처 라인으로 설정함으로써, 상기 제i 오브젝트의 피처 라인인 선분 데이터를 포함하는 상기 제k 레이어별 클러스터링 데이터를 생성하는 것을 특징으로 하는 시스템이 개시된다.As an example, the k-th feature extraction apparatus may include (i) a distance value from the previous point in each of the first to p-th points corresponding to objects included in each layer of the k-th multi-layer data is preset. As a result of checking whether or not the first reference value is greater than the first reference value, if points having a distance value equal to or greater than the first reference value are identified, the first point is designated as a first starting point, and the distance value to the immediately preceding point is the first reference value Designating the points that are equal to or greater than the second starting point to the j-th starting point, and designating the immediately preceding points of the points whose distance value to the immediately preceding point is equal to or greater than the first reference value as the first break point to the (j-1) break point, and , designating the p-th point as a j-th breakpoint, (ii) in each of the layers, i-the i is an integer greater than or equal to 1 and equal to or less than the j-th among the points between the start point and the i-th breakpoint, A specific point having a maximum distance value between the i-th line segment connecting the i-th start point and the i-th break point is identified, and the maximum distance value between the specific point and the i-th line segment is equal to or greater than a preset second reference value check whether it is, and if the maximum distance value between the specific point and the i-th line segment is equal to or greater than the second reference value, the specific point is designated as a corner point, and (iii) in each layer, the i-th starting point and the It is confirmed whether second distance values between each of the points between the corner points and a line segment connecting the i-th starting point and the corner point are less than the second reference value, and the second distance values are the second reference values. If less than, a line segment connecting the i-th starting point and the corner point is set as a feature line of the i-th object, and each of the points between the corner point and the i-th break point, and the corner point and the i-th break point It is checked whether third distance values between connecting line segments are less than the second reference value, and the third distance values are less than the second reference value. In this case, by setting the line segment connecting the corner point and the i-th break point as the feature line of the i-th object, the k-th layer-specific clustering data including the line segment data that is the feature line of the i-th object is generated. A system characterized in that it is disclosed.

일례로서, 상기 오브젝트 매칭 장치는, 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트 각각의 피처 라인의 시작 포인트와 브레이크 포인트가 동일하지 않을 경우, 상기 제1 특정 레이어와 상기 제2 특정 레이어의 높이 차가 기설정된 제3 기준값 이하이며, 상기 제1 특정 레이어의 상기 제1 특정 오브젝트의 제1 피처 라인과 상기 제2 특정 레이어의 상기 제2 특정 오브젝트의 제2 피처 라인의 기울기와 이격 거리가 기설정된 제4 기준값 이하이면 동일 오브젝트로 클러스터링하는 것을 특징으로 하는 시스템이 개시된다.As an example, the object matching apparatus may be configured to, when a start point and a break point of a feature line of each of the first specific object of the first specific layer and the second specific object of the second specific layer are not the same, The difference in height of the second specific layer is equal to or less than a third reference value, and the first feature line of the first specific object of the first specific layer and the second feature line of the second specific object of the second specific layer Disclosed is a system characterized in that when the inclination and the separation distance are equal to or less than a fourth reference value, clustering of the same object is provided.

본 발명에 의하면, 다음과 같은 효과가 있다.According to the present invention, the following effects are obtained.

본 발명은, 고성능의 ECU(Electronic Control Unit)를 사용하지 않고도, 각각의 라이다 센서에 연동된 상대적으로 저렴한 ECU를 사용하여 라이다 센서의 인지 성능을 향상시키는 효과가 있다.The present invention has the effect of improving the cognitive performance of the lidar sensor by using a relatively inexpensive ECU linked to each lidar sensor without using a high-performance electronic control unit (ECU).

또한, 본 발명은, 각각의 라이다 센서에 연동된 ECU가 각각의 라이다 센서로부터의 데이터를 전처리함으로써 네트워크를 통한 데이터의 전송량을 감소시키는 효과가 있다.In addition, the present invention has the effect of reducing the amount of data transmitted through the network by pre-processing data from each lidar sensor by the ECU linked to each lidar sensor.

또한, 본 발명은, 비싼 광원을 사용하거나 해상도를 높이지 않고도 라이다 센서의 인지 성능을 향상시키는 효과가 있다.In addition, the present invention has the effect of improving the recognition performance of the lidar sensor without using an expensive light source or increasing the resolution.

또한, 본 발명은, 라이다 센서에서 작은 물체를 용이하게 인지할 수 있도록 하는 효과가 있다.In addition, the present invention has the effect of allowing the lidar sensor to easily recognize a small object.

또한, 본 발명은 라이다 센서에서 원거리에 위치하는 물체를 용이하게 인지할 수 있도록 하는 효과가 있다.In addition, the present invention has the effect of allowing the lidar sensor to easily recognize an object located at a distance.

또한, 본 발명은 라이다 센서의 인지 성능을 안정적으로 유지하는 효과가 있다.In addition, the present invention has an effect of stably maintaining the cognitive performance of the lidar sensor.

도 1은 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 시스템을 개략적으로 도시한 것이고,
도 2는 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 방법을 개략적으로 도시한 것이고,
도 3는 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 방법에서 라이다로부터 획득되는 특정 레이어의 데이터를 개략적으로 도시한 것이고,
도 4 내지 도 11은 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 방법에 따라 특정 레이어 데이터를 클러스터링하는 상태를 개략적으로 도시한 것이고,
도 12 및 도 13은 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 방법에 따라 멀티 레이어 데이터를 클러스터링하는 상태를 개략적으로 도시한 것이고,
도 14는 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 방법에 따라, 언클러스터링된 포인트 데이터들을 클러스터링하는 방법을 개략적으로 도시한 것이다.1 schematically shows a system for processing multi-layer data of multiple lidar according to an embodiment of the present invention;
2 schematically illustrates a method of processing multi-layer data of multiple lidar according to an embodiment of the present invention;
3 schematically illustrates data of a specific layer obtained from a lidar in a method of processing multi-layer data of multiple lidar according to an embodiment of the present invention;
4 to 11 schematically show a state of clustering specific layer data according to a method of processing multi-layer data of a multi-LIDAR according to an embodiment of the present invention;
12 and 13 schematically show a state of clustering multi-layer data according to a method of processing multi-layer data of multi-LIDAR according to an embodiment of the present invention;
14 schematically illustrates a method of clustering unclustered point data according to a method of processing multi-layer data of a multi-LIDAR according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0010] DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS [0023] Reference is made to the accompanying drawings, which show by way of illustration specific embodiments in which the present invention may be practiced. These embodiments are described in sufficient detail to enable those skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different but need not be mutually exclusive. For example, certain shapes, structures, and characteristics described herein with respect to one embodiment may be embodied in other embodiments without departing from the spirit and scope of the invention. In addition, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description set forth below is not intended to be taken in a limiting sense, and the scope of the invention, if properly described, is limited only by the appended claims, along with all scope equivalents to those claimed. Like reference numerals in the drawings refer to the same or similar functions throughout the various aspects.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to enable those of ordinary skill in the art to easily practice the present invention.

도 1은 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 시스템을 개략적으로 도시한 것으로, 도 1을 참조하면, 시스템은 라이다 센서들(100), 피처 추출 장치들(200) 및 오브젝트 매칭 장치(300)를 포함할 수 있다.1 schematically shows a system for processing multi-layer data of multiple LIDAR according to an embodiment of the present invention. Referring to FIG. 1 , the system includes LIDAR sensors 100, feature extraction devices ( 200 ) and an object matching device 300 .

먼저, 라이다 센서들(100)은 주변 전체에 대한 인식 성능을 높이기 위하여 복수 개, 즉, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n)로 구성되며, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n) 각각은 주변 지형 지물에 펄스 레이저를 발사하고, 반사된 레이저를 스캐너로 감지한 후 반사되어 되돌아오는 시간을 관측하여 대상물의 거리를 계산할 수 있다. 또한, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n) 각각은 상하로 일정 높이에 횡으로 레이저를 조사하고 그에 따른 피드백 신호를 수집할 수 있다. 이때, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n) 각각은 복수의 높이에서 횡으로 레이저를 조사하여, 멀티 레이어 형태의 센서 정보인 제1 멀티 레이어 데이터 내지 제n 멀티 레이어 데이터를 수집할 수 있다. 그리고, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n) 각각의 멀티 레이어 형태의 센서 정보, 즉, 멀티 레이어 데이터는 복수의 레이어 면에 배치된 복수개의 포인트 정보를 포함할 수 있다.First, the lidar sensors 100 are composed of a plurality of, ie, a first lidar sensor 100-1 to an n-th lidar sensor 100-n, in order to increase recognition performance of the entire periphery. Each of the first LiDAR sensor 100-1 to the nth LiDAR sensor 100-n emits a pulse laser to the surrounding terrain features, detects the reflected laser with a scanner, and observes the reflected time to return to the object. distance can be calculated. In addition, each of the first lidar sensor 100-1 to the n-th lidar sensor 100-n may horizontally irradiate a laser at a predetermined height vertically and collect a feedback signal accordingly. At this time, each of the first lidar sensor 100-1 to the n-th lidar sensor 100-n irradiates a laser horizontally at a plurality of heights, and the first multi-layer data to the first multi-layer data to n Multi-layer data can be collected. In addition, the sensor information in the multi-layer form of each of the first lidar sensor 100-1 to the n-th lidar sensor 100-n, that is, the multi-layer data includes a plurality of point information disposed on a plurality of layer surfaces. may include

다음으로, 피처 추출 장치들(200)은 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n) 각각에 연동되는 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n)를 포함할 수 있으며, 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 각각, 즉, 제k 피처 추출 장치가 멀티 레이어 데이터를 각각의 레이어별로 클러스터링하여 제k 레이어별 클러스터링 데이터를 생성할 수 있다. 이때, k는 1 이상이며 n 이하인 정수일 수 있다.Next, the feature extraction apparatuses 200 include the first feature extraction apparatus 200-1 to the n-th feature extracting apparatus 200-1 interlocked with each of the first lidar sensor 100-1 to the n-th lidar sensor 100-n, respectively. It may include an extraction device 200-n, and each of the first feature extraction device 200-1 to the n-th feature extraction device 200-n, that is, the k-th feature extraction device extracts multi-layer data from each By clustering for each layer, clustering data for each k-th layer may be generated. In this case, k may be an integer of 1 or more and n or less.

한편, 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 각각은 메모리(201-1, 201-2, ..., 201-n) 및 프로세서(202-1, 202-2, ..., 202-n)를 포함할 수 있다. 본 발명의 방법이 컴퓨터 하드웨어 및 소프트웨어의 조합을 활용하여 구현될 것이라는 점은 통상의 기술자가 용이하게 이해할 수 있을 것이다.On the other hand, each of the first feature extraction device 200-1 to the nth feature extraction device 200-n includes a memory 201-1, 201-2, ..., 201-n and a processor 202-1, 202-2, ..., 202-n). It will be readily understood by those skilled in the art that the method of the present invention may be implemented utilizing a combination of computer hardware and software.

제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 각각의 메모리(201-1, 201-2, ..., 201-n)는 인스트럭션들을 저장할 수 있는데, 구체적으로, 인스트럭션들은 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n)로 하여금 특정의 방식으로 기능하게 하기 위한 컴퓨터 소프트웨어로서, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장될 수 있다. 인스트럭션들은 도면에 도시된 기능들을 실행하기 위한 프로세스들을 수행하는 것도 가능하다.The memories 201-1, 201-2, ..., 201-n of each of the first feature extracting apparatus 200-1 to the nth feature extracting apparatus 200-n may store instructions, specifically , the instructions are computer software for causing the first feature extraction apparatus 200-1 to the nth feature extraction apparatus 200-n to function in a particular manner, which may be directed to a computer or other programmable data processing equipment. may be stored in a computer available or computer readable memory. The instructions are also capable of performing processes for executing the functions shown in the drawings.

또한, 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 각각의 프로세서(202-1, 202-2, ..., 202-n)는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.In addition, each of the processors 202-1, 202-2, ..., 202-n of the first feature extraction device 200-1 to the n-th feature extraction device 200-n is a micro processing unit (MPU). Alternatively, it may include a hardware configuration such as a central processing unit (CPU), a cache memory, and a data bus. In addition, it may further include an operating system, a software configuration of an application for performing a specific purpose.

다음으로, 오브젝트 매칭 장치(300)는 피처 추출 장치들(200), 즉, 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 각각으로부터 획득되는 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 클러스터링 데이터를 클러스터링하여 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 생성하며, 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 결합하여 주변 오브젝트 데이터를 생성하여 줄 수 있다.Next, the object matching apparatus 300 performs clustering for each first layer obtained from each of the feature extraction apparatuses 200 , that is, the first feature extraction apparatus 200-1 to the n-th feature extraction apparatus 200-n. First object data to n-th object data are generated by clustering the clustering data for each layer in each of the data to the n-th layer-specific clustering data, and the first object data to the n-th object data are combined to generate surrounding object data. can

한편, 오브젝트 매칭 장치(300)는 메모리(301) 및 프로세서(302)를 포함할 수 있다.Meanwhile, the object matching apparatus 300 may include a memory 301 and a processor 302 .

이때, 오브젝트 매칭 장치(300)의 메모리(301)는 인스트럭션들을 저장할 수 있는데, 구체적으로, 인스트럭션들은 오브젝트 매칭 장치(300)로 하여금 특정의 방식으로 기능하게 하기 위한 컴퓨터 소프트웨어로서, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장될 수 있다. 인스트럭션들은 도면에 도시된 기능들을 실행하기 위한 프로세스들을 수행하는 것도 가능하다.At this time, the memory 301 of the object matching apparatus 300 may store instructions, specifically, the instructions are computer software for causing the object matching apparatus 300 to function in a specific way, which is computer or other programmable may be stored in computer-usable or computer-readable memory that may be directed to data processing equipment. The instructions are also capable of performing processes for executing the functions shown in the drawings.

또한, 오브젝트 매칭 장치(300)의 프로세서(302)는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.In addition, the processor 302 of the object matching apparatus 300 may include a hardware configuration such as a micro processing unit (MPU) or a central processing unit (CPU), a cache memory, and a data bus. . In addition, it may further include an operating system, a software configuration of an application for performing a specific purpose.

이와 같이 구성된 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 시스템을 이용하여 다중 라이다의 멀티 레이어 데이터를 처리하는 방법을 설명하면 아래와 같다.A method of processing multi-layer data of multiple LIDARs using the system for processing multi-layer data of multiple LIDARs according to an embodiment of the present invention configured as described above will be described below.

우선, 도 2의 흐름도를 참조하여 다중 라이다의 멀티 레이어 데이터를 처리하는 과정을 개략적으로 설명하겠다.First, a process of processing multi-layer data of multi-LIDAR will be schematically described with reference to the flowchart of FIG. 2 .

먼저, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n) 각각은 펄스 레이저를 주변으로 발사하고, 반사된 레이저를 스캐너로 감지한 후 포인트 데이터인 제1 멀티 레이어 데이터 내지 제n 멀티 레이어 데이터를 전송한다. 이때, n은 1 이상의 정수일 수 있다.First, the first lidar sensor 100-1 to the n-th lidar sensor 100-n each emits a pulse laser to the surroundings, detects the reflected laser with a scanner, and then first multi-layer data as point data to n-th multi-layer data are transmitted. In this case, n may be an integer of 1 or more.

그러면, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n) 각각에 대응되는 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 각각은, 제1 라이다 센서(100-1)에서 전송된 제1 멀티 레이어 데이터 내지 제n 라이다 센서(100-n)에서 전송된 제n 멀티 레이어 데이터를 획득(S1)한다.Then, each of the first feature extraction apparatus 200-1 to the n-th feature extraction apparatus 200-n corresponding to each of the first lidar sensor 100-1 to the n-th lidar sensor 100-n is , obtains (S1) the first multi-layer data transmitted from the first lidar sensor 100-1 to the n-th multi-layer data transmitted from the n-th lidar sensor 100-n.

그리고, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n)에 각각 연동되는 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 중 어느 하나인 제k 피처 추출 장치가, 제k 멀티 레이어 데이터를 각각의 레이어별로 클러스터링하여 제k 레이어별 클러스터링 데이터를 생성할 수 있다(S2). 이때, k는 1 이상 n 이하의 정수일 수 있다.And, any one of the first feature extracting device 200-1 to the nth feature extracting device 200-n interlocked with the first lidar sensor 100-1 to the n-th lidar sensor 100-n, respectively One k-th feature extraction apparatus may generate k-th layer-specific clustering data by clustering the k-th multi-layer data for each layer ( S2 ). In this case, k may be an integer of 1 or more and n or less.

즉, 제k 멀티 레이어 데이터가 m개의 레이어 각각에 대한 포인트 데이터를 포함할 경우, 제k 피처 추출 장치는 m개의 레이어 각각에 대하여, 레이어에 포함된 포인트 데이터들을 클러스터링하여 제1 레이어 클러스터링 데이터 내지 제m 레이어 클러스터링 데이터를 생성함으로써 제k 레이어별 클러스터링 데이터를 생성할 수 있다.That is, when the k-th multi-layer data includes point data for each of the m layers, the k-th feature extracting apparatus clusters the point data included in the layer for each of the m layers to form the first layer clustering data to the first layer clustering data to By generating the m-layer clustering data, clustering data for each k-th layer may be generated.

이후, 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 각각으로부터 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터가 획득되면, 오브젝트 매칭 장치(300)가, 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 클러스터링 데이터를 클러스터링하여 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 생성할 수 있다(S3).Thereafter, when clustering data for each first layer to clustering data for each nth layer are obtained from each of the first feature extracting apparatus 200-1 to the nth feature extracting apparatus 200-n, the object matching apparatus 300 is The first object data to the nth object data may be generated by clustering the clustering data for each layer in each of the clustering data for each first layer to the clustering data for each nth layer ( S3 ).

즉, 제k 레이어별 클러스터링 데이터에서의 제1 레이어 클러스터링 데이터 내지 제n 레이어 클러스터링 데이터를 클러스터링, 일 예로, 각각의 레이어에서 생성된 오브젝트에 대한 선분 데이터들을 클러스터링하여 제k 오브젝트 데이터를 생성함으로써, 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 생성할 수 있다.That is, by clustering the first layer clustering data to the n-th layer clustering data in the k-th layer-specific clustering data, for example, by clustering line segment data for an object generated in each layer to generate k-th object data, 1 to n-th object data may be generated.

그리고, 오브젝트 매칭 장치(300)가, 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 결합하여 주변 오브젝트 데이터를 생성할 수 있다(S4).Then, the object matching apparatus 300 may generate surrounding object data by combining the first object data to the nth object data ( S4 ).

즉, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n)의 스캐닝 영역을 참조하여 중첩되는 스캐닝 영역에 대응되는 오브젝트 데이터를 병합하여 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n)의 전체 스캐닝 영역에 위치하는 오브젝트들을 인식할 수 있도록 한다.That is, by merging object data corresponding to the overlapping scanning area with reference to the scanning area of the first lidar sensor 100-1 to the n-th lidar sensor 100-n, the first lidar sensor 100-1 ) to the n-th lidar sensor 100-n to recognize objects located in the entire scanning area.

일례로, 주변 오브젝트 데이터란, 다중 라이다에 의해 수집되어 처리된 자율주행차량 주변 정보를 의미할 수 있다.For example, the surrounding object data may refer to information about the autonomous driving vehicle that is collected and processed by multiple lidar.

아래에서는 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 방법을 더 구체적으로 설명하겠다.Hereinafter, a method of processing multi-layer data of multi-LIDAR according to an embodiment of the present invention will be described in more detail.

먼저, 제k 피처 추출 장치는, 제k 멀티 레이어 데이터에 포함된 레이어별 포인트 데이터들을 각각의 레이어별로 클러스터링하여 레이어별 선분 데이터를 추출하고, 레이어별 선분 데이터를 포함하는 제k 레이어별 클러스터링 데이터를 생성할 수 있다. First, the k-th feature extraction apparatus extracts line segment data for each layer by clustering the point data for each layer included in the k-th multi-layer data for each layer, and kth layer-specific clustering data including the line segment data for each layer. can create

이때, 제k 멀티 레이어 데이터에 포함된 레이어별 포인트 데이터들에 대해서는 도 3을 참조하여 구체적으로 설명하겠다.In this case, the point data for each layer included in the k-th multi-layer data will be described in detail with reference to FIG. 3 .

제k 라이다 센서(100-k)는 복수의 높이에서 펄스 레이저를 주변 지형 지물에 횡으로 발사하고, 반사된 레이저를 스캐너로 감지한 후 멀티 레이어 데이터를 수집할 수 있다. 이때, 멀티 레이어 데이터는 복수의 레이어 각각에 배치된 포인트 데이터들을 포함할 수 있다. 다만, 도 3은 멀티 레이어 데이터 중 특정 레이어의 포인트 데이터들만을 예시적으로 도시한 것으로, 이러한 포인트 데이터들은 특정 레이어뿐만 아니라 각각의 레이어별로 획득될 수 있으며, 비록 라이다 센서(100-k)는 한 개만 도시되어 있으나 이에 한정되지 않으며 복수의 라이다 센서(100-1, 100-2, ..., 100-n)에 의해 복수의 멀티 레이어 데이터가 수집될 수도 있다.The k-th lidar sensor 100-k may collect multi-layer data after emitting a pulse laser from a plurality of heights horizontally to the surrounding terrain features, and detecting the reflected laser with a scanner. In this case, the multi-layer data may include point data disposed on each of the plurality of layers. However, FIG. 3 exemplarily shows only point data of a specific layer among multi-layer data, and these point data may be obtained for each layer as well as a specific layer, although the lidar sensor 100-k is Although only one is shown, the present invention is not limited thereto, and a plurality of multi-layer data may be collected by a plurality of lidar sensors 100-1, 100-2, ..., 100-n.

그리고, 레이어별 포인트 데이터들을 각각의 레이어별로 클러스터링 하여 레이어별 선분 데이터를 추출하는 방법에 대해서는 도 4 내지 도 7을 참조하여 설명하겠다.In addition, a method of extracting line segment data for each layer by clustering point data for each layer for each layer will be described with reference to FIGS. 4 to 7 .

구체적으로, 제k 피처 추출 장치는, 제k 멀티 레이어 데이터의 각각의 레이어에 포함된 오브젝트들에 대응하는 제1 포인트 내지 제p 포인트 각각에서 직전 포인트와의 거리값이 기설정된 제1 기준값 이상인지를 확인한 결과, 직전 포인트와의 거리값이 제1 기준값 이상인 포인트들이 확인되면, 제1 포인트를 제1 시작 포인트로 지정하고, 직전 포인트와의 거리값이 제1 기준값 이상인 포인트들을 제2 시작 포인트 내지 제j 시작 포인트로 지정하며, 직전 포인트와의 거리값이 제1 기준값 이상인 포인트들의 직전 포인트들을 제1 브레이크 포인트 내지 제(j-1) 브레이크 포인트로 지정하고, 제p 포인트를 제j 브레이크 포인트로 지정할 수 있다.Specifically, the k-th feature extraction apparatus determines whether a distance value from the immediately preceding point in each of the first to p-th points corresponding to objects included in each layer of the k-th multi-layer data is greater than or equal to a preset first reference value. As a result of checking , if points having a distance value equal to or greater than the first reference value are identified, the first point is designated as the first starting point, and points having a distance value greater than or equal to the first reference value are selected from the second starting point to Designate as the j-th starting point, designate the immediately preceding points of the points whose distance value from the previous point is equal to or greater than the first reference value as the first break point to the (j-1) break point, and designate the p-th point as the j-th break point can be specified.

이때, 제k 피처 추출 장치는, 직전 포인트와의 거리값이 제1 기준값 이상인 포인트들이 확인되지 않으면, 제1 포인트를 제1 시작 포인트로 지정하고, 제p 포인트를 제1 브레이크 포인트로 지정할 수 있다. 즉, 레이어 내의 오브젝트에 대응하는 포인트 정보들에서 제2 시작 포인트가 존재하지 않으므로, 레이어 내에는 하나의 오브젝트가 존재하는 것으로 판단할 수 있다.In this case, the k-th feature extraction apparatus may designate the first point as the first starting point and the p-th point as the first break point if points having a distance value equal to or greater than the first reference value are not identified. . That is, since the second starting point does not exist in the point information corresponding to the object in the layer, it may be determined that one object is present in the layer.

일례로, 도 4를 참조하면, 포인트1로부터 포인트13까지 직전 포인트와의 거리값이 제1 기준값 이상인 포인트를 확인한 결과, 포인트8과 포인트7 사이의 거리값이 제1 기준값 이상인 것으로 확인되며, 그에 따라, 포인트1과 포인트8을 제1 시작 포인트와 제2 시작 포인트로 지정하며, 포인트7과 포인트13을 제1 브레이크 포인트와 제2 브레이크 포인트로 지정한다. 이때, 시작 포인트는 오브젝트의 피처 라인의 시작점이 되며, 브레이크 포인트는 오브젝트의 피처 라인의 끝점이 될 수 있다. 그리고, 브레이크 포인트를 이용하여 각각의 레이어 내에 위치하는 오브젝트들을 분리하여 추출할 수 있게 된다. 즉, 포인트1 내지 포인트7에 대응하는 오브젝트와 포인트8 내지 포인트13에 대응하는 오브젝트를 분리할 수 있게 된다. 여기서 오브젝트의 피처 라인은 선분 데이터에 해당할 수 있다.As an example, referring to FIG. 4 , as a result of checking a point whose distance value from the previous point from point 1 to point 13 is equal to or greater than the first reference value, it is confirmed that the distance value between point 8 and point 7 is greater than or equal to the first reference value, Accordingly, points 1 and 8 are designated as the first and second start points, and points 7 and 13 are designated as the first and second break points. In this case, the start point may be a start point of the feature line of the object, and the break point may be an end point of the feature line of the object. In addition, it is possible to separate and extract objects located in each layer by using a breakpoint. That is, objects corresponding to points 1 to 7 and objects corresponding to points 8 to 13 can be separated. Here, the feature line of the object may correspond to line segment data.

그리고, 각각의 레이어에서, 제i 시작 포인트와 제i 브레이크 포인트 사이의 포인트들 중, 제i 시작 포인트와 제i 브레이크 포인트를 연결하는 제i 선분 사이의 최대 거리값을 가지는 특정 포인트를 확인하고, 특정 포인트와 제i 선분 사이의 최대 거리값이 기설정된 제2 기준값 이상인지를 확인하며, 특정 포인트와 제i 선분 사이의 최대 거리값이 제2 기준값 이상일 경우 특정 포인트를 코너 포인트로 지정할 수 있다. 여기서, i는 1 이상 j 이하의 정수일 수 있다.And, in each layer, among the points between the i-th start point and the i-th break point, a specific point having a maximum distance value between the i-th line segment connecting the i-th start point and the i-th break point is identified, It is checked whether the maximum distance value between the specific point and the i-th line segment is equal to or greater than a preset second reference value, and when the maximum distance value between the specific point and the i-th line segment is equal to or greater than the second reference value, the specific point may be designated as a corner point. Here, i may be an integer of 1 or more and j or less.

한편, 제k 피처 추출 장치는, 제i 시작 포인트와 제i 브레이크 포인트를 연결하는 제i 선분 사이의 최대 거리값을 가지는 특정 포인트를 확인하고, 특정 포인트와 제i 선분 사이의 최대 거리값이 기설정된 제2 기준값 이상인지를 확인한 결과, 특정 포인트와 제i 선분 사이의 최대 거리값이 제2 기준값 미만일 경우에는 제i 시작 포인트와 제i 브레이크 포인트 사이에서는 코너 포인트가 존재하지 않는 것으로 판단하고, 제i 시작 포인트와 제i 브레이크 포인트를 연결하는 제i 선분을 오브젝트의 피처 라인으로 설정할 수 있다. On the other hand, the k-th feature extraction apparatus identifies a specific point having a maximum distance value between the i-th line segment connecting the i-th start point and the i-th break point, and the maximum distance value between the specific point and the i-th line segment is determined. As a result of checking whether it is equal to or greater than the set second reference value, if the maximum distance value between the specific point and the i-th line segment is less than the second reference value, it is determined that a corner point does not exist between the i-th start point and the i-th break point, The i-th line segment connecting the i start point and the i break point may be set as the feature line of the object.

즉, 제k 피처 추출 장치는, 제i 시작 포인트와 제i 브레이크 포인트 사이의 각각의 포인트들과 제i 선분 사이의 거리값들을 확인하고, 확인된 모든 거리값들이 제2 기준값 이상이 아닐 경우, 제i 시작 포인트와 제i 브레이크 포인트 사이에서는 코너 포인트가 존재하지 않는 것으로 판단하고, 제i 시작 포인트와 제i 브레이크 포인트를 연결하는 제i 선분을 오브젝트의 피처 라인으로 설정할 수 있다.That is, the k-th feature extraction apparatus checks the distance values between each point between the i-th start point and the i-th break point and the i-th line segment, and when all the identified distance values are not equal to or greater than the second reference value, It may be determined that a corner point does not exist between the ith start point and the ith break point, and an ith line segment connecting the ith start point and the ith break point may be set as the feature line of the object.

일례로, 도 5를 참조하면, 제1 시작 포인트인 포인트1과 제1 브레이크 포인트인 포인트7을 연결하는 제1 선분을 획득하고, 포인트2 내지 포인트6 각각과 제1 선분 사이의 거리값이 최대값인 포인트3을 확인하고, 포인트3을 코너 포인트로 지정할 수 있다. 그리고, 제2 시작 포인트인 포인트8과 제2 브레이크 포인트인 포인트13의 경우, 포인트9 내지 포인트12가 포인트8과 포인트13을 연결하는 선분으로부터 제2 기준값 이내에 위치하는 것으로 판단될 수 있으며, 그에 따라, 포인트8 내지 포인트13 사이에는 코너 포인트가 존재하지 않는 것으로 확인하고, 포인트8과 포인트13을 연결하는 선분을 오브젝트의 피처 라인으로 설정할 수 있다.For example, referring to FIG. 5 , a first line segment connecting point 1 which is a first starting point and point 7 which is a first break point is obtained, and the distance value between each of points 2 to 6 and the first line segment is the maximum You can check the value of point 3 and designate point 3 as a corner point. And, in the case of point 8, which is the second starting point, and point 13, which is the second break point, it may be determined that points 9 to 12 are located within a second reference value from a line segment connecting point 8 and point 13, and accordingly , it is confirmed that a corner point does not exist between point 8 and point 13, and a line segment connecting point 8 and point 13 can be set as the feature line of the object.

그리고, 각각의 레이어에서, 제i 시작 포인트와 코너 포인트 사이의 포인트들 각각과, 제i 시작 포인트와 코너 포인트를 연결하는 선분 사이의 제2 거리값들이 제2 기준값 미만인지를 확인하며, 제2 거리값들이 제2 기준값 미만일 경우 제i 시작 포인트와 코너 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정할 수 있다.Then, in each layer, it is checked whether second distance values between each of the points between the i-th start point and the corner point and the line segment connecting the i-th start point and the corner point are less than a second reference value, When the distance values are less than the second reference value, a line segment connecting the ith start point and the corner point may be set as the feature line of the ith object.

일례로, 도 6를 참조하면, 제1 시작 포인트인 포인트1과 코너 포인트인 포인트3을 연결하는 선분과, 포인트1과 포인트3 사이에 위치하는 포인트2 사이의 거리값이 제2 기준값 미만인 것으로 판단될 수 있으므로 포인트1과 포인트3을 연결하는 선분을 오브젝트의 피처 라인으로 설정할 수 있다.As an example, referring to FIG. 6 , it is determined that the distance value between the line segment connecting the first starting point point 1 and the corner point point 3 and the point 2 positioned between the point 1 and the point 3 is less than the second reference value Therefore, the line segment connecting point 1 and point 3 can be set as the feature line of the object.

그리고 코너 포인트와 제i 브레이크 포인트 사이의 포인트들 각각과, 코너 포인트와 제i 브레이크 포인트를 연결하는 선분 사이의 제3 거리값들이 제2 기준값 미만인지를 확인하며, 제3 거리값들이 제2 기준값 미만일 경우 코너 포인트와 제i 브레이크 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정함으로써, 제i 오브젝트의 피처 라인인 선분 데이터를 포함하는 제k 레이어별 클러스터링 데이터를 생성할 수 있다.And it is checked whether third distance values between each of the points between the corner point and the i-th break point and the line segment connecting the corner point and the i-th break point are less than the second reference value, and the third distance values are the second reference value. If less than, by setting the line segment connecting the corner point and the i-th break point as the feature line of the i-th object, clustering data for each k-th layer including line segment data that is the feature line of the i-th object may be generated.

일례로, 도 7을 참조하면, 코너 포인트인 포인트3과 제1 브레이크 포인트인 포인트7 사이의 포인트4 내지 포인트6 각각과, 포인트3과 포인트7을 연결하는 선분 사이의 제3 거리값들이 제2 기준값 미만인 것으로 확인될 수 있으며, 그에 따라 포인트3과 포인트7 사이에는 코너 포인트가 존재하지 않는 것으로 판단할 수 있으며, 포인트3과 포인트 7을 연결하는 선분을 오브젝트의 피처 라인으로 설정할 수 있다. 또한, 제2 시작 포인트인 포인트8과 제2 브레이크 포인트인 포인트13의 경우, 포인트9 내지 포인트12가 포인트8과 포인트13을 연결하는 선분으로부터 제2 기준값 이내에 위치하는 것으로 판단될 수 있으며, 그에 따라, 포인트8 내지 포인트13 사이에는 코너 포인트가 존재하지 않는 것으로 확인하고, 포인트8과 포인트13을 연결하는 선분을 오브젝트의 피처 라인으로 설정할 수 있다. 이를 통해 특정 레이어 내에 위치하는 포인트1과 포인트7에 대응되는 제1 오브젝트와, 포인트8과 포인트13에 대응되는 제2 오브젝트를 구분할 수 있으며, 각각의 오브젝트에서의 코너 포인트를 확인하여 피처 라인을 설정하므로 오브젝트의 정확한 형상을 추출할 수 있게 된다.For example, referring to FIG. 7 , the third distance values between each of the points 4 to 6 between the corner point point 3 and the first break point point 7 and the line segment connecting the point 3 and the point 7 are second It can be confirmed that it is less than the reference value, and accordingly, it can be determined that a corner point does not exist between the points 3 and 7, and the line segment connecting the points 3 and 7 can be set as the feature line of the object. In addition, in the case of point 8, which is the second starting point, and point 13, which is the second break point, it may be determined that points 9 to 12 are located within a second reference value from a line segment connecting point 8 and point 13, and accordingly , it is confirmed that a corner point does not exist between point 8 and point 13, and a line segment connecting point 8 and point 13 can be set as the feature line of the object. Through this, the first object corresponding to point 1 and point 7 located in a specific layer and the second object corresponding to point 8 and point 13 can be distinguished, and the feature line is set by checking the corner point in each object. Therefore, it is possible to extract the exact shape of the object.

한편, 제k 피처 추출 장치는, 제2 거리값들이 제2 기준값 미만인지를 확인한 결과, 제2 거리값들이 제2 기준값 이상인 제1 서브 포인트들이 확인되면, 제1 서브 포인트들 중, 제i 시작 포인트와 코너 포인트를 연결하는 선분 사이의 최대 거리값을 가지는 특정 제1 서브 포인트를 제1 서브 코너 포인트로 지정하며, 제i 시작 포인트와 제1 서브 코너 포인트 사이의 포인트들 각각과, 제i 시작 포인트와 제1 서브 코너 포인트를 연결하는 선분 사이의 제2-1 서브 거리값들이 제2 기준값 미만인지를 확인하며, 제2-1 서브 거리값들이 제2 기준값 미만일 경우 제i 시작 포인트와 제1 서브 코너 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정하고, 제1 서브 코너 포인트와 코너 포인트 사이의 포인트들 각각과, 제1 서브 코너 포인트와 코너 포인트를 연결하는 선분 사이의 제2-2 서브 거리값들이 제2 기준값 미만인지를 확인하며, 제2-2 거리값들이 제2 기준값 미만일 경우 제1 서브 코너 포인트와 코너 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정할 수 있다.Meanwhile, as a result of checking whether the second distance values are less than the second reference value, the k-th feature extraction apparatus determines whether the first sub-points having the second distance values equal to or greater than the second reference value are identified, among the first sub-points, the i-th start A specific first sub-point having the maximum distance value between the point and the line segment connecting the corner point is designated as the first sub-corner point, and each of the points between the i-th start point and the first sub-corner point, and the i-th start It is checked whether the 2-1 sub-distance values between the line segments connecting the point and the first sub-corner point are less than the second reference value, and when the 2-1 sub-distance values are less than the second reference value, the i-th starting point and the first Set the line segment connecting the sub-corner points as the feature line of the i-th object, each of the points between the first sub-corner point and the corner point, and the second-second between the line segments connecting the first sub-corner point and the corner point It is checked whether the second sub-distance values are less than the second reference value, and when the 2-2 distance values are less than the second reference value, a line segment connecting the first sub-corner point and the corner point may be set as the feature line of the i-th object.

즉, 제k 피처 추출 장치는, 제i 시작 포인트와 코너 포인트 사이의 포인트들 각각과, 제i 시작 포인트와 코너 포인트를 연결하는 선분 사이의 제2 거리값들이 제2 기준값 미만인지를 확인한 결과, 제2 기준값 이상인 포인트들이 확인되면, 이중 최대 거리값을 가지는 포인트를 새로운 코너 포인트로 지정한 다음, 상기와 같은 방법에 의해 제i 시작 포인트와 새로 지정된 코너 포인트 사이, 새로 지정된 코너 포인트와 이전 지정된 코너 포인트 사이에 또 다른 코너 포인트가 존재하는지 확인하는 동작을 새로운 코너 포인트가 확인되지 않을 때까지 반복함으로써, 제i 시작 포인트와 이에 인접하는 코너 포인트를 연결하는 선분, 및 코너 포인트들 사이를 연결하는 선분들을 오브젝트의 피처 라인으로 설정할 수 있다.That is, the k-th feature extraction apparatus checks whether the second distance values between each of the points between the i-th start point and the corner point and the second distance values between the i-th start point and the line segment connecting the corner point are less than the second reference value, If points equal to or greater than the second reference value are identified, the point having the maximum distance value is designated as a new corner point, and then between the i-th starting point and the newly designated corner point by the same method as above, the newly designated corner point and the previously designated corner point By repeating the operation of checking whether another corner point exists between the ith starting point and the adjacent corner point by repeating the operation until no new corner point is identified, a line segment connecting the i-th starting point and an adjacent corner point, and line segments connecting between the corner points can be set as the feature line of the object.

또한, 제k 피처 추출 장치는 제3 거리값들이 제2 기준값 미만인지를 확인한 결과, 제3 거리값들이 제2 기준값 이상인 제2 서브 포인트들이 확인되면, 제2 서브 포인트들 중, 코너 포인트와 제i 브레이크 포인트를 연결하는 선분 사이의 최대 거리값을 가지는 특정 제2 서브 포인트를 제2 서브 코너 포인트로 지정하며, 코너 포인트와 제2 서브 코너 포인트 사이의 포인트들 각각과, 코너 포인트와 제2 서브 코너 포인트를 연결하는 선분 사이의 제3-1 서브 거리값들이 제2 기준값 미만인지를 확인하며, 제3-1 서브 거리값들이 제2 기준값 미만일 경우 코너 포인트와 제2 서브 코너 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정하고, 제2 서브 코너 포인트와 제i 브레이크 포인트 사이의 포인트들 각각과, 제2 서브 코너 포인트와 제i 브레이크 포인트를 연결하는 선분 사이의 제3-2 서브 거리값들이 제2 기준값 미만인지를 확인하며, 제3-2 거리값들이 제2 기준값 미만일 경우 제2 서브 코너 포인트와 제i 브레이크 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정할 수 있다.In addition, as a result of checking whether the third distance values are less than the second reference value, the k-th feature extraction apparatus determines whether second sub-points having the third distance values equal to or greater than the second reference value are identified, among the second sub-points, the corner point and the second sub-point A specific second sub-point having the maximum distance value between the line segments connecting the break points is designated as the second sub-corner point, each of the points between the corner point and the second sub-corner point, and the corner point and the second sub-corner point It is checked whether the 3-1 sub-distance values between the line segments connecting the corner points are less than the second reference value, and when the 3-1 sub-distance values are less than the second reference value, the line segment connecting the corner point and the second sub-corner point is set as the feature line of the i-th object, and the 3-2 sub-distance between each of the points between the second sub-corner point and the i-th break point and the line segment connecting the second sub-corner point and the i-th break point It is checked whether the values are less than the second reference value, and when the 3-2 distance values are less than the second reference value, a line segment connecting the second sub-corner point and the i-th break point may be set as the feature line of the i-th object.

즉, 제k 피처 추출 장치는, 코너 포인트와 제i 브레이크 포인트 사이의 포인트들 각각과, 코너 포인트와 제i 브레이크 포인트를 연결하는 선분 사이의 제3 거리값들이 제2 기준값 미만인지를 확인한 결과, 제2 기준값 이상인 포인트들이 확인되면, 이중 최대 거리값을 가지는 포인트를 새로운 코너 포인트로 지정한 다음, 상기와 같은 방법에 의해 코너 포인트와 새로 지정된 코너 포인트 사이, 새로 지정된 코너 포인트와 제i 브레이크 포인트 사이에 또 다른 코너 포인트가 존재하는지 확인하는 동작을 새로운 코너 포인트가 확인되지 않을 때까지 반복함으로써, 코너 포인트들 사이를 연결하는 선분들, 및 제i 브레이크 포인트와 인접하는 코너 포인트를 연결하는 선분을 오브젝트의 피처 라인으로 설정할 수 있다.That is, the k-th feature extraction apparatus checks whether the third distance values between each of the points between the corner point and the i-th break point and the line segment connecting the corner point and the i-th break point are less than the second reference value, If points equal to or greater than the second reference value are identified, the point having the maximum distance value is designated as a new corner point, and then between the corner point and the newly designated corner point, and between the newly designated corner point and the i-th break point by the same method as above. By repeating the operation of checking whether another corner point exists until a new corner point is not identified, the line segments connecting between the corner points and the line segments connecting the i-th break point and the adjacent corner point are separated from the object. It can be set as a feature line.

일례로, 도 8을 참조하면, 시작 포인트인 포인트1과 브레이크 포인트인 포인트12를 연결하는 선분과, 포인트2 내지 포인트11 각각 사이의 거리값을 제2 기준값과 비교하여 제2 기준값 이상이며 최대 거리값을 가지는 포인트7을 코너 포인트로 지정할 수 있다.For example, referring to FIG. 8 , a line segment connecting point 1, which is a starting point, and point 12, which is a break point, and a distance value between each of points 2 to 11 are compared with a second reference value, which is equal to or greater than the second reference value and the maximum distance Point 7 with a value can be designated as a corner point.

그리고, 도 9를 참조하면, 포인트1과 포인트7을 연결하는 선분과, 포인트2 내지 포인트6 각각 사이의 거리값을 제2 기준값과 비교하여 제2 기준값 이상이며 최대 거리값을 가지는 포인트2를 새로운 코너 포인트로 지정할 수 있다. 이때, 포인트1과 포인트2 사이, 및 포인트2와 포인트7 사이에서 추가적으로 새로운 코너 포인트가 확인되지 않으므로, 포인트1과 포인트2를 연결하는 선분, 및 포인트2와 포인트7을 연결하는 선분을 오브젝트의 피처 라인으로 설정할 수 있다.And, referring to FIG. 9, by comparing the distance value between the line segment connecting the point 1 and the point 7 and each of the points 2 to 6 with the second reference value, the second reference value or more and the point 2 having the maximum distance value is newly determined. It can be specified as a corner point. At this time, since no additional new corner points are identified between point 1 and point 2 and between point 2 and point 7, the line segment connecting point 1 and point 2 and the line segment connecting point 2 and point 7 are used as object features. line can be set.

또한, 도 10을 참조하면, 포인트7과 포인트12를 연결하는 선분과, 포인트8 내지 포인트11 각각 사이의 거리값을 제2 기준값과 비교하여 제2 기준값 이상이며 최대 거리값을 가지는 포인트10을 새로운 코너 포인트로 지정할 수 있다, 이때, 포인트7과 포인트10 사이, 및 포인트10과 포인트12 사이에서 추가적으로 새로운 코너 포인트가 확인되지 않으므로, 도 11과 같이 포인트7과 포인트10을 연결하는 선분, 및 포인트10과 포인트12를 연결하는 선분을 오브젝트의 피처 라인으로 설정할 수 있으며, 결론적으로 포인트1 내지 포인트12에 대응하는 오브젝트는 포인트1과 포인트2를 연결하는 선분, 포인트2와 포인트7을 연결하는 선분, 포인트7과 포인트10을 연결하는 선분, 및 포인트10과 포인트12를 연결하는 선분으로 표현될 수 있다.In addition, referring to FIG. 10 , by comparing the distance value between the line segment connecting the point 7 and the point 12 and each of the points 8 to 11 with the second reference value, the point 10 having the maximum distance value that is equal to or greater than the second reference value is newly created. It can be designated as a corner point. At this time, since a new corner point is not additionally identified between point 7 and point 10 and between point 10 and point 12, a line segment connecting point 7 and point 10 as shown in FIG. 11, and point 10 The line segment connecting point 12 and point 12 can be set as the feature line of the object. In conclusion, the object corresponding to point 1 to point 12 is a line segment connecting point 1 and point 2, a line segment connecting point 2 and point 7, and point It can be expressed as a line segment connecting the point 7 and the point 10, and a line segment connecting the point 10 and the point 12.

이와 같이 레이어별 포인트 데이터들을 각각의 레이어별로 클러스터링하여 레이어별 선분 데이터를 추출하고, 레이어별 선분 데이터를 포함하는 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터를 생성한 상태에서, 오브젝트 매칭 장치(300)가, 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 클러스터링하여 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 생성하며, 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 결합하여 주변 오브젝트 데이터를 생성할 수 있다.In this way, the point data for each layer is clustered for each layer to extract the line segment data for each layer, and clustering data for each layer to the clustering data for each nth layer including the line segment data for each layer are generated. 300 generates first object data to nth object data by clustering line segment data for each layer in each of the clustering data for each first layer to the clustering data for each nth layer, and the first object data to nth object data can be combined to create surrounding object data.

한편, 제k 피처 추출 장치가, 제k 멀티 레이어 데이터에 포함된 레이어별 포인트 데이터를 필터링하여 지면 포인트 데이터들을 추출하고, 지면 포인트 데이터들을 참조로 하여 제k 연석 데이터를 생성할 수 있다.Meanwhile, the k-th feature extraction apparatus may extract ground point data by filtering point data for each layer included in the k-th multi-layer data, and generate k-th curb data by referring to the ground point data.

한편, 오브젝트 매칭 장치(300)가, 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 참조하여, 중첩되는 영역에 위치하는 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트를 동일 오브젝트로 클러스터링함으로써 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 생성할 수 있다.On the other hand, the object matching apparatus 300 refers to the line segment data for each layer in each of the clustering data for each first layer to the clustering data for each nth layer, and the first specific object of the first specific layer located in the overlapping area and The first object data to the nth object data may be generated by clustering the second specific object of the second specific layer into the same object.

이때, 오브젝트 매칭 장치(300)는 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트 각각의 피처 라인을 참조하여 시작 포인트와 브레이크 포인트가 동일할 경우 동일 오브젝트로 클러스터링할 수 있다.In this case, the object matching apparatus 300 refers to the feature line of each of the first specific object of the first specific layer and the second specific object of the second specific layer. have.

일례로, 도 12를 참조하면, 제1 특정 레이어의 제1 특정 오브젝트의 피처 라인과, 제2 특정 레이어의 제2 특정 오브젝트의 피처 라인이 중첩되며, 각각의 피처라인의 시작 포인트인 포인트1과 포인트1', 포인트8과 포인트8', 및 브레이크 포인트인 포인트7과 포인트7', 포인트13과 포인트13'가 동일하므로 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트는 동일 오브젝트로 판단되어 클러스터링될 수 있다.As an example, referring to FIG. 12 , the feature line of the first specific object of the first specific layer overlaps the feature line of the second specific object of the second specific layer, and the starting point of each feature line is point 1 Point1', point8 and point8', and breakpoints point7 and point7', and point13 and point13' are the same, so the first specific object of the first specific layer and the second specific object of the second specific layer are the same. may be determined to be the same object and clustered.

한편, 오브젝트 매칭 장치(300)는, 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트 각각의 피처 라인의 시작 포인트와 브레이크 포인트가 동일하지 않을 경우, 제1 특정 레이어와 제2 특정 레이어의 높이 차가 기설정된 제3 기준값 이하이며, 제1 특정 레이어의 제1 특정 오브젝트의 제1 피처 라인과 제2 특정 레이어의 제2 특정 오브젝트의 제2 피처 라인의 기울기와 이격 거리가 기설정된 제4 기준값 이하이면 동일 오브젝트로 클러스터링할 수 있다.On the other hand, the object matching apparatus 300, when the start point and the break point of each feature line of the first specific object of the first specific layer and the second specific object of the second specific layer are not the same, the first specific layer and the The difference in height of the second specific layer is less than or equal to a preset third reference value, and the inclination and separation distance of the first feature line of the first specific object of the first specific layer and the second feature line of the second specific object of the second specific layer are If it is less than or equal to the fourth preset reference value, the same object may be clustered.

일례로, 도 13을 참조하면, 제1 특정 레이어의 제1 특정 오브젝트의 피처 라인(L1)과, 제2 특정 레이어의 제2 특정 오브젝트의 피처 라인(L1')의 기울기와 이격 거리가 제4 기준값 이하인 것으로 판단되어 피처 라인(L1)과 피처 라인(L1')는 동일 오브젝트로 클러스터링될 수 있다. 그리고, 제1 특정 레이어의 제1' 특정 오브젝트의 피처 라인(L2)과, 제2 특정 레이어의 제2' 특정 오브젝트의 피처 라인(L2')은 높이 차가 기설정된 제3 기준값을 초과하거나 기울기와 이격 거리가 제4 기준값 초과인 것으로 판단되어 피처 라인(L2)와 피처 라인(L2')는 서로 다른 오브젝트로 클러스터링될 수 있다.As an example, referring to FIG. 13 , the slope and separation distance of the feature line L1 of the first specific object of the first specific layer and the feature line L1′ of the second specific object of the second specific layer are the fourth It is determined that it is equal to or less than the reference value, so that the feature line L1 and the feature line L1' may be clustered into the same object. And, the height difference between the feature line L2 of the first specific object of the first specific layer and the feature line L2' of the second specific object of the second specific layer exceeds a preset third reference value or has a slope and Since it is determined that the separation distance is greater than the fourth reference value, the feature line L2 and the feature line L2' may be clustered into different objects.

또 다른 예로, 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 각각으로부터 레이어별 선분 데이터를 포함하는 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터가 획득되면, 오브젝트 매칭 장치(300)는, 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 클러스터링 할 때, 선분 데이터의 길이 정보가 큰 순으로 선분 데이터를 정렬하고, 길이가 가장 긴 선분 데이터를 우선적으로 신규 오브젝트로 할당할 수 있다. 이는, 길이가 긴 선분 데이터일수록 각각의 라이다 센서(100)가 정확하게 인지한 오브젝트에 관한 데이터일 확률이 높기 때문이다.As another example, when clustering data for each layer and clustering data for each nth layer including line segment data for each layer are obtained from each of the first feature extracting apparatus 200-1 to the nth feature extracting apparatus 200-n, , the object matching apparatus 300, when clustering the line segment data for each layer in each of the clustering data for each first layer to the clustering data for each nth layer, sorts the line segment data in an order of increasing length information of the line segment data, The longest line segment data can be allocated as a new object preferentially. This is because the longer the line segment data, the higher the probability that it is data about an object accurately recognized by each lidar sensor 100 .

이처럼, 길이 정보가 가장 긴 선분 데이터를 신규 오브젝트로 할당한 상태에서, 상기 도 12 및 도 13을 참조하여 설명한 바와 같이, 다른 레이어 내의 다음으로 긴 선분 데이터와 매칭 정도를 계산하여 클러스터링 할지 여부를 결정할 수 있게 된다.As described above with reference to FIGS. 12 and 13, in a state in which the line segment data having the longest length information is allocated as a new object, it is determined whether to cluster by calculating a matching degree with the next longest line segment data in another layer. be able to

한편, 제k 레이어별 클러스터링 데이터는 언클러스터링된 포인트 데이터들을 더 포함할 수 있다.Meanwhile, the k-th layer-specific clustering data may further include unclustered point data.

여기서, 언클러스터링된 포인트 데이터란, 레이어별 포인트 데이터 중에서 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n)에 의해 선분 데이터로 추출되지 않은 포인트 데이터들을 의미할 수 있다.Here, the unclustered point data may mean point data that is not extracted as line segment data by the first feature extracting apparatus 200-1 to the nth feature extracting apparatus 200-n among the point data for each layer. .

일례로, 라이다 센서(100)에 의해 감지된 오브젝트가 신체 크기가 작은 어린이이거나, 라이다 센서(100)로부터 먼 곳에서 접근하는 차량인 경우, 라이다 센서(100)로부터 획득된 특정 레이어의 해당 오브젝트에 대응되는 포인트 데이터는, 해당 오브젝트에 대응되는 선분 데이터를 생성하기에는 충분하지 않을 수 있다. 하지만, 선분 데이터가 생성되지 않는다고 하여 해당 포인트 데이터를 오브젝트로 인식하지 않을 경우, 자율주행차량의 운행에 있어 안전상의 문제가 발생할 수 있다.For example, when the object detected by the lidar sensor 100 is a small child or a vehicle approaching from a distance from the lidar sensor 100 , the specific layer obtained from the lidar sensor 100 is Point data corresponding to the corresponding object may not be sufficient to generate line segment data corresponding to the corresponding object. However, if the point data is not recognized as an object just because line segment data is not generated, safety problems may occur in the operation of the autonomous vehicle.

따라서, 위와 같은 상황을 방지하기 위해, 만약 제k 피처 추출 장치에 의해 특정 레이어에서 클러스터링되지 않은 포인트 데이터가 존재할 경우, 오브젝트 매칭 장치(300)가, 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 언클러스터링된 포인트 데이터들을 클러스터링하여 제1 선분화 데이터 내지 제n 선분화 데이터를 생성하며, 제k 오브젝트 데이터 및 제k 선분화 데이터를 각각 결합하여 주변 오브젝트 데이터를 생성할 수 있다.Therefore, in order to prevent the above situation, if there is point data that is not clustered in a specific layer by the k-th feature extraction apparatus, the object matching apparatus 300 performs clustering data for each first layer to clustering data for each n-th layer. First line segmentation data to nth line segmentation data are generated by clustering the unclustered point data for each layer in each data layer, and surrounding object data can be generated by combining the kth object data and the kth line segmentation data, respectively. have.

즉, 포인트 데이터가 특정 레이어 내에서만 처리되는 단계에서는 포인트 데이터가 선분 데이터로 클러스터링되지 않더라도, 멀티 레이어에서 포인트 데이터가 처리되는 단계에서 각각의 레이어에 존재하는 각각의 포인트 데이터를 하나의 선분화 데이터로 융합함으로써 거리가 멀거나 크기가 작은 오브젝트에 대해서도 정확하게 인지할 수 있게 된다.That is, even if the point data is not clustered as line segment data in the step in which the point data is processed only within a specific layer, each point data existing in each layer is converted into one line segmentation data in the step in which the point data is processed in a multi-layer. By fusion, it is possible to accurately recognize objects that are far away or small in size.

일례로, 도 14를 참조하여 설명하면, 제k 라이다 센서로부터의 제i 특정 레이어의 제1 특정 오브젝트에 대응되는 포인트 데이터(400-1)와 제i+1 특정 레이어의 제1 특정 오브젝트에 대응되는 포인트 데이터(400-2)를 클러스터링하여 제k 선분화 데이터(400)를 생성할 수 있다.As an example, referring to FIG. 14 , the point data 400-1 corresponding to the first specific object of the i-th specific layer from the k-th LiDAR sensor and the first specific object of the i+1th specific layer The k-th line segmentation data 400 may be generated by clustering the corresponding point data 400 - 2 .

한편, 이는 개별 라이다 센서 각각에서의 멀티 레이어에 국한되는 것이 아니며, 다중 라이다 센서 사이에서도 마찬가지로 적용될 수 있다.On the other hand, this is not limited to multi-layers in each individual lidar sensor, and can be applied equally between multiple lidar sensors.

일례로, 제1 라이다 센서(100-1)와 제2 라이다 센서(100-2)가 특정 구역을 중첩적으로 감지하면서 제1 라이다 센서(100-1)와 제2 라이다 센서(100-2) 각각으로부터 작은 오브젝트에 대응되는 포인트 데이터를 각각 획득한 상황에서, 해당 오브젝트에 대응되는 레이어별 포인트 데이터, 즉 레이어별 언클러스터링된 포인트 데이터들만으로 선분화 데이터를 생성하기에는 레이어별 언클러스터링된 포인트 데이터들이 충분하지 못한 경우가 있을 수 있다. 위와 같은 경우, 제1 라이다 센서(100-1)로부터의 레이어별 포인트 데이터 및 제2 라이다 센서(100-2)로부터의 레이어별 포인트 데이터를 참조로 하여 선분화 데이터를 생성할 수도 있다.For example, the first lidar sensor 100-1 and the second lidar sensor 100-1 and the second lidar sensor 100-1 and the second lidar sensor 100-1 overlap a specific area while the first lidar sensor 100-1 and the second lidar sensor 100-2 detect a specific area. 100-2) In a situation in which point data corresponding to a small object is obtained from each, it is difficult to generate line segmentation data using only point data for each layer corresponding to the corresponding object, that is, point data that has been unclustered for each layer. There may be cases where the point data are not sufficient. In this case, the line segmentation data may be generated by referring to the point data for each layer from the first lidar sensor 100-1 and the point data for each layer from the second lidar sensor 100-2.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, etc. alone or in combination. The program instructions recorded on the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and used by those skilled in the computer software field. Examples of the computer-readable recording medium include hard disks, magnetic media such as floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floppy disks. media), and hardware devices specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those generated by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform processing according to the present invention, and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.In the above, the present invention has been described with specific matters such as specific components and limited embodiments and drawings, but these are provided to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , those of ordinary skill in the art to which the present invention pertains can make various modifications and variations from these descriptions.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention should not be limited to the above-described embodiments, and not only the claims described below, but also all modifications equivalently or equivalently to the claims described below belong to the scope of the spirit of the present invention. will do it

Claims

In the method of processing multi-layer data of multi-lidar,
(a) the first LiDAR sensor mounted at the first position to the nth mounted at the nth position - The n is an integer greater than or equal to 1 - When the first multi-layer data to the n-th multi-layer data are obtained from each of the LiDAR sensors , kth, any one of a first feature extracting device to an nth feature extracting device interlocked with the first lidar sensor to the nth lidar sensor, respectively - The k is an integer of 1 or more and n or less - a feature extracting device , generating k-th layer-specific clustering data by clustering the k-th multi-layer data for each layer; and
(b) when the clustering data for each layer to the clustering data for each nth layer are obtained from each of the first feature extracting device to the nth feature extracting device, the object matching device is configured to: generating first object data to n-th object data by clustering the clustering data for each layer in each of the clustering data for each n-layer, and generating peripheral object data by combining the first object data to the n-th object data;
including,
In step (a),
The k-th feature extraction apparatus extracts line segment data for each layer by clustering the point data for each layer included in the k-th multi-layer data for each layer, and the k-th layer clustering including the line segment data for each layer create data,
In step (b),
The object matching apparatus generates the first object data to the nth object data by clustering line segment data for each layer in each of the clustering data for each first layer to the clustering data for each nth layer, and the first object combining data to the n-th object data to generate the surrounding object data,
The k-th layer-specific clustering data further includes unclustered point data,
In step (b),
The object matching apparatus generates first line segmentation data to nth line segmentation data by clustering the unclustered point data per layer in each of the clustering data per layer to the clustering data per nth layer, generating the surrounding object data by combining the k object data and the kth segmentation data, respectively;
The unclustered point data are point data that are not extracted as line segment data for each layer by each of the first to the nth feature extracting apparatus among the first multi-layer data to the n-th multi-layer data. How to characterize.

delete

According to claim 1,
In step (a),
The k-th feature extraction apparatus extracts ground point data by filtering the point data for each layer included in the k-th multi-layer data, and generates k-th curb data with reference to the ground point data How to.

According to claim 1,
In step (b),
The object matching apparatus refers to line segment data for each layer in each of the clustering data for each first layer to the clustering data for each nth layer, and the first specific object and the second specific object of the first specific layer located in the overlapping area and generating the first object data to the nth object data by clustering a second specific object of a specific layer into the same object.

According to claim 1,
In step (a),
The k-th feature extracting apparatus may include (i) a first reference value in which a distance value from a previous point in each of the first to p-th points corresponding to objects included in each layer of the k-th multi-layer data is preset As a result of checking whether it is equal to or greater than the previous point, if points having a distance value greater than or equal to the first reference value are identified, the first point is designated as a first starting point, and points having a distance value greater than or equal to the first reference value are selected as the first point. Designated as the second starting point to the j-th starting point, and designating the immediately preceding points of the points whose distance value to the previous point is equal to or greater than the first reference value as the first break point to the (j-1) break point, and designate the p point as the j-th breakpoint, (ii) in each of the layers, i - the i is an integer greater than or equal to 1 and less than or equal to the j - Among the points between the start point and the i-th breakpoint, the i-th A specific point having a maximum distance value between a starting point and an i-th line segment connecting the i-th break point is checked, and it is checked whether the maximum distance value between the specific point and the i-th line segment is equal to or greater than a preset second reference value and, when the maximum distance value between the specific point and the i-th line segment is equal to or greater than the second reference value, the specific point is designated as a corner point, and (iii) in each layer, the i-th start point and the corner point It is checked whether second distance values between each of the points and a line segment connecting the i-th starting point and the corner point are less than the second reference value, and when the second distance values are less than the second reference value, the A line segment connecting the i-th start point and the corner point is set as a feature line of the i-th object, and each of the points between the corner point and the i-th break point, and a line segment connecting the corner point and the i-th break point It is checked whether the third distance values are less than the second reference value, and when the third distance values are less than the second reference value, By setting a line segment connecting the corner point and the i-th break point as the feature line of the i-th object, the k-th layer-specific clustering data including line segment data that is the feature line of the i-th object is generated. How to.

7. The method of claim 6,
In step (b),
The object matching apparatus is configured to, when a start point and a break point of a feature line of each of the first specific object of the first specific layer and the second specific object of the second specific layer are not the same, the first specific layer and the second The difference in height of the specific layer is equal to or less than a third reference value, and the first feature line of the first specific object of the first specific layer and the second feature line of the second specific object of the second specific layer are spaced apart from each other If the distance is equal to or less than a fourth reference value, clustering is performed as the same object.

In a system for processing multi-layer data of multi-lidar,
The first LiDAR sensor mounted at the first position to the nth mounted at the nth position - The n is an integer greater than or equal to 1 - When the first multi-layer data to the n-th multi-layer data are obtained from each LiDAR sensor, the 1 LiDAR sensor to the nth LiDAR sensor as any one of the first feature extraction device to the nth feature extraction device interlocked, respectively, kth - The k is an integer of 1 or more and n or less - Multi a kth feature extracting apparatus for clustering layer data for each layer to generate kth layer clustering data; and
When clustering data for each first layer to clustering data for each nth layer is obtained from each of the first feature extracting apparatus to the nth feature extracting apparatus, the clustering data for each first layer to the clustering data for each nth layer in each of the clustering data for each layer an object matching apparatus generating first object data to n-th object data by clustering the clustering data for each layer, and generating peripheral object data by combining the first object data to the n-th object data;
including,
The k-th feature extraction apparatus extracts line segment data for each layer by clustering the point data for each layer included in the k-th multi-layer data for each layer, and the k-th layer clustering including the line segment data for each layer create data,
The object matching apparatus generates the first object data to the nth object data by clustering line segment data for each layer in each of the clustering data for each first layer to the clustering data for each nth layer, and the first object combining data to the n-th object data to generate the surrounding object data,
The k-th layer-specific clustering data further includes unclustered point data,
The object matching apparatus generates first line segmentation data to nth line segmentation data by clustering the unclustered point data per layer in each of the clustering data per layer to the clustering data per nth layer, generating the surrounding object data by combining the k object data and the kth segmentation data, respectively;
The unclustered point data is point data that is not extracted as line segment data for each layer by each of the first to the nth feature extracting apparatus among the first multi-layer data to the n-th multi-layer data. A system that processes multi-layer data of multiple lidars.

delete

9. The method of claim 8,
The k-th feature extraction apparatus extracts ground point data by filtering the point data for each layer included in the k-th multi-layer data, and generates k-th curb data with reference to the ground point data system that does.

9. The method of claim 8,
The object matching apparatus refers to line segment data for each layer in each of the clustering data for each first layer to the clustering data for each nth layer, and the first specific object and the second specific object of the first specific layer located in the overlapping area and generating the first object data to the nth object data by clustering a second specific object of a specific layer into the same object.

9. The method of claim 8,
The k-th feature extracting apparatus may include (i) a first reference value in which a distance value from a previous point in each of the first to p-th points corresponding to objects included in each layer of the k-th multi-layer data is preset As a result of checking whether it is equal to or greater than the previous point, if points having a distance value greater than or equal to the first reference value are identified, the first point is designated as a first starting point, and points having a distance value greater than or equal to the first reference value are selected as the first point. Designated as the second starting point to the j-th starting point, and designating the immediately preceding points of the points whose distance value to the previous point is equal to or greater than the first reference value as the first break point to the (j-1) break point, and designate the p point as the j-th breakpoint, (ii) in each of the layers, i - the i is an integer greater than or equal to 1 and less than or equal to the j - Among the points between the start point and the i-th breakpoint, the i-th A specific point having a maximum distance value between a starting point and an i-th line segment connecting the i-th break point is checked, and it is checked whether the maximum distance value between the specific point and the i-th line segment is equal to or greater than a preset second reference value and, when the maximum distance value between the specific point and the i-th line segment is equal to or greater than the second reference value, the specific point is designated as a corner point, and (iii) in each layer, the i-th start point and the corner point It is checked whether second distance values between each of the points and a line segment connecting the i-th starting point and the corner point are less than the second reference value, and when the second distance values are less than the second reference value, the A line segment connecting the i-th start point and the corner point is set as a feature line of the i-th object, and each of the points between the corner point and the i-th break point, and a line segment connecting the corner point and the i-th break point It is checked whether the third distance values are less than the second reference value, and when the third distance values are less than the second reference value, By setting a line segment connecting the corner point and the i-th break point as the feature line of the i-th object, the k-th layer-specific clustering data including line segment data that is the feature line of the i-th object is generated. system that does.

14. The method of claim 13,
The object matching apparatus is configured to, when a start point and a break point of a feature line of each of the first specific object of the first specific layer and the second specific object of the second specific layer are not the same, the first specific layer and the second The difference in height of the specific layer is equal to or less than a third reference value, and the first feature line of the first specific object of the first specific layer and the second feature line of the second specific object of the second specific layer are spaced apart from each other If the distance is less than or equal to a predetermined fourth reference value, the system is characterized in that the clustering of the same object.