KR20210039244A - Method and system for processing multi layer data of respective multi lidars - Google Patents

Method and system for processing multi layer data of respective multi lidars Download PDF

Info

Publication number
KR20210039244A
KR20210039244A KR1020190121852A KR20190121852A KR20210039244A KR 20210039244 A KR20210039244 A KR 20210039244A KR 1020190121852 A KR1020190121852 A KR 1020190121852A KR 20190121852 A KR20190121852 A KR 20190121852A KR 20210039244 A KR20210039244 A KR 20210039244A
Authority
KR
South Korea
Prior art keywords
data
layer
point
specific
clustering
Prior art date
Application number
KR1020190121852A
Other languages
Korean (ko)
Other versions
KR102320920B1 (en
Inventor
오영철
한지형
허명선
유병용
Original Assignee
(주) 오토노머스에이투지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 오토노머스에이투지 filed Critical (주) 오토노머스에이투지
Priority to KR1020190121852A priority Critical patent/KR102320920B1/en
Publication of KR20210039244A publication Critical patent/KR20210039244A/en
Application granted granted Critical
Publication of KR102320920B1 publication Critical patent/KR102320920B1/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/4912Receivers
    • G01S7/4913Circuits for detection, sampling, integration or read-out
    • G01S7/4914Circuits for detection, sampling, integration or read-out of detector arrays, e.g. charge-transfer gates
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/491Details of non-pulse systems
    • G01S7/493Extracting wanted echo signals

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to a method and a system for processing multilayer data of multiple lidars. The method includes: (a) a step in which a kth feature extraction device (k is an integer of 1 or more and n or less) as one of first to nth feature extraction devices respectively interworking with first to nth lidar sensors clusters kth multilayer data by layer to generate kth layer-specific clustering data when first to nth multilayer data are respectively acquired from the first to nth lidar sensors (n is an integer of 1 or more); and (b) a step in which an object matching device clusters respective layer-specific clustering data in first to nth layer-specific clustering data to generate first to nth object data and combines the first to nth object data to generate surrounding object data when the first to nth layer-specific clustering data are respectively acquired from the first to nth feature extraction devices.

Description

다중 라이다의 멀티 레이어 데이터를 처리하는 방법 및 이를 이용한 시스템{METHOD AND SYSTEM FOR PROCESSING MULTI LAYER DATA OF RESPECTIVE MULTI LIDARS}A method of processing multi-layer data of a multi-layer and a system using the same {METHOD AND SYSTEM FOR PROCESSING MULTI LAYER DATA OF RESPECTIVE MULTI LIDARS}

본 발명은 다중 라이다의 멀티 레이어 데이터를 처리하는 방법 및 이를 이용한 시스템에 관한 것이다.The present invention relates to a method of processing multi-layer data of a multi-lidar and a system using the same.

라이다(LiDAR: Light Detection And Ranging)는 고출력의 펄스 레이저를 이용하여 물체에 반사되어 돌아오는 레이저 빔의 시간을 측정하여 거리정보를 획득하는 기술로, 자율주행자동차, 지구환경 관측, 대기분석, 및 무인기기 등 다양한 분야에 활용되고 있다.LiDAR (Light Detection And Ranging) is a technology that acquires distance information by measuring the time of a laser beam reflected and returned from an object using a high-power pulsed laser. And unmanned devices.

최근에는 3D 리버스 엔지니어링, 자율주행 및 무인자동차를 위한 레이저 스캐너 및 3D 영상 카메라의 핵심 기술로 활용되면서 그 활용성과 중요성이 점차 증가되고 있다.In recent years, as it is used as a core technology for 3D reverse engineering, laser scanners and 3D image cameras for autonomous driving and unmanned vehicles, its utility and importance are gradually increasing.

특히, 자율주행 자동차에서는 다양한 안전 서비스 지원을 위한 주변 관측을 위하여, 하나의 레이어만 가지고 오브젝트를 측정하는 실내 로봇 등과는 달리, 도로의 경사, 구배 등을 감안해서 강건하게 측정하기 위하여 멀티 레이어 형태로 구성되어 있다.In particular, in self-driving cars, unlike indoor robots that measure objects with only one layer, for observing the surroundings to support various safety services, it is in the form of a multi-layer in order to measure robustly in consideration of the slope and gradient of the road. Consists of.

이러한 멀티 레이어 라이다에서는 그리드 맵 방식을 이용하여 멀티 레이어 데이터를 투영시켜 오브젝트의 군집화 및 추적을 하고 있다.In such a multi-layer lidar, objects are clustered and tracked by projecting multi-layer data using a grid map method.

그리고, 라이다 센서의 노이즈 때문에 라이다 센서에서 출력되는 포인트 데이터를 군집화하여 하나의 오브젝트에서 몇 개의 포인트 이상일 경우에 오브젝트로 인식하고 있다.In addition, point data output from the lidar sensor is clustered because of noise from the lidar sensor, and when there are more than a few points in one object, it is recognized as an object.

따라서, 라이다 센서의 오브젝트 인식 성능은 안정적일 수 없으며, 인식 성능은 광원의 최대 인지 거리에 비하여 매우 짧다. 특히, 작은 물체를 정확히 인지하지 못하는 문제점이 있다.Therefore, the object recognition performance of the lidar sensor cannot be stable, and the recognition performance is very short compared to the maximum recognition distance of the light source. In particular, there is a problem in not accurately recognizing small objects.

일례로, 라이다 센서를 장착한 자율주행 자동차의 경우 도로 공사 구간의 라바콘이나 보행자 등과 같은 작은 물체를 사전에 인지하지 못하여 자율주행 자동차의 회피 거동에 필요한 시간을 확보할 수 없어 다양한 사고를 발생하는 문제점이 있다.For example, in the case of an autonomous vehicle equipped with a lidar sensor, a variety of accidents can occur because the time required for the avoidance behavior of the autonomous vehicle cannot be secured because small objects such as rabac or pedestrians in the road construction section cannot be recognized in advance. There is a problem.

한편, 라이다 센서의 인지 성능을 높이기 위해서는 더 비싼 광원을 사용하거나 해상도를 높여야 하지만, 인지 성능을 극대화하기 위해서 비싼 장비를 사용하여야 한다는 문제점이 있다.On the other hand, in order to increase the recognition performance of the lidar sensor, a more expensive light source or resolution must be increased, but there is a problem in that expensive equipment must be used to maximize the recognition performance.

또한, 자율주행 자동차에서는 가능의 안정성을 위해서 다수의 라이다 센서를 장착해서 인지 성능을 높이고 있다.In addition, in self-driving cars, a number of lidar sensors are installed to increase cognitive performance for possible stability.

하지만, 라이다 센서로 오브젝트를 인식하기 위해서는 포인트 데이터에서 지면 제거, 같은 오브젝트로 측정된 포인트들을 하나로 묶는 클러스터링, 및 이전 프레임과 비교하여 오브젝트의 속도 등을 추출하는 많은 연산과정이 필요하다.However, in order to recognize an object with a lidar sensor, it is necessary to remove the ground from the point data, clustering that points measured by the same object as one, and to extract the speed of the object compared to the previous frame.

따라서, 적은 수의 라이다 센서를 사용할 경우에는 연산량이 크게 부담되지 않지만, 다수의 라이다 센서를 사용할 경우에는 실시간 처리를 위해서 고성능의 컴퓨팅 리소스를 필요로 한다.Therefore, when a small number of lidar sensors are used, the computational amount is not very burdensome, but when multiple lidar sensors are used, high-performance computing resources are required for real-time processing.

특히, 현재 여러 개의 라이다 센서들의 신호를 처리하면서 자율주행에 필요한 정밀 위치 인지, 주행 전략 생성, 및 제어를 동시에 처리할 수 있는 컴퓨팅 리소스, 가령, ECU는 고가이며, 리던던시까지 확보하여야 하는 자율주행 자동차의 경우에는 2개의 ECU를 구비하여야 하므로 비용이 증가하게 되며, 그에 따라 라이다 센서를 적용한 자율주행 자동차를 양산하는 데 어려움이 있다.In particular, computing resources that can simultaneously process precise location recognition, driving strategy generation, and control required for autonomous driving while processing signals from multiple LiDAR sensors, such as ECUs are expensive, and autonomous driving that must secure redundancy. In the case of a car, it is necessary to have two ECUs, so the cost increases, and accordingly, it is difficult to mass-produce an autonomous vehicle to which a lidar sensor is applied.

본 발명은 상술한 문제점을 모두 해결하는 것을 목적으로 한다.It is an object of the present invention to solve all of the above-described problems.

또한, 본 발명은, 고성능의 ECU(Electronic Control Unit)를 사용하지 않고도, 각각의 라이다 센서에 연동된 상대적으로 저렴한 ECU를 사용하여 라이다 센서의 인지 성능을 향상시키는 것을 다른 목적으로 한다.In addition, another object of the present invention is to improve the recognition performance of a lidar sensor by using a relatively inexpensive ECU linked to each lidar sensor without using a high-performance electronic control unit (ECU).

또한, 본 발명은, 각각의 라이다 센서에 연동된 ECU가 각각의 라이다 센서로부터의 데이터를 전처리함으로써 네트워크를 통한 데이터의 전송량을 감소시키는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to reduce the amount of data transmitted through a network by pre-processing data from each lidar sensor by an ECU linked to each lidar sensor.

또한, 본 발명은, 비싼 광원을 사용하거나 해상도를 높이지 않고도 라이다 센서의 인지 성능을 향상시키는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to improve the recognition performance of a lidar sensor without using an expensive light source or increasing the resolution.

또한, 본 발명은, 라이다 센서에서 작은 물체를 용이하게 인지할 수 있도록 하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to allow a lidar sensor to easily recognize a small object.

또한, 본 발명은 라이다 센서에서 원거리에 위치하는 물체를 용이하게 인지할 수 있도록 하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to enable a lidar sensor to easily recognize an object located at a distance.

또한, 본 발명은 라이다 센서의 인지 성능을 안정적으로 유지하는 것을 또 다른 목적으로 한다.In addition, another object of the present invention is to stably maintain the cognitive performance of the lidar sensor.

상기한 바와 같은 본 발명의 목적을 달성하고, 후술하는 본 발명의 특징적인 효과를 실현하기 위한 본 발명의 특징적인 구성은 다음과 같다.A characteristic configuration of the present invention for achieving the object of the present invention as described above and realizing the characteristic effects of the present invention to be described later is as follows.

본 발명의 일 태양에 따르면, 다중 라이다의 멀티 레이어 데이터를 처리하는 방법에 있어서, (a) 제1 라이다 센서 내지 제n - 상기 n은 1 이상의 정수임 - 라이다 센서 각각으로부터 제1 멀티 레이어 데이터 내지 제n 멀티 레이어 데이터가 획득되면, 상기 제1 라이다 센서 내지 상기 제n 라이다 센서에 각각 연동되는 제1 피처 추출 장치 내지 제n 피처 추출 장치 중 어느 하나인 제k - 상기 k는 1 이상 n 이하의 정수임 - 피처 추출 장치가, 제k 멀티 레이어 데이터를 각각의 레이어별로 클러스터링하여 제k 레이어별 클러스터링 데이터를 생성하는 단계; 및 (b) 상기 제1 피처 추출 장치 내지 상기 제n 피처 추출 장치 각각으로부터 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터가 획득되면, 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 클러스터링 데이터를 클러스터링하여 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 생성하며, 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 결합하여 주변 오브젝트 데이터를 생성하는 단계;를 포함하는 방법이 개시된다.According to an aspect of the present invention, in a method of processing multi-layer data of multiple lidars, (a) a first lidar sensor to nth-n is an integer greater than or equal to 1-a first multilayer from each of the lidar sensors When data to n-th multi-layer data are acquired, the k-th k being any one of the first to n-th feature extraction devices linked to the first to n-th lidar sensors, respectively,-the k is 1 An integer equal to or less than n-generating, by the feature extraction apparatus, clustering data for each kth layer by clustering the kth multi-layer data for each layer; And (b) when clustering data for each first layer to clustering data for each n-th layer are obtained from each of the first to the n-th feature extracting devices, the object matching device includes: Generating first object data to n-th object data by clustering clustering data for each layer in each of the n-th layer clustering data, and generating surrounding object data by combining the first object data to the n-th object data A method comprising; is disclosed.

일례로서, 상기 (a) 단계에서, 상기 제k 피처 추출 장치가, 상기 제k 멀티 레이어 데이터에 포함된 레이어별 포인트 데이터들을 각각의 레이어별로 클러스터링하여 레이어별 선분 데이터를 추출하고, 상기 레이어별 선분 데이터를 포함하는 상기 제k 레이어별 클러스터링 데이터를 생성하고, 상기 (b) 단계에서, 상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 클러스터링하여 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 생성하며, 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 결합하여 상기 주변 오브젝트 데이터를 생성하는 것을 특징으로 하는 방법이 개시된다.As an example, in step (a), the k-th feature extraction apparatus extracts line segment data for each layer by clustering point data for each layer included in the k-th multi-layer data for each layer, and extracts the line segment data for each layer. The clustering data for each k-th layer including data is generated, and in step (b), the object matching device includes line segment data for each layer in each of the clustering data for each of the first layer to the clustering data for each of the n-th layers. A method is disclosed, wherein the first object data to the n-th object data are generated by clustering the first object data to the n-th object data, and the surrounding object data is generated by combining the first object data to the n-th object data.

일례로서, 상기 제k 레이어별 클러스터링 데이터는 언클러스터링된 포인트 데이터들을 더 포함하며, 상기 (b) 단계에서, 상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 언클러스터링된 포인트 데이터들을 클러스터링하여 제1 선분화 데이터 내지 제n 선분화 데이터를 생성하며, 제k 오브젝트 데이터 및 제k 선분화 데이터를 각각 결합하여 상기 주변 오브젝트 데이터를 생성하는 것을 특징으로 하는 방법이 개시된다.As an example, the k-th layer-specific clustering data further includes unclustered point data, and in step (b), the object matching device includes: the first layer-specific clustering data to the n-th layer-specific clustering data, respectively. The unclustered point data for each layer in is clustered to generate the first line segmentation data to the nth line segmentation data, and the neighboring object data is generated by combining the kth object data and the kth line segmentation data, respectively. A method of doing this is disclosed.

일례로서, 상기 (a) 단계에서, 상기 제k 피처 추출 장치가, 상기 제k 멀티 레이어 데이터에 포함된 상기 레이어별 포인트 데이터를 필터링하여 지면 포인트 데이터들을 추출하고, 상기 지면 포인트 데이터들을 참조로 하여 제k 연석 데이터를 생성하는 것을 특징으로 하는 방법이 개시된다.As an example, in step (a), the k-th feature extraction apparatus extracts ground point data by filtering the point data for each layer included in the k-th multi-layer data, and refers to the ground point data. A method is disclosed, characterized by generating k-th curb data.

일례로서, 상기 (b) 단계에서, 상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 참조하여, 중첩되는 영역에 위치하는 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트를 동일 오브젝트로 클러스터링함으로써 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 생성하는 것을 특징으로 하는 방법이 개시된다.As an example, in step (b), the object matching device refers to line segment data for each layer in each of the clustering data for each of the first layer to the clustering data for each n-th layer, Disclosed is a method comprising generating the first object data to the n-th object data by clustering a first specific object of a specific layer and a second specific object of a second specific layer into the same object.

일례로서, 상기 (a) 단계에서, 상기 제k 피처 추출 장치는, (i) 상기 제k 멀티 레이어 데이터의 각각의 레이어에 포함된 오브젝트들에 대응하는 제1 포인트 내지 제p 포인트 각각에서 직전 포인트와의 거리값이 기설정된 제1 기준값 이상인지를 확인한 결과, 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들이 확인되면, 상기 제1 포인트를 제1 시작 포인트로 지정하고, 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들을 제2 시작 포인트 내지 제j 시작 포인트로 지정하며, 상기 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들의 직전 포인트들을 제1 브레이크 포인트 내지 제(j-1) 브레이크 포인트로 지정하고, 상기 제p 포인트를 제j 브레이크 포인트로 지정하며, (ii) 상기 각각의 레이어에서, 제i - 상기 i는 1 이상 상기 j 이하의 정수임 - 시작 포인트와 제i 브레이크 포인트 사이의 포인트들 중, 상기 제i 시작 포인트와 상기 제i 브레이크 포인트를 연결하는 제i 선분 사이의 최대 거리값을 가지는 특정 포인트를 확인하고, 상기 특정 포인트와 상기 제i 선분 사이의 최대 거리값이 기설정된 제2 기준값 이상인지를 확인하며, 상기 특정 포인트와 상기 제i 선분 사이의 최대 거리값이 상기 제2 기준값 이상일 경우 상기 특정 포인트를 코너 포인트로 지정하며, (iii) 상기 각각의 레이어에서, 상기 제i 시작 포인트와 상기 코너 포인트 사이의 포인트들 각각과, 상기 제i 시작 포인트와 상기 코너 포인트를 연결하는 선분 사이의 제2 거리값들이 상기 제2 기준값 미만인지를 확인하며, 상기 제2 거리값들이 상기 제2 기준값 미만일 경우 상기 제i 시작 포인트와 상기 코너 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정하고, 상기 코너 포인트와 제i 브레이크 포인트 사이의 포인트들 각각과, 상기 코너 포인트와 제i 브레이크 포인트를 연결하는 선분 사이의 제3 거리값들이 상기 제2 기준값 미만인지를 확인하며, 상기 제3 거리값들이 상기 제2 기준값 미만일 경우 상기 코너 포인트와 제i 브레이크 포인트를 연결하는 선분을 상기 제i 오브젝트의 피처 라인으로 설정함으로써, 상기 제i 오브젝트의 피처 라인인 선분 데이터를 포함하는 상기 제k 레이어별 클러스터링 데이터를 생성하는 것을 특징으로 하는 방법이 개시된다.As an example, in the step (a), the k-th feature extraction apparatus includes: (i) a point immediately preceding each of the first to p-th points corresponding to objects included in each layer of the k-th multi-layer data As a result of checking whether the distance value with is equal to or greater than a preset first reference value, if points with a distance value of the immediately preceding point equal to or greater than the first reference value are identified, the first point is designated as a first starting point, and the distance between the point and the immediately preceding point is identified. Points having a distance value equal to or greater than the first reference value are designated as a second starting point to a j-th starting point, and points immediately preceding points having a distance value of the immediately preceding point equal to or greater than the first reference value are selected from the first break point to the (j-th). 1) Designate a break point, and designate the p-th point as a j-th break point, and (ii) in each of the layers, i-th i is an integer greater than or equal to 1 and less than or equal to j-a start point and an i-th break Among points between points, a specific point having a maximum distance value between the i-th starting point and the i-th line segment connecting the ith break point is identified, and a maximum distance value between the specific point and the i-th line segment It is checked whether it is equal to or greater than the preset second reference value, and when the maximum distance value between the specific point and the i-th line segment is equal to or greater than the second reference value, the specific point is designated as a corner point, and (iii) in each of the layers , It is checked whether the second distance values between each of the points between the i-th starting point and the corner point and a line segment connecting the i-th starting point and the corner point are less than the second reference value, and the second When distance values are less than the second reference value, a line segment connecting the i-th start point and the corner point is set as a feature line of the i-th object, and each of the points between the corner point and the i-th break point, and the corner It is checked whether third distance values between the line segment connecting the point and the i-th break point are less than the second reference value, and the third distance values If this is less than the second reference value, clustering for each k-th layer including line segment data that is a feature line of the i-th object by setting a line segment connecting the corner point and the i-th break point as a feature line of the i-th object A method characterized by generating data is disclosed.

일례로서, 상기 (b) 단계에서, 상기 오브젝트 매칭 장치는, 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트 각각의 피처 라인의 시작 포인트와 브레이크 포인트가 동일하지 않을 경우, 상기 제1 특정 레이어와 상기 제2 특정 레이어의 높이 차가 기설정된 제3 기준값 이하이며, 상기 제1 특정 레이어의 상기 제1 특정 오브젝트의 제1 피처 라인과 상기 제2 특정 레이어의 상기 제2 특정 오브젝트의 제2 피처 라인의 기울기와 이격 거리가 기설정된 제4 기준값 이하이면 동일 오브젝트로 클러스터링하는 것을 특징으로 하는 방법이 개시된다.As an example, in the step (b), the object matching device, when the first specific object of the first specific layer and the second specific object of the second specific layer are not the same as the start point and the break point of the feature line , A height difference between the first specific layer and the second specific layer is equal to or less than a predetermined third reference value, and the first feature line of the first specific object of the first specific layer and the second specific layer of the second specific layer Disclosed is a method comprising clustering into the same object when the slope and the separation distance of the second feature line of the object are less than or equal to a preset fourth reference value.

본 발명의 다른 태양에 따르면, 다중 라이다의 멀티 레이어 데이터를 처리하는 시스템에 있어서, 제1 라이다 센서 내지 제n - 상기 n은 1 이상의 정수임 - 라이다 센서 각각으로부터 제1 멀티 레이어 데이터 내지 제n 멀티 레이어 데이터가 획득되면, 상기 제1 라이다 센서 내지 상기 제n 라이다 센서에 각각 연동되는 제1 피처 추출 장치 내지 제n 피처 추출 장치 중 어느 하나인 피처 추출 장치로서, 제k - 상기 k는 1 이상 상기 n 이하의 정수임 - 멀티 레이어 데이터를 각각의 레이어별로 클러스터링하여 제k 레이어별 클러스터링 데이터를 생성하는 제k 피처 추출 장치; 및 상기 제1 피처 추출 장치 내지 상기 제n 피처 추출 장치 각각으로부터 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터가 획득되면, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 클러스터링 데이터를 클러스터링하여 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 생성하며, 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 결합하여 주변 오브젝트 데이터를 생성하는 오브젝트 매칭 장치;를 포함하는 다중 라이다의 멀티 레이어 데이터를 처리하는 시스템이 개시된다.According to another aspect of the present invention, in a system for processing multi-layer data of multiple lidar, the first lidar sensor to nth-the n is an integer greater than or equal to 1-the first multilayer data to the first multilayer data from each of the lidar sensors When n multi-layer data is obtained, a feature extraction device that is any one of a first feature extraction device to an nth feature extraction device linked to the first lidar sensor to the nth lidar sensor, wherein k-k Is an integer equal to or greater than 1 and equal to or less than n-a k-th feature extraction apparatus for clustering multi-layer data for each layer to generate clustering data for each k-th layer; And when clustering data for each first layer to clustering data for each n-th layer are obtained from each of the first feature extraction device to the n-th feature extraction device, each of the clustering data for each first layer to the clustering data for each n-th layer An object matching device that generates first object data to n-th object data by clustering the clustering data for each of the layers, and generates surrounding object data by combining the first object data to the n-th object data; A system for processing multi-layer data of Ida is disclosed.

일례로서, 상기 제k 피처 추출 장치가, 상기 제k 멀티 레이어 데이터에 포함된 레이어별 포인트 데이터들을 각각의 레이어별로 클러스터링하여 레이어별 선분 데이터를 추출하고, 상기 레이어별 선분 데이터를 포함하는 상기 제k 레이어별 클러스터링 데이터를 생성하고, 상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 클러스터링하여 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 생성하며, 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 결합하여 상기 주변 오브젝트 데이터를 생성하는 것을 특징으로 하는 시스템이 개시된다.As an example, the k-th feature extraction apparatus extracts line segment data for each layer by clustering point data for each layer included in the k-th multi-layer data for each layer, and the k-th including the line segment data for each layer. The clustering data for each layer is generated, and the object matching device clusters line segment data for each layer in each of the clustering data for each of the first layer to the clustering data for each of the n-th layers, and the first object data to the n-th object data And generating the surrounding object data by combining the first object data to the n-th object data.

일례로서, 상기 제k 레이어별 클러스터링 데이터는 언클러스터링된 포인트 데이터들을 더 포함하며, 상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 언클러스터링된 포인트 데이터들을 클러스터링하여 제1 선분화 데이터 내지 제n 선분화 데이터를 생성하며, 제k 오브젝트 데이터 및 제k 선분화 데이터를 각각 결합하여 상기 주변 오브젝트 데이터를 생성하는 것을 특징으로 하는 시스템이 개시된다.As an example, the k-th layer-specific clustering data further includes unclustered point data, and the object matching device is unclustered for each layer in each of the first layer-specific clustering data to the n-th layer-specific clustering data. A system is disclosed, wherein point data are clustered to generate first to n-th line segmentation data, and to generate the surrounding object data by combining kth object data and kth line segmentation data, respectively.

일례로서, 상기 제k 피처 추출 장치가, 상기 제k 멀티 레이어 데이터에 포함된 상기 레이어별 포인트 데이터를 필터링하여 지면 포인트 데이터들을 추출하고, 상기 지면 포인트 데이터들을 참조로 하여 제k 연석 데이터를 생성하는 것을 특징으로 하는 시스템이 개시된다.As an example, the k-th feature extraction apparatus extracts ground point data by filtering the point data for each layer included in the k-th multi-layer data, and generates k-th curb data by referring to the ground point data. Disclosed is a system, characterized in that.

일례로서, 상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 참조하여, 중첩되는 영역에 위치하는 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트를 동일 오브젝트로 클러스터링함으로써 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 생성하는 것을 특징으로 하는 시스템이 개시된다.As an example, the object matching device refers to the line segment data for each layer in each of the clustering data for each of the first layer to the clustering data for each of the n-th layers, and a first specific object of a first specific layer positioned in an overlapping area. And a second specific object of a second specific layer are clustered into the same object to generate the first object data to the n-th object data.

일례로서, 상기 제k 피처 추출 장치는, (i) 상기 제k 멀티 레이어 데이터의 각각의 레이어에 포함된 오브젝트들에 대응하는 제1 포인트 내지 제p 포인트 각각에서 직전 포인트와의 거리값이 기설정된 제1 기준값 이상인지를 확인한 결과, 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들이 확인되면, 상기 제1 포인트를 제1 시작 포인트로 지정하고, 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들을 제2 시작 포인트 내지 제j 시작 포인트로 지정하며, 상기 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들의 직전 포인트들을 제1 브레이크 포인트 내지 제(j-1) 브레이크 포인트로 지정하고, 상기 제p 포인트를 제j 브레이크 포인트로 지정하며, (ii) 상기 각각의 레이어에서, 제i - 상기 i는 1 이상 상기 j 이하의 정수임 - 시작 포인트와 제i 브레이크 포인트 사이의 포인트들 중, 상기 제i 시작 포인트와 상기 제i 브레이크 포인트를 연결하는 제i 선분 사이의 최대 거리값을 가지는 특정 포인트를 확인하고, 상기 특정 포인트와 상기 제i 선분 사이의 최대 거리값이 기설정된 제2 기준값 이상인지를 확인하며, 상기 특정 포인트와 상기 제i 선분 사이의 최대 거리값이 상기 제2 기준값 이상일 경우 상기 특정 포인트를 코너 포인트로 지정하며, (iii) 상기 각각의 레이어에서, 상기 제i 시작 포인트와 상기 코너 포인트 사이의 포인트들 각각과, 상기 제i 시작 포인트와 상기 코너 포인트를 연결하는 선분 사이의 제2 거리값들이 상기 제2 기준값 미만인지를 확인하며, 상기 제2 거리값들이 상기 제2 기준값 미만일 경우 상기 제i 시작 포인트와 상기 코너 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정하고, 상기 코너 포인트와 제i 브레이크 포인트 사이의 포인트들 각각과, 상기 코너 포인트와 제i 브레이크 포인트를 연결하는 선분 사이의 제3 거리값들이 상기 제2 기준값 미만인지를 확인하며, 상기 제3 거리값들이 상기 제2 기준값 미만일 경우 상기 코너 포인트와 제i 브레이크 포인트를 연결하는 선분을 상기 제i 오브젝트의 피처 라인으로 설정함으로써, 상기 제i 오브젝트의 피처 라인인 선분 데이터를 포함하는 상기 제k 레이어별 클러스터링 데이터를 생성하는 것을 특징으로 하는 시스템이 개시된다.As an example, the k-th feature extraction apparatus may include: (i) a distance value from a first point to a p-th point corresponding to objects included in each layer of the k-th multi-layer data is preset As a result of checking whether it is equal to or greater than the first reference value, if points with a distance value of the immediately preceding point equal to or greater than the first reference value are identified, the first point is designated as the first starting point, and the distance value with the immediately preceding point is the first reference value. Points that are greater than or equal to the second starting point to the j-th starting point are designated, and points immediately preceding the points having a distance value of the immediately preceding point equal to or greater than the first reference value are designated as the first break point to the (j-1)th break point, and , Designating the p-th point as a j-th break point, and (ii) in each of the layers, i-th-the i is an integer of 1 or more and less than or equal to j-among points between a start point and an i-th break point, A specific point having a maximum distance value between the i-th line segment connecting the i-th start point and the i-th line segment is identified, and the maximum distance value between the specific point and the i-th line segment is greater than or equal to a preset second reference value If the maximum distance value between the specific point and the i-th line segment is greater than or equal to the second reference value, the specific point is designated as a corner point, and (iii) in each of the layers, the i-th starting point and the It is checked whether second distance values between each of the points between the corner points and a line segment connecting the i-th starting point and the corner point are less than the second reference value, and the second distance values are the second reference value If less than, the line segment connecting the i-th start point and the corner point is set as a feature line of the i-th object, and each of the points between the corner point and the i-th break point, and the corner point and the i-th break point are set. It is checked whether third distance values between the connected line segments are less than the second reference value, and the third distance values are not the second reference value. In this case, by setting the line segment connecting the corner point and the i-th break point as a feature line of the i-th object, generating clustering data for each k-th layer including line segment data that is a feature line of the i-th object A system is disclosed.

일례로서, 상기 오브젝트 매칭 장치는, 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트 각각의 피처 라인의 시작 포인트와 브레이크 포인트가 동일하지 않을 경우, 상기 제1 특정 레이어와 상기 제2 특정 레이어의 높이 차가 기설정된 제3 기준값 이하이며, 상기 제1 특정 레이어의 상기 제1 특정 오브젝트의 제1 피처 라인과 상기 제2 특정 레이어의 상기 제2 특정 오브젝트의 제2 피처 라인의 기울기와 이격 거리가 기설정된 제4 기준값 이하이면 동일 오브젝트로 클러스터링하는 것을 특징으로 하는 시스템이 개시된다.As an example, when the first specific object of the first specific layer and the second specific object of the second specific layer are not the same as the start point and the break point of the feature line, the object matching device The height difference of the second specific layer is equal to or less than a predetermined third reference value, and between a first feature line of the first specific object of the first specific layer and a second feature line of the second specific object of the second specific layer. If the slope and the separation distance are less than or equal to a preset fourth reference value, a system is disclosed in which clustering is performed with the same object.

본 발명에 의하면, 다음과 같은 효과가 있다.According to the present invention, the following effects are obtained.

본 발명은, 고성능의 ECU(Electronic Control Unit)를 사용하지 않고도, 각각의 라이다 센서에 연동된 상대적으로 저렴한 ECU를 사용하여 라이다 센서의 인지 성능을 향상시키는 효과가 있다.The present invention has an effect of improving the recognition performance of a lidar sensor by using a relatively inexpensive ECU linked to each lidar sensor without using a high-performance electronic control unit (ECU).

또한, 본 발명은, 각각의 라이다 센서에 연동된 ECU가 각각의 라이다 센서로부터의 데이터를 전처리함으로써 네트워크를 통한 데이터의 전송량을 감소시키는 효과가 있다.In addition, the present invention has the effect of reducing the amount of data transmission through the network by pre-processing data from each lidar sensor by the ECU linked to each lidar sensor.

또한, 본 발명은, 비싼 광원을 사용하거나 해상도를 높이지 않고도 라이다 센서의 인지 성능을 향상시키는 효과가 있다.In addition, the present invention has the effect of improving the recognition performance of the lidar sensor without using an expensive light source or increasing the resolution.

또한, 본 발명은, 라이다 센서에서 작은 물체를 용이하게 인지할 수 있도록 하는 효과가 있다.In addition, the present invention has the effect of allowing the lidar sensor to easily recognize a small object.

또한, 본 발명은 라이다 센서에서 원거리에 위치하는 물체를 용이하게 인지할 수 있도록 하는 효과가 있다.In addition, the present invention has the effect of allowing the lidar sensor to easily recognize an object located at a distance.

또한, 본 발명은 라이다 센서의 인지 성능을 안정적으로 유지하는 효과가 있다.In addition, the present invention has the effect of stably maintaining the cognitive performance of the lidar sensor.

도 1은 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 시스템을 개략적으로 도시한 것이고,
도 2는 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 방법을 개략적으로 도시한 것이고,
도 3는 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 방법에서 라이다로부터 획득되는 특정 레이어의 데이터를 개략적으로 도시한 것이고,
도 4 내지 도 11은 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 방법에 따라 특정 레이어 데이터를 클러스터링하는 상태를 개략적으로 도시한 것이고,
도 12 및 도 13은 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 방법에 따라 멀티 레이어 데이터를 클러스터링하는 상태를 개략적으로 도시한 것이고,
도 14는 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 방법에 따라, 언클러스터링된 포인트 데이터들을 클러스터링하는 방법을 개략적으로 도시한 것이다.
1 is a schematic diagram of a system for processing multi-layer data of a multi-layer according to an embodiment of the present invention,
2 schematically illustrates a method of processing multi-layer data of a multi-layer according to an embodiment of the present invention,
FIG. 3 schematically illustrates data of a specific layer obtained from a lidar in a method of processing multilayer data of a multiple lidar according to an embodiment of the present invention,
4 to 11 schematically illustrate a state of clustering specific layer data according to a method of processing multi-layer data of a multi-layer according to an embodiment of the present invention,
12 and 13 schematically illustrate a state of clustering multi-layer data according to a method of processing multi-layer data of a multi-layer according to an embodiment of the present invention.
14 schematically illustrates a method of clustering unclustered point data according to a method of processing multi-layer data of a multiple lidar according to an embodiment of the present invention.

후술하는 본 발명에 대한 상세한 설명은, 본 발명이 실시될 수 있는 특정 실시예를 예시로서 도시하는 첨부 도면을 참조한다. 이들 실시예는 당업자가 본 발명을 실시할 수 있기에 충분하도록 상세히 설명된다. 본 발명의 다양한 실시예는 서로 다르지만 상호 배타적일 필요는 없음이 이해되어야 한다. 예를 들어, 여기에 기재되어 있는 특정 형상, 구조 및 특성은 일 실시예에 관련하여 본 발명의 정신 및 범위를 벗어나지 않으면서 다른 실시예로 구현될 수 있다. 또한, 각각의 개시된 실시예 내의 개별 구성요소의 위치 또는 배치는 본 발명의 정신 및 범위를 벗어나지 않으면서 변경될 수 있음이 이해되어야 한다. 따라서, 후술하는 상세한 설명은 한정적인 의미로서 취하려는 것이 아니며, 본 발명의 범위는, 적절하게 설명된다면, 그 청구항들이 주장하는 것과 균등한 모든 범위와 더불어 첨부된 청구항에 의해서만 한정된다. 도면에서 유사한 참조부호는 여러 측면에 걸쳐서 동일하거나 유사한 기능을 지칭한다.DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS The detailed description of the present invention described below refers to the accompanying drawings, which illustrate specific embodiments in which the present invention may be practiced. These embodiments are described in detail sufficient to enable a person skilled in the art to practice the present invention. It should be understood that the various embodiments of the present invention are different from each other, but need not be mutually exclusive. For example, specific shapes, structures, and characteristics described herein may be implemented in other embodiments without departing from the spirit and scope of the present invention in relation to one embodiment. In addition, it should be understood that the location or arrangement of individual components within each disclosed embodiment may be changed without departing from the spirit and scope of the present invention. Accordingly, the detailed description to be described below is not intended to be taken in a limiting sense, and the scope of the present invention, if appropriately described, is limited only by the appended claims, along with all ranges equivalent to those claimed by the claims. Like reference numerals in the drawings refer to the same or similar functions over several aspects.

이하, 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 본 발명을 용이하게 실시할 수 있도록 하기 위하여, 본 발명의 바람직한 실시예들에 관하여 첨부된 도면을 참조하여 상세히 설명하기로 한다.Hereinafter, preferred embodiments of the present invention will be described in detail with reference to the accompanying drawings in order to enable those of ordinary skill in the art to easily implement the present invention.

도 1은 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 시스템을 개략적으로 도시한 것으로, 도 1을 참조하면, 시스템은 라이다 센서들(100), 피처 추출 장치들(200) 및 오브젝트 매칭 장치(300)를 포함할 수 있다.FIG. 1 schematically illustrates a system for processing multi-layer data of multiple liders according to an embodiment of the present invention. Referring to FIG. 1, the system includes lidar sensors 100 and feature extraction devices ( 200) and an object matching device 300 may be included.

먼저, 라이다 센서들(100)은 주변 전체에 대한 인식 성능을 높이기 위하여 복수 개, 즉, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n)로 구성되며, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n) 각각은 주변 지형 지물에 펄스 레이저를 발사하고, 반사된 레이저를 스캐너로 감지한 후 반사되어 되돌아오는 시간을 관측하여 대상물의 거리를 계산할 수 있다. 또한, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n) 각각은 상하로 일정 높이에 횡으로 레이저를 조사하고 그에 따른 피드백 신호를 수집할 수 있다. 이때, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n) 각각은 복수의 높이에서 횡으로 레이저를 조사하여, 멀티 레이어 형태의 센서 정보인 제1 멀티 레이어 데이터 내지 제n 멀티 레이어 데이터를 수집할 수 있다. 그리고, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n) 각각의 멀티 레이어 형태의 센서 정보, 즉, 멀티 레이어 데이터는 복수의 레이어 면에 배치된 복수개의 포인트 정보를 포함할 수 있다.First, the lidar sensors 100 are composed of a plurality of lidar sensors 100-1 to nth lidar sensors 100-n in order to increase the recognition performance of the entire surrounding area. 1 Each of the lidar sensor 100-1 to the nth lidar sensor 100-n emits a pulsed laser to the surrounding features, detects the reflected laser with a scanner, and observes the time to return to the object. Can calculate the distance of. In addition, each of the first to n-th lidar sensors 100-1 to 100-n may irradiate a laser horizontally at a predetermined height up and down and collect a feedback signal according thereto. At this time, each of the first to the nth lidar sensor 100-1 to the nth lidar sensor 100-n irradiates a laser horizontally at a plurality of heights, n Multi-layer data can be collected. In addition, the multi-layered sensor information of each of the first to n-th lidar sensors 100-1 to 100-n, that is, multi-layer data, includes information on a plurality of points arranged on a plurality of layer surfaces. Can include.

다음으로, 피처 추출 장치들(200)은 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n) 각각에 연동되는 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n)를 포함할 수 있으며, 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 각각, 즉, 제k 피처 추출 장치가 멀티 레이어 데이터를 각각의 레이어별로 클러스터링하여 제k 레이어별 클러스터링 데이터를 생성할 수 있다. 이때, k는 1 이상이며 n 이하인 정수일 수 있다.Next, the feature extraction devices 200 include first feature extraction devices 200-1 to n-th features linked to each of the first lidar sensors 100-1 to nth lidar sensors 100-n. It may include an extraction device (200-n), each of the first feature extraction device (200-1) to the n-th feature extraction device (200-n), that is, the k-th feature extraction device to each of the multi-layer data Clustering data for each k-th layer may be generated by clustering for each layer. In this case, k may be an integer greater than or equal to 1 and less than or equal to n.

한편, 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 각각은 메모리(201-1, 201-2, ..., 201-n) 및 프로세서(202-1, 202-2, ..., 202-n)를 포함할 수 있다. 본 발명의 방법이 컴퓨터 하드웨어 및 소프트웨어의 조합을 활용하여 구현될 것이라는 점은 통상의 기술자가 용이하게 이해할 수 있을 것이다.On the other hand, each of the first feature extraction device 200-1 to the n-th feature extraction device 200-n includes the memories 201-1, 201-2, ..., 201-n, and the processor 202-1, 202-2, ..., 202-n). It will be readily understood by those skilled in the art that the method of the present invention will be implemented utilizing a combination of computer hardware and software.

제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 각각의 메모리(201-1, 201-2, ..., 201-n)는 인스트럭션들을 저장할 수 있는데, 구체적으로, 인스트럭션들은 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n)로 하여금 특정의 방식으로 기능하게 하기 위한 컴퓨터 소프트웨어로서, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장될 수 있다. 인스트럭션들은 도면에 도시된 기능들을 실행하기 위한 프로세스들을 수행하는 것도 가능하다.The memories 201-1, 201-2, ..., 201-n of each of the first feature extraction device 200-1 to the n-th feature extraction device 200-n may store instructions, specifically , Instructions are computer software for causing the first feature extraction device 200-1 to the n-th feature extraction device 200-n to function in a specific manner, and may be directed to a computer or other programmable data processing equipment. May be stored in computer-usable or computer-readable memory. It is also possible for the instructions to perform processes for executing the functions shown in the figure.

또한, 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 각각의 프로세서(202-1, 202-2, ..., 202-n)는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.In addition, the processors 202-1, 202-2, ..., 202-n of each of the first feature extraction device 200-1 to the n-th feature extraction device 200-n are MPU (Micro Processing Unit) Alternatively, a hardware configuration such as a central processing unit (CPU), a cache memory, and a data bus may be included. In addition, it may further include an operating system and a software configuration of an application that performs a specific purpose.

다음으로, 오브젝트 매칭 장치(300)는 피처 추출 장치들(200), 즉, 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 각각으로부터 획득되는 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 클러스터링 데이터를 클러스터링하여 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 생성하며, 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 결합하여 주변 오브젝트 데이터를 생성하여 줄 수 있다.Next, the object matching device 300 performs clustering for each first layer obtained from each of the feature extraction devices 200, that is, the first feature extraction device 200-1 to the n-th feature extraction device 200-n. Clustering data for each layer in each of the data to n-th layer clustering data is clustered to generate first object data to n-th object data, and surrounding object data is generated by combining the first object data to n-th object data. I can.

한편, 오브젝트 매칭 장치(300)는 메모리(301) 및 프로세서(302)를 포함할 수 있다.Meanwhile, the object matching apparatus 300 may include a memory 301 and a processor 302.

이때, 오브젝트 매칭 장치(300)의 메모리(301)는 인스트럭션들을 저장할 수 있는데, 구체적으로, 인스트럭션들은 오브젝트 매칭 장치(300)로 하여금 특정의 방식으로 기능하게 하기 위한 컴퓨터 소프트웨어로서, 컴퓨터 또는 기타 프로그램 가능한 데이터 프로세싱 장비를 지향할 수 있는 컴퓨터 이용 가능 또는 컴퓨터 판독 가능 메모리에 저장될 수 있다. 인스트럭션들은 도면에 도시된 기능들을 실행하기 위한 프로세스들을 수행하는 것도 가능하다.At this time, the memory 301 of the object matching device 300 may store instructions. Specifically, the instructions are computer software for causing the object matching device 300 to function in a specific manner, and a computer or other programmable It may be stored in computer usable or computer readable memory that may be directed to data processing equipment. It is also possible for the instructions to perform processes for executing the functions shown in the figure.

또한, 오브젝트 매칭 장치(300)의 프로세서(302)는 MPU(Micro Processing Unit) 또는 CPU(Central Processing Unit), 캐쉬 메모리(Cache Memory), 데이터 버스(Data Bus) 등의 하드웨어 구성을 포함할 수 있다. 또한, 운영체제, 특정 목적을 수행하는 애플리케이션의 소프트웨어 구성을 더 포함할 수도 있다.In addition, the processor 302 of the object matching device 300 may include a hardware configuration such as a micro processing unit (MPU) or a central processing unit (CPU), a cache memory, and a data bus. . In addition, it may further include an operating system and a software configuration of an application that performs a specific purpose.

이와 같이 구성된 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 시스템을 이용하여 다중 라이다의 멀티 레이어 데이터를 처리하는 방법을 설명하면 아래와 같다.A method of processing multi-layer data of a multi-lider using the system for processing multi-layer data of a multi-lider according to an embodiment of the present invention configured as described above will be described below.

우선, 도 2의 흐름도를 참조하여 다중 라이다의 멀티 레이어 데이터를 처리하는 과정을 개략적으로 설명하겠다.First, a process of processing multi-layer data of a multi-lider will be schematically described with reference to the flowchart of FIG. 2.

먼저, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n) 각각은 펄스 레이저를 주변으로 발사하고, 반사된 레이저를 스캐너로 감지한 후 포인트 데이터인 제1 멀티 레이어 데이터 내지 제n 멀티 레이어 데이터를 전송한다. 이때, n은 1 이상의 정수일 수 있다.First, each of the first lidar sensor 100-1 to the nth lidar sensor 100-n emits a pulsed laser to the periphery, detects the reflected laser with a scanner, and then first multi-layer data, which is point data. To n-th multi-layer data. In this case, n may be an integer of 1 or more.

그러면, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n) 각각에 대응되는 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 각각은, 제1 라이다 센서(100-1)에서 전송된 제1 멀티 레이어 데이터 내지 제n 라이다 센서(100-n)에서 전송된 제n 멀티 레이어 데이터를 획득(S1)한다.Then, each of the first feature extraction device 200-1 to the nth feature extraction device 200-n corresponding to each of the first lidar sensor 100-1 to the nth lidar sensor 100-n , The first multilayer data transmitted from the first lidar sensor 100-1 to the nth multilayer data transmitted from the nth lidar sensor 100-n are acquired (S1 ).

그리고, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n)에 각각 연동되는 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 중 어느 하나인 제k 피처 추출 장치가, 제k 멀티 레이어 데이터를 각각의 레이어별로 클러스터링하여 제k 레이어별 클러스터링 데이터를 생성할 수 있다(S2). 이때, k는 1 이상 n 이하의 정수일 수 있다.In addition, any one of the first feature extraction device 200-1 to the nth feature extraction device 200-n that is linked to the first lidar sensor 100-1 to the nth lidar sensor 100-n, respectively One k-th feature extraction apparatus may cluster the k-th multi-layer data for each layer to generate clustering data for each k-th layer (S2). In this case, k may be an integer of 1 or more and n or less.

즉, 제k 멀티 레이어 데이터가 m개의 레이어 각각에 대한 포인트 데이터를 포함할 경우, 제k 피처 추출 장치는 m개의 레이어 각각에 대하여, 레이어에 포함된 포인트 데이터들을 클러스터링하여 제1 레이어 클러스터링 데이터 내지 제m 레이어 클러스터링 데이터를 생성함으로써 제k 레이어별 클러스터링 데이터를 생성할 수 있다.That is, when the k-th multi-layer data includes point data for each of m layers, the k-th feature extraction apparatus clusters point data included in the layer for each of the m layers, By generating m-layer clustering data, clustering data for each k-th layer may be generated.

이후, 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 각각으로부터 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터가 획득되면, 오브젝트 매칭 장치(300)가, 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 클러스터링 데이터를 클러스터링하여 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 생성할 수 있다(S3).Thereafter, when clustering data for each first layer to clustering data for each n-th layer are obtained from each of the first feature extraction apparatus 200-1 to the n-th feature extraction apparatus 200-n, the object matching apparatus 300, The first to nth object data may be generated by clustering the clustering data for each layer in each of the clustering data for each first layer to the clustering data for each n-th layer (S3).

즉, 제k 레이어별 클러스터링 데이터에서의 제1 레이어 클러스터링 데이터 내지 제n 레이어 클러스터링 데이터를 클러스터링, 일 예로, 각각의 레이어에서 생성된 오브젝트에 대한 선분 데이터들을 클러스터링하여 제k 오브젝트 데이터를 생성함으로써, 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 생성할 수 있다.That is, by clustering the first layer clustering data to the nth layer clustering data in the clustering data for each k-th layer, for example, by clustering line segment data for objects generated in each layer to generate the k-th object data, One to nth object data may be generated.

그리고, 오브젝트 매칭 장치(300)가, 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 결합하여 주변 오브젝트 데이터를 생성할 수 있다(S4).In addition, the object matching apparatus 300 may generate surrounding object data by combining the first object data to the n-th object data (S4).

즉, 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n)의 스캐닝 영역을 참조하여 중첩되는 스캐닝 영역에 대응되는 오브젝트 데이터를 병합하여 제1 라이다 센서(100-1) 내지 제n 라이다 센서(100-n)의 전체 스캐닝 영역에 위치하는 오브젝트들을 인식할 수 있도록 한다.That is, the object data corresponding to the overlapping scanning area is merged with reference to the scanning area of the first to nth lidar sensor 100-1 to the first lidar sensor 100-1. ) To the n-th lidar sensor 100-n to recognize objects located in the entire scanning area.

일례로, 주변 오브젝트 데이터란, 다중 라이다에 의해 수집되어 처리된 자율주행차량 주변 정보를 의미할 수 있다.As an example, the surrounding object data may mean information around the autonomous vehicle that has been collected and processed by multiple liders.

아래에서는 본 발명의 일 실시예에 따른 다중 라이다의 멀티 레이어 데이터를 처리하는 방법을 더 구체적으로 설명하겠다.Hereinafter, a method of processing multi-layer data of a multi-lider according to an embodiment of the present invention will be described in more detail.

먼저, 제k 피처 추출 장치는, 제k 멀티 레이어 데이터에 포함된 레이어별 포인트 데이터들을 각각의 레이어별로 클러스터링하여 레이어별 선분 데이터를 추출하고, 레이어별 선분 데이터를 포함하는 제k 레이어별 클러스터링 데이터를 생성할 수 있다. First, the k-th feature extraction apparatus extracts line segment data for each layer by clustering point data for each layer included in the k-th multi-layer data for each layer, and extracts clustering data for each k-th layer including the line segment data for each layer. Can be generated.

이때, 제k 멀티 레이어 데이터에 포함된 레이어별 포인트 데이터들에 대해서는 도 3을 참조하여 구체적으로 설명하겠다.In this case, point data for each layer included in the k-th multi-layer data will be described in detail with reference to FIG. 3.

제k 라이다 센서(100-k)는 복수의 높이에서 펄스 레이저를 주변 지형 지물에 횡으로 발사하고, 반사된 레이저를 스캐너로 감지한 후 멀티 레이어 데이터를 수집할 수 있다. 이때, 멀티 레이어 데이터는 복수의 레이어 각각에 배치된 포인트 데이터들을 포함할 수 있다. 다만, 도 3은 멀티 레이어 데이터 중 특정 레이어의 포인트 데이터들만을 예시적으로 도시한 것으로, 이러한 포인트 데이터들은 특정 레이어뿐만 아니라 각각의 레이어별로 획득될 수 있으며, 비록 라이다 센서(100-k)는 한 개만 도시되어 있으나 이에 한정되지 않으며 복수의 라이다 센서(100-1, 100-2, ..., 100-n)에 의해 복수의 멀티 레이어 데이터가 수집될 수도 있다.The k-th lidar sensor 100-k may horizontally emit a pulsed laser from a plurality of heights to surrounding features, detect the reflected laser with a scanner, and collect multi-layer data. In this case, the multi-layer data may include point data disposed on each of the plurality of layers. However, FIG. 3 exemplarily shows only point data of a specific layer among multi-layer data. Such point data may be obtained not only for a specific layer but also for each layer, although the lidar sensor 100-k Only one is shown, but the present invention is not limited thereto, and a plurality of multi-layer data may be collected by the plurality of lidar sensors 100-1, 100-2, ..., 100-n.

그리고, 레이어별 포인트 데이터들을 각각의 레이어별로 클러스터링 하여 레이어별 선분 데이터를 추출하는 방법에 대해서는 도 4 내지 도 7을 참조하여 설명하겠다.In addition, a method of extracting line segment data for each layer by clustering point data for each layer for each layer will be described with reference to FIGS. 4 to 7.

구체적으로, 제k 피처 추출 장치는, 제k 멀티 레이어 데이터의 각각의 레이어에 포함된 오브젝트들에 대응하는 제1 포인트 내지 제p 포인트 각각에서 직전 포인트와의 거리값이 기설정된 제1 기준값 이상인지를 확인한 결과, 직전 포인트와의 거리값이 제1 기준값 이상인 포인트들이 확인되면, 제1 포인트를 제1 시작 포인트로 지정하고, 직전 포인트와의 거리값이 제1 기준값 이상인 포인트들을 제2 시작 포인트 내지 제j 시작 포인트로 지정하며, 직전 포인트와의 거리값이 제1 기준값 이상인 포인트들의 직전 포인트들을 제1 브레이크 포인트 내지 제(j-1) 브레이크 포인트로 지정하고, 제p 포인트를 제j 브레이크 포인트로 지정할 수 있다.Specifically, the k-th feature extraction apparatus determines whether a distance value from the immediately preceding point in each of the first point to the p-th point corresponding to the objects included in each layer of the k-th multi-layer data is equal to or greater than a preset first reference value. As a result of checking, if points with a distance value of the immediately preceding point greater than or equal to the first reference value are identified, the first point is designated as a first starting point, and points having a distance value of the immediately preceding point greater than or equal to the first reference value are selected from the second starting point. Designated as the j-th starting point, points immediately preceding the points having a distance value greater than or equal to the first reference value are designated as the first break point to the (j-1)th break point, and the p-th point is designated as the j-th break point. Can be specified.

이때, 제k 피처 추출 장치는, 직전 포인트와의 거리값이 제1 기준값 이상인 포인트들이 확인되지 않으면, 제1 포인트를 제1 시작 포인트로 지정하고, 제p 포인트를 제1 브레이크 포인트로 지정할 수 있다. 즉, 레이어 내의 오브젝트에 대응하는 포인트 정보들에서 제2 시작 포인트가 존재하지 않으므로, 레이어 내에는 하나의 오브젝트가 존재하는 것으로 판단할 수 있다.In this case, the k-th feature extraction apparatus may designate a first point as a first start point and designate a p-th point as a first break point if points having a distance value of the immediately preceding point greater than or equal to the first reference value are not identified. . That is, since the second starting point does not exist in point information corresponding to the object in the layer, it may be determined that one object exists in the layer.

일례로, 도 4를 참조하면, 포인트1로부터 포인트13까지 직전 포인트와의 거리값이 제1 기준값 이상인 포인트를 확인한 결과, 포인트8과 포인트7 사이의 거리값이 제1 기준값 이상인 것으로 확인되며, 그에 따라, 포인트1과 포인트8을 제1 시작 포인트와 제2 시작 포인트로 지정하며, 포인트7과 포인트13을 제1 브레이크 포인트와 제2 브레이크 포인트로 지정한다. 이때, 시작 포인트는 오브젝트의 피처 라인의 시작점이 되며, 브레이크 포인트는 오브젝트의 피처 라인의 끝점이 될 수 있다. 그리고, 브레이크 포인트를 이용하여 각각의 레이어 내에 위치하는 오브젝트들을 분리하여 추출할 수 있게 된다. 즉, 포인트1 내지 포인트7에 대응하는 오브젝트와 포인트8 내지 포인트13에 대응하는 오브젝트를 분리할 수 있게 된다. 여기서 오브젝트의 피처 라인은 선분 데이터에 해당할 수 있다.As an example, referring to FIG. 4, as a result of checking a point in which the distance value from the point 1 to the point immediately preceding the point is greater than or equal to the first reference value, it is confirmed that the distance value between the point 8 and the point 7 is greater than or equal to the first reference value. Accordingly, point 1 and point 8 are designated as a first start point and a second start point, and points 7 and 13 are designated as a first break point and a second break point. In this case, the start point may be the start point of the feature line of the object, and the break point may be the end point of the feature line of the object. In addition, it is possible to separate and extract objects located in each layer by using a break point. That is, an object corresponding to points 1 to 7 and an object corresponding to points 8 to 13 can be separated. Here, the feature line of the object may correspond to line segment data.

그리고, 각각의 레이어에서, 제i 시작 포인트와 제i 브레이크 포인트 사이의 포인트들 중, 제i 시작 포인트와 제i 브레이크 포인트를 연결하는 제i 선분 사이의 최대 거리값을 가지는 특정 포인트를 확인하고, 특정 포인트와 제i 선분 사이의 최대 거리값이 기설정된 제2 기준값 이상인지를 확인하며, 특정 포인트와 제i 선분 사이의 최대 거리값이 제2 기준값 이상일 경우 특정 포인트를 코너 포인트로 지정할 수 있다. 여기서, i는 1 이상 j 이하의 정수일 수 있다.And, in each layer, among points between the i-th start point and the i-th break point, a specific point having a maximum distance value between the i-th line segment connecting the i-th start point and the i-th break point is identified, It is checked whether the maximum distance value between the specific point and the i-th line segment is equal to or greater than a preset second reference value, and when the maximum distance value between the specific point and the i-th line segment is equal to or greater than the second reference value, the specific point may be designated as a corner point. Here, i may be an integer of 1 or more and j or less.

한편, 제k 피처 추출 장치는, 제i 시작 포인트와 제i 브레이크 포인트를 연결하는 제i 선분 사이의 최대 거리값을 가지는 특정 포인트를 확인하고, 특정 포인트와 제i 선분 사이의 최대 거리값이 기설정된 제2 기준값 이상인지를 확인한 결과, 특정 포인트와 제i 선분 사이의 최대 거리값이 제2 기준값 미만일 경우에는 제i 시작 포인트와 제i 브레이크 포인트 사이에서는 코너 포인트가 존재하지 않는 것으로 판단하고, 제i 시작 포인트와 제i 브레이크 포인트를 연결하는 제i 선분을 오브젝트의 피처 라인으로 설정할 수 있다. On the other hand, the k-th feature extraction apparatus identifies a specific point having a maximum distance value between the i-th line segment connecting the i-th start point and the i-th line segment, and the maximum distance value between the specific point and the i-th line segment is determined. As a result of checking whether it is equal to or greater than the set second reference value, if the maximum distance value between the specific point and the i-th line segment is less than the second reference value, it is determined that there is no corner point between the i-th start point and the i-th break point. The i-th line segment connecting the i start point and the i-th break point may be set as a feature line of the object.

즉, 제k 피처 추출 장치는, 제i 시작 포인트와 제i 브레이크 포인트 사이의 각각의 포인트들과 제i 선분 사이의 거리값들을 확인하고, 확인된 모든 거리값들이 제2 기준값 이상이 아닐 경우, 제i 시작 포인트와 제i 브레이크 포인트 사이에서는 코너 포인트가 존재하지 않는 것으로 판단하고, 제i 시작 포인트와 제i 브레이크 포인트를 연결하는 제i 선분을 오브젝트의 피처 라인으로 설정할 수 있다.That is, the k-th feature extraction apparatus checks the distance values between respective points between the i-th start point and the i-th break point and the i-th line segment, and when all the identified distance values are not greater than or equal to the second reference value, It is determined that there is no corner point between the i-th starting point and the i-th break point, and an i-th line segment connecting the i-th starting point and the i-th break point may be set as a feature line of the object.

일례로, 도 5를 참조하면, 제1 시작 포인트인 포인트1과 제1 브레이크 포인트인 포인트7을 연결하는 제1 선분을 획득하고, 포인트2 내지 포인트6 각각과 제1 선분 사이의 거리값이 최대값인 포인트3을 확인하고, 포인트3을 코너 포인트로 지정할 수 있다. 그리고, 제2 시작 포인트인 포인트8과 제2 브레이크 포인트인 포인트13의 경우, 포인트9 내지 포인트12가 포인트8과 포인트13을 연결하는 선분으로부터 제2 기준값 이내에 위치하는 것으로 판단될 수 있으며, 그에 따라, 포인트8 내지 포인트13 사이에는 코너 포인트가 존재하지 않는 것으로 확인하고, 포인트8과 포인트13을 연결하는 선분을 오브젝트의 피처 라인으로 설정할 수 있다.As an example, referring to FIG. 5, a first line segment connecting point 1 as a first starting point and point 7 as a first break point is obtained, and a distance value between each of points 2 to 6 and the first segment is maximum. You can check the value of point 3 and designate point 3 as a corner point. And, in the case of point 8 as the second starting point and point 13 as the second break point, it may be determined that points 9 to 12 are located within the second reference value from the line segment connecting points 8 and 13, and accordingly , It is confirmed that there is no corner point between points 8 and 13, and a line segment connecting points 8 and 13 can be set as a feature line of the object.

그리고, 각각의 레이어에서, 제i 시작 포인트와 코너 포인트 사이의 포인트들 각각과, 제i 시작 포인트와 코너 포인트를 연결하는 선분 사이의 제2 거리값들이 제2 기준값 미만인지를 확인하며, 제2 거리값들이 제2 기준값 미만일 경우 제i 시작 포인트와 코너 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정할 수 있다.And, in each layer, it is checked whether the second distance values between each of the points between the i-th starting point and the corner point and the line segment connecting the i-th starting point and the corner point are less than the second reference value, and the second When the distance values are less than the second reference value, a line segment connecting the ith start point and the corner point may be set as a feature line of the ith object.

일례로, 도 6를 참조하면, 제1 시작 포인트인 포인트1과 코너 포인트인 포인트3을 연결하는 선분과, 포인트1과 포인트3 사이에 위치하는 포인트2 사이의 거리값이 제2 기준값 미만인 것으로 판단될 수 있으므로 포인트1과 포인트3을 연결하는 선분을 오브젝트의 피처 라인으로 설정할 수 있다.As an example, referring to FIG. 6, it is determined that a distance value between a line segment connecting point 1 as a first starting point and point 3 as a corner point, and a point 2 located between points 1 and 3 is less than a second reference value. As a result, the line segment connecting point 1 and point 3 can be set as the feature line of the object.

그리고 코너 포인트와 제i 브레이크 포인트 사이의 포인트들 각각과, 코너 포인트와 제i 브레이크 포인트를 연결하는 선분 사이의 제3 거리값들이 제2 기준값 미만인지를 확인하며, 제3 거리값들이 제2 기준값 미만일 경우 코너 포인트와 제i 브레이크 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정함으로써, 제i 오브젝트의 피처 라인인 선분 데이터를 포함하는 제k 레이어별 클러스터링 데이터를 생성할 수 있다.Then, it is checked whether the third distance values between each of the points between the corner point and the i-th break point and the line segment connecting the corner point and the i-th break point are less than the second reference value, and the third distance values are the second reference value. If less than that, clustering data for each k-th layer including line segment data that is a feature line of the i-th object may be generated by setting a line segment connecting the corner point and the i-th break point as a feature line of the i-th object.

일례로, 도 7을 참조하면, 코너 포인트인 포인트3과 제1 브레이크 포인트인 포인트7 사이의 포인트4 내지 포인트6 각각과, 포인트3과 포인트7을 연결하는 선분 사이의 제3 거리값들이 제2 기준값 미만인 것으로 확인될 수 있으며, 그에 따라 포인트3과 포인트7 사이에는 코너 포인트가 존재하지 않는 것으로 판단할 수 있으며, 포인트3과 포인트 7을 연결하는 선분을 오브젝트의 피처 라인으로 설정할 수 있다. 또한, 제2 시작 포인트인 포인트8과 제2 브레이크 포인트인 포인트13의 경우, 포인트9 내지 포인트12가 포인트8과 포인트13을 연결하는 선분으로부터 제2 기준값 이내에 위치하는 것으로 판단될 수 있으며, 그에 따라, 포인트8 내지 포인트13 사이에는 코너 포인트가 존재하지 않는 것으로 확인하고, 포인트8과 포인트13을 연결하는 선분을 오브젝트의 피처 라인으로 설정할 수 있다. 이를 통해 특정 레이어 내에 위치하는 포인트1과 포인트7에 대응되는 제1 오브젝트와, 포인트8과 포인트13에 대응되는 제2 오브젝트를 구분할 수 있으며, 각각의 오브젝트에서의 코너 포인트를 확인하여 피처 라인을 설정하므로 오브젝트의 정확한 형상을 추출할 수 있게 된다.As an example, referring to FIG. 7, each of points 4 to 6 between point 3 as a corner point and point 7 as a first break point, and third distance values between a line segment connecting points 3 and 7 are second It can be confirmed that it is less than the reference value, and accordingly, it can be determined that there is no corner point between points 3 and 7, and a line segment connecting points 3 and 7 can be set as a feature line of the object. In addition, in the case of point 8 as the second starting point and point 13 as the second break point, it may be determined that points 9 to 12 are located within the second reference value from the line segment connecting points 8 and 13, and accordingly , It is confirmed that there is no corner point between points 8 and 13, and a line segment connecting points 8 and 13 can be set as a feature line of the object. Through this, the first object corresponding to point 1 and point 7 located in a specific layer, and the second object corresponding to point 8 and point 13 can be distinguished, and feature lines can be set by checking the corner points of each object. Therefore, it is possible to extract the exact shape of the object.

한편, 제k 피처 추출 장치는, 제2 거리값들이 제2 기준값 미만인지를 확인한 결과, 제2 거리값들이 제2 기준값 이상인 제1 서브 포인트들이 확인되면, 제1 서브 포인트들 중, 제i 시작 포인트와 코너 포인트를 연결하는 선분 사이의 최대 거리값을 가지는 특정 제1 서브 포인트를 제1 서브 코너 포인트로 지정하며, 제i 시작 포인트와 제1 서브 코너 포인트 사이의 포인트들 각각과, 제i 시작 포인트와 제1 서브 코너 포인트를 연결하는 선분 사이의 제2-1 서브 거리값들이 제2 기준값 미만인지를 확인하며, 제2-1 서브 거리값들이 제2 기준값 미만일 경우 제i 시작 포인트와 제1 서브 코너 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정하고, 제1 서브 코너 포인트와 코너 포인트 사이의 포인트들 각각과, 제1 서브 코너 포인트와 코너 포인트를 연결하는 선분 사이의 제2-2 서브 거리값들이 제2 기준값 미만인지를 확인하며, 제2-2 거리값들이 제2 기준값 미만일 경우 제1 서브 코너 포인트와 코너 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정할 수 있다.On the other hand, the k-th feature extraction apparatus, as a result of checking whether the second distance values are less than the second reference value, when first sub-points having the second distance values equal to or greater than the second reference value are identified, the i-th start among the first sub-points. A specific first sub-point having the maximum distance value between the line segment connecting the point and the corner point is designated as the first sub-corner point, and each of the points between the i-th start point and the first sub-corner point, and the i-th start It is checked whether the 2-1 sub-distance values between the line segment connecting the point and the first sub-corner point are less than the second reference value, and if the 2-1 sub-distance values are less than the second reference value, the i-th starting point and the first The line segment connecting the sub-corner point is set as a feature line of the i-th object, and each of the points between the first sub-corner point and the corner point, and the second-second between the line segment connecting the first sub-corner point and the corner point 2 It is checked whether the sub-distance values are less than the second reference value, and when the 2-2 distance values are less than the second reference value, a line segment connecting the first sub-corner point and the corner point may be set as a feature line of the i-th object.

즉, 제k 피처 추출 장치는, 제i 시작 포인트와 코너 포인트 사이의 포인트들 각각과, 제i 시작 포인트와 코너 포인트를 연결하는 선분 사이의 제2 거리값들이 제2 기준값 미만인지를 확인한 결과, 제2 기준값 이상인 포인트들이 확인되면, 이중 최대 거리값을 가지는 포인트를 새로운 코너 포인트로 지정한 다음, 상기와 같은 방법에 의해 제i 시작 포인트와 새로 지정된 코너 포인트 사이, 새로 지정된 코너 포인트와 이전 지정된 코너 포인트 사이에 또 다른 코너 포인트가 존재하는지 확인하는 동작을 새로운 코너 포인트가 확인되지 않을 때까지 반복함으로써, 제i 시작 포인트와 이에 인접하는 코너 포인트를 연결하는 선분, 및 코너 포인트들 사이를 연결하는 선분들을 오브젝트의 피처 라인으로 설정할 수 있다.That is, the k-th feature extraction apparatus, as a result of checking whether the second distance values between each of the points between the i-th starting point and the corner point and the line segment connecting the i-th starting point and the corner point are less than the second reference value, When points greater than or equal to the second reference value are identified, the point with the maximum distance value is designated as a new corner point, and then between the i-th starting point and the newly designated corner point, and the newly designated corner point and the previously designated corner point by the above method. A line segment connecting the i-th starting point and a corner point adjacent thereto, and line segments connecting the corner points by repeating the operation of checking whether another corner point exists between them until no new corner point is identified. Can be set as the feature line of the object.

또한, 제k 피처 추출 장치는 제3 거리값들이 제2 기준값 미만인지를 확인한 결과, 제3 거리값들이 제2 기준값 이상인 제2 서브 포인트들이 확인되면, 제2 서브 포인트들 중, 코너 포인트와 제i 브레이크 포인트를 연결하는 선분 사이의 최대 거리값을 가지는 특정 제2 서브 포인트를 제2 서브 코너 포인트로 지정하며, 코너 포인트와 제2 서브 코너 포인트 사이의 포인트들 각각과, 코너 포인트와 제2 서브 코너 포인트를 연결하는 선분 사이의 제3-1 서브 거리값들이 제2 기준값 미만인지를 확인하며, 제3-1 서브 거리값들이 제2 기준값 미만일 경우 코너 포인트와 제2 서브 코너 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정하고, 제2 서브 코너 포인트와 제i 브레이크 포인트 사이의 포인트들 각각과, 제2 서브 코너 포인트와 제i 브레이크 포인트를 연결하는 선분 사이의 제3-2 서브 거리값들이 제2 기준값 미만인지를 확인하며, 제3-2 거리값들이 제2 기준값 미만일 경우 제2 서브 코너 포인트와 제i 브레이크 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정할 수 있다.In addition, as a result of checking whether the third distance values are less than the second reference value, the k-th feature extraction apparatus determines whether second sub-points having the third distance values equal to or greater than the second reference value are identified, among the second sub-points, the corner point and the second reference value. i A specific second sub-point having the maximum distance between the line segments connecting the break points is designated as the second sub-corner point, and each of the points between the corner point and the second sub-corner point, and the corner point and the second sub-point. Checks whether the 3-1 sub-distance values between the line segments connecting the corner points are less than the second reference value, and if the 3-1 sub-distance values are less than the second reference value, the line segment connecting the corner point and the second sub-corner point Is set as a feature line of the i-th object, and a 3-2 sub-distance between each of the points between the second sub-corner point and the i-th break point, and a line segment connecting the second sub-corner point and the i-th break point Whether the values are less than the second reference value is checked, and when the 3-2th distance values are less than the second reference value, a line segment connecting the second sub-corner point and the i-th break point may be set as a feature line of the i-th object.

즉, 제k 피처 추출 장치는, 코너 포인트와 제i 브레이크 포인트 사이의 포인트들 각각과, 코너 포인트와 제i 브레이크 포인트를 연결하는 선분 사이의 제3 거리값들이 제2 기준값 미만인지를 확인한 결과, 제2 기준값 이상인 포인트들이 확인되면, 이중 최대 거리값을 가지는 포인트를 새로운 코너 포인트로 지정한 다음, 상기와 같은 방법에 의해 코너 포인트와 새로 지정된 코너 포인트 사이, 새로 지정된 코너 포인트와 제i 브레이크 포인트 사이에 또 다른 코너 포인트가 존재하는지 확인하는 동작을 새로운 코너 포인트가 확인되지 않을 때까지 반복함으로써, 코너 포인트들 사이를 연결하는 선분들, 및 제i 브레이크 포인트와 인접하는 코너 포인트를 연결하는 선분을 오브젝트의 피처 라인으로 설정할 수 있다.That is, the k-th feature extraction apparatus, as a result of checking whether the third distance values between each of the points between the corner point and the i-th break point and the line segment connecting the corner point and the i-th break point are less than the second reference value, If points greater than or equal to the second reference value are identified, the point with the maximum distance value is designated as a new corner point, and then between the corner point and the newly designated corner point, and between the newly designated corner point and the i-th break point by the above method. By repeating the operation of checking whether another corner point exists until no new corner point is found, line segments connecting the corner points and line segments connecting the ith break point and the adjacent corner point are formed of the object. It can be set as a feature line.

일례로, 도 8을 참조하면, 시작 포인트인 포인트1과 브레이크 포인트인 포인트12를 연결하는 선분과, 포인트2 내지 포인트11 각각 사이의 거리값을 제2 기준값과 비교하여 제2 기준값 이상이며 최대 거리값을 가지는 포인트7을 코너 포인트로 지정할 수 있다.As an example, referring to FIG. 8, a line segment connecting point 1 as a start point and point 12 as a break point, and a distance value between each of points 2 to 11 are compared with a second reference value, and the maximum distance is greater than or equal to the second reference value. Point 7 with a value can be designated as a corner point.

그리고, 도 9를 참조하면, 포인트1과 포인트7을 연결하는 선분과, 포인트2 내지 포인트6 각각 사이의 거리값을 제2 기준값과 비교하여 제2 기준값 이상이며 최대 거리값을 가지는 포인트2를 새로운 코너 포인트로 지정할 수 있다. 이때, 포인트1과 포인트2 사이, 및 포인트2와 포인트7 사이에서 추가적으로 새로운 코너 포인트가 확인되지 않으므로, 포인트1과 포인트2를 연결하는 선분, 및 포인트2와 포인트7을 연결하는 선분을 오브젝트의 피처 라인으로 설정할 수 있다.In addition, referring to FIG. 9, a line segment connecting point 1 and point 7 and a distance value between each of points 2 to 6 are compared with a second reference value, and a point 2 that is equal to or greater than the second reference value and having the maximum distance value is newly It can be specified as a corner point. At this time, since no new corner point is additionally identified between Point 1 and Point 2 and between Point 2 and Point 7, the line segment connecting Point 1 and Point 2, and the line segment connecting Point 2 and Point 7 are used as features of the object. Can be set by line.

또한, 도 10을 참조하면, 포인트7과 포인트12를 연결하는 선분과, 포인트8 내지 포인트11 각각 사이의 거리값을 제2 기준값과 비교하여 제2 기준값 이상이며 최대 거리값을 가지는 포인트10을 새로운 코너 포인트로 지정할 수 있다, 이때, 포인트7과 포인트10 사이, 및 포인트10과 포인트12 사이에서 추가적으로 새로운 코너 포인트가 확인되지 않으므로, 도 11과 같이 포인트7과 포인트10을 연결하는 선분, 및 포인트10과 포인트12를 연결하는 선분을 오브젝트의 피처 라인으로 설정할 수 있으며, 결론적으로 포인트1 내지 포인트12에 대응하는 오브젝트는 포인트1과 포인트2를 연결하는 선분, 포인트2와 포인트7을 연결하는 선분, 포인트7과 포인트10을 연결하는 선분, 및 포인트10과 포인트12를 연결하는 선분으로 표현될 수 있다.In addition, referring to FIG. 10, a line segment connecting point 7 and point 12 and a distance value between each of points 8 to 11 are compared with a second reference value, and a point 10 that is equal to or greater than the second reference value and having the maximum distance value is newly It can be designated as a corner point. At this time, since no new corner points are additionally identified between points 7 and 10, and between points 10 and 12, a line segment connecting points 7 and 10, and point 10 as shown in FIG. The line segment connecting point 12 and point 12 can be set as a feature line of the object. In conclusion, the object corresponding to point 1 to point 12 is a line segment connecting points 1 and 2, a line segment connecting points 2 and 7, and a point. It may be expressed as a line segment connecting points 7 and 10, and a line segment connecting points 10 and 12.

이와 같이 레이어별 포인트 데이터들을 각각의 레이어별로 클러스터링하여 레이어별 선분 데이터를 추출하고, 레이어별 선분 데이터를 포함하는 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터를 생성한 상태에서, 오브젝트 매칭 장치(300)가, 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 클러스터링하여 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 생성하며, 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 결합하여 주변 오브젝트 데이터를 생성할 수 있다.In this way, point data for each layer are clustered for each layer to extract line segment data for each layer, and in a state in which clustering data for each layer or clustering data for each n-th layer including the line segment data for each layer are generated, the object matching device A 300 generates first object data to n-th object data by clustering line segment data for each layer in each of the clustering data for each first layer to the clustering data for each n-th layer, and the first object data to the n-th object data It is possible to create the surrounding object data by combining.

한편, 제k 피처 추출 장치가, 제k 멀티 레이어 데이터에 포함된 레이어별 포인트 데이터를 필터링하여 지면 포인트 데이터들을 추출하고, 지면 포인트 데이터들을 참조로 하여 제k 연석 데이터를 생성할 수 있다.Meanwhile, the k-th feature extraction apparatus may filter point data for each layer included in the k-th multi-layer data to extract ground point data, and generate k-th curb data by referring to the ground point data.

한편, 오브젝트 매칭 장치(300)가, 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 참조하여, 중첩되는 영역에 위치하는 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트를 동일 오브젝트로 클러스터링함으로써 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 생성할 수 있다.On the other hand, the object matching device 300 refers to the line segment data for each layer in each of the clustering data for each first layer to the clustering data for each n-th layer, The first object data to the nth object data may be generated by clustering the second specific object of the second specific layer into the same object.

이때, 오브젝트 매칭 장치(300)는 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트 각각의 피처 라인을 참조하여 시작 포인트와 브레이크 포인트가 동일할 경우 동일 오브젝트로 클러스터링할 수 있다.In this case, the object matching device 300 may cluster into the same object when the start point and the break point are the same by referring to feature lines of each of the first specific object of the first specific layer and the second specific object of the second specific layer. have.

일례로, 도 12를 참조하면, 제1 특정 레이어의 제1 특정 오브젝트의 피처 라인과, 제2 특정 레이어의 제2 특정 오브젝트의 피처 라인이 중첩되며, 각각의 피처라인의 시작 포인트인 포인트1과 포인트1', 포인트8과 포인트8', 및 브레이크 포인트인 포인트7과 포인트7', 포인트13과 포인트13'가 동일하므로 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트는 동일 오브젝트로 판단되어 클러스터링될 수 있다.As an example, referring to FIG. 12, a feature line of a first specific object of a first specific layer and a feature line of a second specific object of a second specific layer are overlapped, and point 1, which is a starting point of each feature line, Point 1', Point 8 and Point 8', and Break Points Point 7 and Point 7', and Point 13 and Point 13' are the same, so the first specific object of the first specific layer and the second specific object of the second specific layer Is determined to be the same object and may be clustered.

한편, 오브젝트 매칭 장치(300)는, 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트 각각의 피처 라인의 시작 포인트와 브레이크 포인트가 동일하지 않을 경우, 제1 특정 레이어와 제2 특정 레이어의 높이 차가 기설정된 제3 기준값 이하이며, 제1 특정 레이어의 제1 특정 오브젝트의 제1 피처 라인과 제2 특정 레이어의 제2 특정 오브젝트의 제2 피처 라인의 기울기와 이격 거리가 기설정된 제4 기준값 이하이면 동일 오브젝트로 클러스터링할 수 있다.On the other hand, the object matching apparatus 300, when the start point and the break point of the feature line of each of the first specific object of the first specific layer and the second specific object of the second specific layer are not the same, the first specific layer and The height difference of the second specific layer is less than or equal to a preset third reference value, and the slope and separation distance of the first feature line of the first specific object of the first specific layer and the second feature line of the second specific object of the second specific layer are If it is less than or equal to the preset fourth reference value, the same object may be clustered.

일례로, 도 13을 참조하면, 제1 특정 레이어의 제1 특정 오브젝트의 피처 라인(L1)과, 제2 특정 레이어의 제2 특정 오브젝트의 피처 라인(L1')의 기울기와 이격 거리가 제4 기준값 이하인 것으로 판단되어 피처 라인(L1)과 피처 라인(L1')는 동일 오브젝트로 클러스터링될 수 있다. 그리고, 제1 특정 레이어의 제1' 특정 오브젝트의 피처 라인(L2)과, 제2 특정 레이어의 제2' 특정 오브젝트의 피처 라인(L2')은 높이 차가 기설정된 제3 기준값을 초과하거나 기울기와 이격 거리가 제4 기준값 초과인 것으로 판단되어 피처 라인(L2)와 피처 라인(L2')는 서로 다른 오브젝트로 클러스터링될 수 있다.As an example, referring to FIG. 13, a slope and a separation distance between a feature line L1 of a first specific object of a first specific layer and a feature line L1 ′ of a second specific object of a second specific layer are 4 It is determined that it is less than or equal to the reference value, so that the feature line L1 and the feature line L1 ′ may be clustered into the same object. In addition, the feature line L2 of the first ′ specific object of the first specific layer and the feature line L2 ′ of the second ′ specific object of the second specific layer have a height difference greater than a predetermined third reference value or a slope Since it is determined that the separation distance exceeds the fourth reference value, the feature line L2 and the feature line L2' may be clustered into different objects.

또 다른 예로, 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n) 각각으로부터 레이어별 선분 데이터를 포함하는 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터가 획득되면, 오브젝트 매칭 장치(300)는, 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 클러스터링 할 때, 선분 데이터의 길이 정보가 큰 순으로 선분 데이터를 정렬하고, 길이가 가장 긴 선분 데이터를 우선적으로 신규 오브젝트로 할당할 수 있다. 이는, 길이가 긴 선분 데이터일수록 각각의 라이다 센서(100)가 정확하게 인지한 오브젝트에 관한 데이터일 확률이 높기 때문이다.As another example, when first to n-th layer-specific clustering data including layer-specific line segment data is obtained from each of the first feature extraction apparatus 200-1 to n-th feature extraction apparatus 200-n, , When clustering line segment data for each layer in each of the first layer-specific clustering data to n-th layer-specific clustering data, the object matching device 300 arranges the line segment data in the order of the largest length information of the line segment data, and The longest line segment data can be assigned as a new object with priority. This is because the longer the line segment data, the higher the probability of data relating to the object accurately recognized by each lidar sensor 100.

이처럼, 길이 정보가 가장 긴 선분 데이터를 신규 오브젝트로 할당한 상태에서, 상기 도 12 및 도 13을 참조하여 설명한 바와 같이, 다른 레이어 내의 다음으로 긴 선분 데이터와 매칭 정도를 계산하여 클러스터링 할지 여부를 결정할 수 있게 된다.As described above, in a state in which the line segment data having the longest length information is allocated as a new object, as described with reference to FIGS. 12 and 13, it is determined whether to cluster by calculating the degree of matching with the next longest line segment data in another layer. You will be able to.

한편, 제k 레이어별 클러스터링 데이터는 언클러스터링된 포인트 데이터들을 더 포함할 수 있다.Meanwhile, the clustering data for each k-th layer may further include unclustered point data.

여기서, 언클러스터링된 포인트 데이터란, 레이어별 포인트 데이터 중에서 제1 피처 추출 장치(200-1) 내지 제n 피처 추출 장치(200-n)에 의해 선분 데이터로 추출되지 않은 포인트 데이터들을 의미할 수 있다.Here, the unclustered point data may mean point data not extracted as line segment data by the first feature extraction device 200-1 to the n-th feature extraction device 200-n among point data for each layer. .

일례로, 라이다 센서(100)에 의해 감지된 오브젝트가 신체 크기가 작은 어린이이거나, 라이다 센서(100)로부터 먼 곳에서 접근하는 차량인 경우, 라이다 센서(100)로부터 획득된 특정 레이어의 해당 오브젝트에 대응되는 포인트 데이터는, 해당 오브젝트에 대응되는 선분 데이터를 생성하기에는 충분하지 않을 수 있다. 하지만, 선분 데이터가 생성되지 않는다고 하여 해당 포인트 데이터를 오브젝트로 인식하지 않을 경우, 자율주행차량의 운행에 있어 안전상의 문제가 발생할 수 있다.For example, when the object sensed by the lidar sensor 100 is a child with a small body size or a vehicle approaching from a distance from the lidar sensor 100, a specific layer obtained from the lidar sensor 100 Point data corresponding to the object may not be sufficient to generate line segment data corresponding to the object. However, if the point data is not recognized as an object because the segment data is not generated, a safety problem may occur in the operation of the autonomous vehicle.

따라서, 위와 같은 상황을 방지하기 위해, 만약 제k 피처 추출 장치에 의해 특정 레이어에서 클러스터링되지 않은 포인트 데이터가 존재할 경우, 오브젝트 매칭 장치(300)가, 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 언클러스터링된 포인트 데이터들을 클러스터링하여 제1 선분화 데이터 내지 제n 선분화 데이터를 생성하며, 제k 오브젝트 데이터 및 제k 선분화 데이터를 각각 결합하여 주변 오브젝트 데이터를 생성할 수 있다.Therefore, in order to prevent the above situation, if point data that is not clustered in a specific layer by the k-th feature extraction device exists, the object matching device 300 performs clustering data for each first layer through clustering data for each n-th layer. The unclustered point data for each layer of the data is clustered to generate the first line segmentation data to the nth line segmentation data, and the surrounding object data can be generated by combining the kth object data and the kth line segmentation data, respectively. have.

즉, 포인트 데이터가 특정 레이어 내에서만 처리되는 단계에서는 포인트 데이터가 선분 데이터로 클러스터링되지 않더라도, 멀티 레이어에서 포인트 데이터가 처리되는 단계에서 각각의 레이어에 존재하는 각각의 포인트 데이터를 하나의 선분화 데이터로 융합함으로써 거리가 멀거나 크기가 작은 오브젝트에 대해서도 정확하게 인지할 수 있게 된다.That is, in the step in which point data is processed only within a specific layer, even if the point data is not clustered into line segment data, each point data in each layer is converted into one line segment data in the step in which point data is processed in multi-layers. By fusion, it is possible to accurately recognize objects that are far away or small in size.

일례로, 도 14를 참조하여 설명하면, 제k 라이다 센서로부터의 제i 특정 레이어의 제1 특정 오브젝트에 대응되는 포인트 데이터(400-1)와 제i+1 특정 레이어의 제1 특정 오브젝트에 대응되는 포인트 데이터(400-2)를 클러스터링하여 제k 선분화 데이터(400)를 생성할 수 있다.For example, referring to FIG. 14, point data 400-1 corresponding to the first specific object of the i-th specific layer from the k-th lidar sensor and the first specific object of the i+1th specific layer are The k-th line segmentation data 400 may be generated by clustering the corresponding point data 400-2.

한편, 이는 개별 라이다 센서 각각에서의 멀티 레이어에 국한되는 것이 아니며, 다중 라이다 센서 사이에서도 마찬가지로 적용될 수 있다.On the other hand, this is not limited to multi-layers in each individual lidar sensor, and can be applied similarly to multiple lidar sensors.

일례로, 제1 라이다 센서(100-1)와 제2 라이다 센서(100-2)가 특정 구역을 중첩적으로 감지하면서 제1 라이다 센서(100-1)와 제2 라이다 센서(100-2) 각각으로부터 작은 오브젝트에 대응되는 포인트 데이터를 각각 획득한 상황에서, 해당 오브젝트에 대응되는 레이어별 포인트 데이터, 즉 레이어별 언클러스터링된 포인트 데이터들만으로 선분화 데이터를 생성하기에는 레이어별 언클러스터링된 포인트 데이터들이 충분하지 못한 경우가 있을 수 있다. 위와 같은 경우, 제1 라이다 센서(100-1)로부터의 레이어별 포인트 데이터 및 제2 라이다 센서(100-2)로부터의 레이어별 포인트 데이터를 참조로 하여 선분화 데이터를 생성할 수도 있다.For example, the first lidar sensor 100-1 and the second lidar sensor 100-2 overlappingly detect a specific area, and the first lidar sensor 100-1 and the second lidar sensor ( 100-2) In a situation in which point data corresponding to a small object is obtained from each, point data for each layer corresponding to the object, that is, point data that is unclustered for each layer, is used to generate line segmentation data, which is unclustered for each layer. There may be cases where the point data are insufficient. In the above case, line segmentation data may be generated by referring to point data for each layer from the first lidar sensor 100-1 and point data for each layer from the second lidar sensor 100-2.

이상 설명된 본 발명에 따른 실시예들은 다양한 컴퓨터 구성요소를 통하여 수행될 수 있는 프로그램 명령어의 형태로 구현되어 컴퓨터 판독 가능한 기록 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능한 기록 매체는 프로그램 명령어, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 컴퓨터 판독 가능한 기록 매체에 기록되는 프로그램 명령어는 본 발명을 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 분야의 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능한 기록 매체의 예에는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM, DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 ROM, RAM, 플래시 메모리 등과 같은 프로그램 명령어를 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령어의 예에는, 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드도 포함된다. 상기 하드웨어 장치는 본 발명에 따른 처리를 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The embodiments according to the present invention described above may be implemented in the form of program instructions that can be executed through various computer components and recorded in a computer-readable recording medium. The computer-readable recording medium may include program instructions, data files, data structures, and the like alone or in combination. The program instructions recorded in the computer-readable recording medium may be specially designed and configured for the present invention, or may be known and usable to those skilled in the computer software field. Examples of computer-readable recording media include magnetic media such as hard disks, floppy disks and magnetic tapes, optical recording media such as CD-ROMs and DVDs, magnetic-optical media such as floptical disks. media), and a hardware device specially configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like. The hardware device may be configured to operate as one or more software modules to perform the processing according to the present invention, and vice versa.

이상에서 본 발명이 구체적인 구성요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나, 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명이 상기 실시예들에 한정되는 것은 아니며, 본 발명이 속하는 기술분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형을 꾀할 수 있다.In the above, the present invention has been described by specific matters such as specific elements and limited embodiments and drawings, but this is provided only to help a more general understanding of the present invention, and the present invention is not limited to the above embodiments. , Anyone having ordinary knowledge in the technical field to which the present invention pertains can make various modifications and variations from these descriptions.

따라서, 본 발명의 사상은 상기 설명된 실시예에 국한되어 정해져서는 아니 되며, 후술하는 특허청구범위뿐만 아니라 이 특허청구범위와 균등하게 또는 등가적으로 변형된 모든 것들은 본 발명의 사상의 범주에 속한다고 할 것이다.Therefore, the spirit of the present invention is limited to the above-described embodiments and should not be defined, and all modifications that are equally or equivalent to the claims as well as the claims to be described later fall within the scope of the spirit of the present invention. I would say.

Claims (14)

다중 라이다의 멀티 레이어 데이터를 처리하는 방법에 있어서,
(a) 제1 라이다 센서 내지 제n - 상기 n은 1 이상의 정수임 - 라이다 센서 각각으로부터 제1 멀티 레이어 데이터 내지 제n 멀티 레이어 데이터가 획득되면, 상기 제1 라이다 센서 내지 상기 제n 라이다 센서에 각각 연동되는 제1 피처 추출 장치 내지 제n 피처 추출 장치 중 어느 하나인 제k - 상기 k는 1 이상 n 이하의 정수임 - 피처 추출 장치가, 제k 멀티 레이어 데이터를 각각의 레이어별로 클러스터링하여 제k 레이어별 클러스터링 데이터를 생성하는 단계; 및
(b) 상기 제1 피처 추출 장치 내지 상기 제n 피처 추출 장치 각각으로부터 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터가 획득되면, 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 클러스터링 데이터를 클러스터링하여 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 생성하며, 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 결합하여 주변 오브젝트 데이터를 생성하는 단계;
를 포함하는 방법.
In the method of processing multi-layer data of multiple liders,
(a) the first lidar sensor to the nth-the n is an integer greater than or equal to 1-when the first to the nth multilayer data is obtained from each of the lidar sensors, the first to the nth laser Is the kth, which is any one of the first feature extraction device to the nth feature extraction device, each linked to the sensor-the k is an integer of 1 or more and n or less-The feature extraction device clusters the k-th multi-layer data for each layer Generating clustering data for each k-th layer; And
(b) When clustering data for each first layer to clustering data for each n-th layer are obtained from each of the first feature extraction device to the n-th feature extraction device, the object matching device generating first object data to n-th object data by clustering clustering data for each layer in each of the n-layer clustering data, and generating surrounding object data by combining the first object data to the n-th object data;
How to include.
제1항에 있어서,
상기 (a) 단계에서,
상기 제k 피처 추출 장치가, 상기 제k 멀티 레이어 데이터에 포함된 레이어별 포인트 데이터들을 각각의 레이어별로 클러스터링하여 레이어별 선분 데이터를 추출하고, 상기 레이어별 선분 데이터를 포함하는 상기 제k 레이어별 클러스터링 데이터를 생성하고,
상기 (b) 단계에서,
상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 클러스터링하여 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 생성하며, 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 결합하여 상기 주변 오브젝트 데이터를 생성하는 것을 특징으로 하는 방법.
The method of claim 1,
In step (a),
The k-th feature extraction apparatus extracts line segment data for each layer by clustering point data for each layer included in the k-th multi-layer data for each layer, and clustering for each k-th layer including the line segment data for each layer Create data,
In step (b),
The object matching apparatus generates the first object data to the n-th object data by clustering line segment data for each layer in each of the first layer-specific clustering data to the n-th layer-specific clustering data, and the first object And generating the surrounding object data by combining data to the n-th object data.
제2항에 있어서,
상기 제k 레이어별 클러스터링 데이터는 언클러스터링된 포인트 데이터들을 더 포함하며,
상기 (b) 단계에서,
상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 언클러스터링된 포인트 데이터들을 클러스터링하여 제1 선분화 데이터 내지 제n 선분화 데이터를 생성하며, 제k 오브젝트 데이터 및 제k 선분화 데이터를 각각 결합하여 상기 주변 오브젝트 데이터를 생성하는 것을 특징으로 하는 방법.
The method of claim 2,
The clustering data for each k-th layer further includes unclustered point data,
In step (b),
The object matching apparatus generates first to n-th line segmentation data by clustering unclustered point data for each layer in each of the first layer-specific clustering data to the n-th layer-specific clustering data, and generating the surrounding object data by combining the k-th object data and the k-th line segmentation data, respectively.
제2항에 있어서,
상기 (a) 단계에서,
상기 제k 피처 추출 장치가, 상기 제k 멀티 레이어 데이터에 포함된 상기 레이어별 포인트 데이터를 필터링하여 지면 포인트 데이터들을 추출하고, 상기 지면 포인트 데이터들을 참조로 하여 제k 연석 데이터를 생성하는 것을 특징으로 하는 방법.
The method of claim 2,
In step (a),
The k-th feature extraction apparatus extracts ground point data by filtering the point data for each layer included in the k-th multi-layer data, and generates k-th curb data by referring to the ground point data. How to.
제2항에 있어서,
상기 (b) 단계에서,
상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 참조하여, 중첩되는 영역에 위치하는 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트를 동일 오브젝트로 클러스터링함으로써 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 생성하는 것을 특징으로 하는 방법.
The method of claim 2,
In step (b),
The object matching device refers to the line segment data for each layer in each of the clustering data for each of the first layer to the clustering data for each n-th layer, and includes a first specific object and a second specific object of a first specific layer positioned in an overlapping area. And generating the first object data to the n-th object data by clustering a second specific object of a specific layer into the same object.
제2항에 있어서,
상기 (a) 단계에서,
상기 제k 피처 추출 장치는, (i) 상기 제k 멀티 레이어 데이터의 각각의 레이어에 포함된 오브젝트들에 대응하는 제1 포인트 내지 제p 포인트 각각에서 직전 포인트와의 거리값이 기설정된 제1 기준값 이상인지를 확인한 결과, 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들이 확인되면, 상기 제1 포인트를 제1 시작 포인트로 지정하고, 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들을 제2 시작 포인트 내지 제j 시작 포인트로 지정하며, 상기 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들의 직전 포인트들을 제1 브레이크 포인트 내지 제(j-1) 브레이크 포인트로 지정하고, 상기 제p 포인트를 제j 브레이크 포인트로 지정하며, (ii) 상기 각각의 레이어에서, 제i - 상기 i는 1 이상 상기 j 이하의 정수임 - 시작 포인트와 제i 브레이크 포인트 사이의 포인트들 중, 상기 제i 시작 포인트와 상기 제i 브레이크 포인트를 연결하는 제i 선분 사이의 최대 거리값을 가지는 특정 포인트를 확인하고, 상기 특정 포인트와 상기 제i 선분 사이의 최대 거리값이 기설정된 제2 기준값 이상인지를 확인하며, 상기 특정 포인트와 상기 제i 선분 사이의 최대 거리값이 상기 제2 기준값 이상일 경우 상기 특정 포인트를 코너 포인트로 지정하며, (iii) 상기 각각의 레이어에서, 상기 제i 시작 포인트와 상기 코너 포인트 사이의 포인트들 각각과, 상기 제i 시작 포인트와 상기 코너 포인트를 연결하는 선분 사이의 제2 거리값들이 상기 제2 기준값 미만인지를 확인하며, 상기 제2 거리값들이 상기 제2 기준값 미만일 경우 상기 제i 시작 포인트와 상기 코너 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정하고, 상기 코너 포인트와 제i 브레이크 포인트 사이의 포인트들 각각과, 상기 코너 포인트와 제i 브레이크 포인트를 연결하는 선분 사이의 제3 거리값들이 상기 제2 기준값 미만인지를 확인하며, 상기 제3 거리값들이 상기 제2 기준값 미만일 경우 상기 코너 포인트와 제i 브레이크 포인트를 연결하는 선분을 상기 제i 오브젝트의 피처 라인으로 설정함으로써, 상기 제i 오브젝트의 피처 라인인 선분 데이터를 포함하는 상기 제k 레이어별 클러스터링 데이터를 생성하는 것을 특징으로 하는 방법.
The method of claim 2,
In step (a),
The k-th feature extraction apparatus includes: (i) a first reference value in which a distance value from a point immediately preceding each of a first point to a p-th point corresponding to objects included in each layer of the k-th multi-layer data is preset As a result of checking whether it is abnormal, if points having a distance value of the immediately preceding point equal to or greater than the first reference value are identified, the first point is designated as a first starting point, and points having a distance value of the immediately preceding point equal to or greater than the first reference value are selected. Designated as a second starting point to a j-th starting point, points immediately preceding points having a distance value of the immediately preceding point equal to or greater than the first reference value are designated as a first break point to a (j-1)th break point, and the first Point p is designated as the j-th breakpoint, and (ii) in each of the layers, ith-the i is an integer greater than or equal to 1 and less than or equal to j-from among points between the start point and the ith breakpoint, the ith Check a specific point having a maximum distance value between the start point and the i-th line segment connecting the i-th line segment, and check whether the maximum distance value between the specific point and the i-th line segment is greater than or equal to a preset second reference value And, when the maximum distance value between the specific point and the i-th line segment is greater than or equal to the second reference value, the specific point is designated as a corner point, and (iii) in each of the layers, the i-th starting point and the corner point It is checked whether the second distance values between each of the points between and a line segment connecting the i-th starting point and the corner point are less than the second reference value, and when the second distance values are less than the second reference value, the A line segment connecting the i-th starting point and the corner point is set as a feature line of the i-th object, and a line segment connecting each of the points between the corner point and the i-th break point and the corner point and the i-th break point It is checked whether the third distance values between are less than the second reference value, and when the third distance values are less than the second reference value By setting a line segment connecting the corner point and the i-th break point as a feature line of the i-th object, the clustering data for each k-th layer including line segment data that is a feature line of the i-th object is generated. How to.
제6항에 있어서,
상기 (b) 단계에서,
상기 오브젝트 매칭 장치는, 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트 각각의 피처 라인의 시작 포인트와 브레이크 포인트가 동일하지 않을 경우, 상기 제1 특정 레이어와 상기 제2 특정 레이어의 높이 차가 기설정된 제3 기준값 이하이며, 상기 제1 특정 레이어의 상기 제1 특정 오브젝트의 제1 피처 라인과 상기 제2 특정 레이어의 상기 제2 특정 오브젝트의 제2 피처 라인의 기울기와 이격 거리가 기설정된 제4 기준값 이하이면 동일 오브젝트로 클러스터링하는 것을 특징으로 하는 방법.
The method of claim 6,
In step (b),
When the first specific object of the first specific layer and the second specific object of the second specific layer are not the same as a start point and a break point of each of the feature lines, the object matching device may be configured with the first specific layer and the second specific object. The height difference of a specific layer is less than or equal to a predetermined third reference value, and a distance from the slope of the first feature line of the first specific object of the first specific layer and the second feature line of the second specific object of the second specific layer When the distance is less than or equal to a preset fourth reference value, clustering is performed into the same object.
다중 라이다의 멀티 레이어 데이터를 처리하는 시스템에 있어서,
제1 라이다 센서 내지 제n - 상기 n은 1 이상의 정수임 - 라이다 센서 각각으로부터 제1 멀티 레이어 데이터 내지 제n 멀티 레이어 데이터가 획득되면, 상기 제1 라이다 센서 내지 상기 제n 라이다 센서에 각각 연동되는 제1 피처 추출 장치 내지 제n 피처 추출 장치 중 어느 하나인 피처 추출 장치로서, 제k - 상기 k는 1 이상 상기 n 이하의 정수임 - 멀티 레이어 데이터를 각각의 레이어별로 클러스터링하여 제k 레이어별 클러스터링 데이터를 생성하는 제k 피처 추출 장치; 및
상기 제1 피처 추출 장치 내지 상기 제n 피처 추출 장치 각각으로부터 제1 레이어별 클러스터링 데이터 내지 제n 레이어별 클러스터링 데이터가 획득되면, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 클러스터링 데이터를 클러스터링하여 제1 오브젝트 데이터 내지 제n 오브젝트 데이터를 생성하며, 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 결합하여 주변 오브젝트 데이터를 생성하는 오브젝트 매칭 장치;
를 포함하는 다중 라이다의 멀티 레이어 데이터를 처리하는 시스템.
In the system for processing multi-layer data of multiple liders,
The first to the nth lidar sensor-the n is an integer greater than or equal to 1-When the first to the nth multilayer data is obtained from each of the lidar sensors, the first to the nth lidar sensor A feature extraction device that is any one of a first feature extraction device to an n-th feature extraction device that is interlocked with each other, wherein k-th-the k is an integer greater than or equal to 1 and less than or equal to the n-th layer by clustering multi-layer data for each layer A k-th feature extraction device for generating star clustering data; And
When clustering data for each first layer to clustering data for each n-th layer are obtained from each of the first feature extraction device to the n-th feature extraction device, each of the clustering data for each of the first layer to the clustering data for each n-th layer An object matching device that generates first object data to n-th object data by clustering the clustering data for each layer, and generates surrounding object data by combining the first object data to the n-th object data;
A system for processing multi-layer data of a multi-lidar including a.
제8항에 있어서,
상기 제k 피처 추출 장치가, 상기 제k 멀티 레이어 데이터에 포함된 레이어별 포인트 데이터들을 각각의 레이어별로 클러스터링하여 레이어별 선분 데이터를 추출하고, 상기 레이어별 선분 데이터를 포함하는 상기 제k 레이어별 클러스터링 데이터를 생성하고,
상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 클러스터링하여 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 생성하며, 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 결합하여 상기 주변 오브젝트 데이터를 생성하는 것을 특징으로 하는 시스템.
The method of claim 8,
The k-th feature extraction apparatus extracts line segment data for each layer by clustering point data for each layer included in the k-th multi-layer data for each layer, and clustering for each k-th layer including the line segment data for each layer Create data,
The object matching apparatus generates the first object data to the n-th object data by clustering line segment data for each layer in each of the first layer-specific clustering data to the n-th layer-specific clustering data, and the first object And generating the surrounding object data by combining data to the n-th object data.
제9항에 있어서,
상기 제k 레이어별 클러스터링 데이터는 언클러스터링된 포인트 데이터들을 더 포함하며,
상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 언클러스터링된 포인트 데이터들을 클러스터링하여 제1 선분화 데이터 내지 제n 선분화 데이터를 생성하며, 제k 오브젝트 데이터 및 제k 선분화 데이터를 각각 결합하여 상기 주변 오브젝트 데이터를 생성하는 것을 특징으로 하는 시스템.
The method of claim 9,
The clustering data for each k-th layer further includes unclustered point data,
The object matching apparatus generates first to n-th line segmentation data by clustering unclustered point data for each layer in each of the first layer-specific clustering data to the n-th layer-specific clustering data, and generating the surrounding object data by combining the k-th object data and the k-th line segmentation data, respectively.
제9항에 있어서,
상기 제k 피처 추출 장치가, 상기 제k 멀티 레이어 데이터에 포함된 상기 레이어별 포인트 데이터를 필터링하여 지면 포인트 데이터들을 추출하고, 상기 지면 포인트 데이터들을 참조로 하여 제k 연석 데이터를 생성하는 것을 특징으로 하는 시스템.
The method of claim 9,
The k-th feature extraction apparatus extracts ground point data by filtering the point data for each layer included in the k-th multi-layer data, and generates k-th curb data by referring to the ground point data. System.
제9항에 있어서,
상기 오브젝트 매칭 장치가, 상기 제1 레이어별 클러스터링 데이터 내지 상기 제n 레이어별 클러스터링 데이터 각각에서의 레이어별 선분 데이터를 참조하여, 중첩되는 영역에 위치하는 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트를 동일 오브젝트로 클러스터링함으로써 상기 제1 오브젝트 데이터 내지 상기 제n 오브젝트 데이터를 생성하는 것을 특징으로 하는 시스템.
The method of claim 9,
The object matching device refers to the line segment data for each layer in each of the clustering data for each of the first layer to the clustering data for each n-th layer, and includes a first specific object and a second specific object of a first specific layer positioned in an overlapping area. And generating the first object data to the n-th object data by clustering a second specific object of a specific layer into the same object.
제9항에 있어서,
상기 제k 피처 추출 장치는, (i) 상기 제k 멀티 레이어 데이터의 각각의 레이어에 포함된 오브젝트들에 대응하는 제1 포인트 내지 제p 포인트 각각에서 직전 포인트와의 거리값이 기설정된 제1 기준값 이상인지를 확인한 결과, 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들이 확인되면, 상기 제1 포인트를 제1 시작 포인트로 지정하고, 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들을 제2 시작 포인트 내지 제j 시작 포인트로 지정하며, 상기 직전 포인트와의 거리값이 상기 제1 기준값 이상인 포인트들의 직전 포인트들을 제1 브레이크 포인트 내지 제(j-1) 브레이크 포인트로 지정하고, 상기 제p 포인트를 제j 브레이크 포인트로 지정하며, (ii) 상기 각각의 레이어에서, 제i - 상기 i는 1 이상 상기 j 이하의 정수임 - 시작 포인트와 제i 브레이크 포인트 사이의 포인트들 중, 상기 제i 시작 포인트와 상기 제i 브레이크 포인트를 연결하는 제i 선분 사이의 최대 거리값을 가지는 특정 포인트를 확인하고, 상기 특정 포인트와 상기 제i 선분 사이의 최대 거리값이 기설정된 제2 기준값 이상인지를 확인하며, 상기 특정 포인트와 상기 제i 선분 사이의 최대 거리값이 상기 제2 기준값 이상일 경우 상기 특정 포인트를 코너 포인트로 지정하며, (iii) 상기 각각의 레이어에서, 상기 제i 시작 포인트와 상기 코너 포인트 사이의 포인트들 각각과, 상기 제i 시작 포인트와 상기 코너 포인트를 연결하는 선분 사이의 제2 거리값들이 상기 제2 기준값 미만인지를 확인하며, 상기 제2 거리값들이 상기 제2 기준값 미만일 경우 상기 제i 시작 포인트와 상기 코너 포인트를 연결하는 선분을 제i 오브젝트의 피처 라인으로 설정하고, 상기 코너 포인트와 제i 브레이크 포인트 사이의 포인트들 각각과, 상기 코너 포인트와 제i 브레이크 포인트를 연결하는 선분 사이의 제3 거리값들이 상기 제2 기준값 미만인지를 확인하며, 상기 제3 거리값들이 상기 제2 기준값 미만일 경우 상기 코너 포인트와 제i 브레이크 포인트를 연결하는 선분을 상기 제i 오브젝트의 피처 라인으로 설정함으로써, 상기 제i 오브젝트의 피처 라인인 선분 데이터를 포함하는 상기 제k 레이어별 클러스터링 데이터를 생성하는 것을 특징으로 하는 시스템.
The method of claim 9,
The k-th feature extraction apparatus includes: (i) a first reference value in which a distance value from a point immediately preceding each of a first point to a p-th point corresponding to objects included in each layer of the k-th multi-layer data is preset As a result of checking whether it is abnormal, if points having a distance value of the immediately preceding point equal to or greater than the first reference value are identified, the first point is designated as a first starting point, and points having a distance value of the immediately preceding point equal to or greater than the first reference value are selected. Designated as a second starting point to a j-th starting point, points immediately preceding points having a distance value of the immediately preceding point equal to or greater than the first reference value are designated as a first break point to a (j-1)th break point, and the first Point p is designated as the j-th breakpoint, and (ii) in each of the layers, ith-the i is an integer greater than or equal to 1 and less than or equal to j-from among points between the start point and the ith breakpoint, the ith Check a specific point having a maximum distance value between the start point and the i-th line segment connecting the i-th line segment, and check whether the maximum distance value between the specific point and the i-th line segment is greater than or equal to a preset second reference value And, when the maximum distance value between the specific point and the i-th line segment is equal to or greater than the second reference value, the specific point is designated as a corner point, and (iii) in each of the layers, the i-th starting point and the corner point It is checked whether the second distance values between each of the points between and a line segment connecting the i-th starting point and the corner point are less than the second reference value, and when the second distance values are less than the second reference value, the A line segment connecting the i-th starting point and the corner point is set as a feature line of the i-th object, and a line segment connecting each of the points between the corner point and the i-th break point and the corner point and the i-th break point It is checked whether the third distance values between are less than the second reference value, and when the third distance values are less than the second reference value By setting a line segment connecting the corner point and the i-th break point as a feature line of the i-th object, the clustering data for each k-th layer including line segment data that is a feature line of the i-th object is generated. System.
제13항에 있어서,
상기 오브젝트 매칭 장치는, 제1 특정 레이어의 제1 특정 오브젝트와 제2 특정 레이어의 제2 특정 오브젝트 각각의 피처 라인의 시작 포인트와 브레이크 포인트가 동일하지 않을 경우, 상기 제1 특정 레이어와 상기 제2 특정 레이어의 높이 차가 기설정된 제3 기준값 이하이며, 상기 제1 특정 레이어의 상기 제1 특정 오브젝트의 제1 피처 라인과 상기 제2 특정 레이어의 상기 제2 특정 오브젝트의 제2 피처 라인의 기울기와 이격 거리가 기설정된 제4 기준값 이하이면 동일 오브젝트로 클러스터링하는 것을 특징으로 하는 시스템.
The method of claim 13,
When the first specific object of the first specific layer and the second specific object of the second specific layer are not the same as a start point and a break point of each of the feature lines, the object matching device may be configured with the first specific layer and the second specific object. The height difference of a specific layer is less than or equal to a predetermined third reference value, and a distance from the slope of the first feature line of the first specific object of the first specific layer and the second feature line of the second specific object of the second specific layer When the distance is less than or equal to a preset fourth reference value, the system is clustered into the same object.
KR1020190121852A 2019-10-01 2019-10-01 Method and system for processing multi layer data of respective multi lidars KR102320920B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190121852A KR102320920B1 (en) 2019-10-01 2019-10-01 Method and system for processing multi layer data of respective multi lidars

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190121852A KR102320920B1 (en) 2019-10-01 2019-10-01 Method and system for processing multi layer data of respective multi lidars

Publications (2)

Publication Number Publication Date
KR20210039244A true KR20210039244A (en) 2021-04-09
KR102320920B1 KR102320920B1 (en) 2021-11-04

Family

ID=75444316

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190121852A KR102320920B1 (en) 2019-10-01 2019-10-01 Method and system for processing multi layer data of respective multi lidars

Country Status (1)

Country Link
KR (1) KR102320920B1 (en)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703692B1 (en) * 2004-11-03 2007-04-05 삼성전자주식회사 System, apparatus and method for improving readability of a map representing objects in space
KR101480651B1 (en) * 2013-12-09 2015-01-09 현대자동차주식회사 Method for Object Processing and Vehicle supporting the same
KR20160069847A (en) * 2014-12-09 2016-06-17 현대자동차주식회사 Method for clustering Data of Multi-layer of Lidar
KR20180099090A (en) * 2017-02-28 2018-09-05 전자부품연구원 Multi-Lidar Signal Convergence Device for Autonomous Vehicles
KR20190062689A (en) * 2017-11-29 2019-06-07 현대자동차주식회사 Vehicle, and control method for the same

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100703692B1 (en) * 2004-11-03 2007-04-05 삼성전자주식회사 System, apparatus and method for improving readability of a map representing objects in space
KR101480651B1 (en) * 2013-12-09 2015-01-09 현대자동차주식회사 Method for Object Processing and Vehicle supporting the same
KR20160069847A (en) * 2014-12-09 2016-06-17 현대자동차주식회사 Method for clustering Data of Multi-layer of Lidar
KR20180099090A (en) * 2017-02-28 2018-09-05 전자부품연구원 Multi-Lidar Signal Convergence Device for Autonomous Vehicles
KR20190062689A (en) * 2017-11-29 2019-06-07 현대자동차주식회사 Vehicle, and control method for the same

Also Published As

Publication number Publication date
KR102320920B1 (en) 2021-11-04

Similar Documents

Publication Publication Date Title
JP5690688B2 (en) Outside world recognition method, apparatus, and vehicle system
JP5999127B2 (en) Image processing device
JP7206583B2 (en) Information processing device, imaging device, device control system, moving object, information processing method and program
US10748014B2 (en) Processing device, object recognition apparatus, device control system, processing method, and computer-readable recording medium
KR102154589B1 (en) METHOD FOR CLUSTERING MULTI-LAYER DATE OF LiDAR, AND COMPUTING DEVICE USING THE SAME
CN111461221B (en) Multi-source sensor fusion target detection method and system for automatic driving
US11443151B2 (en) Driving assistant system, electronic device, and operation method thereof
KR102569437B1 (en) Apparatus and method tracking object based on 3 dimension images
US11403947B2 (en) Systems and methods for identifying available parking spaces using connected vehicles
JP2009070344A (en) Image recognition device, image recognition method, and electronic control device
Cerri et al. Computer vision at the hyundai autonomous challenge
WO2017043358A1 (en) Object detecting device and object detecting method
US10657392B2 (en) Object detection device, object detection method, and program
US20220334258A1 (en) Apparatus for assisting driving of vehicle and method thereof
DE112021006101T5 (en) Systems and methods for object detection with LiDAR decorrelation
US20220171975A1 (en) Method for Determining a Semantic Free Space
KR20200095357A (en) Learning method and learning device for heterogeneous sensor fusion by using merging network which learns non-maximum suppression
KR102405767B1 (en) Apparatus and method for tracking object based on semantic point cloud
KR20200058272A (en) Method and system for providing road driving situation through preprocessing of road driving image
JP6683245B2 (en) Image processing device, image processing method, image processing program, object recognition device, and device control system
KR20210039244A (en) Method and system for processing multi layer data of respective multi lidars
Darms et al. Data fusion strategies in advanced driver assistance systems
KR20200040187A (en) Learning method and testing method for monitoring blind spot of vehicle, and learning device and testing device using the same
CN116704304A (en) Multi-mode fusion target detection method of mixed attention mechanism
KR20170138842A (en) System and Method for Tracking Vehicle on the basis on Template Matching

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right