KR102605168B1 - Apparatus and method for detecting blockage of multi lidar sensor - Google Patents
Apparatus and method for detecting blockage of multi lidar sensor Download PDFInfo
- Publication number
- KR102605168B1 KR102605168B1 KR1020190065891A KR20190065891A KR102605168B1 KR 102605168 B1 KR102605168 B1 KR 102605168B1 KR 1020190065891 A KR1020190065891 A KR 1020190065891A KR 20190065891 A KR20190065891 A KR 20190065891A KR 102605168 B1 KR102605168 B1 KR 102605168B1
- Authority
- KR
- South Korea
- Prior art keywords
- lidar sensor
- lidar
- contamination
- detection
- sensor
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims abstract description 117
- 238000011109 contamination Methods 0.000 claims abstract description 109
- 238000004458 analytical method Methods 0.000 claims abstract description 73
- 230000005856 abnormality Effects 0.000 claims abstract description 32
- 238000004364 calculation method Methods 0.000 claims description 5
- 238000004140 cleaning Methods 0.000 description 7
- 238000010586 diagram Methods 0.000 description 4
- 239000000428 dust Substances 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 238000004891 communication Methods 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000009434 installation Methods 0.000 description 2
- 230000002238 attenuated effect Effects 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/90—Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
- G01S2007/4975—Means for monitoring or calibrating of sensor obstruction by, e.g. dirt- or ice-coating, e.g. by reflection measurement on front-screen
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
멀티 라이다 센서 이상 검출 장치 및 방법이 개시된다. 본 발명의 멀티 라이다 센서 이상 검출 장치 및 방법은, 적어도 하나 이상의 중첩영역이 존재하도록 차량 전방 또는 후방에 구비되어 레이저를 송수신하는 제1라이다센서 및 제2라이다센서; 제1라이다센서 및 제2라이다센서의 수신 신호를 각각 감지하여 각각의 센싱 데이터를 분석하는 라이다감지분석부; 및 라이다감지분석부로부터 입력받은 제1라이다센서의 분석 데이터에 기초하여 제1라이다센서의 오염 여부를 판단하고 라이다감지분석부로부터 입력받은 제2라이다센서의 분석 데이터에 기초하여 제2라이다센서의 오염 여부를 판단하는 1차오염판단을 수행하며, 제1라이다센서 및 제2라이다센서 간 분석 데이터를 비교하여 제1라이다센서 및 제2라이다센서의 오염 여부를 판단하는 2차오염판단을 수행하는 제어부;를 포함하는 것을 특징으로 한다.An apparatus and method for detecting a multi-lidar sensor abnormality are disclosed. The multi-LIDAR sensor abnormality detection apparatus and method of the present invention include a first and a second LIDAR sensor that are provided at the front or rear of the vehicle and transmit and receive lasers so that at least one overlapping area exists; A LiDAR detection and analysis unit that detects received signals from the first LiDAR sensor and the second LiDAR sensor and analyzes each sensing data; And based on the analysis data of the first LiDAR sensor input from the LiDAR detection and analysis unit, determine whether the first LiDAR sensor is contaminated, and based on the analysis data of the second LiDAR sensor input from the LiDAR detection and analysis unit. Performs a primary contamination judgment to determine whether the 2nd LiDAR sensor is contaminated, and compares the analysis data between the 1st and 2nd LiDAR sensors to determine whether the 1st and 2nd LiDAR sensors are contaminated. It is characterized by including a control unit that performs a secondary pollution determination to determine.
Description
본 발명은 멀티 라이다 센서 이상 검출 장치 및 방법에 관한 것으로서, 보다 상세하게는 멀티 라이다 센서의 표면 오염으로 인한 신호 미감지를 검출하는 멀티 라이다 센서 이상 검출 장치 및 방법에 관한 것이다.The present invention relates to a multi-LIDAR sensor abnormality detection device and method, and more specifically, to a multi-LIDAR sensor abnormality detection device and method for detecting signal non-detection due to surface contamination of the multi-LIDAR sensor.
일반적으로 자율주행 레벨3의 기능은 고속도로 자율주행뿐만 아니라, 자율주차와 같은 기능들을 요구하고 있으며 이에 거리 분해능이 높은 라이다 센서(LiDAR sensor)의 필요성이 높아지고 있다. In general, autonomous driving level 3 functions require functions such as autonomous parking as well as autonomous highway driving, and the need for LiDAR sensors with high distance resolution is increasing.
기존 라이다 센서 기술은 일반적으로 자율주행을 위한 수평 감지용으로 개발되어 왔다. 하지만 자율주차의 경우에는 근접 지면에 존재하는 주차 스토퍼, 연석, 주차선 등의 감지가 가능한 지면검지용 라이다 센서의 필요성이 대두되어 왔다. Existing LiDAR sensor technology has generally been developed for horizontal detection for autonomous driving. However, in the case of autonomous parking, the need for a lidar sensor for ground detection that can detect parking stoppers, curbs, and parking lines on the nearby ground has emerged.
즉 종래 라이다 센서는 다채널에 최적화된 형태로 개발되어 왔다. 예컨대, 3개의 송/수신 HW 구성으로 2장의 미러를 활용하여 6개 채널의 효과를 내고 있다. 최근 자율주행 상용화 시장의 방향은 레이더, 카메라, 라이다의 센서 융합으로 구성되며, 이런 융합을 고려했을 때, 라이다의 최소사양을 정의할 수 있다. 이를 위해서, 미러와 송/수신 광축은 약90도를 유지하는 형태의 구조를 사용하게 되는데, 이 구조의 단점은 화각에 따른 수광량 감쇄구조라는 것이다. 이는 가장자리로 갈수록 검출거리가 감소하는 효과를 가지며 최대 화각도 145도로 제한이 있다.In other words, conventional LiDAR sensors have been developed in a form optimized for multi-channel. For example, with 3 transmit/receive HW configurations, 2 mirrors are used to create the effect of 6 channels. The direction of the recent autonomous driving commercialization market consists of sensor convergence of radar, camera, and LiDAR, and considering this convergence, the minimum specifications of LiDAR can be defined. For this purpose, a structure in which the mirror and the transmitting/receiving optical axis are maintained at approximately 90 degrees is used, but the disadvantage of this structure is that the amount of received light is attenuated depending on the angle of view. This has the effect of decreasing the detection distance toward the edge, and the maximum angle of view is limited to 145 degrees.
이에, 기존의 스캔 각도에 따른 검출거리 문제점과 최대화각 문제를 해결하면서도 새로운 기능을 갖도록 하는 방법이 개발되었다. 종래 기술 대비 두 개의 미러가 수직 형태가 아닌 45도와 유사한 대각선 형태를 취하고 있으며, 이는 각도에 따라서 동일한 수광면적을 갖기 때문에 스캔 각도에 따른 검출거리가 동일하다. 또한 최대 화각의 제한이 없어 이론적으로는 360도까지 스캔이 가능한 장점이 있다. 총 2개의 미러를 사용하게 되는데, 하나는 수평감지용, 하나는 지면감지용으로 활용함으로써 차량용 센서에 최적화된 구성을 제안한다. 즉 1쌍의 송/수신 센서로 수평 및 지면이 모두 감지 가능하도록 하는 구성이다. 다시 말해 하나의 라이다 센서로 수평과 지면이 감지 가능할 뿐 아니라 화각도 360도 내에서 자유롭게 변형이 가능하다. Accordingly, a method was developed to provide a new function while solving the detection distance problem and the maximum angle problem according to the existing scan angle. Compared to the prior art, the two mirrors take a diagonal shape similar to 45 degrees rather than a vertical shape, and since they have the same light receiving area depending on the angle, the detection distance according to the scan angle is the same. Additionally, there is no limit to the maximum angle of view, so it has the advantage of theoretically being able to scan up to 360 degrees. A total of two mirrors are used, one for horizontal detection and one for ground detection, suggesting an optimized configuration for vehicle sensors. In other words, it is a configuration that allows both horizontal and ground detection with a pair of transmitting/receiving sensors. In other words, not only can the level and ground be detected with a single LiDAR sensor, but the angle of view can also be freely modified within 360 degrees.
한편, 차량을 운행하다보면 외부에 노출된 라이다 센서는 외부의 오염(눈/비/먼지 등)으로 인해 센서의 미감지가 발생하게 되고, 이를 감지하는 것을 blockage 검출이라고 한다. 이때 오염이 감지된 경우에는 클리닝(cleaning) 시스템을 가동하여 센서 표면의 오염을 제거하게 된다.Meanwhile, when driving a vehicle, the lidar sensor exposed to the outside is not detected due to external contamination (snow/rain/dust, etc.), and detecting this is called blockage detection. At this time, if contamination is detected, a cleaning system is operated to remove contamination from the sensor surface.
종래에는 단일 센서 기반의 blockage calibration 방법들에 대해서만 제안되어 있어, 멀티 라이다 센서 기반의 blockage 방법의 개발이 필요하며, 오염에 의해 수신 신호의 정확도가 떨어지는 경우에도 멀티 라이다 센서의 blockage 검출을 정확하게 할 수 있도록 하는 방법의 개발이 필요하다.Conventionally, only single sensor-based blockage calibration methods have been proposed, so the development of a multi-LIDAR sensor-based blockage method is necessary. Even when the accuracy of the received signal is reduced due to contamination, the blockage of the multi-LIDAR sensor can be accurately detected. There is a need to develop a method to make this possible.
본 발명의 배경기술로는 한국 공개특허공보 제10-2019-0043035호(2019.04.25.공개)인 "라이다 데이터 기반 객체 검출 장치, 그를 포함한 시스템 및 그 방법"이 있다.The background technology of the present invention is Korean Patent Publication No. 10-2019-0043035 (published on April 25, 2019), “LiDAR data-based object detection device, system including the same, and method thereof.”
본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점들을 개선하기 위하여 창안된 것으로, 멀티 라이다 센서의 위치정보 및 오염패턴에 기초하여 표면 오염으로 인한 신호 미감지를 검출하는 멀티 라이다 센서 이상 검출 장치 및 방법을 제공하는 것을 목적으로 한다.According to one aspect of the present invention, the present invention was created to improve the above problems, and the multi-lidar sensor detects non-detection of signals due to surface contamination based on the location information and contamination pattern of the multi-lidar sensor. The purpose is to provide a detection device and method.
본 발명의 일 측면에 따른 멀티 라이다 센서 이상 검출 장치는, 적어도 하나 이상의 중첩영역이 존재하도록 차량 전방 또는 후방에 구비되어 레이저를 송수신하는 제1라이다센서 및 제2라이다센서; 상기 제1라이다센서 및 제2라이다센서의 수신 신호를 각각 감지하여 각각의 센싱 데이터를 분석하는 라이다감지분석부; 및 상기 라이다감지분석부로부터 입력받은 상기 제1라이다센서의 분석 데이터에 기초하여 상기 제1라이다센서의 오염 여부를 판단하고 상기 라이다감지분석부로부터 입력받은 상기 제2라이다센서의 분석 데이터에 기초하여 상기 제2라이다센서의 오염 여부를 판단하는 1차오염판단을 수행하며, 상기 제1라이다센서 및 제2라이다센서 간 분석 데이터를 비교하여 상기 제1라이다센서 및 제2라이다센서의 오염 여부를 판단하는 2차오염판단을 수행하는 제어부;를 포함하는 것을 특징으로 한다.A multi-LIDAR sensor abnormality detection device according to an aspect of the present invention includes a first and second LIDAR sensors that are provided at the front or rear of the vehicle and transmit and receive lasers so that at least one overlapping area exists; A LiDAR detection and analysis unit that detects received signals from the first LiDAR sensor and the second LiDAR sensor and analyzes each sensing data; And determine whether the first LiDAR sensor is contaminated based on the analysis data of the first LiDAR sensor input from the LiDAR detection and analysis unit, and determine the contamination of the second LiDAR sensor input from the LiDAR detection and analysis unit. Based on the analysis data, a primary contamination judgment is made to determine whether the second LiDAR sensor is contaminated, and the analysis data between the first LiDAR sensor and the second LiDAR sensor are compared to determine the contamination of the first LiDAR sensor and the second LiDAR sensor. It is characterized by including a control unit that performs a secondary contamination determination to determine whether the second lidar sensor is contaminated.
본 발명에서, 상기 라이다감지분석부는, 상기 제1라이다센서 및 제2라이다센서 각각에서 수신된 점군(point cloud) 신호를 각각 검출하는 신호수신검출부; 상기 제1라이다센서 및 제2라이다센서 각각에서 수신된 신호의 세기를 각각 검출하는 신호세기검출부; 및 상기 제1라이다센서 및 제2라이다센서 각각에서 수신된 신호의 센싱 거리를 각각 검출하는 센싱거리산출부;를 포함하는 것을 특징으로 한다.In the present invention, the LiDAR detection and analysis unit includes a signal reception detection unit that detects point cloud signals received from each of the first LiDAR sensor and the second LiDAR sensor; A signal intensity detection unit that detects the intensity of signals received from each of the first and second lidar sensors; And a sensing distance calculation unit that detects the sensing distance of the signal received from each of the first LiDAR sensor and the second LiDAR sensor.
본 발명에서, 상기 제어부는, 상기 제1라이다센서 및 제2라이다센서에서 각각 수신된 점군(point cloud) 신호 감지 여부, 신호 세기 정도 및 센싱 거리 중 적어도 하나 이상에 기초하여 1차오염판단을 수행하는 것을 특징으로 한다.In the present invention, the control unit determines primary contamination based on at least one of whether or not a point cloud signal received from the first LiDAR sensor and the second LiDAR sensor is detected, the degree of signal strength, and the sensing distance. It is characterized by performing.
본 발명에서, 상기 제어부는, 상기 제1라이다센서 및 제2라이다센서로부터 점군(point cloud) 신호가 감지되지 않거나, 신호 세기가 기준치 이하이거나, 센싱 거리 검출 정확도 값이 기준치 이하인 경우 해당 라이다센서 표면에 오염이 발생하였다고 판단하는 것을 특징으로 한다.In the present invention, the control unit, when a point cloud signal is not detected from the first LiDAR sensor and the second LiDAR sensor, the signal strength is below the standard value, or the sensing distance detection accuracy value is below the standard value, the corresponding Ra It is characterized by determining that contamination has occurred on the surface of the sensor.
본 발명에서, 상기 제어부는, 상기 제1라이다센서 및 제2라이다센서로부터 점군(point cloud) 신호가 감지되지 않으면 오염 정도가 임계치 이상이라고 판단하고, 상기 점군(point cloud) 신호는 감지되나 신호 세기가 기준치 이하이거나 센싱 거리 검출 정확도 값이 기준치 이하이면 오염 정도가 오염 판단 기준값 이상이고 임계치 미만이라고 판단하는 것을 특징으로 한다.In the present invention, the control unit determines that the degree of contamination is above a threshold if a point cloud signal is not detected from the first and second LiDAR sensors, and whether the point cloud signal is detected. If the signal strength is below the standard value or the sensing distance detection accuracy value is below the standard value, the degree of contamination is determined to be above the contamination determination standard value and below the threshold value.
본 발명에서, 상기 라이다감지분석부는, 상기 제1라이다센서 및 제2라이다센서 각각의 오염 패턴을 분석하는 오염패턴분석부;를 더 포함하는 것을 특징으로 한다.In the present invention, the LIDAR detection and analysis unit further includes a contamination pattern analysis unit that analyzes contamination patterns of each of the first and second LIDAR sensors.
본 발명에서, 상기 제어부는, 상기 제1라이다센서 및 제2라이다센서의 중첩영역의 센싱 거리 및 오염 패턴에 기초하여 오염 발생을 판단하는 2차오염판단을 수행하되, 상기 제1라이다센서 및 제2라이다센서의 중첩영역의 센싱 거리를 비교하여 상기 센싱 거리 간의 오차가 기준치 이상이면, 상기 제1라이다센서 및 제2라이다센서 간의 오염패턴을 비교하여 기준치 이상 일치하는 경우 상기 제1라이다센서 및 제2라이다센서 모두 오염이 발생한 것으로 판단하는 것을 특징으로 한다.In the present invention, the control unit performs a secondary pollution determination to determine the occurrence of pollution based on the sensing distance and pollution pattern of the overlapping area of the first LiDAR sensor and the second LiDAR sensor. Compare the sensing distances of the overlapping areas of the sensor and the second LiDAR sensor, and if the error between the sensing distances is more than the standard value, compare the contamination patterns between the first LiDAR sensor and the second LiDAR sensor, and if they match more than the standard value, Both the first LiDAR sensor and the second LiDAR sensor are characterized in that it is determined that contamination has occurred.
본 발명의 다른 측면에 따른 멀티 라이다 센서 이상 검출 방법은, 제어부가 라이다감지분석부로부터 제1라이다센서 및 제2라이다센서 각각의 분석 데이터를 입력받는 단계; 상기 제어부가 상기 라이다감지분석부로부터 입력받은 상기 제1라이다센서의 분석 데이터에 기초하여 상기 제1라이다센서의 오염 여부를 판단하고 상기 라이다감지분석부로부터 입력받은 상기 제2라이다센서의 분석 데이터에 기초하여 상기 제2라이다센서의 오염 여부를 판단하는 1차오염판단을 수행하는 단계; 및 상기 제어부가 상기 제1라이다센서 및 제2라이다센서 간 분석 데이터를 비교하여 상기 제1라이다센서 및 제2라이다센서의 오염 여부를 판단하는 2차오염판단을 수행하는 단계;를 포함하되, 상기 제1라이다센서 및 제2라이다센서는, 적어도 하나 이상의 중첩영역이 존재하도록 차량 전방 또는 후방에 구비되어 레이저를 송수신하는 것을 특징으로 한다.A multi-LIDAR sensor abnormality detection method according to another aspect of the present invention includes the steps of a control unit receiving analysis data from each of the first LiDAR sensor and the second LiDAR sensor from the LiDAR detection and analysis unit; The control unit determines whether the first LiDAR sensor is contaminated based on the analysis data of the first LiDAR sensor input from the LiDAR detection and analysis unit, and the second LiDAR sensor is input from the LiDAR detection and analysis unit. Performing a primary contamination determination to determine whether the second lidar sensor is contaminated based on the sensor analysis data; And performing a secondary contamination determination by the control unit to determine whether the first LiDAR sensor and the second LiDAR sensor are contaminated by comparing analysis data between the first LiDAR sensor and the second LiDAR sensor; Including, the first lidar sensor and the second lidar sensor are provided at the front or rear of the vehicle so that at least one overlapping area exists and are characterized in that they transmit and receive laser.
본 발명의 상기 제1라이다센서 및 제2라이다센서 각각의 분석 데이터를 입력받는 단계에서, 상기 제어부는, 상기 라이다감지분석부로부터 상기 제1라이다센서 및 제2라이다센서 각각에서 수신된 점군(point cloud) 신호, 신호의 세기 및 신호의 센싱 거리를 각각 입력받는 것을 특징으로 한다.In the step of receiving analysis data from each of the first LiDAR sensor and the second LiDAR sensor of the present invention, the control unit receives the analysis data from each of the first LiDAR sensor and the second LiDAR sensor from the LiDAR detection and analysis unit. It is characterized by receiving inputs of the received point cloud signal, signal strength, and signal sensing distance, respectively.
본 발명의 상기 1차오염판단을 수행하는 단계에서, 상기 제어부는, 상기 제1라이다센서 및 제2라이다센서에서 각각 수신된 점군(point cloud) 신호 감지 여부, 신호 세기 정도 및 센싱 거리 중 적어도 하나 이상에 기초하여 1차오염판단을 수행하는 것을 특징으로 한다.In the step of performing the primary pollution determination of the present invention, the control unit determines whether to detect a point cloud signal received from the first and second LiDAR sensors, the signal intensity level, and the sensing distance, respectively. It is characterized by performing a primary contamination judgment based on at least one or more factors.
본 발명의 상기 1차오염판단을 수행하는 단계에서, 상기 제어부는, 상기 제1라이다센서 및 제2라이다센서로부터 점군(point cloud) 신호가 감지되지 않거나, 신호 세기가 기준치 이하이거나, 센싱 거리 검출 정확도 값이 기준치 이하인 경우 해당 라이다센서 표면에 오염이 발생하였다고 판단하는 것을 특징으로 한다.In the step of performing the primary contamination determination of the present invention, the control unit detects a point cloud signal from the first LiDAR sensor and the second LiDAR sensor, the signal intensity is below the standard value, or the sensing If the distance detection accuracy value is below the standard value, it is determined that contamination has occurred on the surface of the corresponding LiDAR sensor.
본 발명의 상기 1차오염판단을 수행하는 단계에서, 상기 제어부는, 상기 제1라이다센서 및 제2라이다센서로부터 점군(point cloud) 신호가 감지되지 않으면 오염 정도가 임계치 이상이라고 판단하고, 상기 점군(point cloud) 신호는 감지되나 신호 세기가 기준치 이하이거나 센싱 거리 검출 정확도 값이 기준치 이하이면 오염 정도가 오염 판단 기준값 이상이고 임계치 미만이라고 판단하는 것을 특징으로 한다.In the step of performing the primary contamination determination of the present invention, the control unit determines that the degree of contamination is above a threshold if a point cloud signal is not detected from the first and second LIDAR sensors, The point cloud signal is detected, but if the signal strength is below the standard value or the sensing distance detection accuracy value is below the standard value, the degree of contamination is determined to be above the contamination determination standard value and below the threshold value.
본 발명의 상기 제1라이다센서 및 제2라이다센서 각각의 분석 데이터를 입력받는 단계에서, 상기 제어부는, 상기 라이다감지분석부로부터 상기 제1라이다센서 및 제2라이다센서 각각의 오염 패턴을 입력받는 것을 특징으로 한다.In the step of receiving analysis data from each of the first and second LiDAR sensors of the present invention, the control unit receives each of the first and second LiDAR sensors from the LiDAR detection and analysis unit. It is characterized by receiving a contamination pattern as input.
본 발명의 상기 2차오염판단을 수행하는 단계에서, 상기 제어부는, 상기 제1라이다센서 및 제2라이다센서의 중첩영역의 센싱 거리 및 오염 패턴에 기초하여 오염 발생을 판단하는 2차오염판단을 수행하되, 상기 제1라이다센서 및 제2라이다센서의 중첩영역의 센싱 거리를 비교하여 상기 센싱 거리 간의 오차가 기준치 이상이면, 상기 제1라이다센서 및 제2라이다센서 간의 오염패턴을 비교하여 기준치 이상 일치하는 경우 상기 제1라이다센서 및 제2라이다센서 모두 오염이 발생한 것으로 판단하는 것을 특징으로 한다.In the step of performing the secondary pollution determination of the present invention, the control unit determines the occurrence of pollution based on the sensing distance and pollution pattern of the overlapping area of the first LiDAR sensor and the second LiDAR sensor. Make a decision, and compare the sensing distances of the overlapping areas of the first LiDAR sensor and the second LiDAR sensor, and if the error between the sensing distances is greater than the standard value, contamination between the first LiDAR sensor and the second LiDAR sensor When the patterns are compared and match more than a standard value, it is determined that contamination has occurred in both the first and second lidar sensors.
본 발명의 일 실시예에 따른 멀티 라이다 센서 이상 검출 장치 및 방법은, 멀티 라이다 센서의 위치정보 및 오염패턴에 기초하여 표면 오염으로 인한 신호 미감지를 보다 정확하게 검출함으로써, 최적의 시점에 클리닝 시스템을 통해 센서 표면의 오염을 제거할 수 있으며, 외부의 오염(눈/비/먼지 등)으로 인해 센서의 미감지 발생하는 시간을 최소화하여 차량 제어에 이상이 발생하는 것을 방지할 수 있는 효과가 있다.The multi-LIDAR sensor abnormality detection device and method according to an embodiment of the present invention more accurately detects signal failure due to surface contamination based on the location information and contamination pattern of the multi-LIDAR sensor, thereby cleaning the system at the optimal time. Through this, contamination on the sensor surface can be removed, and it has the effect of preventing problems in vehicle control by minimizing the time when the sensor is not detected due to external contamination (snow/rain/dust, etc.). .
도 1은 본 발명의 일 실시예에 따른 멀티 라이다 센서 이상 검출 장치를 나타낸 블록구성도이다.
도 2는 본 발명의 일 실시예에 따른 멀티 라이다 센서 이상 검출 방법을 설명하기 위한 흐름도이다.
도 3은 본 발명의 일 실시예에 따른 멀티 라이다 센서의 중첩영역을 설명하기 위한 예시도이다.Figure 1 is a block diagram showing a multi-LIDAR sensor abnormality detection device according to an embodiment of the present invention.
Figure 2 is a flowchart illustrating a method for detecting a multi-LIDAR sensor abnormality according to an embodiment of the present invention.
Figure 3 is an example diagram for explaining the overlapping area of a multi-LIDAR sensor according to an embodiment of the present invention.
이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 멀티 라이다 센서 이상 검출 장치 및 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. Hereinafter, an apparatus and method for detecting a multi-LIDAR sensor abnormality according to an embodiment of the present invention will be described with reference to the attached drawings. In this process, the thickness of lines or sizes of components shown in the drawing may be exaggerated for clarity and convenience of explanation.
또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In addition, the terms described below are terms defined in consideration of functions in the present invention, and may vary depending on the intention or custom of the user or operator. Therefore, definitions of these terms should be made based on the content throughout this specification.
또한, 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.Additionally, implementations described herein may be implemented as, for example, a method or process, device, software program, data stream, or signal. Although discussed only in the context of a single form of implementation (eg, only as a method), implementations of the features discussed may also be implemented in other forms (eg, devices or programs). The device may be implemented with appropriate hardware, software, firmware, etc. The method may be implemented in a device such as a processor, which generally refers to a processing device that includes a computer, microprocessor, integrated circuit, or programmable logic device. Processors also include communication devices such as computers, cell phones, portable/personal digital assistants (“PDAs”) and other devices that facilitate communication of information between end-users.
도 1은 본 발명의 일 실시예에 따른 멀티 라이다 센서 이상 검출 장치를 나타낸 블록구성도이고, 도 3은 본 발명의 일 실시예에 따른 멀티 라이다 센서의 중첩영역을 설명하기 위한 예시도로서, 이를 참조하여 멀티 라이다 센서 이상 검출 장치를 설명하면 다음과 같다.Figure 1 is a block diagram showing a multi-LIDAR sensor abnormality detection device according to an embodiment of the present invention, and Figure 3 is an exemplary diagram for explaining the overlapping area of a multi-LIDAR sensor according to an embodiment of the present invention. , With reference to this, the multi-lidar sensor abnormality detection device is described as follows.
도 1에 도시된 바와 같이, 본 발명의 일 실시예에 따른 멀티 라이다 센서 이상 검출 장치는, 제1라이다센서(LiDAR sensor, 11), 제2라이다센서(12), 라이다감지분석부(20) 및 제어부(30)를 포함하여, 제어부(30)가 제1라이다센서(11) 및 제2라이다센서(12) 각각에 표면 오염(blockage)이 발생하였다고 판단되는 경우 클리닝 시스템(4)을 작동시켜 표면의 오염을 없앨 수 있도록 하는 것이다.As shown in Figure 1, the multi-LIDAR sensor abnormality detection device according to an embodiment of the present invention includes a first LiDAR sensor (11), a second LiDAR sensor (12), and LiDAR detection analysis. Cleaning system, including the
즉 본 실시예는 멀티 라이다 센서 기반의 blockage 검출에 관한 것으로, 보다 구체적으로 멀티 라이다 센서의 표면 오염으로 인한 신호 미감지를 검출하는 것이다. 즉 차량을 운행하다보면 외부에 노출된 라이다센서는 외부의 오염(눈/비/먼지 등)으로 인해 센서의 미감지가 발생하게 되고, 오염이 감지되면 클리닝(cleaning) 시스템을 가동하여 센서 표면의 오염을 제거하는 것이다.That is, this embodiment relates to blockage detection based on a multi-LIDAR sensor, and more specifically, detects non-detection of signals due to surface contamination of the multi-LIDAR sensor. In other words, when driving a vehicle, the lidar sensor exposed to the outside is not detected due to external contamination (snow/rain/dust, etc.), and when contamination is detected, a cleaning system is activated to clean the sensor surface. to remove contamination.
제1라이다센서(11)는 차량 전방 또는 후방에 구비되어 레이저를 송수신한다.The
제2라이다센서(12)는 차량 전방 또는 후방에 구비되어 레이저를 송수신한다.The
또한 제1라이다센서(11) 및 제2라이다센서(12)는 적어도 하나 이상의 중첩영역이 존재하도록 구비될 수 있으며, 설치 위치 및 구현 방법에 대해서는 구체적으로 한정하지 않는다. 즉 도 3을 참조하면 제1라이다센서(11)의 라이다 감지 영역(LiDAR1)과 제2라이다센서(12)의 라이다 감지 영역(LiDAR2)이 겹쳐지는 영역을 중첩영역이라고 할 수 있다.In addition, the
또한 본 실시예에서 제1라이다센서(11) 및 제2라이다센서(12)는 두 개의 미러가 수직 형태가 아닌 45도와 유사한 대각선 형태를 취하고, 최대 화각의 제한이 없어 이론적으로는 360도까지 스캔이 가능하도록 구현될 수 있다. 그리고 제1라이다센서(11) 및 제2라이다센서(12)는 총 2개의 미러를 사용하게 되는데, 하나는 수평감지용, 하나는 지면감지용으로 활용함으로써 차량용 센서에 최적화된 구성으로 구현될 수 있다. 즉 1쌍의 송/수신 센서로 수평 및 지면이 모두 감지 가능하도록 하는 구성이다. 다시 말해 하나의 라이다 센서로 수평과 지면이 감지 가능할 뿐 아니라 화각도 360도 내에서 자유롭게 변형이 가능하다. 다만 이에 한정되지는 않는다. Additionally, in this embodiment, the
라이다감지분석부(20)는 제1라이다센서(11)의 수신 신호를 감지하여 센싱 데이터를 분석하고, 제2라이다센서(12)의 수신 신호를 감지하여 센싱 데이터를 분석할 수 있다.The LiDAR detection and
또한 라이다감지분석부(20)는 신호수신검출부(22), 신호세기검출부(24), 센싱거리산출부(26) 및 오염패턴분석부(28)를 포함하여 제1라이다센서(11) 및 제2라이다센서(12) 각각의 센싱 데이터를 분석할 수 있다.In addition, the LIDAR detection and
신호수신검출부(22)는 제1라이다센서(11)에서 수신된 점군(point cloud) 신호를 검출하고, 제2라이다센서(12)에서 수신된 점군(point cloud) 신호를 검출하여 제어부(30)에 제공한다.The signal
신호세기검출부(24)는 제1라이다센서(11)에서 수신된 신호의 세기를 검출하고, 제2라이다센서(12)에서 수신된 신호의 세기를 검출하여 제어부(30)에 제공할 수 있다. 이때 제1라이다센서(11) 및 제2라이다센서(12)에서 각각 수신된 신호는 상기 점군(point cloud) 신호 일 수 있다.The signal
그리고 센싱거리산출부(26)는 제1라이다센서(11)에서 수신된 신호의 센싱 거리를 검출하고, 제2라이다센서(12)에서 수신된 신호의 센싱 거리를 검출하여 제어부(30)에 제공할 수 있다. 이때 제1라이다센서(11) 및 제2라이다센서(12)에서 각각 수신된 신호는 상기 점군(point cloud) 신호일 수 있다.And the sensing
또한 오염패턴분석부(28)는 제1라이다센서(11)의 오염 패턴을 분석하고 제2라이다센서(12)의 오염패턴을 분석하여 제어부(30)에 제공할 수 있다. 이때 본 실시예에서 오염 패턴은 제1라이다센서(11) 및 제2라이다센서(12)의 레이저 신호를 출력할 때 출력되는 패턴 또는 출력되는 정도(강도)에 기초하여 분석할 수도 있고, 별도 오염 패턴을 분석하는 방법이 있을 수 있으나 이를 구체적으로 한정하지는 않는다.Additionally, the contamination
제어부(30)는 라이다감지분석부(20)로부터의 제1라이다센서(11) 및 제2라이다센서(12) 각각의 분석 데이터에 기초하여 라이다 센서 표면(window cover)의 오염을 감지하고 오염의 넓이나 형태에 따라 blockage를 판단한다.The
또한 제어부(30)는 각각의 단일 센서, 즉 제1라이다센서(11)와 제2라이다센서(12) 각각에 대해 blockage를 검출하는 1차오염판단을 수행하고, 제1라이다센서(11)와 제2라이다센서(12)의 중첩영역 데이터 및 오염패턴 비교를 통해 blockage를 검출하는 2차오염판단을 수행하여 오염 판단을 보다 정확하게 할 수 있도록 한다.In addition, the
즉 제어부(30)는 라이다감지분석부(20)로부터 입력받은 제1라이다센서(11)의 분석 데이터에 기초하여 제1라이다센서(11)의 오염 여부를 판단하고 라이다감지분석부(20)로부터 입력받은 제2라이다센서(12)의 분석 데이터에 기초하여 제2라이다센서(12)의 오염 여부를 판단하는 1차오염판단을 수행하며, 제1라이다센서(11) 및 제2라이다센서(12) 간 분석 데이터를 비교하여 제1라이다센서(11) 및 제2라이다센서(12)의 오염 여부를 판단하는 2차오염판단을 수행할 수 있다.That is, the
보다 구체적으로 제어부(30)는 제1라이다센서(11) 및 제2라이다센서(12)에서 각각 수신된 점군(point cloud) 신호 감지 여부, 신호 세기 정도 및 센싱 거리 중 적어도 하나 이상에 기초하여 1차오염판단을 수행할 수 있다.More specifically, the
즉 제어부(30)는 제1라이다센서(11) 및 제2라이다센서(12)로부터 점군(point cloud) 신호가 감지되지 않거나, 신호 세기가 기준치 이하이거나, 센싱 거리 검출 정확도 값이 기준치 이하인 경우 해당 라이다센서 표면에 오염이 발생하였다고 판단할 수 있다.That is, the
이때 제어부(30)는 제1라이다센서(11) 및 제2라이다센서(12)로부터 점군(point cloud) 신호가 감지되지 않으면 오염 정도가 임계치 이상이라고 판단하고, 상기 점군(point cloud) 신호는 감지되나 신호 세기가 기준치 이하이거나 센싱 거리 검출 정확도 값이 기준치 이하이면 오염 정도가 오염 판단 기준값 이상이고 임계치 미만이라고 판단할 수 있다. 즉 약간의 오염이 발생한 경우에는 되돌아온 신호의 값이 작기 때문에 수신 펄스(pulse)의 크기가 작아져서, 세기의 값이 낮고 검출거리가 부정확하게 된다. 큰 오염이 발생하면 신호가 송수신되지 않기 때문에 신호가 미감지된다. 따라서 이러한 값들을 종합하여 blockage를 판단하게 된다.At this time, the
그리고 제어부(30)는 제1라이다센서(11) 및 제2라이다센서(12)의 중첩영역의 센싱 거리 및 오염 패턴에 기초하여 오염 발생을 판단하는 2차오염판단을 수행한다. And the
즉 제어부(30)는 제1라이다센서(11) 및 제2라이다센서(12)의 중첩영역의 센싱 거리를 비교하여 센싱 거리 간의 오차가 기준치 이상이면, 제1라이다센서(11) 및 제2라이다센서(12) 간의 오염패턴을 비교하여 기준치 이상 일치하는 경우 제1라이다센서(11) 및 제2라이다센서(12) 모두 오염이 발생한 것으로 판단할 수 있다.That is, the
다시 말해, 멀티 라이다(제1라이다센서(11) 및 제2라이다센서(12)의 겹쳐진 중첩영역의 정보 비교를 통해 보다 정밀한 blockage 검출이 가능하다. 예컨대, 중첩 영역에서는 같은 뷰를 보고 있기 때문에 같은 거리 값을 가져야 하는데, 센서 간 데이터 비교를 통해 같은 거리 값을 갖지 않는다면, 한 쪽 센서만 오염됐을 가능성이 높다. 그러나 같은 도로 구간을 달렸다면 센서들은 동일한 오염 패턴이 발생할 가능성이 높으므로 한 쪽 센서만 오염될 가능성이 낮다. 따라서 오염이 발생한 경우 되돌아온 신호의 값이 작기 때문에 수신 펄스(pulse)의 크기가 작아져서, 세기의 값이 낮고 검출거리가 부정확하게 되므로 정확한 거리 비교가 어려울 수 있다. 이에 제1라이다센서(11)와 제2라이다센서(12) 간의 오염 패턴 비교를 통해 오염 판단을 보다 정밀하게 할 수 있도록 하는 것이다.In other words, more precise blockage detection is possible through comparison of information in the overlapping areas of multi-LIDAR (the
도 2는 본 발명의 일 실시예에 따른 멀티 라이다 센서 이상 검출 방법을 설명하기 위한 흐름도로서, 이를 참조하여 멀티 라이다 센서 이상 검출 방법을 설명하면 다음과 같다.Figure 2 is a flowchart for explaining a multi-LIDAR sensor abnormality detection method according to an embodiment of the present invention. With reference to this, the multi-LIDAR sensor abnormality detection method is described as follows.
도 2에 도시된 바와 같이, 본 발명의 일 실시예에 따른 멀티 라이다 센서 이상 검출 방법은, 먼저 라이다감지분석부(20)가 제1라이다센서(11) 및 제2라이다센서(12) 각각의 수신 신호를 감지한다(S10).As shown in FIG. 2, the multi-LIDAR sensor abnormality detection method according to an embodiment of the present invention first uses the LIDAR detection and
이때, 제1라이다센서(11) 및 제2라이다센서(12)는 차량 전방 또는 후방에 구비되어 레이저를 송수신한다. 또한 제1라이다센서(11) 및 제2라이다센서(12)는 적어도 하나 이상의 중첩영역이 존재하도록 구비될 수 있으며, 설치 위치 및 구현 방법에 대해서는 구체적으로 한정하지 않는다. 즉 도 3을 참조하면 제1라이다센서(11)의 라이다 감지 영역(LiDAR1)과 제2라이다센서(12)의 라이다 감지 영역(LiDAR2)이 겹쳐지는 영역을 중첩영역이라고 할 수 있다.At this time, the
그리고 라이다감지분석부(20)는 제1라이다센서(11) 센싱 데이터를 분석하여 제어부(30)에 제공하고(S21 내지 S23), 제2라이다센서(12) 센싱 데이터를 분석하여 제어부(30)에 제공한다(S31 내지 S33).And the LiDAR detection and
즉 라이다감지분석부(20)는 제1라이다센서(11)에서 수신된 점군(point cloud) 신호를 검출하고, 제2라이다센서(12)에서 수신된 점군(point cloud) 신호를 검출하여 제어부(30)에 제공하고, 제1라이다센서(11)에서 수신된 신호의 세기를 검출하고, 제2라이다센서(12)에서 수신된 신호의 세기를 검출하여 제어부(30)에 제공할 수 있다.That is, the LiDAR detection and
그리고 라이다감지분석부(20)는 제1라이다센서(11)에서 수신된 신호의 센싱 거리를 검출하고, 제2라이다센서(12)에서 수신된 신호의 센싱 거리를 검출하여 제어부(30)에 제공할 수 있다.And the LiDAR detection and
이에 제어부(30)는 라이다감지분석부(20)로부터 제1라이다센서(11) 및 제2라이다센서(12) 각각의 분석 데이터를 입력받아, blockage를 판단하기 위한 1차오염판단을 수행한다(S40).Accordingly, the
즉 제어부(30)는 라이다감지분석부(20)로부터 입력받은 제1라이다센서(11)의 분석 데이터에 기초하여 제1라이다센서(11)의 오염 여부를 판단하고 라이다감지분석부(20)로부터 입력받은 제2라이다센서(12)의 분석 데이터에 기초하여 제2라이다센서(12)의 오염 여부를 판단하는 1차오염판단을 수행하며, 제1라이다센서(11) 및 제2라이다센서(12) 간 분석 데이터를 비교하여 제1라이다센서(11) 및 제2라이다센서(12)의 오염 여부를 판단하는 2차오염판단을 수행할 수 있다.That is, the
보다 구체적으로 제어부(30)는 제1라이다센서(11) 및 제2라이다센서(12)에서 각각 수신된 점군(point cloud) 신호 감지 여부, 신호 세기 정도 및 센싱 거리 중 적어도 하나 이상에 기초하여 1차오염판단을 수행할 수 있다.More specifically, the
즉 제어부(30)는 제1라이다센서(11) 및 제2라이다센서(12)로부터 점군(point cloud) 신호가 감지되지 않거나, 신호 세기가 기준치 이하이거나, 센싱 거리 검출 정확도 값이 기준치 이하인 경우 해당 라이다센서 표면에 오염이 발생하였다고 판단할 수 있다.That is, the
이때 제어부(30)는 제1라이다센서(11) 및 제2라이다센서(12)로부터 점군(point cloud) 신호가 감지되지 않으면 오염 정도가 임계치 이상이라고 판단하고, 상기 점군(point cloud) 신호는 감지되나 신호 세기가 기준치 이하이거나 센싱 거리 검출 정확도 값이 기준치 이하이면 오염 정도가 오염 판단 기준값 이상이고 임계치 미만이라고 판단할 수 있다. 즉 약간의 오염이 발생한 경우에는 되돌아온 신호의 값이 작기 때문에 수신 펄스(pulse)의 크기가 작아져서, 세기의 값이 낮고 검출거리가 부정확하게 된다. 큰 오염이 발생하면 신호가 송수신되지 않기 때문에 신호가 미감지된다. 따라서 이러한 값들을 종합하여 blockage를 판단하게 된다.At this time, the
그리고 제어부(30)는 제1라이다센서(11) 및 제2라이다센서(12) 간 분석 데이터를 비교하여(S50, S60), 제1라이다센서(11) 및 제2라이다센서(12)의 오염 여부를 판단하는 2차오염판단을 수행한다(S70).And the
이때 제어부(30)는 제1라이다센서(11) 및 제2라이다센서(12)의 중첩영역의 센싱 거리 및 오염 패턴에 기초하여 오염 발생을 판단하는 2차오염판단을 수행한다. At this time, the
즉 제어부(30)는 제1라이다센서(11) 및 제2라이다센서(12)의 중첩영역의 센싱 거리를 비교하여 센싱 거리 간의 오차가 기준치 이상이면, 제1라이다센서(11) 및 제2라이다센서(12) 간의 오염패턴을 비교하여 기준치 이상 일치하는 경우 제1라이다센서(11) 및 제2라이다센서(12) 모두 오염이 발생한 것으로 판단할 수 있다.That is, the
다시 말해, 멀티 라이다(제1라이다센서(11) 및 제2라이다센서(12)의 겹쳐진 중첩영역의 정보 비교를 통해 보다 정밀한 blockage 검출이 가능하다. 예컨대, 중첩 영역에서는 같은 뷰를 보고 있기 때문에 같은 거리 값을 가져야 하는데, 센서 간 데이터 비교를 통해 같은 거리 값을 갖지 않는다면, 한 쪽 센서만 오염됐을 가능성이 높다. 그러나 같은 도로 구간을 달렸다면 센서들은 동일한 오염 패턴이 발생할 가능성이 높으므로 한 쪽 센서만 오염될 가능성이 낮다. 따라서 오염이 발생한 경우 되돌아온 신호의 값이 작기 때문에 수신 펄스(pulse)의 크기가 작아져서, 세기의 값이 낮고 검출거리가 부정확하게 되므로 정확한 거리 비교가 어려울 수 있다. 이에 제1라이다센서(11)와 제2라이다센서(12) 간의 오염 패턴 비교를 통해 오염 판단을 보다 정밀하게 할 수 있도록 하는 것이다.In other words, more precise blockage detection is possible through comparison of information in the overlapping areas of multi-LIDAR (the
그리고 제어부(30)는 상기의 과정을 통해 제1라이다센서(11) 및 제2라이다센서(12) 각각에 표면 오염(blockage)이 발생하였다고 판단한 경우, 클리닝 시스템(4)을 작동시켜 표면의 오염을 없앨 수 있도록 한다.And when the
상술한 바와 같이, 본 발명의 일 실시예에 따른 멀티 라이다 센서 이상 검출 장치 및 방법은, 멀티 라이다 센서의 위치정보 및 오염패턴에 기초하여 표면 오염으로 인한 신호 미감지를 보다 정확하게 검출함으로써, 최적의 시점에 클리닝 시스템을 통해 센서 표면의 오염을 제거할 수 있으며, 외부의 오염(눈/비/먼지 등)으로 인해 센서의 미감지 발생하는 시간을 최소화하여 차량 제어에 이상이 발생하는 것을 방지할 수 있는 효과가 있다.As described above, the multi-LIDAR sensor abnormality detection device and method according to an embodiment of the present invention more accurately detects signal non-detection due to surface contamination based on the location information and contamination pattern of the multi-LIDAR sensor, thereby optimally Contamination on the sensor surface can be removed through a cleaning system at the point of time, and the time during which the sensor is not detected due to external contamination (snow/rain/dust, etc.) can be minimized to prevent problems in vehicle control. There is a possible effect.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.The present invention has been described with reference to the embodiments shown in the drawings, but these are merely exemplary, and those skilled in the art will recognize that various modifications and other equivalent embodiments are possible therefrom. You will understand.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.Therefore, the true technical protection scope of the present invention should be determined by the scope of the patent claims below.
11 : 제1라이다센서(LiDAR sensor)
12 : 제2라이다센서
20 : 라이다 감지 분석부
22 : 신호수신 검출부
24 : 신호세기 검출부
26 : 센싱거리 산출부
28 : 오염패턴 분석부
30 : 제어부
4 : 클리닝 시스템11: 1st LiDAR sensor
12: 2nd lidar sensor
20: LiDAR detection analysis unit
22: Signal reception detection unit
24: Signal strength detection unit
26: Sensing distance calculation unit
28: Pollution pattern analysis department
30: control unit
4: Cleaning system
Claims (14)
상기 제1라이다센서 및 제2라이다센서의 수신 신호를 각각 감지하여 각각의 센싱 데이터를 분석하는 라이다감지분석부; 및
상기 라이다감지분석부로부터 입력받은 상기 제1라이다센서의 분석 데이터에 기초하여 상기 제1라이다센서의 오염 여부를 판단하고 상기 라이다감지분석부로부터 입력받은 상기 제2라이다센서의 분석 데이터에 기초하여 상기 제2라이다센서의 오염 여부를 판단하는 1차오염판단을 수행하며, 상기 제1라이다센서 및 제2라이다센서 간 분석 데이터를 비교하여 상기 제1라이다센서 및 제2라이다센서의 오염 여부를 판단하는 2차오염판단을 수행하는 제어부;를 포함하고,
상기 제어부는,
상기 제1라이다센서 및 제2라이다센서의 중첩영역의 센싱 거리 및 오염 패턴에 기초하여 오염 발생을 판단하는 2차오염판단을 수행하는 것을 특징으로 하는 멀티 라이다 센서 이상 검출 장치.
A first LiDAR sensor and a second LiDAR sensor that are provided at the front or rear of the vehicle so that at least one overlapping area exists and transmit and receive lasers;
A LiDAR detection and analysis unit that detects received signals from the first LiDAR sensor and the second LiDAR sensor and analyzes each sensing data; and
Determine whether the first LiDAR sensor is contaminated based on the analysis data of the first LiDAR sensor input from the LiDAR detection and analysis unit and analyze the second LiDAR sensor input from the LiDAR detection and analysis unit. Based on the data, a primary contamination judgment is made to determine whether the second LiDAR sensor is contaminated, and the analysis data between the first LiDAR sensor and the second LiDAR sensor is compared to determine the contamination of the first LiDAR sensor and the second LiDAR sensor. 2. It includes a control unit that performs a secondary contamination judgment to determine whether the lidar sensor is contaminated,
The control unit,
A multi-LIDAR sensor abnormality detection device characterized in that it performs a secondary pollution determination to determine the occurrence of pollution based on the sensing distance and pollution pattern of the overlapping area of the first LiDAR sensor and the second LiDAR sensor.
상기 라이다감지분석부는,
상기 제1라이다센서 및 제2라이다센서 각각에서 수신된 점군(point cloud) 신호를 각각 검출하는 신호수신검출부;
상기 제1라이다센서 및 제2라이다센서 각각에서 수신된 신호의 세기를 각각 검출하는 신호세기검출부; 및
상기 제1라이다센서 및 제2라이다센서 각각에서 수신된 신호의 센싱 거리를 각각 검출하는 센싱거리산출부;를 포함하는 것을 특징으로 하는 멀티 라이다 센서 이상 검출 장치.
According to clause 1,
The lidar detection and analysis unit,
A signal reception detection unit that detects point cloud signals received from each of the first and second lidar sensors;
A signal intensity detection unit that detects the intensity of signals received from each of the first and second lidar sensors; and
A multi-LIDAR sensor abnormality detection device comprising: a sensing distance calculation unit that detects the sensing distance of the signal received from each of the first LiDAR sensor and the second LiDAR sensor.
상기 제어부는,
상기 제1라이다센서 및 제2라이다센서에서 각각 수신된 점군(point cloud) 신호 감지 여부, 신호 세기 정도 및 센싱 거리 중 적어도 하나 이상에 기초하여 1차오염판단을 수행하는 것을 특징으로 하는 멀티 라이다 센서 이상 검출 장치.
According to clause 2,
The control unit,
Multi-processor characterized in that the primary contamination judgment is performed based on at least one of the point cloud signal detection, signal intensity level, and sensing distance received from the first and second lidar sensors, respectively. LiDAR sensor abnormality detection device.
상기 제어부는,
상기 제1라이다센서 및 제2라이다센서로부터 점군(point cloud) 신호가 감지되지 않거나, 신호 세기가 기준치 이하이거나, 센싱 거리 검출 정확도 값이 기준치 이하인 경우 해당 라이다센서 표면에 오염이 발생하였다고 판단하는 것을 특징으로 하는 멀티 라이다 센서 이상 검출 장치.
According to clause 1,
The control unit,
If the point cloud signal is not detected from the first and second LiDAR sensors, the signal strength is below the standard value, or the sensing distance detection accuracy value is below the standard value, it is said that contamination has occurred on the surface of the corresponding LiDAR sensor. A multi-lidar sensor abnormality detection device characterized by determining.
상기 제어부는,
상기 제1라이다센서 및 제2라이다센서로부터 점군(point cloud) 신호가 감지되지 않으면 오염 정도가 임계치 이상이라고 판단하고, 상기 점군(point cloud) 신호는 감지되나 신호 세기가 기준치 이하이거나 센싱 거리 검출 정확도 값이 기준치 이하이면 오염 정도가 오염 판단 기준값 이상이고 임계치 미만이라고 판단하는 것을 특징으로 하는 멀티 라이다 센서 이상 검출 장치.
According to clause 4,
The control unit,
If the point cloud signal is not detected from the first LiDAR sensor and the second LiDAR sensor, it is determined that the degree of contamination is above the threshold, and the point cloud signal is detected, but the signal strength is below the standard value or the sensing distance A multi-lidar sensor abnormality detection device characterized in that, if the detection accuracy value is less than the standard value, the degree of contamination is determined to be greater than the contamination judgment standard value and less than the threshold value.
상기 라이다감지분석부는,
상기 제1라이다센서 및 제2라이다센서 각각의 오염 패턴을 분석하는 오염패턴분석부;를 더 포함하는 것을 특징으로 하는 멀티 라이다 센서 이상 검출 장치.
According to clause 3,
The lidar detection and analysis unit,
A multi-LIDAR sensor abnormality detection device further comprising a contamination pattern analysis unit that analyzes contamination patterns of each of the first and second LIDAR sensors.
상기 제어부는,
상기 제1라이다센서 및 제2라이다센서의 중첩영역의 센싱 거리를 비교하여 상기 센싱 거리 간의 오차가 기준치 이상이면, 상기 제1라이다센서 및 제2라이다센서 간의 오염패턴을 비교하여 기준치 이상 일치하는 경우 상기 제1라이다센서 및 제2라이다센서 모두 오염이 발생한 것으로 판단하는 것을 특징으로 하는 멀티 라이다 센서 이상 검출 장치.
According to clause 1,
The control unit,
Compare the sensing distances of the overlapping areas of the first LiDAR sensor and the second LiDAR sensor, and if the error between the sensing distances is greater than the standard value, compare the pollution pattern between the first LiDAR sensor and the second LiDAR sensor and reach the standard value. If an abnormality matches, a multi-LIDAR sensor abnormality detection device is characterized in that it is determined that both the first LiDAR sensor and the second LiDAR sensor are contaminated.
상기 제어부가 상기 라이다감지분석부로부터 입력받은 상기 제1라이다센서의 분석 데이터에 기초하여 상기 제1라이다센서의 오염 여부를 판단하고 상기 라이다감지분석부로부터 입력받은 상기 제2라이다센서의 분석 데이터에 기초하여 상기 제2라이다센서의 오염 여부를 판단하는 1차오염판단을 수행하는 단계; 및
상기 제어부가 상기 제1라이다센서 및 제2라이다센서 간 분석 데이터를 비교하여 상기 제1라이다센서 및 제2라이다센서의 오염 여부를 판단하는 2차오염판단을 수행하는 단계;를 포함하되,
상기 제1라이다센서 및 제2라이다센서는, 적어도 하나 이상의 중첩영역이 존재하도록 차량 전방 또는 후방에 구비되어 레이저를 송수신하고,
상기 2차오염판단을 수행하는 단계에서, 상기 제어부는,
상기 제1라이다센서 및 제2라이다센서의 중첩영역의 센싱 거리 및 오염 패턴에 기초하여 오염 발생을 판단하는 2차오염판단을 수행하는 것을 특징으로 하는 멀티 라이다 센서 이상 검출 방법.
A step where the control unit receives analysis data from each of the first LiDAR sensor and the second LiDAR sensor from the LiDAR detection and analysis unit;
The control unit determines whether the first LiDAR sensor is contaminated based on the analysis data of the first LiDAR sensor input from the LiDAR detection and analysis unit, and the second LiDAR sensor is input from the LiDAR detection and analysis unit. Performing a primary contamination determination to determine whether the second lidar sensor is contaminated based on the sensor analysis data; and
Comprising the step of the control unit performing a secondary contamination determination to determine whether the first LiDAR sensor and the second LiDAR sensor are contaminated by comparing analysis data between the first LiDAR sensor and the second LiDAR sensor. However,
The first lidar sensor and the second lidar sensor are provided at the front or rear of the vehicle so that at least one overlapping area exists and transmit and receive laser,
In the step of performing the secondary contamination determination, the control unit,
A multi-LIDAR sensor abnormality detection method characterized in that a secondary pollution determination is performed to determine the occurrence of pollution based on the sensing distance and pollution pattern of the overlapping area of the first LiDAR sensor and the second LiDAR sensor.
상기 제1라이다센서 및 제2라이다센서 각각의 분석 데이터를 입력받는 단계에서, 상기 제어부는,
상기 라이다감지분석부로부터 상기 제1라이다센서 및 제2라이다센서 각각에서 수신된 점군(point cloud) 신호, 신호의 세기 및 신호의 센싱 거리를 각각 입력받는 것을 특징으로 하는 멀티 라이다 센서 이상 검출 방법.
According to clause 8,
In the step of receiving analysis data from each of the first and second lidar sensors, the control unit,
A multi-LIDAR sensor, characterized in that it receives the point cloud signal, signal strength, and signal sensing distance received from each of the first and second LIDAR sensors from the LIDAR detection and analysis unit. Anomaly detection method.
상기 1차오염판단을 수행하는 단계에서, 상기 제어부는,
상기 제1라이다센서 및 제2라이다센서에서 각각 수신된 점군(point cloud) 신호 감지 여부, 신호 세기 정도 및 센싱 거리 중 적어도 하나 이상에 기초하여 1차오염판단을 수행하는 것을 특징으로 하는 멀티 라이다 센서 이상 검출 방법.
According to clause 9,
In the step of performing the first contamination determination, the control unit,
Multi-processor characterized in that the primary contamination judgment is performed based on at least one of the point cloud signal detection, signal intensity level, and sensing distance received from the first and second lidar sensors, respectively. Lidar sensor abnormality detection method.
상기 1차오염판단을 수행하는 단계에서, 상기 제어부는,
상기 제1라이다센서 및 제2라이다센서로부터 점군(point cloud) 신호가 감지되지 않거나, 신호 세기가 기준치 이하이거나, 센싱 거리 검출 정확도 값이 기준치 이하인 경우 해당 라이다센서 표면에 오염이 발생하였다고 판단하는 것을 특징으로 하는 멀티 라이다 센서 이상 검출 방법.
According to clause 10,
In the step of performing the first contamination determination, the control unit,
If the point cloud signal is not detected from the first and second LiDAR sensors, the signal strength is below the standard value, or the sensing distance detection accuracy value is below the standard value, it is said that contamination has occurred on the surface of the corresponding LiDAR sensor. A multi-lidar sensor abnormality detection method characterized by determining.
상기 1차오염판단을 수행하는 단계에서, 상기 제어부는,
상기 제1라이다센서 및 제2라이다센서로부터 점군(point cloud) 신호가 감지되지 않으면 오염 정도가 임계치 이상이라고 판단하고, 상기 점군(point cloud) 신호는 감지되나 신호 세기가 기준치 이하이거나 센싱 거리 검출 정확도 값이 기준치 이하이면 오염 정도가 오염 판단 기준값 이상이고 임계치 미만이라고 판단하는 것을 특징으로 하는 멀티 라이다 센서 이상 검출 방법.
According to clause 11,
In the step of performing the first contamination determination, the control unit,
If the point cloud signal is not detected from the first LiDAR sensor and the second LiDAR sensor, it is determined that the degree of contamination is above the threshold, and the point cloud signal is detected, but the signal strength is below the standard value or the sensing distance A method for detecting abnormalities in a multi-lidar sensor, characterized in that if the detection accuracy value is below the standard value, the degree of contamination is determined to be above the contamination determination standard value and below the threshold value.
상기 제1라이다센서 및 제2라이다센서 각각의 분석 데이터를 입력받는 단계에서, 상기 제어부는,
상기 라이다감지분석부로부터 상기 제1라이다센서 및 제2라이다센서 각각의 오염 패턴을 입력받는 것을 특징으로 하는 멀티 라이다 센서 이상 검출 방법.
According to clause 9,
In the step of receiving analysis data from each of the first and second lidar sensors, the control unit,
A multi-LIDAR sensor abnormality detection method, characterized in that the contamination pattern of each of the first LiDAR sensor and the second LiDAR sensor is input from the LiDAR detection and analysis unit.
상기 2차오염판단을 수행하는 단계에서, 상기 제어부는,
상기 제1라이다센서 및 제2라이다센서의 중첩영역의 센싱 거리를 비교하여 상기 센싱 거리 간의 오차가 기준치 이상이면, 상기 제1라이다센서 및 제2라이다센서 간의 오염패턴을 비교하여 기준치 이상 일치하는 경우 상기 제1라이다센서 및 제2라이다센서 모두 오염이 발생한 것으로 판단하는 것을 특징으로 하는 멀티 라이다 센서 이상 검출 방법.According to clause 8,
In the step of performing the secondary contamination determination, the control unit,
Compare the sensing distances of the overlapping areas of the first LiDAR sensor and the second LiDAR sensor, and if the error between the sensing distances is greater than the standard value, compare the pollution pattern between the first LiDAR sensor and the second LiDAR sensor and reach the standard value. A multi-LIDAR sensor abnormality detection method characterized in that, if an abnormality matches, both the first LiDAR sensor and the second LiDAR sensor are determined to be contaminated.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190065891A KR102605168B1 (en) | 2019-06-04 | 2019-06-04 | Apparatus and method for detecting blockage of multi lidar sensor |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190065891A KR102605168B1 (en) | 2019-06-04 | 2019-06-04 | Apparatus and method for detecting blockage of multi lidar sensor |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200139408A KR20200139408A (en) | 2020-12-14 |
KR102605168B1 true KR102605168B1 (en) | 2023-11-23 |
Family
ID=73779902
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190065891A KR102605168B1 (en) | 2019-06-04 | 2019-06-04 | Apparatus and method for detecting blockage of multi lidar sensor |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102605168B1 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR102315143B1 (en) | 2021-03-22 | 2021-10-21 | 주식회사 콕스 | Determination method and apparatus for contamination of protecting lens of vehicle sensor |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190072646A1 (en) * | 2017-09-05 | 2019-03-07 | Valeo Radar Systems, Inc. | Automotive radar sensor blockage detection using adaptive overlapping visibility |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP3029357B2 (en) * | 1993-04-05 | 2000-04-04 | 三菱電機株式会社 | Dirt detection device for distance measuring device |
-
2019
- 2019-06-04 KR KR1020190065891A patent/KR102605168B1/en active IP Right Grant
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20190072646A1 (en) * | 2017-09-05 | 2019-03-07 | Valeo Radar Systems, Inc. | Automotive radar sensor blockage detection using adaptive overlapping visibility |
Also Published As
Publication number | Publication date |
---|---|
KR20200139408A (en) | 2020-12-14 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102286174B1 (en) | Driving assistance apparatus and driving assistance method | |
EP3910533B1 (en) | Method, apparatus, electronic device, and storage medium for monitoring an image acquisition device | |
JP5316572B2 (en) | Object recognition device | |
CN108663041B (en) | Method and device for drawing navigation map | |
KR20060043856A (en) | Coordinate input apparatus and its control method | |
EP3674750A1 (en) | Obstacle positioning method, device and terminal | |
KR102605168B1 (en) | Apparatus and method for detecting blockage of multi lidar sensor | |
US20130162877A1 (en) | Touch positioning method, touch screen, touch system, and display | |
EP2879117B1 (en) | Information processing apparatus, camera mounting angle estimation method, and program | |
CN112689842B (en) | Target detection method and device | |
KR102679276B1 (en) | Lidar sensor apparatus and control method thereof | |
CN111699407B (en) | Method for detecting stationary object near fence by microwave radar and millimeter wave radar | |
JP7174131B2 (en) | Determination device, determination method and determination program | |
CN115868884A (en) | Edge fitting operation method of cleaning robot and cleaning robot | |
JP6686776B2 (en) | Step detection method and step detection apparatus | |
CN115902839A (en) | Port laser radar calibration method and device, storage medium and electronic equipment | |
JP2012022501A (en) | Vehicle dimension detection system | |
KR102315143B1 (en) | Determination method and apparatus for contamination of protecting lens of vehicle sensor | |
KR102597238B1 (en) | Apparatus and method for evaluating lane keeping assist system using dual camera | |
US20240142270A1 (en) | Dynamic calibration system and dynamic calibration method for heterogeneous sensors | |
KR102685333B1 (en) | Lidar sensor apparatus and control method thereof | |
KR102680353B1 (en) | System and method for controlling quantity of incident light in lidar sensor | |
KR102643749B1 (en) | Apparatus and method for evaluating a pollution level of vehicle sensor | |
KR102530704B1 (en) | Sensor apparatus for vehicle and sensitivity adjusting method thereof | |
JP4036159B2 (en) | Relative speed calculation device for vehicle |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E902 | Notification of reason for refusal | ||
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |