KR20200139407A - Apparatus for controlling vehicle based on reliablity of multi lidar and method thereof - Google Patents
Apparatus for controlling vehicle based on reliablity of multi lidar and method thereof Download PDFInfo
- Publication number
- KR20200139407A KR20200139407A KR1020190065890A KR20190065890A KR20200139407A KR 20200139407 A KR20200139407 A KR 20200139407A KR 1020190065890 A KR1020190065890 A KR 1020190065890A KR 20190065890 A KR20190065890 A KR 20190065890A KR 20200139407 A KR20200139407 A KR 20200139407A
- Authority
- KR
- South Korea
- Prior art keywords
- information
- lidar
- sensor
- detected
- reliability
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 48
- 238000012937 correction Methods 0.000 claims abstract description 113
- 238000001514 detection method Methods 0.000 claims abstract description 70
- 230000001133 acceleration Effects 0.000 claims abstract description 8
- 230000005484 gravity Effects 0.000 claims abstract description 6
- 238000011109 contamination Methods 0.000 claims description 35
- 230000006870 function Effects 0.000 description 6
- 238000010586 diagram Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 239000000428 dust Substances 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 230000032683 aging Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000004140 cleaning Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 230000018109 developmental process Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000011521 glass Substances 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 238000012545 processing Methods 0.000 description 1
- 238000005096 rolling process Methods 0.000 description 1
- 238000013519 translation Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S7/00—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
- G01S7/48—Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
- G01S7/497—Means for monitoring or calibrating
- G01S7/4972—Alignment of sensor
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/89—Lidar systems specially adapted for specific applications for mapping or imaging
- G01S17/90—Lidar systems specially adapted for specific applications for mapping or imaging using synthetic aperture techniques
-
- G—PHYSICS
- G01—MEASURING; TESTING
- G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
- G01S17/00—Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
- G01S17/88—Lidar systems specially adapted for specific applications
- G01S17/93—Lidar systems specially adapted for specific applications for anti-collision purposes
- G01S17/931—Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B60W2420/52—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/06—Direction of travel
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/12—Lateral speed
- B60W2520/125—Lateral acceleration
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2552/00—Input parameters relating to infrastructure
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2554/00—Input parameters relating to objects
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2556/00—Input parameters relating to data
- B60W2556/45—External transmission of data to or from the vehicle
- B60W2556/50—External transmission of data to or from the vehicle of positioning data, e.g. GPS [Global Positioning System] data
Landscapes
- Engineering & Computer Science (AREA)
- Physics & Mathematics (AREA)
- Automation & Control Theory (AREA)
- Mathematical Physics (AREA)
- Transportation (AREA)
- Mechanical Engineering (AREA)
- Computer Networks & Wireless Communication (AREA)
- General Physics & Mathematics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Electromagnetism (AREA)
- Optical Radar Systems And Details Thereof (AREA)
Abstract
Description
본 발명은 라이다 센서의 신뢰성에 따른 차량 제어 장치 및 방법에 관한 것으로서, 보다 상세하게는 차량에 다수의 라이다 센서를 장착하여 차량 주변의 객체를 동시에 검출할 경우에 라이다 센서들 간의 오차 보정(auto calibration) 및 Blockage 검출을 수행하고, 이를 통해 차량 주행 모드를 변경할 수 있는 라이다 센서의 신뢰성에 따른 차량 제어 장치 및 방법에 관한 것이다. The present invention relates to an apparatus and method for controlling a vehicle according to the reliability of a lidar sensor, and more specifically, correction of errors between lidar sensors when a plurality of lidar sensors are installed in a vehicle to simultaneously detect objects around the vehicle. It relates to a vehicle control apparatus and method according to the reliability of a lidar sensor capable of performing (auto calibration) and blockage detection, and thereby changing a vehicle driving mode.
일반적으로 라이다(LIDAR, Light Detection and Ranging) 센서는 빛을 활용해 거리 측정하고 물체를 감지하는 센서로서, 라이다는 레이더와 비슷한 원리를 가지고 있다. In general, the Lidar (Light Detection and Ranging) sensor is a sensor that measures distance and detects objects using light, and the radar has a principle similar to that of radar.
다만 레이더는 전자기파를 외부로 발사해 재수신되는 전자기파로 거리, 및 방향 등을 확인하지만, 라이다는 펄스 레이저를 발사한다는 차이점이 있다. 즉, 파장이 짧은 레이저를 사용하므로 정밀도 및 해상도가 높고 사물에 따라 입체적 파악까지 가능한 장점이 있다.However, the radar emits electromagnetic waves to the outside and checks the distance and direction with the re-received electromagnetic waves, but the difference is that the radar emits a pulsed laser. In other words, since a laser with a short wavelength is used, precision and resolution are high, and three-dimensional grasp is possible depending on objects.
예컨대, 라이다 센서는 차량의 범퍼에 장착되어 차량의 전/후방을 센싱하여 사물이나 구조물 등을 감지한다.For example, a lidar sensor is mounted on a bumper of a vehicle to sense the front/rear of the vehicle to detect objects or structures.
한편 라이다 센서는 주로 전방 범퍼에 장착되며 외부에 노출되어야 한다. 왜냐하면 라이다 센서를 글라스나 차체 등의 다른 구조물 속에 넣는 것은 센서의 감지 성능을 현저히 떨어뜨릴 수 있기 때문에 외부에 노출되어 장착된다.Meanwhile, the lidar sensor is mainly mounted on the front bumper and must be exposed to the outside. Because putting the lidar sensor into another structure such as glass or a vehicle body can significantly degrade the sensing performance of the sensor, so it is exposed to the outside and mounted.
또한 라이다 센서는 송신부에서 레이저를 송신하고 물체에 반사되어 돌아오는 레이저 신호(즉, 수신신호)를 수신부에서 수신하여 이때의 시간을 측정함으로써 물체까지의 거리를 측정한다.In addition, the lidar sensor measures the distance to the object by transmitting the laser from the transmitter and receiving the laser signal (i.e., the reception signal) returned by the object and measuring the time at this time.
또한 라이다 센서는 물체 검출률 및 거리 정확성은 카메라에 비해서 상대적으로 높지만 검출에 대한 신뢰성은 낮기 때문에 차량에 다수의 라이다 센서를 장착하여 검출에 대한 신뢰성을 향상시키고 있다.In addition, the lidar sensor has a relatively high object detection rate and distance accuracy compared to the camera, but the detection reliability is low. Therefore, a number of lidar sensors are installed in the vehicle to improve the reliability of detection.
그러나, 상기와 같이 차량에 다수의 라이다 센서가 장착될 경우 각 라이다 센서가 장착된 위치의 차이로 인해 동일한 물체(객체)에 대하여 검출되는 정보에 차이(또는 오차)가 발생할 수 있고, 외부에 노출된 라이다 센서의 오염(예컨대, 눈, 비, 먼지 등)으로 인해 라이다 센서의 미감지가 발생할 수 있는 문제점이 있다. However, when multiple lidar sensors are installed in the vehicle as described above, differences (or errors) may occur in information detected for the same object (object) due to differences in positions where each lidar sensor is mounted. There is a problem in that the lidar sensor may be undetected due to contamination (eg, snow, rain, dust, etc.) of the lidar sensor exposed to.
따라서, 차량에 장착된 다수의 라이다 센서를 통해 차량 주변의 동일한 객체를 동시에 검출할 경우, 각 라이다 센서들 간의 오차 보정(auto calibration) 및 Blockage 검출을 수행하고, 이를 통해 차량 주행 모드를 변경할 수 있는 기술 개발이 요구되고 있다.Therefore, when detecting the same object around the vehicle simultaneously through multiple lidar sensors mounted on the vehicle, auto calibration and blockage detection between each lidar sensor are performed, and the vehicle driving mode is changed through this. There is a need for technology development that can be used.
본 발명의 배경기술은 대한민국 공개특허공보 제2015-0009177호(2015. 01. 26 등록, 발명의 명칭: 라이다 센서 시스템)에 개시되어 있다.Background art of the present invention is disclosed in Korean Patent Application Publication No. 2015-0009177 (registered on January 26, 2015, title of the invention: lidar sensor system).
본 발명은 상기와 같은 문제점들을 개선하기 위하여 안출된 것으로, 차량에 다수의 라이다 센서를 장착하여 차량 주변의 객체를 동시에 검출할 경우 라이다 센서들 간의 오차 보정(auto calibration) 및 Blockage 검출을 수행하고, 이를 통해 차량 주행 모드를 변경할 수 있는 라이다 센서의 신뢰성에 따른 차량 제어 장치 및 방법을 제공하는데 목적이 있다. The present invention was devised to improve the above problems, and when a vehicle is equipped with a plurality of lidar sensors to simultaneously detect objects around the vehicle, error correction between lidar sensors and blockage detection are performed. And, it is an object to provide a vehicle control apparatus and method according to the reliability of a lidar sensor capable of changing a vehicle driving mode through this.
본 발명이 해결하고자 하는 과제는 이상에서 언급한 과제(들)로 제한되지 않으며, 언급되지 않은 또 다른 과제(들)은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다. The problem to be solved by the present invention is not limited to the problem(s) mentioned above, and another problem(s) not mentioned will be clearly understood by those skilled in the art from the following description.
본 발명의 일 측면에 따른 라이다 센서의 신뢰성에 따른 차량 제어 장치는, 디지털 지도를 내장하며, 상기 디지털 지도 정보를 바탕으로 지피에스 신호를 수신하여 차량의 현재 위치와 차량의 주변 정보를 출력하는 내비게이션부, 차량의 속도와 방향, 중력, 및 가속도 정보를 측정하는 적어도 하나 이상의 센서를 포함하는 센서부, 차량의 좌우측 대칭되는 위치에 장착되며 오차범위 내에서 동일한 성능을 갖는 제1 및 제2 라이다 센서, 상기 내비게이션부 및 센서부를 통해서 검출된 정보와 상기 제1 및 제2 라이다 센서의 중첩 감지 영역에서 검출된 센싱 정보에 기초하여 상기 제1 및 제2 라이더 센서의 틀어짐을 보정하고, 상기 틀어짐 보정에 따른 제1 신뢰성 값을 산출하며, 상기 중첩 감지 영역에서 검출된 센싱 정보에 기초하여 상기 제1 및 제2 라이다 센서의 blockage를 검출하고, 상기 검출된 blockage에 따른 제2 신뢰성 값을 산출하며, 상기 제1 신뢰성 값 및 제2 신뢰성 값을 기반으로 차량 제어 모드를 선택하는 제어부를 포함한다. A vehicle control device according to the reliability of a lidar sensor according to an aspect of the present invention includes a digital map, receives a GPS signal based on the digital map information, and outputs the current location of the vehicle and the surrounding information of the vehicle. Part, a sensor unit including at least one sensor for measuring the speed and direction of the vehicle, gravity, and acceleration information, the first and second lidar mounted at the left and right symmetrical positions of the vehicle and having the same performance within an error range Correcting the distortion of the first and second lidar sensors based on the information detected through the sensor, the navigation part, and the sensor part, and sensing information detected in the overlapping detection area of the first and second lidar sensors, and the shifting Calculate a first reliability value according to the correction, detect blockage of the first and second lidar sensors based on sensing information detected in the overlapping detection area, and calculate a second reliability value according to the detected blockage And a controller for selecting a vehicle control mode based on the first reliability value and the second reliability value.
본 발명에 있어 상기 제어부는, 상기 제1 및 제2 라이다 센서 각각에 대하여 월드 좌표계를 이용한 절대 오차 보정을 수행하고, 상기 내비게이션부 및 센서부를 통해서 검출된 정보에 기초하여 상기 중첩 감지 영역에서 검출된 센싱 정보를 일치시키는 상대 오차 보정을 수행하며, 상기 절대 오차 보정과 상기 상대 오차 보정에 따른 틀어짐 보정 결과에 기초하여 제1 신뢰성 값을 산출할 수 있다. In the present invention, the control unit performs absolute error correction using a world coordinate system for each of the first and second lidar sensors, and detects in the overlap detection area based on information detected through the navigation unit and the sensor unit. A relative error correction to match the obtained sensing information is performed, and a first reliability value may be calculated based on the absolute error correction and a distortion correction result according to the relative error correction.
본 발명에 있어 상기 제어부는, 상기 센서부를 통해 검출된 정보를 수집하고, 상기 제1 및 제2 라이다 센서를 통해 검출된 정보에서 지면 정보 및 고정 객체 정보를 검출하며, 상기 센서부를 통해 검출된 정보, 상기 추출된 지면 정보, 상기 검출된 고정 객체 정보, 상기 내비게이션부에서 출력되는 정보, 및 내부 메모리에 기 저장된 초기 정보 중 적어도 하나 이상을 반영하여, 각 라이다 센서의 절대 오차 보정을 수행할 수 있다. In the present invention, the control unit collects information detected through the sensor unit, detects ground information and fixed object information from information detected through the first and second lidar sensors, and detects the information detected through the sensor unit. By reflecting at least one or more of information, the extracted ground information, the detected fixed object information, information output from the navigation unit, and initial information previously stored in the internal memory, the absolute error correction of each lidar sensor is performed. I can.
본 발명에 있어 상기 제어부는, 상기 제1 및 제2 라이다 센서 각각에 대한 절대 오차 보정을 통해 정상 상태인 것으로 판단된 라이다 센서들의 중첩 감지 영역에서 추출된 정보를 이용해 상대 오차 보정을 수행하되, 상기 정상 상태의 제1 및 제2 라이다 센서 중 미리 지정된 방식으로 기준 라이다 센서를 선택하고, 상기 선택된 기준 라이다 센서를 통해 검출된 정보 중 지면 정보를 기준으로 다른 라이다 센서의 지면 정보를 일치시키는 보정을 수행하며, 상기 기준 라이다 센서를 통해 검출된 정보 중 고정 객체 정보를 기준으로 다른 라이다 센서의 고정 객체 정보를 일치시키는 보정을 수행하여 상대 오차 보정을 수행할 수 있다. In the present invention, the control unit performs a relative error correction using information extracted from the overlap detection area of the lidar sensors determined to be in a normal state through absolute error correction for each of the first and second lidar sensors. , Selecting a reference lidar sensor in a predetermined manner among the first and second lidar sensors in the normal state, and ground information of another lidar sensor based on the ground information among information detected through the selected reference lidar sensor Correction to match is performed, and the relative error correction may be performed by performing a correction to match fixed object information of another lidar sensor based on fixed object information among information detected through the reference lidar sensor.
본 발명에 있어 상기 제어부는 상기 틀어짐 보정 결과를 기준 각도와 비교하고, 상기 비교결과에 따라 제1 신뢰성 값을 결정할 수 있다. In the present invention, the control unit may compare the distortion correction result with a reference angle and determine a first reliability value according to the comparison result.
본 발명에 있어 상기 제어부는, 상기 제1 및 제2 라이다 센서 각각에 대하여 신호 감지 여부에 기초하여 제1 blockage를 판단하고, 상기 중첩 감지 영역에서 거리값 및 오염패턴을 비교하여 제2 blockage를 판단하며, 상기 제1 blockage 및 제2 blockage에 따른 제2 신뢰성 값을 산출할 수있다. In the present invention, the control unit determines a first blockage based on whether a signal is detected for each of the first and second lidar sensors, and compares a distance value and a contamination pattern in the overlap detection area to determine a second blockage. It is determined, and a second reliability value according to the first blockage and the second blockage may be calculated.
본 발명에 있어 상기 제어부는, 포인트 클라우드(point cloud) 신호, 신호 세기(intensity), 검출거리 중 적어도 하나에 기초하여 제1 및 제2 레이다 센서 표면의 오염을 각각 감지하고, 상기 감지된 오염의 넓이와 형태에 따라 제1 blockage를 판단할 수 있다. In the present invention, the control unit, based on at least one of a point cloud signal, signal intensity, and detection distance, detects contamination of the surface of the first and second radar sensors, respectively, and The first blockage can be determined according to the width and shape.
본 발명의 다른 측면에 따른 라이다 센서의 신뢰성에 따른 차량 제어 방법은, 제어부가 내비게이션부를 통해 차량의 현재 위치와 차량의 주변 정보를 입력받는 단계, 상기 제어부가 센서부를 통해 측정되는 차량의 속도와 방향, 중력, 및 가속도 정보를 입력받는 단계, 상기 제어부가 차량의 좌우측 대칭되는 위치에 장착되며 오차범위 내에서 동일한 성능을 갖는 제1 및 제2 라이다 센서를 통해 센싱 정보를 입력받는 단계, 상기 제어부가 상기 내비게이션부 및 센서부를 통해서 검출된 정보와 상기 제1 및 제2 라이다 센서의 중첩 감지 영역에서 검출된 센싱 정보에 기초하여 상기 제1 및 제2 라이더 센서의 틀어짐을 보정하고, 상기 중첩 감지 영역에서 검출된 센싱 정보에 기초하여 상기 제1 및 제2 라이다 센서의 blockage를 검출하는 단계, 상기 제어부가 상기 틀어짐 보정에 따른 제1 신뢰성 값 및 상기 검출된 blockage에 따른 제2 신뢰성 값을 산출하는 단계, 상기 제어부가 상기 제1 신뢰성 값 및 제2 신뢰성 값을 기반으로 차량 제어 모드를 선택하는 단계를 포함한다. A vehicle control method according to the reliability of a lidar sensor according to another aspect of the present invention includes: receiving, by a control unit, information about a current position of the vehicle and surrounding information of the vehicle through a navigation unit, and Receiving direction, gravity, and acceleration information, receiving sensing information through first and second lidar sensors, wherein the control unit is mounted at a position symmetrical to the left and right of the vehicle and has the same performance within an error range, the The control unit corrects the distortion of the first and second lidar sensors based on the information detected through the navigation unit and the sensor unit and the sensing information detected in the overlap detection area of the first and second lidar sensors, and the overlapping Detecting blockage of the first and second lidar sensors based on sensing information detected in the sensing area, the control unit calculating a first reliability value according to the distortion correction and a second reliability value according to the detected blockage Calculating, the controller selecting a vehicle control mode based on the first reliability value and the second reliability value.
본 발명에 있어 상기 제1 및 제2 라이더 센서의 틀어짐을 보정하기 위해, 상기 제어부는, 상기 제1 및 제2 라이다 센서 각각에 대하여 월드 좌표계를 이용한 절대 오차 보정을 수행하고, 상기 내비게이션부 및 센서부를 통해서 검출된 정보에 기초하여 상기 중첩 감지 영역에서 검출된 센싱 정보를 일치시키는 상대 오차 보정을 수행할 수 있다. In the present invention, in order to correct the distortion of the first and second lidar sensors, the control unit performs absolute error correction using a world coordinate system for each of the first and second lidar sensors, and the navigation unit and Based on the information detected through the sensor unit, the relative error correction may be performed to match the sensing information detected in the overlapping detection area.
본 발명에 있어 상기 절대 오차 보정을 수행하기 위하여, 상기 제어부는, 상기 센서부를 통해 검출된 정보를 수집하고, 상기 제1 및 제2 라이다 센서를 통해 검출된 정보에서 지면 정보 및 고정 객체 정보를 검출하며, 상기 센서부를 통해 검출된 정보, 상기 추출된 지면 정보, 상기 검출된 고정 객체 정보, 상기 내비게이션부에서 출력되는 정보, 및 내부 메모리에 기 저장된 초기 정보 중 적어도 하나 이상을 반영하여, 각 라이다 센서의 절대 오차 보정을 수행할 수 있다. In the present invention, in order to perform the absolute error correction, the control unit collects the information detected through the sensor unit, and converts the ground information and the fixed object information from the information detected through the first and second lidar sensors. And reflects at least one of information detected through the sensor unit, the extracted ground information, the detected fixed object information, information output from the navigation unit, and initial information previously stored in the internal memory, It is possible to perform absolute error correction of the sensor.
본 발명에 있어 상기 상대 오차 보정을 수행하기 위하여, 상기 제어부는, 상기 제1 및 제2 라이다 센서 각각에 대한 절대 오차 보정을 통해 정상 상태인 것으로 판단된 라이다 센서들의 중첩 감지 영역에서 추출된 정보를 이용해 상대 오차 보정을 수행하되, 상기 정상 상태의 제1 및 제2 라이다 센서 중 미리 지정된 방식으로 기준 라이다 센서를 선택하고, 상기 선택된 기준 라이다 센서를 통해 검출된 정보 중 지면 정보를 기준으로 다른 라이다 센서의 지면 정보를 일치시키는 보정을 수행하며, 상기 기준 라이다 센서를 통해 검출된 정보 중 고정 객체 정보를 기준으로 다른 라이다 센서의 고정 객체 정보를 일치시키는 보정을 수행하여 상대 오차 보정을 수행할 수 있다. In the present invention, in order to perform the relative error correction, the control unit, through absolute error correction for each of the first and second lidar sensors, is extracted from the overlapping detection region of lidar sensors determined to be in a normal state. A relative error correction is performed using information, but a reference lidar sensor is selected in a predetermined manner from among the first and second lidar sensors in a normal state, and ground information among the information detected through the selected reference lidar sensor is It performs correction to match the ground information of other lidar sensors as a reference, and performs correction to match fixed object information of other lidar sensors based on the fixed object information among the information detected through the reference lidar sensor. Error correction can be performed.
본 발명에 있어 상기 제1 신뢰성 값을 산출하기 위하여, 상기 제어부는, 상기 틀어짐 보정 결과를 기준 각도와 비교하고, 상기 비교결과에 따라 제1 신뢰성 값을 산출할 수 있다. In the present invention, in order to calculate the first reliability value, the controller may compare the distortion correction result with a reference angle, and calculate a first reliability value according to the comparison result.
본 발명에 있어 상기 제2 신뢰성 값을 위하여, 상기 제어부는, 상기 제1 및 제2 라이다 센서 각각에 대하여 신호 감지 여부에 기초하여 제1 blockage를 판단하고, 상기 중첩 감지 영역에서 거리값 및 오염패턴을 비교하여 제2 blockage를 판단하며, 상기 제1 blockage 및 제2 blockage에 따른 제2 신뢰성 값을 산출할 수 있다. In the present invention, for the second reliability value, the control unit determines a first blockage based on whether a signal is detected for each of the first and second lidar sensors, and a distance value and contamination in the overlap detection area. A second blockage is determined by comparing patterns, and a second reliability value according to the first and second blockages may be calculated.
본 발명에 있어 상기 제1 blockage를 판단하기 위해, 상기 제어부는, 포인트 클라우드(point cloud) 신호, 신호 세기(intensity), 검출거리 중 적어도 하나에 기초하여 제1 및 제2 레이다 센서 표면의 오염을 각각 감지하고, 상기 감지된 오염의 넓이와 형태에 따라 제1 blockage를 판단할 수 있다. In the present invention, in order to determine the first blockage, the control unit determines the contamination of the first and second radar sensor surfaces based on at least one of a point cloud signal, a signal intensity, and a detection distance. Each of them may be detected, and the first blockage may be determined according to the extent and type of the detected contamination.
본 발명은 차량에 다수의 라이다 센서를 장착하여 차량 주변의 객체를 동시에 검출할 경우 라이다 센서들 간의 오차 보정(auto calibration) 및 Blockage 검출을 수행하고, 오차 보정 및 Blockage 검출을 통해 라이다 센서들의 신뢰성 값을 산출할 수 있으며, 신뢰성 값을 기반으로 차량 제어 모드를 선택할 수 있으므로, 최적의 차량 주행 모드로 변경할 수 있다. The present invention performs auto calibration and blockage detection between lidar sensors when multiple lidar sensors are installed in a vehicle to detect objects around the vehicle at the same time, and lidar sensors through error correction and blockage detection It is possible to calculate the reliability value of the vehicles, and since the vehicle control mode can be selected based on the reliability value, it is possible to change to the optimal vehicle driving mode.
한편, 본 발명의 효과는 이상에서 언급한 효과들로 제한되지 않으며, 이하에서 설명할 내용으로부터 통상의 기술자에게 자명한 범위 내에서 다양한 효과들이 포함될 수 있다. Meanwhile, the effects of the present invention are not limited to the above-mentioned effects, and various effects may be included within a range that will be apparent to a person skilled in the art from the contents to be described below.
도 1은 본 발명의 일 실시예에 따른 라이다 센서의 신뢰성에 따른 차량 제어 장치의 개략적인 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 멀티 라이다 센서 장착 시 발생되는 중첩 감지 영역을 설명하기 위하여 보인 예시도이다.
도 3은 본 발명의 일 실시예에 따른 라이다 센서의 신뢰성에 따른 차량 제어 방법을 설명하기 위한 흐름도이다.
도 4는 본 발명의 일 실시예에 따른 차량에 장착된 멀티 라이다 센서의 오차 보정 방법을 설명하기 위한 흐름도이다.
도 5는 본 발명의 일 실시예에 따른 차량에 장착된 멀티 라이다 센서의 절대 오차 보정을 수행하는 방법을 설명하기 위한 흐름도이다.
도 6은 본 발명의 일 실시예에 따른 차량에 장착된 멀티 라이다 센서의 상대 오차 보정 방법을 설명하기 위한 흐름도이다.1 is a block diagram showing a schematic configuration of a vehicle control apparatus according to reliability of a lidar sensor according to an embodiment of the present invention.
FIG. 2 is an exemplary diagram illustrating an overlapping detection area generated when a multi-LIDAR sensor is mounted according to an embodiment of the present invention.
3 is a flowchart illustrating a vehicle control method according to reliability of a lidar sensor according to an embodiment of the present invention.
4 is a flowchart illustrating an error correction method of a multi-LIDAR sensor mounted in a vehicle according to an embodiment of the present invention.
5 is a flowchart illustrating a method of performing absolute error correction of a multi-LIDAR sensor mounted in a vehicle according to an embodiment of the present invention.
6 is a flowchart illustrating a method of correcting a relative error of a multi-LIDAR sensor mounted in a vehicle according to an exemplary embodiment of the present invention.
이하, 첨부된 도면들을 참조하여 본 발명의 일 실시예에 따른 라이다 센서의 신뢰성에 따른 차량 제어 장치 및 방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. Hereinafter, an apparatus and method for controlling a vehicle according to reliability of a lidar sensor according to an embodiment of the present invention will be described with reference to the accompanying drawings. In this process, the thickness of the lines or the size of components shown in the drawings may be exaggerated for clarity and convenience of description.
또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.In addition, terms to be described later are terms defined in consideration of functions in the present invention and may vary according to the intention or custom of users or operators. Therefore, definitions of these terms should be made based on the contents throughout the present specification.
또한, 본 명세서에서 설명된 구현은, 예컨대, 방법 또는 프로세스, 장치, 소프트웨어 프로그램, 데이터 스트림 또는 신호로 구현될 수 있다. 단일 형태의 구현의 맥락에서만 논의(예컨대, 방법으로서만 논의)되었더라도, 논의된 특징의 구현은 또한 다른 형태(예컨대, 장치 또는 프로그램)로도 구현될 수 있다. 장치는 적절한 하드웨어, 소프트웨어 및 펌웨어 등으로 구현될 수 있다. 방법은, 예컨대, 컴퓨터, 마이크로프로세서, 집적 회로 또는 프로그래밍가능한 로직 디바이스 등을 포함하는 프로세싱 디바이스를 일반적으로 지칭하는 프로세서 등과 같은 장치에서 구현될 수 있다. 프로세서는 또한 최종-사용자 사이에 정보의 통신을 용이하게 하는 컴퓨터, 셀 폰, 휴대용/개인용 정보 단말기(personal digital assistant: "PDA") 및 다른 디바이스 등과 같은 통신 디바이스를 포함한다.In addition, the implementation described herein may be implemented in, for example, a method or process, an apparatus, a software program, a data stream or a signal. Although discussed only in the context of a single form of implementation (eg, only as a method), the implementation of the discussed features may also be implemented in other forms (eg, an apparatus or program). The device may be implemented with appropriate hardware, software and firmware. The method may be implemented in an apparatus such as a processor, which generally refers to a processing device including, for example, a computer, microprocessor, integrated circuit or programmable logic device, or the like. Processors also include communication devices such as computers, cell phones, personal digital assistants ("PDAs") and other devices that facilitate communication of information between end-users.
도 1은 본 발명의 일 실시예에 따른 라이다 센서의 신뢰성에 따른 차량 제어 장치의 개략적인 구성을 나타낸 블록도, 도 2는 본 발명의 일 실시예에 따른 멀티 라이다 센서 장착 시 발생되는 중첩 감지 영역을 설명하기 위하여 보인 예시도이다. 1 is a block diagram showing a schematic configuration of a vehicle control apparatus according to the reliability of a lidar sensor according to an embodiment of the present invention, and FIG. 2 is an overlap generated when a multi-lidar sensor is mounted according to an embodiment of the present invention. It is an exemplary diagram shown to describe the sensing area.
도 1을 참조하면, 본 발명의 일 실시예에 따른 라이다 센서의 신뢰성에 따른 차량 제어 장치는 내비게이션부(110), 센서부(120), 제1 라이다 센서(130), 제2 라이다 센서(140), 및 제어부(150)를 포함한다.Referring to FIG. 1, a vehicle control apparatus according to reliability of a lidar sensor according to an embodiment of the present invention includes a
내비게이션부(110)는 디지털 지도(예 : 정밀 디지털 지도, 고정밀 디지털 지도)를 내장하며, 디지털 지도 정보를 바탕으로 지피에스 신호를 수신하여 차량의 현재 위치와 차량의 주변 정보를 출력한다. 이때, 디지털 지도에 포함된 정보에는 도로 정보, 및 차량의 주변 정보로서 도로 상에 설치된 고정 객체 정보(예 : 고정 객체의 좌표)를 포함한다.The
센서부(120)는 IMU(Inertial Measurement Unit)를 포함하는 것으로, 차량의 속도와 방향, 중력, 가속도 등을 측정하는 적어도 하나 이상의 센서를 포함한다. 예컨대, 센서부(120)는 3축 가속도계와 3축 각속도계를 포함하여 진행방향, 횡방향, 및 높이방향의 가속도와 롤링(roll), 피칭(pitch), 요(yaw) 각속도의 측정이 가능하며, 이로부터 검출된 가속도와 각속도를 적분하여 차량의 속도와 자세각의 산출이 가능하다.The
센서부(120)는 카메라 센서를 추가로 포함할 수 있다.The
제1 및 제2 라이다 센서(130, 140)는 차량의 좌우측 대칭되는 위치에 장착되며, 오차범위 내에서 동일한 성능을 갖는 제품으로 구현된다.The first and
따라서, 제1 및 제2 라이다 센서(130, 140)의 감지 영역(또는 센싱 영역)은, 도 2에 도시된 바와 같이, 중첩(중복)되는 감지 영역(중첩 감지 영역)이 발생한다. 중첩 감지 영역에서 제1 및 제2 라이다 센서(130, 140)를 통해 검출된 정보(즉, 센싱 정보)는 일치하지 않을 수 있다. Accordingly, the sensing regions (or sensing regions) of the first and
따라서, 중첩 감지 영역에서 제1 및 제2 라이다 센서(130, 140)를 통해 검출된 정보(즉, 센싱 정보)를 일치시킴으로써 객체의 검출 정확도를 향상시킬 필요가 있다. 이때, 차량에 장착된 라이다 센서는 차량의 노후화 및 흔들림으로 인해 센서의 틀어짐이 발생하게 된다. 따라서, 도로 주행 상황에서 이를 자동으로 보정하는 기능이 필요하다. 또한, 차량을 운행하다 보면 외부에 노출된 라이다 센서는 외부의 오염(예컨대, 눈, 비, 먼지 등)으로 인해 센서의 미감지가 발생할 수 있다. 따라서, 라이다 센서 표면의 오염을 감지하고, 오염이 감지된 경우 cleaning 시스템을 가동하여 센서 표면의 오염을 제거할 필요가 있다. Accordingly, it is necessary to improve the detection accuracy of an object by matching information (ie, sensing information) detected through the first and
이에, 제어부(150)는 라이다 센서(130, 140)의 자동 보정(auto calibration) 및 blockage 검출을 수행하여 제1 신뢰성 값 및 제2 신뢰성 값을 산출하고, 산출된 제1 신뢰성 값 및 제2 신뢰성 값을 기반으로 차량 제어 모드를 선택한다. 여기서, 자동 보정은 절대 오차 보정과 상대 오차 보정을 포함하고, 절대 오차 보정은 단일 라이다 센서에서 월드 좌표계(world coordinate)(즉, 물체의 위치를 표현할 때 기준으로 삼는 좌표계)를 이용한 보정이며, 상대 오차 보정은 멀티 라이다 센서 간 중첩 감지 영역에서 추출된 정보를 이용하여 수행되는 보정을 의미할 수 있다. Blockage 검출은 단일 라이다 센서에 대해 라이다 센서 표면(window cover)의 오염을 감지하고, 감지된 오염의 넓이나 형태에 따라 제1 bockage를 판단하게 되며, 멀티 라이다 센서 간 중첩 감지 영역의 정보 비교를 통해 좀 더 정밀한 제2 blockage 검출을 수행하는 것을 의미할 수 있다. Accordingly, the
즉, 제어부(150)는 내비게이션부(110) 및 센서부(120)를 통해서 검출된 정보와 제1 및 제2 라이다 센서(130, 140)의 중첩 감지 영역에서 검출된 센싱 정보에 기초하여 제1 및 제2 라이더 센서(130, 140)의 틀어짐을 보정하고, 상기 틀어짐 보정에 따른 제1 신뢰성 값을 산출하며, 상기 중첩 감지 영역에서 검출된 센싱 정보에 기초하여 제1 및 제2 라이다 센서(130, 140)의 blockage를 검출하고, 검출된 blockage에 따른 제2 신뢰성 값을 산출하며, 제1 신뢰성 값 및 제2 신뢰성 값을 기반으로 차량 제어 모드를 선택한다.That is, the
이하, 제어부(150)의 동작에 대해 구체적으로 설명하기로 한다. Hereinafter, the operation of the
먼저, 제어부(150)가 자동 보정을 수행하는 방법에 대해 설명하기로 한다. First, a method for the
제어부(150)는 중첩 감지 영역에서 제1 및 제2 라이다 센서(130, 140)를 통해 검출된 정보(즉, 센싱 정보)를 일치시키는 상대 오차 보정을 수행한다. The
이를 위해 제어부(150)는 제1 및 제2 라이다 센서(130, 140)의 개별적인 보정(즉, 절대 오차 보정)을 수행하고, 이를 통해 제1 및 제2 라이다 센서(130, 140)가 보정이 가능한 정상 상태인지를 판단한다. 만약 개별적인 보정(즉, 절대 오차 보정)을 통해서 치유할 수 없을 상태의 라이다 센서는 고장 상태인 것으로 판단할 수 있다. To this end, the
그리고 제어부(150)는 절대 오차 보정을 수행한 후 정상 상태인 것으로 판단된 제1 및 제2 라이다 센서(130, 140)의 중첩 감지 영역에서 추출된 정보를 이용해 상대 오차 보정을 수행한다. In addition, after performing absolute error correction, the
상대 오차 보정이 완료되면, 제어부(150)는 절대 오차 보정과 상대 오차 보정에 따른 틀어짐 보정 결과에 기초하여 제1 신뢰성 값을 산출한다. 이때, 제어부(150)는 틀어짐 보정 결과를 기준 각도와 비교하고, 그 비교결과에 따라 제1 신뢰성 값을 산출할 수 있다. 즉, 제어부(150)는 틀어짐 보정이 제대로 잘 되었는지 판단하기 위해, 틀어짐 보정 결과를 기준 각도와 비교하고, 그 비교결과 기준각도와의 차이를 제1 신뢰성 값으로 산출할 수 있다. 예컨대, 틀어짐 보정 결과가 기준각도와 동일한 경우 제1 신뢰성 값을 100, 틀어짐 보정 결과가 기준각도 대비 0~20% 차이가 나는 경우 제1 신뢰성 값을 80~100, 틀어짐 보정 결과가 기준각도 대비 40~80% 차이가 나는 경우 제1 신뢰성 값을 40~80, 틀어짐 보정 결과가 기준각도 대비 80~100% 차이가 나는 경우 제1 신뢰성 값을 0~40로 산출할 수 있다. 틀어짐 보정 결과와 기준각도의 차이에 따른 제1 신뢰성 값은 미리 설정될 수 있다. When the relative error correction is completed, the
제어부(150)가 멀티 라이다 센서(130, 140)의 개별적인 보정을 수행하는 방법, 및 개별적인 보정이 완료된 멀티 라이다 센서(130, 140)의 상대 오차 보정을 수행하는 방법에 대해서 도 5 및 도 6을 참조하여 구체적으로 설명하기로 한다. 5 and FIG. 5 and FIG. 5 and FIG. 5 and FIGS. It will be described in detail with reference to 6.
다음으로, 제어부(150)가 blockage 검출하는 방법에 대해 설명하기로 한다. Next, a method of detecting blockage by the
제어부(150)는 제1 및 제2 라이다 센서(130, 140) 각각에 대하여 신호 감지 여부에 기초하여 제1 Blockage를 판단한다. 즉, 제어부(150)는 포인트 클라우드(point cloud) 신호, 신호 세기(intensity), 검출거리 등에 기초하여 제1 및 제2 레이다 센서(130, 140) 표면의 오염을 각각 감지하고, 감지된 오염의 넓이와 형태에 따라 제1 blockage를 판단할 수 있다. 여기서, 포인트 클라우드 신호는 포인트마다의 거리값일 수 있다. The
약간의 오염이 발생한 경우에는 레이다 센서(130, 140)로 되돌아온 신호의 값이 작기 때문에 수신 신호(pulse)의 크기가 작아져서, 신호 세기(intensity) 값이 낮고 검출거리가 부정확하게 된다. 큰 오염이 발생한 경우에는 레이다 센서(130, 140)로 신호가 송/수신되지 않기 때문에 신호가 감지되지 않는다. 따라서, 제어부(150)는 포인트 클라우드(point cloud) 신호, 신호 세기(intensity), 검출거리를 조합하여 제1 blockage를 판단하게 된다.In the case of slight contamination, since the value of the signal returned to the
제1 Blockage이 판단되면, 제어부(150)는 제1 및 제2 라이다 센서(130, 140)의 중첩 감지 영역에서 거리값 및 오염패턴을 비교하여 제2 blockage를 판단한다. 즉, 제어부(150)는 중첩 감지 영역에서 같은 거리 값을 갖는지 비교하고, 비슷한 오염 패턴을 갖는지 비교한다. 중첩 감지 영역에서는 같은 뷰를 보고 있기 때문에 같은 거리 값을 가져야 하는데, 라이다 센서(130, 140)간 데이터 비교를 통해 같은 거리 값을 갖지 않는다면, 한 쪽 라이다 센서만 오염됐을 가능성이 높다. 반면, 같은 도로 구간을 달렸다면, 라이다 센서들은 동일한 오염 패턴이 발생할 가능성이 높다. 즉, 한쪽 라이다 센서만 오염될 가능성이 낮으므로, 라이다 센서간 오염 패턴 비교를 통해 오염 판단에 도움을 줄 수 있다.When the first blockage is determined, the
제2 blockage이 판단되면, 제어부(150)는 제1 blockage 및 제2 blockage에 따른 제2 신뢰성 값을 산출한다. 이때, 제어부(150)는 제1 blockage 및 제2 blockage의 조합에 따른 blockage이 라이다 센서 표면 전체에서 차지하는 비중에 기초하여 제2 신뢰성 값을 산출할 수 있다. 즉, 제어부(150)는 라이다 센서 표면의 오염 정도(blockage)가 라이다 센서 표면 전체에서 차지하는 비중에 기초하여 제2 신뢰성 값을 산출할 수 있다. 예컨대, 오염정도가 0인 경우 제2 신뢰성 값을 100, 오염정도의 비율이 0~20%인 경우 제2 신뢰성 값을 80~100, 오염정도의 비율이 40~80% 인 경우 제2 신뢰성 값을 40~80, 오염정도의 비율이 80~100% 인 경우 제2 신뢰성 값을 0~40로 산출할 수 있다. 오염정도의 비율에 따른 제2 신뢰성 값은 미리 설정될 수 있다. When the second blockage is determined, the
제어부(150)가 멀티 라이다 센서(130, 140)의 개별적인 제1 Blockage을 검출하고, 개별적인 제1 Blockage이 완료된 멀티 라이다 센서(130, 140)의 제2 Blockage을 판단하는 방법에 대해서 도 7을 참조하여 구체적으로 설명하기로 한다. 7 for a method in which the
다음으로, 제어부(150)가 자동 보정 및 blockage 검출을 통해 산출된 제1 신뢰성 값 및 제2 신뢰성 값을 기반으로 차량 제어 모드를 선택하는 방법에 대해 설명하기로 한다. Next, a method of selecting a vehicle control mode based on the first reliability value and the second reliability value calculated through automatic correction and blockage detection by the
제1 신뢰성 값 및 제2 신뢰성 값에 따른 차량 제어 모드는 미리 설정될 수 있다. 예컨대, 제1 신뢰성 값을 기준으로 다수의 제1 구간을 설정하고, 각 제1 구간을 제2 신뢰성 값을 기준으로 다수의 제2 구간으로 설정하며, 제1 구간 및 제2 구간에 해당하는 차량 제어 모드를 설정할 수 있다. 차량 제어 모드는 제1 자동모드, 제2 자동모드, 제3 자동모드 및 수동모드를 포함할 수 있다. 제1 자동 모드는 종/횡 차량 제어가 가능하고, 모든 편의기능 사용이 가능(on)하며, 자율주행이 가능한 모드일 수 있다. 제2 자동 모드는 LDW 및 LKAS(횡방향 편의 기능)의 사용이 불가능(OFF)하고, 안전거리 연장이 가능하며 종방향 편의 기능 사용이 가능한(ON) 모드일 수 있다. 제3 자동 모드는 긴급제동(AEB)만 사용 가능하고 나머지 편의기능 사용이 불가능한 모드일 수 있으며, 수동 모드는 라이다 센서의 활용이 불가능한 모드일 수 있다. The vehicle control mode according to the first reliability value and the second reliability value may be preset. For example, a plurality of first sections are set based on a first reliability value, each first section is set as a plurality of second sections based on a second reliability value, and vehicles corresponding to the first section and the second section Control mode can be set. The vehicle control mode may include a first automatic mode, a second automatic mode, a third automatic mode, and a manual mode. The first automatic mode may be a mode in which vertical/horizontal vehicle control is possible, all convenient functions are enabled (on), and autonomous driving is possible. The second automatic mode may be a mode in which LDW and LKAS (lateral convenience function) cannot be used (OFF), a safety distance can be extended, and a vertical convenience function can be used (ON). The third automatic mode may be a mode in which only emergency braking (AEB) can be used and other convenient functions cannot be used, and the manual mode may be a mode in which the use of the lidar sensor is impossible.
따라서, 제어부(150)는 제1 신뢰성 값 및 제2 신뢰성 값에 따른 차량 제어 모드를 선택할 수 있다. Accordingly, the
예컨대, 제1 신뢰성 값 및 제2 신뢰성 값에 따른 차량 제어 모드가 설정된 차량 제어 모드 테이블은 아래 표 1과 같을 수 있다. For example, a vehicle control mode table in which a vehicle control mode according to a first reliability value and a second reliability value is set may be as shown in Table 1 below.
[표 1][Table 1]
표 1을 참조하면, 차량 제어 모드 테이블에는 제1 신뢰성 값 및 제2 신뢰성 값에 따라 차량 제어 모드가 설정되어 있다. Referring to Table 1, a vehicle control mode is set in the vehicle control mode table according to a first reliability value and a second reliability value.
예컨대, 제1 신뢰성 값이 틀어짐 보정 결과와 기준각도의 차이에 따라 0~40(낮음), 40~80(중간), 80~100(높음) 구간으로 나누어지고, 제2 신뢰성 값이 오염정도에 따라 0~40(낮음), 40~80(중간), 80~100(높음) 구간으로 나누어진 경우에 대해 설명하기로 한다. For example, the first reliability value is divided into 0 to 40 (low), 40 to 80 (medium), and 80 to 100 (high) intervals according to the difference between the correction result and the reference angle, and the second reliability value corresponds to the degree of contamination. According to this, the case where it is divided into 0~40 (low), 40~80 (medium), and 80~100 (high) sections will be described.
이 경우, 제1 신뢰성 값이 0~40%인 경우 제2 신뢰성 값은 0~40%, 40~80%, 80~100% 구간으로 나누어질 수 있고, 제1 신뢰성 값이 40~80%인 경우 제2 신뢰성 값은 0~40%, 40~80%, 80~100% 구간으로 나누어질 수 있으며, 제1 신뢰성 값이 80~100%인 경우 제2 신뢰성 값은 0~40%, 40~80%, 80~100% 구간으로 나누어질 수 있다. 따라서, 차량 제어 모드 테이블에는 제1 신뢰성 값이 0~40%이고 제2 신뢰성 값이 0~40%인 경우의 차량 제어모드(수동 모드), 제1 신뢰성 값이 0~40%이고 제2 신뢰성 값이 40~80%인 경우의 차량 제어 모드(제2~제3 자동모드), 제1 신뢰성 값이 0~40%이고 제2 신뢰성 값이 80~100%인 경우의 차량 제어 모드(제2~제3 자동모드)가 각각 설정되어 있다. 또한, 차량 제어 모드 테이블에는 제1 신뢰성 값이 40~80%이고 제2 신뢰성 값이 0~40%인 경우의 차량 제어모드(수동 모드), 제1 신뢰성 값이 40~80%이고 제2 신뢰성 값이 40~80%인 경우의 차량 제어 모드(제2 자동모드), 제1 신뢰성 값이 40~80%이고 제2 신뢰성 값이 80~100%인 경우의 차량 제어 모드(제2~제3 자동모드)가 각각 설정되어 있다. 또한, 차량 제어 모드 테이블에는 제1 신뢰성 값이 80~100%이고 제2 신뢰성 값이 0~40%인 경우의 차량 제어모드(수동 모드), 제1 신뢰성 값이 80~100%이고 제2 신뢰성 값이 40~80%인 경우의 차량 제어 모드(제2~제3 자동모드), 제1 신뢰성 값이 80~100%이고 제2 신뢰성 값이 80~100%인 경우의 차량 제어 모드(제1 자동 모드)가 각각 설정되어 있다. In this case, when the first reliability value is 0 to 40%, the second reliability value may be divided into 0 to 40%, 40 to 80%, and 80 to 100% intervals, and the first reliability value is 40 to 80%. In case, the second reliability value can be divided into 0~40%, 40~80%, and 80~100% intervals.If the first reliability value is 80~100%, the second reliability value is 0~40%, 40~ It can be divided into 80% and 80-100% sections. Therefore, in the vehicle control mode table, the vehicle control mode (manual mode) when the first reliability value is 0-40% and the second reliability value is 0-40%, the first reliability value is 0-40%, and the second reliability value is 0-40%. Vehicle control mode when the value is 40 to 80% (2nd to 3rd automatic mode), vehicle control mode when the first reliability value is 0 to 40% and the second reliability value is 80 to 100% ~3 automatic mode) is set respectively. In addition, in the vehicle control mode table, the vehicle control mode (manual mode) when the first reliability value is 40 to 80% and the second reliability value is 0 to 40%, the first reliability value is 40 to 80%, and the second reliability value is Vehicle control mode when the value is 40 to 80% (second automatic mode), and vehicle control mode when the first reliability value is 40 to 80% and the second reliability value is 80 to 100% (second to third Automatic mode) is set respectively. Also, in the vehicle control mode table, the vehicle control mode (manual mode) when the first reliability value is 80-100% and the second reliability value is 0-40%, the first reliability value is 80-100%, and the second reliability Vehicle control mode when the value is 40 to 80% (second to third automatic mode), and vehicle control mode when the first reliability value is 80 to 100% and the second reliability value is 80 to 100% (the first Automatic mode) is set respectively.
따라서, 제1 신뢰성 값이 40~80%이고 제2 신뢰성 값이 0~40%인 경우 제어부(150)는 차량 제어 모드를 수동 모드로 선택할 수 있다. 또한, 제1 신뢰성 값이 40~80%이고 제2 신뢰성 값이 40~80%인 경우 제어부(150)는 차량 제어 모드를 제2 제어 모드로 선택할 수 있다. 이때, 제어부(150)는 제1 신뢰성 값 또는 제2 신뢰성 값이 떨어지면 제1 자동 모드에서 제2~3 자동 모드로 변경할 수 있다. 제2 자동 모드에서는 차량의 속도를 저하시키고 다른 차량에서 통상보다 안전한 거리를 유지하며, 제3 자동 모드에서는 수동 동작 모드로 바꾸는 옵션 권장 등을 제공할 수 있다. Accordingly, when the first reliability value is 40 to 80% and the second reliability value is 0 to 40%, the
도 3은 본 발명의 일 실시예에 따른 라이다 센서의 신뢰성에 따른 차량 제어 방법을 설명하기 위한 흐름도이다. 3 is a flowchart illustrating a vehicle control method according to reliability of a lidar sensor according to an embodiment of the present invention.
도 3을 참조하면, 차량 제어 장치는 라이다 센서의 자동 보정 및 blockage 검출을 수행한다(S310).Referring to FIG. 3, the vehicle control apparatus performs automatic correction and blockage detection of the lidar sensor (S310).
단계 S310이 수행되면, 차량 제어 모드 변환 장치는 자동 보정에 따른 제1 신뢰성 값과 blockage 검출에 따른 제2 신뢰성 값을 산출한다(S320). 여기서, 자동 보정은 라이다 센서의 틀어진 각을 보정하는 것으로, 차량 제어 장치는 틀어진 각을 기 설정된 기준 각도와 비교하여 제1 신뢰성 값을 산출할 수 있다. Blockage 검출은 라이다 센서 표면의 오염 정도를 검출하는 것으로, 오염정도에 기초하여 제2 신뢰성 값을 산출할 수 있다. When step S310 is performed, the vehicle control mode conversion apparatus calculates a first reliability value according to automatic correction and a second reliability value according to blockage detection (S320). Here, the automatic correction is to correct the misaligned angle of the lidar sensor, and the vehicle control apparatus may calculate a first reliability value by comparing the misaligned angle with a preset reference angle. Blockage detection is to detect the level of contamination on the surface of the lidar sensor, and a second reliability value may be calculated based on the level of contamination.
단계 S320이 수행되면, 차량 제어 장치는 제1 신뢰성 값 및 제2 신뢰성 값을 기반으로 차량 제어 모드를 선택한다(S330). 즉, 차량 제어 장치는 제1 신뢰성 값 및 제2 신뢰성 값에 따라 차량 제어 모드가 설정된 차량 제어 모드 테이블을 이용하여 차량 제어 모드를 선택할 수 있다. When step S320 is performed, the vehicle control device selects a vehicle control mode based on the first reliability value and the second reliability value (S330). That is, the vehicle control apparatus may select the vehicle control mode using the vehicle control mode table in which the vehicle control mode is set according to the first reliability value and the second reliability value.
도 4는 본 발명의 일 실시예에 따른 차량에 장착된 멀티 라이다 센서의 오차 보정 방법을 설명하기 위한 흐름도이다. 4 is a flowchart illustrating an error correction method of a multi-LIDAR sensor mounted in a vehicle according to an embodiment of the present invention.
도 4를 참조하면, 차량 제어 장치는 각 라이다 센서에 대해 월드 좌표계를 이용한 절대 오차 보정을 수행한다(S410). 절대 오차 보정을 수행하는 방법에 대한 상세한 설명은 도 5를 참조하기로 한다. Referring to FIG. 4, the vehicle control apparatus performs absolute error correction using a world coordinate system for each lidar sensor (S410). For a detailed description of a method of performing absolute error correction, refer to FIG. 5.
단계 S410이 수행되면, 차량 제어 장치는 라이다 센서들의 중첩 감지 영역에서 검출된 센싱 정보에 기초하여 상대 오차 보정을 수행한다(S420). 상대 오차 보정에 대한 상세한 설명은 도 6을 참조하기로 한다. When step S410 is performed, the vehicle control device performs a relative error correction based on the sensing information detected in the overlapping detection area of the lidar sensors (S420). For a detailed description of the relative error correction, refer to FIG. 6.
도 5는 본 발명의 일 실시예에 따른 차량에 장착된 멀티 라이다 센서의 절대 오차 보정을 수행하는 방법을 설명하기 위한 흐름도이다.5 is a flowchart illustrating a method of performing absolute error correction of a multi-LIDAR sensor mounted in a vehicle according to an embodiment of the present invention.
도 5를 참조하면, 제어부(150)는 센서부(110)(예 : IMU의 센서)를 통해 검출된 정보를 수집한다(S510). Referring to FIG. 5, the
또한 제어부(150)는 상기 제1 및 제2 라이다 센서(130, 140)를 통해 검출된 정보(즉, 라이다 센싱 정보)에서 지면 정보를 추출한다(S520).In addition, the
예컨대 지면 정보는 라이다 센서를 통해 검출된 지면의 수평각도 정보와 상하각도 정보를 포함할 수 있다. 즉, 피치(pitch) 및 롤(roll) 정보를 검출할 수 있다.For example, the ground information may include horizontal angle information and vertical angle information of the ground detected through the lidar sensor. In other words, it is possible to detect pitch and roll information.
또한 제어부(150)는 제1 및 제2 라이다 센서(130, 140)를 통해 검출된 정보(즉, 라이다 센싱 정보)에서 고정 객체 정보를 검출할 수 있다(S530).In addition, the
예컨대 고정 객체 정보는 라이다 센서를 통해 검출된 도로 주변의 고정 객체에 대한 좌표 정보(즉, 라이다 센서로부터의 고정 객체까지의 거리 및 방위 정보에 의해 산출한 좌표 정보)를 포함할 수 있다.For example, the fixed object information may include coordinate information on a fixed object around a road detected through a lidar sensor (ie, coordinate information calculated by distance and orientation information from the lidar sensor to the fixed object).
또한 제어부(150)는 상기 센서부(120)를 통해 검출된 정보, 상기 추출된 지면 정보, 상기 검출된 고정 객체 정보, 상기 내비게이션부(110)에서 출력되는 정보, 및 내부 메모리(미도시)에 기 저장된 초기 정보(또는 디폴트 정보) 중 적어도 하나 이상을 반영하여 각 라이다 센서(130, 140)의 출력 값을 보정한다(S540). In addition, the
즉, 제어부(150)는 각 라이다 센서에 대한 개별적인 보정을 수행한다.In other words, the
만약 개별적인 보정(즉, 절대 오차 보정)을 통해서 치유할 수 없을 정도의 오차가 발생한 경우, 제어부(150)는 해당 라이다 센서가 고장 상태인 것으로 판단할 수 있다.If an irreparable error occurs through individual correction (ie, absolute error correction), the
상기와 같이 제어부(150)는 각 라이다 센서(130, 140)에 대하여 월드 좌표(world coordinate)와의 차이인 절대 오차를 보정할 수 있다. 이를 위해 제어부(150)는 지면 및 고정 객체(물체) 검출 정보, IMU 정보 등을 이용하여 외부와의 틀어짐을 판단할 수 있으며, 주행 중 지면에 편평하다고 판단(즉, 센서 및 지도 정보를 바탕으로 편평한 지면을 직진 주행하는 것으로 판단)되는 지역에서 지면 정보를 추출하고, 이를 통해 쉽게 피치(pitch) 및 롤(roll) 등의 오차 정보를 얻어 보정할 수 있다. 또한 고정 객체(물체) 검출 정보를 활용하여(예 : 지면에 평행하게 놓인 차량과 같은 물체의 검출 정보) 차량과의 움직임 정보 비교를 통해 오차를 보정할 수 있으며, 또한 IMU 정보를 활용하게 되면 센서의 3개 방향 오차를 모두 알 수 있으므로 쉽게 오차 보정이 가능하며, 또한 내비게이션의 지도(Map) 정보를 활용하여 지면이 편평한 곳에서의 오차 보정의 정확도를 향상시킬 수 있다.As described above, the
이때 도 5를 참조하여 설명한 라이다 센서의 개별적인 보정 방법은 이를 한정하고자 기재한 것은 아니며, 매체를 통해 공지된 다른 라이다 센서 보정 방법을 이용해서 개별적인 보정을 수행할 수도 있다. 다만 라이다 센서의 개별적인 보정을 수행할 때 지면 정보와 고정 객체 정보를 검출해야 한다.In this case, the individual correction method of the lidar sensor described with reference to FIG. 5 is not described to limit it, and individual correction may be performed using another lidar sensor correction method known through the medium. However, when performing individual calibration of the lidar sensor, ground information and fixed object information must be detected.
도 6은 본 발명의 일 실시예에 따른 차량에 장착된 멀티 라이다 센서의 상대 오차 보정 방법을 설명하기 위한 흐름도이다.6 is a flowchart illustrating a method of correcting a relative error of a multi-LIDAR sensor mounted in a vehicle according to an exemplary embodiment of the present invention.
도 6을 참조하면, 제어부(150)는 제1 및 제2 라이다 센서(130, 140)를 통해 검출된 정보(즉, 센싱 정보) 및 라이다 센서(130, 140)의 개별적인 절대 오차 보정을 수행한 결과 정보를 입력받는다(S610).Referring to FIG. 6, the
예컨대 제어부(150)는 라이다 센서(130, 140)의 개별적인 보정을 통해 절대 오차를 보정할 경우 고장 여부도 판별할 수 있다. For example, the
이에 따라 멀티 라이다 센서(130, 140)가 모두 정상이라고 가정할 때, 지정된 어느 하나의 라이다 센서(130)를 선택하여 기준으로 설정한다(S620). 또는 랜덤 방식으로 어느 하나의 기준 라이다 센서(130)를 선택할 수도 있다.Accordingly, when it is assumed that all of the
또한 제어부(150)는 기준 라이다 센서(130)를 통해 검출된 정보(즉, 센싱 정보) 중 지면 정보를 기준으로 다른 라이다 센서(140)의 지면 정보를 일치시키는 보정을 수행한다(S630).In addition, the
또한 제어부(150)는 기준 라이다 센서(130)를 통해 검출된 정보(즉, 센싱 정보) 중 고정 객체 정보를 기준으로 다른 라이다 센서(140)의 고정 객체 정보를 일치시키는 보정을 수행한다(S640).In addition, the
예컨대 멀티 라이다 센서(130, 140)는 이미 개별적인 절대 오차 보정을 통해 사실상 검출 정보(즉, 센싱 정보)의 큰 차이는 발생하지 않으며, 다만 중복 영역(중복 센싱 영역)에서의 값에 작은 차이가 발생할 수 있다. 따라서 제어부(150)는 이러한 중복 영역(중복 센싱 영역)에서 발생할 수 있는 차이에 대하여 보정(즉, 추가적인 정밀 보정)을 수행하는 것이다.For example, the
이때 멀티 라이다 센서(130, 140)의 정보를 일치시키기 위하여, 상기 두 라이다 센서(130, 140)의 차이 값만큼 상기 기준으로 설정되지 않은 라이다 센서(140)만 보정을 수행할 수도 있고, 두 라이다 센서(130, 140)의 차이를 2로 나누어 산출한 값만큼 두 라이다 센서(130, 140)에 대하여 모두 보정을 수행할 수도 있다.At this time, in order to match the information of the
상기와 같이 차량에 멀티 라이다 센서(130, 140)를 장착할 경우, 각 라이다 센서의 절대 보정을 수행하더라도 라이다 센서간에 발생하는 상대적인 오차가 발생할 수 있다. 따라서 본 실시예에서는 상기와 같은 상대적인 오차를 보정하기 위하여, 멀티 라이다 센서 간 중첩 센싱 영역의 정보를 활용하여 추가적인 보정을 수행함으로써 검출 정확도를 향상시키게 된다.When the
즉, 중첩 감지 영역에서 추출된 지면 정보 및 고정 객체 정보를 이용하여 산출할 수 있는 정보를 일치시키는 보정을 수행함으로써, 예컨대 병진(Translation) 3축과 회전(Rotation) 3축의 정밀한 보정이 가능하게 된다. That is, by performing correction to match information that can be calculated using the ground information and fixed object information extracted from the overlapping detection area, for example, it is possible to precisely correct the 3-axis translation and 3-axis rotation. .
상기와 같이 본 실시예는 지면 정보 및 고정 객체 검출 결과를 바탕으로 라이다 센서간 상대 오차를 보정함으로써 검출 정확도를 향상시키게 된다.As described above, the present embodiment improves the detection accuracy by correcting the relative error between the lidar sensors based on the ground information and the detection result of the fixed object.
도 7은 본 발명의 일 실시예에 따른 차량에 장착된 멀티 라이다 센서의blockage를 검출하는 방법을 설명하기 위한 흐름도이다. 7 is a flowchart illustrating a method of detecting a blockage of a multi-LIDAR sensor mounted in a vehicle according to an exemplary embodiment of the present invention.
도 7을 참조하면, 제어부(150)는 제1 및 제2 라이다 센서 각각에서 표면의 오염을 감지하여 제1 Blockage를 판단한다(S710). 이때, 제어부는 포인트 클라우드(point cloud) 신호, 신호 세기(intensity), 검출거리 중 적어도 하나에 기초하여 제1 및 제2 레이다 센서 표면의 오염을 각각 감지하고, 상기 감지된 오염의 넓이와 형태에 따라 제1 blockage를 판단할 수 있다. Referring to FIG. 7, the
단계 S710이 수행되면, 제어부는 제1 및 제2 라이다 센서의 중첩 감지 영역에서 거리값 및 오염패턴을 비교하며 유사 여부를 판단한다(S720). 즉, 제어부는 중첩 감지 영역에서 같은 거리 값을 갖는지 비교하고, 비슷한 오염 패턴을 갖는지 비교한다. When step S710 is performed, the controller compares the distance value and the contamination pattern in the overlapping detection area of the first and second lidar sensors and determines whether they are similar (S720). That is, the control unit compares whether the overlapping detection area has the same distance value, and compares whether it has a similar contamination pattern.
단계 S720이 수행되면, 제어부는 유사 여부 판단결과와 제1 Blockage에 기초하여 제2 Blockage를 판단한다(S730).When step S720 is performed, the controller determines a second blockage based on the similarity determination result and the first blockage (S730).
상술한 바와 같이, 본 발명의 일 실시예에 따른 램라이다 센서의 신뢰성에 따른 차량 제어 장치 및 방법은, 차량에 다수의 라이다 센서를 장착하여 차량 주변의 객체를 동시에 검출할 경우 라이다 센서들 간의 오차 보정(auto calibration) 및 Blockage 검출을 수행하고, 오차 보정 및 Blockage 검출을 통해 라이다 센서들의 신뢰성 값을 산출할 수 있으며, 신뢰성 값을 기반으로 차량 제어 모드를 선택할 수 있으므로, 최적의 차량 주행 모드로 변경할 수 있다. As described above, in the vehicle control apparatus and method according to the reliability of the Ram lidar sensor according to an embodiment of the present invention, when a vehicle is equipped with a plurality of lidar sensors to simultaneously detect objects around the vehicle, the lidar sensors Auto calibration and blockage detection are performed, reliability values of lidar sensors can be calculated through error correction and blockage detection, and vehicle control mode can be selected based on the reliability value. You can change the mode.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다.Although the present invention has been described with reference to the embodiments shown in the drawings, this is only illustrative, and those of ordinary skill in the field to which the technology pertains, various modifications and other equivalent embodiments are possible. I will understand.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.Therefore, the true technical protection scope of the present invention should be determined by the following claims.
110 : 내비게이션부
120 : 센서부
130 : 제어부
140 : 제1 라이다 센서
150 : 제2 라이다 센서110: navigation unit
120: sensor unit
130: control unit
140: first lidar sensor
150: second lidar sensor
Claims (14)
차량의 속도와 방향, 중력, 및 가속도 정보를 측정하는 적어도 하나 이상의 센서를 포함하는 센서부;
차량의 좌우측 대칭되는 위치에 장착되며 오차범위 내에서 동일한 성능을 갖는 제1 및 제2 라이다 센서; 및
상기 내비게이션부 및 센서부를 통해서 검출된 정보와 상기 제1 및 제2 라이다 센서의 중첩 감지 영역에서 검출된 센싱 정보에 기초하여 상기 제1 및 제2 라이더 센서의 틀어짐을 보정하고, 상기 틀어짐 보정에 따른 제1 신뢰성 값을 산출하며, 상기 중첩 감지 영역에서 검출된 센싱 정보에 기초하여 상기 제1 및 제2 라이다 센서의 blockage를 검출하고, 상기 검출된 blockage에 따른 제2 신뢰성 값을 산출하며, 상기 제1 신뢰성 값 및 제2 신뢰성 값을 기반으로 차량 제어 모드를 선택하는 제어부;
를 포함하는 라이다 센서의 신뢰성에 따른 차량 제어 장치.
A navigation unit having a built-in digital map, receiving a GPS signal based on the digital map information, and outputting information about a current location of the vehicle and surrounding the vehicle;
A sensor unit including at least one sensor for measuring speed and direction of the vehicle, gravity, and acceleration information;
First and second lidar sensors mounted at symmetrical positions on the left and right sides of the vehicle and having the same performance within an error range; And
Based on the information detected through the navigation unit and the sensor unit and the sensing information detected in the overlap detection area of the first and second lidar sensors, the distortion of the first and second lidar sensors is corrected, and the distortion correction is performed. A first reliability value is calculated according to, and a blockage of the first and second lidar sensors is detected based on sensing information detected in the overlapping detection area, and a second reliability value according to the detected blockage is calculated, A controller for selecting a vehicle control mode based on the first reliability value and the second reliability value;
Vehicle control device according to the reliability of the lidar sensor comprising a.
상기 제어부는,
상기 제1 및 제2 라이다 센서 각각에 대하여 월드 좌표계를 이용한 절대 오차 보정을 수행하고, 상기 내비게이션부 및 센서부를 통해서 검출된 정보에 기초하여 상기 중첩 감지 영역에서 검출된 센싱 정보를 일치시키는 상대 오차 보정을 수행하며, 상기 절대 오차 보정과 상기 상대 오차 보정에 따른 틀어짐 보정 결과에 기초하여 제1 신뢰성 값을 산출하는 것을 특징으로 하는 라이다 센서의 신뢰성에 따른 차량 제어 장치.
The method of claim 1,
The control unit,
A relative error of performing absolute error correction using a world coordinate system for each of the first and second lidar sensors, and matching sensing information detected in the overlapping detection region based on information detected through the navigation unit and the sensor unit A vehicle control apparatus according to reliability of a lidar sensor, characterized in that the correction is performed and a first reliability value is calculated based on a distortion correction result according to the absolute error correction and the relative error correction.
상기 제어부는,
상기 센서부를 통해 검출된 정보를 수집하고, 상기 제1 및 제2 라이다 센서를 통해 검출된 정보에서 지면 정보 및 고정 객체 정보를 검출하며, 상기 센서부를 통해 검출된 정보, 상기 추출된 지면 정보, 상기 검출된 고정 객체 정보, 상기 내비게이션부에서 출력되는 정보, 및 내부 메모리에 기 저장된 초기 정보 중 적어도 하나 이상을 반영하여, 각 라이다 센서의 절대 오차 보정을 수행하는 것을 특징으로 하는 라이다 센서의 신뢰성에 따른 차량 제어 장치.
The method of claim 2,
The control unit,
Collects information detected through the sensor unit, detects ground information and fixed object information from information detected through the first and second lidar sensors, information detected through the sensor unit, the extracted ground information, By reflecting at least one or more of the detected fixed object information, information output from the navigation unit, and initial information previously stored in an internal memory, the absolute error correction of each lidar sensor is performed. Vehicle control device according to reliability.
상기 제어부는,
상기 제1 및 제2 라이다 센서 각각에 대한 절대 오차 보정을 통해 정상 상태인 것으로 판단된 라이다 센서들의 중첩 감지 영역에서 추출된 정보를 이용해 상대 오차 보정을 수행하되,
상기 정상 상태의 제1 및 제2 라이다 센서 중 미리 지정된 방식으로 기준 라이다 센서를 선택하고, 상기 선택된 기준 라이다 센서를 통해 검출된 정보 중 지면 정보를 기준으로 다른 라이다 센서의 지면 정보를 일치시키는 보정을 수행하며, 상기 기준 라이다 센서를 통해 검출된 정보 중 고정 객체 정보를 기준으로 다른 라이다 센서의 고정 객체 정보를 일치시키는 보정을 수행하여 상대 오차 보정을 수행하는 것을 특징으로 하는 라이다 센서의 신뢰성에 따른 차량 제어 장치.
The method of claim 2,
The control unit,
Compensating for a relative error using information extracted from the overlapping detection areas of the lidar sensors determined to be in a normal state through absolute error correction for each of the first and second lidar sensors,
A reference lidar sensor is selected from among the first and second lidar sensors in a normal state in a predetermined manner, and ground information of another lidar sensor is selected based on the ground information among information detected through the selected standard lidar sensor. It characterized in that it performs a matching correction, and performs a relative error correction by performing a correction to match fixed object information of another lidar sensor based on fixed object information among information detected through the reference lidar sensor. It is the vehicle control device according to the reliability of the sensor.
상기 제어부는 상기 틀어짐 보정 결과를 기준 각도와 비교하고, 상기 비교결과에 따라 제1 신뢰성 값을 결정하는 것을 특징으로 하는 라이다 센서의 신뢰성에 따른 차량 제어 장치.
The method of claim 2,
The control unit compares the distortion correction result with a reference angle, and determines a first reliability value according to the comparison result.
상기 제어부는,
상기 제1 및 제2 라이다 센서 각각에 대하여 신호 감지 여부에 기초하여 제1 blockage를 판단하고, 상기 중첩 감지 영역에서 거리값 및 오염패턴을 비교하여 제2 blockage를 판단하며, 상기 제1 blockage 및 제2 blockage에 따른 제2 신뢰성 값을 산출하는 것을 특징으로 하는 라이다 센서의 신뢰성에 따른 차량 제어 장치.
The method of claim 1,
The control unit,
A first blockage is determined based on whether a signal is detected for each of the first and second lidar sensors, and a second blockage is determined by comparing a distance value and a contamination pattern in the overlapping detection area, and the first blockage and A vehicle control device according to reliability of a lidar sensor, characterized in that calculating a second reliability value according to the second blockage.
상기 제어부는,
포인트 클라우드(point cloud) 신호, 신호 세기(intensity), 검출거리 중 적어도 하나에 기초하여 제1 및 제2 레이다 센서 표면의 오염을 각각 감지하고, 상기 감지된 오염의 넓이와 형태에 따라 제1 blockage를 판단하는 것을 특징으로 하는 라이다 센서의 신뢰성에 따른 차량 제어 장치.
The method of claim 6,
The control unit,
Each of the contamination on the surface of the first and second radar sensors is detected based on at least one of a point cloud signal, a signal intensity, and a detection distance, and a first blockage according to the area and shape of the detected contamination. Vehicle control device according to the reliability of the lidar sensor, characterized in that to determine.
상기 제어부가 센서부를 통해 측정되는 차량의 속도와 방향, 중력, 및 가속도 정보를 입력받는 단계;
상기 제어부가 차량의 좌우측 대칭되는 위치에 장착되며 오차범위 내에서 동일한 성능을 갖는 제1 및 제2 라이다 센서를 통해 센싱 정보를 입력받는 단계;
상기 제어부가 상기 내비게이션부 및 센서부를 통해서 검출된 정보와 상기 제1 및 제2 라이다 센서의 중첩 감지 영역에서 검출된 센싱 정보에 기초하여 상기 제1 및 제2 라이더 센서의 틀어짐을 보정하고, 상기 중첩 감지 영역에서 검출된 센싱 정보에 기초하여 상기 제1 및 제2 라이다 센서의 blockage를 검출하는 단계;
상기 제어부가 상기 틀어짐 보정에 따른 제1 신뢰성 값 및 상기 검출된 blockage에 따른 제2 신뢰성 값을 산출하는 단계; 및
상기 제어부가 상기 제1 신뢰성 값 및 제2 신뢰성 값을 기반으로 차량 제어 모드를 선택하는 단계;
를 포함하는 라이다 센서의 신뢰성에 따른 차량 제어 방법.
Receiving, by the controller, the current location of the vehicle and information on the surroundings of the vehicle through the navigation unit;
Receiving, by the control unit, information on a vehicle speed, direction, gravity, and acceleration measured through a sensor unit;
Receiving sensing information through first and second lidar sensors, wherein the control unit is mounted at a position symmetrical to the left and right of the vehicle and has the same performance within an error range;
The control unit corrects the distortion of the first and second lidar sensors based on the information detected through the navigation unit and the sensor unit and sensing information detected in the overlapping detection area of the first and second lidar sensors, and the Detecting blockage of the first and second lidar sensors based on the sensing information detected in the overlapping detection area;
Calculating, by the controller, a first reliability value according to the distortion correction and a second reliability value according to the detected blockage; And
Selecting, by the controller, a vehicle control mode based on the first reliability value and the second reliability value;
Vehicle control method according to the reliability of the lidar sensor comprising a.
상기 제1 및 제2 라이더 센서의 틀어짐을 보정하기 위하여,
상기 제어부는,
상기 제1 및 제2 라이다 센서 각각에 대하여 월드 좌표계를 이용한 절대 오차 보정을 수행하고, 상기 내비게이션부 및 센서부를 통해서 검출된 정보에 기초하여 상기 중첩 감지 영역에서 검출된 센싱 정보를 일치시키는 상대 오차 보정을 수행하는 것을 특징으로 하는 라이다 센서의 신뢰성에 따른 차량 제어 방법.
The method of claim 8,
In order to correct the distortion of the first and second lidar sensors,
The control unit,
A relative error of performing absolute error correction using a world coordinate system for each of the first and second lidar sensors, and matching sensing information detected in the overlapping detection region based on information detected through the navigation unit and the sensor unit Vehicle control method according to the reliability of the lidar sensor, characterized in that performing correction.
상기 절대 오차 보정을 수행하기 위하여,
상기 제어부는,
상기 센서부를 통해 검출된 정보를 수집하고, 상기 제1 및 제2 라이다 센서를 통해 검출된 정보에서 지면 정보 및 고정 객체 정보를 검출하며, 상기 센서부를 통해 검출된 정보, 상기 추출된 지면 정보, 상기 검출된 고정 객체 정보, 상기 내비게이션부에서 출력되는 정보, 및 내부 메모리에 기 저장된 초기 정보 중 적어도 하나 이상을 반영하여, 각 라이다 센서의 절대 오차 보정을 수행하는 것을 특징으로 하는 라이다 센서의 신뢰성에 따른 차량 제어 방법.
The method of claim 9,
In order to perform the absolute error correction,
The control unit,
Collects information detected through the sensor unit, detects ground information and fixed object information from information detected through the first and second lidar sensors, information detected through the sensor unit, the extracted ground information, By reflecting at least one or more of the detected fixed object information, information output from the navigation unit, and initial information previously stored in an internal memory, the absolute error correction of each lidar sensor is performed. Vehicle control method according to reliability.
상기 상대 오차 보정을 수행하기 위하여,
상기 제어부는,
상기 제1 및 제2 라이다 센서 각각에 대한 절대 오차 보정을 통해 정상 상태인 것으로 판단된 라이다 센서들의 중첩 감지 영역에서 추출된 정보를 이용해 상대 오차 보정을 수행하되,
상기 정상 상태의 제1 및 제2 라이다 센서 중 미리 지정된 방식으로 기준 라이다 센서를 선택하고, 상기 선택된 기준 라이다 센서를 통해 검출된 정보 중 지면 정보를 기준으로 다른 라이다 센서의 지면 정보를 일치시키는 보정을 수행하며, 상기 기준 라이다 센서를 통해 검출된 정보 중 고정 객체 정보를 기준으로 다른 라이다 센서의 고정 객체 정보를 일치시키는 보정을 수행하여 상대 오차 보정을 수행하는 것을 특징으로 하는 라이다 센서의 신뢰성에 따른 차량 제어 방법.
The method of claim 9,
In order to perform the relative error correction,
The control unit,
Compensating for a relative error using information extracted from the overlapping detection areas of the lidar sensors determined to be in a normal state through absolute error correction for each of the first and second lidar sensors,
A reference lidar sensor is selected from among the first and second lidar sensors in a normal state in a predetermined manner, and ground information of another lidar sensor is selected based on the ground information among information detected through the selected standard lidar sensor. It characterized in that it performs a matching correction, and performs a relative error correction by performing a correction to match fixed object information of another lidar sensor based on fixed object information among information detected through the reference lidar sensor. It is a vehicle control method according to the reliability of the sensor.
상기 제1 신뢰성 값을 산출하기 위하여,
상기 제어부는,
상기 틀어짐 보정 결과를 기준 각도와 비교하고, 상기 비교결과에 따라 제1 신뢰성 값을 산출하는 것을 특징으로 하는 라이다 센서의 신뢰성에 따른 차량 제어 방법.
The method of claim 9,
In order to calculate the first reliability value,
The control unit,
The vehicle control method according to the reliability of the lidar sensor, characterized in that comparing the distortion correction result with a reference angle, and calculating a first reliability value according to the comparison result.
상기 제2 신뢰성 값을 위하여,
상기 제어부는,
상기 제1 및 제2 라이다 센서 각각에 대하여 신호 감지 여부에 기초하여 제1 blockage를 판단하고, 상기 중첩 감지 영역에서 거리값 및 오염패턴을 비교하여 제2 blockage를 판단하며, 상기 제1 blockage 및 제2 blockage에 따른 제2 신뢰성 값을 산출하는 것을 특징으로 하는 라이다 센서의 신뢰성에 따른 차량 제어 방법.
The method of claim 9,
For the second reliability value,
The control unit,
A first blockage is determined based on whether a signal is detected for each of the first and second lidar sensors, and a second blockage is determined by comparing a distance value and a contamination pattern in the overlapping detection area, and the first blockage and Vehicle control method according to reliability of a lidar sensor, characterized in that calculating a second reliability value according to the second blockage.
상기 제1 blockage를 판단하기 위해,
상기 제어부는,
포인트 클라우드(point cloud) 신호, 신호 세기(intensity), 검출거리 중 적어도 하나에 기초하여 제1 및 제2 레이다 센서 표면의 오염을 각각 감지하고, 상기 감지된 오염의 넓이와 형태에 따라 제1 blockage를 판단하는 것을 특징으로 하는 라이다 센서의 신뢰성에 따른 차량 제어 방법.
The method of claim 13,
To determine the first blockage,
The control unit,
Each of the contamination on the surface of the first and second radar sensors is detected based on at least one of a point cloud signal, a signal intensity, and a detection distance, and a first blockage according to the area and shape of the detected contamination. Vehicle control method according to the reliability of the lidar sensor, characterized in that to determine.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190065890A KR102539287B1 (en) | 2019-06-04 | 2019-06-04 | Apparatus for controlling vehicle based on reliablity of multi lidar and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
KR1020190065890A KR102539287B1 (en) | 2019-06-04 | 2019-06-04 | Apparatus for controlling vehicle based on reliablity of multi lidar and method thereof |
Publications (2)
Publication Number | Publication Date |
---|---|
KR20200139407A true KR20200139407A (en) | 2020-12-14 |
KR102539287B1 KR102539287B1 (en) | 2023-06-02 |
Family
ID=73779951
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
KR1020190065890A KR102539287B1 (en) | 2019-06-04 | 2019-06-04 | Apparatus for controlling vehicle based on reliablity of multi lidar and method thereof |
Country Status (1)
Country | Link |
---|---|
KR (1) | KR102539287B1 (en) |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200024927A (en) * | 2017-08-09 | 2020-03-09 | 발레오 샬터 운트 센소렌 게엠베아 | How to monitor the surrounding area of the car, sensor control unit, driver assistance system and the car |
JP2022122712A (en) * | 2021-02-10 | 2022-08-23 | 三菱ロジスネクスト株式会社 | Calibration method, program, and calibration device |
WO2022248479A1 (en) * | 2021-05-26 | 2022-12-01 | Daimler Truck AG | Method and device for recognizing blocking of a lidar system, and corresponding vehicle |
KR20230052328A (en) | 2021-10-12 | 2023-04-20 | 인포뱅크 주식회사 | Apparatus and method for indicating the location of a nearby vehicle in an autonomous vehicle |
KR102615504B1 (en) * | 2023-10-17 | 2023-12-19 | (주)에스유엠 | Object Recognition System using Multi- LiDAR and Its Method |
Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140124145A (en) * | 2013-04-16 | 2014-10-24 | 국방과학연구소 | Apparatus and Method for compensating installment angle of multi radar for vehicle |
KR20150089437A (en) * | 2014-01-28 | 2015-08-05 | 주식회사 만도 | Method and apparatus for detecting block of radar |
-
2019
- 2019-06-04 KR KR1020190065890A patent/KR102539287B1/en active IP Right Grant
Patent Citations (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20140124145A (en) * | 2013-04-16 | 2014-10-24 | 국방과학연구소 | Apparatus and Method for compensating installment angle of multi radar for vehicle |
KR20150089437A (en) * | 2014-01-28 | 2015-08-05 | 주식회사 만도 | Method and apparatus for detecting block of radar |
Cited By (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20200024927A (en) * | 2017-08-09 | 2020-03-09 | 발레오 샬터 운트 센소렌 게엠베아 | How to monitor the surrounding area of the car, sensor control unit, driver assistance system and the car |
JP2022122712A (en) * | 2021-02-10 | 2022-08-23 | 三菱ロジスネクスト株式会社 | Calibration method, program, and calibration device |
WO2022248479A1 (en) * | 2021-05-26 | 2022-12-01 | Daimler Truck AG | Method and device for recognizing blocking of a lidar system, and corresponding vehicle |
KR20230052328A (en) | 2021-10-12 | 2023-04-20 | 인포뱅크 주식회사 | Apparatus and method for indicating the location of a nearby vehicle in an autonomous vehicle |
KR102615504B1 (en) * | 2023-10-17 | 2023-12-19 | (주)에스유엠 | Object Recognition System using Multi- LiDAR and Its Method |
Also Published As
Publication number | Publication date |
---|---|
KR102539287B1 (en) | 2023-06-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102539287B1 (en) | Apparatus for controlling vehicle based on reliablity of multi lidar and method thereof | |
US20200124447A1 (en) | Vehicle Sensor Field Calibration Utilizing Other Vehicles | |
CN105717498B (en) | Laser range finder pitch angle measurement and correction system and method | |
JP2022051779A (en) | Control device, control method, program, and memory medium | |
WO2022206519A1 (en) | External parameter calibration method and apparatus for vehicle-mounted radar | |
US20090122136A1 (en) | Object detection device | |
CN110869805A (en) | Vehicle sensor synchronization using an external clock source | |
US11486988B2 (en) | Method for calibrating the alignment of a moving object sensor | |
US11148592B2 (en) | Motorcycle driving assistance device | |
JP6806891B2 (en) | Information processing equipment, control methods, programs and storage media | |
KR101878685B1 (en) | System and method for positioning vehicle using local dynamic map | |
KR20130113102A (en) | Calibration method and device for horizontal alignment of vehicle radar | |
JP2022188203A (en) | Measurement precision calculation device, self-position estimation device, control method, program and storage medium | |
CN114442073A (en) | Laser radar calibration method and device, vehicle and storage medium | |
KR102343020B1 (en) | Apparatus for calibrating position signal of autonomous vehicle using road surface image information | |
US20180372858A1 (en) | Distance estimation device, distance estimation method and program | |
KR20150010126A (en) | Apparatus and method for controlling side displaying of vehicle | |
CN109945890B (en) | Multi-positioning system switching and fusion correction method and device | |
KR102626079B1 (en) | Apparatus for calibrating multi lidar and method thereof | |
US11454514B2 (en) | Distance estimation device, distance estimation method and program | |
US20200217929A1 (en) | Detecting misalignment | |
WO2018212290A1 (en) | Information processing device, control method, program and storage medium | |
KR20190076111A (en) | Vehicle and controlling method for the same | |
CN108973893A (en) | Vehicle is paddled detection method, system and vehicle | |
JP2022179642A (en) | Distance measuring device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
E701 | Decision to grant or registration of patent right | ||
GRNT | Written decision to grant |