KR20220055913A - Obstacle detection system and method using a plurality of sensors - Google Patents

Obstacle detection system and method using a plurality of sensors Download PDF

Info

Publication number
KR20220055913A
KR20220055913A KR1020200140491A KR20200140491A KR20220055913A KR 20220055913 A KR20220055913 A KR 20220055913A KR 1020200140491 A KR1020200140491 A KR 1020200140491A KR 20200140491 A KR20200140491 A KR 20200140491A KR 20220055913 A KR20220055913 A KR 20220055913A
Authority
KR
South Korea
Prior art keywords
obstacle
sensor
radar sensor
detection
detection area
Prior art date
Application number
KR1020200140491A
Other languages
Korean (ko)
Inventor
이소원
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020200140491A priority Critical patent/KR20220055913A/en
Publication of KR20220055913A publication Critical patent/KR20220055913A/en

Links

Images

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/86Combinations of radar systems with non-radar systems, e.g. sonar, direction finder
    • G01S13/865Combination of radar systems with lidar systems
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/02Systems using reflection of radio waves, e.g. primary radar systems; Analogous systems
    • G01S13/04Systems determining presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/02Systems using the reflection of electromagnetic waves other than radio waves
    • G01S17/04Systems determining the presence of a target
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S7/00Details of systems according to groups G01S13/00, G01S15/00, G01S17/00
    • G01S7/48Details of systems according to groups G01S13/00, G01S15/00, G01S17/00 of systems according to group G01S17/00
    • G01S7/481Constructional features, e.g. arrangements of optical elements
    • G01S7/4817Constructional features, e.g. arrangements of optical elements relating to scanning

Landscapes

  • Engineering & Computer Science (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Physics & Mathematics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Electromagnetism (AREA)
  • Optical Radar Systems And Details Thereof (AREA)

Abstract

Disclosed are an obstacle detection system and method using multiple sensors to increase the accuracy for a location of an obstacle. According to the present invention, the obstacle detection system comprises: a radar sensor emitting electromagnetic waves to a first detection region and receiving an echo of the electromagnetic wave reflected from an obstacle to detect the obstacle; a LiDAR sensor emitting a laser pulse to a second detection area and receiving an echo of the laser pulse reflected from the obstacle to detect an obstacle; an operation control unit controlling the LiDAR sensor to move or rotate the second detection area in a range partially or entirely overlapping the first detection area on the basis of obstacle data detected by the radar sensor; and a sensor fusion unit detecting the position of the obstacle on the basis of the obstacle data detected by the radar sensor and the obstacle data detected by the LiDAR sensor.

Description

복수의 센서를 이용한 장애물 감지 시스템 및 방법 {OBSTACLE DETECTION SYSTEM AND METHOD USING A PLURALITY OF SENSORS}Obstacle detection system and method using multiple sensors

본 발명은 복수의 센서를 이용한 장애물 감지 시스템 및 방법에 관한 것으로, 차량에 탑재된 레이더 센서 및 라이다 센서를 동시에 이용하여 장애물을 감지하는 기술에 관한 것이다.The present invention relates to a system and method for detecting an obstacle using a plurality of sensors, and to a technology for detecting an obstacle using a radar sensor and a lidar sensor mounted on a vehicle at the same time.

차량에 장착되는 운전자 보조 시스템으로서 지능형운전자보조시스템(Advanced Driver Assisted System, ADAS)이 사용되고 있다. 이러한 ADAS는 기본적으로 차량 주변의 물체(즉, 차량 또는 보행자 등)를 감지하는 기능이 있으며, ADAS를 활용하며, 제공되는 서비스로는 자동긴급제어장치(Automatic Emergency Break, AEB) 또는 후/측방경보시스템(Blind Spot Detection, BSD) 등이 있다.As a driver assistance system mounted on a vehicle, an Advanced Driver Assisted System (ADAS) is being used. This ADAS basically has a function to detect an object around the vehicle (ie, a vehicle or a pedestrian, etc.) and utilizes the ADAS. system (Blind Spot Detection, BSD).

운전자 보조 시스템은 레이더(radar) 장치, 비전(Vision) 장치, 라이다(Light Detection And Ranging, LiDAR) 장치 등의 다양한 센서 장치를 이용하여 물체 감지 기능을 수행한다. 구체적으로, 운전자 보조 시스템은 레이더장치 또는 카메라 장치 등을 이용하여, 운전자가 인지하지 못하는 순간에도 주변 차량과 보행자를 감지하고, 이에 따라 사고 위험성을 판단한다. 이때, 운전자 보조 시스템은 사고 위험성이 고조되는 경우, 운전자에게 경고 신호를 제공하거나 브레이크 장치 또는 조향 장치를 제어하여 충돌 등의 사고를 예방한다.The driver assistance system performs an object detection function using various sensor devices such as a radar device, a vision device, and a light detection and ranging (LiDAR) device. Specifically, the driver assistance system uses a radar device or a camera device to detect surrounding vehicles and pedestrians even at a moment that the driver does not recognize, and accordingly determines the risk of an accident. In this case, when the risk of an accident increases, the driver assistance system provides a warning signal to the driver or controls a brake device or a steering device to prevent accidents such as a collision.

종래의 운전자 보조 시스템은, 단일 센서 장치에 기반한 물체 감지 방식이 일반적이었다. 하나의 센서 장치에서 감지된 물체 감지 정보를 제어 장치가 수신하여 처리함으로써 차량 주변 상황의 위험성을 판단하였다. 그리고, 제어 장치는 위험성 수준이 일정 수준 이상인 경우에는 경고 장치를 통해 운전자에게 위험 상황을 통보하였다.Conventional driver assistance systems generally use an object detection method based on a single sensor device. The control device receives and processes the object detection information sensed by one sensor device, thereby determining the risk of the vehicle surroundings. And, when the risk level is higher than a certain level, the control device notifies the driver of the dangerous situation through the warning device.

운전자 보조 시스템에 이용되는 센서 장치 중 레이더 장치는 장거리를 물체를 감지할 수 있고 환경 요인에 강인성을 갖는 장점이 있으나, 각도 센싱 정확도가 낮고 물체의 식별이 불가능하다는 한계가 있다. Among the sensor devices used in the driver assistance system, the radar device has the advantage of being able to detect an object over a long distance and having robustness against environmental factors, but has limitations in that the angle sensing accuracy is low and object identification is impossible.

또한, 라이다 장치는 레이저를 발사해 그 반사 신호로 사물이나 보행자 등 차량 주변 환경을 인식하는 것으로, 야간이나 악천후에도 정밀한 인식이 가능하며, 움직이는 물체의 거리와 속도를 정확히 감지하는 장점을 갖는다. 다만, 라이다 장치의 경우 감지 범위를 넓히기 위해서는 제작 비용이 크게 요구되는 문제가 있었다. In addition, the LiDAR device emits a laser and recognizes the environment around the vehicle, such as an object or a pedestrian, using the reflected signal. However, in the case of the lidar device, there was a problem in that manufacturing cost was required to widen the detection range.

최근에는 운전자 보조 시스템에 이용되는 센서 장치의 단점을 극복하기 위하여, 둘 이상의 센서 장치를 구비한 융합형 운전자 보조 시스템이 개발되고 있다.Recently, in order to overcome the disadvantages of the sensor device used in the driver assistance system, a fusion type driver assistance system including two or more sensor devices has been developed.

상기의 배경기술로서 설명된 사항들은 본 발명의 배경에 대한 이해 증진을 위한 것일 뿐, 이 기술분야에서 통상의 지식을 가진 자에게 이미 알려진 종래기술에 해당함을 인정하는 것으로 받아들여져서는 안 될 것이다.The matters described as the background art above are only for improving the understanding of the background of the present invention, and should not be accepted as acknowledging that they correspond to the prior art already known to those of ordinary skill in the art.

KR 10-2014-0136165 AKR 10-2014-0136165 A

본 발명은 이러한 문제점을 해결하기 위하여 제안된 것으로, 레이더 센서와 라이다 센서를 동시에 이용하여 장애물을 정확하게 감지하는 센서 융합 기술을 제공하고자 함이다.The present invention has been proposed to solve this problem, and it is an object of the present invention to provide a sensor fusion technology for accurately detecting an obstacle by using a radar sensor and a lidar sensor at the same time.

상기의 목적을 달성하기 위한 본 발명에 따른 복수의 센서를 이용한 장애물 감지 시스템은 제1검출영역으로 전자기파를 방사하고, 장애물로부터 반사되는 전자기파의 에코를 수신하여 장애물을 검출하는 레이더센서; 제2검출영역으로 레이저 펄스를 발사하고, 장애물로부터 반사되는 레이저 펄스의 에코를 수신하여 장애물을 검출하는 라이다센서; 레이더센서에서 검출한 장애물 데이터를 기반으로 일부 또는 전체가 제1검출영역과 중첩되는 범위에서 제2검출영역이 이동 또는 회전되도록 라이다센서를 제어하는 구동제어부; 및 레이더센서에서 검출한 장애물 데이터 및 라이다센서에서 검출한 장애물 데이터를 기반으로 장애물의 위치를 감지하는 센서융합부;를 포함한다.An obstacle detection system using a plurality of sensors according to the present invention for achieving the above object includes: a radar sensor that emits electromagnetic waves to a first detection area and receives an echo of electromagnetic waves reflected from the obstacle to detect the obstacle; a lidar sensor that emits a laser pulse to the second detection area and detects an obstacle by receiving an echo of the laser pulse reflected from the obstacle; a driving control unit for controlling the lidar sensor to move or rotate the second detection area in a range partially or entirely overlapping the first detection area based on the obstacle data detected by the radar sensor; and a sensor fusion unit for detecting the position of the obstacle based on the obstacle data detected by the radar sensor and the obstacle data detected by the lidar sensor.

라이다센서의 제2검출영역은 각도 범위가 제1검출영역의 각도 범위보다 상대적으로 작을 수 있다.The angular range of the second detection area of the lidar sensor may be relatively smaller than the angular range of the first detection area.

라이다센서에는, 레이저 펄스를 발사하고 레이저 펄스의 에코를 수신하는 본체바디 및 고정된 위치를 기준으로 본체바디를 회전시키는 회전모터가 포함되고, 구동제어부는, 제2검출영역이 이동 또는 회전되도록 회전모터의 구동을 제어할 수 있다.The lidar sensor includes a main body that emits a laser pulse and receives an echo of the laser pulse, and a rotation motor that rotates the main body based on a fixed position, and the driving controller is configured to move or rotate the second detection area. It is possible to control the driving of the rotary motor.

구동제어부는, 레이더센서에서 검출한 장애물의 위치가 제2검출영역에 포함되도록 제2검출영역이 이동 또는 회전되도록 라이다센서를 제어할 수 있다.The driving controller may control the lidar sensor to move or rotate the second detection region so that the position of the obstacle detected by the radar sensor is included in the second detection region.

구동제어부는, 레이더센서에서 검출한 장애물 데이터를 기반으로 제1검출영역을 가변하도록 레이더센서를 제어할 수 있다.The driving controller may control the radar sensor to vary the first detection area based on the obstacle data detected by the radar sensor.

구동제어부는, 레이더센서에서 방사하는 전자기파의 빔 패턴을 레이더센서에서 검출한 장애물의 위치를 향하도록 가변할 수 있다.The driving control unit may vary the beam pattern of electromagnetic waves radiated from the radar sensor toward the position of the obstacle detected by the radar sensor.

센서융합부는, 레이더센서에서 검출한 장애물과의 거리 데이터 및 라이다센서에서 검출한 장애물의 각도 데이터를 이용하여 장애물의 위치를 감지할 수 있다.The sensor fusion unit may detect the position of the obstacle by using distance data from the obstacle detected by the radar sensor and angle data of the obstacle detected by the lidar sensor.

상기의 목적을 달성하기 위한 본 발명에 따른 복수의 센서를 이용한 장애물 감지 방법은 제1검출영역으로 전자기파를 방사하고 장애물로부터 반사되는 전자기파의 에코를 수신하는 레이더센서에서 장애물을 검출하는 단계; 레이더센서로 검출한 장애물 데이터를 기반으로 일부 또는 전체가 제1검출영역과 중첩되는 범위에서 제2검출영역이 이동 또는 회전되도록 라이다센서를 제어하는 단계; 제2검출영역으로 레이저 펄스를 발사하고 장애물로부터 반사되는 레이저 펄스의 에코를 수신하는 라이다센서에서 장애물을 검출하는 단계; 및 레이더센서에서 검출한 장애물 데이터 및 라이다센서에서 검출한 장애물 데이터를 기반으로 장애물의 위치를 감지하는 단계;를 포함한다.An obstacle detection method using a plurality of sensors according to the present invention for achieving the above object includes: detecting an obstacle in a radar sensor that emits electromagnetic waves to a first detection area and receives an echo of electromagnetic waves reflected from the obstacle; controlling the lidar sensor to move or rotate the second detection area in a range partially or entirely overlapping the first detection area based on the obstacle data detected by the radar sensor; detecting an obstacle in a lidar sensor that emits a laser pulse to a second detection area and receives an echo of the laser pulse reflected from the obstacle; and detecting the position of the obstacle based on the obstacle data detected by the radar sensor and the obstacle data detected by the lidar sensor.

라이다센서를 제어하는 단계에서는, 제2검출영역의 각도 범위가 제1검출영역의 각도 범위에 포함되도록 라이다센서의 제2검출영역을 이동 또는 회전시킬 수 있다.In the step of controlling the lidar sensor, the second detection region of the lidar sensor may be moved or rotated so that the angular range of the second detection region is included in the angular range of the first detection region.

라이다센서를 제어하는 단계에서는, 레이저 펄스를 발사하고 레이저 펄스의 에코를 수신하는 본체바디를 고정된 위치를 기준으로 회전시키는 회전모터의 구동을 제어할 수 있다.In the step of controlling the lidar sensor, it is possible to control the driving of a rotary motor that emits a laser pulse and rotates the main body that receives the echo of the laser pulse based on a fixed position.

라이다센서를 제어하는 단계에서는, 레이더센서에서 검출한 장애물의 위치가 제2검출영역에 포함되도록 제2검출영역을 이동 또는 회전시킬 수 있다.In the step of controlling the lidar sensor, the second detection region may be moved or rotated so that the position of the obstacle detected by the radar sensor is included in the second detection region.

레이더센서에서 장애물을 검출하는 단계 이후에, 레이더센서에서 검출한 장애물 데이터를 기반으로 제1검출영역을 가변하도록 레이더센서를 제어하는 단계;를 더 포함할 수 있다.After the step of detecting the obstacle by the radar sensor, the step of controlling the radar sensor to vary the first detection area based on the obstacle data detected by the radar sensor; may further include.

레이더센서를 제어하는 단계에서는, 레이더센서에서 방사하는 전자기파의 빔 패턴을 레이더센서에서 검출한 장애물의 위치를 향하도록 가변할 수 있다.In the step of controlling the radar sensor, the beam pattern of the electromagnetic wave radiated from the radar sensor may be varied to face the position of the obstacle detected by the radar sensor.

장애물의 위치를 감지하는 단계에서는, 레이더센서에서 검출한 장애물과의 거리 데이터 및 라이다센서에서 검출한 장애물의 각도 데이터를 이용하여 장애물의 위치를 감지할 수 있다.In the step of detecting the position of the obstacle, the position of the obstacle may be detected using distance data from the obstacle detected by the radar sensor and angle data of the obstacle detected by the lidar sensor.

본 발명의 복수의 센서를 이용한 장애물 감지 시스템 및 방법에 따르면, 레이더센서에서 검출한 장애물 데이터 및 라이다센서에서 검출한 장애물 데이터를 융합함으로써 감지하는 장애물의 위치에 대한 정확도를 향상시키는 효과를 갖는다.According to the obstacle detection system and method using a plurality of sensors of the present invention, the accuracy of the position of the detected obstacle is improved by fusing the obstacle data detected by the radar sensor and the obstacle data detected by the lidar sensor.

특히, 레이더센서의 상대적으로 부정확한 장애물의 각도 데이터를 라이다센서에서 검출한 장애물의 각도 데이터로 대체함으로써 장애물의 위치를 정확하게 감지할 수 있는 효과를 갖는다.In particular, by replacing the relatively inaccurate obstacle angle data of the radar sensor with the obstacle angle data detected by the lidar sensor, the position of the obstacle can be accurately detected.

도 1은 본 발명의 일 실시예에 따른 복수의 센서를 이용한 장애물 감지 시스템의 구성도를 도시한 것이다.
도 2는 본 발명의 일 실시예에 따른 라이다센서의 구성도를 도시한 것이다.
도 3 내지 4는 본 발명의 일 실시예에 따른 레이더센서 및 라이다센서의 검출영역을 도시한 것이다.
도 5는 본 발명의 일 실시예에 따른 복수의 센서를 이용한 장애물 감지 방법을 도시한 순서도이다.
1 is a block diagram of an obstacle detection system using a plurality of sensors according to an embodiment of the present invention.
2 is a block diagram of a lidar sensor according to an embodiment of the present invention.
3 to 4 show detection areas of a radar sensor and a lidar sensor according to an embodiment of the present invention.
5 is a flowchart illustrating an obstacle detection method using a plurality of sensors according to an embodiment of the present invention.

본 명세서 또는 출원에 개시되어 있는 본 발명의 실시 예들에 대해서 특정한 구조적 내지 기능적 설명들은 단지 본 발명에 따른 실시 예를 설명하기 위한 목적으로 예시된 것으로, 본 발명에 따른 실시 예들은 다양한 형태로 실시될 수 있으며 본 명세서 또는 출원에 설명된 실시 예들에 한정되는 것으로 해석되어서는 아니 된다. Specific structural or functional descriptions of the embodiments of the present invention disclosed in the present specification or application are only exemplified for the purpose of describing the embodiments according to the present invention, and the embodiments according to the present invention may be implemented in various forms. and should not be construed as being limited to the embodiments described in the present specification or application.

본 발명에 따른 실시 예는 다양한 변경을 가할 수 있고 여러가지 형태를 가질 수 있으므로 특정실시 예들을 도면에 예시하고 본 명세서 또는 출원에 상세하게 설명하고자 한다. 그러나, 이는 본 발명의 개념에 따른 실시 예를 특정한 개시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. Since the embodiment according to the present invention can have various changes and can have various forms, specific embodiments are illustrated in the drawings and described in detail in the present specification or application. However, this is not intended to limit the embodiment according to the concept of the present invention with respect to a specific disclosed form, and should be understood to include all changes, equivalents or substitutes included in the spirit and scope of the present invention.

제1 및/또는 제2 등의 용어는 다양한 구성 요소들을 설명하는데 사용될 수 있지만, 상기 구성 요소들은 상기 용어들에 의해 한정되어서는 안된다. 상기 용어들은 하나의 구성 요소를 다른 구성 요소로부터 구별하는 목적으로만, 예컨대 본 발명의 개념에 따른 권리 범위로부터 이탈되지 않은 채, 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소는 제1 구성요소로도 명명될 수 있다.Terms such as first and/or second may be used to describe various elements, but the elements should not be limited by the terms. The above terms are used only for the purpose of distinguishing one element from another element, for example, without departing from the scope of the present invention, a first element may be called a second element, and similarly The second component may also be referred to as the first component.

어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다. 구성요소들 간의 관계를 설명하는 다른 표현들, 즉 "~사이에"와 "바로 ~사이에" 또는 "~에 이웃하는"과 "~에 직접 이웃하는" 등도 마찬가지로 해석되어야 한다. When an element is referred to as being “connected” or “connected” to another element, it is understood that it may be directly connected or connected to the other element, but other elements may exist in between. it should be On the other hand, when it is said that a certain element is "directly connected" or "directly connected" to another element, it should be understood that the other element does not exist in the middle. Other expressions describing the relationship between elements, such as "between" and "immediately between" or "neighboring to" and "directly adjacent to", etc., should be interpreted similarly.

본 명세서에서 사용한 용어는 단지 특정한 실시 예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 명세서에서, "포함하다" 또는 "가지다" 등의 용어는 설시된 특징, 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가가능성을 미리 배제하지 않는 것으로 이해되어야 한다. The terms used herein are used only to describe specific embodiments, and are not intended to limit the present invention. The singular expression includes the plural expression unless the context clearly dictates otherwise. In the present specification, terms such as “comprise” or “have” are intended to designate that the described feature, number, step, operation, component, part, or a combination thereof exists, and includes one or more other features or numbers. , it should be understood that it does not preclude the existence or addition of steps, operations, components, parts, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미이다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미인 것으로 해석되어야 하며, 본 명세서에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다. Unless defined otherwise, all terms used herein, including technical and scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries should be interpreted as having meanings consistent with the context of the related art, and unless explicitly defined in the present specification, they are not to be interpreted in an ideal or excessively formal meaning. .

이하, 첨부한 도면을 참조하여 본 발명의 바람직한 실시 예를 설명함으로써, 본 발명을 상세히 설명한다. 각 도면에 제시된 동일한 참조부호는 동일한 부재를 나타낸다.Hereinafter, the present invention will be described in detail by describing preferred embodiments of the present invention with reference to the accompanying drawings. Like reference numerals in each figure indicate like elements.

도 1은 본 발명의 일 실시예에 따른 복수의 센서를 이용한 장애물(O) 감지 시스템의 구성도를 도시한 것이다.1 is a block diagram of an obstacle (O) detection system using a plurality of sensors according to an embodiment of the present invention.

도 1을 참조하면, 본 발명의 일 실시예에 따른 복수의 센서를 이용한 장애물(O) 감지 시스템은 제1검출영역(FOV1)으로 전자기파를 방사하고, 장애물(O)로부터 반사되는 전자기파의 에코를 수신하여 장애물(O)을 검출하는 레이더센서(10); 제2검출영역(FOV2)으로 레이저 펄스를 발사하고, 장애물(O)로부터 반사되는 레이저 펄스의 에코를 수신하여 장애물(O)을 검출하는 라이다센서(20); 레이더센서(10)에서 검출한 장애물(O) 데이터를 기반으로 일부 또는 전체가 제1검출영역(FOV1)과 중첩되는 범위에서 제2검출영역(FOV2)이 이동 또는 회전되도록 라이다센서(20)를 제어하는 구동제어부(30); 및 레이더센서(10)에서 검출한 장애물(O) 데이터 및 라이다센서(20)에서 검출한 장애물(O) 데이터를 기반으로 장애물(O)의 위치를 감지하는 센서융합부(40);를 포함한다.Referring to FIG. 1 , the obstacle (O) detection system using a plurality of sensors according to an embodiment of the present invention radiates electromagnetic waves to a first detection area (FOV1), and echoes the electromagnetic waves reflected from the obstacle (O). a radar sensor 10 for receiving and detecting an obstacle (O); a lidar sensor 20 that emits a laser pulse to the second detection area FOV2 and detects the obstacle O by receiving an echo of the laser pulse reflected from the obstacle O; Based on the data of the obstacle O detected by the radar sensor 10, the lidar sensor 20 so that the second detection area FOV2 is moved or rotated in a range partially or entirely overlapped with the first detection area FOV1 a driving control unit 30 for controlling the ; and a sensor fusion unit 40 for detecting the position of the obstacle O based on the obstacle (O) data detected by the radar sensor 10 and the obstacle (O) data detected by the lidar sensor 20; do.

본 발명의 예시적인 실시예에 따른 구동제어부(30) 및 센서융합부(40)는 차량의 다양한 구성 요소의 동작을 제어하도록 구성된 알고리즘 또는 상기 알고리즘을 재생하는 소프트웨어 명령어에 관한 데이터를 저장하도록 구성된 비휘발성 메모리(도시되지 않음) 및 해당 메모리에 저장된 데이터를 사용하여 이하에 설명되는 동작을 수행하도록 구성된 프로세서(도시되지 않음)를 통해 구현될 수 있다. 여기서, 메모리 및 프로세서는 개별 칩으로 구현될 수 있다. 대안적으로는, 메모리 및 프로세서는 서로 통합된 단일 칩으로 구현될 수 있다. 프로세서는 하나 이상의 프로세서의 형태를 취할 수 있다.The driving control unit 30 and the sensor fusion unit 40 according to an exemplary embodiment of the present invention are configured to store data regarding an algorithm configured to control the operation of various components of a vehicle or a software command for reproducing the algorithm. It may be implemented through a volatile memory (not shown) and a processor (not shown) configured to perform operations described below using data stored in the memory. Here, the memory and the processor may be implemented as separate chips. Alternatively, the memory and processor may be implemented as a single chip integrated with each other. A processor may take the form of one or more processors.

본 발명의 일 실시예에 따른 복수의 센서를 이용한 장애물(O) 감지 시스템은 차량에 탑재될 수 있다.The obstacle (O) detection system using a plurality of sensors according to an embodiment of the present invention may be mounted on a vehicle.

레이더센서(10)는 차량에 고정되어 설치되는 것으로, 차량의 주위로 전자기파를 방사하고, 장애물(O)로부터 반사되는 전자기파의 에코를 수신하여 장애물(O)을 검출할 수 있다. 차량에 고정된 레이더센서(10)의 제1검출영역(FOV1)은 고정된 영역일 수 있다.The radar sensor 10 is fixedly installed on the vehicle, and may detect the obstacle O by emitting electromagnetic waves around the vehicle and receiving an echo of the electromagnetic wave reflected from the obstacle O. The first detection area FOV1 of the radar sensor 10 fixed to the vehicle may be a fixed area.

일 실시예로, 레이더센서(10)는 차량의 좌측 전단부, 우측 전단부, 좌측 후단부 및 우측 후단부에 각각 배치되고, 각각의 검출영역은 차량의 주위를 향할 수 있다.In one embodiment, the radar sensor 10 is disposed on the left front end, the right front end, the left rear end, and the right rear end of the vehicle, respectively, each detection area may be directed toward the periphery of the vehicle.

여기서, 레이더센서(10)의 감지 범위(FOV: Field Of View)는 140 ~ 150 [deg] 범위로 상대적으로 넓은 각도 범위를 가질 수 있다.Here, the detection range (FOV: Field Of View) of the radar sensor 10 may have a relatively wide angular range in the range of 140 ~ 150 [deg].

라이다센서(20)는 차량에 이동 또는 회전 가능하게 설치되는 것으로, 차량의 주위로 레이저 펄스를 발사하고, 장애물(O)로부터 반사되는 레이저 펄스의 에코를 수신하여 장애물(O)을 검출할 수 있다. The lidar sensor 20 is movably or rotatably installed in the vehicle, and can detect the obstacle O by emitting a laser pulse around the vehicle and receiving an echo of the laser pulse reflected from the obstacle O. there is.

라이다센서(20)의 감지 범위(FOV)는 성능에 따라 다양할 수 있고, 고성능의 경우 감지 범위(FOV)가 120 [deg] 일 수도 있고, 저성능의 경우 감지 범위(FOV)가 20 ~ 30 [deg] 범위일 수 있다.The detection range (FOV) of the lidar sensor 20 may vary depending on the performance, and in the case of high performance, the detection range (FOV) may be 120 [deg], and in the case of low performance, the detection range (FOV) is 20 ~ It can be in the range of 30 [deg].

여기서, 라이다센서(20)는 레이더센서(10)를 보조하기 위한 저가 및 저성능인 것으로, 감지 범위(FOV)가 20 ~ 30 [deg] 범위일 수 있다. 일 실시예로, 라이다센서(20)는 제2검출영역(FOV2)이 레이더센서(10)의 제1검출영역(FOV1)에 포함되도록 레이더센서(10)와 인접하게 위치될 수 있다.Here, the lidar sensor 20 is a low-cost and low-performance to assist the radar sensor 10, the detection range (FOV) may be in the range of 20 ~ 30 [deg]. In an embodiment, the lidar sensor 20 may be positioned adjacent to the radar sensor 10 such that the second detection region FOV2 is included in the first detection region FOV1 of the radar sensor 10 .

레이더센서(10)에서 장애물(O)을 검출하는 경우 구동제어부(30)는 레이더센서(10)에서 검출한 장애물(O) 데이터를 기반으로 제2검출영역(FOV2)이 이동 또는 회전되도록 라이다센서(20)를 제어할 수 있다.When the radar sensor 10 detects the obstacle (O), the driving control unit 30 is a lidar so that the second detection area (FOV2) is moved or rotated based on the obstacle (O) data detected by the radar sensor (10). The sensor 20 can be controlled.

라이다센서(20)의 제2검출영역(FOV2)은 일부 또는 전체가 제1검출영역(FOV1)과 중첩될 수 있다. 특히, 제2검출영역(FOV2)의 각도 범위는 제1검출영역(FOV1)의 각도 범위에 대비하여 상대적으로 작고, 제1검출영역(FOV1)의 각도 범위에 포함될 수 있다.Part or all of the second detection area FOV2 of the lidar sensor 20 may overlap the first detection area FOV1. In particular, the angular range of the second detection area FOV2 is relatively small compared to the angular range of the first detection area FOV1 , and may be included in the angular range of the first detection area FOV1 .

또한, 구동제어부(30)는 제1검출영역(FOV1)에 위치되어 레이더센서(10)에서 검출된 장애물(O)이 제2검출영역(FOV2)의 내부에 위치되도록 제2검출영역(FOV2)을 이동 또는 회전시킬 수 있다. 라이다센서(20)는 구동제어부(30)에 의해 제2검출영역(FOV2)이 이동 또는 회전된 상태에서 제2검출영역(FOV2)에 위치된 장애물(O)을 검출할 수 있다.In addition, the driving control unit 30 is located in the first detection area FOV1 so that the obstacle O detected by the radar sensor 10 is located inside the second detection area FOV2 in the second detection area FOV2. can be moved or rotated. The lidar sensor 20 may detect an obstacle O positioned in the second detection area FOV2 in a state in which the second detection area FOV2 is moved or rotated by the driving control unit 30 .

센서융합부(40)는 레이더센서(10)에서 검출한 장애물(O) 데이터 및 라이다센서(20)에서 검출한 장애물(O) 데이터를 융합함으로써 장애물(O)의 위치를 감지할 수 있다. 이에 따라, 센서융합부(40)는 감지하는 장애물(O)의 위치에 대한 정확도를 향상시키는 효과를 갖는다.The sensor fusion unit 40 may detect the position of the obstacle O by fusing the obstacle O data detected by the radar sensor 10 and the obstacle O data detected by the lidar sensor 20 . Accordingly, the sensor fusion unit 40 has the effect of improving the accuracy of the position of the detected obstacle (O).

라이다센서(20)의 제2검출영역(FOV2)은 각도 범위가 제1검출영역(FOV1)의 각도 범위보다 상대적으로 작을 수 있다.The angle range of the second detection area FOV2 of the lidar sensor 20 may be relatively smaller than that of the first detection area FOV1 .

추가로, 레이더센서(10)의 검출 각도에 대한 오차는

Figure pat00001
5 [deg] 수준이나, 라이다센서(20)의 검출 각도에 대한 오차는
Figure pat00002
0.1 [deg] 수준일 수 있다. 즉, 라이다센서(20)의 검출 각도에 대한 오차가 레이더센서(10)의 검출 각도에 대한 오차보다 현저히 낮고, 이에 따라 라이다센서(20)의 각도 검출 정확도가 우수할 수 있다.In addition, the error for the detection angle of the radar sensor 10 is
Figure pat00001
5 [deg] level, but the error for the detection angle of the lidar sensor 20 is
Figure pat00002
It can be on the 0.1 [deg] level. That is, the error with respect to the detection angle of the lidar sensor 20 is significantly lower than the error with respect to the detection angle of the radar sensor 10 , and accordingly, the angle detection accuracy of the lidar sensor 20 may be excellent.

도 2는 본 발명의 일 실시예에 따른 라이다센서(20)의 구성도를 도시한 것이다.2 is a block diagram of the lidar sensor 20 according to an embodiment of the present invention.

도 2를 더 참조하면, 라이다센서(20)에는, 레이저 펄스를 발사하고 레이저 펄스의 에코를 수신하는 본체바디(21) 및 고정된 위치를 기준으로 본체바디(21)를 회전시키는 회전모터(22)가 포함되고, 구동제어부(30)는, 제2검출영역(FOV2)이 이동 또는 회전되도록 회전모터(22)의 구동을 제어할 수 있다.2, the lidar sensor 20 has a main body 21 that emits a laser pulse and receives an echo of the laser pulse, and a rotation motor that rotates the main body 21 based on a fixed position ( 22), and the driving control unit 30 may control the driving of the rotary motor 22 so that the second detection region FOV2 moves or rotates.

회전모터(22)는 차량에 고정되어 결합될 수 있고, 구동시 차량을 기준으로 본체바디(21)를 회전시킬 수 있다. 본체바디(21)에는 레이저 펄스를 발사하는 송신장치 및 레이저 펄스의 에코를 수신하는 수신장치 등이 탑재될 수 있다.The rotation motor 22 may be fixedly coupled to the vehicle, and may rotate the main body 21 with respect to the vehicle when driven. The main body 21 may be equipped with a transmitter for emitting a laser pulse and a receiver for receiving an echo of the laser pulse.

도 3 내지 4는 본 발명의 일 실시예에 따른 레이더센서(10) 및 라이다센서(20)의 검출영역을 도시한 것이다.3 to 4 show detection areas of the radar sensor 10 and the lidar sensor 20 according to an embodiment of the present invention.

도 3 내지 4를 더 참조하면, 구동제어부(30)는, 레이더센서(10)에서 검출한 장애물(O)의 위치가 제2검출영역(FOV2)에 포함되도록 제2검출영역(FOV2)이 이동 또는 회전되도록 라이다센서(20)를 제어할 수 있다. 특히, 구동제어부(30)는 제2검출영역(FOV2)이 레이더센서(10)에서 검출한 장애물(O)을 포함하도록 이동 또는 회전되도록 회전모터(22)의 구동을 제어할 수 있다.3 to 4 , the driving control unit 30 moves the second detection area FOV2 so that the position of the obstacle O detected by the radar sensor 10 is included in the second detection area FOV2. Alternatively, the lidar sensor 20 may be controlled to rotate. In particular, the driving controller 30 may control the driving of the rotation motor 22 so that the second detection area FOV2 moves or rotates to include the obstacle O detected by the radar sensor 10 .

즉, 구동제어부(30)는 레이더센서(10)에서 1차적으로 검출한 장애물(O)의 위치를 기반으로 라이다센서(20)의 제2검출범위를 이동 또는 회전시킴으로써 2차적으로 장애물(O)의 위치를 검출할 수 있다. 이에 따라, 감지 범위(FOV)가 상대적으로 좁지만 각도 검출 정확도가 우수한 라이다센서(20)를 통해 장애물(O)의 각도 데이터를 정확하게 검출할 수 있다.That is, the driving control unit 30 moves or rotates the second detection range of the lidar sensor 20 based on the position of the obstacle O firstly detected by the radar sensor 10 , thereby secondarily detecting the obstacle O ) can be detected. Accordingly, angle data of the obstacle O can be accurately detected through the lidar sensor 20 having a relatively narrow detection range but excellent angle detection accuracy.

구동제어부(30)는, 레이더센서(10)에서 검출한 장애물(O) 데이터를 기반으로 제1검출영역(FOV1)을 가변하도록 레이더센서(10)를 제어할 수 있다.The driving controller 30 may control the radar sensor 10 to vary the first detection area FOV1 based on the data of the obstacle O detected by the radar sensor 10 .

레이더센서(10)는 전자기파 방사 범위가 레이더센서(10)의 감지 각도(FOV)와 일치할 수 있고, 전자기파의 방사 강도는 전자기파의 감지 거리에 의해 결정될 수 있다. 즉, 원거리의 장애물(O)을 감지하기 위하여는 전자기파의 방사 강도를 크게 제어할 수 있다.The radar sensor 10 may have an electromagnetic wave radiation range that coincides with a detection angle (FOV) of the radar sensor 10 , and the radiation intensity of the electromagnetic wave may be determined by a detection distance of the electromagnetic wave. That is, in order to detect the distant obstacle O, the radiation intensity of the electromagnetic wave can be largely controlled.

일 실시예로, 레이더센서(10)는 기설정된 빔 패턴에 따라 차량의 주위로 전자기파를 방사할 수 있고, 특히 기설정된 빔 패턴은 복수 개가 구비될 수 있다. 일 실시예로, 빔 패턴에는 메인 로브, 사이드 로브 및 백 로브가 포함될 수 있다.In one embodiment, the radar sensor 10 may radiate electromagnetic waves around the vehicle according to a preset beam pattern, and in particular, a plurality of preset beam patterns may be provided. In an embodiment, the beam pattern may include a main lobe, a side lobe, and a back lobe.

구동제어부(30)는, 레이더센서(10)에서 방사하는 전자기파의 빔 패턴을 레이더센서(10)에서 검출한 장애물(O)의 위치를 향하도록 가변할 수 있다.The driving control unit 30 may vary the beam pattern of the electromagnetic wave radiated from the radar sensor 10 toward the position of the obstacle O detected by the radar sensor 10 .

더 구체적으로, 구동제어부(30)는 레이더센서(10)에서 1차적으로 검출한 장애물(O)의 위치를 향하도록 빔 패턴을 가변할 수 있다. 특히, 구동제어부(30)는 레이더센서(10)에서 검출한 장애물(O)의 위치로 송신하는 전자기파의 강도가 강해지고, 해당 각도 범위에 전자기파가 집중되도록 빔 패턴을 가변할 수 있다. 이에 따라, 1차적으로 검출한 장애물(O)의 위치를 더 정확하게 검출할 수 있는 효과를 갖는다.More specifically, the driving control unit 30 may vary the beam pattern to face the position of the obstacle O primarily detected by the radar sensor 10 . In particular, the driving control unit 30 may change the beam pattern so that the intensity of the electromagnetic wave transmitted to the position of the obstacle O detected by the radar sensor 10 is increased, and the electromagnetic wave is concentrated in the corresponding angular range. Accordingly, it has the effect of more accurately detecting the position of the obstacle O detected primarily.

다른 실시예로, 레이더센서(10)는 스위칭장치를 통해 전기적으로 연결되는 안테나 그룹 중 어느 하나의 안테나를 통해 전자기파를 방사하고, 전자기파를 방사한 안테나를 통해 차량 주변의 장애물(O)로부터 반사되는 전자기파를 수신함으로써, 장애물(O)과의 거리, 방향 및 높이 등을 감지할 수 있다.In another embodiment, the radar sensor 10 radiates an electromagnetic wave through any one of the antenna groups electrically connected through a switching device, and is reflected from an obstacle O around the vehicle through the antenna that radiated the electromagnetic wave. By receiving the electromagnetic wave, the distance to the obstacle O, the direction, the height, and the like can be sensed.

스위칭장치는 구동제어부(30)에 의해 제어되며, 구동제어부(30)의 안테나 선택 정보에 기초하여 레이더를 안테나 그룹에 포함된 복수의 안테나 중 하나에 전기적으로 연결시킬 수 있다.The switching device is controlled by the driving controller 30 , and may electrically connect the radar to one of a plurality of antennas included in the antenna group based on antenna selection information of the driving controller 30 .

예를 들어, 안테나 그룹은 전자기파의 방사 각도 및 방사 세기에 따라 구분되는 3개의 안테나를 포함할 수 있다. 안테나 그룹은 초근접 거리 안테나, 근거리 안테나 및 원거리 안테나를 포함할 수 있다. For example, the antenna group may include three antennas classified according to the radiation angle and radiation intensity of electromagnetic waves. The antenna group may include an ultra-near-range antenna, a short-range antenna, and a far-field antenna.

초근접 거리 안테나는 안테나 그룹에 포함된 안테나들 중 전자기파의 방사각이 제일 크고, 방사 거리는 제일 짧을 수 있다. 원거리 안테나는 안테나 그룹에 포함된 안테나들 중 전자기파의 방사각이 제일 작고, 방사 거리는 제일 길수 있다. 근거리 안테나는 초근접 거리 안테나와 원거리 안테나 사이의 방사각과 방사 거리를 가질 수 있다.The ultra-near-distance antenna may have the largest radiation angle of electromagnetic waves and the shortest radiation distance among the antennas included in the antenna group. The remote antenna may have the smallest radiation angle of electromagnetic waves and the longest radiation distance among antennas included in the antenna group. The short-range antenna may have a radiation angle and a radiation distance between the ultra-near-range antenna and the far-end antenna.

초근접 거리 안테나의 전자기파 방사 강도는 센싱 거리가 5미터 이내가 되도록 결정되고, 방사 각도는 120도일 수 있다. 근거리 안테나의 전자기파 방사 강도는 센싱 거리가 5미터 이상 25미터 미만이도록 결정되고, 방사 각도는 80도일 수 있다. 원거리 안테나의 전자기파 방사 강도는 25미터 이상 60미터 미만이도록 결정되고, 방사 각도는 60도일 수 있다. The electromagnetic wave radiation intensity of the ultra-near-range antenna is determined such that the sensing distance is within 5 meters, and the radiation angle may be 120 degrees. The electromagnetic wave radiation intensity of the short-range antenna is determined such that the sensing distance is 5 meters or more and less than 25 meters, and the radiation angle may be 80 degrees. The electromagnetic wave radiation intensity of the far-field antenna is determined to be 25 meters or more and less than 60 meters, and the radiation angle may be 60 degrees.

즉, 레이더센서(10)는 안테나 또는 빔 패턴의 방사 각도가 감소됨에 따라 방사 강도가 강해지며, 이에 따라 센싱 거리가 증가될 수 있다. 제어기는 차량의 주행 환경에 따라 레이더센서(10)의 검출 범위를 가변시킬 수 있다.That is, as the radiation angle of the antenna or the beam pattern decreases, the radiation intensity of the radar sensor 10 increases, and accordingly, the sensing distance may be increased. The controller may vary the detection range of the radar sensor 10 according to the driving environment of the vehicle.

구체적으로, 레이더센서(10)의 경우 장애물(O)과 이격된 거리에 관한 거리 데이터가 정확하다는 장점을 갖고, 감지 범위(FOV)가 상대적으로 넓은 각도 범위를 갖는 장점을 갖는다. 그러나, 레이더센서(10)의 경우 장애물(O)이 위치된 각도 데이터가 정확하지 못한 단점을 갖는다.Specifically, in the case of the radar sensor 10, it has the advantage that the distance data about the distance separated from the obstacle O is accurate, and the detection range FOV has the advantage of having a relatively wide angular range. However, in the case of the radar sensor 10, the angle data at which the obstacle O is located is not accurate.

이에 대비하여, 라이다센서(20)의 경우 감지 범위(FOV)를 확장하기가 어렵지만, 장애물(O)이 위치된 각도 데이터가 정확한 장점을 갖는다.In contrast, in the case of the lidar sensor 20, it is difficult to extend the detection range FOV, but the angle data at which the obstacle O is located has an accurate advantage.

따라서, 센서융합부(40)는 레이더센서(10)를 통해 제1검출영역(FOV1) 내부의 장애물(O)을 검출하고, 검출한 장애물(O)의 위치를 감지하도록 라이다센서(20)의 제2검출영역(FOV2)을 이동시킨 이후에 레이더센서(10)에서 검출한 장애물(O) 데이터 및 라이다센서(20)에서 검출한 장애물(O) 데이터를 융합하여 장애물(O)의 위치를 감지할 수 있다.Accordingly, the sensor fusion unit 40 detects the obstacle O inside the first detection area FOV1 through the radar sensor 10, and the lidar sensor 20 to detect the position of the detected obstacle O. After moving the second detection area FOV2 of can detect

특히 센서융합부(40)는, 레이더센서(10)에서 검출한 장애물(O)과의 거리 데이터 및 라이다센서(20)에서 검출한 장애물(O)의 각도 데이터를 이용하여 장애물(O)의 위치를 감지할 수 있다.In particular, the sensor fusion unit 40 uses the distance data to the obstacle O detected by the radar sensor 10 and the angle data of the obstacle O detected by the lidar sensor 20 to the position can be detected.

즉, 레이더센서(10)의 부정확한 장애물(O)의 각도 데이터를 라이다센서(20)에서 검출한 장애물(O)의 각도 데이터로 대체하고, 레이더센서(10)에서 정확하게 검출한 장애물(O)과의 거리 데이터를 동시에 이용하여 장애물(O)의 위치를 감지할 수 있다.That is, the inaccurate angle data of the obstacle O of the radar sensor 10 is replaced with the angle data of the obstacle O detected by the lidar sensor 20 , and the obstacle O accurately detected by the radar sensor 10 . ) and the distance data can be simultaneously used to detect the position of the obstacle (O).

도 5는 본 발명의 일 실시예에 따른 복수의 센서를 이용한 장애물(O) 감지 방법을 도시한 순서도이다.5 is a flowchart illustrating a method for detecting an obstacle (O) using a plurality of sensors according to an embodiment of the present invention.

도 5를 더 참조하면, 제1검출영역(FOV1)으로 전자기파를 방사하고 장애물(O)로부터 반사되는 전자기파의 에코를 수신하는 레이더센서(10)에서 장애물(O)을 검출하는 단계(S100); 레이더센서(10)로 검출한 장애물(O) 데이터를 기반으로 일부 또는 전체가 제1검출영역(FOV1)과 중첩되는 범위에서 제2검출영역(FOV2)이 이동 또는 회전되도록 라이다센서(20)를 제어하는 단계(S200); 제2검출영역(FOV2)으로 레이저 펄스를 발사하고 장애물(O)로부터 반사되는 레이저 펄스의 에코를 수신하는 라이다센서(20)에서 장애물(O)을 검출하는 단계(S300); 및 레이더센서(10)에서 검출한 장애물(O) 데이터 및 라이다센서(20)에서 검출한 장애물(O) 데이터를 기반으로 장애물(O)의 위치를 감지하는 단계(S500);를 포함한다.5 , detecting the obstacle O from the radar sensor 10 that emits electromagnetic waves to the first detection area FOV1 and receives the echo of the electromagnetic waves reflected from the obstacle O (S100); Based on the data of the obstacle (O) detected by the radar sensor 10, the lidar sensor 20 so that the second detection area FOV2 is moved or rotated in a range partially or entirely overlapped with the first detection area FOV1 controlling the (S200); emitting a laser pulse to the second detection area FOV2 and detecting the obstacle O from the lidar sensor 20 that receives the echo of the laser pulse reflected from the obstacle O (S300); and detecting the position of the obstacle (O) based on the obstacle (O) data detected by the radar sensor 10 and the obstacle (O) data detected by the lidar sensor 20 (S500).

라이다센서(20)를 제어하는 단계(S200)에서는, 제2검출영역(FOV2)의 각도 범위가 제1검출영역(FOV1)의 각도 범위에 포함되도록 라이다센서(20)의 제2검출영역(FOV2)을 이동 또는 회전시킬 수 있다.In the step of controlling the lidar sensor 20 ( S200 ), the second detection area of the lidar sensor 20 is such that the angular range of the second detection area FOV2 is included in the angular range of the first detection area FOV1 . (FOV2) can be moved or rotated.

라이다센서(20)를 제어하는 단계(S200)에서는, 레이저 펄스를 발사하고 레이저 펄스의 에코를 수신하는 본체바디(21)를 고정된 위치를 기준으로 회전시키는 회전모터(22)의 구동을 제어할 수 있다.In the step (S200) of controlling the lidar sensor 20, the driving of the rotary motor 22 that emits a laser pulse and rotates the main body 21 that receives the echo of the laser pulse based on a fixed position is controlled can do.

라이다센서(20)를 제어하는 단계(S200)에서는, 레이더센서(10)에서 검출한 장애물(O)의 위치가 제2검출영역(FOV2)에 포함되도록 제2검출영역(FOV2)을 이동 또는 회전시킬 수 있다.In the step of controlling the lidar sensor 20 ( S200 ), the second detection area FOV2 is moved or can be rotated

레이더센서(10)에서 장애물(O)을 검출하는 단계(S100) 이후에, 레이더센서(10)에서 검출한 장애물(O) 데이터를 기반으로 제1검출영역(FOV1)을 가변하도록 레이더센서(10)를 제어하는 단계(S400);를 더 포함할 수 있다.After the step of detecting the obstacle O by the radar sensor 10 ( S100 ), the radar sensor 10 varies the first detection area FOV1 based on the data of the obstacle O detected by the radar sensor 10 . ) controlling the step (S400); may further include.

레이더센서(10)를 제어하는 단계(S400)에서는, 레이더센서(10)에서 방사하는 전자기파의 빔 패턴을 레이더센서(10)에서 검출한 장애물(O)의 위치를 향하도록 가변할 수 있다.In the step of controlling the radar sensor 10 ( S400 ), the beam pattern of the electromagnetic wave radiated from the radar sensor 10 may be changed toward the position of the obstacle O detected by the radar sensor 10 .

장애물(O)의 위치를 감지하는 단계(S500)에서는, 레이더센서(10)에서 검출한 장애물(O)과의 거리 데이터 및 라이다센서(20)에서 검출한 장애물(O)의 각도 데이터를 이용하여 장애물(O)의 위치를 감지할 수 있다.In the step S500 of detecting the position of the obstacle O, distance data from the obstacle O detected by the radar sensor 10 and angle data of the obstacle O detected by the lidar sensor 20 are used. Thus, the position of the obstacle O can be detected.

본 발명의 특정한 실시예에 관련하여 도시하고 설명하였지만, 이하의 특허청구범위에 의해 제공되는 본 발명의 기술적 사상을 벗어나지 않는 한도 내에서, 본 발명이 다양하게 개량 및 변화될 수 있다는 것은 당 업계에서 통상의 지식을 가진 자에게 있어서 자명할 것이다.Although shown and described with respect to specific embodiments of the present invention, it is within the art that the present invention can be variously improved and changed without departing from the spirit of the present invention provided by the following claims. It will be obvious to those of ordinary skill in the art.

10 : 레이더센서 20 : 라이다센서
30 : 구동제어부 40 : 센서융합부
10: radar sensor 20: lidar sensor
30: drive control unit 40: sensor fusion unit

Claims (14)

제1검출영역으로 전자기파를 방사하고, 장애물로부터 반사되는 전자기파의 에코를 수신하여 장애물을 검출하는 레이더센서;
제2검출영역으로 레이저 펄스를 발사하고, 장애물로부터 반사되는 레이저 펄스의 에코를 수신하여 장애물을 검출하는 라이다센서;
레이더센서에서 검출한 장애물 데이터를 기반으로 일부 또는 전체가 제1검출영역과 중첩되는 범위에서 제2검출영역이 이동 또는 회전되도록 라이다센서를 제어하는 구동제어부; 및
레이더센서에서 검출한 장애물 데이터 및 라이다센서에서 검출한 장애물 데이터를 기반으로 장애물의 위치를 감지하는 센서융합부;를 포함하는 복수의 센서를 이용한 장애물 감지 시스템.
a radar sensor that emits electromagnetic waves to the first detection area and detects the obstacle by receiving an echo of the electromagnetic wave reflected from the obstacle;
a lidar sensor that emits a laser pulse to the second detection area and detects an obstacle by receiving an echo of the laser pulse reflected from the obstacle;
a driving control unit for controlling the lidar sensor to move or rotate the second detection area in a range partially or entirely overlapping the first detection area based on the obstacle data detected by the radar sensor; and
An obstacle detection system using a plurality of sensors including a; a sensor fusion unit for detecting the position of an obstacle based on the obstacle data detected by the radar sensor and the obstacle data detected by the lidar sensor.
청구항 1에 있어서,
라이다센서의 제2검출영역은 각도 범위가 제1검출영역의 각도 범위보다 상대적으로 작은 것을 특징으로 하는 복수의 센서를 이용한 장애물 감지 시스템.
The method according to claim 1,
The obstacle detection system using a plurality of sensors, characterized in that the angle range of the second detection area of the lidar sensor is relatively smaller than the angle range of the first detection area.
청구항 1에 있어서,
라이다센서에는, 레이저 펄스를 발사하고 레이저 펄스의 에코를 수신하는 본체바디 및 고정된 위치를 기준으로 본체바디를 회전시키는 회전모터가 포함되고,
구동제어부는, 제2검출영역이 이동 또는 회전되도록 회전모터의 구동을 제어하는 것을 특징으로 하는 복수의 센서를 이용한 장애물 감지 시스템.
The method according to claim 1,
The lidar sensor includes a main body that emits a laser pulse and receives an echo of the laser pulse, and a rotation motor that rotates the main body based on a fixed position,
The driving control unit controls the driving of the rotary motor to move or rotate the second detection area. An obstacle detection system using a plurality of sensors.
청구항 1에 있어서,
구동제어부는, 레이더센서에서 검출한 장애물의 위치가 제2검출영역에 포함되도록 제2검출영역이 이동 또는 회전되도록 라이다센서를 제어하는 것을 특징으로 하는 복수의 센서를 이용한 장애물 감지 시스템.
The method according to claim 1,
An obstacle detection system using a plurality of sensors, characterized in that the driving control unit controls the lidar sensor to move or rotate the second detection area so that the position of the obstacle detected by the radar sensor is included in the second detection area.
청구항 1에 있어서,
구동제어부는, 레이더센서에서 검출한 장애물 데이터를 기반으로 제1검출영역을 가변하도록 레이더센서를 제어하는 것을 특징으로 하는 복수의 센서를 이용한 장애물 감지 시스템.
The method according to claim 1,
An obstacle detection system using a plurality of sensors, characterized in that the driving control unit controls the radar sensor to vary the first detection area based on the obstacle data detected by the radar sensor.
청구항 5에 있어서,
구동제어부는, 레이더센서에서 방사하는 전자기파의 빔 패턴을 레이더센서에서 검출한 장애물의 위치를 향하도록 가변하는 것을 특징으로 하는 복수의 센서를 이용한 장애물 감지 시스템.
6. The method of claim 5,
An obstacle detection system using a plurality of sensors, characterized in that the driving control unit varies a beam pattern of electromagnetic waves radiated from the radar sensor toward the position of the obstacle detected by the radar sensor.
청구항 1에 있어서,
센서융합부는, 레이더센서에서 검출한 장애물과의 거리 데이터 및 라이다센서에서 검출한 장애물의 각도 데이터를 이용하여 장애물의 위치를 감지하는 것을 특징으로 하는 복수의 센서를 이용한 장애물 감지 시스템.
The method according to claim 1,
An obstacle detection system using a plurality of sensors, characterized in that the sensor fusion unit detects the position of the obstacle by using distance data from the obstacle detected by the radar sensor and angle data of the obstacle detected by the lidar sensor.
제1검출영역으로 전자기파를 방사하고 장애물로부터 반사되는 전자기파의 에코를 수신하는 레이더센서에서 장애물을 검출하는 단계;
레이더센서로 검출한 장애물 데이터를 기반으로 일부 또는 전체가 제1검출영역과 중첩되는 범위에서 제2검출영역이 이동 또는 회전되도록 라이다센서를 제어하는 단계;
제2검출영역으로 레이저 펄스를 발사하고 장애물로부터 반사되는 레이저 펄스의 에코를 수신하는 라이다센서에서 장애물을 검출하는 단계; 및
레이더센서에서 검출한 장애물 데이터 및 라이다센서에서 검출한 장애물 데이터를 기반으로 장애물의 위치를 감지하는 단계;를 포함하는 복수의 센서를 이용한 장애물 감지 방법.
detecting an obstacle by a radar sensor that emits electromagnetic waves to a first detection area and receives an echo of electromagnetic waves reflected from the obstacle;
controlling the lidar sensor to move or rotate the second detection area in a range partially or entirely overlapping the first detection area based on the obstacle data detected by the radar sensor;
detecting an obstacle in a lidar sensor that emits a laser pulse to a second detection area and receives an echo of the laser pulse reflected from the obstacle; and
An obstacle detection method using a plurality of sensors, comprising: detecting the position of the obstacle based on the obstacle data detected by the radar sensor and the obstacle data detected by the lidar sensor.
청구항 8에 있어서,
라이다센서를 제어하는 단계에서는, 제2검출영역의 각도 범위가 제1검출영역의 각도 범위에 포함되도록 라이다센서의 제2검출영역을 이동 또는 회전시키는 것을 특징으로 하는 복수의 센서를 이용한 장애물 감지 방법.
9. The method of claim 8,
In the step of controlling the lidar sensor, an obstacle using a plurality of sensors, characterized in that the second detection region of the lidar sensor is moved or rotated so that the angular range of the second detection region is included in the angular range of the first detection region. detection method.
청구항 8에 있어서,
라이다센서를 제어하는 단계에서는, 레이저 펄스를 발사하고 레이저 펄스의 에코를 수신하는 본체바디를 고정된 위치를 기준으로 회전시키는 회전모터의 구동을 제어하는 것을 특징으로 하는 복수의 센서를 이용한 장애물 감지 방법.
9. The method of claim 8,
In the step of controlling the lidar sensor, obstacle detection using a plurality of sensors, characterized in that controlling the driving of a rotary motor that emits a laser pulse and rotates the main body receiving the echo of the laser pulse based on a fixed position Way.
청구항 8에 있어서,
라이다센서를 제어하는 단계에서는, 레이더센서에서 검출한 장애물의 위치가 제2검출영역에 포함되도록 제2검출영역을 이동 또는 회전시키는 것을 특징으로 하는 복수의 센서를 이용한 장애물 감지 방법.
9. The method of claim 8,
In the controlling of the lidar sensor, the obstacle detection method using a plurality of sensors, characterized in that the second detection area is moved or rotated so that the position of the obstacle detected by the radar sensor is included in the second detection area.
청구항 8에 있어서,
레이더센서에서 장애물을 검출하는 단계 이후에, 레이더센서에서 검출한 장애물 데이터를 기반으로 제1검출영역을 가변하도록 레이더센서를 제어하는 단계;를 더 포함하는 것을 특징으로 하는 복수의 센서를 이용한 장애물 감지 방법.
9. The method of claim 8,
After detecting the obstacle by the radar sensor, controlling the radar sensor to vary the first detection area based on the obstacle data detected by the radar sensor; Obstacle detection using a plurality of sensors, characterized in that it further comprises Way.
청구항 12에 있어서,
레이더센서를 제어하는 단계에서는, 레이더센서에서 방사하는 전자기파의 빔 패턴을 레이더센서에서 검출한 장애물의 위치를 향하도록 가변하는 것을 특징으로 하는 복수의 센서를 이용한 장애물 감지 방법.
13. The method of claim 12,
In the step of controlling the radar sensor, an obstacle detection method using a plurality of sensors, characterized in that the beam pattern of the electromagnetic wave radiated from the radar sensor is varied to face the position of the obstacle detected by the radar sensor.
청구항 8에 있어서,
장애물의 위치를 감지하는 단계에서는, 레이더센서에서 검출한 장애물과의 거리 데이터 및 라이다센서에서 검출한 장애물의 각도 데이터를 이용하여 장애물의 위치를 감지하는 것을 특징으로 하는 복수의 센서를 이용한 장애물 감지 방법.
9. The method of claim 8,
In the step of detecting the position of the obstacle, obstacle detection using a plurality of sensors, characterized in that the position of the obstacle is detected using distance data from the obstacle detected by the radar sensor and angle data of the obstacle detected by the lidar sensor Way.
KR1020200140491A 2020-10-27 2020-10-27 Obstacle detection system and method using a plurality of sensors KR20220055913A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020200140491A KR20220055913A (en) 2020-10-27 2020-10-27 Obstacle detection system and method using a plurality of sensors

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020200140491A KR20220055913A (en) 2020-10-27 2020-10-27 Obstacle detection system and method using a plurality of sensors

Publications (1)

Publication Number Publication Date
KR20220055913A true KR20220055913A (en) 2022-05-04

Family

ID=81584081

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020200140491A KR20220055913A (en) 2020-10-27 2020-10-27 Obstacle detection system and method using a plurality of sensors

Country Status (1)

Country Link
KR (1) KR20220055913A (en)

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140136165A (en) 2013-05-20 2014-11-28 주식회사 만도 Radar apparatus for a vehicle and target detection method using the same

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20140136165A (en) 2013-05-20 2014-11-28 주식회사 만도 Radar apparatus for a vehicle and target detection method using the same

Similar Documents

Publication Publication Date Title
US8344940B2 (en) Apparatus and sensor for adjusting sensor vertical alignment
US10018713B2 (en) Radar system for motor vehicles, and motor vehicle having a radar system
CN111002979B (en) Collision avoidance device and collision avoidance method
KR20200039328A (en) Always Operation Apparatus for Active Hood linked with ADAS
US7417585B2 (en) Radar scanning method
JP2003501635A (en) Object detection system
US10907962B2 (en) Driving assistance system mounted in vehicle
JP5871964B2 (en) Vehicle perimeter monitoring system
US11479240B2 (en) Collision avoidance assistance apparatus
CN110546528A (en) Sensor system for a vehicle and method for determining a threat assessment
US20190061748A1 (en) Collision prediction apparatus
JP2005534038A (en) Sensor for sending and receiving electromagnetic signals
KR20200040147A (en) Apparatus and method for detecting mounting angle of radar
US20200108837A1 (en) Device, method, and system for controling road curvature of vehicle
KR102589617B1 (en) driver assistance apparatus
US20210405186A1 (en) Obstacle detection system and method using distance sensor
KR20220056299A (en) Radar control system and method of vehicle
US20230278556A1 (en) Driver assistance system and driver assistance method
KR20220055913A (en) Obstacle detection system and method using a plurality of sensors
WO2019203160A1 (en) Driving assistance system and method
JP2001334896A (en) Peripheral monitoring method and it's device for vehicle
KR102517750B1 (en) Radar apparatus and method for detecting object based on occurrence of event
US20240036212A1 (en) Lane boundary detection using sub-short range active light sensor
US10759342B2 (en) Apparatus and method for controlling collision alert
US11679765B2 (en) Method for operating a distance-measuring surroundings sensor of a motor vehicle and motor vehicle

Legal Events

Date Code Title Description
A201 Request for examination