KR102535618B1 - Driver assistance system for detecting obstacle using fusion object sensing information and method thereof - Google Patents

Driver assistance system for detecting obstacle using fusion object sensing information and method thereof Download PDF

Info

Publication number
KR102535618B1
KR102535618B1 KR1020160053985A KR20160053985A KR102535618B1 KR 102535618 B1 KR102535618 B1 KR 102535618B1 KR 1020160053985 A KR1020160053985 A KR 1020160053985A KR 20160053985 A KR20160053985 A KR 20160053985A KR 102535618 B1 KR102535618 B1 KR 102535618B1
Authority
KR
South Korea
Prior art keywords
information
sensing
unit
detection information
fusion
Prior art date
Application number
KR1020160053985A
Other languages
Korean (ko)
Other versions
KR20170124287A (en
Inventor
김기석
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020160053985A priority Critical patent/KR102535618B1/en
Publication of KR20170124287A publication Critical patent/KR20170124287A/en
Application granted granted Critical
Publication of KR102535618B1 publication Critical patent/KR102535618B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88Radar or analogous systems specially adapted for specific applications
    • G01S13/93Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S15/00Systems using the reflection or reradiation of acoustic waves, e.g. sonar systems
    • G01S15/88Sonar systems specially adapted for specific applications
    • G01S15/93Sonar systems specially adapted for specific applications for anti-collision purposes
    • G01S15/931Sonar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • B60W2420/42
    • B60W2420/52
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/54Audio sensitive means, e.g. ultrasound
    • B60W2420/62

Landscapes

  • Engineering & Computer Science (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Physics & Mathematics (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • General Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Electromagnetism (AREA)
  • Acoustics & Sound (AREA)
  • Human Computer Interaction (AREA)
  • Traffic Control Systems (AREA)

Abstract

융합형 감지 정보를 이용한 차량 주변 상황 인식 처리 시, 기설정된 제1 센싱을 통해 차량 주변의 물체를 감지하여 제 1 물체 감지 정보를 생성하고, 제 1 센싱과 상이한 제 2 센싱을 통해 차량 주변의 물체를 감지하여 제 2 물체 감지 정보를 생성하고, 제 1 및 제 2 물체 감지 정보에 포함된 위치 정보에 기초하여 둘 이상의 센서부 중 어느 하나에서는 감지되고 다른 하나에서는 감지되지 않은 물체를 판별하고, 판별의 결과에 따른 융합형 감지 정보를 설정하고, 융합형 감지 정보에 기초하여 감지된 물체에 대한 위험도를 판단하는 상황 인지 처리를 수행하고, 위험도에 따라 경고를 출력하되, 판별된 물체가 감지되지 않은 센서부로 판별된 물체에 대한 정보를 전송한 결과로서 재감지된 적어도 하나의 재감지 물체 감지 정보에 기초하여 융합형 감지 정보를 설정한다.When performing situation recognition processing around the vehicle using convergence type sensing information, first object detection information is generated by detecting objects around the vehicle through preset first sensing, and objects around the vehicle are detected through second sensing that is different from the first sensing. to generate second object detection information, and based on the location information included in the first and second object detection information, an object detected by one of the two or more sensor units and not detected by the other one is determined, and the determination is made. Convergence-type detection information is set according to the result of the convergence-type detection information, and situational awareness processing is performed to determine the degree of risk for the detected object based on the convergence-type detection information, and a warning is output according to the degree of risk, but if the determined object is not detected Convergence type detection information is set based on at least one rediscovered object detection information rediscovered as a result of transmitting the information on the determined object to the sensor unit.

Description

융합형 물체 감지 정보를 이용한 운전자 보조 시스템 및 방법{DRIVER ASSISTANCE SYSTEM FOR DETECTING OBSTACLE USING FUSION OBJECT SENSING INFORMATION AND METHOD THEREOF}Driver assistance system and method using converged object detection information

본 발명은 차량에 구비되어 차량 주변의 장애물을 감지하고, 감지한 장애물 감지 정보를 이용하여 주변 상황을 인지하는 운전자 보조 시스템 및 그 방법에 관한 것이다.The present invention relates to a driver assistance system provided in a vehicle to detect an obstacle around the vehicle and to recognize a surrounding situation using the detected obstacle detection information, and a method therefor.

차량에 장착되는 운전자 보조 시스템으로서 지능형운전자보조시스템(Advanced Driver Assisted System, ADAS)이 사용되고 있다. 이러한 ADAS는 기본적으로 차량 주변의 물체(즉, 차량 또는 보행자 등)를 감지하는 기능이 있으며, ADAS를 활용하여 제공되는 서비스로는 자동긴급제어장치(Automatic Emergency Break, AEB) 또는 후/측방경보시스템(Blind Spot Detection, BSD) 등이 있다.An advanced driver assisted system (ADAS) is used as a driver assistance system installed in a vehicle. These ADAS basically have a function of detecting objects (i.e., vehicles or pedestrians) around the vehicle, and services provided using ADAS include Automatic Emergency Break (AEB) or rear/side warning system. (Blind Spot Detection, BSD).

한편, 운전자 보조 시스템은 레이더(radar) 장치, 비전(Vision) 장치, 라이다(Light Detection And Ranging, LiDAR) 장치 등의 다양한 센서 장치를 이용하여 물체 감지 기능을 수행한다. 구체적으로, 운전자 보조 시스템은 레이더장치 또는 카메라 장치 등을 이용하여, 운전자가 인지하지 못하는 순간에도 주변 차량과 보행자를 감지하고, 이에 따라 사고 위험성을 판단한다. 이때, 운전자 보조 시스템은 사고 위험성이 고조되는 경우, 운전자에게 경고 신호를 제공하거나 브레이크 장치 또는 조향 장치를 제어하여 충돌 등의 사고를 예방한다.Meanwhile, the driver assistance system performs an object detection function using various sensor devices such as a radar device, a vision device, and a Light Detection And Ranging (LiDAR) device. Specifically, the driver assistance system uses a radar device or a camera device to detect surrounding vehicles and pedestrians even when the driver is not aware of it, and accordingly determines the risk of an accident. In this case, when the risk of an accident increases, the driver assistance system provides a warning signal to the driver or controls a brake device or a steering device to prevent an accident such as a collision.

이와 관련하여, 한국공개특허 제 10-2014-0136165 호(발명의 명칭: 차량 레이더 장치 및 이를 이용한 목표물 검출방법)는, 차량 레이더 수신 신호에 포함된 간섭 신호를 제거하기 위한 것으로서, 레이더 신호를 송신하는 차량 레이더 신호 송신부, 송신된 차량 레이더 신호가 목표물에 의해 반사된 신호를 수신하는 차량 레이더 신호 수신부, 수신된 차량 레이더 신호를 기저장된 간섭특성과 비교하여 간섭 신호의 유무를 검출하는 간섭 신호 검출부, 검출된 간섭신호를 제거하여 원 신호로 복원하는 차량 레이더 신호 복원부, 및 상기 송신된 차량 레이더 신호와 복원된 차량 레이더 신호에 기초하여 상기 목표물을 검출하는 목표물 검출부를 포함하는 차량 레이더 장치 및 목표물 검출방법을 개시하고 있다.In this regard, Korean Patent Publication No. 10-2014-0136165 (title of invention: vehicle radar device and target detection method using the same) is for removing an interference signal included in a vehicle radar received signal, and transmits a radar signal A vehicle radar signal transmitter for transmitting, a vehicle radar signal receiver for receiving a signal in which the transmitted vehicle radar signal is reflected by a target, an interference signal detector for detecting the presence or absence of an interference signal by comparing the received vehicle radar signal with a pre-stored interference characteristic, Vehicle radar device and target detection including a vehicle radar signal restoration unit that removes the detected interference signal and restores the original signal, and a target detection unit that detects the target based on the transmitted vehicle radar signal and the restored vehicle radar signal method is initiated.

이처럼, 종래의 운전자 보조 시스템은, 단일 센서 장치에 기반한 물체 감지 방식이 일반적이었다. 하나의 센서 장치에서 감지된 물체 감지 정보를 제어 장치가 수신하여 처리함으로써 차량 주변 상황의 위험성을 판단하였다. 그리고, 제어 장치는 위험성 수준이 일정 수준 이상인 경우에는 경고 장치를 통해 운전자에게 위험 상황을 통보하였다.As such, in conventional driver assistance systems, an object detection method based on a single sensor device has been common. The object detection information sensed by one sensor device is received and processed by the control device to determine the danger of a situation around the vehicle. In addition, the control device notifies the driver of the dangerous situation through a warning device when the risk level is higher than a certain level.

그러나, 운전자 보조 시스템에 이용되는 센서 장치 중 레이더 장치는 장거리의 물체를 감지할 수 있고 환경 요인에 강인성을 갖는 장점이 있으나, 물체의 식별이 불가능하다는 한계가 있다. 또한, 카메라를 이용한 비전 장치는 물체의 식별은 가능하나, 환경 요인에 따라 성능의 차이가 많이 발생하여 신뢰성을 보장할 수 없다는 단점이 있다. 이와 같은 운전자 보조 시스템에서 센서 장치를 단일 장치로 구성할 경우의 단점을 극복하기 위하여, 최근에는 둘 이상의 센서 장치를 구비한 융합형 운전자 보조 시스템이 개발되고 있다.However, among sensor devices used in driver assistance systems, radar devices have the advantage of being able to detect long-distance objects and having robustness to environmental factors, but have limitations in that they cannot identify objects. In addition, a vision device using a camera can identify an object, but has a disadvantage in that reliability cannot be guaranteed due to a large difference in performance depending on environmental factors. In order to overcome the disadvantages of configuring the sensor device as a single device in such a driver assistance system, a converged driver assistance system having two or more sensor devices has recently been developed.

이러한 복수의 센서 장치를 구비한 운전자 보조 시스템은, 레이더 장치의 감지 정보를 비전 장치로 제공하고, 레이더 감지 정보를 기반으로 비전 장치에서 물체를 식별하는 방식이 일반적이다.In a driver assistance system having such a plurality of sensor devices, detection information from a radar device is provided to a vision device, and an object is identified by the vision device based on the radar sensing information.

이와 관련하여, 한국공개특허 제 10-2007-0067241 호(발명의 명칭: 레이다 센서 및 비젼 센서를 갖는 센서 시스템)는, 차량 충돌을 검출하기 위한 센서 시스템에 있어서, 차량에 의해 이송되며, 차량에 대한 물체의 레이다 접근 속도와 레이다 범위 측정값을 포함하는 다수의 레이다 측정값에 기초하여 레이다 출력값을 제공하는 레이다 센서;와 차량에 의해 이송되며, 차량에 대한 물체의 베어링 값과 비젼 범위 측정값을 포함하는 다수의 비젼 측정값에 기초하여 비젼 출력값을 제공하는 비젼 센서;와, 레이다 출력값 및 비젼 출력값을 수용하고, 레이다 출력값 및 비젼 출력값의 평가에 의존하는 안전장치를 위한 전개 신호를 생성하는 전자제어모듈을 포함하는 센서 시스템을 개시하고 있다.In this regard, Korean Patent Publication No. 10-2007-0067241 (title of invention: sensor system having a radar sensor and a vision sensor) is a sensor system for detecting a vehicle collision, transported by a vehicle, and A radar sensor that provides a radar output value based on a plurality of radar measurement values including a radar approach speed of an object and a radar range measurement value; a vision sensor that provides a vision output based on a plurality of vision measurements, including; and an electronic control that receives radar and vision outputs and generates deployment signals for safety devices that rely on evaluation of the radar and vision outputs. A sensor system comprising a module is disclosed.

그러나 이러한 융합형 운전자 보조 시스템은, 어느 하나의 센서 장치(예: 레이더 장치)가 누락한 감지 정보를 재-탐색할 수 없는 경우가 발생하여 전반적으로 신뢰성이 떨어진다는 문제가 있다. 또한, 기존의 운전자 보조 시스템은 복수의 센서 장치의 센싱 정보를 처리하는데 시간이 많이 소요되거나 감지 성능 및 신뢰성이 낮다는 한계가 있었다. 이에 따라, 융합형 센싱 방식을 개선하여 향상된 성능 및 신뢰성을 보장할 수 있는 운전자 보조 시스템이 필요하다.However, such a convergence driver assistance system has a problem in that overall reliability is deteriorated because a case may occur in which one sensor device (eg, a radar device) cannot re-search for missing sensing information. In addition, existing driver assistance systems have limitations in that they take a lot of time to process sensing information from a plurality of sensor devices or have low sensing performance and reliability. Accordingly, there is a need for a driver assistance system capable of guaranteeing improved performance and reliability by improving the converged sensing method.

본 발명의 일 실시예는, 둘 이상의 차량용 센서 장치의 센싱 정보를 융합한 융합형 물체 감지 정보를 이용하여 차량의 주변 상황을 인지하여 안전 운전을 지원할 수 있는 융합형 물체 감지 정보를 이용한 운전자 보조 시스템 및 방법을 제공하고자 한다.An embodiment of the present invention is a driver assistance system using converged object detection information capable of supporting safe driving by recognizing a surrounding situation of a vehicle using convergence object detection information obtained by converging sensing information of two or more vehicle sensor devices. And to provide a method.

다만, 본 실시예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제로 한정되지 않으며, 또 다른 기술적 과제들이 존재할 수 있다.However, the technical problem to be achieved by the present embodiment is not limited to the technical problem as described above, and other technical problems may exist.

상술한 기술적 과제를 달성하기 위한 기술적 수단으로서, 본 발명의 일측면에 따른 차량에 구비되는 운전자 보조 시스템은, 기설정된 제1 센싱을 통해 상기 차량 주변의 물체를 감지하여 제 1 물체 감지 정보를 생성하는 제 1 센서부; 상기 제 1 센싱과 상이한 제 2 센싱을 통해 상기 차량 주변의 물체를 감지하여 제 2 물체 감지 정보를 생성하는 제 2 센서부; 상기 제 1 및 제 2 물체 감지 정보를 획득하고, 상기 제 1 및 제 2 물체 감지 정보에 포함된 위치 정보에 기초하여 상기 제 1 및 제 2 센서부 중 어느 하나에서는 감지되고 다른 하나에서는 감지되지 않은 물체를 판별하고, 상기 판별의 결과에 따른 융합형 감지 정보를 설정하는 감지 정보 융합부; 및 상기 융합형 감지 정보에 기초하여 감지된 물체에 대한 위험도를 판단하는 상황 인지 처리를 수행하고, 상기 위험 발생 여부 및 위험 정도에 따라 경고를 출력하도록 제어하는 차량 제어부를 포함하며, 상기 감지 정보 융합부는, 상기 판별된 물체가 감지되지 않은 센서부로 상기 판별된 물체에 대한 정보를 전송하고, 상기 판별된 물체에 대한 정보에 대응하여 상기 제 1 센서부 및 제 2 센서부 중 적어도 하나로부터 재검출 물체 감지 정보를 수신하고, 상기 재검출 물체 감지 정보에 기초하여 상기 융합형 감지 정보를 설정한다.As a technical means for achieving the above technical problem, a driver assistance system provided in a vehicle according to an aspect of the present invention detects an object around the vehicle through a preset first sensing and generates first object detection information. a first sensor unit to; a second sensor unit generating second object detection information by sensing an object around the vehicle through second sensing different from the first sensing; Obtains the first and second object detection information, and based on the location information included in the first and second object detection information, a sensor that is detected by one of the first and second sensor units and not detected by the other sensor unit is detected. a sensing information fusion unit that determines an object and sets fusion-type sensing information according to a result of the discrimination; and a vehicle control unit that performs context-awareness processing for determining a degree of danger for the sensed object based on the convergence-type detection information, and outputs a warning according to whether or not the danger occurs and the degree of danger, wherein the detection information is fused. The unit transmits information on the determined object to a sensor unit in which the determined object is not detected, and detects an object redetected from at least one of the first sensor unit and the second sensor unit in response to the information on the determined object. Sensing information is received, and the fusion type sensing information is set based on the redetected object sensing information.

전술한 본 발명의 과제 해결 수단 중 어느 하나에 의하면, 차량의 주변 상황 인지를 위한 물체 감지 처리 시, 처리 속도, 감지 성능 및 신뢰성을 크게 향상시킬 수 있다. 이러한 융합형 물체 감지 기능을 자율주행자동차 등에 적용할 경우 개선되고 성능이 향상된 안전 운전 지원이 가능하다.According to any one of the above-described problem solving means of the present invention, processing speed, sensing performance, and reliability can be greatly improved during object sensing processing for recognizing surrounding conditions of a vehicle. If this converged object detection function is applied to autonomous vehicles, etc., it is possible to support safe driving with improved performance.

도 1 은 본 발명의 일 실시예에 따른 장치의 구성을 나타낸 블록도이다.
도 2는 본 발명의 일 실시예에 따른 차량용 융합형 센싱 방식을 설명하기 위한 도면이다.
도 3은 본 발명의 일 실시예에 따른 융합형 물체 감지 정보를 이용한 차량 주변 상황 인지 처리 방법을 설명하기 위한 데이터 흐름도이다.
1 is a block diagram showing the configuration of a device according to an embodiment of the present invention.
2 is a diagram for explaining a converged sensing method for a vehicle according to an embodiment of the present invention.
FIG. 3 is a data flow diagram illustrating a method for recognizing a situation around a vehicle using converged object detection information according to an embodiment of the present invention.

아래에서는 첨부한 도면을 참조하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 본 발명의 실시예를 상세히 설명한다. 그러나 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 그리고 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였다.Hereinafter, embodiments of the present invention will be described in detail so that those skilled in the art can easily practice the present invention with reference to the accompanying drawings. However, the present invention may be embodied in many different forms and is not limited to the embodiments described herein. And in order to clearly explain the present invention in the drawings, parts irrelevant to the description are omitted.

명세서 전체에서, 어떤 부분이 어떤 구성요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 제외하는 것이 아니라 다른 구성요소를 더 포함할 수 있는 것을 의미하며, 하나 또는 그 이상의 다른 특징이나 숫자, 단계, 동작, 구성요소, 부분품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.Throughout the specification, when a part is said to "include" a certain component, it means that it may further include other components, not excluding other components, unless otherwise stated, and one or the other components may be included. It should be understood that the above does not preclude the possibility of existence or addition of other features, numbers, steps, operations, components, parts, or combinations thereof.

본 명세서에 있어서 '부(部)'란, 하드웨어 또는 소프트웨어에 의해 실현되는 유닛(unit), 양방을 이용하여 실현되는 유닛을 포함하며, 하나의 유닛이 둘 이상의 하드웨어를 이용하여 실현되어도 되고, 둘 이상의 유닛이 하나의 하드웨어에 의해 실현되어도 된다.In this specification, 'unit' includes a unit realized by hardware or software, or a unit realized using both, and one unit may be realized using two or more hardware, and two or more units may be implemented. The above units may be realized by one piece of hardware.

이하에서는, 도면을 참조하여 본 발명의 일 실시예에 따른 융합형 물체 감지 장치 및 그 방법에 대하여 상세히 설명하도록 한다Hereinafter, a converged object sensing device and method according to an embodiment of the present invention will be described in detail with reference to the drawings.

도 1은 본 발명의 일 실시예에 따른 운전자 보조 시스템의 구성도이다. 그리고 도 2는 본 발명의 일 실시예에 따른 차량용 융합형 센싱 방식을 설명하기 위한 도면이다.1 is a configuration diagram of a driver assistance system according to an embodiment of the present invention. And FIG. 2 is a diagram for explaining a converged sensing method for a vehicle according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 본 발명의 일 실시예에 따른 운전자 보조 시스템(100)은 제 1 센서부(110), 제 2 센서부(120), 감지 정보 융합부(130), 차량 제어부(140) 및 경고 제공부(150)를 포함한다.As shown in FIG. 1 , the driver assistance system 100 according to an embodiment of the present invention includes a first sensor unit 110, a second sensor unit 120, a sensing information fusion unit 130, and a vehicle controller ( 140) and a warning providing unit 150.

장치에서 각 센서는 감지 영역을 달리할 수 있지만, 융합형 장치에서는 공통된 영역을 포함하고 있으며, 공통된 영역에서의 융합형 감지 기능을 수행함을 의미 한다. 또한, 각 센서는 감지 물체를 위치정보를 표현하기 위한 기준 좌표를 달리 할 수 있지만, 통상적으로 캘리브레이션 과정을 수행하여 좌표 변환자를 설정하여 활용하며 물체의 위치를 표현함에 있어 자기차량의 좌표계를 기반으로 한다. 본 특허에서는 이러한 과정의 설명을 생략한다. Each sensor in the device can have a different sensing area, but in the convergence type device, it includes a common area, and it means that the convergence type sensing function is performed in the common area. In addition, each sensor can use different reference coordinates to express the location information of the detected object, but usually, a calibration process is performed to set and utilize a coordinate converter, and in expressing the location of an object, based on the coordinate system of the own vehicle do. In this patent, the description of this process is omitted.

본 발명의 일 실시예에 따른 운전자 보조 시스템(100)은 차량에 구비된 둘 이상의 센서 장치로부터 각각 센싱된 물체 감지 정보를 융합한 융합형 물체 감지 정보에 기반하여 차량의 주변 상황을 인지 처리한다. 이때, 도 1에서는, 본 발명의 일 실시예에 따른 운전자 보조 시스템(100)에 복수의 센서 장치로서 제 1 센서부(110) 및 제 2 센서부(120)가 포함된 것을 나타내었으며, 이러한 센서 장치의 개수 및 종류는 한정되지 않는다. 즉, 운전자 보조 시스템(100)에 포함되는 센서 장치는, 차량에서 사용할 수 있는 다양한 센서 장치로서, 카메라를 이용하는 비전 장치, 레이더를 이용하는 레이더 장치, 레이저 레이더를 이용하는 라이다(Lidar)장치 및 초음파를 이용한 초음파 장치 등이 포함될 수 있다.The driver assistance system 100 according to an embodiment of the present invention recognizes and processes surrounding conditions of the vehicle based on convergence type object detection information obtained by converging object detection information sensed from two or more sensor devices provided in the vehicle. At this time, FIG. 1 shows that the driver assistance system 100 according to an embodiment of the present invention includes a first sensor unit 110 and a second sensor unit 120 as a plurality of sensor devices, and these sensors The number and type of devices are not limited. That is, the sensor devices included in the driver assistance system 100 are various sensor devices that can be used in a vehicle, and include a vision device using a camera, a radar device using radar, a Lidar device using laser radar, and ultrasonic waves. A used ultrasonic device and the like may be included.

이하에서는, 운전자 보조 시스템(100)의 제 1 센서부(110)로서 레이더 장치(110)가 구비되고, 제 2 센서부(120)로서 비전 장치(120)가 구비된 것을 설명하도록 한다. 이외에도, 운전자 보조 시스템(100)은 둘 이상의 센서 장치로서 라이다 장치와 및 비전 장치, 라이다 장치 및 레이더 장치와 같이 다양한 조합을 사용할 수 있으며, 센서 장치의 조합에는 세 종류 이상의 센서 장치가 포함될 수도 있다.Hereinafter, it will be described that the driver assistance system 100 includes the radar device 110 as the first sensor unit 110 and the vision device 120 as the second sensor unit 120 . In addition, the driver assistance system 100 may use various combinations of two or more sensor devices, such as a lidar device, a vision device, a lidar device, and a radar device, and the combination of sensor devices may include three or more types of sensor devices. there is.

제 1 센서부(110)는 레이더(111) 및 레이더 제어부(112)를 포함한다.The first sensor unit 110 includes a radar 111 and a radar control unit 112 .

레이더(111)는 레이더 제어부(112)의 제어를 통해 차량의 주변을 스캔하며, 레이더 제어부(112)는 레이더(111)를 통해 센싱된 정보를 처리하여 물체 감지 정보를 생성한 후 이를 감지 정보 융합부(130)로 실시간 전송한다.The radar 111 scans the surroundings of the vehicle under the control of the radar control unit 112, and the radar control unit 112 processes the information sensed through the radar 111 to generate object detection information and fuses the detected information. It is transmitted in real time to the unit 130.

이때, 제 1 센서부(110)는 기설정된 주기(T1)에 따라 차량 주변의 물체 유무를 검사하고, 감지된 물체의 감지 정보를 감지 정보 융합부(130)로 전송할 수 있다. 참고로, 제 1 센서부(110)는 실시간으로 차량 주변에 대한 센싱 동작을 수행할 수도 있다.At this time, the first sensor unit 110 may inspect whether or not there is an object around the vehicle according to a predetermined period T1 and transmit sensing information of the detected object to the sensing information fusion unit 130 . For reference, the first sensor unit 110 may perform a sensing operation for the surroundings of the vehicle in real time.

제 2 센서부(120)는 카메라(121) 및 비전 제어부(122)를 포함한다.The second sensor unit 120 includes a camera 121 and a vision controller 122 .

카메라(121)는 비전 제어부(122)의 제어를 통해 차량 주변을 실시간으로 촬영한다. 비전 제어부(122)는 카메라(121)를 통해 촬영된 영상(이미지)을 영상신호처리를 통하여 물체를 감지하고, 이에 따른 물체 감지 정보를 생성하여 감지 정보 융합부(130)로 실시간 전송한다. 또한, 비전 제어부(122)는 촬영된 이미지를 설정된 방식으로 이미지 신호 처리를 통하여, 배경과 정지 또는 움직이는 물체를 구분하여 물체를 감지하거나, 배경 내 주요 물체를 감지하여 물체 감지 정보를 생성할 수도 있다.The camera 121 captures the surroundings of the vehicle in real time under the control of the vision controller 122 . The vision control unit 122 detects an object through image signal processing of a video (image) taken by the camera 121, generates object detection information according to the image, and transmits it to the detection information convergence unit 130 in real time. In addition, the vision control unit 122 may detect an object by distinguishing a background from a still or moving object, or may generate object detection information by detecting a main object in the background through image signal processing in a set manner for a captured image. .

제 1 및 제 2 센서부(110, 120)를 통해 센싱된 물체 감지 정보는 각각 감지한 물체의 위치(예: 좌표 정보), 차량(또는 센서)와의 거리, 크기, 각도, 이동성, 수신 신호 감도 등을 포함할 수 있다.The object detection information sensed through the first and second sensor units 110 and 120 includes the location (eg, coordinate information) of the detected object, distance from the vehicle (or sensor), size, angle, mobility, and received signal sensitivity. etc. may be included.

감지 정보 융합부(130)는 수신된 상이한 종류의 물체 감지 정보를 융합 처리하여 융합형 감지 정보를 생성한다. 이때, 감지 정보 융합부(130)는 제 1 및 제 2 센서부(110, 120)로부터 각각 물체 감지 정보를 수신하되, 두 물체 감지 정보를 동기적 또는 비동기적으로 수신할 수 있다. 구체적으로, 감지 정보 융합부(130)는 수신된 물체 감지 정보를 저장한다. 이때, 감지 정보 융합부(130)는 각 센서부(110, 120)로부터 수신된 물체 감지 정보를 시간 또는 위치에 기초하여 매칭하여 저장할 수 있다. 예를 들어, 감지 정보 융합부(130)는 제 1 센서부(110)의 센싱 주기(T1)의 회차와 제 2 센서부(120)의 센싱 주기(T1)의 회차가 대응되도록 두 센서부의 물체 감지 정보를 저장할 수 있다.The sensing information fusion unit 130 fuses the received object sensing information of different types to generate fusion type sensing information. In this case, the sensing information convergence unit 130 may receive object sensing information from the first and second sensor units 110 and 120, respectively, but receive the two object sensing information synchronously or asynchronously. Specifically, the sensing information fusion unit 130 stores the received object sensing information. In this case, the sensing information convergence unit 130 may match and store the object sensing information received from each sensor unit 110 and 120 based on time or location. For example, the sensing information convergence unit 130 is an object of the two sensor units such that the number of times of the sensing period T1 of the first sensor unit 110 and the number of times of the sensing period T1 of the second sensor unit 120 correspond to each other. Sensing information can be stored.

그리고, 감지 정보 융합부(130)는 감지 정보를 바탕으로 융합 감지 정보를 생성한다. 여기서 융합형 물체 감지 정보는, 모든 센서부를 통해 공통적으로 감지된 물체에 대한 감지 정보와 더불어, 적어도 하나의 센서부를 통해서만 감지된 후 다른 센서부를 통해 재감지된 물체에 대한 감지 정보를 포함한다.Then, the sensing information convergence unit 130 generates fusion sensing information based on the sensing information. Here, the fusion-type object detection information includes detection information on an object commonly detected through all sensor units and detection information on an object detected again through another sensor unit after being detected only through at least one sensor unit.

이처럼, 복수의 센서부들로부터 각각 감지된 물체들을 비교하기 위하여, 감지 정보 융합부(130)는 물체 감지 정보 별로 포함된 기준 영역 정보에 기초하여 융합 처리를 수행한다.In this way, in order to compare objects sensed by each of the plurality of sensor units, the sensing information fusion unit 130 performs fusion processing based on reference area information included for each object sensing information.

제 1 센서부(110)의 기준 좌표, 제 2 센서부(120)의 기준 좌표 및 차량의 기준 좌표 중 상이한 좌표가 존재하는 경우, 감지 정보 융합부(130)는 제 1 및 제 2 센서부(110, 120)에 의한 물체 감지 정보에 포함된 위치 정보를 다른 기준 좌표에 기초하여 좌표 변환 처리할 수 있다. 예를 들어, 감지 정보 융합부(130)는 차량의 기준 좌표에 대응하도록 제 1 및 제 2 센서부(110, 120) 중 적어도 하나의 기준 좌표를 전환하여 기준 영역 정보를 매칭시킬 수 있다. When different coordinates exist among the reference coordinates of the first sensor unit 110, the reference coordinates of the second sensor unit 120, and the reference coordinates of the vehicle, the sensing information fusion unit 130 may first and second sensor units ( Position information included in the object detection information by 110 and 120) may be coordinate converted based on other reference coordinates. For example, the sensing information convergence unit 130 may convert reference coordinates of at least one of the first and second sensor units 110 and 120 to correspond to the reference coordinates of the vehicle to match the reference area information.

이하에서는, 설명의 편의상 제 1 센서부(110)를 통해 센싱된 물체 감지 정보를 레이더 감지 정보라 지칭하고, 제 2 센서부(120)를 통해 센싱된 물체 감지 정보를 비전 감지 정보라 지칭하도록 한다.Hereinafter, for convenience of description, object detection information sensed through the first sensor unit 110 will be referred to as radar detection information, and object detection information sensed through the second sensor unit 120 will be referred to as vision detection information. .

감지 정보 융합부(130)는 레이더 감지 정보와 비전 감지 정보에 포함된 물체의 위치 정보를 이용하여, 동일한 물체로 판단된 물체에 대한 정보 A를 설정하여 차량 제어부(140)로 전송한다. 구체적으로, 감지 정보 융합부(130)는, 도 2에 도시된 물체 "RnV_object"를 감지하여 그에 대한 정보 A를 차량 제어부(140)로 전송한다. 이때, 물체 "RnV_object"는 제 1 센서부(110) 및 제 2 센서부(120) 둘 다에서 감지된 물체를 의미한다.The detection information convergence unit 130 sets information A on the object determined to be the same object using the location information of the object included in the radar detection information and the vision detection information, and transmits it to the vehicle control unit 140. Specifically, the sensing information fusion unit 130 detects the object "RnV_object" shown in FIG. 2 and transmits information A about it to the vehicle control unit 140. In this case, the object "RnV_object" means an object sensed by both the first sensor unit 110 and the second sensor unit 120.

또한, 감지 정보 융합부(130)는 레이더 감지 정보와 비전 감지 정보에 포함된 물체의 위치정보를 이용하여, 어느 하나의 센서부의 감지 정보(예: 비전 감지 정보)에 포함되어 있지만 다른 센서부의 감지 정보(예: 레이더 감지 정보)에는 포함되지 않은 물체이되, 상기 다른 센서부의 감지 기준 영역 내에 존재하는 물체에 대한 정보 B를 설정하여 상기 다른 센서부로 전송한다. 즉, 감지 정보 융합부(130)는 제 2 센서부(120)를 통해서 감지되었으나 제 1 센서부(110)에서는 감지되지 않은 물체 중 제 1 센서부(110)의 기준 영역 내 존재하는 물체에 대한 정보를 제 1 센서부(110)로 전송한다. 구체적으로, 감지 정보 융합부(130)는, 도 2에 도시된 물체 "!RnV_object"를 감지하여 그에 대한 정보 B를 해당 물체를 감지하지 못한 센서부로 전송한다. 이때, 물체 "!RnV"는 제 1 센서부(110)에서는 감지되지 않았으나, 제 2 센서부(120)에서는 감지된 물체를 의미한다.In addition, the sensing information convergence unit 130 uses the positional information of an object included in the radar sensing information and the vision sensing information to sense the sensing information (eg, vision sensing information) of one sensor unit but detect another sensor unit. Information (eg, radar detection information) is an object that is not included, but information B for an object existing within a detection reference area of the other sensor unit is set and transmitted to the other sensor unit. That is, the sensing information convergence unit 130 detects objects detected through the second sensor unit 120 but not detected by the first sensor unit 110, which exist in the reference area of the first sensor unit 110. Information is transmitted to the first sensor unit 110 . Specifically, the sensing information fusion unit 130 detects the object “!RnV_object” shown in FIG. 2 and transmits information B about it to the sensor unit that has not detected the object. At this time, the object “!RnV” means an object not detected by the first sensor unit 110 but detected by the second sensor unit 120.

이에 따라, 제 1 센서부(110)는 정보 B에 포함된 위치 정보를 이용하여 해당 위치에 물체가 있는지를 재검사하고 판단한다. 이러한 재검사는 기존의 레이더의 로데이터(Raw data)를 이용할 수 있으며, 또는 새로운 레이더 전체 스캔을 수행하여 획득된 로데이터를 이용할 수도 있다. 또한, 별도로 해당 위치에 대응하는 레이더 빔포밍 스캔을 수행하여 획득한 로데이터를 이용하는 것도 가능하다. 이처럼, 제 1 센서부(110)는 정보 B를 이용한 재검사 후, 그 결과로서 물체가 감지되면 추가 물체 감지 정보를 생성하여 감지 정보 융합부(130)로 전송한다.Accordingly, the first sensor unit 110 reexamines and determines whether an object is present at the corresponding location using the location information included in the information B. This re-inspection may use raw data of an existing radar, or may use raw data acquired by performing a new radar full scan. In addition, it is also possible to use raw data obtained by separately performing a radar beamforming scan corresponding to a corresponding location. As such, the first sensor unit 110 generates additional object detection information and transmits it to the detection information convergence unit 130 when an object is detected as a result of the re-examination using the information B.

한편, 이와 반대의 경우도 처리될 수 있다. 즉, 감지 정보 융합부(130)는 레이더 감지 정보와 비전 감지 정보에 포함된 물체의 위치 정보를 이용하여, 제 1 센서부(110)의 감지 정보(즉, 레이더 감지 정보)에는 포함되어 있지만 제 2 센서부(120)의 감지 정보(즉, 비전 감지 정보)에는 포함되지 않은 물체이되, 제 2 센서부(120)의 감지 기준 영역 내에 존재하는 물체에 대한 정보 C를 설정하여 제 2 센서부(120)로 제공한다. 구체적으로, 감지 정보 융합부(130)는, 도 2에 도시된 물체 "Rn!V_object"를 감지하여 그에 대한 정보 C를 해당 물체를 감지하지 못한 센서부로 전송한다. 이때, 물체 "Rn!V_object"는 제 1 센서부(110)에서는 감지되었으나, 제 2 센서부(120)에서는 감지되지 않은 물체를 의미한다.On the other hand, the opposite case can also be processed. That is, the sensing information convergence unit 130 uses the position information of the object included in the radar sensing information and the vision sensing information, so that the sensing information included in the sensing information (ie, radar sensing information) of the first sensor unit 110 does not 2 By setting information C on an object that is not included in the detection information (ie, vision detection information) of the sensor unit 120 but existing within the detection reference area of the second sensor unit 120, the second sensor unit ( 120) is provided. Specifically, the sensing information fusion unit 130 detects the object “Rn!V_object” shown in FIG. 2 and transmits information C about the object to the sensor unit that does not detect the object. At this time, the object "Rn!V_object" means an object detected by the first sensor unit 110 but not detected by the second sensor unit 120.

이에 따라, 제 2 센서부(120)는 정보 C에 포함된 위치 정보를 이용하여 해당 위치에 물체가 있는지를 재검사하고 판단한다. 이러한 재검사는 기존의 카메라가 촬영한 이미지(예를 들어, 캡쳐 이미지)의 로데이터를 이용할 수 있으며, 또는 카메라를 통해 새로운 촬영한 이미지의 로데이터를 이용할 수도 있다. 또한 기존의 로데이터를 이용하거나 또는 카메라로 새로 촬영함에 있어서, 다양한 촬영 기술(노출 변경 등) 및 이미지 처리 기술을 변경하여 획득된 로데이터를 이용할 수도 있다. 이처럼, 제 1 센서부(120)는 정보 C를 이용한 재검사 후, 그 결과로서 물체가 감지되면 추가 물체 감지 정보를 생성하여 감지 정보 융합부(130)로 전송한다.Accordingly, the second sensor unit 120 reexamines and determines whether an object is present at the corresponding location using the location information included in the information C. This re-examination may use raw data of an image (eg, a captured image) captured by an existing camera, or may use raw data of an image newly captured through a camera. In addition, when using existing raw data or newly photographing with a camera, raw data obtained by changing various photographing techniques (exposure change, etc.) and image processing technique may be used. As such, the first sensor unit 120 generates additional object detection information and transmits it to the detection information convergence unit 130 when an object is detected as a result of the re-examination using the information C.

따라서, 감지 정보 융합부(130)는 제 1 및 제 2 센서부(110, 120)로부터 새롭게 추가된 감지 정보가 있는 경우, 정보 D를 설정하여 차량 제어부(140)로 전송한다.Accordingly, when there is newly added sensing information from the first and second sensor units 110 and 120, the sensing information convergence unit 130 sets information D and transmits it to the vehicle control unit 140.

이러한 과정을 통해 센서부 간에 상호 보완적인 물체 감지가 가능하고, 감지 정보의 신뢰성을 높일 수 있으며, 어느 하나의 센서부에 의한 물체 감지 처리시보다 신속한 물체 감지가 가능하다.Through this process, mutually complementary object detection is possible between sensor units, reliability of detection information can be increased, and object detection can be performed more quickly than when object detection is performed by any one sensor unit.

차량 제어부(140)는 감지 정보 융합부(130)로부터 수신된 융합형 물체 감지 정보를 분석하여 위험도를 판단하는 상황 인지 처리를 수행한다. 그리고, 차량 제어부(140)는 상기 판단의 결과로서 위험도가 일정 수준 이상인 경우, 위험 정도에 따른 경고가 제공되도록 경고 제공부(150)를 제어한다.The vehicle control unit 140 analyzes the convergence type object detection information received from the sensing information convergence unit 130 and performs context awareness processing to determine the degree of risk. Further, the vehicle control unit 140 controls the warning providing unit 150 to provide a warning according to the level of danger when the level of danger is higher than a predetermined level as a result of the determination.

이때, 차량 제어부(140)는 수신된 물체 감지 정보에 포함된 각 파라메터들(예를 들어, 물체의 위치, 차량(또는 센서)와의 거리, 크기, 각도, 이동성, 수신 신호 감도 등)게 기초하여 위험 발생 정도를 판별할 수 있다.At this time, the vehicle control unit 140 based on each parameter (eg, the position of the object, the distance to the vehicle (or sensor), size, angle, mobility, received signal sensitivity, etc.) included in the received object detection information The degree of risk can be determined.

또한, 차량 제어부(140)는 자차의 속도, 조향각 등의 정보를 추가로 이용하여 위험 발생 정도를 판별할 수 있다.In addition, the vehicle control unit 140 may determine the degree of danger by additionally using information such as the speed and steering angle of the host vehicle.

경고 제공부(150)는 차량 제어부(140)의 제어에 따라 운전자가 경고 상황 및 그 정보를 인지할 수 있도록 경고 정보를 출력한다. 이때, 경고 제공부(150)는 차량 내 사용자 인터페이스인 HMI(Human Machine Interface)를 통해 경고 정보를 출력할 수 있다.The warning providing unit 150 outputs warning information so that the driver can recognize the warning situation and the information according to the control of the vehicle control unit 140 . At this time, the warning providing unit 150 may output warning information through an in-vehicle user interface, HMI (Human Machine Interface).

경고 제공부(150)는 차량 제어부(140)의 제어에 따라 브레이크 또는 조향장치를 통하여 운전자 개입 없이 차량을 제어하는 기능을 포함 할 수 있다The warning providing unit 150 may include a function of controlling the vehicle without driver intervention through a brake or a steering device under the control of the vehicle control unit 140.

한편, 이상에서 설명한 본 발명의 일 실시예에 따른 운전자 보조 시스템(100)은 각종 센서 장치, 메모리(미도시) 및 프로세서(미도시)를 포함하는 형태로 구현되는 것도 가능하다.Meanwhile, the driver assistance system 100 according to an embodiment of the present invention described above may be implemented in a form including various sensor devices, a memory (not shown), and a processor (not shown).

즉, 메모리(미도시)에는 앞서 설명한 융합형 물체 감지 정보를 이용하여 차량 주변 상황 인식 및 위험 상황 경고를 처리하는 일련의 동작 및 알고리즘을 포함하는 프로그램이 저장된다. 이때, 메모리(미도시)에 저장된 프로그램은, 앞서 도 1에서 설명한 운전자 보조 시스템(100)의 각 구성이 처리하는 모든 동작이 하나로 구현된 프로그램이거나 또는, 각 구성 별 동작을 별도로 처리하는 복수의 프로그램들이 서로 연동되는 것일 수 있다. 프로세서(미도시)는 메모리(미도시)에 저장된 프로그램을 실행시킨다. 프로세서(미도시)가 프로그램을 실행시킴에 따라, 앞서 설명한 운전자 보조 시스템(100)의 각 구성이 처리하는 동작들 및 알고리즘들이 수행될 수 있다. 참고로, 운전자 보조 시스템(100)의 구성 요소들은 소프트웨어 또는 FPGA(Field Programmable Gate Array) 또는 ASIC(Application Specific Integrated Circuit)와 같은 하드웨어 형태로 구현될 수 있으며, 소정의 역할들을 수행할 수 있다. 그렇지만 '구성 요소들'은 소프트웨어 또는 하드웨어에 한정되는 의미는 아니며, 각 구성 요소는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 구성 요소는 소프트웨어 구성 요소들, 객체지향 소프트웨어 구성 요소들, 클래스 구성 요소들 및 태스크 구성 요소들과 같은 구성 요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로 코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들 및 변수들을 포함한다. 구성 요소들과 해당 구성 요소들 안에서 제공되는 기능은 더 작은 수의 구성 요소들로 결합되거나 추가적인 구성 요소들로 더 분리될 수 있다.That is, a memory (not shown) stores a program including a series of operations and algorithms for processing vehicle surrounding situation recognition and dangerous situation warning using the convergence type object detection information described above. At this time, the program stored in the memory (not shown) is a program in which all operations processed by each component of the driver assistance system 100 described above with reference to FIG. 1 are implemented as one program, or a plurality of programs that separately process operations for each component. may be interlocking with each other. A processor (not shown) executes a program stored in a memory (not shown). As the processor (not shown) executes the program, operations and algorithms processed by each component of the driver assistance system 100 described above may be performed. For reference, components of the driver assistance system 100 may be implemented in the form of software or hardware such as a Field Programmable Gate Array (FPGA) or Application Specific Integrated Circuit (ASIC), and may perform predetermined roles. However, 'components' are not meant to be limited to software or hardware, and each component may be configured to be in an addressable storage medium or configured to reproduce one or more processors. Thus, as an example, a component includes components such as software components, object-oriented software components, class components, and task components, processes, functions, properties, procedures, sub routines, segments of program code, drivers, firmware, microcode, circuits, data, databases, data structures, tables, arrays and variables. Components and the functionality provided within them may be combined into fewer components or further separated into additional components.

이하에서는, 도 3을 참조하여 본 발명의 일 실시예에 따른 운전자 보조 시스템(100)을 통한 융합형 물체 감지 및 이를 이용한 차량 주변 상황 인식 방법을 설명하도록 한다.Hereinafter, with reference to FIG. 3 , a converged object detection through the driver assistance system 100 according to an embodiment of the present invention and a method for recognizing a situation around a vehicle using the same will be described.

도 3은 본 발명의 일 실시예에 따른 융합형 물체 감지 정보를 이용한 차량 주변 상황 인지 처리 방법을 설명하기 위한 데이터 흐름도이다. FIG. 3 is a data flow diagram illustrating a method for recognizing a situation around a vehicle using converged object detection information according to an embodiment of the present invention.

먼저, 감지 정보 융합부(130)는 둘 이상의 센서부(110, 120)로부터 각각 물체 감지 정보를 수신한다(S301, S302).First, the sensing information fusion unit 130 receives object sensing information from two or more sensor units 110 and 120 (S301 and S302).

예를 들어, 물체 감지 정보는 레이더 센서부 및 비전 센서부를 통해 감지된 물체 감지 정보일 수 있으며, 각 센서부에 설정된 주기마다 또는 실시간으로 발생될 수 있다. 또한, 각 센서부로부터 감지 정부 융합부(130)에 물체 감지 정보가 수신되는 시간은 동기적이거나 비동기적일 수 있다.For example, the object detection information may be object detection information detected through a radar sensor unit and a vision sensor unit, and may be generated at intervals set for each sensor unit or in real time. Also, the time at which object detection information is received from each sensor unit to the sensing government fusion unit 130 may be synchronous or asynchronous.

그런 다음, 감지 정보 융합부(130)는 수신된 물체 감지 정보에 포함된 기준 영역 정보를 이용하여 각 물체 감지 정보를 공통된 기준 영역에 대응하도록 좌표 변환한다(S303).Then, the sensing information fusion unit 130 coordinates transforms each object sensing information to correspond to a common reference area by using the reference area information included in the received object sensing information (S303).

그런 다음, 감지 정보 융합부(130)는 공통된 기준 영역 내에서 각 물체 감지 정보에서 동일하게 감지된 물체에 대한 정보(즉, 정보 A)와, 어느 하나의 물체 감지 정보에서만 감지된 물체에 대한 정보(즉, 정보 B 및 C)를 설정한다(S304).Then, the detection information convergence unit 130 includes information about the same object detected in each object detection information within a common reference area (ie, information A) and information about an object detected only in one object detection information. (ie, information B and C) is set (S304).

그런 후, 감지 정보 융합부(130)는 동일하게 감지된 물체에 대한 정보를 차량 제어부(140)로 전송하고(S305), 어느 하나의 센서부에서만 감지된 물체에 대한 정보를 해당 물체를 감지하지 못한 센서부로 전송한다(S306, S307).Then, the detection information fusion unit 130 transmits information on the same detected object to the vehicle control unit 140 (S305), and information on the object detected by only one sensor unit does not detect the corresponding object. It is transmitted to the unrecognized sensor unit (S306, S307).

이때, 상기 동일하게 감지된 물체에 대한 정보를 제어부(140)로 전송하는 단계(S305)는, 해당 정보가 설정된 직후 곧바로 처리될 수 있으며, 또는 S312과정이 종료된 후 정보 D를 전송하는 과정에서 같이 전송 할 수 있다. 또한, 어느 하나의 센서부로 감지되지 않은 물체에 대한 정보를 전송하는 단계들(S306, S307)은, 해당 물체를 감지하지 못한 센서부가 존재할 경우에만 발생될 수 있으며, 이에 따라 단계들(S306, S307) 중 적어도 하나의 단계는 생략될 수 있다.At this time, the step of transmitting the information on the same detected object to the control unit 140 (S305) can be processed immediately after the corresponding information is set, or in the process of transmitting the information D after step S312 is finished can be sent together. In addition, the steps (S306 and S307) of transmitting information on an undetected object to any one sensor unit may occur only when there is a sensor unit that does not detect the corresponding object, and accordingly, the steps (S306 and S307) ) At least one step of may be omitted.

도 3에서는, 상기 단계들(S306, S307)이 둘 다 발생되었다고 가정한다.In Fig. 3, it is assumed that both of the steps S306 and S307 have occurred.

이에 따라, 제 1 센서부(110) 및 제 2 센서부(120)는 각각 수신된 "감지되지 않은 물체"에 대한 정보(즉, 정보 B 및 C)에 기초하여, 각각 물체 재감지 처리를 수행한다(S308, S309).Accordingly, the first sensor unit 110 and the second sensor unit 120 respectively perform object re-detection processing based on the received information on the "undetected object" (ie, information B and C). Do (S308, S309).

참고로, 상기 단계들(S306, S307) 및 상기 단계들(S308, S309)은, 각각 병렬적으로 처리될 수 있으며, 그 처리 순서는 고정되지 않는다.For reference, the steps S306 and S307 and the steps S308 and S309 may be processed in parallel, respectively, and the processing order is not fixed.

다음으로, 제 1 센서부(110) 및 제 2 센서부(120)는 각각 재감지된 물체 감지 정보를 감지 정보 융합부(130)로 전송한다(S310, S311).Next, the first sensor unit 110 and the second sensor unit 120 respectively transmit the resensed object detection information to the detection information convergence unit 130 (S310 and S311).

그런 후, 감지 정보 융합부(130)는 두 센서부 중 적어도 하나로부터 수신된 재감지된 물체 감지 정보에 따른 융합형 감지 정보(즉, 정보 D)를 설정하고(S312), 재감지된 물체 감지 정보를 차량 제어부(140)로 전송한다(S313).Then, the sensing information convergence unit 130 sets fusion-type sensing information (ie, information D) according to the rediscovered object sensing information received from at least one of the two sensor units (S312), and detects the rediscovered object. Information is transmitted to the vehicle control unit 140 (S313).

이상의 단계들을 통해, 각 센서부가 감지한 물체 감지 정보를 융합한 융합 감지 정보가 차량 제어부(140)로 전송된다. 이에 따라, 차량 제어부(140)는 기설정된 판별 처리를 통해 물체 감지 정보에 기초하여 운행 차량의 위험도를 판단한다. 그리고, 차량 제어부(140)는 판단의 결과에 따른 정보를 경고 제공부(150)로 전송하여, 운전자에게 차량 주변의 상황 인지에 따른 위험 발생 및 그 정보를 경고하거나 차량을 제어하도록 한다.Through the above steps, fusion detection information obtained by converging object detection information sensed by each sensor unit is transmitted to the vehicle control unit 140 . Accordingly, the vehicle control unit 140 determines the degree of risk of the moving vehicle based on the object detection information through a predetermined determination process. In addition, the vehicle control unit 140 transmits information according to the result of the determination to the warning providing unit 150 so as to warn the driver of the occurrence of danger and the information according to the situation around the vehicle or to control the vehicle.

이상에서 설명한 본 발명의 일 실시예에 따른 운전자 보조 시스템(100)을 통한 융합형 물체 감지 정보를 이용한 차량 주변 상황 인식 방법은, 컴퓨터에 의해 실행되는 매체에 저장된 컴퓨터 프로그램 또는 컴퓨터에 의해 실행가능한 명령어를 포함하는 기록 매체의 형태로도 구현될 수 있다. 컴퓨터 판독 가능 매체는 컴퓨터에 의해 액세스될 수 있는 임의의 가용 매체일 수 있고, 휘발성 및 비휘발성 매체, 분리형 및 비분리형 매체를 모두 포함한다. 또한, 컴퓨터 판독가능 매체는 컴퓨터 저장 매체 및 통신 매체를 모두 포함할 수 있다. 컴퓨터 저장 매체는 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현된 휘발성 및 비휘발성, 분리형 및 비분리형 매체를 모두 포함한다. 통신 매체는 전형적으로 컴퓨터 판독가능 명령어, 데이터 구조, 프로그램 모듈, 또는 반송파와 같은 변조된 데이터 신호의 기타 데이터, 또는 기타 전송 메커니즘을 포함하며, 임의의 정보 전달 매체를 포함한다. The method for recognizing situations around the vehicle using convergence object detection information through the driver assistance system 100 according to an embodiment of the present invention described above is a computer program stored in a medium executed by a computer or instructions executable by the computer. It may also be implemented in the form of a recording medium including. Computer readable media can be any available media that can be accessed by a computer and includes both volatile and nonvolatile media, removable and non-removable media. Also, computer readable media may include both computer storage media and communication media. Computer storage media includes both volatile and nonvolatile, removable and non-removable media implemented in any method or technology for storage of information such as computer readable instructions, data structures, program modules or other data. Communication media typically includes computer readable instructions, data structures, program modules, or other data in a modulated data signal such as a carrier wave, or other transport mechanism, and includes any information delivery media.

본 발명의 방법 및 시스템은 특정 실시예와 관련하여 설명되었지만, 그것들의 구성 요소 또는 동작의 일부 또는 전부는 범용 하드웨어 아키텍쳐를 갖는 컴퓨터 시스템을 사용하여 구현될 수 있다.Although the methods and systems of the present invention have been described with reference to specific embodiments, some or all of their components or operations may be implemented using a computer system having a general-purpose hardware architecture.

전술한 본 발명의 설명은 예시를 위한 것이며, 본 발명이 속하는 기술분야의 통상의 지식을 가진 자는 본 발명의 기술적 사상이나 필수적인 특징을 변경하지 않고서 다른 구체적인 형태로 쉽게 변형이 가능하다는 것을 이해할 수 있을 것이다. 그러므로 이상에서 기술한 실시예들은 모든 면에서 예시적인 것이며 한정적이 아닌 것으로 이해해야만 한다. 예를 들어, 단일형으로 설명되어 있는 각 구성 요소는 분산되어 실시될 수도 있으며, 마찬가지로 분산된 것으로 설명되어 있는 구성 요소들도 결합된 형태로 실시될 수 있다.The above description of the present invention is for illustrative purposes, and those skilled in the art can understand that it can be easily modified into other specific forms without changing the technical spirit or essential features of the present invention. will be. Therefore, the embodiments described above should be understood as illustrative in all respects and not limiting. For example, each component described as a single type may be implemented in a distributed manner, and similarly, components described as distributed may be implemented in a combined form.

본 발명의 범위는 상기 상세한 설명보다는 후술하는 특허청구범위에 의하여 나타내어지며, 특허청구범위의 의미 및 범위 그리고 그 균등 개념으로부터 도출되는 모든 변경 또는 변형된 형태가 본 발명의 범위에 포함되는 것으로 해석되어야 한다.The scope of the present invention is indicated by the following claims rather than the detailed description above, and all changes or modifications derived from the meaning and scope of the claims and equivalent concepts should be construed as being included in the scope of the present invention. do.

100: 운전자 보조 시스템
110: 제 1 센서부
120: 제 2 센서부
130: 감지 정보 융합부
140: 차량 제어부
150: 경고 제공부
100: driver assistance system
110: first sensor unit
120: second sensor unit
130: sensing information fusion unit
140: vehicle control unit
150: warning providing unit

Claims (10)

제1 센싱을 통해 차량 주변의 물체를 감지하여 제 1 물체 감지 정보를 생성하는 제 1 센서부;
제 2 센싱을 통해 차량 주변의 물체를 감지하여 제 2 물체 감지 정보를 생성하는 제 2 센서부;
상기 제 1 및 제 2 물체 감지 정보에 포함된 위치 정보에 기초하여 상기 제 1 및 제 2 센서부에서 동일하게 감지된 물체에 대한 정보와 어느 하나의 센서부에서만 감지된 물체에 대한 정보를 융합하여 융합 감지 정보를 생성하는 감지 정보 융합부; 및
상기 융합 감지 정보에 기초하여 감지된 물체에 대한 위험도를 판단하는 상황 인지 처리를 수행하고, 위험 발생 여부 및 위험 정도에 따라 경고를 출력하도록 제어하는 차량 제어부를 포함하되,
상기 감지 정보 융합부는 상기 제 1 및 제 2 센서부에서 동일하게 감지된 물체에 대한 정보를 차량 제어부로 전송하고, 제 1 및 제 2 센서부 중 어느 하나의 센서부에서만 감지된 물체에 대한 정보를 해당 물체를 감지하지 못한 센서부로 전송하도록 구성되고,
상기 제 1 센서부 및 제 2 센서부는 상기 감지 정보 융합부로부터 제 1 및 제 2 센서부 중 어느 하나의 센서부에서만 감지된 물체에 대한 정보를 수신한 경우에 해당 센서부가 감지하지 못한 물체 정보를 재감지하고 추가 감지 정보를 생성하여 상기 감지 정보 융합부로 전송하도록 구성되고,
상기 감지 정보 융합부는 상기 제 1 및 제 2 센서부로부터 추가 감지 정보를 수신하여 이를 상기 차량 제어부로 전송하도록 추가로 구성되는 것을 특징으로 하는, 융합형 물체 감지 정보를 이용한 운전자 보조 시스템.
a first sensor unit generating first object detection information by sensing an object around the vehicle through first sensing;
a second sensor unit generating second object detection information by sensing an object around the vehicle through the second sensing;
Based on the location information included in the first and second object detection information, the information on the object sensed identically by the first and second sensor units is fused with the information on the object sensed by only one sensor unit. a sensing information fusion unit generating fusion sensing information; and
Including a vehicle control unit that performs situational awareness processing for determining the degree of danger of the sensed object based on the fusion detection information, and controls to output a warning according to whether or not danger occurs and the degree of danger,
The detection information convergence unit transmits information on an object detected identically by the first and second sensor units to the vehicle control unit, and transmits information on an object detected by only one sensor unit among the first and second sensor units. It is configured to transmit the object to a sensor unit that does not detect the object,
When the first sensor unit and the second sensor unit receive information on an object detected by only one of the first and second sensor units from the sensing information fusion unit, object information that the corresponding sensor unit does not detect is obtained. configured to re-detect and generate additional sensing information and transmit it to the sensing information fusion unit;
The driver assistance system using fusion-type object detection information, characterized in that the detection information fusion unit is further configured to receive additional detection information from the first and second sensor units and transmit it to the vehicle control unit.
제1항에 있어서, 상기 감지 정보 융합부는
상기 제 1 및 제 2 센서부로부터 각각 감지된 물체들을 융합하기 위하여, 물체 감지 정보 별로 포함된 기준 영역 정보에 기초하여 융합 처리를 수행하도록 구성되는, 융합형 물체 감지 정보를 이용한 운전자 보조 시스템.
The method of claim 1, wherein the sensing information fusion unit
A driver assistance system using fusion-type object detection information configured to perform fusion processing based on reference region information included for each object detection information in order to fuse the objects sensed by the first and second sensor units, respectively.
삭제delete 삭제delete 제1항에 있어서, 상기 차량 제어부는
상기 감지 정보 융합부로부터 수신된 물체 감지 정보에 포함된 물체의 위치, 거리, 크기, 각도, 이동성, 수신 신호 감도, 차량 속도, 및 조향각 중 적어도 하나의 파라메터에 기초하여 상기 위험도를 판단하도록 구성되는, 융합형 물체 감지 정보를 이용한 운전자 보조 시스템.
The method of claim 1, wherein the vehicle control unit
Based on at least one parameter of the position, distance, size, angle, mobility, received signal sensitivity, vehicle speed, and steering angle of an object included in the object detection information received from the detection information fusion unit, configured to determine the degree of risk , Driver assistance system using converged object detection information.
차량 주변의 물체를 감지하는 제 1 센서부가 제 1 물체 감지 정보를 생성하는 제 1 센싱 단계;
차량 주변의 물체를 감지하는 제 2 센서부가 제 2 물체 감지 정보를 생성하는 제 2 센싱 단계;
감지 정보 융합부가, 상기 제 1 및 제 2 물체 감지 정보에 포함된 위치 정보에 기초하여 상기 제 1 및 제 2 센싱 단계에서 동일하게 감지된 물체에 대한 정보와 어느 하나의 센싱 단계에서만 감지된 물체에 대한 정보를 융합하여 융합 감지 정보를 생성하는 감지 정보 융합 단계; 및
차량 제어부가, 상기 융합 감지 정보에 기초하여 감지된 물체에 대한 위험도를 판단하는 상황 인지 처리를 수행하고, 위험 발생 여부 및 위험 정도에 따라 경고를 출력하는 차량 제어 단계를 포함하되,
상기 감지 정보 융합 단계는 상기 감지 정보 융합부가 상기 제 1 및 제 2 센싱 단계에서 동일하게 감지된 물체에 대한 정보를 상기 차량 제어부로 전송하고, 제 1 및 제 2 센서부 중 어느 하나의 센서부에서만 센싱된 물체에 대한 정보를 해당 물체를 감지하지 못한 센서부로 전송하는 것을 추가로 포함하고,
상기 제 1 센싱 단계 및 제 2 센싱 단계는 상기 감지 정보 융합부로부터 제 1 및 제 2 센서부 중 어느 하나의 센서부에서만 감지된 물체에 대한 정보를 수신한 경우에 해당 센서부가 감지하지 못한 물체 정보를 재감지하고 추가 감지 정보를 생성하여 상기 감지 정보 융합부로 전송하는 것을 추가로 포함하고,
상기 감지 정보 융합 단계는 상기 감지 정보 융합부가 상기 제 1 및 제 2 센서부로부터 추가 감지 정보를 수신하여 이를 상기 차량 제어부로 전송하는 것을 추가로 포함하는 것을 특징으로 하는, 융합형 물체 감지 정보를 이용한 운전자 보조 방법.
A first sensing step of generating first object detection information by a first sensor unit that detects an object around the vehicle;
a second sensing step of generating second object detection information by a second sensor unit that detects an object around the vehicle;
The sensing information convergence unit provides information on the object sensed identically in the first and second sensing steps based on the location information included in the first and second object sensing information and the object sensed in only one sensing step. a sensing information fusion step of generating fusion sensing information by fusing information about the information; and
A vehicle control step in which the vehicle control unit performs situational awareness processing to determine the degree of danger of the sensed object based on the fusion detection information, and outputs a warning according to whether or not danger occurs and the degree of danger,
In the detection information fusion step, the detection information fusion unit transmits information on the same object detected in the first and second sensing steps to the vehicle control unit, and only one sensor unit among the first and second sensor units Further comprising transmitting information about the sensed object to a sensor unit that does not detect the object,
In the first sensing step and the second sensing step, when information on an object detected by only one of the first and second sensor units is received from the sensing information convergence unit, object information not detected by the corresponding sensor unit is obtained. Further comprising re-detecting and generating additional sensing information and transmitting it to the sensing information fusion unit,
The sensing information fusion step further comprises the sensing information fusion unit receiving additional sensing information from the first and second sensor units and transmitting it to the vehicle control unit. Driver assistance method.
제6항에 있어서, 상기 감지 정보 융합 단계는
상기 제 1 및 제 2 센싱 단계로부터 각각 감지된 물체들을 융합하기 위하여, 물체 감지 정보 별로 포함된 기준 영역 정보에 기초하여 융합 처리를 수행하는 것을 포함하는, 융합형 물체 감지 정보를 이용한 운전자 보조 방법.
The method of claim 6, wherein the sensing information fusion step
A driver assistance method using fusion-type object detection information comprising performing a fusion process based on reference region information included for each object detection information in order to fuse the objects sensed from the first and second sensing steps, respectively.
삭제delete 삭제delete 제6항에 있어서, 상기 차량 제어 단계는
상기 감지 정보 융합 단계로부터 수신된 물체 감지 정보에 포함된 물체의 위치, 거리, 크기, 각도, 이동성, 수신 신호 감도, 차량 속도, 및 조향각 중 적어도 하나의 파라메터에 기초하여 상기 위험도를 판단하는 것을 포함하는, 융합형 물체 감지 정보를 이용한 운전자 보조 방법.
The method of claim 6, wherein the vehicle control step
Determining the risk based on at least one parameter of the position, distance, size, angle, mobility, received signal sensitivity, vehicle speed, and steering angle of the object included in the object detection information received from the detection information fusion step A driver assistance method using fusion type object detection information.
KR1020160053985A 2016-05-02 2016-05-02 Driver assistance system for detecting obstacle using fusion object sensing information and method thereof KR102535618B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160053985A KR102535618B1 (en) 2016-05-02 2016-05-02 Driver assistance system for detecting obstacle using fusion object sensing information and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160053985A KR102535618B1 (en) 2016-05-02 2016-05-02 Driver assistance system for detecting obstacle using fusion object sensing information and method thereof

Publications (2)

Publication Number Publication Date
KR20170124287A KR20170124287A (en) 2017-11-10
KR102535618B1 true KR102535618B1 (en) 2023-05-23

Family

ID=60386662

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160053985A KR102535618B1 (en) 2016-05-02 2016-05-02 Driver assistance system for detecting obstacle using fusion object sensing information and method thereof

Country Status (1)

Country Link
KR (1) KR102535618B1 (en)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102323394B1 (en) 2018-01-22 2021-11-08 삼성전자주식회사 Apparatus and method for assisting driving of a vehicle
KR102090487B1 (en) * 2018-03-13 2020-03-18 재단법인대구경북과학기술원 An object detecting apparatus and method using fusion sensor
KR102646251B1 (en) * 2019-08-06 2024-03-11 현대모비스 주식회사 Autonomous emergency braking apparatus and control method thereof
US11287530B2 (en) * 2019-09-05 2022-03-29 ThorDrive Co., Ltd Data processing system and method for fusion of multiple heterogeneous sensors
CN113947937B (en) * 2021-10-29 2022-08-05 沈阳世纪高通科技有限公司 Road danger prompting method based on vehicle sensor and dynamic traffic fusion

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096510A (en) * 2005-09-27 2007-04-12 Omron Corp Front photographing apparatus
JP2011164989A (en) 2010-02-10 2011-08-25 Toyota Motor Corp Apparatus for determining unstable state
JP2015078926A (en) 2013-10-17 2015-04-23 株式会社デンソー Target detection device
JP2015148899A (en) * 2014-02-05 2015-08-20 トヨタ自動車株式会社 collision avoidance control device

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007096510A (en) * 2005-09-27 2007-04-12 Omron Corp Front photographing apparatus
JP2011164989A (en) 2010-02-10 2011-08-25 Toyota Motor Corp Apparatus for determining unstable state
JP2015078926A (en) 2013-10-17 2015-04-23 株式会社デンソー Target detection device
JP2015148899A (en) * 2014-02-05 2015-08-20 トヨタ自動車株式会社 collision avoidance control device

Also Published As

Publication number Publication date
KR20170124287A (en) 2017-11-10

Similar Documents

Publication Publication Date Title
KR102535618B1 (en) Driver assistance system for detecting obstacle using fusion object sensing information and method thereof
KR102178433B1 (en) Auto emergency braking system and method for recognizing pedestrian of the same
JP6611353B2 (en) Image processing device, external recognition device
US9352690B2 (en) Apparatus and method for detecting obstacle adaptively to vehicle speed
US10366295B2 (en) Object recognition apparatus
US10688997B2 (en) Lane merging determination apparatus
US11467277B2 (en) Object recognition apparatus and object recognition method
US9274213B2 (en) Method for calibrating a plurality of environment sensors in a vehicle
US10422871B2 (en) Object recognition apparatus using a plurality of object detecting means
US10836388B2 (en) Vehicle control method and apparatus
WO2018207303A1 (en) On-board monitoring camera device
EP2637149B1 (en) Onboard device and control method
JP2014137288A (en) Device and method for monitoring surroundings of vehicle
KR20170096723A (en) Lidar system and multiple detection signal processing method thereof
KR20180007412A (en) Multi sensor based obstacle detection apparatus and method
JP6490747B2 (en) Object recognition device, object recognition method, and vehicle control system
JP2010162975A (en) Vehicle control system
KR102390868B1 (en) Blind spot detection method and blind spot detection device
KR102569543B1 (en) Obstacle sensing system and obstacle sensing method
JP4261321B2 (en) Pedestrian detection device
KR101704635B1 (en) Method and apparatus for detecting target using radar and image raster data
JP2021174135A (en) Image recognition device and image recognition method
KR20150142542A (en) Intergrated sensor system of the vehicles
JP2008052399A (en) Surround monitor system
KR102535598B1 (en) Vision based obstacle detection apparatus and method using radar and camera

Legal Events

Date Code Title Description
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant