KR101848312B1 - Sensor fusion system for autonomous emergency braking system in car - Google Patents

Sensor fusion system for autonomous emergency braking system in car Download PDF

Info

Publication number
KR101848312B1
KR101848312B1 KR1020170039116A KR20170039116A KR101848312B1 KR 101848312 B1 KR101848312 B1 KR 101848312B1 KR 1020170039116 A KR1020170039116 A KR 1020170039116A KR 20170039116 A KR20170039116 A KR 20170039116A KR 101848312 B1 KR101848312 B1 KR 101848312B1
Authority
KR
South Korea
Prior art keywords
monitoring unit
fault
module
camera module
sensor fusion
Prior art date
Application number
KR1020170039116A
Other languages
Korean (ko)
Inventor
이기원
Original Assignee
(주) 모토텍
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 모토텍 filed Critical (주) 모토텍
Priority to KR1020170039116A priority Critical patent/KR101848312B1/en
Application granted granted Critical
Publication of KR101848312B1 publication Critical patent/KR101848312B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/04Monitoring the functioning of the control system
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S17/00Systems using the reflection or reradiation of electromagnetic waves other than radio waves, e.g. lidar systems
    • G01S17/88Lidar systems specially adapted for specific applications
    • G01S17/93Lidar systems specially adapted for specific applications for anti-collision purposes
    • G01S17/931Lidar systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G01S17/936
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/07Responding to the occurrence of a fault, e.g. fault tolerance
    • G06F11/0703Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
    • G06F11/0751Error or fault detection not based on redundancy
    • G06F11/0754Error or fault detection not based on redundancy by exceeding limits
    • G06F11/0757Error or fault detection not based on redundancy by exceeding limits by exceeding a time limit, i.e. time-out, e.g. watchdogs
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/57Mechanical or electrical details of cameras or camera modules specially adapted for being embedded in other devices
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143Alarm means
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403Image sensing, e.g. optical camera
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/408Radar; Laser, e.g. lidar
    • B60W2420/42
    • B60W2420/52
    • B60W2550/10
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00Special features of vehicle units
    • B60Y2400/81Braking systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Mathematical Physics (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Electromagnetism (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention provides a sensor fusion system for an autonomous emergency braking (AEB) system of a vehicle, comprising: a camera module to photograph surroundings of a vehicle; a light detection and ranging (LiDAR) module scanning the surroundings of the vehicle to recognize an object and detect a distance from the recognized object; a camera module fault monitoring unit to monitor whether or not the camera module is normally operated; a LiDAR module fault monitoring unit to monitor whether or not the LiDAR module is normally operated; and a fault monitoring unit receiving a signal from the camera module fault monitoring unit and the LiDAR module fault monitoring unit to monitor whether or not the overall operation of a sensor fusion system is failed, and outputting result data thereof to the outside including an AEB system. The present invention can enhance driving safety of an autonomous driving vehicle including the AEB system, and improve a recognition range and accuracy of a sensor.

Description

차량의 자동긴급제동시스템을 위한 센서융합시스템 {Sensor fusion system for autonomous emergency braking system in car}[0001] The present invention relates to a sensor fusion system for an automotive emergency braking system,

본 발명은 차량의 자동긴급제동시스템을 위한 센서융합시스템에 관한 것으로서, 더욱 상세하게는 차량에 장착된 카메라 센서 모듈 및 라이다(LiDAR) 센서 퓨전 기반 인지 시스템에 관한 것이다. The present invention relates to a sensor fusion system for an automotive emergency braking system, and more particularly to a camera sensor module and a LiDAR sensor fusion based recognition system mounted on a vehicle.

자율주행 차량이란 운전자가 핸들과 가속페달, 브레이크 등을 조작하지 않아도 스스로 목적지까지 찾아가는 차량으로, 항공기와 선박 등에 적용된 자율주행 기술이 접목된 스마트 차량을 일컫는다.A self-propelled vehicle refers to a smart car that incorporates self-propelled technology applied to aircraft and ships, such as a car that travels to its destination without requiring the driver to operate the steering wheel, accelerator pedal, or brake.

차량의 자율주행을 실현하기 위해서는 차간 거리를 자동으로 유지해 주는 HDA(Highway Driving Assist) 기술, 차선이탈 경보 시스템(LDWS; Lane Departure Warning System), 차선유지 지원 시스템(LKAS; Lane Keeping Assist System), 후측방 경보 시스템(BSD; Blind Spot Detection), 어드밴스트 스마트 크루즈 컨트롤(ASCC), 자동 긴급제동 시스템(AEB; Autonomous Emergency Braking) 등과 같은 차량 기술이 필요하며, 이외에 차량과 기지국사이의 통신기술, 차량과 위성사이의 통신기술 등 진보된 다양한 기술들이 필요하다.In order to realize the autonomous driving of the vehicle, it is necessary to use a highway driving assist (HDA) technology, a lane departure warning system (LDWS), a lane keeping assistance system (LKAS) Vehicle technologies such as Blind Spot Detection (BSD), Advanced Smart Cruise Control (ASCC), and Autonomous Emergency Braking (AEB) are required. In addition, Satellite communication technology, and so on.

한편, 자율주행 상황은 운전자가 차량의 페달(가속페달, 브레이크페달)을 조작하지 않는 상황으로, 만약에 자율 주행 중에 운전자가 페달을 조작하게 되면 차량 제어기는 운전자가 자율주행을 종료하고 운전자가 직접 운전을 원하는 상황으로 판단하여 자율주행을 위한 제어를 종료하게 된다. On the other hand, in the autonomous driving situation, the driver does not operate the pedal (accelerator pedal or brake pedal) of the vehicle. If the driver operates the pedal during autonomous driving, the vehicle controller ends the autonomous driving of the driver, It is determined that the operation is desired and the control for the autonomous running is terminated.

AEB(Advanced Emergency Braking) 시스템 기술은 차량의 자동긴급제동시스템으로서, 차량의 전방 또는 후방에 센서를 부착하여, 차량 주변의 타 차량 또는 장애물 등을 감지하고, 이를 이용하여 차량이 장애물과 충돌할 가능성이 있는 경우, 차량을 자동으로 제동시키는 기술을 말한다.The Advanced Emergency Braking (AEB) system technology is an automatic emergency braking system for vehicles. It attaches a sensor to the front or rear of the vehicle, detects other vehicles or obstacles around the vehicle, and uses this to detect the possibility Is a technique that automatically brakes the vehicle.

근래의 AEB 기술은 단순한 근접센서로 장애물을 인식하는 단계를 넘어서, 영상 카메라, GPS 등을 복합적으로 이용함으로써, 차량 주변의 타 차량 또는 장애물을 더욱 정밀하게 감지하고, 충돌가능성을 정확하게 판단하여, 차량을 효과적으로 제동시키는 단계에 이르고 있다.The recent AEB technology uses a combination of a video camera, a GPS, and the like beyond a step of recognizing an obstacle with a simple proximity sensor, thereby more accurately detecting other vehicles or obstacles around the vehicle, accurately determining the possibility of collision, To effectively braking the engine.

이처럼 AEB 기술은 센서를 통해 전방의 물체를 인식하여 운행 중인 차량을 자동으로 제동하는 기술로서, 선행 차량이 속도를 줄이거나 정지할 경우 또는 보행자 등의 장애물이 갑자기 나타날 경우 작동하는 적극적 안전 장비이다. 이러한 AEB는 추돌 사고를 약 27%까지 감소시킬 수 있는 것으로 보고되고 있으며, 차량 속도나 감지 거리에 따라 시가지용 AEB, 외곽용 AEB, 보행자용 AEB 등으로 구분되기도 한다.In this way, AEB technology is a technology to automatically braking a vehicle while recognizing an object ahead through a sensor. It is an active safety device that operates when the preceding vehicle is speeding down or stopping, or when obstacles such as pedestrians suddenly appear. These AEBs are reported to reduce collision accidents by about 27%, and they are classified into AEB for urban area, AEB for street, and AEB for pedestrian depending on the speed and detection distance.

이와 관련하여, 유로 NCAP(New Car Assessment Program)은 2014년부터 AEB 기능을 자동차 안전도 등급 판정 항목에 포함시키고, 이후 단계적으로 AEB의 의무 장착을 규제하기로 결정하였으며, 그에 따라 자동차 생산 업체들도 AEB 기능이 탑재된 차량의 생산을 시작하고 있다. 이처럼, 최근에는 자율주행차량에서 차량 운전시 안전도를 향상시키기 위한 필요성이 요구되고 있는 실정이다. In this regard, the Euro NCAP (New Car Assessment Program) has decided to include the AEB function in the category of automobile safety grade in 2014, and subsequently regulate the AEB's mandatory installation, We are starting production of vehicles equipped with AEB function. Thus, in recent years, there is a need for improving the safety of a self-driving vehicle when driving the vehicle.

대한민국 공개특허 10-2016-0134656Korean Patent Publication No. 10-2016-0134656

본 발명은 상기와 같은 문제점을 해결하기 위하여 안출된 것으로서, 자율 주행 차량의 자동긴급제동시스템을 위해, 카메라 센서 모듈과 라이다 센서 모듈의 장애를 감지하여 주행 안정성을 향상시키고, 센서의 인식 범위 및 정확도를 향상시킬 수 있는 센서융합시스템을 제공하는데 그 목적이 있다.SUMMARY OF THE INVENTION It is therefore an object of the present invention to provide an automatic emergency braking system for an autonomous vehicle that can improve the stability of a vehicle by detecting a failure of the camera sensor module and the Raider sensor module, And to provide a sensor fusion system capable of improving accuracy.

본 발명의 목적은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 통상의 기술자에게 명확하게 이해될 수 있을 것이다.The objects of the present invention are not limited to the above-mentioned objects, and other objects not mentioned can be clearly understood by those skilled in the art from the following description.

이와 같은 목적을 달성하기 위한 본 발명의 차량의 자동긴급제동시스템을 위한 센서융합시스템에서, 차량 주변을 촬영하기 위한 카메라 모듈, 차량 주변을 스캐닝하여 객체를 인식하고, 인식된 객체와의 거리를 감지하기 위한 라이다 모듈, 상기 카메라 모듈이 정상적으로 동작하는지 여부를 모니터링하기 위한 카메라 모듈 폴트 모니터링부, 상기 라이다 모듈이 정상적으로 동작하는지 여부를 모니터링하기 위한 라이다 모듈 폴트 모니터링부, 상기 카메라 모듈 폴트 모니터링부와 상기 라이다 모듈 폴트 모니터링부로부터 신호를 수신하는 것을 포함하여, 센서융합시스템의 전반적인 동작에 대한 장애 여부를 모니터링하고, 그 결과 데이터를 상기 자동긴급제동시스템을 비롯한 외부로 출력하기 위한 폴트 모니터링부를 포함한다. In order to accomplish the above object, there is provided a sensor fusion system for an automatic emergency braking system for a vehicle, comprising: a camera module for photographing a vicinity of a vehicle; an object recognition unit for scanning the vicinity of the vehicle; A camera module fault monitoring unit for monitoring whether the camera module operates normally, a ladder module fault monitoring unit for monitoring whether the Ladia module is normally operating, And a fault monitoring unit for monitoring the failure of the overall operation of the sensor fusion system and outputting the resultant data to the outside including the automatic emergency braking system, including receiving a signal from the LIDAR module fault monitoring unit .

상기 센서융합 시스템은 상기 카메라 모듈에 전원이 정상적으로 공급되는지 여부를 모니터링하기 위한 카메라 모듈 배터리 모니터링부, 상기 라이다 모듈에 전원이 정상적으로 공급되는지 여부를 모니터링하기 위한 라이다 모듈 배터리 모니터링부, 센서융합시스템에 주 전원이 정상적으로 공급되는지 여부를 모니터링하기 위한 배터리 모니터링부, 시스템 와치독(System watchdog)을 이용하여 센서융합시스템이 정상적으로 동작하는지 여부를 모니터링하기 위한 하드웨어 와치독 및 상기 카메라 모듈에서 전송되는 데이터와 상기 라이다 모듈에서 전송되는 데이터의 전송속도를 확인하고, 이들 간의 동기화 작업을 수행하기 위한 타임 클럭부를 더 포함할 수 있다. The sensor fusion system includes a camera module battery monitoring unit for monitoring whether power is normally supplied to the camera module, a Lada module battery monitoring unit for monitoring whether power is normally supplied to the Lada module, A battery monitoring unit for monitoring whether or not main power is normally supplied to the camera module, a hardware watchdog for monitoring whether the sensor fusion system normally operates using a system watchdog, And a time clock unit for confirming a transmission speed of data transmitted from the Lidar module and performing a synchronization operation between them.

상기 카메라 모듈 폴트 모니터링부는 상기 카메라 모듈에서 촬영한 영상 데이터가 미리 정해진 해상도를 갖는지 여부와, 상기 카메라 모듈의 전원 오프(off) 여부와, 수평 FOV(Field of View)에 대한 동작 범위의 장애 여부를 모니터링하여, 장애(fault)를 감지하면, 이를 상기 폴트 모니터링부에 알릴 수 있다. The camera module fault monitoring unit monitors whether the image data photographed by the camera module has a predetermined resolution, whether the camera module is powered off or not, and whether the operation range for the horizontal FOV (field of view) And when it detects a fault, it can notify the fault monitoring unit.

상기 라이다 모듈 폴트 모니터링부는 상기 라이다 모듈에서 방출된 후 반사되어 되돌아오는 신호의 수신 여부와, 라이다 모터의 회전 각도의 장애 여부와, 수평 FOV와 수직 FOV에 대한 동작범위의 장애 여부를 모니터링하여, 장애를 감지하면, 이를 상기 폴트 모니터링부에 알릴 수 있다. The LIDAR module fault monitoring unit monitors whether or not the signal received by the Lidar module is reflected after being emitted from the Lidar module, whether the rotational angle of the Lidar motor is obstructed, whether the horizontal FOV and the vertical FOV are obstructed And if it detects a fault, it can notify the fault monitoring unit.

상기 타임 클럭부는 상기 카메라 모듈로부터 전송되는 카메라 데이터의 전송 속도가 미리 정해진 속도에 해당하는지 여부와, 상기 라이다 모듈로부터 전송되는 라이다 데이터의 전송 속도가 미리 정해진 속도에 해당하는지 여부를 모니터링하고, 장애를 감지하면, 이를 상기 폴트 모니터링부에 알릴 수 있다. Wherein the time clock unit monitors whether the transmission speed of the camera data transmitted from the camera module corresponds to a predetermined speed and whether the transmission speed of the Lada data transmitted from the Lida module corresponds to a predetermined speed, If a fault is detected, it can be notified to the fault monitoring unit.

본 발명에 의하면, 차량에 장착된 카메라 센서 모듈과 라이다 센서 모듈과 관련된 다양한 장애를 모니터링함으로써, 자동긴급제동시스템을 포함하는 자율운전차량의 운전 안전도를 향상시키고, 센서의 인식 범위 및 정확도를 향상시킬 수 있는 효과가 있다. According to the present invention, it is possible to improve the operational safety of an autonomous vehicle including an automatic emergency braking system and improve the recognition range and accuracy of the sensor by monitoring various failures associated with the camera sensor module and the Lidar sensor module mounted on the vehicle There is an effect that can be made.

도 1은 차량의 센서융합시스템의 개요를 보여주는 도면이다.
도 2는 차량의 센서융합시스템의 전체 구성도이다.
도 3은 본 발명의 일 실시예에 따른 센서융합시스템의 아키텍처를 보여주는 도면이다.
도 4는 본 발명의 일 실시예에 따른 카메라 모듈 폴트 모니터링부에서의 동작을 설명하기 위한 상태천이도이다.
도 5는 본 발명의 일 실시예에 따른 라이다 모듈 폴트 모니터링부에서의 동작을 설명하기 위한 상태천이도이다.
도 6은 본 발명의 일 실시예에 따른 카메라 모듈 배터리 모니터링부에서의 동작을 설명하기 위한 상태천이도이다.
도 7은 본 발명의 일 실시예에 따른 라이다 모듈 배터리 모니터링부에서의 동작을 설명하기 위한 상태천이도이다.
도 8은 본 발명의 일 실시예에 따른 배터리 모니터링부에서의 동작을 설명하기 위한 상태천이도이다.
도 9는 본 발명의 일 실시예에 따른 하드웨어 와치독에서의 동작을 설명하기 위한 상태천이도이다.
도 10은 본 발명의 일 실시예에 따른 타임 클럭부에서의 동작을 설명하기 위한 상태천이도이다.
1 is a diagram showing an outline of a sensor fusion system of a vehicle.
2 is an overall configuration diagram of a sensor fusion system of a vehicle.
3 is a diagram illustrating an architecture of a sensor fusion system according to an embodiment of the present invention.
4 is a state transition diagram for explaining an operation in a camera module fault monitoring unit according to an embodiment of the present invention.
5 is a state transition diagram for explaining an operation in a lidar module fault monitoring unit according to an embodiment of the present invention.
6 is a state transition diagram for explaining an operation in a camera module battery monitoring unit according to an embodiment of the present invention.
7 is a state transition diagram for explaining an operation in the lithium ion battery monitoring unit according to an embodiment of the present invention.
8 is a state transition diagram for explaining an operation in the battery monitoring unit according to an embodiment of the present invention.
9 is a state transition diagram for explaining operations in a hardware watchdog according to an embodiment of the present invention.
10 is a state transition diagram for explaining an operation in a time clock unit according to an embodiment of the present invention.

본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.While the invention is susceptible to various modifications and alternative forms, specific embodiments thereof are shown by way of example in the drawings and will herein be described in detail. It should be understood, however, that the invention is not intended to be limited to the particular embodiments, but includes all modifications, equivalents, and alternatives falling within the spirit and scope of the invention.

본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서 상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.The terminology used in this application is used only to describe a specific embodiment and is not intended to limit the invention. The singular expressions include plural expressions unless the context clearly dictates otherwise. In the present application, the terms "comprises" or "having" and the like are used to specify that there is a feature, a number, a step, an operation, an element, a component or a combination thereof described in the specification, But do not preclude the presence or addition of one or more other features, integers, steps, operations, elements, components, or combinations thereof.

다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 갖고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 갖는 의미와 일치하는 의미를 갖는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.Unless defined otherwise, all terms used herein, including technical or scientific terms, have the same meaning as commonly understood by one of ordinary skill in the art to which this invention belongs. Terms such as those defined in commonly used dictionaries are to be interpreted as having a meaning consistent with the contextual meaning of the related art and are to be interpreted in an ideal or overly formal sense unless expressly defined in the present application Do not.

또한, 첨부 도면을 참조하여 설명함에 있어, 도면 부호에 관계없이 동일한 구성 요소는 동일한 참조 부호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다. 본 발명을 설명함에 있어서 관련된 공지 기술에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다.In the following description of the present invention with reference to the accompanying drawings, the same components are denoted by the same reference numerals regardless of the reference numerals, and redundant explanations thereof will be omitted. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, exemplary embodiments of the present invention will be described in detail with reference to the accompanying drawings. In the following description, well-known functions or constructions are not described in detail since they would obscure the invention in unnecessary detail.

본 발명은 차량의 자동긴급제동(Autonomous Emergency Braking, AEB) 시스템을 위한 센서융합시스템(Sensor Fusion System, SFS)에 대한 것이다. The present invention relates to a sensor fusion system (SFS) for an automotive emergency braking (AEB) system.

도 1은 차량의 센서융합시스템의 개요를 보여주는 도면이다. 1 is a diagram showing an outline of a sensor fusion system of a vehicle.

도 1을 참조하면, 본 발명의 전방 카메라 및 라이다(LiDAR) 센서 표준 기반 인지 시스템은 전방의 차선, 차량, 보행자 등을 인식하여, CAN(Controller Area Network) 통신을 통해 교차로에서 차량의 타 시스템인 ESC, ACC, EMS, Cluster 등에 위험 상항에서 차량이 긴급하게 제동을 할 수 있도록 정보를 제공하고, 또한 SAS를 통해 차량의 주행 방향을 인식한다. Referring to FIG. 1, the front camera and LiDAR sensor standards-based recognition system of the present invention recognizes a lane ahead, a vehicle, a pedestrian, and the like, In ESC, ACC, EMS, Cluster, etc., information is provided for urgent braking of the vehicle in dangerous condition, and the direction of the vehicle is recognized through SAS.

도 2는 차량의 센서융합시스템의 전체 구성도이다. 2 is an overall configuration diagram of a sensor fusion system of a vehicle.

도 2를 참조하면, 본 발명의 카메라-라이다 통합 센서 모듈은 라이다 광학계, PLD(Pulse Laser Diode), APD(Avalanche Photo Diode), 카메라 센서, 신호처리 보드 등을 포함하여 이루어진다. 여기서 PLD는 다이오드를 이용하여 빛을 출력하는 레이저로서, 시간에 따라 발진 및 정지하고, APD는 눈사태 현상(avalanche phenomenon)을 이용하여 광신호를 전기신호로 변환하는 기능을 수행한다. Referring to FIG. 2, the camera-Rada integrated sensor module of the present invention includes a Lada optical system, a PLD (Pulse Laser Diode), an APD (Avalanche Photo Diode), a camera sensor, and a signal processing board. Here, the PLD is a laser that outputs light using a diode, which oscillates and stops with time, and APD performs a function of converting an optical signal into an electric signal by using an avalanche phenomenon.

그리고, 다중객체 추정/분석 및 정보 디스플레이 모듈에서 카메라-라이다 통합 센서 모듈에서 감지된 데이터를 분석하여 디스플레이하고, 3D 포인트 클라우드 기반 정보분석을 수행하며, 제동강도, 회피방향 등의 최적 AED 신호를 산출하여 AEB ECU에 전송하게 된다. The multi-object estimation / analysis and information display module analyzes and displays the sensed data in the camera-ray integrated sensor module, performs 3D point cloud-based information analysis, and performs optimal AED signals such as braking strength and avoidance direction And transmits it to the AEB ECU.

도 3은 본 발명의 일 실시예에 따른 센서융합시스템의 아키텍처를 보여주는 도면이다. 3 is a diagram illustrating an architecture of a sensor fusion system according to an embodiment of the present invention.

도 3을 참조하면, 본 발명의 일 실시예에 따른 센서융합시스템(10)은 카메라 모듈(210), 라이다(LiDAR) 모듈(300), 카메라 모듈 폴트 모니터링(Camera module fault monitoring)부(110), 라이다 모듈 폴트 모니터링부(120), 카메라 모듈 배터리 모니터링부(130), 라이다 모듈 배터리 모니터링부(140), 배터리 모니터링부(150), 하드웨어 와치독(Hardware Watchdog)(160), 타임 클럭(Time Clock)부(170), 폴트 모니터링부(180)를 포함한다. 3, the sensor fusion system 10 according to an exemplary embodiment of the present invention includes a camera module 210, a LiDAR module 300, a camera module fault monitoring unit 110 A battery module monitoring unit 120, a camera module battery monitoring unit 130, a lidar module battery monitoring unit 140, a battery monitoring unit 150, a hardware watchdog 160, A clock (Time Clock) unit 170, and a fault monitoring unit 180.

카메라 모듈부(200)는 차량 주변을 촬영하기 위한 카메라 모듈(210)과, 카메라 모듈(210)에서 촬영된 AHD 규격의 영상 데이터(image data)를 HDMI(High Definition Multimedia Interface) 규격으로 변환하기 위한 AHD TO HDMI 컨버터(220)를 포함한다. The camera module unit 200 includes a camera module 210 for photographing the surroundings of the vehicle and a camera module 210 for converting the image data of the AHD standard photographed by the camera module 210 into a high definition multimedia interface And an AHD TO HDMI converter 220.

라이다 모듈(300)은 광신호를 이용한 레이저 모듈로서, 차량 주변을 스캐닝하여 객체를 인식하고, 인식된 객체와의 거리를 감지하는 역할을 한다. The Lidar module 300 is a laser module using an optical signal. The Lidar module 300 scans the periphery of the vehicle to recognize the object and detects the distance to the recognized object.

카메라 모듈 폴트 모니터링부(110)는 카메라 모듈(210)이 정상적으로 동작하는지 여부를 모니터링한다. The camera module fault monitoring unit 110 monitors whether the camera module 210 operates normally.

라이다 모듈 폴트 모니터링부(120)는 라이다 모듈(300)이 정상적으로 동작하는지 여부를 모니터링한다. The LIDAR module fault monitoring unit 120 monitors whether the LIDAR module 300 is operating normally.

카메라 모듈 배터리 모니터링부(130)는 카메라 모듈(210)에 전원이 정상적으로 공급되는지 여부를 모니터링한다. The camera module battery monitoring unit 130 monitors whether the camera module 210 is normally supplied with power.

라이다 모듈 배터리 모니터링부(140)는 라이다 모듈(300)에 전원이 정상적으로 공급되는지 여부를 모니터링한다. The Lida module battery monitoring unit 140 monitors whether or not power is normally supplied to the Lida module 300. [

배터리 모니터링부(150)는 센서융합시스템(10)에 주 전원이 정상적으로 공급되는지 여부를 모니터링한다. The battery monitoring unit 150 monitors whether the main power is normally supplied to the sensor fusion system 10.

하드웨어 와치독(160)은 시스템 와치독(System watchdog)을 이용하여 센서융합시스템(10)이 정상적으로 동작하는지 여부를 모니터링한다. The hardware watchdog 160 monitors whether the sensor fusion system 10 is operating normally using a system watchdog.

타임 클럭부(170)는 카메라 모듈(210)에서 전송되는 데이터와 라이다 모듈(300)에서 전송되는 데이터의 전송속도를 확인하고, 이들 간의 동기화 작업을 수행하는 역할을 한다. The time clock unit 170 checks the transmission speed of the data transmitted from the camera module 210 and the data transmitted from the Lydia module 300, and performs a synchronization operation between them.

폴트 모니터링부(180)는 카메라 모듈 폴트 모니터링부(110), 라이다 모듈 폴트 모니터링부(120), 카메라 모듈 배터리 모니터링부(130), 라이다 모듈 배터리 모니터링부(140), 배터리 모니터링부(150), 하드웨어 와치독(160), 타임 클럭부(170) 등으로부터 신호를 수신하여, 센서융합시스템(10)의 전반적인 동작에 대한 장애 여부를 모니터링하고, 그 결과 데이터를 자동긴급제동시스템(AEB)을 비롯한 외부로 출력한다. The fault monitoring unit 180 includes a camera module fault monitoring unit 110, a lidar module fault monitoring unit 120, a camera module battery monitoring unit 130, a lidar module battery monitoring unit 140, a battery monitoring unit 150 The hardware watchdog 160, the time clock unit 170, and the like, monitors the failure of the overall operation of the sensor fusion system 10, and outputs the resultant data to the automatic emergency braking system (AEB) And outputs it to the outside.

도 4는 본 발명의 일 실시예에 따른 카메라 모듈 폴트 모니터링부에서의 동작을 설명하기 위한 상태천이도이다. 4 is a state transition diagram for explaining an operation in a camera module fault monitoring unit according to an embodiment of the present invention.

도 4를 참조하면, 카메라 모듈 폴트 모니터링부(110)는 카메라 모듈(210)에서 촬영한 영상 데이터가 미리 정해진 해상도를 갖는지 여부와, 카메라 모듈(210)의 전원 오프(off) 여부와, 수평(Horizontal) FOV(Field of View)에 대한 동작 범위의 장애 여부를 모니터링하여, 장애(fault)를 감지하면, 이를 폴트 모니터링부(180)에 알린다. Referring to FIG. 4, the camera module fault monitoring unit 110 determines whether the image data photographed by the camera module 210 has a predetermined resolution, whether the camera module 210 is turned off, Horizontal FOV (Field of View), and notifies the fault monitoring unit 180 of a fault.

예를 들어, 카메라 모듈 폴트 모니터링부(110)는 영상 데이터가 FHD(Full High-Definition)(1080p)의 해상도를 갖는지 여부와, 수평 FOV가 140°의 동작범위를 갖는지 여부 등을 모니터링할 수 있다. For example, the camera module fault monitoring unit 110 can monitor whether the image data has a resolution of FHD (Full High-Definition) (1080p), whether the horizontal FOV has an operation range of 140 °, and the like .

폴트 모니터링부(180)는 카메라 모듈 폴트 모니터링부(110)로부터 장애 사실을 수신하면, 센서 융합 시스템을 리셋하고, AEB(Autonomous Emergency Braking)을 포함하는 ADAS(Advanced Driver Assistance System)로 폴트 메시지(fault message)를 전송한다. 그리고, 임시적으로 라이다 모듈(300)만 구동하여 시스템을 동작시킨다. Upon receiving a failure from the camera module fault monitoring unit 110, the fault monitoring unit 180 resets the sensor fusion system and transmits a fault message to an ADAS (Advanced Driver Assistance System) including AEB (Autonomous Emergency Braking) message. Then, only the Lada module 300 is temporarily activated to operate the system.

도 5는 본 발명의 일 실시예에 따른 라이다 모듈 폴트 모니터링부에서의 동작을 설명하기 위한 상태천이도이다. 5 is a state transition diagram for explaining an operation in a lidar module fault monitoring unit according to an embodiment of the present invention.

도 5를 참조하면, 라이다 모듈 폴트 모니터링부(120)는 라이다 모듈(300)에서 방출된 후 반사되어 되돌아오는 신호의 수신 여부와, 라이다 모터의 회전 각도의 장애 여부와, 수평(Horizontal) FOV와 수직(Vertical) FOV에 대한 동작범위의 장애 여부를 모니터링하여, 장애를 감지하면, 폴트 모니터링부(180)에 알린다. Referring to FIG. 5, the RID module fault monitoring unit 120 monitors whether or not the signal received after being reflected from the Lid module 300 is received, ) FOV and the vertical FOV, and informs the fault monitoring unit 180 when a failure is detected.

예를 들어, 라이다 모듈 폴트 모니터링부(120)는 PLD에서 방출된 신호가 APD를 통해 하나의 스레드(thread) 데이터를 수신하지 못하는 경우, 라이다(LiDAR) BLDC 모터 구동의 장애 발생, 수평 FOV 시야각이 140°이고, 수직 FOV 시야각이 5°인 것에 대한 장애 발생 등을 감지할 수 있다. For example, when the signal emitted from the PLD does not receive one thread data through the APD, the LIDAR module fault monitoring unit 120 generates a failure (LiDAR) BLDC motor driving failure, a horizontal FOV It is possible to detect the occurrence of a fault such that the viewing angle is 140 ° and the vertical FOV viewing angle is 5 °.

폴트 모니터링부(180)는 라이다 모듈 폴트 모니터링부(120)로부터 장애 사실을 수신하면, 센서 융합 시스템을 리셋하고, AEB(Autonomous Emergency Braking)을 포함하는 ADAS(Advanced Driver Assistance System)로 폴트 메시지(fault message)를 전송한다. 그리고, 임시적으로 카메라 모듈(210)만 구동하여 시스템을 동작시킨다. The fault monitoring unit 180 resets the sensor fusion system and receives a fault message (ADR) from the Advanced Driver Assistance System (ADAS) including the AEB (Autonomous Emergency Braking) fault message. Then, only the camera module 210 is temporarily activated to operate the system.

도 6은 본 발명의 일 실시예에 따른 카메라 모듈 배터리 모니터링부에서의 동작을 설명하기 위한 상태천이도이다. 6 is a state transition diagram for explaining an operation in a camera module battery monitoring unit according to an embodiment of the present invention.

도 6을 참조하면, 카메라 모듈 배터리 모니터링부(130)는 카메라 모듈(210)에 정상적으로 전원 공급이 되는지 주기적으로 모니터링하고, 장애(fault)가 발생하면, PMIC(Power Management integrated circuit)(410)에 의해 전원 관리 후, 폴트 모니터링부(180)에 장애 사실을 알린다. Referring to FIG. 6, the camera module battery monitoring unit 130 periodically monitors whether the power is normally supplied to the camera module 210. When a fault occurs, the camera module battery monitoring unit 130 monitors a power management integrated circuit (PMIC) The fault monitoring unit 180 notifies the fault monitoring unit 180 of the failure.

예를 들어, 카메라 모듈 배터리 모니터링부(130)는 카메라 모듈(210)에 정상적으로 12 V 전원이 공급되는지 여부를 100ms 주기로 모니터링하고, 12 V 전원이 공급되지 않으면, PMIC(410)에 의해 전원 관리 후, 폴트 모니터링부(180)에 장애 사실을 알린다.For example, the camera module battery monitoring unit 130 monitors whether or not 12 V power is normally supplied to the camera module 210 in a period of 100 ms. If the 12 V power is not supplied, the PMIC 410 monitors power , And notifies the fault monitoring unit 180 of the fault.

도 7은 본 발명의 일 실시예에 따른 라이다 모듈 배터리 모니터링부에서의 동작을 설명하기 위한 상태천이도이다. 7 is a state transition diagram for explaining an operation in the lithium ion battery monitoring unit according to an embodiment of the present invention.

도 7을 참조하면, 라이다 모듈 배터리 모니터링부(140)는 라이다 모듈(300)에 전원이 정상적으로 공급되는지 여부를 주기적으로 모니터링하고, 장애가 발생하면, PMIC(410)에 의해 전원 관리 후, 폴트 모니터링부(180)에 장애 사실을 알린다. Referring to FIG. 7, the Raider module battery monitoring unit 140 periodically monitors whether the power is normally supplied to the Raider module 300, and if a failure occurs, And notifies the monitoring unit 180 of the failure.

예를 들어, 라이다 모듈 배터리 모니터링부(140)는 라이다 모듈(300)에 정상적으로 12 V 전원이 공급되는지 여부를 100ms 주기로 모니터링하고, 12 V 전원이 공급되지 않으면, PMIC(410)에 의해 전원 관리 후, 폴트 모니터링부(180)에 장애 사실을 알린다.For example, the Lidar module battery monitoring unit 140 monitors whether the 12-V power is normally supplied to the Lidar module 300 in a period of 100 ms, and if the 12-V power is not supplied, After the management, the fault monitoring unit 180 is notified of the failure.

도 8은 본 발명의 일 실시예에 따른 배터리 모니터링부에서의 동작을 설명하기 위한 상태천이도이다. 8 is a state transition diagram for explaining an operation in the battery monitoring unit according to an embodiment of the present invention.

도 8을 참조하면, 배터리 모니터링부(150)는 PMIC(410)가 정상적으로 동작하는지 주기적으로 모니터링하고, 장애 발생시 운전자에게 알람을 보내고, 리커버리 플랜(Recovery Plan)을 가동한다.Referring to FIG. 8, the battery monitoring unit 150 periodically monitors whether the PMIC 410 is normally operating, sends an alarm to a driver when a failure occurs, and operates a recovery plan.

예를 들어, 배터리 모니터링부(150)는 이그니션(ignition, IG)이 온(on)이고, PMIC(410)가 정상적으로 동작하는지 여부를 100ms 주기로 모니터링하고, 장애 발생시 이를 운전자에게 경고하고, 센서 융합 시스템을 1회 리셋(reset)한다. For example, the battery monitoring unit 150 monitors whether or not the ignition (IG) is on and whether the PMIC 410 operates normally at a period of 100 ms, warns the driver when a fault occurs, Is reset once.

도 9는 본 발명의 일 실시예에 따른 하드웨어 와치독에서의 동작을 설명하기 위한 상태천이도이다. 9 is a state transition diagram for explaining operations in a hardware watchdog according to an embodiment of the present invention.

도 9를 참조하면, 하드웨어 와치독(160)은 메인 시스템 프로세서(510)가 정상적으로 동작하는지 여부를 주기적으로 확인하고, 장애가 발생하면 이를 폴트 모니터링부(180)에 알린다. 예를 들어, 하드웨어 와치독(160)은 메인 시스템 프로세서(510)가 정상적으로 동작하는지 여부를 100ms 주기로 모니터링할 수 있다. Referring to FIG. 9, the hardware watchdog 160 periodically checks whether the main system processor 510 operates normally, and notifies the fault monitoring unit 180 of a failure. For example, the hardware watchdog 160 may monitor whether the main system processor 510 is operating normally at a period of 100 ms.

폴트 모니터링부(180)는 하드웨어 와치독(160)으로부터 폴트 감지 시, 센서 융합 시스템을 리셋(reset)하고, AEB(Autonomous Emergency Braking)을 포함하는 ADAS(Advanced Driver Assistance System)로 폴트 메시지(fault message)를 전송한다. 그리고, 리셋 후 정상 동작 복귀 오류 시, 수동모드로 동작하도록 한다. The fault monitoring unit 180 resets the sensor fusion system when a fault is detected from the hardware watchdog 160 and transmits a fault message to an Advanced Driver Assistance System (ADAS) including Autonomous Emergency Braking (AEB) ). Then, when the normal operation return error occurs after reset, it is operated in the manual mode.

도 10은 본 발명의 일 실시예에 따른 타임 클럭부에서의 동작을 설명하기 위한 상태천이도이다. 10 is a state transition diagram for explaining an operation in a time clock unit according to an embodiment of the present invention.

도 10을 참조하면, 타임 클럭부(170)는 카메라 모듈(210)로부터 전송되는 카메라 데이터의 전송 속도가 미리 정해진 속도에 해당하는지 여부와, 라이다 모듈(300)로부터 전송되는 라이다 데이터의 전송 속도가 미리 정해진 속도에 해당하는지 여부를 모니터링하고, 장애를 감지하면, 이를 폴트 모니터링부(180)에 알린다. 즉, 타임 클럭부(170)는 카메라 모듈(210)로부터 전송되는 카메라 데이터의 처리 속도와, 라이다 모듈(300)로부터 전송되는 라이다 데이터의 처리 속도를 모니터링하여, 정해진 처리 속도가 아니면, 장애 발생 사실을 폴트 모니터링부(180)에 알린다. 10, the time clock unit 170 determines whether the transmission speed of the camera data transmitted from the camera module 210 corresponds to a predetermined speed, and whether the transmission speed of the camera data transmitted from the LIDAR module 300 Monitors whether or not the speed corresponds to a predetermined speed, and notifies the fault monitoring unit 180 when a fault is detected. That is, the time clock unit 170 monitors the processing speed of the camera data transmitted from the camera module 210 and the processing speed of the Larda data transmitted from the Lydia module 300, and if not the predetermined processing speed, And informs the fault monitoring unit 180 of the fact of occurrence.

예를 들어, 타임 클럭부(170)는 카메라 모듈(210)로부터 전송되는 카메라 데이터의 처리 속도가 30 fps(초당 30프레임) 인지 여부를 모니터링하고, 이에 해당되지 않으면 장애 발생 사실을 폴트 모니터링부(180)에 알린다. 그리고, 타임 클럭부(170)는 라이다 모듈(300)로부터 전송되는 라이다 데이터의 처리 속도가 15 fps(초당 15 프레임) 인지 여부를 모니터링하고, 이에 해당되지 않으면 장애 발생 사실을 폴트 모니터링부(180)에 알린다. For example, the time clock unit 170 monitors whether the processing speed of the camera data transmitted from the camera module 210 is 30 fps (30 frames per second), and if not, 180). The time clock unit 170 monitors whether the processing speed of the RLayer data transmitted from the RLayer module 300 is 15 fps (15 frames per second), and if not, 180).

폴트 모니터링부(180)는 타임 클럭부(170)로부터 장애 사실을 수신하면, AEB(Autonomous Emergency Braking)을 포함하는 ADAS(Advanced Driver Assistance System)와 사용자에게 폴트 메시지(fault message)를 전송하고, 카메라 모듈(210)과 라이다 모듈(300) 리셋 후, 동일한 장애를 감지하면, 사용자에게 알리고 수동모드로 전환한다. Upon receiving a fault from the time clock unit 170, the fault monitoring unit 180 transmits a fault message to the ADAS (Advanced Driver Assistance System) including the AEB (Autonomous Emergency Braking) After the resetting of the module 210 and the Lidar module 300, if the same failure is detected, the user is informed and switches to the manual mode.

이상 본 발명을 몇 가지 바람직한 실시예를 사용하여 설명하였으나, 이들 실시예는 예시적인 것이며 한정적인 것이 아니다. 본 발명이 속하는 기술분야에서 통상의 지식을 지닌 자라면 본 발명의 사상과 첨부된 특허청구범위에 제시된 권리범위에서 벗어나지 않으면서 다양한 변화와 수정을 가할 수 있음을 이해할 것이다.While the present invention has been described with reference to several preferred embodiments, these embodiments are illustrative and not restrictive. It will be understood by those skilled in the art that various changes and modifications may be made therein without departing from the spirit of the invention and the scope of the appended claims.

10 센서융합시스템 210 카메라 모듈
300 라이다 모듈
110 카메라 모듈 폴트 모니터링
120 라이다 모듈 폴트 모니터링부
130 카메라 모듈 배터리 모니터링부
140 라이다 모듈 배터리 모니터링부
150 배터리 모니터링부
160 하드웨어 와치독
170 타임 클럭부
180 폴트 모니터링부
10 Sensor fusion system 210 Camera module
300 Raidas module
110 Camera Module Fault Monitoring
120 Lider module fault monitoring part
130 Camera module Battery monitoring section
140 Raidas module Battery monitoring part
150 Battery monitoring section
160 Hardware Watchdog
170 time clock section
180 Fault monitoring part

Claims (8)

차량의 자동긴급제동시스템을 위한 센서융합시스템에서,
차량 주변을 촬영하기 위한 카메라 모듈;
차량 주변을 스캐닝하여 객체를 인식하고, 인식된 객체와의 거리를 감지하기 위한 라이다 모듈;
상기 카메라 모듈이 정상적으로 동작하는지 여부를 모니터링하기 위한 카메라 모듈 폴트 모니터링부;
상기 라이다 모듈이 정상적으로 동작하는지 여부를 모니터링하기 위한 라이다 모듈 폴트 모니터링부;
상기 카메라 모듈에 전원이 정상적으로 공급되는지 여부를 모니터링하기 위한 카메라 모듈 배터리 모니터링부;
상기 라이다 모듈에 전원이 정상적으로 공급되는지 여부를 모니터링하기 위한 라이다 모듈 배터리 모니터링부;
상기 센서융합시스템에 주 전원이 정상적으로 공급되는지 여부를 모니터링하기 위한 배터리 모니터링부;
시스템 와치독(System watchdog)을 이용하여 센서융합시스템이 정상적으로 동작하는지 여부를 모니터링하기 위한 하드웨어 와치독;
상기 카메라 모듈에서 전송되는 데이터와 상기 라이다 모듈에서 전송되는 데이터의 전송속도를 확인하고, 이들 간의 동기화 작업을 수행하기 위한 타임 클럭부; 및
상기 카메라 모듈 폴트 모니터링부, 상기 라이다 모듈 폴트 모니터링부, 상기 카메라 모듈 배터리 모니터링부, 상기 라이다 모듈 배터리 모니터링부, 상기 배터리 모니터링부, 상기 하드웨어 와치독 및 상기 타임 클럭부로부터 신호를 수신하는 것을 포함하여, 센서융합시스템의 전반적인 동작에 대한 장애 여부를 모니터링하고, 그 결과 데이터를 상기 자동긴급제동시스템을 비롯한 외부로 출력하기 위한 폴트 모니터링부를 포함하며,
상기 카메라 모듈 폴트 모니터링부는 상기 카메라 모듈에서 촬영한 영상 데이터가 미리 정해진 해상도를 갖는지 여부와, 상기 카메라 모듈의 전원 오프(off) 여부와, 수평 FOV(Field of View)에 대한 동작 범위의 장애 여부를 모니터링하여, 장애(fault)를 감지하면, 이를 상기 폴트 모니터링부에 알리고,
상기 라이다 모듈 폴트 모니터링부는 상기 라이다 모듈에서 방출된 후 반사되어 되돌아오는 신호의 수신 여부와, 라이다 모터의 회전 각도의 장애 여부와, 수평 FOV와 수직 FOV에 대한 동작범위의 장애 여부를 모니터링하여, 장애를 감지하면, 이를 상기 폴트 모니터링부에 알리고,
상기 타임 클럭부는 상기 카메라 모듈로부터 전송되는 카메라 데이터의 전송 속도가 미리 정해진 속도에 해당하는지 여부와, 상기 라이다 모듈로부터 전송되는 라이다 데이터의 전송 속도가 미리 정해진 속도에 해당하는지 여부를 모니터링하고, 장애를 감지하면, 이를 상기 폴트 모니터링부에 알리며,
상기 폴트 모니터링부는 상기 카메라 모듈 폴트 모니터링부로부터 장애 사실을 수신하면, 센서 융합 시스템을 리셋하고, 상기 자동긴급제동시스템을 포함하는 ADAS(Advanced Driver Assistance System)로 폴트 메시지(fault message)를 전송하고, 임시적으로 상기 라이다 모듈만 구동하여 센서 융합 시스템을 구동하고,
상기 폴트 모니터링부는 상기 라이다 모듈 폴트 모니터링부로부터 장애 사실을 수신하면, 센서 융합 시스템을 리셋하고, 상기 자동긴급제동시스템을 포함하는 ADAS로 폴트 메시지를 전송하고, 임시적으로 상기 카메라 모듈만 구동하여 센서 융합 시스템을 구동하고,
상기 카메라 모듈 배터리 모니터링부는 상기 카메라 모듈에 정상적으로 전원 공급이 되는지 여부를 주기적으로 모니터링하고, 장애(fault)가 발생하면, PMIC(Power Management integrated circuit)에 의해 전원이 관리되도록 한 후, 상기 폴트 모니터링부에 장애 사실을 알리고,
상기 라이다 모듈 배터리 모니터링부는 상기 라이다 모듈에 정상적으로 전원 공급이 되는지 여부를 주기적으로 모니터링하고, 장애가 발생하면, 상기 PMIC에 의해 전원이 관리되도록 한 후, 상기 폴트 모니터링부에 장애 사실을 알리고,
상기 배터리 모니터링부는 상기 PMIC가 정상적으로 동작하는지 여부를 주기적으로 모니터링하고, 장애 발생시 알람을 출력하고, 센서융합시스템을 리셋(reset)하며,
상기 폴트 모니터링부는 상기 하드웨어 와치독으로부터 폴트 감지 신호를 수신하면, 센서 융합 시스템을 리셋하고, 상기 자동긴급제동시스템을 포함하는 ADAS로 폴트 메시지를 전송하고, 리셋 후 정상 동작 복귀 오류 시, 수동모드로 동작하도록 하고,
상기 폴트 모니터링부는 상기 타임 클럭부로부터 장애 사실을 수신하면, 상기 자동긴급제동시스템을 포함하는 ADAS로 폴트 메시지를 전송하고, 상기 카메라 모듈과 상기 라이다 모듈을 리셋하고, 리셋 후에 동일한 장애 사실을 수신하면, 알람을 출력하고 수동모드로 전환하는 것을 특징으로 하는 센서융합시스템.
In a sensor fusion system for an automotive emergency braking system,
A camera module for photographing the surroundings of the vehicle;
A lidar module for recognizing an object by scanning the periphery of the vehicle and detecting a distance to the recognized object;
A camera module fault monitoring unit for monitoring whether the camera module operates normally;
A lidar module fault monitoring unit for monitoring whether the ladder module operates normally;
A camera module battery monitoring unit for monitoring whether power is normally supplied to the camera module;
A lidar module battery monitoring unit for monitoring whether power is normally supplied to the ladda module;
A battery monitoring unit for monitoring whether the main power is normally supplied to the sensor fusion system;
A hardware watchdog for monitoring whether the sensor fusion system is operating normally using a system watchdog;
A time clock unit for confirming a transmission speed of data transmitted from the camera module and data transmitted from the LIDAR module and performing a synchronization operation between them; And
And receiving a signal from the camera module fault monitoring unit, the Rider module fault monitoring unit, the camera module battery monitoring unit, the Rider module battery monitoring unit, the battery monitoring unit, the hardware watch dog, and the time clock unit And a fault monitoring unit for monitoring a failure of the overall operation of the sensor fusion system and outputting the resultant data to the outside including the automatic emergency braking system,
The camera module fault monitoring unit monitors whether the image data photographed by the camera module has a predetermined resolution, whether the camera module is powered off or not, and whether the operation range for the horizontal FOV (field of view) Monitors the fault monitoring unit, and when a fault is detected, notifies the fault monitoring unit,
The LIDAR module fault monitoring unit monitors whether or not the signal received by the Lidar module is reflected after being emitted from the Lidar module, whether the rotational angle of the Lidar motor is obstructed, whether the horizontal FOV and the vertical FOV are obstructed And when it detects a fault, notifies the fault monitoring unit of the fault,
Wherein the time clock unit monitors whether or not the transmission speed of the camera data transmitted from the camera module corresponds to a predetermined speed and whether the transmission speed of the Lada data transmitted from the Lida module corresponds to a predetermined speed, When a fault is detected, the fault monitoring unit is notified of the fault,
The fault monitoring unit resets the sensor fusion system and transmits a fault message to an Advanced Driver Assistance System (ADAS) including the automatic emergency braking system upon receiving a fault from the camera module fault monitoring unit, Only the Lada module is temporarily driven to drive the sensor fusion system,
The fault monitoring unit resets the sensor fusion system, transmits a fault message to the ADAS including the automatic emergency braking system, temporarily drives only the camera module, Driving the fusion system,
The camera module battery monitoring unit periodically monitors whether or not power is normally supplied to the camera module. When a fault occurs, the camera module battery monitoring unit manages power by a PMIC (Power Management Integrated Circuit) To inform the fact of the failure,
The Raider module battery monitoring unit periodically monitors whether or not power is normally supplied to the Raider module. When a failure occurs, the Raider module battery monitoring unit manages the power by the PMIC, informs the fault monitoring unit of the failure,
The battery monitoring unit periodically monitors whether the PMIC is normally operating, outputs an alarm when a failure occurs, resets the sensor fusion system,
Upon receiving the fault detection signal from the hardware watchdog, the fault monitoring unit resets the sensor fusion system, transmits a fault message to the ADAS including the automatic emergency braking system, And,
Wherein the fault monitoring unit receives a fault from the time clock unit, transmits a fault message to the ADAS including the automatic emergency braking system, resets the camera module and the Lida module, And outputs an alarm and switches to a manual mode.
삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete 삭제delete
KR1020170039116A 2017-03-28 2017-03-28 Sensor fusion system for autonomous emergency braking system in car KR101848312B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020170039116A KR101848312B1 (en) 2017-03-28 2017-03-28 Sensor fusion system for autonomous emergency braking system in car

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170039116A KR101848312B1 (en) 2017-03-28 2017-03-28 Sensor fusion system for autonomous emergency braking system in car

Publications (1)

Publication Number Publication Date
KR101848312B1 true KR101848312B1 (en) 2018-04-13

Family

ID=61974295

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170039116A KR101848312B1 (en) 2017-03-28 2017-03-28 Sensor fusion system for autonomous emergency braking system in car

Country Status (1)

Country Link
KR (1) KR101848312B1 (en)

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200034118A (en) * 2018-09-21 2020-03-31 한국전자통신연구원 Object detection apparatus and method based on sensor fusion
KR102117037B1 (en) * 2018-11-27 2020-05-29 (주) 모토텍 Sensor fusion system for controlling autonomous emergency braking in car
KR20200068065A (en) 2018-11-27 2020-06-15 현대오트론 주식회사 Method for processing error in autonomous drive controller
EP3699636A1 (en) 2019-02-20 2020-08-26 Melexis Technologies NV Method for light ranging system control in a vehicle
KR20200103178A (en) 2019-02-13 2020-09-02 주식회사 스프링클라우드 Integrated sensor apparatus for autonomous vehicle
CN112804522A (en) * 2021-04-15 2021-05-14 魔门塔(苏州)科技有限公司 Method and device for detecting abnormal conditions of camera
CN113093158A (en) * 2021-04-06 2021-07-09 吉林大学 Intelligent automobile sensor data correction method for safety monitoring
RU2778383C2 (en) * 2020-10-06 2022-08-18 Общество с ограниченной ответственностью «Яндекс Беспилотные Технологии» Lidar systems and detection methods
CN115465293A (en) * 2022-09-06 2022-12-13 湖南大学无锡智能控制研究院 Multi-sensor safety self-cognition and safety processing device and method
WO2024085580A1 (en) * 2022-10-18 2024-04-25 엘지전자 주식회사 Signal processing device and vehicle display device comprising same

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163792A (en) * 2000-11-27 2002-06-07 Natl Inst For Land & Infrastructure Management Mlit Obstacle collision prevention supporting system

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002163792A (en) * 2000-11-27 2002-06-07 Natl Inst For Land & Infrastructure Management Mlit Obstacle collision prevention supporting system

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20200034118A (en) * 2018-09-21 2020-03-31 한국전자통신연구원 Object detection apparatus and method based on sensor fusion
KR102535590B1 (en) 2018-09-21 2023-05-23 한국전자통신연구원 Object detection apparatus and method based on sensor fusion
KR102117037B1 (en) * 2018-11-27 2020-05-29 (주) 모토텍 Sensor fusion system for controlling autonomous emergency braking in car
KR20200068065A (en) 2018-11-27 2020-06-15 현대오트론 주식회사 Method for processing error in autonomous drive controller
KR20200103178A (en) 2019-02-13 2020-09-02 주식회사 스프링클라우드 Integrated sensor apparatus for autonomous vehicle
EP3699636A1 (en) 2019-02-20 2020-08-26 Melexis Technologies NV Method for light ranging system control in a vehicle
RU2778383C2 (en) * 2020-10-06 2022-08-18 Общество с ограниченной ответственностью «Яндекс Беспилотные Технологии» Lidar systems and detection methods
CN113093158A (en) * 2021-04-06 2021-07-09 吉林大学 Intelligent automobile sensor data correction method for safety monitoring
CN113093158B (en) * 2021-04-06 2024-02-27 吉林大学 Intelligent automobile sensor data correction method for safety monitoring
CN112804522A (en) * 2021-04-15 2021-05-14 魔门塔(苏州)科技有限公司 Method and device for detecting abnormal conditions of camera
CN115465293A (en) * 2022-09-06 2022-12-13 湖南大学无锡智能控制研究院 Multi-sensor safety self-cognition and safety processing device and method
WO2024085580A1 (en) * 2022-10-18 2024-04-25 엘지전자 주식회사 Signal processing device and vehicle display device comprising same

Similar Documents

Publication Publication Date Title
KR101848312B1 (en) Sensor fusion system for autonomous emergency braking system in car
US11803026B2 (en) Camera system for intelligent driver assistance system, and driver assistance system and method
US10940869B2 (en) Driving assistance apparatus
US10689007B2 (en) Autonomous vehicle operating apparatus and autonomous vehicle operating method
JP4654208B2 (en) Vehicle environment recognition device
US11767012B2 (en) Camera system for intelligent driver assistance system, and driver assistance system and method
KR101921074B1 (en) Sensor fusion system for controlling autonomous emergency braking in car
US20080015743A1 (en) Method and system for assisting the driver of a motor vehicle in identifying road bumps
KR20200023691A (en) Appartus and method for driving control of vehicle
US10896338B2 (en) Control system
JP2019142246A (en) Vehicle control device
US11554784B2 (en) Vehicle control device, vehicle control method, and storage medium
US20230382371A1 (en) Vehicle for performing minimal risk maneuver and method for operating the same
CN113895433B (en) Forward collision avoidance system and method thereof through sensor angle adjustment
KR20220119229A (en) Advanced Driver Assistance System, and Vehicle having the same
KR20210029859A (en) Vehicle for performing minimal risk maneuver and method of operating the vehicle
US11654931B2 (en) Driving assistance device and vehicle
CN109416887B (en) Vehicle notification device for identifying control object
KR20200082457A (en) Method and apparatus for controlling an alarm output of ADAS
WO2016194135A1 (en) Vehicle control device and vehicle control method
KR20210029358A (en) Vehicle for performing minimal risk maneuver and method of operating the vehicle
KR20210029858A (en) Vehicle for performing minimal risk maneuver and method of operating the vehicle
KR20210029356A (en) Vehicle for performing minimal risk maneuver and method of operating the vehicle
KR20210029357A (en) Vehicle for performing minimal risk maneuver and method of operating the vehicle
WO2023013341A1 (en) In-vehicle system and driving diagnosis program

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant