KR20190040550A - Apparatus for detecting obstacle in vehicle and control method thereof - Google Patents
Apparatus for detecting obstacle in vehicle and control method thereof Download PDFInfo
- Publication number
- KR20190040550A KR20190040550A KR1020170129582A KR20170129582A KR20190040550A KR 20190040550 A KR20190040550 A KR 20190040550A KR 1020170129582 A KR1020170129582 A KR 1020170129582A KR 20170129582 A KR20170129582 A KR 20170129582A KR 20190040550 A KR20190040550 A KR 20190040550A
- Authority
- KR
- South Korea
- Prior art keywords
- obstacle
- vehicle
- radar
- result
- learning
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 24
- 238000001514 detection method Methods 0.000 claims abstract description 26
- 230000004927 fusion Effects 0.000 claims abstract description 20
- 238000013500 data storage Methods 0.000 claims abstract description 14
- 230000002093 peripheral effect Effects 0.000 claims abstract description 4
- 238000013528 artificial neural network Methods 0.000 claims description 6
- 238000010586 diagram Methods 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000000611 regression analysis Methods 0.000 description 2
- 230000033772 system development Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000010485 coping Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 230000007613 environmental effect Effects 0.000 description 1
- 230000007257 malfunction Effects 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 238000012876 topography Methods 0.000 description 1
Images
Classifications
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
- B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
- B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
- B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
- B60R21/013—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
- B60R21/0134—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
- B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/403—Image sensing, e.g. optical camera
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
- B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
- B60W2420/408—Radar; Laser, e.g. lidar
-
- B60W2420/42—
-
- B60W2420/52—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/10—Longitudinal speed
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2520/00—Input parameters relating to overall vehicle dynamics
- B60W2520/14—Yaw
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
- B60W2540/00—Input parameters relating to occupants
- B60W2540/18—Steering angle
-
- B60W2550/10—
-
- B—PERFORMING OPERATIONS; TRANSPORTING
- B60—VEHICLES IN GENERAL
- B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
- B60Y2300/00—Purposes or special features of road vehicle drive control systems
- B60Y2300/08—Predicting or avoiding probable or impending collision
Landscapes
- Engineering & Computer Science (AREA)
- Mechanical Engineering (AREA)
- Automation & Control Theory (AREA)
- Transportation (AREA)
- Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Radar, Positioning & Navigation (AREA)
- Remote Sensing (AREA)
- Traffic Control Systems (AREA)
Abstract
Description
본 발명은 차량에서의 장애물 검출장치 및 그 제어방법에 관한 것으로서, 보다 상세하게는 차량의 전방이나 후방에 장착된 센서들과 차량정보를 기반으로 센서별 인식모델 학습데이터를 구축하여 센서별 학습데이터를 기반으로 물체를 인식하고 결과에 대해 투표하여 최종 결정함으로써 센서인식의 한계 상황에서도 강건한 물체인식 성능을 얻을 수 있고 물리적 한계 상황을 극복할 수 있도록 하는 차량에서의 장애물 검출장치 및 그 제어방법에 관한 것이다. The present invention relates to an obstacle detection apparatus and a control method thereof in a vehicle, and more particularly, to an obstacle detection apparatus and a control method therefor, which construct recognition model learning data for each sensor based on sensors mounted on the front or rear of a vehicle and vehicle information, The present invention relates to an apparatus for detecting an obstacle in a vehicle and a control method therefor, which can obtain robust object recognition performance even under the limit of sensor recognition and overcome physical limitations will be.
최근 차량의 상품성 향상을 위한 목적으로, 차량에 탑승하는 운전자의 편의성을 향상시키기 위한 운전자 보조 시스템들이 차량에 적용되고 있으며, 그 종류는 날이 갈수록 광범위해지고 있다.Recently, for the purpose of improving the commerciality of the vehicle, driver assistance systems for improving the convenience of the driver on board the vehicle have been applied to the vehicle, and the type of the vehicle has been getting wider day by day.
이러한 운전자 보조 시스템은 예를 들어, 적응형 크루즈 컨트롤(ACC; Adaptive Cruise Control)과 같이 주행 중인 차량의 종방향에 대한 속도를 제어해 주거나, 차선 이탈 경보 시스템(LDWS; Lane Departure Warning System)이나 차선 유지 보조 시스템(LKAS; Lane Keeping Assist System)과 같이 주행 중인 차량의 횡방향에 대한 제어를 수행함으로써 운전을 보조해주는 기능을 제공한다.Such an operator assistance system can be used to control the speed of the vehicle in the longitudinal direction, for example, adaptive cruise control (ACC), to control the speed of the lane departure warning system (LDWS) And a function of assisting the driving by controlling the lateral direction of the running vehicle such as the Lane Keeping Assist System (LKAS).
그러나 이러한 ACC 또는 LKAS에서 더 나아가, 차량의 각종 센서들로부터 획득되는 다수의 정보들을 실시간으로 조합(fusion) 활용하여 운전자의 운전을 보조함으로써 편의성을 향상시키는 센서 퓨전 기술이 개발되어 점차적으로 그 적용범위를 늘려가고 있다.However, in the ACC or LKAS, a sensor fusion technique for improving convenience by assisting a driver in operating a plurality of pieces of information obtained from various sensors of a vehicle in real time using fusion has been developed, .
센서 퓨전 기술은 대표적으로 아래와 같은 기술이 있다.Sensor fusion technology is typically described below.
먼저, 스마트 크루즈 컨트롤(SCC; Smart Cruise Control)은 운전자가 희망하는 속도를 설정하면 운전자가 액셀 조작을 하지 않아도 그 속도를 유지하면서 주행하는 정속 주행 장치로서, 오토 드라이브, 오토매틱 스피드 컨트롤, 오토 크루즈 등으로 불리기도 한다. 이러한 스마트 크루즈 컨트롤은 차속 제어와 함께 차간 거리도 컨트롤하며, 선행 차와의 거리를 카메라 센서와 레이더로 감지하여 감지된 데이터들을 조합하여 스로틀과 브레이크를 컴퓨터로 제어함과 동시에 안전거리를 유지하여 주행하도록 하는 기술로 최근 차량에 적용되어 점차 발전하고 있는 기술이다. First, the Smart Cruise Control (SCC) is a cruise control system that travels while maintaining the speed even if the driver does not operate the accelerator when the desired speed is set by the driver. The cruise control system includes an auto drive, an automatic speed control, . This smart cruise control controls both the vehicle speed and the distance between the cars. It detects the distance from the preceding car by the camera sensor and radar, and combines the sensed data to control the throttle and the brake by the computer. At the same time, This is a technology that has been applied to recent vehicles and is developing gradually.
또한, 자동긴급제동(AEB; Autonomous Emergency Braking) 시스템은 주행 중인 차량의 충돌 발생을 자동으로 예측하고, 예측 상황 시 해당 차량의 브레이크 시스템을 긴급하게 작동시킴으로써 충돌을 회피하거나 충돌시의 피해를 경감시키는 시스템이다. 이러한 자동긴급제동 시스템은 차량에 구비된 카메라 센서와 레이더를 통하여 전방의 장애물을 인식하여 충돌 발생을 사전 설정된 알고리즘에 의하여 예측하고, 충돌상황 예측 시 운전자가 브레이크 페달을 밟지 않거나 늦게 밟더라도 최대한의 제동 성능이 발휘되도록 제동계통의 압력을 높이고, 브레이크 패드와 디스크의 간격을 좁히는 등의 사전 준비를 하거나, 또는 자동긴급제동 시스템이 직접 개입하여 스스로 브레이크를 작동함으로써, 사고를 미연에 방지하는 기술이다.In addition, the automatic emergency braking (AEB) system automatically predicts the occurrence of collision of a running vehicle and urgently operates the brake system of the corresponding vehicle in a predicted situation, thereby avoiding collision or reducing the damage at the time of collision System. Such an automatic emergency braking system recognizes an obstacle ahead through a camera sensor and a radar installed in the vehicle, predicts a collision occurrence by a predetermined algorithm, and when the driver does not step on the brake pedal or predicts a collision situation, It is a technique to prevent the accident beforehand by increasing the pressure of the braking system so that the performance can be demonstrated, by making preparations such as narrowing the gap between the brake pads and the disk, or by operating the brakes by themselves with the automatic emergency braking system directly intervening.
이와 같이 센서 퓨전 기술을 응용하는 각종 시스템은 차량에 구비된 카메라 센서와 레이더를 이용하여 차량의 현재 상황을 판단하기 때문에, 카메라 센서와 레이더로부터 수신되는 정보의 신뢰도가 대단히 중요한 요소로서 작용한다. 특히, 센서 퓨전 기술을 응용하는 시스템들은 차량 구동 시에 자동 제어를 수반하기 때문에, 자칫 오작동이 발생하면 큰 사고를 유발할 가능성이 있다.Since various systems applying the sensor fusion technology use the camera sensor and the radar provided in the vehicle to determine the current state of the vehicle, the reliability of the information received from the camera sensor and the radar is a very important factor. In particular, systems employing sensor fusion technology involve automatic control when the vehicle is running, so that malfunctions may cause serious accidents.
예를 들어, 차량 주행 시 발생할 수 있는 환경적인 요소(날씨, 기온 등), 또는 운전 시 차량의 주행 조건(속도, 지형, 도로의 노면 상태 등)에 의하여 판단 기준의 신뢰도가 하락할 수 있으며, 이러한 문제는 운전자의 편의성 향상을 위하여 구비된 시스템들이 오히려 운전자의 안전성을 해칠 수 있는 문제를 유발할 수 있다. 따라서 센서 퓨전 기술을 위하여 차량에 구비되는 카메라 센서와 레이더로부터 수신되는 정보의 신뢰성을 향상시키기 위한 기술의 개발이 요구되고 있다.For example, the reliability of judgment criteria may be deteriorated by the environmental factors (weather, temperature, etc.) that can occur when driving a vehicle, or the driving conditions of the vehicle (speed, topography, road surface condition, etc.) The problem is that systems provided for improving the convenience of the driver may cause a problem that may impair the safety of the driver. Therefore, it is required to develop a technology for improving the reliability of information received from a camera sensor and a radar provided in a vehicle for a sensor fusion technique.
본 발명의 배경기술은 대한민국 공개특허공보 제2017-0022709호(2017.03.02. 공개, 차량 정보 기반 센서퓨전 시스템)에 개시되어 있다. The background art of the present invention is disclosed in Korean Patent Laid-Open Publication No. 2017-0022709 (published on Mar. 23, 2017, Vehicle Information Based Sensor Fusion System).
본 발명은 상기와 같은 요구에 따라 안출된 것으로, 일 측면에 따른 본 발명의 목적은 차량의 전방이나 후방에 장착된 센서들과 차량정보를 기반으로 센서별 인식모델 학습데이터를 구축하여 센서별 학습데이터를 기반으로 물체를 인식하고 결과에 대해 투표하여 최종 결정함으로써 센서인식의 한계 상황에서도 강건한 물체인식 성능을 얻을 수 있고 물리적 한계 상황을 극복할 수 있도록 하는 차량에서의 장애물 검출장치 및 그 제어방법을 제공하는 것이다. SUMMARY OF THE INVENTION The present invention has been made in view of the above-mentioned needs, and it is an object of the present invention to provide a sensor-based recognition learning data for each sensor based on sensors mounted on the front or rear of a vehicle and vehicle information, An obstacle detection apparatus and a control method thereof in a vehicle that can obtain robust object recognition performance even in the limit of sensor recognition and overcome a physical limit situation by recognizing an object based on data and finally determining a result by voting .
본 발명의 일 측면에 따른 차량에서의 장애물 검출장치는, 촬영 영상으로부터 장애물을 감지하는 카메라; 전자기파를 송신하여 장애물을 감지하는 레이더; 차량 제어부로부터 차량정보를 입력받는 차량정보 입력부; 센서별 물체 인식을 위한 인식모델의 학습데이터를 저장하는 학습데이터 저장부; 카메라와 레이더를 통해 감지되는 감지결과와 차량정보를 기반으로 장애물을 검출하기 위한 검출데이터를 수집하고, 검출데이터에 대해 학습 알고리즘을 통해 물체 인식 모델에 따라 학습한 학습데이터를 학습데이터 저장부에 저장한 후 학습 모델을 기반으로 카메라와 레이더를 통해 각각 물체를 인식한 결과와 센서퓨전 알고리즘에 의해 물체를 인식한 결과 중 어느 하나를 최종 인식 결과로 선정하는 제어부; 및 제어부에서 선정한 최종 인식 결과를 주변 제어장치에 출력하는 출력부;를 포함하는 것을 특징으로 한다. An apparatus for detecting an obstacle in a vehicle according to an aspect of the present invention includes: a camera for detecting an obstacle from an imaged image; A radar for transmitting an electromagnetic wave to detect an obstacle; A vehicle information input unit that receives vehicle information from the vehicle control unit; A learning data storage unit for storing learning data of a recognition model for object recognition per sensor; The detection data for detecting obstacles based on the detection result and the vehicle information sensed by the camera and the radar are collected and the learning data learned in accordance with the object recognition model through the learning algorithm for the detected data is stored in the learning data storage A control unit for selecting one of a result of recognition of an object through a camera and a radar based on a learning model and a result of recognition of an object by a sensor fusion algorithm as a final recognition result; And an output unit for outputting the final recognition result selected by the control unit to the peripheral control unit.
본 발명에서 차량정보는 차속, 조향각, 요레이트 중 어느 하나 이상을 포함하는 것을 특징으로 한다. The present invention is characterized in that the vehicle information includes at least one of a vehicle speed, a steering angle, and a yaw rate.
본 발명에서 학습 알고리즘은 심층 신경망(Deep Neural Network) 알고리즘인 것을 특징으로 한다. The learning algorithm in the present invention is characterized by being a Deep Neural Network algorithm.
본 발명에서 제어부는 물체 인식 결과에 대해 상호 투표를 통해 최종 결과를 선정하는 것을 특징으로 한다. In the present invention, the control unit selects a final result through mutual vote on the object recognition result.
본 발명의 다른 측면에 따른 차량에서의 장애물 검출장치의 제어방법은 제어부가 카메라와 레이더를 통해 감지되는 감지결과와 차량정보를 기반으로 장애물을 검출하기 위한 검출데이터를 수집하는 단계; 제어부가 수집된 검출데이터를 기반으로 학습 알고리즘을 통해 물체 인식 모델에 따라 학습한 학습데이터를 학습데이터 저장부에 저장하는 단계; 제어부가 학습 모델을 기반으로 카메라와 레이더를 통해 각각 물체를 인식하고, 센서퓨전 알고리즘에 의해 물체를 인식하는 단계; 및 제어부가 카메라와 레이더를 통해 물체를 인식한 결과와 센서퓨전 알고리즘을 통해 물체를 인식한 결과 중 어느 하나를 최종 인식 결과로 선정하여 출력하는 단계;를 포함하는 것을 특징으로 한다. According to another aspect of the present invention, there is provided a method of controlling an obstacle detecting apparatus in a vehicle, the method comprising: collecting detection data for detecting an obstacle based on a detection result and a vehicle information detected by a controller and a radar; Storing the learning data learned by the controller in the learning data storage unit according to the object recognition model through the learning algorithm based on the collected detection data; The control unit recognizing the object through the camera and the radar based on the learning model, and recognizing the object by the sensor fusion algorithm; And a controller for selecting one of a result of recognizing the object through the camera and the radar and a result of recognizing the object through the sensor fusion algorithm as a final recognition result and outputting the selected result.
본 발명에서 차량정보는 차속, 조향각, 요레이트 중 어느 하나 이상을 포함하는 것을 특징으로 한다. The present invention is characterized in that the vehicle information includes at least one of a vehicle speed, a steering angle, and a yaw rate.
본 발명에서 학습 알고리즘은 심층 신경망(Deep Neural Network) 알고리즘인 것을 특징으로 한다. The learning algorithm in the present invention is characterized by being a Deep Neural Network algorithm.
본 발명에서 최종 인식 결과를 선정하여 출력하는 단계는, 제어부가 물체 인식 결과에 대해 상호 투표를 통해 최종 인식 결과를 선정하는 것을 특징으로 한다. In the step of selecting and outputting the final recognition result, the control unit selects the final recognition result through mutual vote on the object recognition result.
본 발명의 일 측면에 따른 차량에서의 장애물 검출장치 및 그 제어방법은 차량의 전방이나 후방에 장착된 센서들과 차량정보를 기반으로 센서별 인식모델 학습데이터를 구축하여 센서별 학습데이터를 기반으로 물체를 인식하고 결과에 대해 투표하여 최종 결정함으로써 센서인식의 한계 상황에서도 강건한 물체인식 성능을 얻을 수 있고 물리적 한계 상황을 극복할 수 있다. An obstacle detection apparatus and a control method thereof in a vehicle according to an aspect of the present invention construct recognition model learning data for each sensor based on sensors mounted on the front or rear of a vehicle and vehicle information, By recognizing the object and voting for the result, the robust object recognition performance can be obtained even in the limit of the sensor recognition and the physical limit situation can be overcome.
도 1은 본 발명의 일 실시예에 따른 차량에서의 장애물 검출장치를 나타낸 블록 구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량에서의 장애물 검출장치의 제어방법을 설명하기 위한 흐름도이다. 1 is a block diagram showing an apparatus for detecting an obstacle in a vehicle according to an embodiment of the present invention.
2 is a flowchart illustrating a method of controlling an obstacle detecting apparatus in a vehicle according to an embodiment of the present invention.
이하, 첨부된 도면들을 참조하여 본 발명에 따른 차량에서의 장애물 검출장치 및 그 제어방법을 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.Hereinafter, an apparatus and method for detecting an obstacle in a vehicle according to the present invention will be described with reference to the accompanying drawings. In this process, the thicknesses of the lines and the sizes of the components shown in the drawings may be exaggerated for clarity and convenience of explanation. In addition, the terms described below are defined in consideration of the functions of the present invention, which may vary depending on the intention or custom of the user, the operator. Therefore, definitions of these terms should be made based on the contents throughout this specification.
도 1은 본 발명의 일 실시예에 따른 차량에서의 장애물 검출장치를 나타낸 블록 구성도이다. 1 is a block diagram showing an apparatus for detecting an obstacle in a vehicle according to an embodiment of the present invention.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 차량에서의 장애물 검출장치는, 카메라(10), 레이더(20), 차량정보 입력부(30), 학습데이터 저장부(50), 제어부(40) 및 출력부(60)를 포함할 수 있다. 1, an apparatus for detecting an obstacle in a vehicle according to an embodiment of the present invention includes a
카메라(10)는 차량의 전방이나 후방에 설치되어 촬영 영상으로부터 장애물을 감지할 수 있도록 촬영 영상을 제어부(40)에 제공할 수 있다. The
레이더(20)는 차량의 전방이나 후방에 설치되어 전자기파를 송신하여 장애물을 감지할 수 있도록 감지결과를 제어부(40)에 제공할 수 있다. The
차량정보 입력부(30)는 차량 제어부(미도시)로부터 차량정보를 입력받아 제어부(40)에 제공한다.The vehicle
차량정보 입력부(30)로부터 입력받은 차량정보는 차속, 조향각, 요레이트 중 어느 하나 이상을 포함하여 카메라(10) 및 레이더(20)를 통해 장애물을 감지할 때 센서퓨전 알고리즘에 적용될 수 있다. The vehicle information input from the vehicle
학습데이터 저장부(50)는 센서별 물체 인식을 위한 인식모델의 학습데이터를 저장한다. The learning
이와 같이 빅데이터를 통해 장애물 정보를 기반으로 물체 인식 모델을 학습함으로써 센서의 인식 한계상황 예를 들어, 안개, 눈, 비, 역광, 저조도 등의 상황에서도 물체 인식 모델에 의한 학습데이터를 기반으로 물체를 인식할 수 있도록 한다. By learning the object recognition model based on the obstacle information through the big data like this, it is possible to detect the object of the object based on the learning data by the object recognition model even in the case of the recognition limit state of the sensor, for example, fog, eye, rain, backlight, .
제어부(40)는 카메라(10)와 레이더(20)를 통해 감지되는 감지결과와 차량정보를 기반으로 장애물을 검출하기 위한 검출데이터를 수집하고, 검출데이터에 대해 학습 알고리즘을 통해 물체 인식 모델에 따라 학습한 학습데이터를 학습데이터 저장부(50)에 저장한 후 학습 모델을 기반으로 카메라(10)와 레이더(20)를 통해 각각 물체를 인식한 결과와 센서퓨전 알고리즘에 의해 물체를 인식한 결과 중 어느 하나를 최종 결과로 선정한다. The
제어부(40)는 카메라(10), 레이더(20) 및 차량정보를 모두 이용하여 신뢰성 있는 검출데이터를 수집하여 학습 알고리즘으로 심층 신경망(Deep Neural Network) 알고리즘을 이용하여 물체 인식 모델에 따라 학습한 학습데이터를 생성할 수 있다. 이는 시스템 개발 중 취득한 빅데이터를 기반으로 생성할 수 있다. The
따라서 운전자 주행특성, 전문가에 의한 판단, 회귀분석 및 감지결과에 기초한 판단 등이 학습될 수 있다. Therefore, driver driving characteristics, judgment by experts, regression analysis, and judgment based on detection results can be learned.
또한, 제어부(40)는 카메라(10)와 레이더(20)를 통해 각각 물체를 인식한 결과와 센서퓨전 알고리즘에 의해 물체를 인식한 결과에 대해 상호 투표를 통해 최종 결과를 선정할 수 있다. In addition, the
따라서 센서 중 어느 하나에서 오류가 발생하더라도 학습데이터와 센서퓨전 알고리즘을 통해 물체를 인식하고 최적의 결과를 선정할 수 있다. Therefore, even if an error occurs in any one of the sensors, it is possible to recognize the object through the learning data and the sensor fusion algorithm and to select the optimum result.
또한, 이와 같이 다중 센서 기술을 사용함에 있어 단일 센서만으로 대처하지 못하는 위험상황을 대처 극복할 수 있도록 할 수 있다. In addition, in using the multi-sensor technology, it is possible to overcome the risk of not coping with a single sensor.
출력부(60)는 제어부(40)에서 선정한 최종 결과를 자동긴급제동 시스템이나 스마트 크루즈 콘트롤 시스템으로 출력하여 장애물 인식 결과를 활용할 수 있도록 한다. The
상술한 바와 같이, 본 발명의 실시예에 의한 차량에서의 장애물 검출장치에 따르면, 차량의 전방이나 후방에 장착된 센서들과 차량정보를 기반으로 센서별 인식모델 학습데이터를 구축하여 센서별 학습데이터를 기반으로 물체를 인식하고 결과에 대해 투표하여 최종 결정함으로써 센서인식의 한계 상황에서도 강건한 물체인식 성능을 얻을 수 있고 물리적 한계 상황을 극복할 수 있다. As described above, according to the obstacle detecting apparatus in the vehicle according to the embodiment of the present invention, the recognition model learning data for each sensor is constructed based on the sensors mounted on the front or rear of the vehicle and the vehicle information, Based on the recognition of the object and the result is determined by voting, the robust object recognition performance can be obtained even in the limit of sensor recognition, and the physical limit situation can be overcome.
도 2는 본 발명의 일 실시예에 따른 차량에서의 장애물 검출장치의 제어방법을 설명하기 위한 흐름도이다. 2 is a flowchart illustrating a method of controlling an obstacle detecting apparatus in a vehicle according to an embodiment of the present invention.
도 2에 도시된 바와 같이 차량에서의 장애물 검출장치의 제어방법에서는, 먼저, 제어부(40)가 카메라(10)와 레이더(20)를 통해 감지되는 감지결과와 차량정보를 기반으로 장애물을 검출하기 위한 검출데이터를 수집한다(S10). 2, in the control method of the obstacle detecting device in the vehicle, first, the
여기서 차량정보는 차속, 조향각, 요레이트 중 어느 하나 이상을 포함할 수 있다. Here, the vehicle information may include at least one of a vehicle speed, a steering angle, and a yaw rate.
S10 단계에서 수집된 검출데이터를 기반으로 제어부(40)는 학습 알고리즘으로 심층 신경망(Deep Neural Network) 알고리즘을 이용하여 센서별 물체 인식 모델에 따라 학습한 학습데이터를 생성하여 학습데이터 저장부(50)에 저장한다(S20). Based on the detection data collected in step S10, the
이러한 과정은 시스템의 개발 중 취득한 빅데이터를 통해 장애물 정보를 기반으로 물체 인식 모델을 학습함으로써 센서의 인식 한계상황 예를 들어, 안개, 눈, 비, 역광, 저조도 등의 상황에서도 물체 인식 모델에 의한 학습데이터를 기반으로 물체를 인식할 수 있도록 한다. In this process, object recognition model is learned based on obstacle information through big data acquired during system development, so that it is possible to detect the object by using object recognition model even in situations such as fog, eye, rain, backlight, Allows objects to be recognized based on learning data.
따라서 운전자 주행특성, 전문가에 의한 판단, 회귀분석 및 감지결과에 기초한 판단 등이 학습될 수 있다. Therefore, driver driving characteristics, judgment by experts, regression analysis, and judgment based on detection results can be learned.
S20 단계에서 학습데이터 저장부(50)에 빅데이터의 딥러닝 기법으로 물체 인식 모델에 따른 학습데이터를 저장한 후, 제어부(40)는 학습데이터 저장부(50)에 저장된 학습데이터를 이용하여 카메라(10)와 레이더(20)를 통해 입력되는 감지결과를 통해 물체를 인식한다(S30). After storing the learning data in accordance with the object recognition model in the learning
또한 제어부(40)는 센서퓨전 알고리즘을 기반으로 카메라(10), 레이더(20) 및 차량정보로부터 물체를 인식할 수 있다. Further, the
이와 같이 S30 단계에서 카메라(10)와 레이더(20)를 통해 물체를 인식한 결과와 센서퓨전 알고리즘을 통해 물체를 인식한 결과는, 제어부(40)가 상호 투표를 통해 최종 인식 결과를 선정한다(S40). As described above, the
이후 제어부(40)는 S40 단계에서 선정된 최종 인식 결과를 자동긴급제동 시스템이나 스마트 크루즈 콘트롤 시스템 등의 주변제어장치로 출력하여 장애물 인식 결과를 활용할 수 있도록 한다(S50). Thereafter, the
상술한 바와 같이, 본 발명의 실시예에 의한 차량에서의 장애물 검출장치의 제어방법에 따르면, 차량의 전방이나 후방에 장착된 센서들과 차량정보를 기반으로 센서별 인식모델 학습데이터를 구축하여 센서별 학습데이터를 기반으로 물체를 인식하고 결과에 대해 투표하여 최종 결정함으로써 센서인식의 한계 상황에서도 강건한 물체인식 성능을 얻을 수 있고 물리적 한계 상황을 극복할 수 있다. As described above, according to the control method of the obstacle detecting apparatus in the vehicle according to the embodiment of the present invention, the recognition model learning data for each sensor is constructed based on the sensors mounted on the front or rear of the vehicle and the vehicle information, By recognizing the object based on the learning data and voting for the result by final decision, robust object recognition performance can be obtained even in the limit of sensor recognition and the physical limit situation can be overcome.
본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it will be understood by those of ordinary skill in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. I will understand.
따라서 본 발명의 진정한 기술적 보호범위는 아래의 청구범위에 의해서 정하여져야 할 것이다.Accordingly, the true scope of the present invention should be determined by the following claims.
10 : 카메라 20 : 레이더
30 : 차량정보 입력부 40 : 제어부
50 : 학습데이터 저장부 60 : 출력부10: camera 20: radar
30: vehicle information input unit 40:
50: learning data storage unit 60: output unit
Claims (8)
전자기파를 송신하여 장애물을 감지하는 레이더;
차량 제어부로부터 차량정보를 입력받는 차량정보 입력부;
센서별 물체 인식을 위한 인식모델의 학습데이터를 저장하는 학습데이터 저장부;
상기 카메라와 상기 레이더를 통해 감지되는 감지결과와 상기 차량정보를 기반으로 장애물을 검출하기 위한 검출데이터를 수집하고, 상기 검출데이터에 대해 학습 알고리즘을 통해 물체 인식 모델에 따라 학습한 학습데이터를 학습데이터 저장부에 저장한 후 학습 모델을 기반으로 상기 카메라와 상기 레이더를 통해 각각 물체를 인식한 결과와 센서퓨전 알고리즘에 의해 물체를 인식한 결과 중 어느 하나를 최종 인식 결과로 선정하는 제어부; 및
상기 제어부에서 선정한 상기 최종 인식 결과를 주변 제어장치에 출력하는 출력부;를 포함하는 것을 특징으로 하는 차량에서의 장애물 검출장치.
A camera for detecting an obstacle from a photographed image;
A radar for transmitting an electromagnetic wave to detect an obstacle;
A vehicle information input unit that receives vehicle information from the vehicle control unit;
A learning data storage unit for storing learning data of a recognition model for object recognition per sensor;
And acquires detection data for detecting an obstacle on the basis of the detection result sensed through the camera and the radar and the obstacle on the basis of the vehicle information and supplies learning data learned in accordance with the object recognition model to the detection data, A controller for selecting one of a result of recognizing an object through the camera and the radar and a result of recognizing an object by a sensor fusion algorithm based on a learning model after being stored in a storage unit; And
And an output unit for outputting the final recognition result selected by the control unit to the peripheral control unit.
The obstacle detecting device according to claim 1, wherein the vehicle information includes at least one of a vehicle speed, a steering angle, and a yaw rate.
The apparatus of claim 1, wherein the learning algorithm is a Deep Neural Network algorithm.
The apparatus according to claim 1, wherein the controller selects the final recognition result through mutual vote on the object recognition result.
상기 제어부가 수집된 상기 검출데이터를 기반으로 학습 알고리즘을 통해 물체 인식 모델에 따라 학습한 학습데이터를 학습데이터 저장부에 저장하는 단계;
상기 제어부가 학습 모델을 기반으로 상기 카메라와 상기 레이더를 통해 각각 물체를 인식하고, 센서퓨전 알고리즘에 의해 물체를 인식하는 단계; 및
상기 제어부가 상기 카메라와 상기 레이더를 통해 물체를 인식한 결과와 상기 센서퓨전 알고리즘을 통해 물체를 인식한 결과 중 어느 하나를 최종 인식 결과로 선정하여 출력하는 단계;를 포함하는 것을 특징으로 하는 차량에서의 장애물 검출장치의 제어방법.
Collecting detection data for detecting an obstacle based on the detection result and the vehicle information detected by the controller and the radar;
Storing the learning data learned in the learning data storage unit according to the object recognition model through the learning algorithm based on the collected detection data;
Recognizing an object through the camera and the radar based on a learning model, and recognizing an object by a sensor fusion algorithm; And
And selecting and outputting one of a result of recognizing an object through the camera and the radar and a result of recognizing an object through the sensor fusion algorithm as a final recognition result by the control unit Of the obstacle detection device.
6. The method according to claim 5, wherein the vehicle information includes at least one of a vehicle speed, a steering angle, and a yaw rate.
6. The method according to claim 5, wherein the learning algorithm is a Deep Neural Network algorithm.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170129582A KR102299825B1 (en) | 2017-10-11 | 2017-10-11 | Apparatus for detecting obstacle in vehicle and control method thereof |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| KR1020170129582A KR102299825B1 (en) | 2017-10-11 | 2017-10-11 | Apparatus for detecting obstacle in vehicle and control method thereof |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| KR20190040550A true KR20190040550A (en) | 2019-04-19 |
| KR102299825B1 KR102299825B1 (en) | 2021-09-08 |
Family
ID=66283286
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| KR1020170129582A KR102299825B1 (en) | 2017-10-11 | 2017-10-11 | Apparatus for detecting obstacle in vehicle and control method thereof |
Country Status (1)
| Country | Link |
|---|---|
| KR (1) | KR102299825B1 (en) |
Cited By (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN110422173A (en) * | 2019-07-11 | 2019-11-08 | 惠州市德赛西威智能交通技术研究院有限公司 | A kind of environment recognition methods |
| KR20200137859A (en) | 2019-05-31 | 2020-12-09 | 현대엠시스템즈 주식회사 | obstacle detecting device and its method for vehicle |
| KR20210016940A (en) * | 2019-08-06 | 2021-02-17 | 현대모비스 주식회사 | Autonomous emergency braking apparatus and control method thereof |
| WO2021046962A1 (en) * | 2019-09-09 | 2021-03-18 | 中车南京浦镇车辆有限公司 | Detection system and detection method for obstacle between shielding door and vehicle body |
| CN112528771A (en) * | 2020-11-27 | 2021-03-19 | 深兰科技（上海）有限公司 | Obstacle detection method, obstacle detection device, electronic device, and storage medium |
| CN112797990A (en) * | 2020-12-24 | 2021-05-14 | 深圳市优必选科技股份有限公司 | Storage medium, robot and navigation bitmap generation method and device thereof |
| KR20210072176A (en) * | 2019-12-06 | 2021-06-17 | 한국전자기술연구원 | Apparatus for detecting interference objects based on deep learning in wireless power transmission and method therefor |
| KR20220014477A (en) | 2020-07-28 | 2022-02-07 | 현대엠시스템즈 주식회사 | Construction Equipment Safety System using AI Algorithm and Detection Sensors and environment sensors |
| CN114312812A (en) * | 2022-03-04 | 2022-04-12 | 国汽智控(北京)科技有限公司 | Vehicle control method and device based on dynamic perception and electronic equipment |
| CN114413880A (en) * | 2021-12-31 | 2022-04-29 | 上海智能网联汽车技术中心有限公司 | Vehicle-road cooperative sensing and data fusion method, medium and automatic driving system |
| KR102423218B1 (en) * | 2021-07-16 | 2022-07-20 | 한국건설기술연구원 | System and method for simultaneously detecting road damage and moving obstacles using deep neural network, and a recording medium recording a computer readable program for executing the method. |
| KR20230081807A (en) | 2021-11-29 | 2023-06-08 | 현대엠시스템즈 주식회사 | Systems and Methods for Improving Object Detection/Classification and Object Distance Measurement Performance Through Sensor Fusion |
| KR102625104B1 (en) * | 2022-10-20 | 2024-01-16 | 한국자동차연구원 | Camera Image Compensation Apparatus and Method Thereof |
Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000329852A (en) * | 1999-05-17 | 2000-11-30 | Nissan Motor Co Ltd | Obstacle recognition device |
| KR20170055138A (en) * | 2015-11-11 | 2017-05-19 | 현대모비스 주식회사 | Method for detecting obstacles in front of the vehicle radar |
-
2017
- 2017-10-11 KR KR1020170129582A patent/KR102299825B1/en active IP Right Grant
Patent Citations (2)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP2000329852A (en) * | 1999-05-17 | 2000-11-30 | Nissan Motor Co Ltd | Obstacle recognition device |
| KR20170055138A (en) * | 2015-11-11 | 2017-05-19 | 현대모비스 주식회사 | Method for detecting obstacles in front of the vehicle radar |
Cited By (15)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| KR20200137859A (en) | 2019-05-31 | 2020-12-09 | 현대엠시스템즈 주식회사 | obstacle detecting device and its method for vehicle |
| CN110422173A (en) * | 2019-07-11 | 2019-11-08 | 惠州市德赛西威智能交通技术研究院有限公司 | A kind of environment recognition methods |
| KR20210016940A (en) * | 2019-08-06 | 2021-02-17 | 현대모비스 주식회사 | Autonomous emergency braking apparatus and control method thereof |
| WO2021046962A1 (en) * | 2019-09-09 | 2021-03-18 | 中车南京浦镇车辆有限公司 | Detection system and detection method for obstacle between shielding door and vehicle body |
| KR20210072176A (en) * | 2019-12-06 | 2021-06-17 | 한국전자기술연구원 | Apparatus for detecting interference objects based on deep learning in wireless power transmission and method therefor |
| KR20220014477A (en) | 2020-07-28 | 2022-02-07 | 현대엠시스템즈 주식회사 | Construction Equipment Safety System using AI Algorithm and Detection Sensors and environment sensors |
| CN112528771A (en) * | 2020-11-27 | 2021-03-19 | 深兰科技（上海）有限公司 | Obstacle detection method, obstacle detection device, electronic device, and storage medium |
| CN112797990A (en) * | 2020-12-24 | 2021-05-14 | 深圳市优必选科技股份有限公司 | Storage medium, robot and navigation bitmap generation method and device thereof |
| WO2022134937A1 (en) * | 2020-12-24 | 2022-06-30 | 深圳市优必选科技股份有限公司 | Storage medium, robot, and navigation bitmap generation method and device therefor |
| KR102423218B1 (en) * | 2021-07-16 | 2022-07-20 | 한국건설기술연구원 | System and method for simultaneously detecting road damage and moving obstacles using deep neural network, and a recording medium recording a computer readable program for executing the method. |
| WO2023286917A1 (en) * | 2021-07-16 | 2023-01-19 | 한국건설기술연구원 | System and method for detecting both road surface damage and obstacles by using deep neural network, and recording medium in which computer-readable program for executing same method is recorded |
| KR20230081807A (en) | 2021-11-29 | 2023-06-08 | 현대엠시스템즈 주식회사 | Systems and Methods for Improving Object Detection/Classification and Object Distance Measurement Performance Through Sensor Fusion |
| CN114413880A (en) * | 2021-12-31 | 2022-04-29 | 上海智能网联汽车技术中心有限公司 | Vehicle-road cooperative sensing and data fusion method, medium and automatic driving system |
| CN114312812A (en) * | 2022-03-04 | 2022-04-12 | 国汽智控(北京)科技有限公司 | Vehicle control method and device based on dynamic perception and electronic equipment |
| KR102625104B1 (en) * | 2022-10-20 | 2024-01-16 | 한국자동차연구원 | Camera Image Compensation Apparatus and Method Thereof |
Also Published As
| Publication number | Publication date |
|---|---|
| KR102299825B1 (en) | 2021-09-08 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102299825B1 (en) | Apparatus for detecting obstacle in vehicle and control method thereof | |
| CN108986540B (en) | Vehicle control system and method, and driving assistance server | |
| US9081387B2 (en) | Method and device for the prediction and adaptation of movement trajectories of motor vehicles | |
| EP3052961B1 (en) | Adaptive cruise control with on-ramp detection | |
| KR102161432B1 (en) | Autonomous braking failure management when protecting pedestrians | |
| US11400929B2 (en) | Method and apparatus for vision based lateral acceleration prediction | |
| US9399397B2 (en) | Cruise control apparatus | |
| US9771070B2 (en) | Method and system for controlling a host vehicle | |
| JP6404634B2 (en) | Consistent behavior generation of predictive advanced driver assistance systems | |
| US9569968B2 (en) | Method and device for the automated braking and steering of a vehicle | |
| US11052910B2 (en) | Vehicle control apparatus | |
| KR101552017B1 (en) | Performance enhanced driver assistance systems and controlling method for the same | |
| US11999373B2 (en) | Operating method for an autonomously operatable device, and an autonomously operatable device | |
| CN110087965A (en) | System for vehicle | |
| JP7416144B2 (en) | Operation takeover control device, method and program | |
| KR20200115827A (en) | Driver assistance system, and control method for the same | |
| JP5067320B2 (en) | Inter-vehicle distance control device | |
| KR101511860B1 (en) | Driver assistance systems and controlling method for the same | |
| US11591021B2 (en) | Method for preparing and/or performing a steering intervention that assists the driver of a vehicle | |
| KR101991734B1 (en) | Method and apparatus for switching driving mode of vehicle | |
| US20240199072A1 (en) | Method for operating an assistance system, and assistance system | |
| JP2019164812A (en) | Vehicle control system and method, and travel support server | |
| US20180148045A1 (en) | Driver assistance system having controller and controlling method thereof | |
| KR101511861B1 (en) | Driver assistance systems and controlling method for the same | |
| JP5071309B2 (en) | Vehicle speed control device |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A201 | Request for examination | ||
| E902 | Notification of reason for refusal | ||
| E701 | Decision to grant or registration of patent right | ||
| GRNT | Written decision to grant |