KR101515482B1 - Driving assist device according as the risk of obstacles around the vehicle and method thereof - Google Patents

Driving assist device according as the risk of obstacles around the vehicle and method thereof Download PDF

Info

Publication number
KR101515482B1
KR101515482B1 KR1020130155719A KR20130155719A KR101515482B1 KR 101515482 B1 KR101515482 B1 KR 101515482B1 KR 1020130155719 A KR1020130155719 A KR 1020130155719A KR 20130155719 A KR20130155719 A KR 20130155719A KR 101515482 B1 KR101515482 B1 KR 101515482B1
Authority
KR
South Korea
Prior art keywords
obstacle
vehicle
risk
driving support
around
Prior art date
Application number
KR1020130155719A
Other languages
Korean (ko)
Inventor
정용무
민수영
이상엽
주현태
Original Assignee
전자부품연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 전자부품연구원 filed Critical 전자부품연구원
Priority to KR1020130155719A priority Critical patent/KR101515482B1/en
Application granted granted Critical
Publication of KR101515482B1 publication Critical patent/KR101515482B1/en

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/013Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over
    • B60R21/0134Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting collisions, impending collisions or roll-over responsive to imminent contact with an obstacle, e.g. using radar systems
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08Interaction between the driver and the control system
    • B60W50/14Means for informing the driver, warning the driver or prompting a driver intervention
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/60Type of objects
    • G06V20/64Three-dimensional objects
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/10Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used
    • B60R2300/105Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of camera system used using multiple cameras
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60RVEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R2300/00Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle
    • B60R2300/30Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing
    • B60R2300/301Details of viewing arrangements using cameras and displays, specially adapted for use in a vehicle characterised by the type of image processing combining image information with other obstacle sensor information, e.g. using RADAR/LIDAR/SONAR sensors for estimating risk of collision

Abstract

The present invention relates to a driving assistance device considering a risk of obstacles around a vehicle and an operation method thereof. The driving assistance device comprises: an acquisition unit acquiring surrounding images including the obstacles around the vehicle; a control unit extracting the obstacle from the surrounding images, calculating the risk of the extracted obstacles, and determining a warning level depending on the calculated risk; and a warning unit giving a warning to a driver by outputting a different warning signal in accordance with the warning level determined from the control unit.

Description

차량 주변의 장애물 위험도를 고려한 운전 지원 장치 및 그 동작 방법{Driving assist device according as the risk of obstacles around the vehicle and method thereof}BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a driving assist device and a driving assist device,

본 발명은 운전 지원 장치에 관한 것으로, 특히 차량 주변의 장애물 위험도를 고려한 운전 지원 기술에 관한 것이다. BACKGROUND OF THE INVENTION 1. Field of the Invention [0001] The present invention relates to a driving support apparatus, and more particularly, to a driving support technique that takes into consideration the risk of an obstacle around a vehicle.

일반적으로, 차량 주행 시 또는 주차 시 차량의 후방이나 측방에 위치한 다른 차량이나 물체의 움직임을 운전자가 인지하기 위해서는 차량의 후방이나 측방을 볼 수 있는 차량 미러(예를 들어, 백미러 및 사이드 미러)를 이용한다. 그러나, 이와 같은 차량 미러로는 운전자가 차량 주변의 사각지대의 상황을 상세하게 알 수 없다. Generally, in order for a driver to recognize the movement of another vehicle or an object located at the rear or side of the vehicle when the vehicle is running or when the vehicle is parked, a vehicle mirror (for example, a rearview mirror and a side mirror) . However, with such a vehicle mirror, the driver can not know the details of the blind spot around the vehicle.

이와 같은 이유로 최근 들어, 차량 범퍼에는 차량의 후진 또는 주차 시 장애물 또는 사람과의 충돌에 의한 안전사고를 예방하기 위해 차량용 장애물 감지 장치가 구비된다. 장애물 감지 장치는 차량에 장착된 센서를 이용하여 차량 주변의 장애물 존재 여부를 감지하여 이를 경보음 또는 표시등으로 운전자에게 알린다. 이 장애물 감지 장치에는 주로 초음파 센서가 이용된다. 구체적으로, 장애물 감지 장치는 초음파 센서를 통해 특정 대역의 초음파를 송출하고, 장애물에 반사되는 특정 대역의 초음파 신호를 수신하여 차량의 후방에 존재하는 장애물의 접근 방향 및 접근 거리를 판단한다. 장애물이 일정 거리 이내에 접근하면 장애물 감지 장치는 운전자에게 장애물의 존재 정보를 제공하여 각종 접촉사고 등의 안전사고를 예방한다.For this reason, in recent years, a vehicle bumper is provided with an obstacle detecting device for a vehicle in order to prevent a safety accident caused by a collision with an obstacle or a person when the vehicle is backed up or parked. The obstacle detecting device detects the presence of an obstacle around the vehicle using a sensor mounted on the vehicle, and notifies the driver of the presence of an obstacle by an alarm sound or an indicator. Ultrasonic sensors are mainly used for this obstacle detection device. Specifically, the obstacle sensing device transmits an ultrasonic wave of a specific band through an ultrasonic sensor, receives an ultrasonic signal of a specific band reflected by the obstacle, and determines an approach direction and an approach distance of an obstacle existing behind the vehicle. When the obstacle approaches within a certain distance, the obstacle detection device provides the information of the obstacle to the driver to prevent safety accidents such as various contact accidents.

그러나, 이러한 장애물 감지 장치는 차량 주변의 장애물 유무 및 차량과 장애물 간의 거리만을 감지하여 운전자에게 장애물의 존재 정보를 제공할 뿐, 장애물의 특성에 따른 사고 위험도를 고려하지 않는다.However, such an obstacle detection device only detects the presence of an obstacle around the vehicle and the distance between the vehicle and the obstacle, and provides information on the presence of the obstacle to the driver, but does not consider the accident risk according to the characteristics of the obstacle.

본 발명은 장애물의 특성을 고려한 사고 위험도에 따라 경고 수준을 달리할 수 있도록 하는 기술적 방안을 제공함을 목적으로 한다.An object of the present invention is to provide a technical solution that can change the warning level according to the accident risk in consideration of the characteristics of obstacles.

전술한 과제를 달성하기 위한 본 발명의 일 양상에 따른 위험도를 고려한 운전 지원 장치는 차량 주변의 장애물이 포함된 주변 영상을 획득하는 획득부, 상기 주변 영상로부터 상기 장애물을 추출하고, 추출된 상기 장애물의 위험도를 산출하며, 산출된 상기 위험도별로 경고 수준을 판단하는 제어부, 및 상기 제어부에서 판단된 상기 경고 수준에 따라 경고 신호를 달리 출력하여 운전자에게 경고하는 경고부를 포함하되, 상기 제어부는 상기 차량을 기준으로 상기 장애물의 특성, 상기 장애물의 위치 중 적어도 하나를 고려하여 상기 위험도를 산출한다.According to an aspect of the present invention, there is provided a driving assistance apparatus including an acquisition unit for acquiring a surrounding image including an obstacle around a vehicle, an extraction unit for extracting the obstacle from the surrounding image, And a warning unit for outputting a warning signal differently according to the warning level determined by the control unit and alerting the driver to the driver, The risk is calculated in consideration of at least one of the characteristics of the obstacle and the position of the obstacle.

여기서, 상기 촬영부는 상기 주변 영상을 일정 시간 단위로 다수 획득하며, 상기 제어부는 상기 일정 시간 단위로 획득되는 상기 주변 영상들을 이용하여 획득되는 상기 차량과 상기 장애물 간의 거리 변화를 더 고려하여 상기 위험도를 산출하며, 상기 장애물의 특성을 사람, 사물, 어린이, 성인, 고령인, 고정 물체 및 이동 물체 중 적어도 하나로 구분하여 상기 위험도를 산출한다.Here, the photographing unit may acquire a plurality of the surrounding images on a predetermined time basis, and the controller may further calculate the risk by taking into consideration a distance change between the vehicle and the obstacle, And the risk is calculated by dividing the characteristic of the obstacle into at least one of a person, an object, a child, an adult, an elderly person, a fixed object, and a moving object.

나아가, 상기 촬영부는 상기 차량의 전방, 후방, 좌측방 및 우측방 중 적어도 하나의 방향을 촬영하는 하나 이상의 카메라를 포함하는 어라운드 뷰 시스템(Around View System, AVM)용 카메라이다.Further, the photographing unit is a camera for an Around View System (AVM) including at least one camera that photographs the direction of at least one of the front, rear, left, and right rooms of the vehicle.

한편, 전술한 과제를 달성하기 위한 본 발명의 다른 양상에 따른 운전 지원 장치에 의한 차량 주변의 장애물 위험도를 고려한 운전 지원 방법으로서, 상기 차량 주변의 장애물이 포함된 주변 영상을 획득하는 단계, 상기 주변 영상로부터 상기 장애물을 추출하는 단계, 추출된 상기 장애물의 위험도를 산출하는 단계, 및 산출된 상기 위험도의 단계별로 경고 수준을 달리하여 운전자에게 경고하는 단계를 포함하며, 상기 산출하는 단계는 상기 차량을 기준으로 상기 장애물의 특성, 상기 장애물의 위치 중 적어도 하나를 고려하여 상기 위험도를 산출하는 단계를 포함한다.According to another aspect of the present invention, there is provided a driving support method considering a risk of an obstacle around a vehicle by a driving support device, the method comprising: obtaining a surrounding image including an obstacle around the vehicle; The method of claim 1, further comprising: extracting the obstacle from the image; calculating a risk of the extracted obstacle; and alerting the driver to a different warning level according to the calculated risk level, And calculating the risk by considering at least one of the characteristics of the obstacle and the position of the obstacle as a standard.

여기서, 상기 획득하는 단계는 상기 주변 영상을 일정 시간 단위로 다수 획득하는 단계를 포함하며, 상기 산출하는 단계는 상기 일정 시간 단위로 획득되는 상기 주변 영상들을 이용하여 획득되는 상기 차량과 상기 장애물 간의 거리 변화를 더 고려하여 상기 위험도를 산출하는 단계를 포함한다.Here, the acquiring may include acquiring a plurality of the peripheral images in units of a predetermined time, and the calculating may include calculating a distance between the vehicle and the obstacle obtained using the peripheral images acquired in the predetermined time unit, And calculating the risk by further considering the change.

또한, 상기 산출하는 단계는 상기 장애물 특성을 사람, 사물, 어린이, 성인, 노인, 고정 물체 및 이동 물체 중 적어도 하나로 구분하여 상기 위험도를 산출하는 단계를 포함하며, 상기 획득하는 단계는 상기 차량의 전방, 후방, 좌측방 및 우측방 중 적어도 하나의 방향을 촬영하는 하나 이상의 카메라를 포함하는 어라운드 뷰 시스템용 카메라를 이용하여 상기 주변 영상을 획득하는 단계를 포함한다.The calculating step may include calculating the risk by dividing the obstacle characteristic into at least one of a person, an object, a child, an adult, an elderly person, a fixed object, and a moving object, And acquiring the peripheral image using a camera for an overview system including at least one camera that captures a direction of at least one of a back, a left room, and a right room.

본 발명은 단순히 장애물의 거리만을 고려하여 경고하는 기존의 운전 지원 기술과는 달리, 차량 주변 영상에서 장애물을 추출하고, 장애물의 특성, 위치 및 거리를 파악하여 위험도를 산출하며, 산출된 위험도별로 경고 수준을 달리하여 운전자에게 경고함으로써, 운전자에게 차량 주변 장애물에 대한 사고 발생 위험 정도를 구체적으로 제공할 수 있으며, 사고 위험에 대한 운전자의 경각심을 높일 수 있다.The present invention differs from the existing driving support technology in which only the distance of the obstacle is warned by taking into consideration only the distance of the obstacle. The obstacle is extracted from the surrounding image of the vehicle, the characteristic, the position and the distance of the obstacle are grasped and the risk is calculated. By warning the driver at a different level, the driver can be provided with a specific risk of an accident with respect to an obstacle around the vehicle, and the driver's awareness of the accident risk can be increased.

도 1은 본 발명의 실시예에 따른 차량 주변의 장애물 위험도를 고려한 운전 지원 장치 블록도.
도 2는 본 발명에 따른 주변 영상 획득을 설명하기 위한 도면.
도 3은 본 발명에 따른 장애물의 구분을 설명하기 위한 도면.
도 4는 본 발명의 실시예에 따른 운전 지원 장치에 의한 차량 주변의 장애물 위험도를 고려한 운전 지원 방법 흐름도.
BRIEF DESCRIPTION OF THE DRAWINGS FIG. 1 is a block diagram of a driving support device in consideration of the risk of an obstacle around a vehicle according to an embodiment of the present invention; FIG.
2 is a diagram for explaining acquisition of a peripheral image according to the present invention;
3 is a view for explaining distinction of an obstacle according to the present invention;
4 is a flowchart of a driving support method considering a risk of an obstacle around a vehicle by a driving support device according to an embodiment of the present invention.

전술한, 그리고 추가적인 본 발명의 양상들은 첨부된 도면을 참조하여 설명되는 바람직한 실시예들을 통하여 더욱 명백해질 것이다. 이하에서는 본 발명을 이러한 실시예를 통해 당업자가 용이하게 이해하고 재현할 수 있도록 상세히 설명하기로 한다.BRIEF DESCRIPTION OF THE DRAWINGS The foregoing and further aspects of the present invention will become more apparent from the following detailed description of preferred embodiments with reference to the accompanying drawings. DETAILED DESCRIPTION OF THE PREFERRED EMBODIMENTS Hereinafter, embodiments of the present invention will be described in detail with reference to the accompanying drawings.

도 1은 본 발명의 실시예에 따른 차량 주변의 장애물 위험도를 고려한 운전 지원 장치 블록도이다. 도시된 바와 같이, 운전 지원 장치(10)는 획득부(100), 제어부(200) 및 경고부(300)를 포함한다.FIG. 1 is a block diagram of a driving assistance apparatus considering the risk of an obstacle around a vehicle according to an embodiment of the present invention. As shown in the figure, the driving support apparatus 10 includes an acquisition unit 100, a control unit 200, and a warning unit 300.

획득부(100)는 차량 주변의 주변 영상을 획득하기 위한 구성으로서, 카메라이다. 구체적으로, 획득부(100)는 차량의 전방, 후방, 좌측방 및 우측방 중 적어도 하나의 방향을 촬영하는 하나 이상의 카메라이다. 바람직하게, 획득부(100)는 도 2에 예시된 바와 같이 전방 카메라, 후방 카메라, 좌측방 카메라 및 우측방 카메라를 포함하여 차량의 전후좌우의 주변 영상을 획득할 수 있다. 이를 위해, 획득부(100)는 차량의 어라운드 뷰 시스템(Around View System, AVM)용 카메라를 이용할 수 있다.The acquiring unit 100 is a camera for acquiring a peripheral image of the surroundings of the vehicle, and is a camera. Specifically, the obtaining unit 100 is one or more cameras that photograph the direction of at least one of the front, rear, left and right rooms of the vehicle. Preferably, the acquiring unit 100 may include front cameras, rear cameras, left cameras, and right cameras as illustrated in FIG. 2 to acquire front, rear, left, and right peripheral images of the vehicle. To this end, the obtaining unit 100 may use a camera for an Around View System (AVM) of a vehicle.

또한, 획득부(100)는 주변 영상을 일정 시간(예를 들어, 1초) 단위로 다수 획득하며, 획득되는 주변 영상들은 별도의 메모리에 저장될 수 있다. 여기서, 메모리는 NAND 플래시 메모리 형태로 운전 지원 장치(10) 내에 구현될 수 있다. 또는, 메모리는 USB(Universal Serial Bus) 메모리 또는 SD(Secure Digital) 카드 메모리일 수 있다. In addition, the acquiring unit 100 acquires a plurality of peripheral images in units of a predetermined time (for example, one second), and the obtained peripheral images may be stored in a separate memory. Here, the memory may be implemented in the driving support apparatus 10 in the form of a NAND flash memory. Alternatively, the memory may be a Universal Serial Bus (USB) memory or a Secure Digital (SD) card memory.

제어부(200)는 차량 주변의 장애물 위험도를 고려한 운전 지원 장치(10)를 전반적으로 제어하기 위한 구성으로서, 주변 영상에서 추출되는 장애물의 위험도를 산출하여 위험도별로 경고 수준을 판단하는 구성이다.The control unit 200 is a unit for controlling the driving support apparatus 10 considering the risk of the obstacle around the vehicle, and calculates the risk of the obstacle extracted from the surrounding image and determines the warning level according to the risk level.

먼저, 제어부(200)는 획득부(100)로부터 획득되는 주변 영상에서 장애물을 추출한다. 이를 위해, 제어부(200)는 영상 처리 프로세서(Image Signal Processor, ISP)를 이용하여 주변 영상에서 장애물을 추출할 수 있다. 장애물을 추출하기 전에, 제어부(200)는 획득부(100)로부터 획득된 주변 영상을 전처리(pre-processing)하여 장애물 추출의 정확도를 향상시킬 수 있다. 또한, 제어부(200)는 차량의 정차 상태 또는 주행 상태에 따라 서로 다른 기법을 이용하여 주변 영상에서 장애물을 추출 및 움직임을 감지할 수 있다.First, the control unit 200 extracts an obstacle from a surrounding image obtained from the obtaining unit 100. [ For this purpose, the controller 200 may extract an obstacle from the surrounding image using an image signal processor (ISP). Before extracting the obstacle, the control unit 200 may pre-process the surrounding image obtained from the obtaining unit 100 to improve the accuracy of obstacle extraction. In addition, the control unit 200 can extract an obstacle from the surrounding image and detect the movement using different techniques according to the vehicle's stop state or running state.

예컨대, 차량이 정차 중인 경우 즉, 차량의 속도가 소정 속도(예를 들어, 10km/h) 이하인 경우, 제어부(200)는 가중 평균 차(weighted average difference)를 이용하여 장애물을 추출할 수 있다. 구체적으로, 제어부(200)는 획득부(100)로부터 획득된 주변 영상의 픽셀들의 가중 평균 차를 이용해 배경 영역과 객체(장애물) 영역을 분리할 수 있다. 나아가, 제어부(200)는 객체 후보 영역 또는 객체의 경계선을 확인하여 장애물을 추출 및 움직임을 검출할 수 있다. 이러한, 가중 평균 차를 이용한 장애물 추출 기법은 감시(surveillance) 분야에서 주로 이용되며, 간단한 알고리즘으로 연산 부담이 적기 때문에 차량의 정차 상태에서는 적합한 영상 처리 프로세서이다.For example, when the vehicle is stopped, that is, when the speed of the vehicle is equal to or lower than a predetermined speed (for example, 10 km / h), the control unit 200 can extract an obstacle using a weighted average difference. Specifically, the control unit 200 can separate the background region and the object (obstacle) region using the weighted average difference of the pixels of the surrounding image obtained from the obtaining unit 100. Further, the control unit 200 can extract obstacles and detect motion by checking the boundary of the object candidate region or the object. Such an obstacle extraction method using a weighted average difference is mainly used in the field of surveillance and is a suitable image processing processor in a vehicle stop state because a simple algorithm requires less computation burden.

만약, 차량이 주행 중인 경우 즉, 차량의 속도가 소정 속도(예를 들어, 10km/h) 이상인 경우, 제어부(200)는 획득부(100)로부터 획득된 주변 영상의 질감(texture)을 분석하여 도로 영역과 객체(장애물) 영역을 분리할 수 있다. 제어부(200)는 질감 분석된 주변 영상을 히스토그램 표준 편차 분석(standard deviation of histogram)하여 질감 분석을 통해서 제거되지 않은 차선 영역을 제거한다. 나아가, 제어부(200)는 질감 분석 및 히스토그램 표준 편차 분석을 통해 객체 영역에서 장애물을 추출하며, 추출된 장애물의 영역에 가중치를 적용하여 장애물의 움직임을 검출한다.If the speed of the vehicle is higher than a predetermined speed (for example, 10 km / h), the controller 200 analyzes the texture of the surrounding image obtained from the obtaining unit 100 You can separate the road area and the object (obstacle) area. The controller 200 performs a histogram standard deviation histogram on the texture-analyzed surrounding image to remove the lane area that has not been removed through texture analysis. In addition, the controller 200 extracts obstacles from the object area through texture analysis and histogram standard deviation analysis, and detects movement of the obstacle by applying a weight to the extracted area of the obstacle.

주변 영상에서 장애물이 추출되면, 제어부(200)는 추출된 장애물의 위험도를 산출한다. 위험도를 산출하기 위해 제어부(200)는 장애물의 특성, 장애물의 위치 및 장애물의 거리 변화 중 적어도 하나를 고려하여 위험도를 산출한다. 이하, 위험도를 산출하기 위한 장애물의 특성, 위치 및 거리 변화 각각에 대한 확인 방법을 설명한다.When the obstacle is extracted from the surrounding image, the control unit 200 calculates the risk of the extracted obstacle. To calculate the risk, the control unit 200 calculates the risk by considering at least one of the characteristics of the obstacle, the position of the obstacle, and the distance change of the obstacle. Hereinafter, a description will be given of a method for confirming the characteristics, position, and distance changes of obstacles for calculating the risk.

위험도를 산출하기 위해, 제어부(200)는 장애물의 특성을 확인한다. 구체적으로, 제어부(200)는 추출된 장애물이 사람인지 사물인지 구별한다. In order to calculate the risk, the control unit 200 confirms the characteristics of the obstacle. Specifically, the control unit 200 distinguishes whether the extracted obstacle is a person or an object.

일 예로서, 제어부(200)는 추출된 장애물과 기저장된 사람 모델 및 사물 모델의 유사도를 비교하여 사람 또는 사물을 구별할 수 있다. 여기서 기저장된 사람 모델 및 사물 모델은 사전에 관리자 또는 사용자에 의해 기설정되어 저장될 수 있다. 예컨대, 사람 모델은 사람의 체형 및 사물의 종류에 따라 다양한 형태를 갖는 모델일 수 있으며, 이러한 모델 정보는 별도의 메모리에 저장될 수 있다. As an example, the control unit 200 can distinguish a person or an object by comparing the similarity of the extracted obstacle with the stored person model and the object model. Here, the pre-stored person model and the object model can be preset and stored by the manager or the user in advance. For example, the human model may be a model having various forms according to a human body shape and a kind of object, and the model information may be stored in a separate memory.

다른 예로서, 제어부(200)는 영상 처리 프로세서 중 보행자(사람) 검출(pedestrian detection) 알고리즘을 이용하여 추출된 장애물이 사람인지 확인할 수 있다. 여기서, 보행자 검출 알고리즘은 영상 처리 기술에서 널리 이용되는 기술로서, 영상에서 사람을 검출하기 위해 다양한 알고리즘이 있다.As another example, the control unit 200 can determine whether the extracted obstacle is a person by using a pedestrian detection algorithm of the image processing processor. Here, the pedestrian detection algorithm is widely used in image processing technology, and there are various algorithms for detecting a person in an image.

추출된 장애물이 사람인 것으로 확인되면, 제어부(200)는 확인된 사람이 어린이, 성인, 고령자인지 구분한다. 이는 보통의 성인보다 어린이(유아) 또는 고령자가 사고 발생(충돌) 위험이 더 높기 때문이다.If it is determined that the extracted obstacle is a person, the control unit 200 determines whether the identified person is a child, an adult, or an elderly person. This is because children (infants) or the elderly are at higher risk of accidents (crashes) than adults.

구체적으로, 제어부(200)는 확인된 사람의 키, 신체 비율(머리와 몸의 비율) 및 보조수단 존재 여부를 통해 사람을 구분할 수 있다. 일반적으로, 사람의 신체 비율은 신생아(약, 2세 미만)의 경우 1:4, 유아(약, 2세 이상 6세 미만)의 경우 1:5, 어린이(약, 6세 이상 12세 미만)의 경우 1:6, 청소년(약, 12세 이상 20세 미만)의 경우 1:7, 및 성인(약, 20세 이상)의 경우 1:8의 비율을 갖는다. 또한, 제어부(200)는 추출된 장애물이 사람 또는 사물에 따라 키 또는 높이(height)를 확인할 수 있다. 이를 이용하여 추출된 장애물이 사람인 경우, 도 3의 (a)와 같이 키가 110cm 이하에서 비율이 1:6보다 작은 경우, 제어부(200)는 사람으로 확인된 장애물이 어린이(유아)인 것으로 구분할 수 있다.Specifically, the control unit 200 can distinguish a person from the identified person's key, body ratio (ratio of head to body) and existence of auxiliary means. In general, the body proportion of a person is 1: 4 for a newborn (less than 2 years old), 1: 5 for an infant (about 2 to 6 years old) 1: 6 for adolescents (approximately 12 to 20 years old) and 1: 8 for adults (approximately 20 years and older). In addition, the control unit 200 can check the height or the height of the extracted obstacle according to the person or object. If the extracted obstacle is a person and the ratio is less than 1: 6 at a height of 110 cm or less as shown in FIG. 3A, the controller 200 classifies the obstacle identified as a human being as a child (infant) .

덧붙여, 사람으로 확인된 장애물이 어린이가 아닌 경우, 성인과 고령자는 키 또는 신체 비율로서는 구분하기 어려우므로, 제어부(200)는 추출된 장애물의 보조수단 소지 여부를 확인하여 고령자를 구분할 수 있다. 여기에서, 보조수단은 지팡이 또는 이동 보조기 등과 같이 보행에 어려움이 있는 사람의 보행을 보조하는 수단이다. 즉, 제어부(200)는 사람으로 확인된 장애물을 영상 처리를 통해 사람이 보조수단의 소지 여부를 확인하여 보조수단을 가진 사람은 고령자로 구분하며, 그 외의 경우는 도 3으이 (b)와 같이 보조 수단 없이 보행 가능한 성인으로 구분한다.In addition, when the obstacle identified as a person is not a child, it is difficult to distinguish an adult and an elderly person as a key or a body ratio, so that the control unit 200 can distinguish an elderly person by confirming whether or not the extracted obstacle has an auxiliary means. Here, the auxiliary means is a means for assisting the walking of a person who has difficulty in walking, such as a walking stick or a moving aid. That is, the control unit 200 determines whether a person has an auxiliary means through image processing of an obstacle identified as a person, and a person having an auxiliary means is classified as an elderly person. Otherwise, as shown in FIG. 3 (b) Adults who can walk without assistance.

또한, 제어부(200)는 영상 처리 프로세서 중 객체(사물) 검출(object detection) 알고리즘을 이용하여 추출된 장애물이 사물인지 확인할 수 있다. 또는, 제어부(200)는 사람으로 확인되지 않은 장애물을 사물로 확인할 수 있다. 확인 결과 장애물이 사물로 확인되면, 제어부(200)는 사물의 종류를 구분할 수 있다. 예컨대, 제어부(200)는 사물의 종류를 자전거, 도 3의 (c)의 차량 등과 같은 이동 물체와 조형물, 시설물과 같은 고정(정지) 물체로 구분할 수 있다. 이는 이동 물체가 고정 물체에 비해 사고 발생 위험이 더 높기 때문이다.Also, the controller 200 can determine whether the extracted obstacle is an object by using an object detection algorithm in the image processing processor. Alternatively, the control unit 200 can confirm an obstacle that has not been confirmed as a person as an object. If the obstacle is identified as an object, the control unit 200 can classify the object type. For example, the control unit 200 can classify a type of object into a moving object such as a bicycle, a vehicle in FIG. 3C, and a fixed object such as a molding or a facility. This is because moving objects have a higher risk of accidents than fixed objects.

이와 같이, 주변 영상에서 추출된 장애물의 특성이 확인되면, 제어부(200)는 확인된 장애물 특성에 따라 위험도 점수를 메모리로부터 획득할 수 있다. 여기서, 장애물 특성에 따른 위험도 점수는 표 1과 같이 기설정되어 메모리에 저장될 수 있다. If the characteristics of the obstacle extracted from the surrounding image are confirmed, the control unit 200 can obtain the risk score from the memory according to the identified obstacle characteristic. Here, the risk score according to the characteristics of the obstacle can be preset in the memory as shown in Table 1 and stored in the memory.

장애물
종류
obstacle
Kinds
어린이child 고령자(보조수단)Elderly (auxiliary means) 성인adult 자전거bicycle 자동차car 고정물체Fixed object
위험도
점수
Risk
score
3030 1515 1010 1212 88 55

이와 같은 장애물 특성에 따른 위험도 점수는 사전에 관리자 또는 사용자에 의해 설정 및 변경이 가능하며, 장애물 특성의 구분 또한 삭제 및 추가가 가능하다.The risk score according to the characteristics of the obstacle can be set and changed by the administrator or the user in advance, and the classification of the obstacle characteristic can be also deleted and added.

위험도를 산출하기 위해, 제어부(200)는 장애물의 위치를 확인한다. 구체적으로, 제어부(200)는 추출된 장애물이 차량을 기준으로 어느 방향에 위치하는지를 확인한다. 즉, 제어부(200)는 장애물이 추출된 주변 영상이 획득부(100)의 다수의 카메라(전방, 후방, 좌측방 및 우측방의 카메라) 중 어느 카메라에서 촬영된 것인지에 따라 장애물의 위치(차량의 전방, 후방 및 좌우측방)를 확인할 수 있다. In order to calculate the risk, the control unit 200 confirms the position of the obstacle. Specifically, the control unit 200 determines in which direction the extracted obstacle is located based on the vehicle. That is, the control unit 200 determines the position of the obstacle (the position of the obstacle in front of the vehicle, the direction of the vehicle, and the like) according to which of the cameras (front, rear, left and right rooms) , Rear and left and right rooms).

덧붙여, 제어부(200)는 차량의 이동 방향을 확인하여, 추출된 장애물의 위치를 더 구체적으로 확인할 수 있다. 예를 들어, 제어부(200)는 차량의 변속 기어단을 감지하여 차량의 이동 방향을 확인할 수 있다. 제어부(200)는 확인된 차량의 이동 방향과 추출된 장애물을 촬영한 카메라를 확인하여, 장애물이 차량의 이동 방향 측에 위치한 것인지, 차량의 이동 반대 방향 측에 위치한 것인지, 및 차량의 이동 방향과 상관없이 차량의 측방(좌우측)에 위치한 것인지 확인할 수 있다.In addition, the control unit 200 can confirm the moving direction of the vehicle and confirm the position of the extracted obstacle more specifically. For example, the control unit 200 can sense the shift direction of the vehicle by sensing the shift range of the vehicle. The control unit 200 determines whether the obstacle is located on the moving direction side of the vehicle or on the opposite side of the moving direction of the vehicle, Regardless of whether the vehicle is located on the side (left or right) of the vehicle.

일 예로서, 장애물이 차량의 전방에 위치한 것으로 확인된 경우 즉, 추출된 장애물이 포함된 주변 영상을 촬영한 카메라가 전방 카메라인 경우, 차량의 변속 기어단이 전진단(D단)에 위치한 것으로 감지되면, 제어부(200)는 장애물이 차량의 이동 방향에 위치한 것으로 확인할 수 있다. 만약, 차량의 변속 기어단이 후진단(R단)에 위치한 것으로 감지되면, 제어부(200)는 장애물이 차량의 이동 반대 방향에 위치한 것으로 확인할 수 있다.For example, when the obstacle is confirmed to be located in front of the vehicle, that is, when the camera that has captured the surrounding image including the extracted obstacle is the front camera, the shift position of the vehicle is located at the front end If it is detected, the control unit 200 can confirm that the obstacle is located in the moving direction of the vehicle. If the shift position of the vehicle is detected as being located at the rear end (R-end), the control unit 200 can confirm that the obstacle is located in the opposite direction of the vehicle movement.

다른 예로서, 장애물이 차량의 후방에 위치한 것으로 확인된 경우 즉, 추출된 장애물이 포함된 주변 영상을 촬영한 카메라가 후방 카메라인 경우, 차량의 변속 기어단이 전진단(D단)에 위치한 것으로 감지되면, 제어부(200)는 장애물이 차량의 이동 반대 방향에 위치한 것으로 확인할 수 있다. 만약, 차량의 변속 기어단이 후진다(R단)에 위치한 것으로 감지되면, 제어부(200)는 장애물이 차량의 이동 방향에 위치한 것으로 확인할 수 있다.As another example, when it is determined that the obstacle is located at the rear of the vehicle, that is, when the camera that has captured the surrounding image including the extracted obstacle is the rear camera, the shift position of the vehicle is located at the front end If it is detected, the control unit 200 can confirm that the obstacle is located in the opposite direction of the movement of the vehicle. If it is detected that the shift position of the vehicle is located at the rear end (R end), the control unit 200 can confirm that the obstacle is located in the moving direction of the vehicle.

이와 같이, 주변 영상에서 추출된 장애물의 위치가 확인되면, 제어부(200)는 확인된 장애물 위치에 따라 위험도 점수를 메모리로부터 획득할 수 있다. 여기서, 장애물 위치에 따른 위험도 점수는 표 2과 같이 기설정되어 메모리에 저장될 수 있다. If the location of the obstacle extracted from the surrounding image is identified, the controller 200 can acquire the risk score from the memory according to the identified obstacle location. Here, the risk score according to the position of the obstacle can be pre-set as shown in Table 2 and stored in the memory.

장애물 위치Obstacle location 차량의 이동 방향Direction of movement of the vehicle 차량의 좌우측Left and right sides of the vehicle 차량의 이동 반대 방향Movement direction of vehicle 위험도 점수Risk score 1010 55 33

이와 같은 장애물 위치에 따른 위험도 점수는 사전에 관리자 또는 사용자에 의해 설정 및 변경이 가능하며, 장애물 위치의 구분 또한 삭제 및 추가가 가능하다.The risk score according to the position of the obstacle can be set and changed by the administrator or the user in advance, and the distinction of the obstacle position can also be deleted and added.

위험도를 산출하기 위해, 제어부(200)는 장애물의 거리 변화를 확인한다. 구체적으로, 제어부(200)는 차량과 장애물 간의 거리를 확인한다. 제어부(200)는 획득부(100)로부터 일정 시간 단위로 획득되는 주변 영상들을 이용해서 추출된 장애물이 차량을 기준으로 가까워지는지, 멀어지는지, 또는 거리 변화가 없는지(일정 거리 유지되는지) 확인할 수 있다. 이때, 제어부(200)는 영상 처리 기술 중 거리 연산 알고리즘을 이용하여 깊이 정보를 획득하여 장애물의 거리를 확인할 수 있다. In order to calculate the risk, the control unit 200 confirms the distance change of the obstacle. Specifically, the control unit 200 confirms the distance between the vehicle and the obstacle. The control unit 200 can confirm whether the obstacles extracted by using the peripheral images obtained in units of a predetermined time from the obtaining unit 100 are approaching, moving away from, or changing in distance . At this time, the controller 200 can acquire the depth information by using the distance calculation algorithm in the image processing technique to check the distance of the obstacle.

제어부(200)는 현재 주변 영상에서 확인되는 장애물의 거리와 일정 시간 전(예를 들어, 1초 전)의 이전 주변 영상에서 확인되는 장애물의 거리를 비교하여, 거리가 짧아지면, 장애물과 차량의 거리가 가까워지는 것을 확인할 수 있으며, 거리가 길어지면, 장애물과 차량의 거리가 멀어지는 것을 확인할 수 있다. 또한, 비교한 거리가 동일하면 즉, 현재 주변 영상과 이전 주변 영상에서 확인되는 장애물의 거리가 동일하면, 제어부(200)는 차량이 정차하고 있는 경우에는 장애물 또한 정지된 장애물이거나, 차량이 주행하고 있는 경우에는 장애물 또한 동일한 속도로 이동하는 것으로 확인할 수 있다.The controller 200 compares the distances of the obstacles identified in the current peripheral image with the distances of the obstacles identified in the previous peripheral images before a predetermined time (for example, one second ago). If the distance is shortened, You can see that the distance is approaching, and as the distance gets longer, you can see that the distance between the obstacle and the vehicle is getting farther away. If the distance to be compared is the same, that is, if the distances of the obstacles identified in the current surrounding image and the previous neighboring image are the same, the controller 200 determines that the obstacle is also a stopped obstacle when the vehicle is stationary, If there is one, it can be confirmed that the obstacle also moves at the same speed.

이와 같이, 주변 영상에서 추출된 장애물의 거리 변화가 확인되면, 제어부(200)는 확인된 장애물의 거리 변화에 따라 위험도 점수를 메모리로부터 획득할 수 있다. 여기서, 장애물 특성에 따른 위험도 점수는 표 3과 같이 기설정되어 메모리에 저장될 수 있다.As described above, when the distance change of the obstacle extracted from the surrounding image is confirmed, the control unit 200 can acquire the risk score from the memory according to the distance change of the identified obstacle. Here, the risk score according to the characteristics of the obstacle can be stored in the memory in advance as shown in Table 3.

장애물 거리 변화Obstacle distance change 차량과 가까워짐Getting closer to the car 정지stop 차량과 멀어짐Distance from the vehicle 위험도 점수Risk score 1010 55 00

이와 같은 장애물 거리 변화에 따른 위험도 점수는 사전에 관리자 또는 사용자에 의해 설정 및 변경이 가능하며, 장애물 거리 변화의 구분 또한 삭제 및 추가가 가능하다.The risk score according to the change of the obstacle distance can be set or changed by the administrator or the user in advance, and the distinction of the obstacle distance change can also be deleted and added.

제어부(200)는 장애물의 특성, 장애물의 위치 및 장애물의 거리 변화 중 적어도 하나에 대한 위험도 점수를 획득하면, 이를 이용하여 장애물의 위험도를 산출한다. 구체적으로, 제어부(200)는 주변 영상에서 추출된 장애물의 특성, 위치 및 거리 변화 각각에 대해 표 1 내지 표 3을 참고하여 획득되는 위험도 점수를 합산하여 위험도를 산출한다.The controller 200 obtains a risk score for at least one of the characteristics of the obstacle, the position of the obstacle and the distance change of the obstacle, and calculates the risk of the obstacle by using the score. Specifically, the control unit 200 calculates the risk by summing the risk scores obtained by referring to Tables 1 to 3 for each of the characteristics, position, and distance changes of the obstacle extracted from the surrounding image.

일 예로서, 주변 영상에서 추출된 장애물이 차량의 좌측에 위치한 어린이이며, 차량과 가까워지고 있는 것으로 확인되면, 각각에 대한 위험도 점수를 합산하여 제어부(200)는 장애물(어린이)에 대해 45의 위험도를 산출할 수 있다.For example, if it is determined that the obstacle extracted from the surrounding image is a child located on the left side of the vehicle and that it is approaching the vehicle, the control unit 200 adds the risk scores to the obstacle (child) Can be calculated.

다른 예로서, 주변 영상에서 추출된 장애물이 차량의 이동 방향에 위치하여 차량과 멀어지는 자전거인 것으로 확인되면, 각각에 대한 위험도 점수를 합산하여 제어부(200)는 장애물(자전거)에 대해 22의 위험도를 산출할 수 있다.As another example, if it is confirmed that the obstacle extracted from the surrounding image is located in the moving direction of the vehicle and is a bicycle away from the vehicle, the control unit 200 adds the risk scores to the obstacle (bike) Can be calculated.

또 다른 예로서, 주변 영상에서 추출된 장애물이 차량의 이동 반대 방향에 위치하여 차량과 가까워지는 고정물체인 것으로 확인되면, 각각에 대한 위험도 점수를 합산하여 제어부(200)는 장애물(고정 물체)에 대해 18의 위험도를 산출할 수 있다.As another example, if it is ascertained that the obstacle extracted from the surrounding image is located in a direction opposite to the direction of movement of the vehicle and is a fixture that approaches the vehicle, the control unit 200 adds the risk scores for each of the obstacles to the obstacle (fixed object) 18 can be calculated.

이와 같이, 주변 영상에서 추출된 장애물에 대한 위험도가 산출되면, 제어부(200)는 위험도별로 경고 수준을 판단한다. 바람직하게, 제어부(200)는 위험도가 높을수록 경고 수준을 높일 수 있다. 예컨대, 경고 수준은 산출된 위험도가 10 미만이면 안전(0 단계), 10 이상 20 미만이면 확인(1 단계), 20 이상 30 미만이면 주의(2 단계), 및 30 이상이면 위험(3 단계)으로 나뉠 수 있다. When the risk of the obstacle extracted from the surrounding image is calculated, the controller 200 determines the warning level according to the risk level. Preferably, the controller 200 can increase the warning level as the risk increases. For example, if the calculated risk is less than 10, it is safe (0), if the calculated risk is less than 10 (10) It can be divided.

제어부(200)의 경고 수준 판단 결과에 따라 경고부(300)는 경고 신호를 달리 출력하여 운전자에게 경고한다. 여기서, 경고부(300)는 차량의 소정 위치에 장착된 스피커를 통해 경고음을 출력하여 운전자에게 경고한다. 예를 들어, 제어부(200)의 경고 수준의 판단 결과에 따라, 경고부(300)는 위험도의 단계가 높아질수록 출력되는 경고음의 출력 간격을 좁히거나, 경고음의 음량을 높일 수 있다. The warning unit 300 alerts the driver of the warning signal according to the warning level of the controller 200. Here, the warning unit 300 outputs a warning sound through a speaker installed at a predetermined position of the vehicle to warn the driver. For example, according to the determination result of the warning level of the control unit 200, the alarm unit 300 may narrow the output interval of the alarm sound output or raise the volume of the alarm sound as the risk level increases.

나아가, 경고부(300)는 획득부(100)에서 획득되는 주변 영상이 화면 출력되는 디스플레이 장치(예컨대, AVN 시스템의 LCD)를 통해 색상 화면을 출력하여 운전자에게 경고할 수도 있다. 예를 들어, 경고부(300)는 위험도의 단계가 높아질수록 색상을 초록색, 노란색, 주황색, 빨간색과 같이 색상을 달리하여 주변 영상에 오버랩하여 색상 화면을 출력할 수 있으며, 경우에 따라서는 색상 화면을 깜빡여 운전자에게 경고할 수 있다.Furthermore, the warning unit 300 may output a color screen through a display device (for example, an LCD of an AVN system) on which a peripheral image obtained by the obtaining unit 100 is displayed to alert the driver. For example, the warning unit 300 can output a color screen by overlapping the surrounding images with different colors such as green, yellow, orange, and red as the risk level increases, and in some cases, To alert the driver.

이와 같이, 본 발명은 단순히 장애물의 거리만을 고려하여 경고하는 기존의 운전 지원 기술과는 달리, 차량 주변 영상에서 장애물을 추출하고, 장애물의 특성, 위치 및 거리를 파악하여 위험도를 산출하며, 산출된 위험도별로 경고 수준을 달리하여 운전자에게 경고함으로써, 운전자에게 차량 주변 장애물에 대한 사고 발생 위험 정도를 구체적으로 제공할 수 있으며, 사고 위험에 대한 운전자의 경각심을 높일 수 있다.
As described above, unlike the conventional driving support technology which warns only the distances of obstacles, the present invention extracts obstacles from the surrounding images of the vehicle, calculates the risk by grasping the characteristics, positions and distances of the obstacles, By warning the driver by varying the warning level according to the degree of risk, the driver can be provided with the specific risk of the accident with respect to the obstacle around the vehicle and the driver can be more aware of the risk of the accident.

도 4는 본 발명의 실시예에 따른 운전 지원 장치에 의한 차량 주변의 장애물 위험도를 고려한 운전 지원 방법 흐름도이다.4 is a flowchart illustrating a driving support method considering a risk of an obstacle around a vehicle by the driving assistance device according to the embodiment of the present invention.

먼저, 운전 지원 장치(10)는 차량 주변의 주변 영상을 획득한다(S100).First, the driving support apparatus 10 acquires a peripheral image around the vehicle (S100).

구체적으로, 운전 지원 장치(10)는 차량의 전방, 후방, 좌측방 및 우측방 중 적어도 하나의 방향을 촬영하는 하나 이상의 카메라를 통해 차량의 주변 영상을 획득할 수 있다. 여기서, 운전 지원 장치(10)는 차량의 어라운드 뷰 시스템(Around View System, AVM)용 카메라를 이용할 수 있다.Specifically, the driving support apparatus 10 can acquire a peripheral image of the vehicle through one or more cameras that photograph the direction of at least one of the front, rear, left, and right rooms of the vehicle. Here, the driving support device 10 may use a camera for an Around View System (AVM) of a vehicle.

운전 지원 장치(10)는 단계 S100에서 획득되는 주변 영상에서 장애물을 추출한다(S200). The driving support apparatus 10 extracts an obstacle from the surrounding image acquired in step S100 (S200).

이를 위해, 운전 지원 장치(10)는 영상 처리 프로세서(Image Signal Processor, ISP)를 이용하여 주변 영상에서 장애물을 추출할 수 있다. 또한, 제어부(200)는 차량의 정차 상태 또는 주행 상태에 따라 서로 다른 기법을 이용하여 주변 영상에서 장애물을 추출 및 움직임을 감지할 수 있다.To this end, the driving support apparatus 10 can extract an obstacle from a surrounding image using an image signal processor (ISP). In addition, the control unit 200 can extract an obstacle from the surrounding image and detect the movement using different techniques according to the vehicle's stop state or running state.

예컨대, 차량이 정차 중인 경우 즉, 차량의 속도가 소정 속도(예를 들어, 10km/h) 이하인 경우, 운전 지원 장치(10)는 가중 평균 차(weighted average difference)를 이용하여 장애물을 추출할 수 있다. For example, when the vehicle is stationary, that is, when the speed of the vehicle is not higher than a predetermined speed (for example, 10 km / h), the driving support apparatus 10 can extract an obstacle by using a weighted average difference have.

만약, 차량이 주행 중인 경우 즉, 차량의 속도가 소정 속도(예를 들어, 10km/h) 이상인 경우, 운전 지원 장치(10)는 주변 영상의 질감(texture)을 분석하여 도로 영역과 객체(장애물) 영역을 분리하며, 질감 분석된 주변 영상을 히스토그램 표준 편차 분석(standard deviation of histogram)하여 질감 분석을 통해서 제거되지 않은 차선 영역을 제거한다. 나아가, 운전 지원 장치(10)는 질감 분석 및 히스토그램 표준 편차 분석을 통해 객체 영역에서 장애물을 추출하며, 추출된 장애물의 영역에 가중치를 적용하여 장애물의 움직임을 검출할 수 있다.When the vehicle is traveling, that is, when the speed of the vehicle is not less than a predetermined speed (for example, 10 km / h), the driving support apparatus 10 analyzes the texture of the surrounding image, ) Area, and the standard deviation of the histogram of the surrounding image is analyzed to remove the non-removed lane area by texture analysis. In addition, the driving support apparatus 10 extracts obstacles from the object region through texture analysis and histogram standard deviation analysis, and detects movement of obstacles by applying weights to the regions of the extracted obstacles.

주변 영상에서 장애물이 추출되면, 운전 지원 장치(10)는 추출된 장애물의 특성, 위치 및 거리 변화를 확인한다(S300).When the obstacle is extracted from the surrounding image, the driving support apparatus 10 confirms the characteristic, position, and distance change of the extracted obstacle (S300).

첫째로, 운전 지원 장치(10)는 장애물의 특성을 확인한다. 구체적으로, 운전 지원 장치(10)는 추출된 장애물이 사람인지 사물인지 구별한다. First, the driving support device 10 confirms the characteristics of the obstacle. Specifically, the driving support apparatus 10 distinguishes whether the extracted obstacle is a person or an object.

운전 지원 장치(10)는 영상 처리 프로세서 중 보행자(사람) 검출(pedestrian detection) 알고리즘을 이용하여 추출된 장애물이 사람인지 확인할 수 있다. 여기서, 보행자 검출 알고리즘은 영상 처리 기술에서 널리 이용되는 기술로서, 영상에서 사람을 검출하기 위해 다양한 알고리즘이 있다.The driving support apparatus 10 can identify whether the extracted obstacle is a person by using a pedestrian detection algorithm in the image processing processor. Here, the pedestrian detection algorithm is widely used in image processing technology, and there are various algorithms for detecting a person in an image.

추출된 장애물이 사람인 것으로 확인되면, 운전 지원 장치(10)는 확인된 사람이 어린이, 성인, 고령자인지 구분한다. 이는 보통의 성인보다 어린이(유아) 또는 고령자가 사고 발생(충돌) 위험이 더 높기 때문이다. If it is confirmed that the extracted obstacle is a person, the driving support apparatus 10 discriminates whether the identified person is a child, an adult, or an elderly person. This is because children (infants) or the elderly are at higher risk of accidents (crashes) than adults.

또한, 운전 지원 장치(10)는 영상 처리 프로세서 중 객체(사물) 검출(object detection) 알고리즘을 이용하여 추출된 장애물이 사물인지 확인할 수 있다. 또는, 운전 지원 장치(10)는 사람으로 확인되지 않은 장애물을 사물로 확인할 수 있다. 확인 결과 장애물이 사물로 확인되면, 운전 지원 장치(10)는 사물의 종류를 구분할 수 있다. 예컨대, 운전 지원 장치(10)는 사물의 종류를 자전거, 차량 등과 같은 이동 물체와 조형물, 시설물과 같은 고정(정지) 물체로 구분할 수 있다. 이는 이동 물체가 고정 물체에 비해 사고 발생 위험이 더 높기 때문이다.In addition, the driving support apparatus 10 can determine whether the extracted obstacle is an object by using an object detection algorithm in the image processing processor. Alternatively, the driving support apparatus 10 can confirm an obstacle not identified as a person as an object. If the obstacle is confirmed as an object, the driving support device 10 can classify the type of object. For example, the driving support apparatus 10 can classify objects into fixed objects such as moving objects such as bicycles and vehicles, and sculptures and facilities. This is because moving objects have a higher risk of accidents than fixed objects.

둘째로, 운전 지원 장치(10)는 장애물의 위치를 확인한다. 구체적으로, 운전 지원 장치(10)는 추출된 장애물이 차량을 기준으로 어느 방향에 위치하는지를 확인한다. 즉, 운전 지원 장치(10)는 장애물이 추출된 주변 영상이 다수의 카메라(전방, 후방, 좌측방 및 우측방의 카메라) 중 어느 카메라에서 촬영된 것인지에 따라 장애물의 위치(차량의 전방, 후방 및 좌우측방)를 확인할 수 있다. Second, the driving support apparatus 10 confirms the position of the obstacle. Specifically, the driving support apparatus 10 confirms in which direction the extracted obstacle is positioned relative to the vehicle. That is, the driving support apparatus 10 determines the positions of the obstacles (front, rear, and right and left sides of the vehicle) according to which of the cameras (front, rear, left and right rooms) Room) can be confirmed.

덧붙여, 운전 지원 장치(10)는 차량의 이동 방향을 확인하여, 추출된 장애물의 위치를 더 구체적으로 확인할 수 있다. 예를 들어, 운전 지원 장치(10)는 차량의 변속 기어단을 감지하여 차량의 이동 방향을 확인할 수 있다. 운전 지원 장치(10)는 확인된 차량의 이동 방향과 추출된 장애물을 촬영한 카메라를 확인하여, 장애물이 차량의 이동 방향 측에 위치한 것인지, 차량의 이동 반대 방향 측에 위치한 것인지, 및 차량의 이동 방향과 상관없이 차량의 측방(좌우측)에 위치한 것인지 확인할 수 있다.In addition, the driving support apparatus 10 can confirm the moving direction of the vehicle and more specifically confirm the position of the extracted obstacle. For example, the driving support device 10 can detect the direction of movement of the vehicle by detecting the shift position of the vehicle. The driving support apparatus 10 confirms whether the obstacle is located on the moving direction side of the vehicle or on the opposite direction side of the vehicle movement, (Left and right) of the vehicle regardless of the direction of the vehicle.

셋째로, 운전 지원 장치(10)는 장애물의 거리 변화를 확인한다. 구체적으로, 운전 지원 장치(10)는 차량과 장애물 간의 거리를 확인한다. 운전 지원 장치(10)는 일정 시간 단위로 획득되는 주변 영상들을 이용해서 추출된 장애물이 차량을 기준으로 가까워지는지, 멀어지는지, 또는 거리 변화가 없는지(일정 거리 유지되는지) 확인할 수 있다. 이때, 운전 지원 장치(10)는 영상 처리 기술 중 거리 연산 알고리즘을 이용하여 깊이 정보를 획득하여 장애물의 거리를 확인할 수 있다. Third, the driving support apparatus 10 confirms the distance change of the obstacle. Specifically, the driving support apparatus 10 confirms the distance between the vehicle and the obstacle. The driving support apparatus 10 can confirm whether the obstacles extracted using the peripheral images obtained on a predetermined time basis are approaching, moving away from, or having no distance change (a certain distance is maintained) based on the vehicle. At this time, the driving support apparatus 10 can obtain the depth information by using the distance calculation algorithm of the image processing technique, and can confirm the distance of the obstacle.

운전 지원 장치(10)는 현재 주변 영상에서 확인되는 장애물의 거리와 일정 시간 전(예를 들어, 1초 전)의 이전 주변 영상에서 확인되는 장애물의 거리를 비교하여, 거리가 짧아지면, 장애물과 차량의 거리가 가까워지는 것을 확인할 수 있으며, 거리가 길어지면, 장애물과 차량의 거리가 멀어지는 것을 확인할 수 있다. 또한, 비교한 거리가 동일하면 즉, 현재 주변 영상과 이전 주변 영상에서 확인되는 장애물의 거리가 동일하면, 운전 지원 장치(10)는 차량이 정차하고 있는 경우에는 장애물 또한 정지된 장애물이며, 차량이 주행하고 있는 경우에는 장애물 또한 동일한 속도로 이동하는 것으로 확인할 수 있다.The driving support apparatus 10 compares the distances of the obstacles identified in the current surrounding image with the distances of the obstacles identified in the previous surrounding image before a predetermined time (for example, one second ago). If the distance is shortened, You can see that the distance of the vehicle is getting closer. If the distance is longer, you can see that the distance between the obstacle and the vehicle is getting longer. If the compared distances are the same, that is, if distances of the obstacles identified in the current peripheral image and the previous neighboring image are the same, the driving support apparatus 10 is an obstacle in which the obstacle is also stopped when the vehicle is stopped, If you are driving, you can see that the obstacles also move at the same speed.

운전 지원 장치(10)는 장애물의 특성, 위치 및 거리 변화를 고려하여 장애물의 위험도를 산출한다(S400).The driving support apparatus 10 calculates the risk of the obstacle in consideration of the characteristics, position, and distance of the obstacle (S400).

구체적으로, 단계 S300에서 주변 영상에서 추출된 장애물의 특성, 위치 및 거리 변화가 확인되면, 운전 지원 장치(10)는 각각에 대한 위험도 점수를 메모리로부터 획득할 수 있다. 여기서, 장애물의 특성, 위치 및 거리 변화 각각에 따른 위험도 점수는 표 1 내지 표 3과 같이 기설정되어 메모리에 저장될 수 있다.Specifically, when the characteristics, position, and distance change of the obstacle extracted from the surrounding image are confirmed in step S300, the driving support device 10 can obtain the risk score for each of the obstacles from the memory. Here, the risk score according to each of the characteristic, position, and distance change of the obstacle can be preset in the memory as shown in Tables 1 to 3 and stored in the memory.

운전 지원 장치(10)는 주변 영상에서 추출된 장애물의 특성, 위치 및 거리 변화 각각에 대해 표 1 내지 표 3을 참고하여 획득되는 위험도 점수를 합산하여 위험도를 산출한다.The driving support apparatus 10 calculates the risk by summing the risk scores obtained by referring to Tables 1 to 3 for each of the characteristics, position, and distance changes of the obstacles extracted from the surrounding images.

단계 S400에서 장애물에 대한 위험도가 산출되면, 운전 지원 장치(10)는 위험도별로 경고 수준을 달리하여 경고한다(S500).When the risk for the obstacle is calculated in step S400, the driving support apparatus 10 alerts the driver with a different warning level according to the degree of danger (S500).

바람직하게, 운전 지원 장치(10)는 위험도가 높을수록 경고 수준을 높일 수 있다. 예컨대, 경고 수준은 산출된 위험도가 10 미만이면 안전(0 단계), 10 이상 20 미만이면 확인(1 단계), 20 이상 30 미만이면 주의(2 단계), 및 30 이상이면 위험(3 단계)으로 나뉠 수 있다. Preferably, the driving support device 10 can raise the warning level as the risk increases. For example, if the calculated risk is less than 10, it is safe (0), if the calculated risk is less than 10 (10) It can be divided.

운전 지원 장치(10)는 위험도의 단계에 따라 경고 수준을 달리하여 경고 신호를 출력한다.The driving support apparatus 10 outputs a warning signal at a different warning level according to the level of the risk.

일 예로서, 운전 지원 장치(10)는 차량의 소정 위치에 장착된 스피커를 통해 경고음을 출력하여 운전자에게 경고한다. 이때, 운전 지원 장치(10)는 위험도의 단계가 높아질수록 출력되는 경고음의 출력 간격을 좁히거나, 경고음의 음량을 높일 수 있다.For example, the driving support device 10 outputs a warning sound through a speaker mounted at a predetermined position of the vehicle to warn the driver. At this time, the driving support apparatus 10 may narrow the output interval of the alarm sound output or increase the volume of the alarm sound as the risk level increases.

다른 예로, 운전 지원 장치(10)는 주변 영상이 화면 출력되는 디스플레이 장치(예컨대, AVN 시스템의 LCD)를 통해 색상 화면을 출력하여 운전자에게 경고할 수도 있다. 이때, 운전 지원 장치(10)는 위험도의 단계가 높아질수록 색상을 초록색, 노란색, 주황색, 빨간색과 같이 색상을 달리하여 주변 영상에 오버랩하여 색상 화면을 출력할 수 있으며, 경우에 따라서는 색상 화면을 깜빡여 운전자에게 경고할 수 있다.As another example, the driving support apparatus 10 may output a color screen through a display device (e.g., an LCD of an AVN system) on which a peripheral image is displayed to alert the driver. At this time, the driving support apparatus 10 can output a color screen by overlapping the surrounding images with different colors such as green, yellow, orange, and red as the risk level increases, and in some cases, You can blink to warn the driver.

이와 같이, 본 발명은 단순히 장애물의 거리만을 고려하여 경고하는 기존의 운전 지원 기술과는 달리, 차량 주변 영상에서 장애물을 추출하고, 장애물의 특성, 위치 및 거리를 파악하여 위험도를 산출하며, 산출된 위험도별로 경고 수준을 달리하여 운전자에게 경고함으로써, 운전자에게 차량 주변 장애물에 대한 사고 발생 위험 정도를 구체적으로 제공할 수 있으며, 사고 위험에 대한 운전자의 경각심을 높일 수 있다.
As described above, unlike the conventional driving support technology which warns only the distances of obstacles, the present invention extracts obstacles from the surrounding images of the vehicle, calculates the risk by grasping the characteristics, positions and distances of the obstacles, By warning the driver by varying the warning level according to the degree of risk, the driver can be provided with the specific risk of the accident with respect to the obstacle around the vehicle and the driver can be more aware of the risk of the accident.

이제까지 본 발명에 대하여 그 바람직한 실시예들을 중심으로 살펴보았다. 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자는 본 발명이 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 변형된 형태로 구현될 수 있음을 이해할 수 있을 것이다. 그러므로 개시된 실시예들은 한정적인 관점이 아니라 설명적인 관점에서 고려되어야 한다. 본 발명의 범위는 전술한 설명이 아니라 특허청구범위에 나타나 있으며, 그와 동등한 범위 내에 있는 모든 차이점은 본 발명에 포함된 것으로 해석되어야 할 것이다.The present invention has been described with reference to the preferred embodiments. It will be understood by those skilled in the art that various changes in form and details may be made therein without departing from the spirit and scope of the invention as defined by the appended claims. Therefore, the disclosed embodiments should be considered in an illustrative rather than a restrictive sense. The scope of the present invention is defined by the appended claims rather than by the foregoing description, and all differences within the scope of equivalents thereof should be construed as being included in the present invention.

10 : 운전 지원 장치 100: 획득부
200 : 제어부 300 : 경고부
10: driving support apparatus 100:
200: control unit 300: warning unit

Claims (11)

차량 주변의 장애물이 포함된 주변 영상을 획득하는 획득부;
상기 주변 영상으로부터 상기 장애물을 추출하고, 추출된 상기 장애물의 특성, 상기 장애물의 위치, 상기 차량과 상기 장애물 간의 거리 변화를 확인하고, 확인된 상기 장애물의 특성, 위치 및 거리 변화 각각에 대한 위험도 점수를 할당하고, 할당된 상기 위험도 점수를 합산하여 상기 장애물의 위험도를 산출하며, 산출된 상기 위험도별로 경고 수준을 판단하는 제어부; 및
상기 제어부에서 판단된 상기 경고 수준에 따라 경고 신호를 달리 출력하여 운전자에게 경고하는 경고부; 를 포함하되,
상기 제어부는,
상기 장애물의 특성을 확인할 시, 상기 장애물이 사물인지 사람인지 판단하고, 상기 장애물이 사람으로 판단되면, 상기 장애물의 키 및 신체 비율에 따라 상기 위험도 점수를 달리 할당하는 것
인 차량 주변의 장애물 위험도를 고려한 운전 지원 장치.
An acquiring unit acquiring a peripheral image including an obstacle around the vehicle;
Extracting the obstacle from the peripheral image, checking the characteristics of the extracted obstacle, the position of the obstacle, the distance change between the vehicle and the obstacle, and calculating a risk score A control unit for calculating a risk level of the obstacle by summing the allocated risk scores and determining a warning level according to the calculated risk level; And
An alarm unit for outputting a warning signal differently according to the warning level determined by the control unit and warning the driver of the warning signal; , ≪ / RTI &
Wherein,
Determining whether the obstacle is a person or a person when the characteristic of the obstacle is confirmed; and assigning the risk score differently according to a key and a body ratio of the obstacle when the obstacle is judged to be a person
Driving support device considering the risk of an obstacle around the vehicle.
삭제delete 제1항에 있어서,
상기 획득부는 상기 주변 영상을 일정 시간 단위로 다수 획득하며,
상기 제어부는,
상기 일정 시간 단위로 획득되는 상기 주변 영상들을 이용하여 획득되는 상기 차량과 상기 장애물 간의 거리 변화를 확인하는 것
인 차량 주변의 장애물 위험도를 고려한 운전 지원 장치.
The method according to claim 1,
Wherein the acquiring unit acquires a plurality of peripheral images in units of a predetermined time,
Wherein,
And confirming a change in the distance between the vehicle and the obstacle obtained by using the peripheral images obtained in units of the predetermined time
Driving support device considering the risk of an obstacle around the vehicle.
제1항에 있어서, 상기 제어부는,
상기 장애물의 특성을 확인할 시, 상기 장애물이 사물로 판단되면, 고정 물체 또는 이동 물체인지 구분하여 상기 위험도 점수를 달리 할당하는 것
인 차량 주변의 장애물 위험도를 고려한 운전 지원 장치.
The apparatus of claim 1,
When the characteristics of the obstacle are checked, if the obstacle is determined as an object, it is discriminated whether the obstacle is a fixed object or a moving object, and the risk score is assigned differently
Driving support device considering the risk of an obstacle around the vehicle.
제1항에 있어서, 상기 획득부는,
상기 차량의 전방, 후방, 좌측방 및 우측방 중 적어도 하나의 방향을 촬영하는 하나 이상의 카메라를 포함하는 것
인 차량 주변의 장애물 위험도를 고려한 운전 지원 장치.
The apparatus according to claim 1,
And at least one camera for photographing the direction of at least one of the front, rear, left and right rooms of the vehicle
Driving support device considering the risk of an obstacle around the vehicle.
제1항에 있어서, 상기 획득부는,
어라운드 뷰 시스템(Around View System, AVM)용 카메라인 것
인 차량 주변의 장애물 위험도를 고려한 운전 지원 장치.
The apparatus according to claim 1,
Camera for Around View System (AVM)
Driving support device considering the risk of an obstacle around the vehicle.
차량 주변의 장애물이 포함된 주변 영상을 획득하는 단계;
상기 주변 영상으로부터 상기 장애물을 추출하는 단계;
추출된 상기 장애물의 특성, 상기 장애물의 위치, 상기 차량과 상기 장애물 간의 거리 변화를 확인하고, 확인된 상기 장애물의 특성, 위치 및 거리 변화 각각에 대한 위험도 점수를 할당하는 단계;
할당된 상기 위험도 점수를 합산하여 상기 장애물의 위험도를 산출하는 단계; 및
산출된 상기 위험도의 단계별로 경고 수준을 달리하여 운전자에게 경고하는 단계; 를 포함하되,
상기 할당하는 단계는,
상기 장애물의 특성을 확인할 시, 상기 장애물이 사물인지 사람인지 판단하고, 상기 장애물이 사람으로 판단되면, 상기 장애물의 키 및 신체 비율에 따라 상기 위험도 점수를 달리 할당하는 것
인 차량 주변의 장애물 위험도를 고려한 운전 지원 방법.
Acquiring a peripheral image including an obstacle around the vehicle;
Extracting the obstacle from the surrounding image;
Identifying a characteristic of the extracted obstacle, a position of the obstacle, a distance change between the vehicle and the obstacle, and assigning a risk score to each of the identified characteristic, position, and distance change of the obstacle;
Calculating a risk of the obstacle by summing the assigned risk scores; And
Warning the driver by changing the warning level according to the calculated risk level; , ≪ / RTI &
Wherein the assigning comprises:
Determining whether the obstacle is a person or a person when the characteristic of the obstacle is confirmed; and assigning the risk score differently according to a key and a body ratio of the obstacle when the obstacle is judged to be a person
A method of driving support considering the risk of an obstacle around a vehicle.
삭제delete 제7항에 있어서, 상기 획득하는 단계는,
상기 주변 영상을 일정 시간 단위로 다수 획득하는 단계를 포함하며,
상기 할당하는 단계는,
상기 일정 시간 단위로 획득되는 상기 주변 영상들을 이용하여 획득되는 상기 차량과 상기 장애물 간의 거리 변화를 확인하는 것
인 차량 주변의 장애물 위험도를 고려한 운전 지원 방법.
8. The method of claim 7,
And acquiring a plurality of the peripheral images in units of a predetermined time,
Wherein the assigning comprises:
And confirming a change in the distance between the vehicle and the obstacle obtained by using the peripheral images obtained in units of the predetermined time
A method of driving support considering the risk of an obstacle around a vehicle.
제7항에 있어서, 상기 할당하는 단계는,
상기 장애물의 특성을 확인할 시, 상기 장애물이 사물로 판단되면, 상기 장애물이 고정 물체 또는 이동 물체인지 구분하여 상기 위험도 점수를 달리 할당하는 것
인 차량 주변의 장애물 위험도를 고려한 운전 지원 방법.
8. The method of claim 7,
When the characteristics of the obstacle are confirmed, if the obstacle is determined as an object, it is discriminated whether the obstacle is a fixed object or a moving object, and the risk score is assigned differently
A method of driving support considering the risk of an obstacle around a vehicle.
제7항에 있어서, 상기 획득하는 단계는 :
상기 차량의 전방, 후방, 좌측방 및 우측방 중 적어도 하나의 방향을 촬영하는 하나 이상의 카메라를 포함하는 어라운드 뷰 시스템용 카메라를 이용하여 상기 주변 영상을 획득하는 단계를 포함하는 것인 차량 주변의 장애물 위험도를 고려한 운전 지원 방법.
8. The method of claim 7, wherein the obtaining comprises:
And acquiring the peripheral image using a camera for an overview system, the at least one camera capturing a direction of at least one of the front, rear, left and right rooms of the vehicle. Driving support method considering risk.
KR1020130155719A 2013-12-13 2013-12-13 Driving assist device according as the risk of obstacles around the vehicle and method thereof KR101515482B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130155719A KR101515482B1 (en) 2013-12-13 2013-12-13 Driving assist device according as the risk of obstacles around the vehicle and method thereof

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130155719A KR101515482B1 (en) 2013-12-13 2013-12-13 Driving assist device according as the risk of obstacles around the vehicle and method thereof

Publications (1)

Publication Number Publication Date
KR101515482B1 true KR101515482B1 (en) 2015-04-29

Family

ID=53054174

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130155719A KR101515482B1 (en) 2013-12-13 2013-12-13 Driving assist device according as the risk of obstacles around the vehicle and method thereof

Country Status (1)

Country Link
KR (1) KR101515482B1 (en)

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170014159A (en) * 2015-07-29 2017-02-08 주식회사 만도 Driving assistant device and driving assistant method
KR101750201B1 (en) * 2016-03-28 2017-06-22 주식회사 와이즈오토모티브 Blind spot detection device using behavior of vehicle
KR20180130185A (en) * 2017-05-29 2018-12-07 현대모비스 주식회사 Method for preparing emergency braking of vehicle
WO2021049790A1 (en) * 2019-09-09 2021-03-18 주식회사 만도 Driver assistance device, vehicle having same, and control method therefor
KR20210108794A (en) 2020-02-26 2021-09-03 두산인프라코어 주식회사 Avm calibration system and avm calibration method using the same
CN113734048A (en) * 2020-05-29 2021-12-03 广州汽车集团股份有限公司 Backing warning method and device
KR20220118702A (en) * 2021-02-19 2022-08-26 주식회사 마노 Safety assistance system for getting on and off vehicle

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007233470A (en) * 2006-02-27 2007-09-13 Mazda Motor Corp Travel-supporting device for vehicles
JP3984897B2 (en) * 2002-09-18 2007-10-03 トヨタ自動車株式会社 Obstacle detection device for vehicles
KR20120059889A (en) * 2010-12-01 2012-06-11 현대자동차주식회사 Around view system
KR20130021990A (en) * 2011-08-24 2013-03-06 현대모비스 주식회사 Pedestrian collision warning system and method of vehicle

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3984897B2 (en) * 2002-09-18 2007-10-03 トヨタ自動車株式会社 Obstacle detection device for vehicles
JP2007233470A (en) * 2006-02-27 2007-09-13 Mazda Motor Corp Travel-supporting device for vehicles
KR20120059889A (en) * 2010-12-01 2012-06-11 현대자동차주식회사 Around view system
KR20130021990A (en) * 2011-08-24 2013-03-06 현대모비스 주식회사 Pedestrian collision warning system and method of vehicle

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170014159A (en) * 2015-07-29 2017-02-08 주식회사 만도 Driving assistant device and driving assistant method
KR102356656B1 (en) * 2015-07-29 2022-01-28 주식회사 만도모빌리티솔루션즈 Driving assistant device and driving assistant method
KR101750201B1 (en) * 2016-03-28 2017-06-22 주식회사 와이즈오토모티브 Blind spot detection device using behavior of vehicle
KR20180130185A (en) * 2017-05-29 2018-12-07 현대모비스 주식회사 Method for preparing emergency braking of vehicle
KR102393436B1 (en) * 2017-05-29 2022-05-03 현대모비스 주식회사 Method for preparing emergency braking of vehicle
WO2021049790A1 (en) * 2019-09-09 2021-03-18 주식회사 만도 Driver assistance device, vehicle having same, and control method therefor
KR20210108794A (en) 2020-02-26 2021-09-03 두산인프라코어 주식회사 Avm calibration system and avm calibration method using the same
CN113734048A (en) * 2020-05-29 2021-12-03 广州汽车集团股份有限公司 Backing warning method and device
KR20220118702A (en) * 2021-02-19 2022-08-26 주식회사 마노 Safety assistance system for getting on and off vehicle
KR102493296B1 (en) 2021-02-19 2023-01-31 주식회사 마노 Safety assistance system for getting on and off vehicle

Similar Documents

Publication Publication Date Title
KR101515482B1 (en) Driving assist device according as the risk of obstacles around the vehicle and method thereof
CN106485233B (en) Method and device for detecting travelable area and electronic equipment
KR101996419B1 (en) Sensor integration based pedestrian detection and pedestrian collision prevention apparatus and method
CN108883725B (en) Driving vehicle alarm system and method
JP4650079B2 (en) Object detection apparatus and method
TWI434239B (en) Pre-warning method for rear coming vehicle which switches lane and system thereof
US11518401B2 (en) Vehicular driving assist with driver monitoring
WO2018092265A1 (en) Driving assistance device and driving assistance method
CN108263279A (en) The pedestrian detection and pedestrian impact avoiding device and method integrated based on sensor
KR101487165B1 (en) Safety system for getting on/off vihicle of passenger
JP2010113601A (en) Vehicle warning apparatus
KR101103526B1 (en) Collision Avoidance Method Using Stereo Camera
JP2009163434A (en) Emergency evacuation system and method
KR20190001265A (en) Apparatus and method for generating a signal for extending the traffic signal for protecting a pedestrian in crosswalk
KR20150055656A (en) Device for preventing vehicle collisions and method thereof
KR101546893B1 (en) System for checking doze at the vehicle
KR20180065527A (en) Vehicle side-rear warning device and method using the same
KR20130021990A (en) Pedestrian collision warning system and method of vehicle
KR20120086577A (en) Apparatus And Method Detecting Side Vehicle Using Camera
JP2014056295A (en) Vehicle periphery monitoring equipment
CN112149560B (en) Lane departure detection method
US11014579B2 (en) Lane departure warning determination method using driver state monitoring
KR102310433B1 (en) System and Method for Warning to Drivers by Sensing a Waiting Pedestrian Before a Crosswalk
KR101438921B1 (en) Apparatus and method for alerting moving-object of surrounding of vehicle
JP2015191437A (en) Driving support device

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20190313

Year of fee payment: 5