KR101697484B1 - Apparatus and method for warning a dangerous element of surrounding of vehicle - Google Patents

Apparatus and method for warning a dangerous element of surrounding of vehicle Download PDF

Info

Publication number
KR101697484B1
KR101697484B1 KR1020160111393A KR20160111393A KR101697484B1 KR 101697484 B1 KR101697484 B1 KR 101697484B1 KR 1020160111393 A KR1020160111393 A KR 1020160111393A KR 20160111393 A KR20160111393 A KR 20160111393A KR 101697484 B1 KR101697484 B1 KR 101697484B1
Authority
KR
South Korea
Prior art keywords
vehicle
warning
lane
distance
top view
Prior art date
Application number
KR1020160111393A
Other languages
Korean (ko)
Other versions
KR20160143595A (en
Inventor
이재민
조상현
Original Assignee
(주)캠시스
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)캠시스 filed Critical (주)캠시스
Priority to KR1020160111393A priority Critical patent/KR101697484B1/en
Publication of KR20160143595A publication Critical patent/KR20160143595A/en
Application granted granted Critical
Publication of KR101697484B1 publication Critical patent/KR101697484B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q5/00—Arrangement or adaptation of acoustic signal devices
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R1/00—Optical viewing arrangements; Real-time viewing arrangements for drivers or passengers using optical image capturing systems, e.g. cameras or video systems specially adapted for use in or on vehicles
    • B60R1/02—Rear-view mirror arrangements
    • B60R1/08—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors
    • B60R1/081—Rear-view mirror arrangements involving special optical features, e.g. avoiding blind spots, e.g. convex mirrors; Side-by-side associations of rear-view and other mirrors avoiding blind spots, e.g. by using a side-by-side association of mirrors
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R11/00—Arrangements for holding or mounting articles, not otherwise provided for
    • B60R11/04—Mounting of cameras operative during drive; Arrangement of controls thereof relative to the vehicle
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/20—Conjoint control of vehicle sub-units of different type or different function including control of steering systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/10—Path keeping
    • B60W30/12—Lane keeping
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B60W40/105—Speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B60W2520/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • B60W2554/80—Spatial relation or speed relative to objects
    • B60W2554/801—Lateral distance
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00—Responses or measures related to driver conditions
    • B60Y2302/03—Actuating a signal or alarm device

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Transportation (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Human Computer Interaction (AREA)
  • Acoustics & Sound (AREA)
  • Multimedia (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명의 일 실시예에 따르면, 차량 주변의 위험요소 경고장치 및 방법이 개시된다. 본 발명의 위험요소 경고장치는 차량의 전후좌우에 설치된 카메라로부터 원영상 이미지를 촬영하는 카메라; 상기 촬영된 원영상 이미지를 이용하여 탑뷰(Top View) 영상을 생성하는 탑뷰 영상 생성부; 상기 탑뷰 영상을 이용하여 차선을 검출하는 차선 검출부; 상기 원영상을 이용하여 차량 주변의 위험 요소를 검출하는 위험요소 검출부; 상기 차량에 경고 신호를 제공하는 경고 발생부; 및 상기 위험요소 검출부에서 위험요소가 검출된 경우 상기 차량의 운전상황에 대응하여 상기 경고 발생부가 서로 다른 경고 신호를 제공하도록 제어하는 제어부를 포함할 수 있다.
본 발명에 따르면, 탑뷰 영상을 이용하여 차선을 보다 정확하게 검출하고, AVM 원영상을 통해 차량의 사각지대의 위험요소를 정확하게 검출할 수 있다. 또한, 본 발명은 차량과 차선간의 거리에 따른 상황에 대응되도록 경고등, 경고음을 통한 경고 및 차량의 조향 제어를 선택적으로 적절하게 수행함으로써 차량과 위험요소간의 충돌을 방지하도록 한다.According to an embodiment of the present invention, an apparatus and method for warning a danger around a vehicle are disclosed. The risk warning device of the present invention includes a camera for photographing an original image from a camera installed on the front, rear, left, and right sides of the vehicle; A top view image generation unit for generating a top view image using the photographed original image; A lane detecting unit detecting a lane using the top view image; A dangerous element detecting unit for detecting a dangerous element around the vehicle using the original image; An alarm generating unit for providing an alarm signal to the vehicle; And a control unit for controlling the warning generating unit to provide different warning signals in response to an operation state of the vehicle when a dangerous element is detected in the dangerous element detecting unit.
According to the present invention, a lane can be more accurately detected using a top view image, and a dangerous element of a blind spot of a vehicle can be accurately detected through an AVM original image. Further, the present invention selectively prevents the collision between the vehicle and the hazardous elements by appropriately performing the warning light, the warning through the warning sound, and the steering control of the vehicle so as to correspond to the situation depending on the distance between the vehicle and the lane.

Description

차량 주변의 위험요소 경고장치 및 경고방법{APPARATUS AND METHOD FOR WARNING A DANGEROUS ELEMENT OF SURROUNDING OF VEHICLE}BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to a warning device,

본 발명의 실시예들은 차량 주변의 위험요소 경고장치 및 경고방법에 관한 것으로서, 더욱 상세하게는 주행중인 차량 주변에 위험요소가 있는 경우 차량의 운전 상황에 대응하여 적절한 경고 신호를 차량에 제공할 수 있는 차량 주변의 위험요소 경고장치 및 경고방법에 관한 것이다.Embodiments of the present invention relate to a danger warning device and a warning method in the vicinity of a vehicle, and more particularly, to a warning device and a warning method in the vicinity of a vehicle, The present invention relates to a risk warning device and warning method for a vehicle around a vehicle.

종래의 차량 주변의 위험요소를 경고하는 방법은, 차량의 후면 범퍼에 장착된 센서를 이용하여 사각지대의 물체를 검출하고, 사이드 미러 A-필러(pillar) 또는 계기판 등에 경고등(Lamp)을 통해 알림을 준다. A conventional method of warning a dangerous element around a vehicle is to detect an object in a blind spot by using a sensor mounted on a rear bumper of the vehicle and to notify a side mirror A-pillar or an instrument panel through a lamp .

이와 같은 알림의 경우, 자기 차량에 대한 정보가 없어 상대방의 차량과 자기 차량간의 거리만 판단하여 위험하다는 표시만 해주는 문제가 있다.In the case of such a notification, there is a problem that only the distance between the vehicle and the subject vehicle of the other party is judged to be dangerous because there is no information about the subject vehicle.

또한, 상기 센서를 이용한 위험 경고는 차량 주행 중 차선 변경을 하는 경우, 차량의 사각지대에 있는 위험요소 등을 정확하게 검출하지 못하는 문제가 있었다.In addition, the danger warning using the sensor has a problem in that it can not accurately detect a dangerous element or the like in a blind spot of a vehicle when a lane change is made while the vehicle is running.

상기한 바와 같은 종래기술의 문제점을 해결하기 위해, 본 발명에서는 주행중인 차량 주변에 위험요소가 있는 경우 차량의 운전 상황에 대응하여 적절한 경고 신호를 차량에 제공할 수 있는 차량 주변의 위험요소 경고장치 및 경고방법을 제안하고자 한다.According to an aspect of the present invention, there is provided a risk warning device for a vehicle, which can provide an appropriate warning signal to a vehicle in response to a driving state of the vehicle when a dangerous element is present around the vehicle under driving, And a warning method.

본 발명의 다른 목적들은 하기의 실시예를 통해 당업자에 의해 도출될 수 있을 것이다.Other objects of the invention will be apparent to those skilled in the art from the following examples.

상기한 목적을 달성하기 위해 본 발명의 바람직한 일 실시예에 따르면, 차량의 전후좌우에 설치된 카메라로부터 원영상 이미지를 촬영하는 카메라; 상기 촬영된 원영상 이미지를 이용하여 탑뷰(Top View) 영상을 생성하는 탑뷰 영상 생성부; 상기 탑뷰 영상을 이용하여 차선을 검출하는 차선 검출부; 상기 원영상을 이용하여 차량 주변의 위험 요소를 검출하는 위험요소 검출부; 상기 차량에 경고 신호를 제공하는 경고 발생부; 및 상기 위험요소 검출부에서 위험요소가 검출된 경우 상기 차량의 운전상황에 대응하여 상기 경고 발생부가 서로 다른 경고 신호를 제공하도록 제어하는 제어부를 포함하되, 상기 경고 신호는 경고등 및 경고음을 포함하며, 상기 위험요소 검출부는 탑뷰 영상을 더 이용하여 차량 주변의 위험요소를 검출하며, 상기 제어부는 상기 차량과 상기 차선과의 거리를 계산하며, 상기 차량이 특정 차선과 가까워 지면서, 상기 원영상으로부터만 위험요소가 검출된 경우 상기 경고 발생부가 상기 경고등을 통해 상기 차량에 경고하도록 제어하며, 상기 원영상 및 탑뷰 영상으로부터 위험요소가 검출된 경우 상기 경고 발생부가 상기 경고음을 통해 상기 차량에 경고하도록 제어하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치가 제공된다.According to an aspect of the present invention, there is provided a camera for capturing an original image from a camera installed at front, rear, left, and right sides of a vehicle; A top view image generation unit for generating a top view image using the photographed original image; A lane detecting unit detecting a lane using the top view image; A dangerous element detecting unit for detecting a dangerous element around the vehicle using the original image; An alarm generating unit for providing an alarm signal to the vehicle; And a control unit for controlling the warning generating unit to provide different warning signals in response to a driving state of the vehicle when a dangerous element is detected in the dangerous element detecting unit, wherein the warning signal includes a warning lamp and a warning sound, The risk element detecting unit detects a risk factor around the vehicle by further using a top view image, and the control unit calculates the distance between the vehicle and the lane, and when the vehicle approaches the specific lane, The alarm generating unit controls the warning unit to warn the vehicle through the warning lamp and controls the warning generating unit to warn the vehicle through the warning sound when a dangerous element is detected from the original image and the top view image A risk warning device is provided around the vehicle.

상기 제어부는 상기 위험요소 검출부에서 위험요소가 검출된 경우, 상기 경고 발생부가 상기 경고등을 통해 상기 차량에 경고 신호를 제공하도록 제어할 수 있다.The control unit may control the warning generating unit to provide an alarm signal to the vehicle through the warning lamp when a dangerous element is detected in the dangerous element detecting unit.

상기 제어부는 상기 차량과 상기 차선과의 거리를 계산하며, 상기 차량이 특정 차선과 가까워 지면서, 상기 특정 차선 방향에 위험요소가 있는 것으로 판단되는 경우, 상기 경고 발생부가 상기 경고음을 통해 상기 차량에 경고 신호를 제공하도록 제어할 수 있다.Wherein the control unit calculates a distance between the vehicle and the lane and when the vehicle is close to a specific lane and it is determined that there is a risk factor in the specific lane direction, Signal. ≪ / RTI >

상기 제어부는 상기 차량과 상기 특정 차선과의 거리가 제1 기 설정된 거리 이하가 되는 경우, 상기 경고 발생부에서 발생하는 경고음의 주기를 짧게 하거나 소리가 커지도록 제어할 수 있다.The control unit may control the warning sound generated by the warning generating unit to be shortened or louder when the distance between the vehicle and the specific lane becomes less than or equal to a first predetermined distance.

상기 차량의 핸들의 방향을 제어하는 조향 제어부를 더 포함하되,Further comprising a steering control unit for controlling a direction of a handle of the vehicle,

상기 제어부는 상기 차량과 상기 차선과의 거리가 제2 기 설정된 거리 이하가 되는 경우, 상기 차량이 차선 중앙에 위치하도록 상기 조향 제어부를 제어할 수 있다.The control unit may control the steering control unit such that the vehicle is positioned at the center of the lane when the distance between the vehicle and the lane becomes less than a second predetermined distance.

상기 차량의 속도를 감지하는 속도 감지부를 더 포함하되, 상기 제어부는 상기 차량의 속도가 기 설정된 속도 미만이면서, 상기 차량과 특정 차선간의 거리가 가까워지는 경우, 상기 경고 발생부에서 상기 경고등을 통해 상기 차량에 경고 신호를 제공하도록 제어할 수 있다.The control unit may further include a speed sensing unit that senses the speed of the vehicle when the speed of the vehicle is less than a predetermined speed and the distance between the vehicle and a specific lane approaches, It can be controlled to provide a warning signal to the vehicle.

상기 차선 검출부는 상기 탑뷰 영상에서 에지 정보를 추출하고, 상기 추출된 에지 정보를 이용하여 차선을 검출하고, 상기 제어부는 상기 탑뷰 영상에서의 가상의 차량의 외곽선과 상기 차선간의 수평거리를 이용하여 상기 차량과 상기 차선간의 거리를 추출할 수 있다.Wherein the lane detecting unit extracts edge information from the top view image and detects a lane using the extracted edge information, and the control unit controls the lane detecting unit to detect the lane by using the edge distance between the outline of the virtual vehicle and the lane in the top- The distance between the vehicle and the lane can be extracted.

상기 위험요소 검출부는 상기 원영상에서 모션 정보를 추출하고, 추출된 모션 정보 중 차량 진행 모션과 속도가 다른 이상 모션 영역을 검출하고, 상기 모션 영역이 기 설정된 영역의 크기 이상이면 위험 요소가 있는 것으로 검출할 수 있다.The dangerous element detecting unit extracts motion information from the original image, detects an abnormal motion area having a speed different from that of the vehicle progression motion among the extracted motion information, and if the motion area is equal to or larger than a predetermined area size, Can be detected.

상기 위험요소 검출부는 상기 원영상 중 상기 차량의 좌측 및 우측에 설치된 카메라를 통해 획득된 원영상에서 사각지대 영역을 특정하고, 상기 특정된 사각지대 영역에서 모션 정보를 추출할 수 있다.The danger detection unit may identify a blind spot region in the original image obtained through the camera installed on the left and right sides of the vehicle and extract motion information from the specified blind spot region.

본 발명의 다른 실시예에 따르면, 차량의 전후좌우에 설치된 카메라로부터 촬영된 원영상을 이용하여 생성된 탑뷰 영상으로부터 차선을 검출하고, 상기 차량과 차선간의 거리를 계산하는 단계(a); 상기 원영상의 사각지대 영역의 이미지를 분석하여 차량의 사각지대의 위험요소를 검출하는 단계(b); 상기 위험 요소가 검출되며, 상기 차량과 차선간의 거리가 유지되는 경우 경고등을 통하여 상기 차량에 경고하는 단계(c); 상기 위험 요소가 검출되며, 상기 차량과 특정 차선간의 거리가 가까워 지는 경우, 경고음을 통하여 상기 차량에 경고하는 단계(d); 및 상기 차량과 상기 특정 차선간의 거리가 제1 기 설정된 거리 미만이 되는 경우 상기 경고음의 주기를 짧게 하거나 소리를 크게 하는 단계(e)를 포함하되, 상기 단계(b)는 상기 탑뷰 영상을 더 이용하여 차량의 사각지대의 위험요소를 검출하며, 상기 차량이 상기 특정 차선간의 거리가 가까워지면서, 상기 원영상으로부터 위험요소가 검출되는 경우 경고등을 통하여 상기 차량에 경고하며, 상기 원영상 및 상기 탑뷰 영상으로부터 위험요소가 검출된 경우 경고음을 통하여 상기 차량에 경고하는 단계를 더 포함하는 것을 특징으로 하는 차량 주변의 위험 경고방법이 제공될 수 있다.According to another embodiment of the present invention, there is provided a method of controlling a vehicle, comprising the steps of: (a) detecting a lane from a top view image generated by using an original image photographed from front, rear, left, and right sides of a vehicle, and calculating a distance between the vehicle and the lane; (B) analyzing an image of a blind spot area of the original image to detect a dangerous component of the blind spot of the vehicle; (C) warning the vehicle through a warning lamp when the dangerous element is detected and the distance between the vehicle and the lane is maintained; (D) warning the vehicle through a warning sound when the danger is detected and the distance between the vehicle and a specific lane approaches; And (e) if the distance between the vehicle and the specific lane becomes less than a first predetermined distance, shortening or loudening the period of the warning sound, wherein the step (b) And warning the vehicle through a warning lamp when a dangerous element is detected from the original image as the distance between the specific lanes becomes close to the vehicle, And warning the vehicle through a warning sound when a dangerous element is detected from the warning signal.

본 발명에 따르면, 탑뷰 영상을 이용하여 차선을 보다 정확하게 검출하고, AVM 원영상을 통해 차량의 사각지대의 위험요소를 정확하게 검출할 수 있다.According to the present invention, a lane can be more accurately detected using a top view image, and a dangerous element of a blind spot of a vehicle can be accurately detected through an AVM original image.

또한, 본 발명은 차량과 차선간의 거리에 따른 상황에 대응되도록 경고등, 경고음을 통한 경고 및 차량의 조향 제어를 선택적으로 적절하게 수행함으로써 차량과 위험요소간의 충돌을 방지하도록 한다.Further, the present invention selectively prevents the collision between the vehicle and the hazardous elements by appropriately performing the warning light, the warning through the warning sound, and the steering control of the vehicle so as to correspond to the situation depending on the distance between the vehicle and the lane.

도 1은 본 발명의 일 실시예에 따른 차량의 위험요소 경고장치를 도시한 블록도이다.
도 2는 본 발명의 일 실시예에 따른 카메라로부터 획득된 원영상, 원영상으로부터 생성된 탑뷰 영상의 일례를 도시한 도면이다.
도 3은 본 발명의 일 실시예에 따라 영상으로부터 검출된 차선의 일례를 도시한 도면이다.
도 4는 본 발명의 일 실시예에 따른 차량의 좌우측에 설치된 카메라로부터 획득된 원영상 중 사각지대 영역이 특정된 일례를 도시한 도면이다.
도 5 내지 도 7은 본 발명의 일 실시예에 따른 주행 중인 차량의 운전 상황에 따른 경고방법을 설명하기 위해 도시한 도면이다.
도 8은 본 발명의 일 실시예에 따른 차량 주변의 위험요소 경고방법의 일련의 과정을 도시한 순서도이다.FIG. 1 is a block diagram showing a danger warning device of a vehicle according to an embodiment of the present invention. Referring to FIG.
2 is a view showing an example of a top view image generated from an original image and an original image obtained from a camera according to an embodiment of the present invention.
3 is a diagram illustrating an example of a lane detected from an image according to an embodiment of the present invention.
FIG. 4 is a diagram illustrating an example of a blind zone region of an original image obtained from a camera installed at right and left sides of a vehicle according to an exemplary embodiment of the present invention.
5 to 7 are diagrams for explaining a warning method according to the driving condition of a running vehicle according to an embodiment of the present invention.
FIG. 8 is a flowchart showing a series of processes of a risk element warning method around a vehicle according to an embodiment of the present invention.

기타 실시예들의 구체적인 사항들은 상세한 설명 및 도면들에 포함되어 있다.The details of other embodiments are included in the detailed description and drawings.

본 발명의 이점 및 특징, 그리고 그것들을 달성하는 방법은 첨부되는 도면과 함께 상세하게 후술되어 있는 실시예들을 참조하면 명확해질 것이다. 그러나 본 발명은 이하에서 개시되는 실시예들에 한정되는 것이 아니라 서로 다른 다양한 형태로 구현될 수 있으며, 이하의 설명에서 어떤 부분이 다른 부분과 연결되어 있다고 할 때, 이는 직접적으로 연결되어 있는 경우뿐 아니라 그 중간에 다른 소자를 사이에 두고 전기적으로 연결되어 있는 경우도 포함한다. 또한, 도면에서 본 발명과 관계없는 부분은 본 발명의 설명을 명확하게 하기 위하여 생략하였으며, 명세서 전체를 통하여 유사한 부분에 대해서는 동일한 도면 부호를 붙였다.BRIEF DESCRIPTION OF THE DRAWINGS The advantages and features of the present invention, and the manner of achieving them, will be apparent from and elucidated with reference to the embodiments described hereinafter in conjunction with the accompanying drawings. However, the present invention is not limited to the embodiments described below, but may be embodied in various forms. In the following description, it is assumed that a part is connected to another part, But also includes a case in which other elements are electrically connected to each other in the middle thereof. In the drawings, parts not relating to the present invention are omitted for clarity of description, and like parts are denoted by the same reference numerals throughout the specification.

이하, 첨부된 도면들을 참고하여 본 발명에 대해 설명하도록 한다.Hereinafter, the present invention will be described with reference to the accompanying drawings.

도 1은 본 발명의 일 실시예에 따른 차량 주변의 위험요소 경고장치를 도시한 블록도이다.1 is a block diagram showing a danger warning device around a vehicle according to an embodiment of the present invention.

도 1을 참조하면, 차량 주변의 위험요소 경고장치(100)는 카메라(101), 탑뷰 영상 생성부(103), 차선 검출부(105), 위험요소 검출부(107), 속도 감지부(109), 경고 발생부(111), 조향 제어부(113) 및 제어부(115)를 포함할 수 있다.Referring to FIG. 1, a danger warning device 100 around a vehicle includes a camera 101, a top view image generating unit 103, a lane detecting unit 105, a dangerous element detecting unit 107, a speed detecting unit 109, An alarm generating unit 111, a steering control unit 113, and a control unit 115.

카메라(101)는 차량의 전후좌우에 각각 설치되어 차량 주변의 영상을 획득한다. 여기서, 카메라(101)는 차량의 주행환경을 모니터링 하는 어안렌즈(fish eyes lens) 카메라로 구현될 수 있으나, 이에 한정되는 것은 아닐 것이다.The camera 101 is installed on the front, rear, right and left sides of the vehicle to acquire images of the surroundings of the vehicle. Here, the camera 101 may be implemented as a fish eyes lens camera for monitoring the driving environment of the vehicle, but is not limited thereto.

즉, 도 2에 도시된 바와 같이 차량의 전방에 설치되는 카메라(101)로부터 차량의 진행 방향에 대한 AVM(Around View Monitoring) 원영상을 획득할 수 있고, 차량의 후방에 설치되는 카메라(101)로부터 차량의 진행방향과 반대되는 방향에 대한 AVM 영상을 획득할 수 있다. 또한, 차량의 좌우에 설치되는 카메라(101)로부터 차량이 주행중인 노면을 촬영한 AVM 원영상을 획득할 수 있다.That is, as shown in FIG. 2, an AVM (Around View Monitoring) original image with respect to the traveling direction of the vehicle can be obtained from the camera 101 installed in front of the vehicle, and the camera 101 installed behind the vehicle, It is possible to obtain an AVM image for a direction opposite to the traveling direction of the vehicle. In addition, it is possible to acquire AVM original images of the road surface of the vehicle running from the camera 101 installed on the left and right sides of the vehicle.

어안렌즈는 사각이 180°를 넘는 초광각 렌즈로서, 도 2에 도시된 바와 같이 어안렌즈를 통해 획득된 AVM 원영상은 영상의 왜곡이 심하다. 따라서, AVM 원영상을 통해서는 차선의 정확한 검출이 어려운 문제가 있다.The fisheye lens is an ultra-wide angle lens having a square angle of more than 180 degrees. As shown in FIG. 2, the AVM original image acquired through the fisheye lens has a severe image distortion. Therefore, it is difficult to accurately detect the lane through the AVM original image.

따라서, 정확한 차선의 검출을 위해, 탑뷰 영상 생성부(103)는 차량의 전후좌우에 설치된 카메라(101)로부터 획득된 4개의 AVM 원영상을 이용하여 도 2에 도시된 바와 같이 탑뷰(Top View)영상을 생성한다.Therefore, for accurate lane detection, the top view image generating unit 103 uses the four AVM original images acquired from the camera 101 installed on the front, rear, right, and left sides of the vehicle to generate a top view, And generates an image.

여기서, 탑뷰 영상이란 차량의 전후좌우에서 획득된 AVM 원영상이 통합되어 한 화면으로 보여지는 영상으로서, 전후좌우에 각각 설치된 카메라(101)들의 위치가 다르고, 지향 방향이 다르며, 지면과의 거리 또한 다르기 때문에, 탑뷰 영상 생성부(103)는 영상 처리를 통해 AVM 원영상들의 왜곡을 보정하여 탑뷰 영상을 생성한다. 일례로, 탑뷰 영상 생성부(130)는 원영상의 휘도 및 색상 편차에 대한 보정, 어안렌즈에의 렌즈 왜곡 보상, 원근감에 대한 편차 보상, 시점 변환 등을 통해 4개의 AVM 원영상을 하나의 탑뷰 영상으로 변환할 수 있을 것이다.Here, the top view image is an image in which the AVM original images acquired from the front, rear, right, and left sides of the vehicle are integrated and are displayed in one screen. The cameras 101 installed at the front, rear, left and right sides are different in position, direction is different, The top view image generating unit 103 corrects the distortion of the AVM original images through the image processing to generate the top view image. For example, the top-view image generator 130 may convert four AVM source images into one top view (i.e., a top view image) by correcting brightness and color deviations of the original image, compensating for lens distortion in the fisheye lens, Image.

차선 검출부(105)는 탑뷰 영상 생성부(103)를 통해 성성된 탑뷰 영상을 통하여 차선을 검출한다.The lane detecting unit 105 detects the lane through the top view image generated through the top view image generating unit 103. [

보다 상세하게, 차선 검출부(105)는 탑뷰 영상의 영상 처리를 수행하여 차선을 검출할 수 있다. 일례로, 차선과 도로는 항상 주변보다 큰 밝기 차이를 가지므로, 탑뷰 영상에서 밝기 값의 차이가 큰 에지 정보를 추출하고, 추출된 에지 정보 및 직선 방정식을 이용하여 차선을 검출할 수 있을 것이나, 이에 한정되지 않으며, 차선을 검출하기 위한 다양한 영상 처리 기법이 적용될 수 있을 것이다.More specifically, the lane detecting section 105 can perform lane detection by performing image processing of the top view image. For example, lanes and roads always have larger brightness differences than surrounding ones. Therefore, it is possible to extract edge information having a large difference in brightness values from the top view image, and detect lanes using the extracted edge information and the linear equation, The present invention is not limited thereto, and various image processing techniques for detecting lanes may be applied.

도 3은 본 발명의 일 실시예에 따라, 차선 검출부에서 검출된 차선 영상의 일례를 도시한 도면이다.3 is a diagram showing an example of a lane image detected by a lane detecting unit according to an embodiment of the present invention.

도 3을 참조하며, 도 3(a)는 탑뷰 영상에서 검출된 차선의 일례를 도시한 도면이며, 도 3(b)는 차량의 우측에 설치된 카메라를 통해 획득된 AVM 원영상에서 검출된 차선의 일례를 도시한 도면이다.3 (a) is a view showing an example of a lane detected in a top view image, and FIG. 3 (b) is a view showing an example of a lane detected in an AVM original image acquired through a camera installed on the right side of the vehicle Fig.

도 3(a)에서 알 수 있는 바와 같이 탑뷰 영상의 경우 AVM 원영상의 왜곡을 보정한 영상이므로, 차량과 차선간의 거리(D)가 일정하게 표시되는 반면에, 도 3(b)의 경우 AVM 원영상의 왜곡으로 인해, 차량과 차선간의 거리(D)가 일정하게 표시되지 않는 것을 확인할 수 있다.3 (a), the distance D between the vehicle and the lane is constantly displayed, since the top view image is an image in which distortion of the AVM original image is corrected. On the other hand, in the case of the top view image, It can be confirmed that the distance D between the vehicle and the lane is not constantly displayed due to the distortion of the original image.

따라서, 본 발명은 차량과 차선간의 거리를 보다 명확하게 산출하기 위해 탑뷰 영상에서 차선을 검출하는 것을 특징으로 한다.Therefore, the present invention is characterized in that the lane is detected in the top view image to more clearly calculate the distance between the vehicle and the lane.

위험 요소 검출부(107)는 AVM 원영상을 이용하여 차량의 주변의 위험요소를 검출한다.The dangerous element detecting unit 107 detects the dangerous elements around the vehicle by using the AVM original image.

일례로, 위험 요소 검출부(107)는 AVM 원영상의 프레임 별 이지미에서의 픽셀 변화를 이용하여, 모션 정보를 추출하고, 추출된 모션 정보 중 차량의 진행 모션과 속도가 다른 이상 모션 영역을 검출하고, 상기 모션 영역이 기 설정된 영역의 크기 이상이면 위험요소가 있는 것으로 검출할 수 있다.For example, the dangerous element detecting unit 107 extracts motion information by using a pixel change in the frame of the AVM source image, detects an abnormal motion region having a speed different from that of the vehicle's progressed motion among the extracted motion information , And if the motion area is equal to or larger than the predetermined area size, it can be detected that there is a risk factor.

본 발명에서, 위험 요소 검출부(107)가 AVM 원영상을 이용하여 위험요소를 검출하는 이유는, 탑뷰 영상의 경우 탑뷰 영상이 생성되는 과정에서 원영상의 왜곡을 보정하기 위해 원영상의 일부 영역의 이미지들이 삭제되기 때문이다. 즉, 탑뷰 영상은 차량 주변의 일정 영역만을 표시하므로 탑뷰 영역을 벗어난 위치의 위험요소는 검출할 수 없다. 따라서, 본 발명에서는 AVM 원영상을 이용해 탑뷰 영역을 벗어난 위험 요소를 검출하여 차량의 위험요소를 보다 정확하게 검출한다. In the present invention, the dangerous element detecting unit 107 detects the dangerous element using the AVM original image because, in the case of the top view image, in order to correct the distortion of the original image in the process of generating the top view image, This is because the images are deleted. That is, since the top view image displays only a certain area around the vehicle, it is not possible to detect a risk factor in a position outside the top view area. Therefore, in the present invention, a risk element outside the top view area is detected by using the AVM original image to more accurately detect the risk factor of the vehicle.

도 4는 본 발명의 일 실시예에 따라 차량의 좌우 측면에서 설치된 카메라로부터 획득된 원영상의 일례를 도시한 도면이다.4 is a view showing an example of an original image obtained from a camera installed on left and right sides of a vehicle according to an embodiment of the present invention.

도로를 주행중인 운전자에게 시야가 불량한 측면부분인 사각지대가 존재한다. 따라서, 본 발명의 일 실시예에 따르면, 위험 요소의 검출 속도를 높이기 위해, 도 4에서와 같이 상기 차량의 좌측 및 우측에 설치된 카메라를 통해 획득된 원영상에서 사각지대 영역을 특정하고, 상기 특정된 사각지대 영역의 프레임 별 이미지에서 모션 정보를 추출할 수 있다. 즉, 원영상 이미지 전체에서 모션 정보를 추출하는 것이 아닌, 사각지대 영역 내의 이미지들의 픽셀변화를 이용하여 모션 정보를 추출함으로써, 위험요소의 검출 속도를 높일 수 있다.There is a blind spot on the side of the road where the driver is in bad condition with poor visibility. Therefore, according to an embodiment of the present invention, in order to increase the detection speed of a dangerous element, a dead zone region is specified in an original image obtained through a camera installed on the left and right sides of the vehicle as shown in FIG. 4, The motion information can be extracted from the frame-by-frame image of the blind spot area. That is, not only the motion information is extracted from the entire original image but the motion information is extracted using the pixel change of the images in the dead zone region, thereby increasing the detection speed of the risk factors.

속도 감지부(109)는 차량의 속도를 감지하는 부분으로서, GPS 모듈 또는 차량에 내장된 속도계로부터 속도 정보를 획득할 수 있다.The speed sensing unit 109 is a part that senses the speed of the vehicle and can acquire speed information from a GPS module or a speedometer built in the vehicle.

경고 발생부(105)는 차량에 경고 신호를 제공한다. 경고 발생부(105)는 경고등 및 경고음을 발생시키는 스피커등의 구성을 포함할 수 있으며 제어부(105)의 제어에 따라 경고등 및 경고음을 통해 차량의 주변에 위험 요소가 있는 경우 경고 신호를 제공할 수 있다.The warning generating unit 105 provides a warning signal to the vehicle. The warning generating unit 105 may include a warning light and a speaker to generate a warning sound. The warning light and warning sound may be provided under the control of the control unit 105 to provide a warning signal when there is a risk factor around the vehicle have.

조향 제어부(113)는 제어부(115)의 제어 신호에 따라 차량의 핸들 방향을 제어함으로써, 차량과 위험요소간의 충돌을 방지하도록 한다.The steering control unit 113 controls the handle direction of the vehicle in accordance with the control signal of the control unit 115, thereby preventing collision between the vehicle and the dangerous element.

제어부(115)는 차량의 위험요소 경고장치(100)에 포함된 구성들을 전반적으로 제어하여, 차량 주변의 위험요소가 검출되는 경우 차량의 운전상황에 대응하여 차량의 운전자에게 경고신호를 제공할 수 있도록 한다.The control unit 115 controls the components included in the danger warning device 100 of the vehicle as a whole to provide a warning signal to the driver of the vehicle in response to the driving situation of the vehicle when a dangerous element around the vehicle is detected .

제어부(115)는 도 3(a)에 도시된 바와 같이 탑뷰 영상 생성부(103)에서 생성된 탑뷰 영상에서 가상의 차량의 외곽선과 차선간의 수평거리를 이용하여 차량과 차선간의 거리를 계산할 수 있다.The control unit 115 can calculate the distance between the vehicle and the lane by using the horizontal distance between the outline of the virtual vehicle and the lane in the top view image generated by the top view image generating unit 103 as shown in Fig. .

본 발명의 일 실시예에 따르면, 제어부(115)는 위험요소 검출부(107)에서 위험요소가 검출된 경우, 경고 발생부(111)가 경고 신호를 제공하도록 제어한다.According to an embodiment of the present invention, when the dangerous element is detected in the dangerous element detection unit 107, the control unit 115 controls the warning generation unit 111 to provide a warning signal.

보다 상세하게, 제어부(115)는 도 5에서와 같이 차량(10)이 차선간의 거리를 유지하며 운행되며, 위험요소 검출부(107)에서 차량 주변의 위험요소(20)가 검출된 경우, 경고 발생부(111)가 경고등을 통해 차량에 경고하도록 제어할 수 있다.5, the control unit 115 operates while maintaining the distance between the lanes of the vehicle 10, and when the dangerous element 20 around the vehicle is detected by the dangerous element detecting unit 107, The control unit 111 can control the warning lamp to warn the vehicle.

즉, 본 발명은 차량(10)이 차선간의 거리를 유지하며 운행하는 경우, 경고등 만으로 차량 주변에 위험요소가 있음을 경고함으로써, 운행자의 운전을 운행을 크게 방해하지 않으면서 주변에 위험요소(20)가 있음을 운전자에게 알려줄 수 있다.That is, in the present invention, when the vehicle 10 operates while maintaining the distance between the lanes, it warns that there is a risk factor around the vehicle only by the warning light, ) To the driver.

또한, 제어부(115)는 도 6에서와 같이 차량(10)이 특정 차선과 가까워지면서, 특정 차선 방향에 위험 요소(20)가 있는 것으로 판단되는 경우 경고 발생부(111)가 경고음을 통해 차량에 추가로 경고하도록 제어할 수 있다.6, when it is determined that the dangerous element 20 exists in the specific lane direction as the vehicle 10 approaches the specific lane, the warning unit 111 outputs a warning signal to the vehicle And can be further controlled to warn.

즉, 제어부(115)는 차량(10) 주변에 위험 요소(20)가 있는 경우, 우선적으로 경고등을 통해 차량의 운전자에게 경고 신호를 제공하도록 하며, 차량(10)이 차선 변경, 졸음 운전 등으로 특정 차선과 가깝게 이동하는 경우 경고음을 통해 특정 차선 방향에 위험 요소가 있음을 적극적으로 경고할 수 있다.That is, when there is a danger element 20 in the vicinity of the vehicle 10, the control unit 115 provides a warning signal to the driver of the vehicle through a warning lamp, If you move closer to a particular lane, you can actively alert you that there is a risk in a particular lane direction through a beep.

또한, 제어부(115)는 차량(10)과 특정 차선과의 거리가 제1 기 설정된 거리 이하가 되는 경우, 경고 발생부(111)에서 발생하는 경고음의 주기를 짧게 하거나 소리가 커지도록 제어하여 차량(10)의 운전자에게 충돌 가능성이 있음을 보다 적극적으로 경고할 수 있다.When the distance between the vehicle 10 and the specific lane becomes less than the first predetermined distance, the control unit 115 controls the alarm generating unit 111 to shorten or increase the volume of the warning sound, The driver of the vehicle 10 can more positively warn that there is a possibility of collision.

또한, 제어부(115)는 도 7과 같이 차량(10)과 특정 차선과의 거리가 제2 기 설정된 거리 이하가 되는 경우, 조향 제어부(113)가 핸들의 방향을 제어하여 차량이 차선의 중앙에 위치할 수 있도록 조향 제어부(113)를 제어할 수 있다.7, when the distance between the vehicle 10 and the specific lane becomes equal to or less than the second predetermined distance, the control unit 115 controls the steering direction of the steering wheel so that the vehicle is positioned at the center of the lane It is possible to control the steering control unit 113 so that it can be positioned.

여기서, 제2 기 설정된 거리는 제1 기 설정된 거리보다 작은 값일 수 있다. 예를 들어, 제2 기 설정된 거리의 의미는 차량이 차선에 닿는 경우를 의미할 수 있다.Here, the second predetermined distance may be a value smaller than the first predetermined distance. For example, the meaning of the second preset distance may mean that the vehicle touches the lane.

즉, 제어부(115)는 차량 주변에 위험요소가 있음에도, 특정 방향으로 차량이 이동하여 충돌 위험성이 높아지는 경우, 경고음을 크게 하거나 조향 제어부(113)를 제어함으로써 차량과 위험요소가 충돌하는 것을 방지하도록 한다.That is, when there is a risk factor around the vehicle and the risk of collision increases due to the movement of the vehicle in a specific direction, the control unit 115 increases the warning sound or controls the steering control unit 113 to prevent the vehicle from colliding with the dangerous element do.

본 발명의 일 실시예에 따르면, 제어부(115)는 차량의 속도가 기 설정된 속도 미만이면서, 차선과의 거리가 기 설정된 이하인 경우, 제어부(115)는 경고 발생부(111)가 경고등을 통해 차량에 경고 신호를 제공하도록 제어할 수 있다.According to an embodiment of the present invention, when the speed of the vehicle is less than a predetermined speed and the distance between the lane and the lane is less than or equal to a predetermined value, the control unit 115 causes the warning generating unit 111 to generate, To provide a warning signal.

차량이 저속이면서, 주변에 차량이 많은 환경에서 차량의 차선변경이 필요한 경우에는 경고음이 아닌 경고등 만으로 주변에 위험요소가 있음을 알려줌으로써, 차량 변경시의 운행에 방해가 되지 않도록 하기 위함이다.When the lane change of the vehicle is required in an environment where the vehicle is at a low speed and in the vicinity of a large number of vehicles, it is intended to prevent interference with the operation at the time of changing the vehicle by informing that there is a danger factor around the lane only by a warning light instead of a warning sound.

본 발명의 다른 실시예에 따르면, 위험요소 검출부(107)는 탑뷰 영상을 더 이용하여 차량 주변의 위험요소를 검출할 수 있다. 즉, AVM 원영상 외에 탑뷰 영상을 통해서도 위험요소를 검출할 수 있다.According to another embodiment of the present invention, the dangerous element detecting unit 107 can further detect the dangerous elements around the vehicle by using the top view image. That is, in addition to the AVM source image, the risk factor can be detected through the top view image.

이 경우, 제어부(115)는 차량이 특정 차선과 가까워 지면서, 상기 원영상으로부터만 위험요소가 검출된 경우 경고 발생부(111)가 상기 경고등을 통해 상기 차량에 경고하도록 제어하며, AVM 원영상 및 탑뷰 영상으로부터 동시에 위험요소가 검출된 경우 경고 발생부(111)가 상기 경고음을 통해 상기 차량에 경고하도록 제어할 수 있다.In this case, the control unit 115 controls the warning generating unit 111 to warn the vehicle through the warning lamp when a dangerous element is detected only from the original image as the vehicle approaches a specific lane, When a dangerous element is simultaneously detected from the top view image, the alarm generating unit 111 can be controlled to warn the vehicle through the warning sound.

즉, AVM 원영상을 통해서만 위험요소가 검출되는 경우에는 경고등을 통해서만 운전자에게 경고하며, 탑뷰 영상에서도 위험요소가 검출되는 경우, 차량과 매우 인접한 위치에 위험요소가 있는 것으로 판단하여, 경고음을 통해 보다 적극적으로 운전자에게 위험요소에 대한 경고를 할 수 있도록 한다.In other words, if the risk factor is detected only through the AVM source image, the driver is warned only through the warning light. If the risk factor is detected in the top view image, it is determined that there is a risk factor in a position very close to the vehicle. Actively alert the driver to dangerous factors.

도 8은 본 발명의 일 실시예에 따른 차량 주변의 위험요소 경고방법의 일련의 과정을 도시한 순서도이다.FIG. 8 is a flowchart showing a series of processes of a risk element warning method around a vehicle according to an embodiment of the present invention.

도 8을 참조하면, 우선 제어부(115)는 탑뷰 영상으로부터 추출된 차선 정보를 이용하여 차량과 차선간의 거리를 계산한다(S100).Referring to FIG. 8, first, the control unit 115 calculates the distance between the vehicle and the lane using the lane information extracted from the top view image (S100).

또한, 위험 요소 검출부(107)는 AVM 원영상의 사각지대 영역의 이미지를 분석하여 차량의 사각지대에 위험 요소가 있는지를 검출(S110)한다. Also, the dangerous element detecting unit 107 analyzes the image of the blind spot area of the AVM source image and detects whether there is a risk factor in the blind spot of the vehicle (S110).

이어서, 사각지대에 위험 요소가 검출된 경우 차선이 유지되고 있는지를 판단한다(S120).Subsequently, when a dangerous element is detected in the blind spot, it is determined whether the lane is maintained (S120).

만약, 차량과 차선간의 거리가 유지되고 있는 경우 제어부(115)는 경고 발생부(111)를 제어하여 경고등으로 차량의 운전자에게 주변에 위험요소가 있음을 알린다.If the distance between the vehicle and the lane is maintained, the control unit 115 controls the alarm generating unit 111 to inform the driver of the vehicle of the presence of a danger by using a warning light.

차량과 차선간의 거리가 유지되지 않고, 특정 차선과 차량간의 거리가 가까워지는 경우, 제어부(115)는 경고 발생부(111)를 제어하여 경고음으로 차량의 운전자에게 주변에 위험요소가 있음을 알린다(S140).If the distance between the vehicle and the lane is not maintained and the distance between the specific lane and the vehicle becomes close to each other, the control unit 115 controls the alarm generating unit 111 to notify the driver of the vehicle of a danger S140).

이어서, 차량과 차량이 가까워지고 있는 특정 차선간의 거리를 산출하고, 차량과 특정 차선간의 거리가 제1 기 설정된 거리 미만인 것으로 판단(S150)되는 경우 경고음 주기를 짧게 하거나 경고음의 소리를 크게 할 수 있다(S160).Then, when the distance between the vehicle and the specific lane approaching the vehicle is calculated and it is determined that the distance between the vehicle and the specific lane is less than the first predetermined distance (S150), the warning sound period may be shortened or the warning sound may be louder (S160).

또한, 차량과 차선간의 거리가 제2 기 설정된 거리 미만인 것으로 판단(S170)되는 경우, 제어부(115)는 조향 제어부(113)를 제어하여, 차량이 차선 중앙으로 오도록 제어할 수 있다. 이때, 제2 기 설정된 거리는 제1 기설정된 거리보다 작은 값을 가지며, 차량이 차선에 거의 근접하거나 차선을 밟은 경우를 의미할 수 있다.Further, when it is determined that the distance between the vehicle and the lane is less than the second predetermined distance (S170), the control unit 115 controls the steering control unit 113 to control the vehicle to come to the center of the lane. At this time, the second predetermined distance has a value smaller than the first predetermined distance, which may mean a case where the vehicle comes close to the lane or stepped on the lane.

상기에서 살펴본 바와 같이, 본 발명은 탑뷰 영상을 이용하여 차선을 보다 정확하게 검출하고, AVM 원영상을 통해 차량의 사각지대의 위험요소를 정확하게 검출할 수 있다.As described above, the present invention can more accurately detect a lane using a top view image, and accurately detect a dangerous component of a blind spot of a vehicle through an AVM original image.

또한, 본 발명은 차량과 차선간의 거리에 따른 상황에 대응되도록 경고등, 경고음을 통한 경고 및 차량의 조향 제어를 선택적으로 적절하게 수행함으로써 차량과 위험요소간의 충돌을 방지하도록 한다.Further, the present invention selectively prevents the collision between the vehicle and the hazardous elements by appropriately performing the warning light, the warning through the warning sound, and the steering control of the vehicle so as to correspond to the situation depending on the distance between the vehicle and the lane.

이상과 같이 본 발명에서는 구체적인 구성 요소 등과 같은 특정 사항들과 한정된 실시예 및 도면에 의해 설명되었으나 이는 본 발명의 보다 전반적인 이해를 돕기 위해서 제공된 것일 뿐, 본 발명은 상기의 실시예에 한정되는 것은 아니며, 본 발명이 속하는 분야에서 통상적인 지식을 가진 자라면 이러한 기재로부터 다양한 수정 및 변형이 가능하다. 따라서, 본 발명의 사상은 설명된 실시예에 국한되어 정해져서는 아니되며, 후술하는 특허청구범위뿐 아니라 이 특허청구범위와 균등하거나 등가적 변형이 있는 모든 것들은 본 발명 사상의 범주에 속한다고 할 것이다.As described above, the present invention has been described with reference to particular embodiments, such as specific elements, and specific embodiments and drawings. However, it should be understood that the present invention is not limited to the above- And various modifications and changes may be made thereto by those skilled in the art to which the present invention pertains. Accordingly, the spirit of the present invention should not be construed as being limited to the embodiments described, and all of the equivalents or equivalents of the claims, as well as the following claims, belong to the scope of the present invention .

100: 차량 주변의 위험 요소 경고장치
101: 카메라 103: 탑뷰 영상 생성부
105: 차선 검출부 107: 위험요소 검출부
109: 속도 감지부 111: 경고 발생부
113: 조향 제어부 115: 제어부100: Hazard warning device around vehicle
101: camera 103: top view image generation unit
105: lane detection unit 107: dangerous element detection unit
109: speed detecting unit 111: warning generating unit
113: Steering control unit 115:

Claims (10)

차량의 전후좌우에 설치된 카메라로부터 원영상 이미지를 촬영하는 카메라;
상기 촬영된 원영상 이미지를 이용하여 탑뷰(Top View) 영상을 생성하는 탑뷰 영상 생성부;
상기 탑뷰 영상을 이용하여 차선을 검출하는 차선 검출부;
상기 원영상을 이용하여 차량 주변의 위험 요소를 검출하는 위험요소 검출부;
상기 차량에 경고 신호를 제공하는 경고 발생부; 및
상기 위험요소 검출부에서 위험요소가 검출된 경우 상기 차량의 운전상황에 대응하여 상기 경고 발생부가 서로 다른 경고 신호를 제공하도록 제어하는 제어부를 포함하되,
상기 경고 신호는 경고등 및 경고음을 포함하며,
상기 위험요소 검출부는 탑뷰 영상을 더 이용하여 차량 주변의 위험요소를 검출하며,
상기 제어부는 상기 차량과 상기 차선과의 거리를 계산하며, 상기 차량이 특정 차선과 가까워 지면서, 상기 원영상으로부터만 위험요소가 검출된 경우 상기 경고 발생부가 상기 경고등을 통해 상기 차량에 경고하도록 제어하며, 상기 원영상 및 탑뷰 영상으로부터 위험요소가 검출된 경우 상기 경고 발생부가 상기 경고음을 통해 상기 차량에 경고하도록 제어하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.A camera for photographing an original image from a camera installed on the front, rear, left, and right sides of the vehicle;
A top view image generation unit for generating a top view image using the photographed original image;
A lane detecting unit detecting a lane using the top view image;
A dangerous element detecting unit for detecting a dangerous element around the vehicle using the original image;
An alarm generating unit for providing an alarm signal to the vehicle; And
And a control unit for controlling the warning generating unit to provide different warning signals in response to an operation state of the vehicle when a dangerous element is detected in the dangerous element detecting unit,
Wherein the warning signal includes a warning light and a warning sound,
The risk detection unit detects a risk factor around the vehicle by further using a top view image,
The control unit calculates the distance between the vehicle and the lane and controls the warning generating unit to warn the vehicle through the warning lamp when a dangerous element is detected only from the original image as the vehicle approaches a specific lane And the warning generating unit warns the vehicle through the warning sound when a dangerous element is detected from the original image and the top view image. 제1항에 있어서,
상기 제어부는 상기 차량과 상기 차선간의 거리가 유지되면서 상기 위험요소 검출부에서 위험요소가 검출된 경우, 상기 경고 발생부가 상기 경고등을 통해 상기 차량에 경고 신호를 제공하도록 제어하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.The method according to claim 1,
Wherein the control unit controls the warning generating unit to provide a warning signal to the vehicle through the warning lamp when a dangerous element is detected in the dangerous element detecting unit while the distance between the vehicle and the lane is maintained. Hazard warning device. 제2항에 있어서,
상기 제어부는 상기 차량과 상기 차선과의 거리를 계산하며, 상기 차량이 특정 차선과 가까워 지면서, 상기 특정 차선 방향에 위험요소가 있는 것으로 판단되는 경우, 상기 경고 발생부가 상기 경고음을 통해 상기 차량에 경고 신호를 제공하도록 제어하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.3. The method of claim 2,
Wherein the control unit calculates a distance between the vehicle and the lane and when the vehicle is close to a specific lane and it is determined that there is a risk factor in the specific lane direction, Signal to the vehicle. 제3항에 있어서,
상기 제어부는 상기 차량과 상기 특정 차선과의 거리가 제1 기 설정된 거리 이하가 되는 경우, 상기 경고 발생부에서 발생하는 경고음의 주기를 짧게 하거나 소리가 커지도록 제어하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.The method of claim 3,
Wherein the control unit controls the warning unit to shorten or increase the volume of the warning sound generated when the distance between the vehicle and the specific lane becomes equal to or less than a first predetermined distance. Element warning device. 제3항에 있어서,
상기 차량의 핸들의 방향을 제어하는 조향 제어부를 더 포함하되,
상기 제어부는 상기 차량과 상기 차선과의 거리가 제2 기 설정된 거리 이하가 되는 경우, 상기 차량이 차선 중앙에 위치하도록 상기 조향 제어부를 제어하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.The method of claim 3,
Further comprising a steering control unit for controlling a direction of a handle of the vehicle,
Wherein the control unit controls the steering control unit so that the vehicle is positioned at the center of the lane when the distance between the vehicle and the lane becomes less than or equal to a second predetermined distance. 제4항 또는 제5항 중 어느 한항에 있어서,
상기 차량의 속도를 감지하는 속도 감지부를 더 포함하되,
상기 제어부는 상기 차량의 속도가 기 설정된 속도 미만이면서, 상기 차량과 특정 차선간의 거리가 가까워지는 경우,
상기 경고 발생부에서 상기 경고등을 통해 상기 차량에 경고 신호를 제공하도록 제어하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.6. The method according to any one of claims 4 to 5,
Further comprising a speed sensing unit for sensing a speed of the vehicle,
When the speed of the vehicle is less than a predetermined speed and the distance between the vehicle and a specific lane approaches,
And the warning generating unit provides the warning signal to the vehicle through the warning lamp. 제1항에 있어서,
상기 차선 검출부는 상기 탑뷰 영상에서 에지 정보를 추출하고, 상기 추출된 에지 정보를 이용하여 차선을 검출하고,
상기 제어부는 상기 탑뷰 영상에서의 가상의 차량의 외곽선과 상기 차선간의 수평거리를 이용하여 상기 차량과 상기 차선간의 거리를 추출하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.The method according to claim 1,
The lane detecting unit extracts edge information from the top view image, detects a lane using the extracted edge information,
Wherein the controller extracts the distance between the vehicle and the lane using the horizontal distance between the outline of the virtual vehicle and the lane in the top view image. 제1항에 있어서,
상기 위험요소 검출부는 상기 원영상에서 모션 정보를 추출하고, 추출된 모션 정보 중 차량 진행 모션과 속도가 다른 이상 모션 영역을 검출하고, 상기 모션 영역이 기 설정된 영역의 크기 이상이면 위험 요소가 있는 것으로 검출하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.The method according to claim 1,
The dangerous element detecting unit extracts motion information from the original image, detects an abnormal motion area having a speed different from that of the vehicle progression motion among the extracted motion information, and if the motion area is equal to or larger than a predetermined area size, Wherein the detection unit detects the presence of a danger in the vicinity of the vehicle. 제8항에 있어서,
상기 위험요소 검출부는 상기 원영상 중 상기 차량의 좌측 및 우측에 설치된 카메라를 통해 획득된 원영상에서 사각지대 영역을 특정하고, 상기 특정된 사각지대 영역에서 모션 정보를 추출하는 것을 특징으로 하는 차량 주변의 위험요소 경고장치.9. The method of claim 8,
Wherein the danger detection unit identifies a blind spot region in an original image obtained through a camera installed on left and right sides of the vehicle and extracts motion information from the specified blind spot region, Hazard warning devices. 차량의 전후좌우에 설치된 카메라로부터 촬영된 원영상을 이용하여 생성된 탑뷰 영상으로부터 차선을 검출하고, 상기 차량과 차선간의 거리를 계산하는 단계(a);
상기 원영상의 사각지대 영역의 이미지를 분석하여 차량의 사각지대의 위험요소를 검출하는 단계(b);
상기 위험 요소가 검출되며, 상기 차량과 차선간의 거리가 유지되는 경우 경고등을 통하여 상기 차량에 경고하는 단계(c);
상기 위험 요소가 검출되며, 상기 차량과 특정 차선간의 거리가 가까워 지는 경우, 경고음을 통하여 상기 차량에 경고하는 단계(d); 및
상기 차량과 상기 특정 차선간의 거리가 제1 기 설정된 거리 미만이 되는 경우 상기 경고음의 주기를 짧게 하거나 소리를 크게 하는 단계(e)를 포함하되,
상기 단계(b)는 상기 탑뷰 영상을 더 이용하여 차량의 사각지대의 위험요소를 검출하며,
상기 차량이 상기 특정 차선간의 거리가 가까워지면서, 상기 원영상으로부터 위험요소가 검출되는 경우 경고등을 통하여 상기 차량에 경고하며, 상기 원영상 및 상기 탑뷰 영상으로부터 위험요소가 검출된 경우 경고음을 통하여 상기 차량에 경고하는 단계를 더 포함하는 것을 특징으로 하는 차량 주변의 위험 경고방법.(A) detecting a lane from a top view image generated by using an original image photographed from a camera installed at front, rear, left and right sides of the vehicle, and calculating a distance between the vehicle and the lane;
(B) analyzing an image of a blind spot area of the original image to detect a dangerous component of the blind spot of the vehicle;
(C) warning the vehicle through a warning lamp when the dangerous element is detected and the distance between the vehicle and the lane is maintained;
(D) warning the vehicle through a warning sound when the danger is detected and the distance between the vehicle and a specific lane approaches; And
(E) shortening or loudening the period of the warning sound when the distance between the vehicle and the specific lane becomes less than a first predetermined distance,
The step (b) further detects the dangerous component of the blind spot of the vehicle by using the top view image,
Wherein when a dangerous element is detected from the original image, the warning is given to the vehicle through a warning lamp, and when a dangerous element is detected from the original image and the top view image, The method further comprising the step of: < RTI ID = 0.0 > alerting < / RTI >
KR1020160111393A 2016-08-31 2016-08-31 Apparatus and method for warning a dangerous element of surrounding of vehicle KR101697484B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020160111393A KR101697484B1 (en) 2016-08-31 2016-08-31 Apparatus and method for warning a dangerous element of surrounding of vehicle

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020160111393A KR101697484B1 (en) 2016-08-31 2016-08-31 Apparatus and method for warning a dangerous element of surrounding of vehicle

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020150079679A Division KR101729030B1 (en) 2015-06-05 2015-06-05 Apparatus and method for warning a dangerous element of surrounding of vehicle

Publications (2)

Publication Number Publication Date
KR20160143595A KR20160143595A (en) 2016-12-14
KR101697484B1 true KR101697484B1 (en) 2017-01-18

Family

ID=57575561

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160111393A KR101697484B1 (en) 2016-08-31 2016-08-31 Apparatus and method for warning a dangerous element of surrounding of vehicle

Country Status (1)

Country Link
KR (1) KR101697484B1 (en)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107054223A (en) * 2016-12-28 2017-08-18 重庆长安汽车股份有限公司 It is a kind of to be shown based on the driving blind area that panorama is shown and caution system and method
KR102421855B1 (en) 2017-09-28 2022-07-18 삼성전자주식회사 Method and apparatus of identifying driving lane
KR102051324B1 (en) * 2017-10-31 2019-12-03 주식회사 켐트로닉스 Surround view monitoring system
JP7287301B2 (en) * 2020-02-06 2023-06-06 トヨタ自動車株式会社 Blind spot information acquisition device, blind spot information acquisition method, vehicle and program

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116723A (en) 2007-11-08 2009-05-28 Denso Corp Lane change support system

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101063711B1 (en) * 2007-07-16 2011-09-07 기아자동차주식회사 Vehicle alarm system
KR20110139898A (en) * 2010-06-24 2011-12-30 주식회사 만도 Mehtod and apparatus for controlling lane keeping and alarm apparatus for departure from lane
KR101458131B1 (en) * 2012-12-26 2014-11-05 주식회사 이미지넥스트 Vehicle and Method for Changing Traffic Line of Vehicle

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009116723A (en) 2007-11-08 2009-05-28 Denso Corp Lane change support system

Also Published As

Publication number Publication date
KR20160143595A (en) 2016-12-14

Similar Documents

Publication Publication Date Title
US8405491B2 (en) Detection system for assisting a driver when driving a vehicle using a plurality of image capturing devices
JP6205640B2 (en) Warning device for vehicle
JP6379779B2 (en) Vehicle display device
KR101697484B1 (en) Apparatus and method for warning a dangerous element of surrounding of vehicle
US11223775B2 (en) Method and apparatus for the spatially resolved detection of an object outside a transportation vehicle with the aid of a sensor installed in a transportation vehicle
US10846833B2 (en) System and method for visibility enhancement
US10011227B2 (en) Vehicular viewing device
JP7077616B2 (en) Display control device and display control method
KR20180065527A (en) Vehicle side-rear warning device and method using the same
JP2009265842A (en) Warning device for vehicle and warning method
KR101729030B1 (en) Apparatus and method for warning a dangerous element of surrounding of vehicle
CN113329913A (en) Driving support device
KR101629577B1 (en) Monitoring method and apparatus using a camera
WO2016092925A1 (en) Approaching vehicle detection device
KR101729482B1 (en) Error information protection apparatus of stereo camera for vehicle and method thereof
JP2007133644A (en) Pedestrian recognition device
KR101849326B1 (en) Camera system for vehicle
US11648876B2 (en) System and method for visibility enhancement
KR20150138898A (en) Method and system for warning lane departure using turn sign recognition
JP2013207747A (en) Device for photographing rear lateral side of vehicle
WO2020152737A1 (en) Information presentation device, information presentation control method, program, and recording medium
KR20180027904A (en) Smart mirrorless camera system based on the collision prediction and warning of approaching vehicles
US20230222813A1 (en) Road surface marking detection device, notification system provided with the same, and road surface marking detection
JP2017224067A (en) Looking aside state determination device
JP2005266899A (en) Traveling object risk determination device

Legal Events

Date Code Title Description
A107 Divisional application of patent
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20200103

Year of fee payment: 4