KR101398783B1 - Obstacle avoidance detection system and method using driver attention and direction of front car for semi-active safety - Google Patents

Obstacle avoidance detection system and method using driver attention and direction of front car for semi-active safety Download PDF

Info

Publication number
KR101398783B1
KR101398783B1 KR1020130003476A KR20130003476A KR101398783B1 KR 101398783 B1 KR101398783 B1 KR 101398783B1 KR 1020130003476 A KR1020130003476 A KR 1020130003476A KR 20130003476 A KR20130003476 A KR 20130003476A KR 101398783 B1 KR101398783 B1 KR 101398783B1
Authority
KR
South Korea
Prior art keywords
vehicle
information
driver
detecting
obstacle
Prior art date
Application number
KR1020130003476A
Other languages
Korean (ko)
Inventor
김준모
김영수
곽종훈
Original Assignee
한국과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국과학기술원 filed Critical 한국과학기술원
Priority to KR1020130003476A priority Critical patent/KR101398783B1/en
Application granted granted Critical
Publication of KR101398783B1 publication Critical patent/KR101398783B1/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • General Physics & Mathematics (AREA)
  • Traffic Control Systems (AREA)

Abstract

The present invention relates to a system and method for detecting an obstacle avoiding movement through the detection of a front car moving direction and a driver sight direction, thus inducing safety driving for the driver. The system includes a moving direction detecting part for detecting the moving direction of the front car; a running information acquiring part for acquiring the running information of a car; a sight detecting part for detecting a driver′s sight information; an avoidance sensing part for sensing an obstacle avoiding movement through which an obstacle is avoided, with the moving direction of the front car and the running information; and a warning generating part for generating a warning according to the driver′s sight information if the obstacle avoiding movement is sensed.

Description

보조 능동 안전을 위한 전방 차량의 진행 방향과 운전자 시선 방향을 이용하는 장애물 회피 운동 검출 시스템과 그 방법{OBSTACLE AVOIDANCE DETECTION SYSTEM AND METHOD USING DRIVER ATTENTION AND DIRECTION OF FRONT CAR FOR SEMI-ACTIVE SAFETY}TECHNICAL FIELD [0001] The present invention relates to an obstacle avoidance motion detection system and a method thereof, and more particularly to an obstacle avoidance motion detection system and a method thereof, which utilize a forward direction and a driver's sight direction of a forward vehicle for assistive active safety,

본 발명의 실시예는 전방 차량의 장애물 회피 운동을 검출하여 운전자의 안전 운전을 유도하기 위한 시스템과 그 방법에 관한 것이다.An embodiment of the present invention relates to a system and a method for inducing a safe driving of a driver by detecting an obstacle avoidance motion of a front vehicle.

운전자가 도로를 주행하다 보면 도로 위에 예상치 못한 장애물이 있는 경우가 있다. 운전자가 이런 장애물을 미리 인지하고 있다면 사고를 미연에 방지 할 수 있으나 늦게 발견하거나 미 발견 시에는 사고를 면하기 어렵다. 만약, 장애물이 길가에 쓰러진 사람이라면 사고는 더욱 큰 문제를 야기할 것이다.When the driver is driving the road, there are unexpected obstacles on the road. If the driver is aware of these obstacles in advance, it can prevent accidents, but it is difficult to avoid accidents when they are discovered late or not yet discovered. If the obstacle falls on the roadside, the accident will cause even greater problems.

또한, 전방에 주행중인 차량이 있을 경우 그 차량에 가린 장애물을 발견하는 것은 베테랑 운전자에게도 쉽지 않은 일이며, 잠시 한눈을 파는 사이 앞 차량이 장애물을 피해간다면 이 또한 사고를 면하기 어려운 상황이 된다.It is also difficult for a veteran driver to find an obstacle obstructing the vehicle if there is a vehicle running in front of the vehicle. It is also difficult to avoid an accident if the vehicle in front of the vehicle avoids obstacles during a brief glance.

기존의 상기와 관련된 연구로는 전방에 장애물이 있는지를 확인하여 운전자에게 장애물 여부를 경고로 알려주거나 브레이크 강제 작동으로 위험을 회피하는 것에 대해서 이루어졌다.The existing researches related to the above have been made to check whether there is an obstacle ahead, to inform the driver whether the obstacle is an obstacle, or to avoid the danger by forced operation of the brake.

그러나, 종래 기술의 경우 전방의 장애물이 있는지 없는지의 경우만 운전자에게 알려주기 때문에 앞 차량이 급작스럽게 장애물을 회피하는 경우에는 장애물의 감지가 늦어지고 사고발생의 위험이 높다. 따라서, 앞 차량이 급작스럽게 장애물을 회피하게 되면, 이를 감지하여 운전자에게 경고하여 안전 운전을 유도하는 시스템이 필요하다.However, in the case of the prior art, since the driver is informed only when there is an obstacle ahead, if the obstacle is suddenly avoided by the preceding vehicle, the detection of the obstacle is delayed and the risk of accidents is high. Accordingly, a system is required in which when the obstacle is suddenly avoided by the preceding vehicle, it is sensed and the driver is warned to induce safe driving.

전방 카메라를 이용하여 전방 주행 차량의 진행 방향을 검출하고 기존에 학습된 일반적 주행과 장애물 회피 운동의 데이터를 이용하여 전방 차량의 장애물 회피 운동을 감지함으로써 장애물에 대한 경고를 운전자에게 전달하는 시스템 및 그 방법을 제공한다.A system for detecting a traveling direction of a forward traveling vehicle using a front camera and transmitting a warning about an obstacle to a driver by sensing an obstacle avoidance motion of a forward vehicle using data of the general traveling and obstacle avoidance motions learned in the past, ≪ / RTI >

이때, 잦은 경고 전달은 운전자에게 불편을 초래할 수 있으므로 카메라를 이용하여 운전자의 시선 방향을 추적하고, 이를 이용하여 운전자의 전방 차량의 장애물 회피 운동에 대한 인지 여부 또는 장애물의 인지 여부를 파악한 후, 미 파악 시에 장애물에 대한 경고를 전달하는 시스템 및 그 방법을 제공한다.In this case, frequent alarm transmission may cause inconvenience to the driver. Therefore, the direction of the driver's gaze is tracked by using the camera, and after the driver's front vehicle recognizing whether or not the obstacle avoidance movement is recognized or whether the obstacle is recognized, And provides a system and method for delivering a warning about an obstacle at the time of grasping.

차량의 운전자에게 안전 운전을 유도하기 위한 시스템에 있어서, 차량의 전방 차량의 진행 방향 정보를 검출하는 방향 검출부; 차량의 주행 정보를 획득하는 주행 정보부; 운전자의 시선 정보를 검출하는 시선 검출부; 전방 차량의 진행 방향 정보와 주행 정보를 종합하여 장애물을 피하는 장애물 회피 운동을 감지하는 회피 감지부; 및 장애물 회피 운동이 감지되면 시선 정보에 따라 운전자에 경고하는 경고 발생부를 포함하는 장애물 회피 운동 검출 시스템이 제공될 수 있다.A system for guiding safe driving to a driver of a vehicle, the system comprising: a direction detecting unit for detecting a traveling direction information of a vehicle ahead; A running information section for obtaining running information of the vehicle; A line of sight detection unit for detecting line of sight information of a driver; An evasive sensing unit for sensing an obstacle avoiding motion avoiding an obstacle by integrating traveling direction information and traveling information of the front vehicle; And an alarm generating unit that alerts the driver according to the sight line information when the obstacle avoiding motion is sensed.

일측에 있어서, 방향 검출부는 차량에 구비된 전방 카메라를 이용하여 전방 차량의 진행 방향 정보를 검출하며, 진행 방향 정보는 표준화된 구간별 거리값 분포도를 이용하여 전방 차량의 급박한 진행 방향 변화에 대한 정보가 될 수 있다.In one aspect, the direction detecting unit detects the traveling direction information of the front vehicle using a front camera installed in the vehicle, and the traveling direction information includes a distance distribution map for each vehicle, It can be information.

또 다른 측면에 있어서, 구간별 거리값 분포도는 전방 차량의 후면과 전방 카메라의 좌우 특이점 거리 변화를 검출하고, 전방 카메라의 영상을 이용해 특이점을 매칭하며, 매칭점의 거리값을 전방 차량의 후면의 좌우 일정 구간에 대해 구간별로 평균 계산된 값에 해당할 수 있다.According to another aspect of the present invention, the distance value distribution map of the front vehicle detects the change of the distance between the rear side of the front vehicle and the front camera, and matches the singularity using the image of the front camera. It may correspond to the average value calculated for each section for the right and left predetermined sections.

또 다른 측면에 있어서, 주행 정보부는 차량의 주행 속도, 주행 차선, 주행 차선 이동 중 어느 하나에 대한 정보를 획득하고, 차량의 주행 속도와 주행 차선 이동에 따라서 차량에 구비된 전방 카메라의 획득 영상의 프레임 중, 장애물 회피 운동을 감지하는 데에 사용되는 프레임의 개수가 산정될 수 있다.According to another aspect of the present invention, the driving information unit acquires information on any one of the traveling speed of the vehicle, the driving lane, and the traveling lane of the vehicle, In the frame, the number of frames used to detect obstacle avoidance motion can be calculated.

또 다른 측면에 있어서, 시선 검출부는 ASM(Active Shape Model)을 이용하여 차량 내부의 카메라를 통해 운전자의 시선 방향을 검출하며, 운전자의 시선이 전방을 향하고 있는지 전방이 아닌 다른 곳으로 향하고 있는지 판단할 수 있다.In another aspect, the eye-gaze detection unit detects the driver's gaze direction through a camera in the vehicle using an ASM (Active Shape Model), and determines whether the driver's gaze is directed toward the front or not .

또 다른 측면에 있어서, 회피 감지부는 가우시안 프로세스를 이용하여 장애물 회피 운동을 감지하며, 경고 발생부는 장애물 회피 운동을 감지했을 때, 운전자의 시선이 전방이 아닌 다른 곳으로 향하고 있다면 장애물의 존재에 대한 경고음을 울릴 수 있다.In another aspect of the present invention, the avoidance detection unit senses an obstacle avoidance motion using a Gaussian process, and when the obstacle avoidance motion is sensed by the warning unit, if the driver's gaze is pointing to a place other than forward, Lt; / RTI >

차량의 운전자에게 안전 운전을 유도하기 위한 방법에 있어서, 차량의 전방 차량의 진행 방향 정보를 검출하는 단계; 차량의 주행 정보를 획득하는 단계; 운전자의 시선 정보를 검출하는 단계; 전방 차량의 진행 방향 정보와 주행 정보를 종합하여 장애물을 피하는 장애물 회피 운동을 감지하는 단계; 및 장애물 회피 운동이 감지되면 시선 정보에 따라 운전자에 경고하는 단계를 포함하는 장애물 회피 운동 검출 방법이 제공될 수 있다.A method for inducing a driver of a vehicle to drive safely, comprising the steps of: detecting a traveling direction information of a vehicle ahead; Obtaining driving information of the vehicle; Detecting the sight line information of the driver; Detecting an obstacle avoiding motion avoiding an obstacle by combining traveling information of the forward vehicle and traveling information; And warning the driver according to the sight line information when the obstacle avoiding motion is sensed.

차량 운전자에게 안전 운전을 유도하는 시스템에 있어서, 차량의 전방 차량의 진행 방향 정보를 검출하는 방향 검출부; 차량의 주행 정보를 획득하는 주행 정보부; 전방 차량의 진행 방향 정보와 주행 정보를 종합하여 장애물을 피하는 장애물 회피 운동을 감지하는 회피 감지부; 및 장애물 회피 운동을 감지하면 운전자에 경고하는 경고 발생부를 포함하는 장애물 회피 운동 검출 시스템이 제공될 수 있다.A system for guiding safe driving to a driver of a vehicle, comprising: a direction detector for detecting a traveling direction of the vehicle ahead; A running information section for obtaining running information of the vehicle; An evasive sensing unit for sensing an obstacle avoiding motion avoiding an obstacle by integrating traveling direction information and traveling information of the front vehicle; And an alarm generating unit for alerting the driver to the obstacle avoiding motion when the motion detecting unit detects the obstacle avoiding motion.

차량 운전자에게 안전 운전을 유도하는 방법에 있어서, 차량의 전방 차량의 진행 방향 정보를 검출하는 단계; 차량의 주행 정보를 획득하는 단계; 전방 차량의 진행 방향 정보와 주행 정보를 종합하여 장애물을 피하는 장애물 회피 운동을 감지하는 단계; 및 장애물 회피 운동을 감지하면 운전자에 경고하는 단계를 포함하는 장애물 회피 운동 검출 방법이 제공될 수 있다.A method of inducing a driver of a vehicle to drive safely, comprising the steps of: detecting a traveling direction information of a vehicle ahead; Obtaining driving information of the vehicle; Detecting an obstacle avoiding motion avoiding an obstacle by combining traveling information of the forward vehicle and traveling information; And warning the driver when the obstacle avoidance motion is sensed.

본 발명의 실시예를 통해, 전방 카메라를 이용하여 전방 주행 차량의 진행 방향을 검출하고 기존에 학습된 일반적 주행과 장애물 회피 운동의 데이터를 이용하여 전방 차량의 장애물 회피 운동을 감지함으로써 장애물에 대한 경고를 운전자에게 전달하는 시스템 및 그 방법을 제공할 수 있다.Through the embodiment of the present invention, it is possible to detect the traveling direction of the front-running vehicle using the front camera and to detect the obstacle avoidance motion of the front vehicle using the learned data of the general traveling and obstacle avoidance motions, To the driver, and a method thereof.

또한, 전방의 장애물이 카메라의 시야에 들어오기 전에 전방 차량의 장애물 회피 운동을 감지하여 위험 여부를 보다 빠르게 알 수 있다.In addition, the obstacle avoidance motion of the front vehicle can be detected before the obstacle ahead of the user enters the field of view of the camera, so that the danger can be detected more quickly.

이때, 운전자의 시선 방향을 추정하여 운전자가 전방을 주시하고 있지 않은 전방 주시 태만 상태일 때 위험 상황 발생시 운전자에게 빠른 경고를 전달할 수 있다. 이러한 빠른 경고를 통해 운전자는 위험 상황을 보다 빨리 알아챌 수 있고 운전자로 하여금 안전 운전을 유도할 수 있다.At this time, it is possible to estimate the driver's gaze direction and to give a quick warning to the driver in the event of a dangerous situation when the driver is not watching ahead and is in the forward overlooking state. These quick alerts enable the driver to be aware of the dangerous situation more quickly and drive the driver to safe driving.

도 1은 본 발명의 일실시예에 있어서, 전방 차량이 장애물을 피하는 장애물 회피 운동을 설명하기 위한 도면이다.
도 2는 본 발명의 일실시예에 있어서, 차량에 구비된 전방 카메라를 통해 전방 차량의 진행 방향의 변화를 감지하는 방법을 설명하기 위한 도면이다.
도 3은 본 발명의 일실시예에 있어서, 특이점을 이용하여 전방 차량 후면의 거리값 분포도를 구간별로 나타낸 도면이다.
도 4는 본 발명의 일실시예에 있어서, 운전자의 시선 정보를 검출하기 위한 시스템의 흐름도를 나타낸 것이다.
도 5는 본 발명의 일실시예에 있어서, 차량에 구비되는 전방 카메라와 내부 카메라의 설치 위치에 대한 실시예를 나타낸 도면이다.
도 6은 본 발명의 일실시예에 있어서, 장애물 회피 운동 검출 시스템의 그 구성을 설명하기 위한 블록도이다.
도 7은 본 발명의 일실시예에 있어서, 장애물 회피 운동 검출 시스템에서 수행되는 방법을 설명하기 위한 흐름도이다.1 is a view for explaining an obstacle avoidance motion in which a front vehicle avoids an obstacle in an embodiment of the present invention.
2 is a diagram for explaining a method of detecting a change in the traveling direction of a forward vehicle through a forward camera installed in a vehicle in an embodiment of the present invention.
FIG. 3 is a diagram showing a distance value distribution diagram of the rear side of a front vehicle using a singular point, according to an embodiment of the present invention.
4 is a flowchart of a system for detecting driver's gaze information in an embodiment of the present invention.
5 is a view showing an embodiment of installation positions of a front camera and an internal camera provided in a vehicle according to an embodiment of the present invention.
6 is a block diagram for explaining the configuration of an obstacle avoidance motion detection system according to an embodiment of the present invention.
7 is a flowchart for explaining a method performed in an obstacle avoidance motion detection system, in an embodiment of the present invention.

이하, 차량 운전자의 안전 운전을 유도하는 장애물 회피 운동 검출 시스템과 그 방법에 대해서 첨부된 도면을 참조하여 자세히 설명한다.Hereinafter, an obstacle avoidance motion detection system and method for inducing safe driving of a vehicle driver will be described in detail with reference to the accompanying drawings.

본 발명의 실시예는 운전자가 도로 주행 중에 전방을 주시하고 있지 않은 상태일 때, 전방 주행 차량이 장애물을 회피하는 동작을 감지하여 운전자에게 전방을 주시하라 경고를 전달하는 시스템과 그 방법에 대한 것이다.An embodiment of the present invention is directed to a system and a method for notifying a driver of an obstacle avoiding operation by watching a forward direction when a driver is not watching forward while driving on a road .

도 1은 본 발명의 일실시예에 있어서, 장애물 회피 운동에 대해서 설명하기 위한 도면이다. 도시된 상황을 살펴보면 차량(110)의 운전자는 화살표로 표시된 진행 방향을 응시하고 있지 않으며 다른 곳에 시선을 두고 있다. 이때, 차량(110)의 전방 차량(120)은 장애물(130)을 피해 왼쪽 차선으로 이동하고 있다. 따라서 전방을 응시하고 있지 않는 차량(110)의 운전자는 장애물(130)에 부딪히게 될 가능성이 높기 때문에 운전자의 시선을 환기시킬 필요가 있다.1 is a diagram for explaining an obstacle avoidance motion in an embodiment of the present invention. In the illustrated situation, the driver of the vehicle 110 is not gazing at the direction of progress indicated by the arrow, but is gazing elsewhere. At this time, the front vehicle 120 of the vehicle 110 is moving to the left lane due to the obstacle 130. Therefore, the driver of the vehicle 110 that is not staring forward is highly likely to hit the obstacle 130, so it is necessary to ventilate the driver's line of sight.

이를 위해서 전방 차량(120)의 차선 이동과 주행 방향에 대해서 감지하여 전방 차량(120)의 장애물 회피 운동을 빠르게 인지하여 운전자가 인지하지 못한 장애물(130)이 전방 카메라의 시야에 들어오기 이전에 운전자에게 경고를 전달하여 안전 운전을 유도하게 한다.For this purpose, it is necessary to detect the obstacle avoidance motion of the front vehicle 120 by sensing the lane travel and the driving direction of the front vehicle 120, and before the obstacle 130, which is not recognized by the driver, enters the field of view of the front camera, To alert them to safe driving.

이를 위해서 전방 차량(120)의 형태와 그 움직임을 감지하는데, 기존에는 차량의 좌우 위치 이동을 감지하였다. 본 발명의 실시예는 전방 차량(120)의 이동 상황을 감지하는 데에 좌우 위치 이동뿐만 아니라 전방 차량(120)의 진행 방향을 함께 검출하여 이용하도록 한다. 이는 운전자가 차량을 조향할 경우 차량의 좌우 위치 이동에 앞서 진행 방향이 우선적으로 바뀌게 되므로 보다 기민하게 전방 차량(120)의 상황을 감지할 수 있게 되기 때문이다.For this purpose, the shape and the movement of the front vehicle 120 are detected. The embodiment of the present invention detects the moving state of the front vehicle 120 as well as detecting the traveling direction of the front vehicle 120 as well as the lateral position movement. This is because, when the driver steers the vehicle, the traveling direction is preferentially changed prior to the left / right position shift of the vehicle, so that it is possible to more promptly detect the situation of the front vehicle 120. [

도 2는 차량에 구비된 전방 카메라(210)를 통해 전방 차량(220)의 진행 방향의 변화를 감지하는 것에 대해서 설명하기 위한 도면이다. 이를 위해 그림 (a)에는 전방 차량(220)이 정면으로 주행하는 상태를 도시하였으며, 그림 (b)에는 좌회전하는 상태를 도시하였다. 실시예에 따른 전방 카메라(210)는 도시된 바와 같이 두 개로 구비되거나 한 개 또는 둘 이상 다수 개로 구비될 수 있으며, 블랙 박스의 카메라, 3차원 카메라 등의 카메라를 통해 실시예가 나타날 수 있다.2 is a view for explaining a change in the traveling direction of the front vehicle 220 through the front camera 210 provided in the vehicle. For this purpose, FIG. 5A shows a state in which the front vehicle 220 travels in front, and FIG. 5B shows a state in which the vehicle is left-rotated. As shown in the drawings, the front camera 210 according to the embodiment may be provided in two, or may be provided in one or more than two, and an embodiment may be shown through a camera such as a black box camera or a three-dimensional camera.

전방 카메라(210)와 전방 차량(220)의 후면의 거리를 측정하는데, 도시된 바와 같이, 전방 카메라(210)와 전방 차량(220)의 가장 왼쪽과의 거리와, 전방 카메라(210)와 전방 차량(220)의 가장 오른쪽과의 거리, 좌우 특이점(SURF, SIFT, BRIEF)의 거리를 측정할 수 있다. 이때, 정면 주행하는 그림(a)는 측정한 좌우 특이점 거리의 길이가 같으며, 그림(b)는 좌우 특이점 거리의 길이가 다르게 나타난다. 이는 차량이 좌회전을 하면서 정면 기준으로 도시된 만큼의 각이 나타나기 때문에 좌측 특이점의 거리는 짧게 나타나고, 우측 특이점의 거리는 길게 나타난다.The distance between the front camera 210 and the rear side of the front vehicle 220 and the distance between the front camera 210 and the left side of the front vehicle 220 and the distance between the front camera 210 and the front side of the front vehicle 220, The distance to the rightmost side of the vehicle 220, and the distance between the right and left singular points (SURF, SIFT, BRIEF) can be measured. In this case, the length of the left and right singular points measured in the front running image (a) is the same, and the length of the singular point distances in the left and right are different from each other in the figure (b). This is because the distance of the left singular point is short and the distance of the right singular point is long because the angle shown by the front reference is displayed while the vehicle is turning left.

전방 카메라(210)와 전방 차량(220) 후면과의 거리값 분포는 매칭점의 거리 값을 구간별로 평균 계산한 것을 의미하며, 그 거리값 분포도는 도 3에 도시된 바와 같다. 도 3은 본 발명의 일실시예에 있어서, 특이점을 이용해 전방 차량의 후면의 거리값 분포도를 구간별로 나타낸 것이다.The distance value distribution between the front camera 210 and the rear surface of the front vehicle 220 means that the distance value of the matching point is calculated on an interval basis, and the distance value distribution is as shown in FIG. FIG. 3 is a graph showing a distribution of distance values of a rear surface of a front vehicle using a singular point, according to an embodiment of the present invention.

실시예에 있어서, 구간별 거리값 분포도를 구하는 방법은 다음과 같다. 전방에 주행 중인 차량을 감지 추적하는 상황에서 특이점을 검출하고, 전방 카메라의 영상을 이용하여 특이점 매칭을 수행한다. 이렇게 매칭된 특이점은 전방 카메라에 의해서 카메라와의 거리가 가늠될 수 있다.In the embodiment, a method of obtaining the distance value distribution map for each section is as follows. The singular point is detected in the situation where the vehicle running in front is detected and tracked, and the singular point matching is performed using the image of the front camera. The singularity thus matched can be measured by the front camera and the distance from the camera.

이러한 방법으로 전방 차량의 후면에 대해서 좌우로 일정 구간 단위로 나누어 해당 구간의 거리값을 해당 구간에 속하는 매칭점들의 거리값 평균으로 구할 수 있으며, 구해진 거리값 분포는 표준화(Normalization)된다.In this way, the distance value of the corresponding section can be obtained as the distance value average of the matching points belonging to the corresponding section by dividing the rear section of the vehicle ahead by a predetermined interval, and the obtained distance value distribution is normalized.

전방의 장애물을 짧은 시간에 회피하는 장애물 회피 운동은 보통의 차선 변경과는 다른 급박하고 빠른 움직임으로 나타난다. 본 발명에서는 장애물 회피 운동에 대한 움직임을 기계 학습을 통해 감지할 수 있다.Obstacle avoidance movements, which avoid obstacles in the front in a short time, appear to be urgent and fast movements, which are different from ordinary lane change. In the present invention, the motion of the obstacle avoidance movement can be detected through machine learning.

이때 사용되는 데이터는 앞서 전방 카메라를 이용한 전방 차량 거리값 분포와 전방 차량의 좌우 움직임, 차량의 현재 차선 위치 예컨대 1차선, 가장 우측 차선, 중간 차선 등의 차선 위치, 차량의 현재 속도에 해당할 수 있다. 나열된 데이터를 일반 주행 시와 장애물 회피 운동 시로 나누어 각각 수집할 수 있다.In this case, the data used in this case may correspond to the front vehicle distance value distribution using the front camera, the left and right movement of the front vehicle, the lane position of the current lane position of the vehicle such as the first lane, the rightmost lane, the middle lane, have. The data listed can be collected separately for both normal driving and obstacle avoidance exercise.

이와 같은 데이터는 전방 카메라로 수집하는 영상의 프레임마다 계산될 수 있으며, 주행 속도마다 차량의 차선 이동에 소요되는 시간이 다르듯이 그 프레임의 개수도 다르게 한다. 프레임의 개수를 결정하는 것은 차량의 주행 속도에 따라 차선 이동에 소요되는 평균 시간(T)을 산정하여 (T/a, a>2)만큼에 해당되는 프레임 중 일부의 프레임(k개) 만을 사용하는 것을 의미하며, 속도에 따라 사용되는 프레임의 개수 k를 같도록 할 수 있다.Such data can be calculated for each frame of the image collected by the front camera, and the number of frames is different as the time required for moving the lane of the vehicle differs for each traveling speed. The number of frames is determined by calculating the average time (T) required for traveling the lane according to the running speed of the vehicle, and using only a part of frames (k) corresponding to (T / , And it is possible to make the number k of used frames equal to the speed.

장애물 회피 주행을 1로, 일반 주행을 0으로 하여 해당 영상에서 이와 같은 데이터를 추출하여 0과 1로 레이블링(Labeling)하게 된다. k개 프레임의 데이터를 묶어서 한 개의 데이터로 만들게 되는데, 예컨대 고속 주행 시의 차선 변경 시간을 1초로 추정하고, 일반적인 카메라의 초당 프레임 수인 30 프레임을 k로 사용한다고 할 때에 30 x 2 + 2 = 62, 즉 총 62 차원(Dimension)을 가지는 데이터가 만들어진다. 이때, 차선 위치와 주행 속도는 평균값을 이용한다.The obstacle avoidance run is set to 1 and the general run is set to 0, and the data is extracted from the corresponding image and labeled with 0 and 1. For example, assuming that the lane change time at the time of high-speed traveling is assumed to be 1 second, and 30 frames, which is the frame rate per second of the general camera, is used as k, 30 x 2 + 2 = 62 , I.e., a total of 62 dimensions (Dimension) are created. At this time, the lane position and the traveling speed use an average value.

사용되는 프레임들은 인과관계가 있는 이전 이후의 프레임과 비교했을 때 전방 차량이 얼마나 이동했는지에 대한 데이터를 추출하며, 장애물 회피 운동을 감지하는데 사용되는 전방 차량의 좌우 움직임에 대한 정보가 될 수 있다.The used frames extract data on how far the preceding vehicle has moved compared with the causal posterior frame and can be information on the left and right motion of the front vehicle used to detect the obstacle avoiding motion.

실시예에 있어서, 만약 고속 주행 시의 차선 변경 시간을 1초라하고, 정상 주행 시에 차선 변경 시간을 2초라고 가정할 때에, 각각 차선 변경 시간에 획득하는 프레임의 개수는 정상 주행 시에 2배의 프레임을 획득하게 된다. 여기서, 사용되는 프레임의 개수는 같기 때문에, 고속 주행 시에 획득하는 프레임이 t, t+2, t+4,...에 해당한다면, 정상 주행 시에는 t, t+4, t+8,...으로 정상 주행 시에 사용되는 프레임의 간격이 더 크게 나타날 수 있다.In the embodiment, if it is assumed that the lane change time at the time of high-speed travel is one second and the lane change time at the time of normal travel is two seconds, the number of frames acquired at each lane change time is two times Of the frame. T + 4, t + 8, t + 3, and so on during normal driving if the frame acquired at high speed travel corresponds to t, t + ..., the spacing of frames used during normal driving may be larger.

다양한 속도에서, 일반 주행, 장애물 회피 주행에서의 데이터를 수집하여 가우시안 프로세스(GP, Gaussian Processes)알고리즘으로 학습하여 장애물 회피 운동을 검출한다. 수집된 데이터의 분석을 통해 레이블(Label)에 영향을 미치는 각 데이터 간의 상관 관계(Correlation)을 파악하여 커널을 최적화한다.Data is collected at various speeds, general driving and obstacle avoidance driving, and is learned by a Gaussian process (GP) algorithm to detect the obstacle avoidance motion. By analyzing the collected data, the correlation between each data affecting the label is grasped and the kernel is optimized.

도 4는 본 발명의 일실시예에 있어서, 운전자의 시선 정보를 검출하기 위한 시스템의 흐름을 설명하기 위한 도면이다. 운전자의 시선을 고려하지 않고 장애물 회피 운동이 감지될 때마다 경고를 한다면 불편함을 초래할 수 있다. 이와 같은 상황을 극복하기 위해, 운전자의 시선 방향을 검출하여 전방 상황을 인지하고 있는지 여부를 파악할 필요가 있다.FIG. 4 is a diagram for explaining a flow of a system for detecting driver's gaze information in an embodiment of the present invention. FIG. If a warning is given every time an obstacle avoidance motion is detected without considering the driver's gaze, it may cause inconvenience. In order to overcome such a situation, it is necessary to detect the direction of the driver's gaze and determine whether or not the driver is aware of the forward situation.

실시예에 있어서, 운전자의 시선 정보를 검출하기 위해 ASM(Active Shape Model, 능동 형태 모델)(410)이 이용될 수 있다. ASM(410)은 영상에서 물체의 형상을 찾을 때 많이 이용된다. ASM(410)을 이용하여 운전자 얼굴에서 눈의 위치와 특징점의 위치를 파악하고, 눈에서 동공 중심을 찾기 위해 Starburst 알고리즘을 이용한다. In an embodiment, an ASM (Active Shape Model) 410 may be used to detect the driver's gaze information. The ASM 410 is often used to find the shape of an object in an image. The ASM 410 is used to determine the position of the eye and the feature points on the driver's face and uses the starburst algorithm to find the pupil center in the eye.

얼굴 내 특징점을 이용하여 Head Pose와 얼굴의 3차원 위치, 그리고 동공 중심과 비교할 Local Point를 NCC(Normalized Cross Correlation)를 이용하여 추정할 수 있다. 또한, 가우시안 프로세스(Gaussian Processes)(420)로 회귀함으로써 운전자의 시선 정보가 구현될 수 있다.Using the feature points in the face, we can estimate the 3-dimensional position of the head pose, the face, and the local point to compare with the pupil center using NCC (Normalized Cross Correlation). Further, the gaze information of the driver can be implemented by returning to the Gaussian process 420.

도 4의 실시예는 자연광(Natural Light) 하에서 차량 내부에 카메라를 구비함으로써 구현될 수 있다. 또한, 운전자의 자연스러운 얼굴의 움직임, 예컨대 음악의 박자에 맞추어 고개를 흔들거나 옆 사람과 대화를 나누면서 얼굴을 움직이는 등의 움직임에 강인하도록 구현될 수 있다.The embodiment of FIG. 4 can be implemented by providing a camera in the vehicle under natural light. It can also be implemented to be robust to movements of the driver's natural face, such as shaking the head in accordance with the beat of the music, or moving the face while talking to a neighbor.

도 5는 본 발명의 일실시예에 있어서, 전방 차량의 움직임을 주시하는 전방 카메라(510)와 운전자의 시선 정보를 검출하는 내부 카메라(520)가 차량에 구비되는 실시예를 설명하기 위한 도면이다.5 is a diagram for explaining an embodiment in which a vehicle includes a front camera 510 for observing the movement of the front vehicle and an internal camera 520 for detecting the driver's gaze information according to an embodiment of the present invention .

도시된 바와 같이, 전방 카메라(510)는 차량의 가장 앞의 라이트 부분에 구비될 수 있으며, 내부 카메라(520)는 운전자의 시선을 추적하기 위해 운전자 위치에 근접하게 구비될 수 있다.As shown in the figure, the front camera 510 may be provided in the front light portion of the vehicle, and the internal camera 520 may be provided in proximity to the driver position to track the driver's gaze.

실시예에 있어서, 전방 카메라(510)는 장애물 회피 운동 검출 시스템을 위해 구비되거나 최근 대부분 차량에 구비되는 블랙박스 카메라가 이용될 수도 있는데, 예컨대 블랙박스 카메라의 경우에는 전방 차량과 거리를 식별할 수 있는 3차원 카메라가 이용될 수 있다. 또한, 내부 카메라(520)는 하나 이상의 카메라로 설치될 수 있다.In an embodiment, the front camera 510 may be provided for an obstacle avoidance motion detection system or a black box camera which is mostly equipped in most recent vehicles. For example, in the case of a black box camera, A three-dimensional camera can be used. In addition, the internal camera 520 may be installed with one or more cameras.

본 발명의 실시예는 전방 차량의 장애물 회피 운동 발생 시에 운전자가 이를 응시하고 있지 않는다면 경고를 전달하는데, 사용자의 주의를 환기 시키기 위해 가까운 곳에 알람(530)을 위치시키고, 경고음을 통해 경고를 전달할 수 있으며, 이외 다양한 방법으로서 운전자에게 경고를 전달할 수 있다.In the embodiment of the present invention, when the obstacle avoidance motion of the front vehicle occurs, the warning is transmitted if the driver is not staring at it. The alarm 530 is positioned close to the user's attention, And can provide a warning to the driver in various other ways.

도 6은 본 발명의 일실시예에 있어서, 앞서 도 1 내지 도 5를 통해 설명한 장애물 회피 운동 검출 시스템(600)의 구성을 설명하기 위한 블록도이다. 실시예에 따른 장애물 회피 운동 검출 시스템(600)은 방향 검출부(610), 주행 정보부(620), 시선 검출부(630), 회피 감지부(640), 그리고 경고 발생부(650)를 포함하여 구성될 수 있다.FIG. 6 is a block diagram for explaining the configuration of the obstacle avoidance motion detecting system 600 described above with reference to FIGS. 1 to 5, in an embodiment of the present invention. The obstacle avoiding motion detecting system 600 according to the embodiment of the present invention includes a direction detecting unit 610, a traveling information unit 620, a line of sight detecting unit 630, a avoiding detecting unit 640, and an alarm generating unit 650 .

방향 검출부(610)는 운전 중인 차량 전방의 주행 차량의 진행 방향 정보를 검출할 수 있다. 전방 차량의 진행 방향은 차량에 전방의 영상을 촬영하는 전방 카메라를 이용하여 그 정보를 획득하며, 진행 방향 정보는 표준화된 구간별 거리값 분포도를 이용하여 전방 차량의 진행 방향 변화에 대한 정보에 해당할 수 있다.The direction detecting unit 610 can detect the traveling direction information of the traveling vehicle in front of the running vehicle. The traveling direction of the forward vehicle acquires the information using a forward camera that photographs the forward image on the vehicle, and the traveling direction information corresponds to the information on the traveling direction change of the forward vehicle using the standardized distance value distribution of each section can do.

여기서, 구간별 거리값 분포도는 다음과 같은 방법으로 구할 수 있는데, 전방에 주행 중인 차량을 감지 추적하는 상황에서 특이점을 검출하고, 전방 카메라의 영상을 이용하여 특이점 매칭을 수행한다. 이렇게 매칭된 특이점은 전방 카메라에 의해서 카메라와의 거리값이 구해질 수 있다.Here, the distribution of the distance value according to the interval can be obtained by the following method. The singular point is detected in the situation where the vehicle running ahead is detected and tracked, and the singular point matching is performed using the image of the forward camera. The distance to the camera can be determined by the forward camera.

이러한 방법을 전방 차량의 후면에 대해서 좌우로 일정 구간 단위로 나누어 해당 구간 마다 적용하여, 그 거리값을 해당 구간에 속하는 매칭점들의 거리값 평균으로 구할 수 있으며, 구해진 거리값 분포는 표준화(Normalization)됨으로써 도 3과 같은 구간별 거리값 분포도를 구할 수 있다.Such a method can be applied to each of the sections by dividing the rear surface of the vehicle ahead by a certain interval, and the distance value can be obtained as an average of distance values of matching points belonging to the corresponding section. The obtained distance value distribution is normalized, The distribution of distance values according to the intervals as shown in FIG. 3 can be obtained.

주행 정보부(620)는 차량의 주행 정보, 실시예에 있어서, 차량의 주행 속도, 주행 중인 차선, 차선 이동 등에 정보를 획득하여 전방 차량의 장애물 회피 운동을 검출하는데 사용할 수 있다. 예컨대, 차량의 주행 속도와 주행 차선 이동에 따라서 차량에 구비된 전방 카메라의 획득 영상의 프레임 중, 장애물 회피 운동을 감지하는 데에 사용되는 프레임의 개수가 결정될 수 있다. 이때, 사용되는 프레임의 개수는 차량의 속도에 상관없이 일정하게 산정될 수 있다.The driving information unit 620 can be used to detect obstacle avoidance motions of the preceding vehicle by obtaining information on the running information of the vehicle, in the embodiment, the running speed of the vehicle, the running lane, lane movement, and the like. For example, the number of frames used to detect the obstacle avoidance motion among the frames of the acquired image of the front camera provided in the vehicle in accordance with the traveling speed of the vehicle and the traveling lane of the vehicle can be determined. At this time, the number of used frames can be constantly calculated regardless of the speed of the vehicle.

도 6에 도시된 바와 같이 방향 검출부(610)와 주행 정보부(620)로부터 획득한 정보를 바탕으로 회피 감지부(640)에서 전방 차량이 장애물을 피해 이동하는 장애물 회피 운동을 검출할 수 있다.6, the avoidance detecting unit 640 can detect the obstacle avoidance movement in which the preceding vehicle moves away from the obstacle based on the information obtained from the direction detecting unit 610 and the travel information unit 620. [

이에 앞서, 시선 검출부(630)는 운전자의 시선 정보를 검출하는데, 주행 방향인 전방을 주시하고 있는지 아닌지에 대한 정보가 될 수 있다. 만약, 전방을 주시하고 있지 않다면, 전방 차량의 장애물 회피 운동에 대해서 감지하기 어렵기 때문에 시스템(600)에서 빠르게 이를 식별하여 운전자의 시선을 전방으로 환기시키고자 한다.Prior to this, the line of sight detection unit 630 detects the sight line information of the driver, and may be information as to whether or not the forward direction, which is the traveling direction, is being watched. If it is not looking ahead, it is difficult to detect the obstacle avoidance motion of the front vehicle, so the system 600 quickly identifies it and attempts to ventilate the driver's gaze forward.

따라서, 차량 내부의 카메라를 이용하는 ASM(Active Shape Model)을 통해 운전자의 시선 방향을 검출하며, 운전자의 시선이 전방을 향하고 있는지 전방이 아닌 다른 곳으로 향하고 있는지 판단할 수 있다.Accordingly, it is possible to detect the direction of the driver's gaze through an ASM (Active Shape Model) using a camera inside the vehicle, and to determine whether the driver's gaze is facing forward or not.

회피 감지부(640)는 다양한 속도 별로, 예컨대 일반 주행과 장애물 회피 주행에서의 데이터를 수집하여 가우시안 프로세스(GP, Gaussian Processes) 알고리즘으로 학습하여 장애물 회피 운동을 검출할 수 있다.The avoidance detection unit 640 may collect data at various speeds, for example, in the general driving and obstacle avoidance driving, and may learn the obstacle avoidance motion by learning with a Gaussian process (GP) algorithm.

경고 발생부(650)는 회피 감지부(640)가 전방 차량의 장애물 회피 운동을 감지하고, 시선 검출부(630)가 운전자가 전방을 응시하고 있지 않다고 판단했을 때에 운전자의 시선을 전방으로 돌리기 위해 경고를 발생시켜 전달할 수 있다. 이때, 경고는 알람을 이용하여 경고음을 울릴 수 있으며, 그 밖에 다양한 실시예를 이용할 수 있다.When the avoidance detecting unit 640 senses the obstacle avoidance motion of the preceding vehicle and the eyes detecting unit 630 determines that the driver is not staring forward, the warning generating unit 650 generates a warning Can be generated and transmitted. At this time, the warning can be sounded by using an alarm, and various other embodiments can be used.

도 7은 본 발명의 일실시예에 있어서, 도 6을 통해 설명한 장애물 회피 운동 검출 시스템(600)을 통해 수행될 수 있는 장애물 회피 운동 검출 방법에 대한 흐름도이다. 장애물 회피 운동 검출 방법은 시스템(600)에 의해 단계들의 순서가 변경되거나 어느 하나의 단계가 생략될 수 있다.FIG. 7 is a flowchart illustrating an obstacle avoidance motion detection method that can be performed through the obstacle avoidance motion detection system 600 illustrated in FIG. 6 according to an exemplary embodiment of the present invention. The method for detecting an obstacle avoiding motion may be such that the order of the steps is changed by the system 600 or one of the steps may be omitted.

단계(710)에서 시스템(600)은 전방 차량의 진행 방향 정보를 검출할 수 있다. 여기서, 시스템(600)은 차량에 구비된 전방 카메라를 이용하여 전방 차량의 진행 방향 정보를 검출하는데, 진행 방향 정보란 표준화된 구간별 거리값 분포도를 이용하여 전방 차량의 급박한 진행 방향 변화에 대한 정보를 의미할 수 있다. 표준화된 구간별 거리값 분포도에 대해서는 상기에 자세히 설명되어 있다.In step 710, the system 600 may detect the heading information of the preceding vehicle. Here, the system 600 detects the progress direction information of the preceding vehicle by using a forward camera provided in the vehicle, and the progress direction information is obtained by using the standardized distance value distribution of each section, It can mean information. The standardized distance value distribution by interval is described in detail above.

단계(720)에서 시스템(600)은 운전 중인 차량의 주행 정보를 획득할 수 있다. 차량의 주행 정보는 앞서 설명한 바와 같이, 차량의 속도, 이동 차선, 차선 변경 등에 대한 정보로, 단계(710)를 통해 획득한 전방 차량 진행 방향 정보와 더불어 전방 차량의 장애물 회피 운동을 검출하는데 중요한 데이터로서 작용한다.In step 720, the system 600 may obtain driving information of the vehicle in operation. As described above, the running information of the vehicle is information on the speed of the vehicle, the moving lane, the lane change, and the like, along with the information on the running direction of the preceding vehicle obtained in step 710, Lt; / RTI >

단계(730)에서 시스템(600)은 운전자의 시선 정보, 실시예에 있어서 시선이 전방을 응시하는지, 응시하지 않는 지에 대해서 검출할 수 있다. 검출된 시선 정보는 시스템(600)이 장애물 회피 운동이 감지하였을 때, 운전자에게 이에 대한 경고를 전달할지 전달하지 않을지에 대해서 결정하는 역할을 한다.In step 730, the system 600 may detect the driver's gaze information, in embodiments, whether the gaze gazes forward or not. The detected line-of-sight information is used to determine whether the system 600 should transmit a warning to the driver or not when the obstacle avoidance motion is detected.

단계(740)에서 시스템(600)은 단계(710)와 단계(720)를 통해 획득한 정보를 종합하고 이를 이용하여 전방 차량에 대한 장애물을 피하는 장애물 회피 운동을 감지할 수 있다.At step 740, the system 600 may synthesize the information obtained through steps 710 and 720 and use the information to detect an obstacle avoidance motion that avoids an obstacle to the preceding vehicle.

또한, 단계(750)에서 시스템(600)은 단계(730)에서 검출한 운전자의 시선 정보와 단계(740)에서 감지한 장애물 회피 운동에 대해서 차량 주행 방향에 장애물이 있음을 운전자에게 경고하고, 장애물을 피할 수 있도록 한다. 실시예에 있어서, 단계(750)는 경고음을 통해 또는 다른 수단을 이용할 수 있고, 사용자의 시선을 전방으로 환기시키도록 할 수 있다.In addition, in step 750, the system 600 warns the driver that there is an obstacle in the vehicle running direction for the driver's sight line information detected in step 730 and the obstacle avoidance motion detected in step 740, . In an embodiment, step 750 may utilize a beep or other means to vent the user's gaze forward.

본 발명의 도 6 내지 도 7에 대한 설명에 있어서 생략된 부분은 도 1내지 도 5의 설명을 참조할 수 있다.Parts omitted from the description of Figs. 6 to 7 of the present invention can be referred to the description of Figs. 1 to 5. Fig.

도 6의 장애물 회피 운동 검출 시스템(600)은 실시예에 있어서, 시선 검출부(630)를 포함하지 않고 구성되며, 이에 따라 도 7의 장애물 회피 운동 검출 방법의 단계(730)가 생략될 수 있다. 이와 같은 경우에는 운전자의 시선 정보와 상관 없이 전방 차량의 장애물 회피 운동을 감지할 때에 즉각적으로 운전자에게 경고를 전달하도록 할 수 있다.In the embodiment, the obstacle avoidance motion detection system 600 of FIG. 6 is configured without the sight line detection section 630, so that the step 730 of the obstacle avoidance motion detection method of FIG. 7 may be omitted. In this case, it is possible to promptly notify the driver of the obstacle avoiding motion of the preceding vehicle immediately when the obstacle avoiding motion is detected regardless of the sight line information of the driver.

본 발명의 실시예를 통해, 전방 카메라를 이용하여 전방 주행 차량의 진행 방향을 검출하고 기존에 학습된 일반적 주행과 장애물 회피 운동의 데이터를 이용하여 전방 차량의 장애물 회피 운동을 감지함으로써 장애물에 대한 경고를 운전자에게 전달하는 시스템 및 그 방법을 제공할 수 있다.Through the embodiment of the present invention, it is possible to detect the traveling direction of the front-running vehicle using the front camera and to detect the obstacle avoidance motion of the front vehicle using the learned data of the general traveling and obstacle avoidance motions, To the driver, and a method thereof.

또한, 전방의 장애물이 카메라의 시야에 들어오기 전에 전방 차량의 장애물 회피 운동을 감지하여 위험 여부를 보다 빠르게 알 수 있는데, 이때 운전자의 시선 방향을 추정하여 운전자가 전방을 주시하고 있지 않은 전방 주시 태만 상태일 때 위험 상황 발생시 운전자에게 빠른 경고를 전달할 수 있다.In addition, the obstacle avoidance motion of the forward vehicle is detected before the obstacle ahead of the camera enters the field of view of the camera, so that the danger can be detected more quickly. In this case, the driver's sight direction is estimated, State, it is possible to deliver a quick warning to the driver in the event of a dangerous situation.

이러한 빠른 경고를 통해 운전자는 위험 상황을 보다 빨리 알아챌 수 있고 운전자로 하여금 안전 운전을 유도할 수 있다.These quick alerts enable the driver to be aware of the dangerous situation more quickly and drive the driver to safe driving.

실시예에 따른 장애물 회피 운동 검출 방법은 다양한 컴퓨터 수단을 통하여 수행될 수 있는 프로그램 명령 형태로 구현되어 컴퓨터 판독 가능 매체에 기록될 수 있다. 상기 컴퓨터 판독 가능 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 상기 매체에 기록되는 프로그램 명령은 실시예를 위하여 특별히 설계되고 구성된 것들이거나 컴퓨터 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 컴퓨터 판독 가능 기록 매체의 예에는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체(magnetic media), CD-ROM, DVD와 같은 광기록 매체(optical media), 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치가 포함된다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다. 상기된 하드웨어 장치는 실시예의 동작을 수행하기 위해 하나 이상의 소프트웨어 모듈로서 작동하도록 구성될 수 있으며, 그 역도 마찬가지이다.The method for detecting an obstacle avoiding motion according to an embodiment may be implemented in a form of a program command that can be executed through various computer means and recorded in a computer readable medium. The computer-readable medium may include program instructions, data files, data structures, and the like, alone or in combination. The program instructions to be recorded on the medium may be those specially designed and configured for the embodiments or may be available to those skilled in the art of computer software. Examples of computer-readable media include magnetic media such as hard disks, floppy disks and magnetic tape; optical media such as CD-ROMs and DVDs; magnetic media such as floppy disks; Magneto-optical media, and hardware devices specifically configured to store and execute program instructions such as ROM, RAM, flash memory, and the like. Examples of program instructions include machine language code such as those produced by a compiler, as well as high-level language code that can be executed by a computer using an interpreter or the like. The hardware devices described above may be configured to operate as one or more software modules to perform the operations of the embodiments, and vice versa.

이상과 같이 실시예들이 비록 한정된 실시예와 도면에 의해 설명되었으나, 해당 기술분야에서 통상의 지식을 가진 자라면 상기의 기재로부터 다양한 수정 및 변형이 가능하다. 예를 들어, 설명된 기술들이 설명된 방법과 다른 순서로 수행되거나, 및/또는 설명된 시스템, 구조, 장치, 회로 등의 구성요소들이 설명된 방법과 다른 형태로 결합 또는 조합되거나, 다른 구성요소 또는 균등물에 의하여 대치되거나 치환되더라도 적절한 결과가 달성될 수 있다.While the present invention has been particularly shown and described with reference to exemplary embodiments thereof, it is to be understood that the invention is not limited to the disclosed exemplary embodiments. For example, it is to be understood that the techniques described may be performed in a different order than the described methods, and / or that components of the described systems, structures, devices, circuits, Lt; / RTI > or equivalents, even if it is replaced or replaced.

그러므로, 다른 구현들, 다른 실시예들 및 특허청구범위와 균등한 것들도 후술하는 특허청구범위의 범위에 속한다.Therefore, other implementations, other embodiments, and equivalents to the claims are also within the scope of the following claims.

600: 장애물 회피 운동 검출 시스템
610: 방향 검출부
620: 주행 정보부
630: 시선 검출부
640: 회피 감지부
650: 경고 발생부600: Obstacle avoidance motion detection system
610:
620: Driving information section
630:
640: Avoidance detection unit
650:

Claims (15)

차량의 운전자에게 안전 운전을 유도하기 위한 시스템에 있어서,
상기 차량의 전방 차량의 진행 방향 정보를 검출하는 방향 검출부;
상기 차량의 주행 정보를 획득하는 주행 정보부;
상기 운전자의 시선 정보를 검출하는 시선 검출부;
상기 전방 차량의 진행 방향 정보와 상기 주행 정보를 종합하여 장애물을 피하는 장애물 회피 운동을 감지하는 회피 감지부; 및
상기 장애물 회피 운동이 감지되면 상기 시선 정보에 따라 상기 운전자에 경고하는 경고 발생부
를 포함하고,
상기 방향 검출부는,
상기 차량에 구비된 전방 카메라를 이용하여 상기 전방 차량의 진행 방향 정보를 검출하며,
상기 진행 방향 정보는 표준화된 구간별 거리값 분포도를 이용하여 상기 전방 차량의 급박한 진행 방향 변화에 대한 정보인
장애물 회피 운동 검출 시스템.A system for guiding safe driving to a driver of a vehicle,
A direction detecting unit for detecting the traveling direction information of the vehicle ahead of the vehicle;
A running information section for obtaining running information of the vehicle;
A sight line detecting unit for detecting sight line information of the driver;
An evasive sensing unit for sensing an obstacle avoiding motion avoiding an obstacle by combining traveling information of the preceding vehicle and the driving information; And
When the obstacle avoiding motion is sensed, an alarm generating unit
Lt; / RTI >
Wherein,
Detecting forward direction information of the preceding vehicle using a forward camera provided in the vehicle,
The traveling direction information is information on the imminent traveling direction change of the preceding vehicle using the normalized distance value distribution of each section
Obstacle avoidance motion detection system. 삭제delete 제1항에 있어서,
상기 구간별 거리값 분포도는 상기 전방 차량의 후면과 상기 전방 카메라의 좌우 특이점 거리 변화를 검출하고,
상기 전방 카메라의 영상을 이용해 상기 특이점을 매칭하며,
상기 매칭점의 거리값을 상기 전방 차량의 후면의 좌우 일정 구간에 대해 구간별로 평균 계산된 것
을 특징으로 하는 장애물 회피 운동 검출 시스템.The method according to claim 1,
Wherein the distance value distribution map for each section detects a change in the distance between the rear surface of the front vehicle and the left and right singular points of the front camera,
Matching the singular point using an image of the forward camera,
A distance value of the matching point is calculated on an average for each of the left and right predetermined sections of the rear surface of the preceding vehicle
And an obstacle avoidance motion detection system. 제1항에 있어서,
상기 주행 정보부는 상기 차량의 주행 속도, 주행 차선, 주행 차선 이동 중 어느 하나에 대한 정보를 획득하고,
상기 차량의 주행 속도와 상기 주행 차선 이동에 따라서 상기 차량에 구비된 전방 카메라의 획득 영상의 프레임 중, 상기 장애물 회피 운동을 감지하는 데에 사용되는 프레임의 개수가 산정되는 것
을 특징으로 하는 장애물 회피 운동 검출 시스템.The method according to claim 1,
Wherein the travel information unit obtains information on any one of a traveling speed, a driving lane, and a traveling lane of the vehicle,
The number of frames used to detect the obstacle avoiding motion among the frames of the acquired image of the front camera provided in the vehicle in accordance with the traveling speed of the vehicle and the traveling lane
And an obstacle avoidance motion detection system. 제1항에 있어서,
상기 시선 검출부는 ASM(Active Shape Model)을 이용하여 상기 차량 내부의 카메라를 통해 상기 운전자의 시선 방향을 검출하며,
상기 운전자의 시선이 전방을 향하고 있는지 전방이 아닌 다른 곳으로 향하고 있는지 판단하는 것
을 특징으로 하는 장애물 회피 운동 검출 시스템.The method according to claim 1,
The visual-line detecting unit detects an eye direction of the driver through a camera inside the vehicle using an ASM (Active Shape Model)
It is determined whether the driver's gaze is directed toward the front or not to the front
And an obstacle avoidance motion detection system. 제5항에 있어서,
상기 회피 감지부는 가우시안 프로세스를 이용하여 상기 장애물 회피 운동을 감지하며,
상기 경고 발생부는 상기 장애물 회피 운동을 감지했을 때, 상기 운전자의 시선이 전방이 아닌 다른 곳으로 향하고 있다면 장애물의 존재에 대한 경고음을 울리는 것
을 특징으로 하는 장애물 회피 운동 검출 시스템.6. The method of claim 5,
The avoidance detection unit senses the obstacle avoidance motion using a Gaussian process,
When the obstacle avoidance motion is detected and the driver's gaze is directed to a place other than the front, the alarm generating unit sounds a warning sound for the presence of the obstacle
And an obstacle avoidance motion detection system. 차량의 운전자에게 안전 운전을 유도하기 위한 방법에 있어서,
상기 차량의 전방 차량의 진행 방향 정보를 검출하는 단계;
상기 차량의 주행 정보를 획득하는 단계;
상기 운전자의 시선 정보를 검출하는 단계;
상기 전방 차량의 진행 방향 정보와 상기 주행 정보를 종합하여 장애물을 피하는 장애물 회피 운동을 감지하는 단계; 및
상기 장애물 회피 운동이 감지되면 상기 시선 정보에 따라 상기 운전자에 경고하는 단계
를 포함하고,
상기 진행 방향 정보를 검출하는 단계는,
상기 차량에 구비된 전방 카메라를 이용하여 상기 전방 차량의 진행 방향 정보를 검출하며,
상기 진행 방향 정보는 표준화된 구간별 거리값 분포도를 이용하여 상기 전방 차량의 급박한 진행 방향 변화에 대한 정보인 것
을 특징으로 하는 장애물 회피 운동 검출 방법.A method for inducing a driver of a vehicle to drive safely,
Detecting the traveling direction information of the vehicle ahead of the vehicle;
Obtaining driving information of the vehicle;
Detecting gaze information of the driver;
Detecting an obstacle avoidance motion avoiding an obstacle by synthesizing traveling information of the forward vehicle and the traveling information; And
If the obstacle avoidance motion is detected, warning the driver according to the sight line information
Lt; / RTI >
Wherein the step of detecting the progress direction information comprises:
Detecting forward direction information of the preceding vehicle using a forward camera provided in the vehicle,
The traveling direction information is information on the urgent traveling direction change of the preceding vehicle using the normalized distance value distribution of each section
And detecting the obstacle avoidance motion. 삭제delete 제7항에 있어서,
상기 구간별 거리값 분포도는 상기 전방 차량의 후면과 상기 전방 카메라의 좌우 특이점 거리 변화를 검출하고,
상기 전방 카메라의 영상을 이용해 상기 특이점을 매칭하며,
상기 매칭점의 거리값을 상기 전방 차량의 후면의 좌우 일정 구간에 대해 구간별로 평균 계산된 것
을 특징으로 하는 장애물 회피 운동 검출 방법.8. The method of claim 7,
Wherein the distance value distribution map for each section detects a change in the distance between the rear surface of the front vehicle and the left and right singular points of the front camera,
Matching the singular point using an image of the forward camera,
A distance value of the matching point is calculated on an average for each of the left and right predetermined sections of the rear surface of the preceding vehicle
And detecting the obstacle avoidance motion. 제7항에 있어서,
상기 주행 정보를 획득하는 단계는 상기 차량의 주행 속도, 주행 차선, 주행 차선 이동 중 어느 하나에 대한 정보를 획득하고,
상기 차량의 주행 속도와 상기 주행 차선 이동에 따라서 상기 차량에 구비된 전방 카메라의 획득 영상의 프레임 중, 상기 장애물 회피 운동을 감지하는 데에 사용되는 프레임의 개수가 산정되는 것
을 특징으로 하는 장애물 회피 운동 검출 방법.8. The method of claim 7,
Wherein the step of acquiring the driving information acquires information on any one of the traveling speed, the driving lane, and the traveling lane of the vehicle,
The number of frames used to detect the obstacle avoiding motion among the frames of the acquired image of the front camera provided in the vehicle in accordance with the traveling speed of the vehicle and the traveling lane
And detecting the obstacle avoidance motion. 제7항에 있어서,
상기 시선 정보를 검출하는 단계는 ASM(Active Shape Model)을 이용하여 상기 차량 내부의 카메라를 통해 상기 운전자의 시선 방향을 검출하며,
상기 운전자의 시선이 전방을 향하고 있는지 전방이 아닌 다른 곳으로 향하고 있는지 판단하는 것
을 특징으로 하는 장애물 회피 운동 검출 방법.8. The method of claim 7,
The step of detecting the sight line information may include detecting an eye direction of the driver through an internal camera using an ASM (Active Shape Model)
It is determined whether the driver's gaze is directed toward the front or not to the front
And detecting the obstacle avoidance motion. 제11항에 있어서,
상기 장애물 회피 운동을 감지하는 단계는 가우시안 프로세스를 이용하여 상기 장애물 회피 운동을 감지하며,
상기 운전자에 경고하는 단계는 상기 장애물 회피 운동을 감지했을 때, 상기 운전자의 시선이 전방이 아닌 다른 곳으로 향하고 있다면 장애물의 존재에 대한 경고음을 울리는 것
을 특징으로 하는 장애물 회피 운동 검출 방법.12. The method of claim 11,
Wherein the step of sensing the obstacle avoiding motion senses the obstacle avoiding motion using a Gaussian process,
The step of warning the driver may include warning the driver of the presence of the obstacle if the driver's gaze is directed to a place other than the front when the obstacle avoidance motion is detected
And detecting the obstacle avoidance motion. 컴퓨터 시스템이 장애물 회피 운동을 감지하여 운전자에게 경고하도록 제어하는 명령(instruction)을 포함하는 컴퓨터 판독가능 저장 매체로서,
상기 명령은,
차량의 전방 차량의 진행 방향 정보를 검출하는 단계;
상기 차량의 주행 정보를 획득하는 단계;
상기 운전자의 시선 정보를 검출하는 단계;
상기 전방 차량의 진행 방향 정보와 상기 주행 정보를 종합하여 장애물을 피하는 장애물 회피 운동을 감지하는 단계; 및
상기 장애물 회피 운동이 감지되면 상기 시선 정보에 따라 상기 운전자에 경고하는 단계를 포함하고,
상기 진행 방향 정보를 검출하는 단계는,
상기 차량에 구비된 전방 카메라를 이용하여 상기 전방 차량의 진행 방향 정보를 검출하는 단계를 포함하고,
상기 진행 방향 정보는 표준화된 구간별 거리값 분포도를 이용하여 상기 전방 차량의 급박한 진행 방향 변화에 대한 정보인,
장애물 회피 운동 검출 방법에 의하여 상기 컴퓨터 시스템을 제어하는, 컴퓨터 판독가능 저장 매체.
A computer readable storage medium comprising instructions for a computer system to detect an obstacle avoidance motion and to alert the driver,
The command includes:
Detecting the traveling direction information of the vehicle ahead of the vehicle;
Obtaining driving information of the vehicle;
Detecting gaze information of the driver;
Detecting an obstacle avoidance motion avoiding an obstacle by synthesizing traveling information of the forward vehicle and the traveling information; And
And warning the driver according to the sight line information if the obstacle avoidance motion is sensed,
Wherein the step of detecting the progress direction information comprises:
And detecting the traveling direction information of the preceding vehicle by using a front camera installed in the vehicle,
Wherein the traveling direction information is information on an imminent traveling direction change of the preceding vehicle using a normalized distance value distribution map for each section,
And controlling the computer system by an obstacle avoidance motion detection method.
삭제delete 삭제delete
KR1020130003476A 2013-01-11 2013-01-11 Obstacle avoidance detection system and method using driver attention and direction of front car for semi-active safety KR101398783B1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020130003476A KR101398783B1 (en) 2013-01-11 2013-01-11 Obstacle avoidance detection system and method using driver attention and direction of front car for semi-active safety

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020130003476A KR101398783B1 (en) 2013-01-11 2013-01-11 Obstacle avoidance detection system and method using driver attention and direction of front car for semi-active safety

Publications (1)

Publication Number Publication Date
KR101398783B1 true KR101398783B1 (en) 2014-05-27

Family

ID=50895094

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020130003476A KR101398783B1 (en) 2013-01-11 2013-01-11 Obstacle avoidance detection system and method using driver attention and direction of front car for semi-active safety

Country Status (1)

Country Link
KR (1) KR101398783B1 (en)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170001461A (en) * 2015-06-26 2017-01-04 성균관대학교산학협력단 Methods for linguistically modeling of driver's behavior and recognizing of driver's behavior, and systems for performing the same
KR101730348B1 (en) * 2015-10-26 2017-04-28 (주)캠시스 Controlling method for ADAS using speed of car
CN106864458A (en) * 2017-03-24 2017-06-20 奇瑞汽车股份有限公司 It is a kind of automatic around barrier system and method, intelligent automobile
CN109326096A (en) * 2018-09-14 2019-02-12 住友富士电梯有限公司 A kind of elevator safety speech prompting system and its control method

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003151095A (en) * 2001-11-19 2003-05-23 Nissan Motor Co Ltd Device for recognizing obstruction for vehicle
JP2003276538A (en) * 2002-03-26 2003-10-02 Toyota Central Res & Dev Lab Inc Obstacle predicting device
KR20090104607A (en) * 2008-03-31 2009-10-06 현대자동차주식회사 Driver distration warning system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2003151095A (en) * 2001-11-19 2003-05-23 Nissan Motor Co Ltd Device for recognizing obstruction for vehicle
JP2003276538A (en) * 2002-03-26 2003-10-02 Toyota Central Res & Dev Lab Inc Obstacle predicting device
KR20090104607A (en) * 2008-03-31 2009-10-06 현대자동차주식회사 Driver distration warning system

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20170001461A (en) * 2015-06-26 2017-01-04 성균관대학교산학협력단 Methods for linguistically modeling of driver's behavior and recognizing of driver's behavior, and systems for performing the same
KR101710007B1 (en) * 2015-06-26 2017-02-24 성균관대학교산학협력단 Methods for linguistically modeling of driver's behavior and recognizing of driver's behavior, and systems for performing the same
KR101730348B1 (en) * 2015-10-26 2017-04-28 (주)캠시스 Controlling method for ADAS using speed of car
CN106864458A (en) * 2017-03-24 2017-06-20 奇瑞汽车股份有限公司 It is a kind of automatic around barrier system and method, intelligent automobile
CN106864458B (en) * 2017-03-24 2019-12-03 奇瑞汽车股份有限公司 One kind is automatically around barrier system and method, intelligent automobile
CN109326096A (en) * 2018-09-14 2019-02-12 住友富士电梯有限公司 A kind of elevator safety speech prompting system and its control method
CN109326096B (en) * 2018-09-14 2020-12-15 住友富士电梯有限公司 Elevator safety voice prompt system and control method thereof

Similar Documents

Publication Publication Date Title
KR102351592B1 (en) Default preview area and gaze-based driver distraction detection
JP5938569B2 (en) Advanced driver support system considering azimuth information and operation method thereof
US10864911B2 (en) Automated detection of hazardous drifting vehicles by vehicle sensors
JP7397807B2 (en) Rider assistance system and method
KR102051142B1 (en) System for managing dangerous driving index for vehicle and method therof
JP5718942B2 (en) Apparatus and method for assisting safe operation of transportation means
US10009580B2 (en) Method for supplementing a piece of object information assigned to an object and method for selecting objects in surroundings of a vehicle
CN106043297B (en) Collision avoidance based on front wheel off tracking during reverse operation
CN103987577B (en) Method for monitoring the traffic conditions in the surrounding environment with signalling vehicle
EP3489066A2 (en) Method for controlling vehicle based on condition of driver
US10861336B2 (en) Monitoring drivers and external environment for vehicles
JP6235425B2 (en) Safety confirmation determination device and driving support device
JP2016001463A (en) Processor, processing system, processing program, and processing method
JP2004362586A (en) Image processing system for vehicle
KR20150059489A (en) Method, apparatus and system for detecting narrow road
JP2008186416A (en) Object detector, communication system and inter-vehicle communication apparatus
JP4647387B2 (en) Vehicle driving support device
KR101398783B1 (en) Obstacle avoidance detection system and method using driver attention and direction of front car for semi-active safety
JP2000127849A (en) Rear and side monitor for vehicle
JP2016009251A (en) Control device for vehicle
JP6296684B2 (en) Driving assistance device
JP2007249757A (en) Warning device
TW201820280A (en) Safety warning device and wearable device having the same
JP5416193B2 (en) Obstacle monitoring device
US10745029B2 (en) Providing relevant alerts to a driver of a vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20180425

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20190429

Year of fee payment: 6