KR20120071220A - Apparatus and method for supporting safe driving based on drivers'scan pattern and fixation - Google Patents

Apparatus and method for supporting safe driving based on drivers'scan pattern and fixation Download PDF

Info

Publication number
KR20120071220A
KR20120071220A KR1020100132872A KR20100132872A KR20120071220A KR 20120071220 A KR20120071220 A KR 20120071220A KR 1020100132872 A KR1020100132872 A KR 1020100132872A KR 20100132872 A KR20100132872 A KR 20100132872A KR 20120071220 A KR20120071220 A KR 20120071220A
Authority
KR
South Korea
Prior art keywords
driving
information
driver
safe driving
warning
Prior art date
Application number
KR1020100132872A
Other languages
Korean (ko)
Inventor
황윤숙
윤대섭
김경호
최종우
박혜선
김현숙
박종현
Original Assignee
한국전자통신연구원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 한국전자통신연구원 filed Critical 한국전자통신연구원
Priority to KR1020100132872A priority Critical patent/KR20120071220A/en
Publication of KR20120071220A publication Critical patent/KR20120071220A/en

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/10—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to vehicle motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze

Abstract

PURPOSE: An apparatus for supporting safe driving based on eye tracking and a method thereof are provided to ensure safe driving environments by tracking eye movement of the driver. CONSTITUTION: An apparatus for supporting safe driving based on eye tracking comprises a driving task judging unit(130), a safe driving management unit(160) and a warning operation unit(170). The driving task judging unit receives location information and vehicle control information. The driving task judging unit estimates driving tasks which the driver is processing by using vehicle operation information and the location information. The safe driving administration unit determines a warning action operation mode according to the result when comparing eye tracking information with eye movement pattern.

Description

시선추적을 통한 안전운전 지원 장치 및 방법{Apparatus and method for supporting safe driving based on drivers`scan pattern and fixation}Apparatus and method for supporting safe driving based on drivers`scan pattern and fixation}

본 발명은 시선추적을 통한 안전운전 지원 장치 및 방법에 관한 것으로, 보다 상세하게는 운전과제(Driving Task)와 운전자의 시선을 추정하여 안전운전을 지원하기 위한 장치 및 방법에 관한 것이다.The present invention relates to an apparatus and a method for supporting safe driving through eye tracking, and more particularly, to an apparatus and a method for supporting a safe driving by estimating a driving task and a driver's eye.

일반적으로 운전자는 특정 목적지로 이동하기 위해 운전을 하므로 목적지까지 이동한다는 전반적인 시나리오는 존재하게 된다. 즉, 운전자는 설정한 목적지까지 이동하기 위해 다른 교통참가자(운전자 및 보행자)와 의사소통을 하며 주행한다. 예를 들어, 운전자는 경적 및 방향 지시등, 조향 및 핸들 등을 이용하여 목적지까지 이동한다. 또한, 운전자가 운전을 하면서 인지해야 하는 중요한 정보는 대부분 시각을 통해 획득하게 된다.Generally, a driver drives to travel to a specific destination, so there is an overall scenario of moving to a destination. That is, the driver communicates with other traffic participants (drivers and pedestrians) to travel to the set destination. For example, the driver travels to the destination using horns and turn signals, steering and steering, and the like. In addition, most of the important information that drivers need to be aware of while driving is obtained through vision.

이처럼 운전자가 주행을 하면서 적절하게 자신의 주행의도를 표현하고, 이에 적합한 시각행동을 하는 것은 안전운전과 직결된다. 이러한 이유로 운전자의 얼굴 및 눈동자의 위치를 판단하여 운전자의 눈 움직임을 통해 졸음여부를 판단하는 기술, 운전자의 시선 방향 판단하는 기술, 망막 주사를 표시하는 기술, 운전자의 시선처리 추정 및 운전 지원 기술 등에 대한 관심이 증가하였으나 이러한 기술들은 주로 운전자의 시각행동을 탐지하고 위치를 추정하는데 목적이 있을 뿐 운전과제를 고려하여 적절한 시각행동이었는지에 관한 판단이 함께 이루지지 않는다. 여기서, 운전과제는 운전자가 주행 중에 주행과 관련하여 특정 목적을 가지고 행하는 행동을 의미하며, 차선변경, 추월, 좌회전 및 우회전 등을 대표적인 운전과제의 예로 들 수 있다.In this way, the driver appropriately expresses his driving intention while driving and visually acts accordingly, which is directly connected to safe driving. For this reason, the driver's eyes and eyes are judged to determine the drowsiness by the driver's eye movements, the driver's gaze direction technology, the retina scan technology, the driver's gaze estimation and driving assistance technology, etc. Interest has increased, but these technologies are primarily aimed at detecting and estimating the driver's visual behavior, but do not make a judgment about whether the visual behavior was appropriate in consideration of the driving task. Here, the driving task refers to an action that the driver performs for a specific purpose in relation to driving while driving, and examples of typical driving tasks include lane change, overtaking, left turn and right turn.

따라서, 운전자의 운전과제를 추정하고, 운전과제에 적절한 시각행동을 하는 지의 여부를 판단하여 안전운전을 지원할 수 있는 기술이 요구된다.Therefore, there is a need for a technology capable of estimating a driver's driving task, determining whether the driver has proper visual behavior for the driving task, and supporting safe driving.

본 발명의 목적은 운전자의 운전과제와 시각행동을 추정하여 안전운전을 지원하기 위한 장치 및 방법에 관한 것이다.An object of the present invention is to provide an apparatus and method for supporting safe driving by estimating a driver's driving task and visual behavior.

상기 기술적 과제를 해결하기 위한 본 발명의 실시예에 따른 안전운전 지원 장치는 차량 조작 정보와 차량 위치 정보를 전달받으며, 상기 차량 조작 정보와 상기 차량 위치 정보를 이용하여 운전자가 수행하려는 운전과제를 추정하는 운전과제 판단부; 상기 운전과제를 수행하는 상기 운전자의 시선을 추적한 시각행동 정보와 상기 운전과제와 관련된 시선패턴을 비교한 결과에 따라 경고 동작의 수행여부를 결정하는 안전운전 관리부; 및 상기 안전운전 관리부의 제어에 따라 상기 경고 동작을 수행하는 경고 작동부를 포함한다.Safe driving support apparatus according to an embodiment of the present invention for solving the technical problem is received vehicle operation information and vehicle position information, and using the vehicle operation information and the vehicle position information to estimate the driving task to be performed by the driver A driving task determination unit; A safe driving manager to determine whether a warning operation is to be performed according to a result of comparing visual behavior information tracking the eyes of the driver who performs the driving task with a gaze pattern related to the driving task; And a warning operation unit performing the warning operation under the control of the safe driving management unit.

본 발명의 실시예에 따르면, 차량 조작 정보와 차량 위치 정보를 이용하여 주행중인 운전자가 수행하려는 운전과제를 추정하고, 운전과제를 수행하는 과정에서 운전자의 시선을 추적하여 운전과제의 의도에 적합한 시각행동을 수행하는 지의 여부를 판단함에 따라 안전운전을 유도하여 운전자에게 보다 안전한 주행 환경을 제공할 수 있다.According to an exemplary embodiment of the present invention, a driving task is estimated by a driving driver using vehicle operation information and vehicle position information, and a time suitable for the intention of the driving task is tracked by tracking the driver's eyes in the process of performing the driving task. By determining whether to perform an action, it is possible to induce safe driving to provide a safer driving environment for the driver.

도 1은 본 발명의 실시예에 따른 안전운전 지원 장치를 개략적으로 나타내는 도면이다.
도 2는 도 1에 도시한 안전운전 지원 장치에서 운전과제와 시선을 추적하여 안전운전을 지원하는 순서를 나타내는 흐름도이다.1 is a view schematically showing a safe driving support apparatus according to an embodiment of the present invention.
FIG. 2 is a flowchart illustrating a procedure for supporting safe driving by tracking a driving task and a line of sight in the safe driving support apparatus shown in FIG. 1.

본 발명을 첨부된 도면을 참조하여 상세히 설명하면 다음과 같다. 여기서, 반복되는 설명, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능, 및 구성에 대한 상세한 설명은 생략한다. 본 발명의 실시형태는 당 업계에서 평균적인 지식을 가진 자에게 본 발명을 보다 완전하게 설명하기 위해서 제공되는 것이다. 따라서, 도면에서의 요소들의 형상 및 크기 등은 보다 명확한 설명을 위해 과장될 수 있다.The present invention will now be described in detail with reference to the accompanying drawings. Hereinafter, a repeated description, a known function that may obscure the gist of the present invention, and a detailed description of the configuration will be omitted. Embodiments of the present invention are provided to more fully describe the present invention to those skilled in the art. Accordingly, the shapes and sizes of the elements in the drawings and the like can be exaggerated for clarity.

도 1은 본 발명의 실시예에 따른 안전운전 지원 장치를 개략적으로 나타내는 도면이다. 1 is a view schematically showing a safe driving support apparatus according to an embodiment of the present invention.

도 1에 도시한 바와 같이, 본 발명의 실시예에 따른 시선추적을 통한 안전운전 지원 장치(100)는 차량조작 정보 수집부(110), 위치 정보 수집부(120), 운전과제 판단부(130), 시선정보 추출부(140) 및 시선패턴 정보 저장부(150), 안전운전 관리부(160) 및 경고 작동부(170)를 포함한다.As shown in FIG. 1, the apparatus 100 for safe driving support through eye tracking according to an exemplary embodiment of the present invention includes a vehicle operation information collecting unit 110, a location information collecting unit 120, and a driving task determining unit 130. ), A gaze information extracting unit 140 and a gaze pattern information storing unit 150, a safe driving management unit 160, and a warning operation unit 170.

차량조작 정보 수집부(110)는 운전자가 차량을 운전을 하면서 차량을 조작하는 전반적인 차량 조작 정보를 수집한다. 이때, 차량 조작 정보는 차량 내부에 설치된 영상센서(도시하지 않음) 또는 블랙박스(도시하지 않음) 등을 통하여 수집될 수 있다. 여기서, 차량 조작 정보는 방향지시등 작동정보, 조향/핸들 작동정보 및 가?감속페달 작동정보 등이 포함된다. The vehicle operation information collecting unit 110 collects general vehicle operation information for operating the vehicle while the driver drives the vehicle. In this case, the vehicle operation information may be collected through an image sensor (not shown) or a black box (not shown) installed in the vehicle. Here, the vehicle operation information includes a direction indicator light operation information, steering / handle operation information and acceleration / deceleration pedal operation information and the like.

위치 정보 수집부(120)는 차량에 설치된 네비게이션(도시하지 않음)을 이용하여 현재 차량의 위치 및 지도 정보를 포함하는 차량 위치 정보를 수집한다.The location information collection unit 120 collects vehicle location information including location and map information of the current vehicle using a navigation device (not shown) installed in the vehicle.

운전과제 판단부(130)는 차량조작 정보 수집부(110)로부터 전달되는 차량 조작 정보를 전달받는다. 그리고, 운전과제 판단부(130)는 위치 정보 수집부(120)로부터 차량 위치 정보를 전달받는다. 운전과제 판단부(130)는 차량 조작 정보와 차량 위치 정보를 이용하여 주행중인 운전자가 수행하려는 운전과제를 추정하고, 운전과제를 안전운전 관리부(160)로 전달한다. 여기서, 운전과제는 운전자가 주행 중에 주행과 관련하여 특정 목적을 가지고 행하는 행동을 의미하며, 차선변경, 추월, 좌회전 및 우회전 등을 대표적인 운전과제의 예로 들 수 있다.The driving task determination unit 130 receives vehicle operation information transmitted from the vehicle operation information collecting unit 110. In addition, the driving task determination unit 130 receives vehicle position information from the position information collecting unit 120. The driving task determination unit 130 estimates the driving task to be performed by the driving driver using the vehicle operation information and the vehicle location information, and transmits the driving task to the safe driving management unit 160. Here, the driving task refers to an action that the driver performs for a specific purpose in relation to driving while driving, and examples of typical driving tasks include lane change, overtaking, left turn and right turn.

시선정보 추출부(140)는 영상센서, 블랙박스 및 아이트랙커 등을 통하여 촬영한 영상을 이용하여 실제 주행 중 운전자의 시선(fixation)을 추적하여 시각행동 정보들을 수집한다. 그리고, 시선정보 추출부(140)는 시각행동 정보들을 안전운전 관리부(160)로 전달한다.The gaze information extracting unit 140 collects visual behavior information by tracking the driver's gaze (fixation) during the actual driving by using an image captured by an image sensor, a black box, an eye tracker, and the like. In addition, the gaze information extractor 140 transmits visual behavior information to the safe driving manager 160.

예를 들어, 시선정보 추출부(140)는 운전자가 주행 중 좌회전을 하는 경우 영상센서 또는 블랙박스 등을 통하여 촬영한 영상을 이용하여 운전자의 시선 "좌측 사이드미러"에서 "전방"으로 이동하였다가 다시 "룸미러"로 이동하는 행동을 추적하여 시각행동 정보를 생성한다.For example, when the driver turns left while driving, the gaze information extractor 140 moves from the driver's gaze "left side mirror" to "forward" by using an image captured by an image sensor or a black box. Visual behavior information is generated by tracking the movement to the "room mirror" again.

시선패턴 정보 저장부(150)는 시선패턴정보 표준모델을 저장한다. 여기서, 시선패턴정보 표준모델은 미리 운전자의 성별이나 연령 등에 따라 운전과제를 수행할 때 운전자가 이동하는 시선에 대한 시선패턴을 측정한 정보로서 운전과제를 수행하는 과정에서 표준적으로 이동하는 적절한 시선패턴이다. 예를 들어, 시선패턴정보 표준모델은 좌/우회전, 좌/우 차로변경, 좌/우 추월 및 유턴 등을 포함한다.  The gaze pattern information storage unit 150 stores the gaze pattern information standard model. Here, the gaze pattern information standard model is a measure of the gaze pattern for the gaze that the driver moves when the driver performs the driving task according to the gender or age of the driver in advance. Pattern. For example, the gaze pattern information standard model includes left / right turn, left / right lane change, left / right overtaking and u-turn.

안전운전 관리부(160)는 운전과제 판단부(130)로부터 운전자가 수행하려는 운전과제를 전달받는다. 안전운전 관리부(160)는 시선정보 추출부(140)로부터 실제 주행 중에 운전자의 시선(fixation)을 추적한 시각행동 정보를 전달받는다. 그리고, 안전운전 관리부(160)는 운전과제와 관련된 시선패턴 정보를 시선패턴 정보 저장부(150)에 저장된 시선패턴정보 표준모델로부터 검출한다. 안전운전 관리부(160)는 시선패턴정보 표준모델로부터 검출한 시선패턴 정보와 시각행동 정보를 비교한 결과에 따라 경고 작동부(170)를 제어하여 경고가 발생되도록 한다.The safe driving manager 160 receives the driving task to be performed by the driver from the driving task determination unit 130. The safe driving manager 160 receives visual behavior information that tracks the driver's gaze (fixation) during the actual driving from the gaze information extractor 140. The safety driving manager 160 detects the gaze pattern information related to the driving task from the gaze pattern information standard model stored in the gaze pattern information storage unit 150. The safe driving manager 160 controls the warning operator 170 based on a result of comparing the gaze pattern information detected from the gaze pattern information standard model with the visual behavior information to generate a warning.

구체적으로, 안전운전 관리부(160)는 시선패턴 정보와 시각행동 정보가 일치하는 경우, 경고동작이 수행될 필요가 없다고 판단하여 운전자에게 경고 메시지가 전달되지 않도록 경고 미동작 메시지를 생성한다. 그리고, 안전운전 관리부(160)는 경고 미동작 메시지를 경고 작동부(170)로 전달하여 경고 동작이 수행되지 않도록 한다.Specifically, the safety driving manager 160 determines that the warning operation does not need to be performed when the gaze pattern information and the visual behavior information match, and generates a warning non-operation message so that the warning message is not transmitted to the driver. In addition, the safe driving management unit 160 transmits the warning non-operation message to the warning operation unit 170 so that the warning operation is not performed.

안전운전 관리부(160)는 시선패턴 정보와 시각행동 정보가 일치하지 않는 경우, 시선패턴 정보를 기준으로 현재 차량을 주행하는 운전자의 시선과 일치하지 않는 시선 불일치 지점에서 경고 동작이 수행되도록 경고 동작 메시지를 생성한다. 안전운전 관리부(160)는 경고 동작 메시지를 경고 작동부(170)로 전달하여 경고 동작이 수행되도록 한다. When the gaze pattern information and the visual behavior information do not match, the safety driving manager 160 warns a warning operation to be performed at a gaze mismatch point that does not match the gaze of the driver currently driving the vehicle based on the gaze pattern information. Create The safe driving management unit 160 transmits a warning operation message to the warning operation unit 170 to perform the warning operation.

한편, 안전운전 관리부(160)는 경고 동작의 수행 중 경고 동작에 의해 운전자의 시선이 시선패턴 정보와 다시 일치하는 경우, 경고 중지 메시지를 생성한다. 안전운전 관리부(160)는 경고 중지 메시지를 경고 작동부(170)로 전달하여 경고 동작이 중지되도록 한다.Meanwhile, the safety driving manager 160 generates a warning stop message when the driver's gaze again matches the gaze pattern information by the warning operation during the warning operation. The safe driving management unit 160 transmits a warning stop message to the warning operation unit 170 to stop the warning operation.

경고 작동부(170)는 안전운전 관리부(160)의 제어에 따라 경고등 및 경고음 등을 포함하는 경고 동작을 수행하거나 또는 경고 동작을 수행하지 않는다.The warning operation unit 170 may perform a warning operation including a warning light and a warning sound or the like according to the control of the safe driving management unit 160.

구체적으로, 경고 작동부(170)는 안전운전 관리부(160)로부터 미동작 메시지가 전달되는 경우, 경고 동작을 수행하지 않는다. In detail, the warning operation unit 170 does not perform the warning operation when the non-operational message is transmitted from the safe driving management unit 160.

경고 작동부(170)는 안전운전 관리부(160)로부터 경고 동작 메시지가 전달되는 경우, 시선패턴 정보를 기준으로 현재 차량을 주행하는 운전자의 시선과 일치하지 않는 시선 불일치 지점부터 경고등 및 경고음 등의 경고 동작을 수행하여 운전자에게 경고한다. 한편, 안전운전 관리부(160)는 경고 동작을 수행 중 경고 중지 메시지가 전달되는 경우, 경고 동작을 중지하여 운전자에게 경고 동작이 수행되지 않도록 한다.When the warning operation unit 170 receives a warning operation message from the safe driving manager 160, the warning operation unit 170 warns a warning light and a warning sound from a point of inconsistency that does not match the eyes of the driver currently driving the vehicle based on the gaze pattern information. Warn the driver by performing an action. Meanwhile, when the warning stop message is transmitted while the warning operation is performed, the safe driving manager 160 stops the warning operation so that the warning operation is not performed to the driver.

다음은 본 발명의 실시예에 따른 안전운전 지원 장치(100)에서 운전과제와 시선을 추적하여 안전운전을 지원하는 예를 구체적으로 설명한다. 이때, 운전과제는 좌회전인 것으로 가정한다.Next, an example of supporting the safe driving by tracking the driving task and the gaze in the safe driving support apparatus 100 according to the embodiment of the present invention will be described in detail. In this case, it is assumed that the driving task is to turn left.

안전운전 지원 장치(100)의 운전과제 판단부(130)는 차량조작 정보 수집부(110)로부터 전달된 차량 조작 정보와 위치 정보 수집부(120)로부터 차량 위치 정보를 이용하여 운전과제가 "좌회전"임을 추정한다. 그리고, 운전과제 판단부(130)는 운전과제를 안전운전 관리부(160)로 전달한다.The driving task determination unit 130 of the safe driving support apparatus 100 uses the vehicle operation information transmitted from the vehicle operation information collecting unit 110 and the vehicle position information from the position information collecting unit 120 to turn left. "Estimate that. In addition, the driving task determination unit 130 transmits the driving task to the safe driving management unit 160.

안전운전 관리부(160)는 시선패턴 정보 저장부(150)에 저장된 시선패턴정보 표준모델을 이용하여 "좌회전"과 관련된 시선패턴 정보(좌측 사이드미러-전방-룸미러-좌측사이드미러)를 검출한다. 이와 동시에 안전운전 관리부(160)는 시선정보 추출부(140)로부터 "좌회전"을 하는 운전자의 현재 시각행동 정보(좌측 사이드미러-전방-룸미러)를 전달받는다.The safe driving manager 160 detects gaze pattern information (left side mirror-front-room mirror-left side mirror) associated with “left turn” by using the gaze pattern information standard model stored in the gaze pattern information storage unit 150. . At the same time, the safe driving manager 160 receives the current visual behavior information (left side mirror-front-room mirror) of the driver who “turns left” from the gaze information extractor 140.

안전운전 관리부(160)는 시선패턴 정보(제1차 좌측 사이드미러-전방-룸미러-제2차 좌측사이드미러)와 시각행동 정보(제1차 좌측 사이드미러-전방-룸미러)를 순차적으로 비교한다. 비교 결과 시선패턴 정보와 시각행동 정보에서 "제1 좌측 사이드미러-전방-룸미러"까지는 일치하나 "제2 좌측사이드미러"를 주시해야 하는 지점에서 운전자가 주시하지 않은 것으로 판단하고 시선 불일치 지점, 즉 "제2차 좌측사이드미러"를 주시해야 하는 지점부터 "좌측 사이드미러"에 경고등을 켜거나 또는 경고음이 발생되도록 경고 동작을 지시한다. 이때, 운전자가 경고 동작으로 "제2차 좌측사이드미러"를 주시하게 되는 경우 경고 동작이 중지되도록 지시한다.The safety driving manager 160 sequentially processes the gaze pattern information (first left side mirror-front-room mirror-second left side mirror) and visual behavior information (first left side mirror-front-room mirror). Compare. As a result of the comparison, the gaze pattern information and visual behavior information correspond to the "first left side mirror-forward-room mirror", but it is determined that the driver does not look at the point where the "second left side mirror" should be observed, That is, from the point where the second left side mirror is to be watched, the warning light is turned on or the warning operation is issued to the left side mirror. At this time, when the driver observes the "second left side mirror" as a warning operation, the warning operation is stopped.

도 2는 도 1에 도시한 안전운전 지원 장치에서 운전과제와 시선을 추적하여 안전운전을 지원하는 순서를 나타내는 흐름도이다.FIG. 2 is a flowchart illustrating a procedure for supporting safe driving by tracking a driving task and a line of sight in the safe driving support apparatus shown in FIG. 1.

도 2에 도시한 바와 같이, 본 발명의 실시예에 따른 안전운전 지원 장치(100)의 차량조작 정보 수집부(110)는 운전자가 차량을 운전을 하면서 차량을 조작하는 전반적인 차량 조작 정보를 수집하여 운전과제 판단부(130)로 전달한다(S100). 위치 정보 수집부(120)는 네비게이션을 이용하여 현재 차량의 위치 및 지도 정보를 포함하는 차량 위치 정보를 수집하여 운전과제 판단부(130)로 전달한다(S101).As shown in FIG. 2, the vehicle operation information collection unit 110 of the safe driving support apparatus 100 according to an embodiment of the present invention collects overall vehicle operation information for operating a vehicle while a driver drives the vehicle. Transfer to the task determination unit 130 (S100). The location information collection unit 120 collects vehicle location information including the location and map information of the current vehicle by using the navigation and transmits the location information to the driving task determiner 130 (S101).

운전과제 판단부(130)는 차량 조작 정보와 차량 위치 정보를 전달받는다. 운전과제 판단부(130)는 차량 조작 정보와 차량 위치 정보를 이용하여 주행중인 운전자가 수행하려는 운전과제를 추정하고 안전운전 관리부(160)로 전달한다(S102).The driving task determination unit 130 receives vehicle operation information and vehicle location information. The driving task determination unit 130 estimates the driving task to be performed by the driver who is driving by using the vehicle operation information and the vehicle position information and transmits the driving task to the safe driving management unit 160 (S102).

안전운전 관리부(160)는 운전과제 판단부(130)로부터 운전과제가 전달되면 시선정보 추출부(140)로부터 시각행동 정보들을 전달받는다(S103). 안전운전 관리부(160)는 운전과제와 관련된 시선패턴 정보를 시선패턴 정보 저장부(150)에 저장된 시선패턴정보 표준모델로부터 검출한다(S104).When the driving task is transmitted from the driving task determination unit 130, the safe driving management unit 160 receives the visual behavior information from the gaze information extraction unit 140 (S103). The safety driving manager 160 detects the gaze pattern information related to the driving task from the gaze pattern information standard model stored in the gaze pattern information storage unit 150 (S104).

안전운전 관리부(160)는 시선패턴 정보와 시각행동 정보를 비교한다(S105). The safe driving management unit 160 compares the gaze pattern information and the visual behavior information (S105).

S150 단계의 비교 결과, 시선패턴 정보와 시각행동 정보가 일치하지 않는 경우, 안전운전 관리부(160)는 현재 차량을 주행하는 운전자의 시선과 시선패턴 정보가 불일치 되는 시선 불일치 지점에서 경고 동작이 수행되도록 경고 동작 메시지를 생성한다(S106). 그리고, 안전운전 관리부(160)는 경고 동작 메시지를 경고 작동부(170)로 전달하여 경고 동작이 수행되도록 한다(S107).As a result of the comparison of step S150, when the gaze pattern information and the visual behavior information do not match, the safety driving manager 160 performs a warning operation at a gaze mismatch point where the gaze of the driver currently driving the vehicle is inconsistent with the gaze pattern information. A warning operation message is generated (S106). Then, the safe driving management unit 160 transmits a warning operation message to the warning operation unit 170 to perform a warning operation (S107).

안전운전 관리부(160)는 경고 동작의 수행 중 경고가 발생한 시선 불일치 지점에서의 시선이 시선패턴 정보와 다시 일치되었는지의 여부를 판단하기 위해 시선 불일치 지점에서의 시선패턴 정보와 시각행동 정보를 비교한다(S108).The safety driving manager 160 compares the gaze pattern information and the visual behavior information at the gaze disparity point to determine whether the gaze at the gaze disparity point where the warning occurs while performing the warning operation is matched with the gaze pattern information again. (S108).

S108 단계의 비교 결과, 경고가 발생한 시선 불일치 지점에 대한 시각행동 정보와 시선패턴 정보가 일치하는 경우, 안전운전 관리부(160)는 경고 동작에 의해 시선패턴 정보에 운전자의 시선이 일치된 것으로 판단하여 경고 중지 메시지를 생성한다(S109). 그리고, 안전운전 관리부(160)는 경고 중지 메시지를 경고 작동부(170)로 전달하여 경고 동작이 중지되도록 한다(S110).As a result of the comparison of step S108, when the visual behavior information and the gaze pattern information on the gaze inconsistency point where the warning occurs coincide, the safety driving manager 160 determines that the driver's gaze matches the gaze pattern information by the warning operation. A warning stop message is generated (S109). Then, the safe driving management unit 160 transmits a warning stop message to the warning operation unit 170 to stop the warning operation (S110).

한편, S150 단계의 비교 결과, 시선패턴 정보와 시각행동 정보가 일치하는 경우, 안전운전 관리부(160)는 경고동작이 수행될 필요가 없다고 판단하여 운전자에게 경고 메시지가 전달되지 않도록 경고 미동작 메시지를 생성한다(S111). 안전운전 관리부(160)는 경고 미동작 메시지를 경고 작동부(170)로 전달하여 경고 동작이 수행되지 않도록 한다(S112).On the other hand, when the gaze pattern information and the visual behavior information match, as a result of the comparison of step S150, the safety driving manager 160 determines that the warning operation does not need to be performed and warns the driver not to transmit the warning message. It generates (S111). The safe driving management unit 160 transmits the warning non-operation message to the warning operation unit 170 to prevent the warning operation from being performed (S112).

이와 같이, 본 발명의 실시예에 따른 안전운전 지원 장치는 차량 조작 정보와 차량 위치 정보를 이용하여 주행중인 운전자가 수행하려는 운전과제를 추정하고, 운전과제를 수행하는 과정에서 운전자의 시선을 추적하여 운전과제의 의도에 적합한 시각행동을 수행하는 지의 여부를 판단함에 따라 안전운전을 유도하여 운전자에게 보다 안전한 주행 환경을 제공할 수 있다.As described above, the safe driving support apparatus according to the embodiment of the present invention estimates a driving task to be performed by a driving driver using vehicle operation information and vehicle location information, and tracks the driver's eyes in the process of performing the driving task. It is possible to provide a safer driving environment to the driver by inducing safe driving by determining whether to perform visual behavior suitable for the intention of the driving task.

이상에서와 같이 도면과 명세서에서 최적의 실시예가 개시되었다. 여기서 특정한 용어들이 사용되었으나, 이는 단지 본 발명을 설명하기 위한 목적에서 사용된 것이지 의미 한정이나 특허청구범위에 기재된 본 발명의 범위를 제한하기 위하여 사용된 것은 아니다. 그러므로, 본 기술 분야의 통상의 지식을 가진자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서, 본 발명의 진정한 기술적 보호범위는 첨부된 특허청구범위의 기술적 사상에 의해 정해져야 할 것이다.As described above, an optimal embodiment has been disclosed in the drawings and specification. Although specific terms have been used herein, they are used only for the purpose of describing the present invention and are not used to limit the scope of the present invention as defined in the meaning or claims. Therefore, those skilled in the art will understand that various modifications and equivalent other embodiments are possible from this. Therefore, the true technical protection scope of the present invention will be defined by the technical spirit of the appended claims.

100: 안전운전 지원 장치
110: 차량조작 정보 수집부
120: 위치 정보 수집부
130: 운전과제 판단부
140: 시선정보 추출부
150: 시선패턴 정보 저장부
160: 안전운전 관리부
170: 경고 작동부100: safe driving support device
110: vehicle operation information collection unit
120: location information collection unit
130: driving task determination unit
140: gaze information extraction unit
150: gaze pattern information storage unit
160: safe driving management
170: warning operation

Claims (1)

차량 조작 정보와 차량 위치 정보를 전달받으며, 상기 차량 조작 정보와 상기 차량 위치 정보를 이용하여 운전자가 수행하려는 운전과제를 추정하는 운전과제 판단부;
상기 운전과제를 수행하는 상기 운전자의 시선을 추적한 시각행동 정보와 상기 운전과제와 관련된 시선패턴을 비교한 결과에 따라 경고 동작의 수행여부를 결정하는 안전운전 관리부; 및
상기 안전운전 관리부의 제어에 따라 상기 경고 동작을 수행하는 경고 작동부
를 포함하는 안전운전 지원 장치.A driving task determination unit receiving vehicle operation information and vehicle position information and estimating driving tasks to be performed by a driver using the vehicle operation information and the vehicle position information;
A safe driving manager to determine whether a warning operation is to be performed according to a result of comparing visual behavior information tracking the eyes of the driver who performs the driving task with a gaze pattern related to the driving task; And
Warning operation unit for performing the warning operation under the control of the safe operation management unit
Safe driving support device comprising a.
KR1020100132872A 2010-12-22 2010-12-22 Apparatus and method for supporting safe driving based on drivers'scan pattern and fixation KR20120071220A (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020100132872A KR20120071220A (en) 2010-12-22 2010-12-22 Apparatus and method for supporting safe driving based on drivers'scan pattern and fixation

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100132872A KR20120071220A (en) 2010-12-22 2010-12-22 Apparatus and method for supporting safe driving based on drivers'scan pattern and fixation

Publications (1)

Publication Number Publication Date
KR20120071220A true KR20120071220A (en) 2012-07-02

Family

ID=46706315

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100132872A KR20120071220A (en) 2010-12-22 2010-12-22 Apparatus and method for supporting safe driving based on drivers'scan pattern and fixation

Country Status (1)

Country Link
KR (1) KR20120071220A (en)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160071360A (en) * 2016-05-30 2016-06-21 현대자동차주식회사 Wearable glass, control method thereof and vehicle control system
KR20160071070A (en) * 2014-12-11 2016-06-21 현대자동차주식회사 Wearable glass, control method thereof and vehicle control system
KR101657900B1 (en) 2015-06-03 2016-09-19 성균관대학교산학협력단 Determining method for danger information on driving car and transferring method for danger information on driving car

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20160071070A (en) * 2014-12-11 2016-06-21 현대자동차주식회사 Wearable glass, control method thereof and vehicle control system
US10162998B2 (en) 2014-12-11 2018-12-25 Hyundai Motor Company Wearable glasses, control method thereof, and vehicle control system
KR101657900B1 (en) 2015-06-03 2016-09-19 성균관대학교산학협력단 Determining method for danger information on driving car and transferring method for danger information on driving car
KR20160071360A (en) * 2016-05-30 2016-06-21 현대자동차주식회사 Wearable glass, control method thereof and vehicle control system

Similar Documents

Publication Publication Date Title
US11787408B2 (en) System and method for controlling vehicle based on condition of driver
CN108068698B (en) Vehicle system and vehicle
US9429946B2 (en) Driving control system and dynamic decision control method thereof
CN106043299B (en) Controller of vehicle
JP4926437B2 (en) Vehicle driving support device
US10067505B2 (en) Automatic driving system
JP6838479B2 (en) Driving support device and driving support program
US9776644B2 (en) On-vehicle situation detection apparatus and method
JP5718942B2 (en) Apparatus and method for assisting safe operation of transportation means
EP1801730B1 (en) Method of detecting vehicle-operator state
CN109863461B (en) Method and device for supporting a driver when a highly automated driving mode of a vehicle is deactivated
KR20180105055A (en) Apparatus and method of safety support for vehicle
CN106043308A (en) Method and device for detecting the alertness of a vehicle driver
JP2019034574A (en) Driver state recognition apparatus, driver state recognition system, and driver state recognition method
EP2687407A1 (en) Apparatus and method for localizing sound image for vehicle's driver
CN110654378B (en) Vehicle control method, device and system and vehicle
US20200150427A1 (en) Method, apparatus and system for determining line of sight, and wearable eye movement device
JP2016009251A (en) Control device for vehicle
US20240000354A1 (en) Driving characteristic determination device, driving characteristic determination method, and recording medium
JP2005153660A (en) Driving assisting device
JP5577609B2 (en) Driving assistance device
JP7410681B2 (en) vehicle control system
KR20190134909A (en) The apparatus and method for Driver Status Recognition based on Driving Status Decision Information
JP2017129973A (en) Driving support apparatus and driving support method
KR20120071220A (en) Apparatus and method for supporting safe driving based on drivers'scan pattern and fixation

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid