KR101163081B1 - 운전 부주의 분류시스템 - Google Patents

운전 부주의 분류시스템 Download PDF

Info

Publication number
KR101163081B1
KR101163081B1 KR1020100107662A KR20100107662A KR101163081B1 KR 101163081 B1 KR101163081 B1 KR 101163081B1 KR 1020100107662 A KR1020100107662 A KR 1020100107662A KR 20100107662 A KR20100107662 A KR 20100107662A KR 101163081 B1 KR101163081 B1 KR 101163081B1
Authority
KR
South Korea
Prior art keywords
careless
steering angle
deviation
visual
cognitive
Prior art date
Application number
KR1020100107662A
Other languages
English (en)
Other versions
KR20120045836A (ko
Inventor
손준우
박수완
이태영
Original Assignee
재단법인대구경북과학기술원
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 재단법인대구경북과학기술원 filed Critical 재단법인대구경북과학기술원
Priority to KR1020100107662A priority Critical patent/KR101163081B1/ko
Priority to PCT/KR2010/009382 priority patent/WO2012060513A1/ko
Publication of KR20120045836A publication Critical patent/KR20120045836A/ko
Application granted granted Critical
Publication of KR101163081B1 publication Critical patent/KR101163081B1/ko

Links

Images

Classifications

    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09Driving style or behaviour
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60KARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/10Path keeping
    • B60W30/12Lane keeping
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/56Context or environment of the image exterior to a vehicle by using sensors mounted on the vehicle
    • G06V20/588Recognition of the road, e.g. of lane markings; Recognition of the vehicle driving pattern in relation to the road
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06VIMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00Scenes; Scene-specific elements
    • G06V20/50Context or environment of the image
    • G06V20/59Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818Inactivity or incapacity of driver
    • B60W2040/0863Inactivity or incapacity of driver due to erroneous selection or response of the driver
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052Filtering, filters
    • B60W2050/0054Cut-off filters, retarders, delaying means, dead zones, threshold values or cut-off frequency
    • B60W2050/0055High-pass filters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001Details of the control system
    • B60W2050/0043Signal treatments, identification of variables or parameters, parameter estimation or state estimation
    • B60W2050/0052Filtering, filters
    • B60W2050/0054Cut-off filters, retarders, delaying means, dead zones, threshold values or cut-off frequency
    • B60W2050/0056Low-pass filters
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60WCONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00Input parameters relating to occupants
    • B60W2540/18Steering angle
    • BPERFORMING OPERATIONS; TRANSPORTING
    • B60VEHICLES IN GENERAL
    • B60YINDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2300/00Purposes or special features of road vehicle drive control systems
    • B60Y2300/10Path keeping
    • B60Y2300/12Lane keeping

Abstract

본 발명은 차량이 가지고 있는 일반적인 정보, 즉 차선 변화 정보와 조향 각 변화 정보를 이용하여 큰 부가 장치의 추가 없이 운전자의 상태가 시각적 부주의인지 혹은 인지적 부주의인지를 결정할 수 있는 운전 부주의 분류시스템을 개시한다. 상기 운전 부주의 분류시스템은, MSDLP 연산모듈, 조향각 검출모듈, SRR 연산모듈 및 운전부주의 분류모듈을 구비한다.

Description

운전 부주의 분류시스템{DRIVING INATTENTION CLASSIFICATION SYSTEM}
본 발명은 운전 부주의 분류에 대한 것으로, 특히 운전 중 운전자의 부주의가 운전자의 인지적 부주의인가 혹은 운전자의 시각적 부주의인가를 정확하게 분류하여 운전자의 부주의를 정확하게 지적하는 운전 부주의 분류시스템에 대한 것이다.
일반적으로, 자동차의 지능화가 더욱 높은 수준으로 진행됨에 따라, 운전자의 운전을 보조하는 ADAS(Advanced Driver Assistance System) 시스템의 장착이 증가하고 있다. ADAS는 전방 충돌 상황이 발생할 경우 경고를 하는 FCWS(Forward Collision Warning System)나 차선을 이탈한 상황이 발생할 경우에 경고를 하는 LDWS(lane departure warning system) 등이 있다.
이러한 시스템이 운전자의 상태를 정확히 인지하여 필요한 경고를 알리는 것은 중요한 문제이다. 가령 운전자에게 인지적 부주의 상황이라면, “운전에 집중하라”는 메시지를 보내고, 운전자가 시각적 부주의 상황이라면 “전방을 주시하라”는 메시지를 주어야 할 것이다. 또한 정확하게 운전자에게 발생한 운전 부주의를 알 경우에 운전자를 보조하는 자동차의 시스템이 적절한 대응을 할 수 있을 것이다. 그러나 기존의 운전 부주의를 예측하는 시스템은 고가의 장비를 요구하거나, 고가의 장비가 없는 차량들은 단순히 차선 이탈을 감지하는 수준에서 운전 부주의를 예측하고 있는 실정이다.
따라서 본 발명의 목적은 상기와 같은 문제를 해결하기 위해, 차량이 가지고 있는 일반적인 정보, 즉 차선 변화 정보와 조향 각 변화 정보를 이용하여 큰 부가 장치의 추가 없이 운전자의 상태가 시각적 부주의인지 혹은 인지적 부주의인지를 결정할 수 있는 운전 부주의 분류시스템을 제공함을 그 목적으로 한다.
상기 기술적 과제를 이루기 위한 본 발명에 따른 운전 부주의 분류시스템은, MSDLP 연산모듈, 조향각 검출모듈, SRR 연산모듈 및 운전부주의 분류모듈을 구비한다. 상기 MSDLP 연산모듈은 차선위치 데이터를 수신하고, 상기 차선위치 데이터를 이용하여 기준차선위치를 설정하고, 슬라이딩 윈도우 시간 동안 수신한 차선위치 데이터의 편차와 상기 기준차선위치의 차이를 계산하고, 상기 차이를 설정된 제1 편차기준 및 제2 편차기준과 비교하여 제1 비교결과를 생성한다. 상기 조향각 검출모듈은 차량의 조향각 데이터를 수신하고 수신한 상기 조향각 데이터를 시각적 부주의 조향각 데이터와 인지적 부주의 조향각 데이터로 각각 분류한다. 상기 SRR 연산모듈은 일정한 기준 시간동안 수신한 상기 시각적 부주의 조향각 데이터의 편차를 시각적 부주의 기준조향각으로 설정하고, 일정한 기준 시간동안 수신한 상기 인지적 부주의 조향각 데이터의 편차를 인지적 부주의 기준조향각으로 설정하고, 상기 시각적 부주의 기준조향각 및 상기 인지적 부주의 기준조향각 각각과 상기 슬라이딩 윈도우 시간 동안 수신한 차량의 조향각의 편차들의 차이를 각각 제3 편차기준 및 제4 편차기준과 비교하여 제2 비교결과 및 제3 비교결과를 생성한다. 상기 운전부주의 분류모듈은 상기 제1 비교결과, 상기 제2 비교결과 및 상기 제3비교결과를 이용하여 운전 부주의의 종류를 판단한다.
상술한 바와 같이, 본 발명에 따른 운전 부주의 분류시스템은 은 비용으로 운전 부주의 종류를 정확하게 인식함으로써 운전자를 보조하는 자동차의 시스템이 적절한 대응을 할 수 있게 하여, 운전자의 편의를 도모하고 교통사고에 대한 사회적 비용을 경감할 수 있다는 이점이 있다.
도 1은 본 발명에 따른 운전 부주의 분류시스템의 블록다이어그램이다.
도 2는 도 1에 도시된 MSDLP 연산모듈의 내부 블록다이어그램이다.
도 3은 도 1에 도시된 조향각 검출모듈의 내부 블록다이어그램이다.
도 4는 도 1에 도시된 SRR 연산모듈의 내부 블록다이어그램이다.
도 5는 시각적 운전 부주의 정도에 따른 Baseline1 기준 MSDLP 비율을 나타낸다.
도 6은 시각적 운전 부주의 정도에 따른 Baseline2 기준 시각적 부주의 SRR 비율을 나타낸다.
도 7은 인지적 운전 부주의 정도에 따른 Baseline3 기준 인지적 부주의 SRR 비율을 나타낸다.
도 8은 운전부주의 판단기준의 예를 나타낸다.
이하, 도면을 참조하면서 본 발명에 따른 운전 부주의 분류시스템을 보다 상세히 기술하기로 한다. 본 발명을 설명함에 있어서 관련된 공지기술 또는 구성에 대한 구체적인 설명이 본 발명의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우에는 그 상세한 설명은 생략될 것이다. 그리고, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 클라이언트나 운용자, 사용자의 의도 또는 관례 등에 따라 달라질 수 있다. 그러므로 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.
도면 전체에 걸쳐 같은 참조번호는 같은 구성 요소를 가리킨다.
도 1은 본 발명에 따른 운전 부주의 분류시스템의 블록다이어그램이다.
도 1을 참조하면, 운전 부주의 분류시스템(100)은, ADAS(Advanced Driver Assistance System) 시스템이 장착되어 있는 경우, MSDLP 연산모듈(110), 조향각 검출모듈(120), SRR 연산모듈(130) 및 운전부주의 분류모듈(140)을 포함한다.
MSDLP 연산모듈(110, Modefiend Standard Deviation Lane Position)은 차선위치 데이터를 수신하고, 일정한 시간 동안 수신한 차선위치 데이터의 편차를 기준차선위치(baseline1)로 설정하고, 슬라이딩 윈도우 시간 동안 수신한 차선위치 데이터의 편차와 기준차선위치(baseline1)의 차이를 설정된 제1 편차기준(REF1, 도 2 참조) 및 제2 편차기준(REF2, 도 2 참조)과 비교하여 제1 비교결과(INFORM1)를 생성한다.
조향각 검출모듈(120)은 차량의 조향각 데이터를 수신하고 수신한 조향각 데이터를 시각적 부주의 조향각 데이터(DATA1)와 인지적 부주의 조향각 데이터(DATA2)로 각각 분류한다.
SRR 연산모듈(130)은 일정한 기준 시간 동안 수신한 시각적 부주의 조향각 데이터(DATA1)의 편차를 시각적 부주의 기준조향각(baseline2)으로 설정하고, 일정한 기준 시간 동안 수신한 인지적 부주의 조향각 데이터(DATA2)의 편차를 인지적 부주의 기준조향각(baselien3)으로 설정하고, 시각적 부주의 기준조향각(baseline2) 및 인지적 부주의 기준조향각(baseline3) 각각과 슬라이딩 윈도우 시간 동안 수신한 차량의 조향각의 편차들의 차이를 각각 제3 편차기준(REF3, 도 4 참조) 및 제4 편차기준(REF4, 도 4 참조)과 비교하여 제2 비교결과(INFORM2) 및 제3 비교결과(INFORM3)를 생성한다.
운전부주의 분류모듈(140)은 제1 비교결과(INFORM1), 제2 비교결과(INFORM2) 및 제3비교결과(INFORM3)를 이용하여 운전 부주의의 종류를 판단한다.
운전 부주의 분류시스템(100)은, ADAS(Advanced Driver Assistance System) 시스템이 장착되어 있지 않은 경우에는 ADAS 시스템이 장착되어 있는 경우에 비해 차선검출기(150)를 더 포함한다. 차선검출기(150)는 수신된 차선 영상을 이용하여 상기 차선위치 데이터를 생성하는 기능을 수행한다.
이하에서는 도 1에 도시된 기능블록에 대한 자세하게 설명한다.
도 2는 도 1에 도시된 MSDLP 연산모듈의 내부 블록다이어그램이다.
도 2를 참조하면, MSDLP 연산모듈(110)은, 제1 필터(111), 제1 베이스라인 설정기(112), 표준편차 계산블록(113) 및 제1 비교분석기(114)를 구비한다.
제1 필터(111)는 차선위치 데이터를 수신하고 이를 고주파 통과 필터링 한다. 본 발명에서는 고주파 통과 필터(high pass filter)는 cut-off 주파수가 0.1Hz인 2차의 butter-worth-filter로 구현할 것을 제안한다.
제1 베이스라인 설정기(112)는 고주파 필터링 된 차선위치 데이터를 이용하여 기준차선위치(baseline1)를 생성한다. 기준차선위치(baseline1)를 생성하는 방법은 여러 가지가 있을 수 있으며, 운전 부주의가 없는 일정한 시간 동안의 차선위치 데이터의 표준 편차로 설정할 수 있다. 운전사의 입장에서 볼 때, 차량이 출발하고 나서 얼마 되지 않은 시간 동안에는 특별한 사유가 없는 한 운전에 집중하게 되므로 부주의한 운전은 하지 않게 된다. 따라서 차량이 출발한 직후 일정한 시간 동안 차선위치 데이터의 표준 편차를 계산하여 이를 기준차선위치(baseline1)로 설정한다.
표준편차 계산블록(113)은 슬라이딩 윈도우 시간 동안 수신한 필터링 된 차선위치 데이터의 편차(MSDLP)를 계산한다. 여기서 슬라이딩 윈도우(sliding window)는 일정한 시간 간격을 의미한다. 예를 들면 슬라이드 윈도우가 30초이고 현재 시각이 65초라 할 때 1초 후인 66초일 때는, 이전 시간인 36초에서 현재 시간인 66초까지의 차선위치 데이터를 가지고 계산하고, 2초가 경과한 후에는 37초에서 67초까지의 데이터를 가지고 계산한다.
제1 비교분석기(114)는 슬라이딩 윈도우 시간 동안 수신한 필터링 된 차선위치 데이터의 편차(MSDLP)와 기준차선위치(baseline1)의 차이를 2개의 편차기준(REF1, REF2)과 비교하여 제1 비교결과(INFORM1)를 생성한다.
차선위치 데이터의 편차(MSDLP) 및 기준차선위치(baseline1)의 차이가 제1 편차기준(REF1) 및 제2 편차기준(REF2) 이내라고 판단되는 경우 제1 제어신호(CON1)를 활성화시킨다. 이때, 제1 베이스라인 설정기(112)는 활성화된 제1 제어신호(CON1)에 응답하여 슬라이딩 윈도우 시간 동안 수신한 필터링 된 상기 차선위치 데이터의 편차를 새로운 기준차선위치(baseline1)로 갱신한다.
도 2에는 제1 비교분석기(114)가 MSDLP 연산모듈(110)에 포함되는 것으로 도시되어 있지만, 경우에 따라서는 운전부주의 분류모듈(140)에 포함되는 것도 가능하다.
도 3은 도 1에 도시된 조향각 검출모듈의 내부 블록다이어그램이다.
도 3을 참조하면, 조향각 검출모듈(120)은, 제2 필터(121) 및 제3 필터(122)를 포함한다.
제2 필터(121)는 조향각 데이터를 필터링하여 시각적 부주의 조향각 데이터(DATA1)를 생성하며, cut-off 주파수가 0.6Hz인 2차의 butter-worth 저주파 통과 필터(low pass filter)로 구현할 수 있다.
제3 필터(122)는 조향각 데이터를 필터링하여 인지적 부주의 조향각 데이터(DATA2)를 생성하며, cut-off 주파수가 2Hz인 2차의 butter-worth 저주파 통과 필터(low pass filter)로 구현할 수 있다.
도 4는 도 1에 도시된 SRR 연산모듈의 내부 블록다이어그램이다.
도 4를 참조하면, SRR 연산모듈(130)은 제2 베이스라인 설정기(131), 제3 베이스라인 설정기(132), 제2 비교분석기(133) 및 제3 비교분석기(134)를 구비한다.
제2 베이스라인 설정기(131)는 일정한 기준 시간동안 수신한 시각적 부주의 조향각 데이터(DATA1)의 편차를 계산하여 이를 시각적 부주의 기준조향각(baseline2)으로 설정한다. 제3 베이스라인 설정기(132)는 일정한 기준 시간동안 수신한 인지적 부주의 조향각 데이터(DATA2)의 편차를 계산하여 인지적 부주의 기준조향각(baseline3)으로 설정한다.
제2 비교분석기(133)는 미리 저장해 놓은 시각적 부주의 기준조향각(baseline2)과 슬라이딩 윈도우 시간 동안 수신한 시각적 부주의 조향각 데이터(DATA1)들의 편차인 시각적 부주의 조향각들의 차이를 제3 편차기준(REF3)과 비교하여 제2 비교결과(INFORM2)를 생성한다. 제2 베이스라인 설정기(131)는 초기 단계에 시각적 부주의 기준조향각(baseline2)을 계산하여 이미 제2 비교분석기(133)에 전달하였으며, 계속하여 수신한 시각적 부주의 조향각 데이터(DATA1)에 대한 편차인 시각적 부주의 조향각을 계산하여 제2 비교분석기(133)에 전달할 것이다. 따라서 제2 비교분석기(133)는 이미 저장된 시각적 부주의 기준조향각(baseline2)과 슬라이딩 윈도우 시간 동안 수신한 시각적 부주의 조향각 데이터(DATA1)의 편차인 시각적 부주의 조향각의 차이와 제3 편차기준(REF3)을 비교할 수 있다.
제3 비교분석기(134)는 미리 저장해 놓은 인지적 부주의 기준조향각(baseline3)과 슬라이딩 윈도우 시간 동안 수신한 인지적 부주의 조향각 데이터(DATA2)들의 편차인 시각적 부주의 조향각들의 차이를 제4 편차기준(REF4)과 비교하여 제3 비교결과(INFORM3)를 생성한다.
제3 베이스라인 설정기(132)는 초기 단계에 인지적 부주의 기준조향각(baseline3)을 계산하여 이미 제3 비교분석기(134)에 전달하였으며, 계속하여 수신한 인지적 부주의 조향각 데이터(DATA2)에 대한 편차인 인지적 부주의 조향각을 계산하여 제3 비교분석기(134)에 전달할 것이다. 따라서 제3 비교분석기(134)는 이미 저장된 인지적 부주의 기준조향각(baseline3)과 슬라이딩 윈도우 시간 동안 수신한 인지적 부주의 조향각 데이터(DATA2)의 편차인 인지적 부주의 조향각의 차이와 제4 편차기준(REF4)을 비교할 수 있다.
여기서 제2 비교분석기(133)는 편차가 제3 편차기준(REF3) 이내라고 판단한 경우 제2 제어신호(CON2)를 활성화시키고, 제2 베이스라인 설정기(131)는 활성화된 상기 제2 제어신호(CON2)에 응답하여 슬라이딩 윈도우 시간 동안 수신한 시각적 부주의 조향각 데이터의 편차를 새로운 시각적 부주의 기준조향각(baseline2)을 설정한다.
또한 제3 비교분석기(134)는 편차가 상기 제4 편차기준(REF4) 이내라고 판단한 경우 제3 제어신호(CON3)를 활성화시키고, 제3 베이스라인 설정기(132)는 활성화된 상기 제3 제어신호(CON3)에 응답하여 슬라이딩 윈도우 시간 동안 수신한 인지적 부주의 조향각 데이터의 편차를 새로운 인지적 부주의 기준조향각(baseline3)을 설정한다.
이하에서는 도 4에 도시된 SRR 연산모듈(130)의 내부동작에 대하여 설명한다.
SRR 연산모듈(130)은
1. 일정 시간 즉 슬라이딩 윈도우 동안 모아진 조향 각 데이터에 대하여 Low-pass-filtering을 두 가지 방법으로 한다. 즉, 시각적 부주의를 측정하기 위해서 0.6 Hz의 cut-off 주파수로 필터링을 하고 인지적 부주의를 측정하기 위해서 2 Hz의 cut-off 주파수로 필터링을 한다.
2. 이어서 필터링 된 데이터에 대하여 수학식 1을 이용하여 조향각의 속도(
Figure 112010071068973-pat00001
)를 계산한다.
Figure 112010071068973-pat00002
조향각의 속도(
Figure 112010071068973-pat00003
)를 계산한 후에는 수학식 2 및 3을 만족하는 데이터들을 모은다.
Figure 112010071068973-pat00004
Figure 112010071068973-pat00005
여기서 T는 데이터의 개수이다.
3. 단계 2에서 모은 데이터를 아래의 알고리즘에 적용하여 SRR(Nr)를 계산한다.
Figure 112010071068973-pat00006

여기에서
Figure 112010071068973-pat00007
은 시각적 부주의를 계산하기 위해서 3으로 하고, 인지적 부주의를 계산하기 위해서는 0.1로 한다.
4. 이렇게 얻어진 SRR(Nr) 값으로 Baseline 대비 SRR 비율을 위해서 MSDLP 연산모듈(110)과 유사한 방법으로 기준조향각(Baseline)을 설정한다.
기준조향각(Baseline)은 운전 부주의가 없는 주행 상태로, 이때의 값을 100%로 정하며, 시각적 부주의 기준조향각(baseline2)과 인지적 부주의 기준조향각(baseline3)을 각각 구한다.
기준조향각(Baseline)의 결정은 운전을 시작한 지 수 분 후에 수행하며, 과거 이력(Baseline 데이터를 데이터베이스로 저장해 두며 일정 시간이 지난 데이터는 삭제) 보다 지나치게 높은 기준치가 계산되면(예를 들어, 시각적 부주의 경우에 190% 이상이고 인지적 부주의 경우에 145%), 잠시 후에 재계산하고, 재계산 후에도 높으면 운전 부주의로 판단하고, 운전 부주의 판단 모듈에게 운전 부주의 상태를 알려 준다.
측정된 Baseline이 정상치에 해당하면 이 Baseline을 기준으로 이후의 운전에서 운전 부주의 판단을 위한 Baseline으로 사용한다.
상기와 같은 연산과정을 거쳐서 얻어진 정보를 이용하여 운전부주의 판단모듈(140)은 아래와 같은 기준으로 판단한다.
운전부주의 분류모듈(140)은 MSDLP 연산 모듈(110)로부터 기준차선위치(baseline1) 대비 MSDLP 비율을 입력받고, SRR 연산 모듈(130)로부터 시각적 부주의 기준조향각(baseline2) 대비 시각적 부주의 SRR 비율과 인지적 부주의 기준조향각(Baseline3) 대비 인지적 부주의 SRR 비율을 입력 받아서 운전 부주의 종류를 판단한다.
도 5는 시각적 운전 부주의 정도에 따른 Baseline1 기준 MSDLP 비율을 나타낸다.
도 6은 시각적 운전 부주의 정도에 따른 Baseline2 기준 시각적 부주의 SRR 비율을 나타낸다.
도 7은 인지적 운전 부주의 정도에 따른 Baseline3 기준 인지적 부주의 SRR 비율을 나타낸다.
도 8은 운전부주의 판단기준의 예를 나타낸다.
운전 부주의 분류모듈(140)은 도 8과 같은 기준으로 운전 부주의 종류를 판단 한다.
Baseline1 기준 MSDLP 비율이 250% 이상이고 Baseline2 기준 시각적 부주의 SRR 비율이 190%이상이면 시각적 운전 부주의로 간주하며, Baseline1 기준 MSDLP 비율이 95%이하이고 Baseline3 기준 인지적 부주의 SRR 비율이 145%이상이면 인지적 운전 부주의로 간주한다.
여기서, 제1 편차기준(REF1)은 250%, 제2 편차기준(REF2)은 95%, 제3 편차기준(REF3)은 190% 그리고 제4 편차기준(REF1)은 145%에 각각 대응된다.
운전자의 운전을 보조하는 장치 등에서 운전자의 상태를 정확히 인지하는 것은 필수적인 문제이다. 본 발명은 차량이 가지고 있는 일반적인 정보, 즉 차선변화정보와 조향각 변화정보를 이용하여 큰 부가 장치의 추가 없이 운전자의 상태가 시각적 부주의인지, 혹은 인지적 부주의인지를 밝혀 준다.
이 기능이 만약 운전자 부주의 경고시스템에 적용된다면 운전자의 부주의 상황에 맞게 적절하게 경고를 할 수 있을 것이다. 즉, 운전자가 인지적 부주의 상황이라면 “운전에 집중하라”는 메시지를 보내고, 운전자가 시각적 부주의 상황이라면 “전방을 주시하라”는 메시지를 적절히 줄 수 있을 것이다.
따라서 작은 비용으로 운전 부주의 종류를 정확하게 인식함으로써 운전자를 보조하는 자동차의 시스템이 적절한 대응을 할 수 있게 하여, 운전자의 편의를 도모하고 교통사고에 대한 사회적 비용을 경감할 수 있을 것이다.
이상과 같이 본 발명은 양호한 실시 예에 근거하여 설명하였지만, 이러한 실시 예는 본 발명을 제한하려는 것이 아니라 예시하려는 것이므로, 본 발명이 속하는 기술분야의 숙련자라면 본 발명의 기술사상을 벗어남이 없이 위 실시 예에 대한 다양한 변화나 변경 또는 조절이 가능할 것이다. 그러므로, 본 발명의 보호 범위는 본 발명의 기술적 사상의 요지에 속하는 변화 예나 변경 예 또는 조절 예를 모두 포함하는 것으로 해석되어야 할 것이다.
110: MSDLP 연산모듈 120: 조향각 검출모듈
130: SRR 연산모듈 140: 운전부주의 분류모듈
150: 차선검출기

Claims (12)

  1. 차선위치 데이터를 수신하고, 상기 차선위치 데이터를 이용하여 기준차선위치(baseline1)를 설정하고, 슬라이딩 윈도우 시간 동안 수신한 차선위치 데이터의 편차와 상기 기준차선위치의 차이를 계산하고, 상기 차이를 설정된 제1 편차기준(REF1) 및 제2 편차기준(REF2)과 비교하여 제1 비교결과(INFORM1)를 생성하는 MSDLP 연산모듈(110);
    차량의 조향각 데이터를 수신하고 수신한 상기 조향각 데이터를 시각적 부주의 조향각 데이터(DATA1)와 인지적 부주의 조향각 데이터(DATA2)로 각각 분류하는 조향각 검출모듈(120);
    일정한 기준 시간동안 수신한 상기 시각적 부주의 조향각 데이터(DATA1)의 편차를 시각적 부주의 기준조향각(baseline2)으로 설정하고, 일정한 기준 시간동안 수신한 상기 인지적 부주의 조향각 데이터(DATA2)의 편차를 인지적 부주의 기준조향각(baseline3)으로 설정하고, 상기 시각적 부주의 기준조향각 및 상기 인지적 부주의 기준조향각 각각과 상기 슬라이딩 윈도우 시간 동안 수신한 차량의 조향각의 편차들의 차이를 각각 제3 편차기준(REF3) 및 제4 편차기준(REF4)과 비교하여 제2 비교결과(INFORM2) 및 제3 비교결과(INFORM3)를 생성하는 SRR 연산모듈(130); 및
    상기 제1 비교결과, 상기 제2 비교결과 및 상기 제3비교결과를 이용하여 운전 부주의의 종류를 판단하는 운전부주의 분류모듈(140)을 구비하는 운전 부주의 분류 장치.
  2. 제1항에 있어서, 상기 MSDLP 연산모듈(110)은,
    수신한 상기 차선위치 데이터를 필터링하는 제1필터(111);
    필터링 된 상기 차선위치 데이터를 이용하여 상기 기준차선위치(baseline1)를 설정하는 제1 베이스라인 설정기(112);
    슬라이딩 윈도우 시간 동안 수신한 필터링 된 상기 차선위치 데이터와 상기 기준차선위치의 편차(MSDLP)를 계산하는 표준편차 계산블록(113); 및
    상기 편차(MSDLP)와 상기 제1 편차기준(REF1) 및 상기 제2 편차기준(REF2)을 비교하여 상기 제1 비교결과(INFORM1)를 생성하는 제1 비교분석기(114)를 구비하는 운전 부주의 분류장치.
  3. 제2항에 있어서, 상기 기준차선위치(baseline1)는,
    운전 부주의가 없는 일정한 시간 동안의 필터링 된 상기 차선위치 데이터의 편차인 운전 부주의 분류장치.
  4. 제2항에 있어서, 상기 제1필터(111)는,
    cut-off 주파수가 0.1Hz인 2차의 butter-worth 고주파 통과 필터인 것을 특징으로 하는 운전 부주의 분류장치.
  5. 제2항에 있어서,
    상기 제1 비교분석기(114)는 상기 편차(MSDLP)와 상기 기준차선위치(baseline1)의 차이가 제1 편차기준(REF1) 및 상기 제2 편차기준(REF2) 이내라고 판단되는 경우 제1 제어신호(CON1)를 활성화시키고,
    상기 제1 베이스라인 설정기(112)는 상기 활성화된 제1 제어신호(CON1)에 응답하여 상기 슬라이딩 윈도우 시간 동안 수신한 필터링 된 상기 차선위치 데이터의 평균을 새로운 기준차선위치(baseline1)로 갱신하는 운전 부주의 분류장치.
  6. 제1항에 있어서, 상기 조향각 검출모듈(120)은,
    상기 조향각 데이터를 필터링하여 상기 시각적 부주의 조향각 데이터(DATA1)를 생성하는 제2 필터(121); 및
    상기 조향각 데이터를 필터링하여 상기 인지적 부주의 조향각 데이터(DATA2)를 생성하는 제3 필터(122)를 구비하는 운전 부주의 분류장치.
  7. 제6항에 있어서,
    상기 제2 필터(121)는 cut-off 주파수가 0.6Hz인 2차의 butter-worth 저주파 통과 필터이고,
    상기 제3 필터(122)는 cut-off 주파수가 2Hz인 2차의 butter-worth 저주파 통과 필터인 것을 특징으로 하는 운전 부주의 분류장치.
  8. 제1항에 있어서, 상기 SRR 연산모듈(130)은,
    일정한 기준 시간 동안 수신한 상기 시각적 부주의 조향각 데이터(DATA1)의 편차를 상기 시각적 부주의 기준조향각(baseline2)으로 설정하는 제2 베이스라인 설정기(131);
    일정한 기준 시간 동안 수신한 상기 인지적 부주의 조향각 데이터(DATA2)의 편차를 상기 인지적 부주의 기준조향각(baseline3)으로 설정하는 제3 베이스라인 설정기(132);
    상기 슬라이딩 윈도우 시간 동안 수신한 상기 시각적 부주의 조향각 데이터(DATA1)의 편차와 상기 시각적 부주의 기준조향각(baseline2)의 차이를 상기 제3 편차기준(REF3)과 비교하여 상기 제2 비교결과(INFORM2)를 생성하는 제2 비교분석기(133); 및
    상기 슬라이딩 윈도우 시간 동안 수신한 상기 인지적 부주의 조향각 데이터(DATA2)의 편차와 상기 인지적 부주의 기준조향각(baseline3)의 차이를 상기 제4 편차기준(REF4)과 비교하여 상기 제3 비교결과(INFORM3)를 생성하는 제3 비교분석기(134)를 구비하는 운전 부주의 분류장치.
  9. 제8항에 있어서,
    상기 제2 비교분석기(133)는 상기 차이가 상기 제3 편차기준(REF3) 이내라고 판단한 경우 제2 제어신호(CON2)를 활성화시키고,
    상기 제2 베이스라인 설정기(131)는 활성화된 상기 제2 제어신호(CON2)에 응답하여 상기 슬라이딩 윈도우 시간 동안 수신한 상기 시각적 부주의 조향각 데이터의 편차를 새로운 시각적 부주의 기준조향각(baseline2)으로 설정하며,
    상기 제3 비교분석기(134)는 상기 차이가 상기 제4 편차기준(REF4) 이내라고 판단한 경우 제3 제어신호(CON3)를 활성화시키고,
    상기 제3 베이스라인 설정기(132)는 활성화된 상기 제3 제어신호(CON3)에 응답하여 상기 슬라이딩 윈도우 시간 동안 수신한 상기 인지적 부주의 조향각 데이터의 편차를 새로운 인지적 부주의 기준조향각(baseline3)으로 설정하는 것을 특징으로 하는 운전 부주의 분류장치.
  10. 제1항에 있어서, 상기 운전부주의 분류모듈(140)은,
    상기 제1 비교결과, 상기 제2 비교결과 및 상기 제3비교결과를 통해,
    슬라이딩 윈도우 시간 동안 수신한 차선위치 데이터의 편차와 상기 기준차선위치의 차이가 상기 제1 편차기준(REF1)보다 큰 경우 및 상기 슬라이딩 윈도우 시간 동안 수신한 시각적 부주의 조향각의 편차와 상기 시각적 부주의 기준조향각의 차이가 상기 제2 편차기준(REF2)보다 큰 경우에는 시각적 운전 부주의로 판단하고,
    슬라이딩 윈도우 시간 동안 수신한 차선위치 데이터의 편차와 상기 기준차선위치의 차이가 상기 제2 편차기준(REF2)보다 작은 경우 및 상기 슬라이딩 윈도우 시간 동안 수신한 인지적 부주의 조향각의 편차와 상기 인지적 부주의 기준조향각의 차이가 상기 제4 편차기준(REF4)보다 큰 경우에는 인지적 운전 부주의로 판단하는 것을 특징으로 하는 운전 부주의 분류장치.
  11. 제1항에 있어서, 상기 차선위치 데이터는,
    ADAS(Advanced Driver Assistance System) 시스템으로부터 생성되는 운전 부주의 분류장치.
  12. 제1항에 있어서,
    수신된 차선 영상을 이용하여 상기 차선위치 데이터를 생성하는 차선검출기(150)를 더 구비하는 운전 부주의 분류장치.
KR1020100107662A 2010-11-01 2010-11-01 운전 부주의 분류시스템 KR101163081B1 (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020100107662A KR101163081B1 (ko) 2010-11-01 2010-11-01 운전 부주의 분류시스템
PCT/KR2010/009382 WO2012060513A1 (ko) 2010-11-01 2010-12-28 운전 부주의 분류시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020100107662A KR101163081B1 (ko) 2010-11-01 2010-11-01 운전 부주의 분류시스템

Publications (2)

Publication Number Publication Date
KR20120045836A KR20120045836A (ko) 2012-05-09
KR101163081B1 true KR101163081B1 (ko) 2012-07-05

Family

ID=46024615

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020100107662A KR101163081B1 (ko) 2010-11-01 2010-11-01 운전 부주의 분류시스템

Country Status (2)

Country Link
KR (1) KR101163081B1 (ko)
WO (1) WO2012060513A1 (ko)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9725096B2 (en) 2012-10-10 2017-08-08 Nxp Usa, Inc. Method and apparatus for generating and indicator of a risk level in operating systems
CN105589880A (zh) * 2014-10-23 2016-05-18 标致·雪铁龙汽车公司 从长期人类历史驾驶数据中分割车道变换行为数据的自动方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113186A (ja) 1998-10-01 2000-04-21 Mitsubishi Electric Inf Technol Center America Inc 注視方向分類システム及び注視方向分類方法
JP2005158077A (ja) 2003-11-26 2005-06-16 Daimler Chrysler Ag 車両の運転者による不注意を識別する方法及びコンピュータプログラム
JP2007528815A (ja) 2003-06-06 2007-10-18 ボルボ テクノロジー コーポレイション 運転者の行動解釈に基づいて自動車のサブシステムを制御する方法および機構
JP2010131401A (ja) 2002-10-15 2010-06-17 Volvo Technology Corp 被験者の頭及び目の動きを分析する方法及び装置

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3039327B2 (ja) * 1995-06-30 2000-05-08 三菱自動車エンジニアリング株式会社 車両走行状態検出装置及び居眠り運転警報装置
DE102006051930B4 (de) * 2006-11-03 2017-04-06 Robert Bosch Gmbh Verfahren und Vorrichtung zur Fahrerzustandserkennung
CA2649731C (en) * 2008-11-05 2015-07-21 The George Washington University An unobtrusive driver drowsiness detection method
TWI338643B (en) * 2009-01-19 2011-03-11 Univ Nat Taiwan Science Tech Lane departure warning method and system thereof

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000113186A (ja) 1998-10-01 2000-04-21 Mitsubishi Electric Inf Technol Center America Inc 注視方向分類システム及び注視方向分類方法
JP2010131401A (ja) 2002-10-15 2010-06-17 Volvo Technology Corp 被験者の頭及び目の動きを分析する方法及び装置
JP2007528815A (ja) 2003-06-06 2007-10-18 ボルボ テクノロジー コーポレイション 運転者の行動解釈に基づいて自動車のサブシステムを制御する方法および機構
JP2005158077A (ja) 2003-11-26 2005-06-16 Daimler Chrysler Ag 車両の運転者による不注意を識別する方法及びコンピュータプログラム

Also Published As

Publication number Publication date
KR20120045836A (ko) 2012-05-09
WO2012060513A1 (ko) 2012-05-10

Similar Documents

Publication Publication Date Title
KR101996419B1 (ko) 센서 융합 기반 보행자 탐지 및 보행자 충돌 방지 장치 및 방법
KR101581188B1 (ko) 차선변경 경보 장치
US20140244111A1 (en) System and method for monitoring vehicle speed and driver notification
US20160167675A1 (en) System, method, and vehicle for safe driving
EP3416147B1 (en) Method for providing drowsiness alerts in vehicles
US10430677B2 (en) Method for classifying driver movements
US9323718B2 (en) Method and device for operating a driver assistance system of a vehicle
CN111710128B (zh) 车辆异常驾驶的预警方法及装置、电子设备、存储介质
CN104210488A (zh) 防止车辆与路沿碰撞的方法及装置
US9589470B2 (en) Method and apparatus for detecting vehicle running in blind spot, and method and apparatus for giving warning in changing cruising lane
JP2019026201A (ja) 車外報知装置
KR20100000388A (ko) 차선이탈 경보시스템
KR101818542B1 (ko) 차선 인식 신뢰도 향상 시스템 및 그 방법
CN106114520A (zh) 一种车辆驾驶变道报警系统及方法
CN108189783B (zh) 车辆行驶状态监控方法、装置以及车辆
KR101163081B1 (ko) 운전 부주의 분류시스템
KR101876295B1 (ko) 보행자 충돌 경고 장치
KR101283586B1 (ko) 휴대용 운행상태 판단장치 및 그 방법
KR101512935B1 (ko) 차량 안전 제어 장치 및 방법
KR101815721B1 (ko) 사각지대 감지 장치 및 방법
KR101701050B1 (ko) 전방 카메라를 이용한 주행 차량 휠 얼라인먼트 경보 시스템 및 방법
CN108604418A (zh) 辅助交通合并
JP4973953B2 (ja) 運転者状態判定装置および運転者状態判定方法
JP2016095571A (ja) 車両の運転評価装置、並びに車両の運転評価方法
EP2835794B1 (en) Method for warning the driver of a motor vehicle depending on a determined time to collision, camera system and motor vehicle

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20150623

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20160419

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20170328

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20180406

Year of fee payment: 7

FPAY Annual fee payment

Payment date: 20190325

Year of fee payment: 8