KR20190120561A - 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법 및 시스템 - Google Patents

운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법 및 시스템 Download PDF

Info

Publication number
KR20190120561A
KR20190120561A KR1020180043899A KR20180043899A KR20190120561A KR 20190120561 A KR20190120561 A KR 20190120561A KR 1020180043899 A KR1020180043899 A KR 1020180043899A KR 20180043899 A KR20180043899 A KR 20180043899A KR 20190120561 A KR20190120561 A KR 20190120561A
Authority
KR
South Korea
Prior art keywords
driver
drowsiness
vehicle
data
interaction
Prior art date
Application number
KR1020180043899A
Other languages
English (en)
Other versions
KR102045320B1 (ko
Inventor
심상현
차민식
Original Assignee
(주) 이즈테크놀로지
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주) 이즈테크놀로지 filed Critical (주) 이즈테크놀로지
Priority to KR1020180043899A priority Critical patent/KR102045320B1/ko
Publication of KR20190120561A publication Critical patent/KR20190120561A/ko
Application granted granted Critical
Publication of KR102045320B1 publication Critical patent/KR102045320B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/089—Driver voice
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means

Abstract

본 발명은 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법 및 시스템에 관한 것으로, 본 발명에 따른 방법은, 차량을 운행 중인 운전자를 모니터링한 운전자 모니터링 데이터를 획득하는 단계, 운전자 모니터링 데이터를 미리 정해진 운전자 졸음 예측 모델에 적용하여 운전자 졸음 상태를 예측하는 단계, 그리고 운전자 졸음 상태 예측 결과에 기초하여 운전자와 상호 작용을 위한 자극을 출력하는 단계를 포함한다. 자극에 대한 운전자의 반응을 확인하는 단계, 그리고 운전자의 반응이 부적합하면 미리 정해진 경보를 출력하는 단계를 더 포함할 수 있다. 본 발명에 의하면 운전자 졸음이 예측되면 운전자와 상호 작용을 통해 졸음 운전을 효과적으로 예방할 수 있다.

Description

운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법 및 시스템{Method and System for Preventing Driver Drowsiness Through Interaction with Driver by Based on Driver Status Monitoring}
본 발명은 운전자 졸음 예방 방법 및 시스템에 관한 것으로, 보다 자세하게는 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법 및 시스템에 관한 것이다.
최근 들어 운전자를 촬영한 영상을 분석하여 운전자 졸음 상태를 인식하고, 운전자에게 경보를 출력하는 운전자 졸음 방지 기술이 상용화되고 있다.
한국등록특허 제1,078,466호는 대상자의 얼굴을 촬영하여 눈 깜박임 패턴 등을 분석하여 각성 상태(졸음 정도)를 판정하는 기술이 개시되어 있고, 이를 기초로 대상자가 운전자로 졸음 상태인 경우 큰 소리를 출력시켜 경보하는 기술이 개시되어 있다.
그리고 한국공개특허 제2016-0104245호는 운전자가 졸음 상태인 경우 차량을 제어하여 차창을 열거나, 깜박이를 켜거나, 차량 오디오에서 큰 소리를 출력하거나 또는 핸들 또는 운전석에 진동을 일으켜서 경보하는 기술이 개시되었다.
그러나 이와 같이 운전자에게 일방적인 자극을 인가하는 종래 방식만으로는 운전자 졸음 예방을 하는데 효율적이지 않은 경우가 있었다.
한국등록특허 제1,078,466호(등록일: 2011.10.25) 한국공개특허 제2016-0104245호(공개일: 2016.09.05)
따라서 본 발명이 해결하고자 하는 기술적 과제는 운전자 졸음이 예측되면 운전자와 상호 작용을 통해 졸음 운전을 예방할 수 있는 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법 및 시스템을 제공하는 것이다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법은, 차량을 운행 중인 운전자를 모니터링한 운전자 모니터링 데이터를 획득하는 단계, 상기 운전자 모니터링 데이터를 미리 정해진 운전자 졸음 예측 모델에 적용하여 운전자 졸음 상태를 예측하는 단계, 그리고 상기 운전자 졸음 상태 예측 결과에 기초하여 상기 운전자와 상호 작용을 위한 자극을 출력하는 단계를 포함한다.
상기 방법은, 상기 자극에 대한 운전자의 반응을 확인하는 단계, 그리고 상기 운전자의 반응이 부적합하면 미리 정해진 경보를 출력하는 단계를 더 포함할 수 있다.
상기한 기술적 과제를 해결하기 위한 본 발명에 따른 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 시스템은, 차량을 운행 중인 운전자를 모니터링한 운전자 모니터링 데이터를 획득하는 차량 단말, 그리고 상기 운전자 모니터링 데이터를 미리 정해진 운전자 졸음 예측 모델에 적용하여 운전자 졸음 상태를 예측하고, 상기 운전자 졸음 상태 예측 결과에 기초하여 상기 운전자와 상호 작용을 위한 자극을 출력하도록 상기 차량 단말에 요청하는 서비스 서버를 포함한다.
상기 차량 단말은, 상기 자극에 대한 운전자의 반응을 확인하고, 상기 운전자의 반응이 부적합하면 미리 정해진 경보를 출력할 수 있다.
상기 운전자 졸음 예측 모델은, 운전자 모니터링 데이터, 차량 운행 데이터 및 차량 운행 환경 데이터를 맵핑한 다수의 데이터를 포함하는 빅데이터를 이용하여 학습될 수 있다.
상기 운전자와 상호 작용을 위한 자극은 시각적인 방법 및 청각적인 방법 중 적어도 하나를 통해 출력될 수 있다.
상기 운전자의 반응은 영상 센서 및 음성 센서 중 적어도 하나를 통해 획득될 수 있다.
본 발명에 의하면 운전자 졸음이 예측되면 운전자와 상호 작용을 통해 졸음 운전을 효과적으로 예방할 수 있다.
도 1은 본 발명의 일 실시예에 따른 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 시스템의 구성도이다.
도 2는 본 발명의 일 실시예에 따른 차량 단말의 구성을 나타낸 블록도이다.
도 3은 본 발명의 일 실시예에 따른 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 시스템의 동작을 설명하기 위한 흐름도이다.
그러면 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 시스템의 구성도이고, 도 2는 본 발명의 일 실시예에 따른 차량 단말의 구성을 나타낸 블록도이다.
도 1 및 도 2를 참고하면, 본 발명에 따른 운전자 졸음 예방 시스템은 다수의 차량 단말(100a, 100b, 100c, …, 100n-1, 100n) 및 서비스 서버(200)를 포함할 수 있다.
다수의 차량 단말(100a, 100b, 100c, …, 100n-1, 100n) 및 서비스 서버(200)는 통신망(10)을 통해 각종 정보 및 데이터를 교환할 수 있다.
통신망(10)은 구내 정보 통신망(local area network, LAN), 도시권 통신망(metropolitan area network, MAN), 광역 통신망(wide area network, WAN), 인터넷, 2G, 3G, 4G, LTE 이동 통신망, 블루투스, 와이파이(Wi-Fi), 와이브로(Wibro), 위성 통신망, LoRa, Sigfox 등의 LPWA(Low Power Wide Area) 네트워크 등을 포함할 수 있으며, 통신 방식도 유선, 무선을 가리지 않으며 어떠한 통신 방식이라도 상관없다.
차량 단말(100a, 100b, 100c, …, 100n-1, 100n)은 영상 센서부(110), 음성 센서부(120), 운행 데이터 수집부(130), 제어부(140), 저장부(150), 자극 출력부(160) 및 통신부(170)를 포함할 수 있다.
차량 단말(100a, 100b, 100c, …, 100n-1, 100n)은 각각에 대응하는 차량(도시하지 않음)에 위치하여, 해당 차량을 운전하는 운전자의 상태를 모니터링한 운전자 모니터링 데이터를 획득할 수 있다.
운전자 모니터링 데이터는 운전자 모습을 촬영한 운전자 영상 데이터를 포함하고, 실시예에 따라 운전자의 음성을 전기적 신호로 획득한 운전자 음성 데이터를 포함할 수 있다. 여기서 운전자 영상 데이터는 운전자의 얼굴을 포함하며, 운전자의 상반신 등도 포함할 수 있다.
영상 센서부(110)는 카메라를 통해 구현할 수 있으며, 운전자 모습을 촬영한 운전자 영상 데이터를 획득할 수 있다.
음성 센서부(120)는 마이크로폰을 통해 구현할 수 있으며, 운전자의 음성을 전기적인 신호로 변환하여 운전자 음성 데이터를 획득할 수 있다.
차량 단말(100a, 100b, 100c, …, 100n-1, 100n)은 차량 운행 데이터 및/또는 차량 운행 환경 데이터를 획득할 수 있다.
차량 운행 데이터는 차량의 속도, 조향각 제어, 브레이크 조작, 기어 조작 등 차량 운행 중에 수집되는 데이터를 포함할 수 있다.
운행 데이터 수집부(130)는 차량 운행 데이터를 차량의 OBD(On-Board Diagnostics) 인터페이스를 통해 획득할 수 있다. 물론 차량 단말(100a, 100b, 100c, …, 100n-1, 100n)에 GNSS 수신 모듈을 구비된 경우, 운행 데이터 수집부(130)는 GNSS 신호를 처리하여 구해지는 차량의 위치 및 속도를 수집할 수도 있다.
차량 운행 환경 데이터는 차량이 운행하는 환경에 관한 데이터로, 예컨대 차량 실내 온도, 차량 실외 온도, 차량 운행 지역의 날씨, 차량 운행 도로의 도로 기하 정보 등을 포함할 수 있다. 또한 차량 운행 환경 데이터는 해당 차량이 운행 중인 도로의 통행량, 도로 통행 속도 등 도로 트래픽 정보도 포함할 수 있다.
운행 데이터 수집부(130)는 차량의 실내외에 장착된 온도 센서를 통해 차량 실내 온도, 차량 실외 온도를 수집할 수 있다. 그리고 운행 데이터 수집부(130)는 차량에 장착된 레인 센서, 조도 센서 등을 통해 운행 중인 차량 주변의 강우량이나 조도 등을 수집할 수도 있다.
저장부(150)는 차량 단말(100a, 100b, 100c, …, 100n-1, 100n)의 동작과 관련된 각종 정보, 데이터 및 프로그램을 저장할 수 있다. 그리고 저장부(150)는 운전자 모니터링 데이터, 차량 운행 데이터, 차량에서 수집된 차량 운행 환경 데이터 등을 영구 저장 또는 임시 저장할 수 있다.
차량 운행 지역의 날씨는 기온, 강우량, 강설량, 풍속, 습도, 일사량, 일조량 등을 포함할 수 있으며, 기상청이나 민간 기상 사업자 등이 운영하는 기상 서버(도시하지 않음)에서 제공하는 날씨 데이터로부터 획득될 수도 있다.
도로 기하 정보는 도로 종단 기울기, 도로 횡단 기울기 및 도로 곡률 등을 포함할 수 있다. 도로 기하 정보는 서비스 서버(200)에 미리 저장되어 있을 수 있다.
도로 트래픽 정보는 교통 정보 제공 서버(도시하지 않음)로부터 제공받을 수 있다.
차량 단말(100a, 100b, 100c, …, 100n-1, 100n)은 서비스 서버(200)로부터 운전자 졸음 예방을 위한 상호 작용이 요청되면, 운전자와 상호 작용을 위한 자극을 출력하고, 그에 따른 운전자의 반응을 확인할 수 있다.
자극 출력부(160)는 운전자와 상호 작용을 위한 자극을 청각적인 방법이나 시각적인 방법으로 출력할 수 있다. 예컨대 자극 출력부(160)는 운전자가 특정한 동작을 하거나 답변을 하도록 유도하는 메시지를 음성으로 출력할 수 있다. 물론 청각 장애인을 위하여 텍스트나 그림 등의 시각적인 방법으로 자극을 출력할 수도 있다. 이를 위해 자극 출력부(160)는 스피커나 디스플레이 모듈으로 구현될 수 있다.
차량 단말(100a, 100b, 100c, …, 100n-1, 100n)은 운전자의 반응이 부적합하면 미리 정해진 경보를 출력할 수 있다. 경보는 시각, 청각, 촉각 등의 다양한 방법에 의해 이루어질 수 있다.
제어부(140)는 차량 단말(100a, 100b, 100c, …, 100n-1, 100n)의 전체적인 동작을 제어한다. 제어부(140)는 서비스 서버(200)로부터 운전자와 상호 작용을 위한 자극 출력이 요청되면, 자극 출력부(160)를 제어하여 운전자에게 상호 작용을 위한 자극이 출력되게 할 수 있다. 그리고 제어부(140)는 영상 센서부(110)나 음성 센서부(120)를 통해 획득되는 운전자의 상호 작용에 대한 반응을 확인한다.
졸음 예방을 위한 운전자와의 상호 작용 방법은 다양한 방법으로 이루어질 수 있다. 예를 들어, 제어부(140)는 '고개를 좌우로 흔드세요', '입을 열었다 닫아 주세요' 등과 같이 운전자가 특정 동작을 하도록 요청하는 메시지를 청각적인 자극 방법이나 시각적인 자극 방법으로 자극 출력부(160)를 통해 출력할 수 있다. 그리고 제어부(140)는 운전자가 미리 정해진 시간 동안 해당 동작을 하는지 영상 센서부(110)를 통해 확인할 수 있다. 미리 정해진 시간 동안 운전자가 해당 동작을 하면, 제어부(140)는 운전자 반응이 적합한 것으로 판단할 수 있다. 반면에 정해진 시간 내에 운전자가 해당 동작을 하지 않거나 다른 동작을 하면, 제어부(140)는 운전자 반응이 부적합한 것으로 판단할 수 있다.
한편 제어부(140)는 '이름을 말해보세요', 'XXX를 말해 보세요' 등과 같이 운전자가 특정 문구를 말하도록 요청하는 메시지를 청각적인 자극 방법이나 시각적인 자극 방법으로 자극 출력부(160)를 통해 출력할 수 있다. 그리고 제어부(140)는 운전자가 미리 정해진 시간 동안 해당 문구를 말하는지 음성 센서부(120)를 통해 확인할 수 있다. 미리 정해진 시간 동안 운전자가 미리 정해진 문구를 말하면, 제어부(140)는 운전자 반응이 적합한 것으로 판단할 수 있다. 반면에 정해진 시간 내에 운전자가 해당 문구를 말하지 않거나 다른 문구를 말하면, 제어부(140)는 운전자 반응이 부적합한 것으로 판단할 수 있다.
한편 제어부(140)는 현재 운전자의 상황에 따른 답변을 요청하는 질문을 청각적인 자극 방법이나 시각적인 자극 방법으로 자극 출력부(160)를 통해 출력할 수 있다. 예컨대 '어디 가시나요?', '지금 낮 인가요 밤 인가요?' 등과 같이 상황에 따라 답변이 달라질 수 있는 질문을 운전자에게 할 수 있다. 이러한 질문은 제어부(140)에 미리 준비되어 있거나, 또는 서비스 서버(200)로부터 차량 단말(100a)에 제공될 수도 있다. 그리고 제어부(140)는 운전자가 미리 정해진 시간 동안 질문에 대해서 적절한 답변(예컨대 '집에 가고 있어(내비게이션 목적지로 집이 설정되어 있거나, 운전자 운행 패턴 분석 결과 목적지가 집으로 판단되면 적절한 답변으로 판단됨)', '지금 낮이야(현재 낮인 경우 적절한 답변으로 판단됨)')을 하면, 운전자 반응이 적합한 것으로 판단할 수 있다. 물론 운전자 답변을 차량 단말(100a)로부터 전달받아, 서비스 서버(200)에서 반응이 적합한지 판단하고 그 결과를 차량 단말(100a)로 피드백하도록 할 수 있다.
제어부(140)는 운전자의 상호 작용에 대한 반응이 부적합하면 자극 출력부(160)를 통해 경보를 출력시킬 수 있다. 물론 제어부(140)는 차량에 구비된 스피커, 경음기, 경고등을 통해 경보를 출력시킬 수도 있다.
제어부(140)는 차량에 구비된 전자제어장치(ECU)와 연동하여 차량의 차창이 열리거나, 차량에 구비된 엔터테인먼트 장치에서 특정한 콘텐츠를 재생시키게 할 수도 있다.
통신부(170)는 차량 단말(100a, 100b, 100c, …, 100n-1, 100n)이 통신망(10)을 통해 서비스 서버(200)와 각종 정보 및 데이터를 교환할 수 있도록 통신 인터페이스를 제공한다.
서비스 서버(200)는 다수의 차량 단말(100a, 100b, 100c, …, 100n-1, 100n)로부터 수집되는 운전자 모니터링 데이터 및 차량 운행 데이터를 맵핑한 다수의 데이터를 포함하는 빅데이터를 이용하여 운전자 졸음 예측 모델을 학습할 수 있다. 실시예에 따라서 운전자 모니터링 데이터 및 차량 운행 데이터 뿐만 아니라 차량 운행 환경 데이터까지 맵핑한 다수의 데이터를 포함하는 빅데이터를 이용하여 보다 정교하게 운전자 졸음 예측 모델을 학습할 수도 있다.
운전자 얼굴 영상을 분석하여 운전자의 졸음 정도를 판정하는 다양한 방법이 이미 알려져 있다. 그리고 운전자의 차량 운행 속도 제어 동작나 조향각 제어 동작 등 차량 운행 데이터를 분석하여 운전자의 졸음 정도를 판정하는 것과 관련해서도 이미 다양한 방법이 알려져 있다. 아울러 차량 운행 중인 도로 기하 구조, 기상 상태, 도로 트래픽 상황 등에 따라 운전자의 졸음 발생 가능성을 예측하는 방법에 대해서도 이미 다양한 방법이 알려져 있다. 따라서 구체적인 운전자 졸음 예측 모델 학습 방법에 대해서는 설명을 생략한다.
서비스 서버(200)는 차량 단말(100a, 100b, 100c, …, 100n-1, 100n)로부터 현재 차량을 운행 중인 운전자 상태를 모니터링한 운전자 모니터링 데이터를 제공받으면, 이를 미리 정해진 운전자 졸음 예측 모델에 적용하여 운전자 졸음 상태를 예측할 수 있다.
여기서 운전자 졸음 상태 예측은 현재 운전자의 졸음 정도뿐만 아니라 시간이 경과함에 따라 운전자가 졸음 상태에 빠질 가능성 등을 예측하는 것도 포함된다.
서비스 서버(200)는 특정 운전자에 대한 운전자 졸음 예측 결과에 기초하여 운전자와 상호 작용을 위한 자극을 출력하도록 차량 단말(100a, 100b, 100c, …, 100n-1, 100n)에 요청할 수 있다. 예컨대 차량 단말(100a)이 위치한 차량의 운전자의 졸음 정도가 미리 정해진 기준 이상이거나, 해당 차량에 대해 현재 획득되고 있는 차량 운행 데이터나 차량 운행 환경 데이터까지 반영했을 때 운전자가 졸음 상태에 빠질 가능성이 미리 정해진 기준 이상인 경우 등 졸음 운전 가능성이 미리 정해진 기준 이상인 것으로 운전자 졸음 예측 결과가 나오면, 서비스 서버(200)는 차량 단말(100a)에 운전자 졸음 예방을 위한 상호 작용을 요청할 수 있다. 여기서 해당 차량의 운행 환경 데이터는 차량 단말(100a)로부터 제공되는 차량 위치에 대응하는 날씨 데이터, 도로 기하 구조, 도로 트래픽 상황 등을 이용할 수 있다.
한편 인공지능적인 요소를 보다 강화해서, 서비스 서버(200)는 운전자 모니터링 데이터를 기초로 해당 운전자가 졸음 방지를 위해 취하는 효과적인 방법에 대해서 학습할 수도 있다. 가령 서비스 서버(200)는 운전자 모니터링 데이터를 분석하여 운전자가 졸음 상태에서 취하는 특정 동작(예컨대 차창을 여는 동작, 특정 음악을 듣는 동작 등)에 따라 운전자가 졸음 상태에서 벗어나는 정도(각성 레벨이 높아지는 정도)를 학습하여, 가장 효과적으로 운전자 졸음 예방을 할 수 있는 동작을 선택할 수 있다. 서비스 서버(200)는 해당 운전자에 대해 학습된 효과적인 졸음 예방 동작을 유도하는 자극, 예컨대 'xx 음악을 들으시겠어요?', '차창을 잠시 열까요' 등을 선택하여 차량 단말(100a)을 통해 출력시킬 수 있다. 차량 단말(100a)은 해당 질문에 대해 운전자가 긍정적인 답변을 하면 그에 따라 차량에 구비된 엔터테인먼트 장치(도시하지 않음)를 통해 해당 음악을 재생시키거나, 차량의 차창이 열리도록 하는 것도 가능하다.
도 3은 본 발명의 일 실시예에 따른 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 시스템의 동작을 설명하기 위한 흐름도이다.
도 1 내지 도 3을 참고하면, 먼저 서비스 서버(200)는 다수의 차량 단말(100a, 100b, 100c, …, 100n-1, 100n)로부터 수집되는 운전자 모니터링 데이터 및 차량 운행 데이터를 맵핑한 다수의 데이터, 실시예에 따라서는 차량 운행 환경 데이터까지 맵핑하여 구축되는 빅데이터를 이용하여 운전자 졸음 예측 모델을 학습한다(S310).
이후 차량 단말(100a)은 차량을 현재 운행 중인 운전자를 모니터링한 운전자 모니터링 데이터를 획득하여 서비스 서버(200)에 실시간으로 전송할 수 있다(S320). 단계(S320)에서 차량 단말(100a)은 차량 운행 데이터를 획득하여 운전자 모니터링 데이터와 함께 실시간으로 서비스 서버(200)에 전송할 수 있다. 또한 실시예에 따라서 차량에서 획득되는 차량 운행 환경 데이터 및 차량 위치 정보도 함께 서비스 서버(200)에 전송될 수 있다.
다음으로 서비스 서버(200)는 차량 단말(100a)에서 실시간으로 전송되는 운전자 모니터링 데이터를 단계(S310)에서 학습된 운전자 졸음 예측 모델에 적용하여 운전자 졸음 상태를 예측할 수 있다(S330). 차량 단말(100a)로부터 차량 위치 정보가 전달된 경우, 서비스 서버(200)는 차량 위치 정보를 이용하여 차량이 운행하는 도로의 도로 기하 구조, 날씨 데이터, 도로 트래픽 정보 등도 운전자 졸음 예측 모델에 적용하여 운전자 졸음 상태를 예측할 수 있다.
다음으로 서비스 서버(200)는 운전자 졸음 상태 예측 결과, 운전자의 졸음 예방을 위한 상호 작용이 필요하다고 판단되면, 서비스 서버(200)는 차량 단말(100a)에 운전자의 졸음 예방을 위한 상호 작용을 요청할 수 있다(S340-Y).
그러면 차량 단말(100a)은 운전자와 상호 작용을 위한 자극을 출력할 수 있다(S350).
이후 차량 단말(100a)은 단계(S350)에서 출력된 자극에 대한 운전자 반응이 부적합한지 확인할 수 있다(S360). 단계(S360)에서 자극에 대해 운전자의 반응이 없으면 부적합한 것으로 판단할 수 있다. 또한 운전자에게 특정한 동작을 취하도록 지시하는 자극을 출력하였는데, 운전자가 해당 동작이 아닌 다른 동작을 취하거나 동작이 없는 경우에도 부적합한 것으로 판단할 수 있다. 또한 운전자에게 답변을 유도하는 질문을 자극을 출력하였는데, 해당 질문에 부적절한 답변을 하는 경우에도 부적합한 것으로 판단할 수 있다.
운전자의 반응이 부적합하면(S360-Y), 차량 단말(100a)은 경보를 출력시킬 수 있다(S370).
한편 운전자의 반응이 적합하면(S360-Y), 운전자가 차량 운행을 마치거나 동작을 중단시킬 때까지 단계(S320) 내지 단계(S360)를 계속 반복할 수 있다.
본 발명의 실시예는 다양한 컴퓨터로 구현되는 동작을 수행하기 위한 프로그램 명령을 포함하는 컴퓨터로 읽을 수 있는 매체를 포함한다. 이 매체는 앞서 설명한 방법을 실행시키기 위한 프로그램을 기록한다. 이 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독으로 또는 조합하여 포함할 수 있다. 이러한 매체의 예에는 하드디스크, 플로피디스크 및 자기 테이프와 같은 자기 매체, CD 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 자기-광 매체, 롬, 램, 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 구성된 하드웨어 장치 등이 있다. 프로그램 명령의 예에는 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨터에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
이상에서 본 발명의 바람직한 실시예에 대하여 상세하게 설명하였지만 본 발명의 권리범위는 이에 한정되는 것은 아니고 다음의 청구범위에서 정의하고 있는 본 발명의 기본 개념을 이용한 당업자의 여러 변형 및 개량 형태 또한 본 발명의 권리범위에 속하는 것이다.

Claims (8)

  1. 차량을 운행 중인 운전자를 모니터링한 운전자 모니터링 데이터를 획득하는 단계,
    상기 운전자 모니터링 데이터를 미리 정해진 운전자 졸음 예측 모델에 적용하여 운전자 졸음 상태를 예측하는 단계, 그리고
    상기 운전자 졸음 상태 예측 결과에 기초하여 상기 운전자와 상호 작용을 위한 자극을 출력하는 단계
    를 포함하는 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법.
  2. 제 1 항에서,
    상기 자극에 대한 운전자의 반응을 확인하는 단계, 그리고
    상기 운전자의 반응이 부적합하면 미리 정해진 경보를 출력하는 단계
    를 더 포함하는 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법.
  3. 제 2 항에서,
    상기 운전자 졸음 예측 모델은,
    운전자 모니터링 데이터, 차량 운행 데이터 및 차량 운행 환경 데이터를 맵핑한 다수의 데이터를 포함하는 빅데이터를 이용하여 학습되는 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법.
  4. 제 3 항에서,
    상기 운전자와 상호 작용을 위한 자극은 시각적인 방법 및 청각적인 방법 중 적어도 하나를 통해 출력되고,
    상기 운전자의 반응은 영상 센서 및 음성 센서 중 적어도 하나를 통해 획득되는 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법.
  5. 차량을 운행 중인 운전자를 모니터링한 운전자 모니터링 데이터를 획득하는 차량 단말, 그리고
    상기 운전자 모니터링 데이터를 미리 정해진 운전자 졸음 예측 모델에 적용하여 운전자 졸음 상태를 예측하고, 상기 운전자 졸음 상태 예측 결과에 기초하여 상기 운전자와 상호 작용을 위한 자극을 출력하도록 상기 차량 단말에 요청하는 서비스 서버
    를 포함하는 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 시스템.
  6. 제 2 항에서,
    상기 차량 단말은,
    상기 자극에 대한 운전자의 반응을 확인하고, 상기 운전자의 반응이 부적합하면 미리 정해진 경보를 출력하는 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 시스템.
  7. 제 6 항에서,
    상기 운전자 졸음 예측 모델은,
    운전자 모니터링 데이터, 차량 운행 데이터 및 차량 운행 환경 데이터를 맵핑한 다수의 데이터를 포함하는 빅데이터를 이용하여 학습되는 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 시스템.
  8. 제 7 항에서,
    상기 운전자와 상호 작용을 위한 자극은 시각적인 방법 및 청각적인 방법 중 적어도 하나를 통해 출력되고,
    상기 운전자의 반응은 영상 센서 및 음성 센서 중 적어도 하나를 통해 획득되는 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 시스템.
KR1020180043899A 2018-04-16 2018-04-16 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법 및 시스템 KR102045320B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180043899A KR102045320B1 (ko) 2018-04-16 2018-04-16 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법 및 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180043899A KR102045320B1 (ko) 2018-04-16 2018-04-16 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법 및 시스템

Publications (2)

Publication Number Publication Date
KR20190120561A true KR20190120561A (ko) 2019-10-24
KR102045320B1 KR102045320B1 (ko) 2019-11-15

Family

ID=68423397

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180043899A KR102045320B1 (ko) 2018-04-16 2018-04-16 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법 및 시스템

Country Status (1)

Country Link
KR (1) KR102045320B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102403887B1 (ko) * 2020-11-26 2022-05-30 동의대학교 산학협력단 졸음 운전 방지 시스템 및 그 방법
KR20230097274A (ko) * 2021-12-23 2023-07-03 한국자동차연구원 바이노럴 비트를 이용한 자율주행 자동차 사용자의 뇌파 자극 시스템 및 그 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220083889A (ko) 2020-12-11 2022-06-21 박규섭 운전자 상태 모니터링 방법과 복합 사고예방 메커니즘 및 시스템

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110076745A (ko) * 2009-12-28 2011-07-06 한국과학기술원 졸음운전 경고 장치 및 그 방법
KR101078466B1 (ko) 2007-01-19 2011-10-31 아사히 가세이 가부시키가이샤 각성 상태 판정 모델 생성 장치, 각성 상태 판정 장치, 경고 장치, 차량, 각성 상태 판정 모델 생성 방법, 각성 상태 판정 방법, 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체, 및 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체
JP5691967B2 (ja) * 2011-09-22 2015-04-01 株式会社デンソー 眠気予測装置
KR20150066308A (ko) * 2013-12-06 2015-06-16 한국전자통신연구원 운전자 운행 상태 판단 장치 및 그 방법
KR20160104245A (ko) 2015-02-26 2016-09-05 윤재빈 운전자의 졸음운전을 방지하는 알고리즘

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101078466B1 (ko) 2007-01-19 2011-10-31 아사히 가세이 가부시키가이샤 각성 상태 판정 모델 생성 장치, 각성 상태 판정 장치, 경고 장치, 차량, 각성 상태 판정 모델 생성 방법, 각성 상태 판정 방법, 각성 상태 판정 모델 생성 프로그램을 기록한 컴퓨터 판독 가능 기록매체, 및 각성 상태 판정 프로그램을 기록한 컴퓨터 판독 가능 기록매체
KR20110076745A (ko) * 2009-12-28 2011-07-06 한국과학기술원 졸음운전 경고 장치 및 그 방법
JP5691967B2 (ja) * 2011-09-22 2015-04-01 株式会社デンソー 眠気予測装置
KR20150066308A (ko) * 2013-12-06 2015-06-16 한국전자통신연구원 운전자 운행 상태 판단 장치 및 그 방법
KR20160104245A (ko) 2015-02-26 2016-09-05 윤재빈 운전자의 졸음운전을 방지하는 알고리즘

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102403887B1 (ko) * 2020-11-26 2022-05-30 동의대학교 산학협력단 졸음 운전 방지 시스템 및 그 방법
KR20230097274A (ko) * 2021-12-23 2023-07-03 한국자동차연구원 바이노럴 비트를 이용한 자율주행 자동차 사용자의 뇌파 자극 시스템 및 그 방법

Also Published As

Publication number Publication date
KR102045320B1 (ko) 2019-11-15

Similar Documents

Publication Publication Date Title
US11597389B2 (en) Driving cues and coaching
KR102045320B1 (ko) 운전자 상태 모니터링 기반 운전자와 상호 작용을 통한 운전자 졸음 예방 방법 및 시스템
CN111402925B (zh) 语音调节的方法、装置、电子设备、车载系统和可读介质
EP3675121B1 (en) Computer-implemented interaction with a user
US11491994B2 (en) Systems and methods for detecting and dynamically mitigating driver fatigue
US9171450B2 (en) Emergency handling system using informative alarm sound
US20170200369A1 (en) System and method for coordinating v2x and standard vehicles
CN110310618B (zh) 车辆行驶环境声音的处理方法、处理装置和车辆
WO2016131310A1 (zh) 摄像的方法及装置
KR102061320B1 (ko) 머신러닝 기반 멀티채널 차량 통신 시스템 및 방법
CN111845553A (zh) 用于自主交通工具的音频助理模块
JP2011201406A (ja) 車外音提供装置、車外音提供方法およびプログラム
CN110876047A (zh) 车外投影方法、装置、设备和存储介质
EP3646303A1 (en) Lighting system with traffic rerouting functionality
CN113284339A (zh) 车辆信息提醒方法、存储介质及车辆信息提醒系统
CN115273797A (zh) 基于声音的汽车交互方法、系统及存储介质
US20220051156A1 (en) Roadside assistance for autonomous vehicles
CN109955850A (zh) 车辆及其自适应巡航轨迹的记录方法、系统
US20210101484A1 (en) Audible passenger announcements for autonomous vehicle services
RU39435U1 (ru) Интерактивная система видеоконтроля для автомобилей
US11946762B2 (en) Interactive voice navigation
CN117218796A (zh) 疲劳提醒方法、疲劳检测策略信息的生成方法及装置
CN109969179A (zh) 车辆及其车道保持轨迹的记录方法、系统

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E701 Decision to grant or registration of patent right
GRNT Written decision to grant