KR20150139229A - 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치 및 방법 - Google Patents

헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치 및 방법 Download PDF

Info

Publication number
KR20150139229A
KR20150139229A KR1020140067506A KR20140067506A KR20150139229A KR 20150139229 A KR20150139229 A KR 20150139229A KR 1020140067506 A KR1020140067506 A KR 1020140067506A KR 20140067506 A KR20140067506 A KR 20140067506A KR 20150139229 A KR20150139229 A KR 20150139229A
Authority
KR
South Korea
Prior art keywords
driver
drowsiness
display
alarm
drowsy
Prior art date
Application number
KR1020140067506A
Other languages
English (en)
Inventor
김태진
Original Assignee
현대모비스 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대모비스 주식회사 filed Critical 현대모비스 주식회사
Priority to KR1020140067506A priority Critical patent/KR20150139229A/ko
Priority to CN201510094533.5A priority patent/CN105303770A/zh
Publication of KR20150139229A publication Critical patent/KR20150139229A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • G—PHYSICS
    • G02—OPTICS
    • G02B—OPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00—Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/01—Head-up displays
    • G02B27/017—Head mounted
    • G02B2027/0178—Eyeglass type

Abstract

본 발명은 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치 및 방법이다. 본 발명인 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치는 운전자의 상태를 감지하여 운전자의 졸음 여부를 판단하는 운전자 상태감지장치(140); 운전자에 졸음 경보를 행하는 투사 헤드 마운트 디스플레이(110); 상기 투사 헤드 마운트 디스플레이(110)에 오디오, 비디오 및 내비게이션 정보 중 어느 하나 이상을 제공하는 에이브이엔(119); 및 상기 투사 헤드 마운트 디스플레이(110)에 음악, 멀티미디어 데이터 및 내비게이션 정보 중 어느 하나 이상을 제공하는 스마트폰(130);을 포함한다. 본 발명에 따르면 운전자의 졸음 운전 상태로 판단시 소극적으로 운전자에 시각적, 청각적 경고할 뿐만 아니라, 적극적으로 운전자의 대화 유도 또는 운행경로의 강제 변경을 통해 운전자의 상태 개선을 위한 지시를 수행함으로써 운전자의 각성을 유도하고 운전 위험도를 크게 감소시킬 수 있다.

Description

헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치 및 방법{HMD UTILIZING DRIVER'S DROWSINESS WARNING APPARATUS AND METHOD THEREOF}
본 발명은 헤드 마운트 디스플레이(Head Mount Display, HMD)를 활용한 운전자 졸음경보장치 및 방법에 관한 것으로, 보다 상세하게는 운전자의 졸음운전 여부를 감지하여 헤드 마운트 디스플레이를 활용한 경보를 행하는 운전자 졸음경보장치 및 방법에 관한 것이다.
일반적으로, 자동차는 사람에게 이동 편의성 및 시간 효율성을 제공하나, 운전자 부주의로 인해 운전자는 물론 주변인에게 큰 피해를 끼칠 수 있어, 이용에 주의가 필요하다. 따라서, 최근 자동차는 구비된 장치에 의해 운전자 졸음을 감지하면, 경고하여 운전자 부주의로 인한 사고를 방지하고 있다. 종래의 운전자 졸음 경보장치는 크게 핸들의 진동을 통해 운전자에게 위험 경보 하거나, 경고음 출력 또는 음악 재생 등 음향 경보 장치에 한정되었다. 그러나 종래의 운전자 졸음 경보 장치는 운전자에게 소극적으로 경보를 제공할 뿐, 운전자의 상태 개선을 위한 적극적인 지시를 수행하지 못하는 문제점이 있었다.
등록특허공보 제10-1316297호(2013.10.01)
본 발명은 상기와 같은 문제점을 해결하기 위해 안출된 것으로, 본 발명은 운전자의 졸음 운전 상태로 판단시 소극적으로 운전자에 시각적, 청각적 경고할 뿐만 아니라, 적극적으로 운전자의 대화 유도 또는 운행경로의 강제 변경을 통해 운전자의 상태 개선을 위한 지시를 수행하는 것이 목적이다.
상기와 같은 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치는 운전자의 상태를 감지하여 졸음 운전 상태 여부를 판단하는 운전자 상태감지장치(140); 운전자에게 졸음 경보를 하는 안경형태의 투사 헤드 마운트 디스플레이(110); 및 상기 투사 헤드 마운트 디스플레이(110)에 오디오, 비디오 또는 내비게이션 정보 중 어느 하나 이상을 제공하는 에이브이엔(120);을 포함한다.
상기 졸음 경보는 상기 투사 헤드 마운트 디스플레이(110)에 졸음 운전 상태 여부를 표시하는 것을 특징으로 한다.
상기 졸음 경보는 상기 투사 헤드 마운트 디스플레이(110)를 점멸시키는 것을 특징으로 한다.
상기 졸음 경보는 특정 이미지를 상기 투사 헤드 마운트 디스플레이(110)에 표시하는 것을 특징으로 한다.
상기 운전자 상태감지장치(140)는 졸음 운전 상태 정보 취득을 위한 카메라를 포함하는 것을 특징으로 한다.
상기 투사 헤드 마운트 디스플레이(110)에 음악, 멀티미디어 데이터 또는 내비게이션 정보 중 어느 하나 이상을 제공하는 스마트폰(130);을 포함하는 것을 특징으로 한다.
상기 투사 헤드 마운트 디스플레이(110)는 일 측에 디스플레이 창(113), 마이크(112), 스피커(114) 또는 진동모터(111) 중 어느 하나 이상을 포함하는 것을 특징으로 한다.
본 발명의 또 다른 측면에 따르면, 헤드 마운트 디스플레이를 활용한 운전자 졸음경보방법은 카메라를 이용해서 운전자의 눈꺼풀의 각도를 측정하여 졸음 운전 상태 여부의 판단 기준으로 사용한다.
상기 판단 기준은 소정의 측정시간 대비 운전자가 눈을 감은 누적시간의 비(%)로 나타낸 하기의 PERCLOS(Percentage Of Eye Closure)값인 것을 특징으로 한다.
Figure pat00001
본 발명의 또 다른 측면에 따르면, 헤드 마운트 디스플레이를 활용한 운전자 졸음경보방법은 운전자의 졸음 운전 상태 정보를 획득하는 단계(S101); 상기 획득된 운전자의 졸음 운전 상태 정보를 이용하여 소정의 측정시간 대비 운전자가 눈을 감은 누적시간의 비(%)로 나타낸 하기의 PERCLOS(Percentage Of Eye Closure)값을 계산하는 단계(S102);
Figure pat00002
졸음 운전 상태 여부의 판단 기준인 상기 PERCLOS 값과 기 설정된 기준값을 비교하여 졸음 운전 상태 여부를 판단하는 단계(S103); 졸음 운전 상태로 판단되면 투사 헤드 마운트 디스플레이(110)를 활용하여 운전자에게 1차 졸음 경보를 하는 단계(S104);를 포함한다.
상기 정보를 획득하는 단계(S101)는 카메라를 이용해서 운전자의 눈꺼풀의 각도를 측정하여 소정의 측정시간 대비 운전자가 눈을 감은 누적시간을 산출하는 것을 특징으로 한다.
상기 판단하는 단계(S103)는 상기 PERCLOS 값이 기 설정된 기준값 이상이면 졸음 운전 상태로 판단하고, 상기 PERCLOS 값이 기 설정된 기준값 미만이면 졸음 운전 상태가 아닌 것으로 판단하는 것을 특징으로 한다.
상기 1차 졸음 경보를 하는 단계(S104)는 디스플레이 창(113)을 점멸하는 점멸단계(S201);를 포함하는 것을 특징으로 한다.
상기 1차 졸음 경보를 하는 단계(S104)는 진동 모터(111)를 이용하여 진동 알림을 하는 제 1 진동 알림 단계(S202);를 포함하는 것을 특징으로 한다.
상기 1차 졸음 경보를 하는 단계(S104)는 스피커(114)를 통해 경보음 또는 음악 중 어느 하나 이상을 재생하는 재생단계(S203);를 포함하는 것을 특징으로 한다.
상기 1차 졸음 경보를 하는 단계(S104) 후 상기 졸음 운전 상태 정보를 재 획득하고 상기 PERCLOS 값을 재계산하며, 재계산된 PERCLOS 값과 기 설정된 기준값을 비교하여 운전자의 각성 상태로의 회복 여부를 판단하는 1차 회복 판단 단계(S105);를 포함하는 것을 특징으로 한다.
상기 1차 회복 판단 단계(S105)에서 운전자가 각성 상태를 회복하지 못한 것으로 판단한 경우, 상기 투사 헤드 마운트 디스플레이를 활용하여 2차 졸음 경보를 하는 단계(S106);를 포함하는 것을 특징으로 한다.
상기 2차 졸음 경보를 하는 단계(S106)는 디스플레이 창(113)에 특정 이미지를 출력하는 단계(S301);를 포함하는 것을 특징으로 한다.
상기 2차 졸음 경보를 하는 단계(S106)는 진동 모터(111)를 이용하여 진동 알림을 하는 제 2 진동 알림 단계(S302);를 포함하는 것을 특징으로 한다.
상기 2차 졸음 경보를 하는 단계(S106)는 운전자와 음성인식기능을 갖춘 인공지능의 대화를 유도하는 단계(S303);를 포함하는 것을 특징으로 한다.
상기 대화를 유도하는 단계(S303)는 상기 음성인식기능을 갖춘 인공지능이 상기 운전자에게 질문하는 단계(S311);를 포함하는 것을 특징으로 한다.
상기 대화를 유도하는 단계(S303)는 상기 질문하는 단계(S311) 후 상기 운전자의 답변을 인식하는 단계(S321);를 포함하는 것을 특징으로 한다.
상기 대화를 유도하는 단계(S303)는 상기 답변을 인식하는 단계(S321) 후 운전자의 답변이 틀린 경우 운전자에게 추가 질문을 하는 단계(S331);를 포함하는 것을 특징으로 한다.
상기 2차 졸음 경보를 하는 단계(S106) 후, 상기 졸음 운전 상태 정보를 재 획득하고 상기 PERCLOS 값을 재계산하며, 재계산된 PERCLOS 값과 기 설정된 기준값을 비교하여 운전자의 각성 상태로의 회복 여부를 판단하는 2차 회복 판단 단계(S107);를 포함하는 것을 특징으로 한다.
상기 2차 회복 판단 단계(S107)에서 운전자가 각성 상태를 회복하지 못한 것으로 판단한 경우, 상기 투사 헤드 마운트 디스플레이를 활용하여 3차 졸음 경보를 하는 단계(S108);를 포함하는 것을 특징으로 한다.
상기 3차 졸음 경보를 하는 단계(S108)는 디스플레이 창(113)에 전방 주시를 유도하는 패턴을 표시하는 단계(S401);를 포함하는 것을 특징으로 한다.
상기 3차 졸음 경보를 하는 단계(S108)는 스마트폰(130)을 이용하여 기 설정된 대상에게 전화를 연결하는 단계(S402);를 포함하는 것을 특징으로 한다.
상기 3차 졸음 경보를 하는 단계(S108) 후 상기 졸음 운전 상태 정보를 재 획득하고 상기 PERCLOS 값을 재계산하며, 재계산된 PERCLOS 값과 기 설정된 기준값을 비교하여 운전자의 각성 상태로의 회복 여부를 판단하는 3차 회복 판단 단계(S109);를 포함하는 것을 특징으로 한다.
상기 3차 회복 판단 단계(S108)에서 상기 운전자가 각성 상태를 회복하지 못한 것으로 판단한 경우, 상기 투사 헤드 마운트 디스플레이를 활용하여 4차 졸음 경보를 하는 단계(S110);를 포함하는 것을 특징으로 한다.
상기 4차 졸음 경보를 하는 단계(S110)는 디스플레이 창(113)에 휴식 필요 아이콘을 표시하는 단계(S501);를 포함하는 것을 특징으로 한다.
상기 4차 졸음 경보를 하는 단계(S110)는 상기 휴식 필요 아이콘 표시 단계(S501) 후 상기 에이브이엔(119)의 내비게이션에서 운행경로를 휴게소 또는 쉼터로 변경하는 운행 경로 변경 단계(S502);를 포함하는 것을 특징으로 한다.
상기 4차 졸음 경보를 하는 단계(S110)는 상기 운행 경로 변경 단계(S502) 후 상기 디스플레이 창(113)에 변경된 운행 경로를 표시하고, 스피커(114)에서 변경된 운행 경로를 안내하는 운행 경로 안내 단계(S503);를 포함하는 것을 특징으로 한다.
상기 4차 졸음 경보를 하는 단계(S110) 후 운전자가 변경된 운행 경로를 취소하는 경우 4차 졸음 경보를 중지하는 단계(S111);를 포함하는 것을 특징으로 한다.
상기에서 살펴본 바와 같이, 본 발명에 따르면 운전자의 졸음 운전 상태로 판단시 소극적으로 운전자에 시각적, 청각적 경고할 뿐만 아니라, 적극적으로 운전자의 대화 유도 또는 운행경로의 강제 변경을 통해 운전자의 상태 개선을 위한 지시를 수행함으로써 운전자의 각성을 유도하고 운전 위험도를 크게 감소시킬 수 있다.
도 1은 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 장치를 개략적으로 도시한 개념도이다.
도 2는 투사 헤드 마운트 디스플레이의 사시도이다.
도 3은 투사 헤드 마운트 디스플레이의 디스플레이 창에 표시되는 이미지의 예시도이다.
도 4는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 장치의 연동을 보여주는 개념도이다.
도 5는 운전자 상태 감지 장치의 개념도이다.
도 6은 헤드 마운트 디스플레이를 활용한 운전자 졸음경보방법의 순서도이다.
도 7은 4차 졸음 경보 단계(S110) 및 4차 졸음 경보 중지 단계(S111)의 순서도이다.
도 8은 음성 인식 기능을 갖는 인공 지능과 대화를 유도하는 수단을 설명하기 위한 순서도이다.
본 명세서 및 청구범위에서 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정되어서는 아니 되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다. 따라서, 본 명세서에 기재된 실시 예와 도면에 도시된 구성은 본 발명의 가장 바람직한 실시 예에 불과할 뿐이고 본 발명의 기술적 사상을 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형 예들이 있을 수 있음을 이해하여야 한다. 또한, 본 발명의 요지를 불필요하게 흐릴 수 있는 공지 기능 및 구성에 대한 상세한 설명은 생략한다. 이하 본 발명의 바람직한 실시 예를 첨부된 도면을 참조하여 상세히 설명하기로 한다.
도 1은 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 장치를 개략적으로 도시한 개념도이다. 도 1을 참조하면, 본 발명의 일 실시 예에 따른 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치는 운전자 상태감지장치(140), 투사 헤드 마운트 디스플레이(Head Mount Display, 110), 에이브이엔(AVN, 120), 스마트폰(130)을 포함한다. 운전자 상태감지장치(140)는 운전자의 상태를 감지하여 졸음 운전 상태 여부를 판단한다. 투사 헤드 마운트 디스플레이(110)는 상기 운전자 상태감지장치(140)에서 졸음 운전 상태로 판단시 운전자에게 졸음 경보를 한다. 에이브이엔(120)은 상기 투사 헤드 마운트 디스플레이(110)에 오디오, 비디오 및 내비게이션 정보 중 어느 하나 이상을 제공한다. 스마트폰(130)은 상기 투사 헤드 마운트 디스플레이(110)에 음악, 멀티미디어 데이터 및 내비게이션 정보 중 어느 하나 이상을 제공한다.
도 2는 투사 헤드 마운트 디스플레이의 사시도이다. 도 2를 참조하면 상기 투사 헤드 마운트 디스플레이(110)는 안경형태이다. 안경형태는 운전자의 착용이 용이하고, 운전자의 근거리에서 시각, 청각 또는 촉각에 의한 졸음경보를 수행함에 유리하다. 상기 투사 헤드 마운트 디스플레이(110)는 일 측에 상기 디스플레이 창(113), 마이크(112), 스피커(114) 및 진동모터(111)가 일체형으로 장착된다. 상기 스피커(114)는 운전자에게 경보음 또는 음악을 크게 재생하여 운전자의 각성을 유도하거나, 음성 인식 기능을 갖는 인공지능과의 대화를 유도하여 운전자의 주의를 환기시킨다. 또한, 상기 진동모터(111)는 졸음운전으로 판단시 진동하여 운전자의 각성을 유도하는 기능을 한다.
도 3은 투사 헤드 마운트 디스플레이의 디스플레이 창에 표시되는 이미지의 예시도이다. 도 3을 참조하면 상기 졸음 경보는 상기 투사 헤드 마운트 디스플레이의 상기 디스플레이 창(113)에 운전자의 졸음 운전 상태 여부를 표시하는 것을 특징으로 한다. 이에 따라 운전자는 본인의 상태를 인지하고, 휴식을 취함으로써 졸음운전을 방지할 수 있다. 또한, 상기 졸음 경보는 상기 투사 헤드 마운트 디스플레이의 상기 디스플레이 창(113)을 점멸시킴으로써, 뇌에 긴장감을 주며, 각성을 유도한다. 이 경우 운전자의 각성을 유도하기 위해 상기 디스플레이 창(113)을 붉은 색으로 점멸시키는 것이 바람직하다. 또한, 상기 졸음 경보는 상기 투사 헤드 마운트 디스플레이의 상기 디스플레이 창(113)에 운전자를 각성시킬 수 있는 특정 이미지를 표시한다. 상기 특정 이미지에는 운전자의 주위를 환기시키고, 뇌를 각성시킬 수 있는 사진 또는 가족 사진 등을 포함한다. 상기 특정 이미지는 상기 스마트폰(130)으로부터 제공받는 멀티미디어 데이터를 포함할 수 있다. 또한, 상기 졸음 경보는 상기 투사 헤드 마운트 디스플레이의 상기 디스플레이 창(113)에 상기 운전자의 시야 방향에서 차량 진행 전방을 가리키는 표시를 투사할 수 있다. 상기 표시는 화살표인 것이 바람직하다. 시야의 방향에 따라 화살표의 방향이 계속 바뀌고, 운전자의 시야가 전방을 향하게 되면 특정 아이콘을 표시함으로써 약간의 게임성을 추가하여 운전자로 하여금 흥미를 유발하여 각성을 유도하기 위함이다. 또한, 상기 졸음 경보는 상기 디스플레이 창(113)에 휴식 필요 아이콘을 표시하거나, 상기 에이브이엔(120)에서 휴게소 또는 쉼터로 운행 경로를 강제로 변경한 경우 상기 디스플레이 창(113)에 변경된 내비게이션 정보를 표시할 수 있다. 운전자에 휴식을 취하도록 권유하거나, 운전자의 휴식을 강제하여 졸음운전을 방지하기 위함이다. 상기 투사 헤드 마운트 디스플레이(110)는 상기 스피커(114)를 통해 운전자에게 경보음 또는 음악을 출력하는 수단 또는 상기 스피커(114)와 상기 마이크(112)를 이용하여 음성 인식 기능을 갖는 인공지능과 대화를 유도하는 수단을 포함할 수 있다.
도 4는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 장치의 연동을 보여주는 개념도이다. 도 4를 참조하면 상기 에이브이엔(120)은 상기 운전자 상태감지장치(140)와 CAN 네트워크로 연결될 수 있다. 또한, 상기 에이브이엔(120)은 상기 투사 헤드 마운트 디스플레이(110) 및 상기 스마트폰(130)과 무선으로 연결될 수 있다. 상기 에이브이엔(120)과 상기 운전자 상태감지장치(140), 상기 투사 헤드 마운트 디스플레이(110) 및 상기 스마트폰(130)은 서로 연동 됨으로써 유기적으로 작동하여 졸음운전을 방지하고 운전자의 안전을 보장할 수 있다. 상기 스마트폰(130)은 상기 운전자 상태감지장치(140)에서 졸음경보 요청이 있는 경우, 기 설정된 대상에게 전화를 연결할 수 있다. 이는 전화 통화를 통해 운전자의 각성을 유도하거나 통화 상대방이 운전자에게 휴식을 취하도록 권유하게 하기 위함이다. 상기 미리 설정된 대상은 가족 또는 친구를 포함한다.
도 5는 본 발명의 또 다른 실시 예에 따른 운전자 상태 감지 장치의 개념도이다. 도 5를 참고하면 상기 운전자 상태감지장치(140)는 획득부(141), 제어부(142), 메모리(143)를 포함할 수 있다. 상기 획득부(141)는 상기 운전자의 졸음 운전 상태 정보를 획득한다. 상기 획득부(141)는 차량 소정 위치에 장착된 카메라를 통해 운전자의 눈 영역 영상을 수신하여 운전자의 졸음 운전 상태 정보를 획득할 수 있다. 카메라는 주간 및 야간에 영상을 기록할 수 있도록 근적외선 LED(Near Infrared LED)인 것이 바람직하다. 운전자의 졸음 운전 상태 정보는 소정의 측정시간 동안 운전자가 눈을 감은 누적시간의 측정값을 포함한다. 상기 제어부(142)는 상기 운전자의 졸음 운전 상태 정보를 이용하여 졸음 운전 상태 여부를 판단한다. 상기 제어부(142)에서 졸음 운전 상태로 판단한 경우 상기 에이브이엔(120)에 졸음 경보를 요청할 수 있고, 졸음 경보 요청 신호에 따라 상기 투사 헤드 마운트 디스플레이(110), 상기 에이브이엔(120) 및 상기 스마트폰(130) 중 어느 하나 이상에서 운전자에게 졸음 경보를 할 수 있다. 상기 제어부(142)는 하기의 PERCLOS(Percentage Of Eye Closure) 값을 계산할 수 있다.
Figure pat00003
상기 PERCLOS(Percentage Of Eye Closure)값은 소정의 측정시간 대비 운전자가 눈을 감은 누적시간의 비(%)로 나타낸 것으로서, 운전자의 졸음 운전 상태 여부의 판단 기준이 된다. 상기 제어부(142)는 기 설정된 기준값을 기준으로 상기 PERLCOS 값에 따라 졸음 운전 상태 여부를 판단할 수 있다. 즉, 상기 PERLCOS 값이 기 설정된 기준값 이상이면 졸음 운전 상태인 것으로 판단하고, 상기 PERLCOS 값이 기 설정된 기준값 미만이면 졸음 운전 상태가 아닌 것으로 판단할 수 있다. 기 설정된 기준값은 다수의 운전자에 대한 실험에 따라 설정될 수 있다.
도 6은 본 발명의 또 다른 실시 예에 따른 헤드 마운트 디스플레이를 활용한 운전자 졸음경보방법의 순서도이고, 도 7은 본 발명의 또 다른 실시 예에 따른 4차 졸음 경보 단계(S110) 및 4차 졸음 경보 중지 단계(S111)의 순서도이다. 도 6 및 도 7을 참조하면 본 발명의 또 다른 실시 예에 따른 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법은 정보 획득 단계(S101)에서 상기 정보를 획득하는 단계(S101)는 카메라를 이용해서 운전자의 눈꺼풀의 각도를 측정하여 소정의 측정시간 대비 운전자가 눈을 감은 누적시간을 산출하여 운전자의 졸음 운전 상태 정보를 획득한다. 상기 정보 획득 단계(S101)는 차량 소정 위치에 장착된 카메라를 통해 운전자의 눈 영역 영상을 수신하여 운전자의 졸음 운전 상태 정보를 획득할 수 있다. 카메라는 주간 및 야간에 영상을 기록할 수 있도록 근적외선 LED(Near Infrared LED)를 포함할 수 있다. 상기 눈 영역 영상으로부터 운전자의 양 눈꺼풀의 각도의 합이 소정의 기준값 이하인 경우 운전자가 눈을 감은 것으로 판단하고 눈을 감은 시간을 졸음 운전 상태 정보로 획득한다.
상기 계산단계(S102)에서는 상기 획득된 운전자의 졸음 운전 상태 정보를 이용하여 소정의 측정시간 대비 운전자가 눈을 감은 누적시간의 비(%)로 나타낸 하기의 PERCLOS(Percentage Of Eye Closure)값을 계산할 수 있다.
Figure pat00004
상기 판단 단계(S103)에서는 졸음 운전 상태 여부의 판단 기준인 상기 PERCLOS 값과 기 설정된 기준값을 비교하여 졸음 운전 상태 여부를 판단하고, 상기 PERLCOS 값이 기 설정된 기준값 이상이면 졸음 운전 상태로 판단하며, 상기 PERLCOS 값이 기 설정된 기준값 미만이면 졸음 운전 상태가 아닌 것으로 판단하는 것을 특징으로 한다.
1차 졸음 경보 단계(S104)에서는 상기 운전자의 상태가 졸음 운전 상태로 판단되면 상기 투사 헤드 마운트 디스플레이를 활용하여 상기 운전자에게 1차 졸음 경보를 할 수 있다. 상기 1차 졸음 경보 단계(S104)는 점멸단계(S191), 제 1 진동 알림 단계(S192), 재생단계(S193) 중 어느 하나 이상을 포함할 수 있다. 상기 점멸단계(S191)에서는 상기 투사 헤드 마운트 디스플레이의 상기 디스플레이 창(113)의 전체 화면을 점멸할 수 있다. 이 경우 운전자의 각성을 유도하기 위해, 상기 디스플레이 창(113)의 전체 화면을 붉은 색으로 점멸하는 것이 바람직하다. 상기 제 1 진동 알림 단계(S192)에서는 상기 투사 헤드 마운트 디스플레이의 진동 모터(111)를 이용하여 진동 알림을 할 수 있다. 상기 재생 단계(S193)에서는 상기 투사 헤드 마운트 디스플레이의 스피커(114)를 통해 경보음 및 음악 중 어느 하나 이상을 재생할 수 있다.
상기 1차 졸음 경보를 하는 단계(S104) 후 상기 졸음 운전 상태 정보를 재 획득하고 상기 PERCLOS 값을 재계산하며, 재계산된 PERCLOS 값과 기 설정된 기준값을 비교하여 운전자의 각성 상태로의 회복 여부를 판단할 수 있다. 상기 1차 회복 판단 단계(S105)에서 상기 운전자가 각성 상태를 회복하지 못한 것으로 판단한 경우, 2차 졸음 경보 단계(S106)에서 상기 투사 헤드 마운트 디스플레이를 활용하여 2차 졸음 경보를 할 수 있다. 상기 2차 졸음 경보 단계(S106)에는 이미지 출력 단계(S301), 제 2 진동 알림 단계(S302), 대화유도단계(S303) 중 어느 하나 이상을 포함할 수 있다. 상기 이미지 출력 단계(S301)는 상기 투사 헤드 마운트 디스플레이의 상기 디스플레이 창(113)에 특정 이미지를 출력할 수 있다. 상기 특정 이미지에는 운전자의 주위를 환기시키고, 뇌를 각성시킬 수 있는 영상 또는 가족 사진 등을 포함한다. 상기 특정 이미지는 상기 스마트폰(130)으로부터 제공받는 멀티미디어 데이터에 포함될 수 있다. 제 2 진동 알림 단계(S302)는 상기 투사 헤드 마운트 디스플레이의 진동 모터(111)를 이용하여 진동 알림을 할 수 있다. 이 경우 제 2 진동 알림 단계(S302)는 상기 제 1 진동 알림 단계(S192)의 2배 내지 4배의 강도로 진동 알림을 하는 것이 바람직하다.
상기 대화유도단계(S303)는 상기 투사 헤드 마운트 디스플레이의 스피커(114) 및 마이크(112)를 이용하여 상기 운전자와 상기 음성인식기능을 갖춘 인공지능과의 대화를 유도할 수 있다. 상기 대화유도단계(S303)는 질문단계(S311), 답변인식단계(S321) 및 추가질문을 하는 단계(S331)를 포함한다. 상기 질문단계(S311)에서는 상기 음성인식기능을 갖춘 인공지능이 상기 운전자에게 질문을 할 수 있다. 상기 답변인식단계(S321)에서는 상기 인공지능이 상기 질문단계(S311)의 질문에 대한 상기 운전자의 음성답변을 인식할 수 있다. 상기 추가질문 단계(S331)에서는 상기 인공지능이 상기 답변인식단계(S321) 후 운전자의 답변이 틀린 경우 운전자에게 추가 질문을 할 수 있다.
2차 회복 판단 단계(S107)에서는 상기 2차 졸음 경보 후, 상기 졸음 운전 상태 정보를 재획득하고 상기 PERCLOS 값을 재계산하며, 재계산된 PERCLOS 값과 기 설정된 기준값을 비교하여 운전자의 각성 상태로의 회복 여부를 판단할 수 있다. 3차 졸음 경보 단계(S108)에서는 상기 2차 회복 판단 단계에서 운전자가 각성 상태를 회복하지 못한 것으로 판단한 경우, 상기 투사 헤드 마운트 디스플레이를 활용하여 3차 졸음 경보를 할 수 있다. 상기 3차 졸음 경보 단계(S108)는 패턴 표시 단계(S401), 전화 연결 단계(S402)를 포함할 수 있다. 상기 패턴 표시 단계(S401)는 상기 투사 헤드 마운트 디스플레이의 상기 디스플레이 창(113)에 전방 주시를 유도하는 패턴을 표시할 수 있다. 이 경우 화살표 형태의 패턴을 표시하는 것이 바람직하다. 시야의 방향에 따라 화살표의 방향이 계속 바뀌고, 운전자의 시야가 전방을 향하게 되면 특정 아이콘을 표시함으로써 약간의 게임성을 추가하여 운전자로 하여금 흥미를 유발하여 각성을 유도하기 위함이다. 상기 전화 연결 단계(S402)는 상기 스마트폰(130)을 이용하여 기 설정된 대상에게 전화를 연결하고, 상기 스마트폰(130)과 무선으로 연결된 상기 투사 헤드 마운트 디스플레이의 스피커(114) 및 마이크(112)를 이용하여 상기 운전자의 통화를 유도할 수 있다.
3차 회복 판단 단계(S109)에서는 상기 3차 졸음 경보 후, 상기 PERCLOS 값을 계산하고 기 설정된 기준값과 비교하여 운전자의 각성 상태로의 회복 여부를 판단할 수 있다. 4차 졸음 경보 단계(S110)에서는 상기 3차 회복 판단 단계에서 상기 운전자가 각성 상태를 회복하지 못한 것으로 판단한 경우, 상기 투사 헤드 마운트 디스플레이를 활용하여 4차 졸음 경보를 할 수 있다. 상기 4차 졸음 경보 단계(S110)는 휴식 필요 아이콘 표시 단계(S501), 운행 경로 변경 단계(S502), 운행 경로 안내 단계(S503)를 포함할 수 있다. 상기 휴식 필요 아이콘 표시 단계(S501)에서는 상기 투사 헤드 마운트 디스플레이의 상기 디스플레이 창(113)에 휴식 필요 아이콘을 표시할 수 있다. 상기 운행 경로 변경 단계(S502)에서는 상기 휴식 필요 아이콘 표시 단계(S501) 후, 상기 에이브이엔(119)의 내비게이션에서 운행경로를 휴게소 또는 쉼터로 변경할 수 있다. 상기 운행 경로 안내 단계(S503)에서는 상기 운행 경로 변경 단계(S502) 후, 상기 투사 헤드 마운트 디스플레이의 상기 디스플레이 창(113)에 변경된 운행 경로를 표시하고, 상기 투사 헤드 마운트 디스플레이의 상기 스피커(114)에서 변경된 운행 경로를 안내할 수 있다. 상기 디스플레이 창에 휴식 필요 아이콘을 표시하여 운전자로 하여금 휴식이 필요하다는 상황을 인식시키고, 진행 경로 상의 고속도로 휴게소 또는 쉼터로 내비게이션 정보를 수정함으로써 운전자의 휴식을 강제로 유도하기 위함이다. 4차 졸음 경보 중지 단계(S111)는 상기 4차 졸음 경보 단계 후, 운전자가 상기 변경된 운행 경로를 취소하는 경우 4차 졸음 경보를 중지한다. 운전자가 휴식이 불필요하다고 판단시 변경된 운행 경로를 취소하고, 기존 경로로 운행 경로를 수정하도록 하는 과정을 통해 운전자를 각성시키기 위함이다.
도 8은 음성 인식 기능을 갖는 인공 지능과 대화를 유도하는 대화유도단계(S303)의 순서도이다. 도 8을 참조하면 상기 대화유도단계(S303)는 질문단계(S311), 답변인식단계(S321) 및 추가질문 단계(S331)를 포함할 수 있다. 상기 질문단계(S311)에서는 상기 음성인식기능을 갖춘 인공지능이 상기 운전자에게 질문을 할 수 있다. 상기 답변인식단계(S321)에서는 상기 인공지능이 상기 질문단계(S311)의 질문에 대한 상기 운전자의 음성답변을 인식할 수 있다. 상기 추가질문 단계(S331)에서는 상기 인공지능이 상기 답변인식단계(S321) 후 운전자의 답변이 틀린 경우 운전자에게 추가 질문을 할 수 있다.
앞서 살펴본 실시 예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진자(이하 '당업자'라 한다)가 본 발명을 용이하게 실시할 수 있도록 하는 바람직한 실시 예일 뿐, 전술한 실시 예 및 첨부한 도면에 한정되는 것은 아니므로 이로 인해 본 발명의 권리범위가 한정되는 것은 아니다. 따라서, 본 발명의 기술적 사상을 벗어나지 않는 범위 내에서 여러 가지 치환, 변형 및 변경이 가능하다는 것이 당업자에게 있어 명백할 것이며, 당업자에 의해 용이하게 변경가능한 부분도 본 발명의 권리범위에 포함됨은 자명하다.
100 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 장치
110 투사 헤드 마운트 디스플레이
111 진동 모터
112 마이크
113 디스플레이 창
114 스피커
119 에이브이엔
130 스마트폰
140 운전자 상태 감지 장치
141 획득부
142 제어부
143 메모리

Claims (33)

  1. 운전자의 상태를 감지하여 졸음 운전 상태 여부를 판단하는 운전자 상태감지장치(140);
    운전자에게 졸음 경보를 하는 안경형태의 투사 헤드 마운트 디스플레이(110); 및
    상기 투사 헤드 마운트 디스플레이(110)에 오디오, 비디오 또는 내비게이션 정보 중 어느 하나 이상을 제공하는 에이브이엔(120);
    을 포함하는 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치.
  2. 제 1항에 있어서,
    상기 졸음 경보는 상기 투사 헤드 마운트 디스플레이(110)에 졸음 운전 상태 여부를 표시하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치.
  3. 제 1항에 있어서,
    상기 졸음 경보는 상기 투사 헤드 마운트 디스플레이(110)를 점멸시키는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치.
  4. 제 1항에 있어서,
    상기 졸음 경보는 특정 이미지를 상기 투사 헤드 마운트 디스플레이(110)에 표시하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치.
  5. 제 1항에 있어서,
    상기 운전자 상태감지장치(140)는 졸음 운전 상태 정보 취득을 위한 카메라를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치.
  6. 제 1항에 있어서,
    상기 투사 헤드 마운트 디스플레이(110)에 음악, 멀티미디어 데이터 또는 내비게이션 정보 중 어느 하나 이상을 제공하는 스마트폰(130);을 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치.
  7. 제 1항에 있어서,
    상기 투사 헤드 마운트 디스플레이(110)는 일 측에 디스플레이 창(113), 마이크(112), 스피커(114) 또는 진동모터(111) 중 어느 하나 이상을 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치.
  8. 카메라를 이용해서 운전자의 눈꺼풀의 각도를 측정하여 졸음 운전 상태 여부의 판단 기준으로 사용하는 헤드 마운트 디스플레이를 활용한 운전자 졸음경보방법.
  9. 제 8항에 있어서,
    상기 판단 기준은 소정의 측정시간 대비 운전자가 눈을 감은 누적시간의 비(%)로 나타낸 하기의 PERCLOS(Percentage Of Eye Closure)값인 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음경보방법.
    Figure pat00005
  10. 운전자의 졸음 운전 상태 정보를 획득하는 단계(S101);
    상기 획득된 운전자의 졸음 운전 상태 정보를 이용하여 소정의 측정시간 대비 운전자가 눈을 감은 누적시간의 비(%)로 나타낸 하기의 PERCLOS(Percentage Of Eye Closure)값을 계산하는 단계(S102);
    Figure pat00006

    졸음 운전 상태 여부의 판단 기준인 상기 PERCLOS 값과 기 설정된 기준값을 비교하여 졸음 운전 상태 여부를 판단하는 단계(S103);
    졸음 운전 상태로 판단되면 투사 헤드 마운트 디스플레이(110)를 활용하여 운전자에게 1차 졸음 경보를 하는 단계(S104);를 포함하는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법.
  11. 제 10항에 있어서,
    상기 정보를 획득하는 단계(S101)는 카메라를 이용해서 운전자의 눈꺼풀의 각도를 측정하여 소정의 측정시간 대비 운전자가 눈을 감은 누적시간을 산출하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법.
  12. 제 10항에 있어서,
    상기 판단하는 단계(S103)는 상기 PERCLOS 값이 기 설정된 기준값 이상이면 졸음 운전 상태로 판단하고, 상기 PERCLOS 값이 기 설정된 기준값 미만이면 졸음 운전 상태가 아닌 것으로 판단하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음경보방법.
  13. 제 10항에 있어서,
    상기 1차 졸음 경보를 하는 단계(S104)는 디스플레이 창(113)을 점멸하는 점멸단계(S201);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음경보방법.
  14. 제 10항에 있어서,
    상기 1차 졸음 경보를 하는 단계(S104)는 진동 모터(111)를 이용하여 진동 알림을 하는 제 1 진동 알림 단계(S202);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음경보방법.
  15. 제 10항에 있어서,
    상기 1차 졸음 경보를 하는 단계(S104)는 스피커(114)를 통해 경보음 또는 음악 중 어느 하나 이상을 재생하는 재생단계(S203);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음경보방법.
  16. 제 10항에 있어서,
    상기 1차 졸음 경보를 하는 단계(S104) 후 상기 졸음 운전 상태 정보를 재 획득하고 상기 PERCLOS 값을 재계산하며, 재계산된 PERCLOS 값과 기 설정된 기준값을 비교하여 운전자의 각성 상태로의 회복 여부를 판단하는 1차 회복 판단 단계(S105);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음경보방법.
  17. 제 16항에 있어서,
    상기 1차 회복 판단 단계(S105)에서 운전자가 각성 상태를 회복하지 못한 것으로 판단한 경우, 상기 투사 헤드 마운트 디스플레이를 활용하여 2차 졸음 경보를 하는 단계(S106);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음경보방법.
  18. 제 17항에 있어서,
    상기 2차 졸음 경보를 하는 단계(S106)는 디스플레이 창(113)에 특정 이미지를 출력하는 단계(S301);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음경보방법.
  19. 제 17항에 있어서,
    상기 2차 졸음 경보를 하는 단계(S106)는 진동 모터(111)를 이용하여 진동 알림을 하는 제 2 진동 알림 단계(S302);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음경보방법.
  20. 제 17항에 있어서,
    상기 2차 졸음 경보를 하는 단계(S106)는 운전자와 음성인식기능을 갖춘 인공지능의 대화를 유도하는 단계(S303);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법.
  21. 제 20항에 있어서,
    상기 대화를 유도하는 단계(S303)는 상기 음성인식기능을 갖춘 인공지능이 상기 운전자에게 질문하는 단계(S311);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법.
  22. 제 21항에 있어서,
    상기 대화를 유도하는 단계(S303)는 상기 질문하는 단계(S311) 후 상기 운전자의 답변을 인식하는 단계(S321);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법.
  23. 제 22항에 있어서,
    상기 대화를 유도하는 단계(S303)는 상기 답변을 인식하는 단계(S321) 후 운전자의 답변이 틀린 경우 운전자에게 추가 질문을 하는 단계(S331);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법.
  24. 제 17항에 있어서,
    상기 2차 졸음 경보를 하는 단계(S106) 후, 상기 졸음 운전 상태 정보를 재 획득하고 상기 PERCLOS 값을 재계산하며, 재계산된 PERCLOS 값과 기 설정된 기준값을 비교하여 운전자의 각성 상태로의 회복 여부를 판단하는 2차 회복 판단 단계(S107);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법.
  25. 제 24항에 있어서,
    상기 2차 회복 판단 단계(S107)에서 운전자가 각성 상태를 회복하지 못한 것으로 판단한 경우, 상기 투사 헤드 마운트 디스플레이를 활용하여 3차 졸음 경보를 하는 단계(S108);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법.
  26. 제 25항에 있어서,
    상기 3차 졸음 경보를 하는 단계(S108)는 디스플레이 창(113)에 전방 주시를 유도하는 패턴을 표시하는 단계(S401);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법.
  27. 제 25항에 있어서,
    상기 3차 졸음 경보를 하는 단계(S108)는 스마트폰(130)을 이용하여 기 설정된 대상에게 전화를 연결하는 단계(S402);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법.
  28. 제 25항에 있어서,
    상기 3차 졸음 경보를 하는 단계(S108) 후 상기 졸음 운전 상태 정보를 재 획득하고 상기 PERCLOS 값을 재계산하며, 재계산된 PERCLOS 값과 기 설정된 기준값을 비교하여 운전자의 각성 상태로의 회복 여부를 판단하는 3차 회복 판단 단계(S109);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법.
  29. 제 28항에 있어서,
    상기 3차 회복 판단 단계(S108)에서 상기 운전자가 각성 상태를 회복하지 못한 것으로 판단한 경우, 상기 투사 헤드 마운트 디스플레이를 활용하여 4차 졸음 경보를 하는 단계(S110);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법.
  30. 제 29항에 있어서,
    상기 4차 졸음 경보를 하는 단계(S110)는 디스플레이 창(113)에 휴식 필요 아이콘을 표시하는 단계(S501);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법.
  31. 제 30항에 있어서,
    상기 4차 졸음 경보를 하는 단계(S110)는 상기 휴식 필요 아이콘 표시 단계(S501) 후 상기 에이브이엔(119)의 내비게이션에서 운행경로를 휴게소 또는 쉼터로 변경하는 운행 경로 변경 단계(S502);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법.
  32. 제 31항에 있어서,
    상기 4차 졸음 경보를 하는 단계(S110)는 상기 운행 경로 변경 단계(S502) 후 상기 디스플레이 창(113)에 변경된 운행 경로를 표시하고, 스피커(114)에서 변경된 운행 경로를 안내하는 운행 경로 안내 단계(S503);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법.
  33. 제 32항에 있어서,
    상기 4차 졸음 경보를 하는 단계(S110) 후 운전자가 변경된 운행 경로를 취소하는 경우 4차 졸음 경보를 중지하는 단계(S111);를 포함하는 것을 특징으로 하는 헤드 마운트 디스플레이를 활용한 운전자 졸음 경보 방법.
KR1020140067506A 2014-06-03 2014-06-03 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치 및 방법 KR20150139229A (ko)

Priority Applications (2)

Application Number Priority Date Filing Date Title
KR1020140067506A KR20150139229A (ko) 2014-06-03 2014-06-03 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치 및 방법
CN201510094533.5A CN105303770A (zh) 2014-06-03 2015-03-03 利用头戴式显示器的驾驶员瞌睡警报装置及方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140067506A KR20150139229A (ko) 2014-06-03 2014-06-03 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치 및 방법

Publications (1)

Publication Number Publication Date
KR20150139229A true KR20150139229A (ko) 2015-12-11

Family

ID=55020432

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140067506A KR20150139229A (ko) 2014-06-03 2014-06-03 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치 및 방법

Country Status (2)

Country Link
KR (1) KR20150139229A (ko)
CN (1) CN105303770A (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180127670A (ko) 2017-05-22 2018-11-30 (주)동아금속 차량용 헤드 서포트 장치
KR20190095199A (ko) * 2019-07-26 2019-08-14 엘지전자 주식회사 졸음 운전을 방지하기 위한 방법, 시스템 및 차량
KR20190133533A (ko) 2018-05-23 2019-12-03 한민홍 졸음 인식 장치를 이용한 졸음 인식 방법
KR20200006145A (ko) 2020-01-07 2020-01-17 한민홍 졸음 인식 장치 및 방법
KR20200016055A (ko) * 2018-08-06 2020-02-14 호남대학교 산학협력단 지능형 졸음운전 방지 장치
JP2020079827A (ja) * 2018-11-12 2020-05-28 株式会社リコー 表示装置、表示方法、ヘッドアップディスプレイ及びウェアラブルデバイス
KR102159159B1 (ko) * 2019-04-03 2020-09-23 주식회사 에스에이텍 대화형 로봇 및 이를 이용한 긴급 상황 전파 시스템
KR20200135064A (ko) * 2019-05-24 2020-12-02 주식회사 피앤씨솔루션 센서 모듈의 탈착이 가능한 머리 착용형 디스플레이 장치

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106558191A (zh) * 2016-12-16 2017-04-05 天津牧瞳星科技有限公司 一种疲劳驾驶预警眼镜
CN106781281A (zh) * 2016-12-28 2017-05-31 珠海市魅族科技有限公司 一种车辆的提示信息生成方法及车载终端
CN107421522A (zh) * 2017-04-27 2017-12-01 深圳市元征科技股份有限公司 航向显示方法及装置
CN107738621B (zh) * 2017-09-28 2019-09-27 镇江倍斯特曼新材料研究有限公司 一种可灵活变位的汽车导航系统
CN107944355B (zh) * 2017-11-13 2018-08-28 厦门云顶伟业信息技术有限公司 大数据采集和处理方法
CN109087485B (zh) * 2018-08-30 2021-06-08 Oppo广东移动通信有限公司 驾驶提醒方法、装置、智能眼镜及存储介质

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6542081B2 (en) * 1996-08-19 2003-04-01 William C. Torch System and method for monitoring eye movement
CN101466305B (zh) * 2006-06-11 2012-05-30 沃尔沃技术公司 用于确定和分析视觉兴趣位置的方法
CN201429421Y (zh) * 2009-06-25 2010-03-24 江苏新科软件有限公司 助手式车用导航装置
CN201749540U (zh) * 2010-07-26 2011-02-16 华南农业大学 一种疲劳驾驶检测及规范装置
TWI424379B (zh) * 2010-08-23 2014-01-21 Univ Ishou Vehicle anti - drowsiness system and its method
CN101968918B (zh) * 2010-11-01 2012-05-23 庄力可 反馈式疲劳检测系统
DE102011112371A1 (de) * 2011-09-02 2013-03-07 Audi Ag Vorrichtung zur Einstellung wenigstens eines Betriebsparameters wenigstens eines Fahrzeugsystems eines Kraftfahrzeugs
KR101321157B1 (ko) * 2012-08-07 2013-10-23 한양대학교 산학협력단 슬라이딩 구조를 가지는 착용형 디스플레이 장치
CN103000000B (zh) * 2012-11-28 2015-02-11 广东欧珀移动通信有限公司 一种防止疲劳驾驶的方法、装置和一种移动终端
CN203405630U (zh) * 2013-07-10 2014-01-22 北京汽车股份有限公司 车载多媒体眼镜、车载多媒体系统及车辆
CN103745571A (zh) * 2014-02-19 2014-04-23 才越 一种新的多样化的行车疲劳提醒装置

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180127670A (ko) 2017-05-22 2018-11-30 (주)동아금속 차량용 헤드 서포트 장치
KR20190133533A (ko) 2018-05-23 2019-12-03 한민홍 졸음 인식 장치를 이용한 졸음 인식 방법
KR20200016055A (ko) * 2018-08-06 2020-02-14 호남대학교 산학협력단 지능형 졸음운전 방지 장치
JP2020079827A (ja) * 2018-11-12 2020-05-28 株式会社リコー 表示装置、表示方法、ヘッドアップディスプレイ及びウェアラブルデバイス
KR102159159B1 (ko) * 2019-04-03 2020-09-23 주식회사 에스에이텍 대화형 로봇 및 이를 이용한 긴급 상황 전파 시스템
KR20200135064A (ko) * 2019-05-24 2020-12-02 주식회사 피앤씨솔루션 센서 모듈의 탈착이 가능한 머리 착용형 디스플레이 장치
KR20190095199A (ko) * 2019-07-26 2019-08-14 엘지전자 주식회사 졸음 운전을 방지하기 위한 방법, 시스템 및 차량
KR20200006145A (ko) 2020-01-07 2020-01-17 한민홍 졸음 인식 장치 및 방법

Also Published As

Publication number Publication date
CN105303770A (zh) 2016-02-03

Similar Documents

Publication Publication Date Title
KR20150139229A (ko) 헤드 마운트 디스플레이를 활용한 운전자 졸음경보장치 및 방법
US10908677B2 (en) Vehicle system for providing driver feedback in response to an occupant's emotion
JP7299840B2 (ja) 情報処理装置および情報処理方法
KR101386823B1 (ko) 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
US20200216095A1 (en) Vehicle driving assistance apparatus
JP5082834B2 (ja) 脇見検出装置および方法、並びに、プログラム
CN108437999B (zh) 一种注意力辅助系统
US20200247422A1 (en) Inattentive driving suppression system
WO2015008290A2 (en) Method and device for assisting in safe driving of a vehicle
JP6627811B2 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP6928825B2 (ja) 居眠り防止装置、居眠り防止方法、およびプログラム
US11866060B1 (en) Routing or driving systems and methods based on sleep pattern information
JP2017220097A (ja) 運転支援装置
JP2010111275A (ja) 車載用警告装置、警告方法および警告プログラム
CN113331841A (zh) 一种公交车危险系数评定方法、算法盒子及系统
KR20140049897A (ko) 차선 이탈 경고 안경
Chang et al. An implementation of smartphone-based driver assistance system using front and rear camera
JP2005253590A (ja) 運転支援装置
US20180022357A1 (en) Driving recorder system
KR101706142B1 (ko) 차량의 스마트 케어 장치 및 차량의 스마트 케어 방법
JP2021106005A (ja) 電子機器、制御方法及びプログラム
KR20150106986A (ko) 서버기반 졸음감지 시스템 및 그 방법
JP2010100088A (ja) 運転支援システム
Kashevnik et al. Context-based driver support system development: Methodology and case study
TW201538370A (zh) 駕駛防護系統

Legal Events

Date Code Title Description
WITN Application deemed withdrawn, e.g. because no request for examination was filed or no examination fee was paid