KR102433668B1 - 운전자 모니터링 시스템 및 그 방법 - Google Patents

운전자 모니터링 시스템 및 그 방법 Download PDF

Info

Publication number
KR102433668B1
KR102433668B1 KR1020210122332A KR20210122332A KR102433668B1 KR 102433668 B1 KR102433668 B1 KR 102433668B1 KR 1020210122332 A KR1020210122332 A KR 1020210122332A KR 20210122332 A KR20210122332 A KR 20210122332A KR 102433668 B1 KR102433668 B1 KR 102433668B1
Authority
KR
South Korea
Prior art keywords
feature point
driver
change
image
eye
Prior art date
Application number
KR1020210122332A
Other languages
English (en)
Inventor
오은송
Original Assignee
(주)딥인사이트
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by (주)딥인사이트 filed Critical (주)딥인사이트
Application granted granted Critical
Publication of KR102433668B1 publication Critical patent/KR102433668B1/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/10—Processing, recording or transmission of stereoscopic or multi-view image signals
    • H04N13/189—Recording image signals; Reproducing recorded image signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N13/00—Stereoscopic video systems; Multi-view video systems; Details thereof
    • H04N13/20—Image signal generators
    • H04N13/204—Image signal generators using stereoscopic image cameras
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B60W2420/42—

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Signal Processing (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • General Health & Medical Sciences (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Traffic Control Systems (AREA)

Abstract

운전자 모니터링 시스템 및 그 방법이 제공된다. 본 발명의 실시예에 따른 운전자 모니터링 시스템은 운전자 얼굴을 3D 이미지로 획득하는 3D 카메라, 3D 이미지를 저장하는 저장부 및 3D 카메라 및 저장부와 통신적으로 연결되어 제어하는 제어부를 포함한다. 여기서, 제어부는, 3D 카메라로부터 획득한 이미지에서 얼굴의 특징점의 3D 위치를 산출하고, 얼굴 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 졸음 여부를 결정하도록 제어한다.

Description

운전자 모니터링 시스템 및 그 방법{Driver Monitoring System and method thereof}
본 발명은 운전자 모니터링 시스템 및 그 방법에 관한 것으로, 특히, 3D 카메라 이미지를 기반으로 얼굴 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 운전자의 졸음 상태를 정확하고 신속하게 모니터링할 수 있는 운전자 모니터링 시스템 및 그 방법에 관한 것이다.
현재 지속적으로 증가하고 있는 교통사고의 원인은 운전자의 부주의가 높은 비율을 차지한다. 특히, 졸음운전은 운전자의 의식이 낮거나 반응속도가 느린 상태이므로 과속 등의 다른 원인에 비하여 치명도가 높다. 이에 따라 주요 자동차 제조업체들은 차량의 안전운행을 보조하는 기능으로서 졸음 감지 또는 졸음 방지 등의 기능을 부가하고 있다.
한편, 졸음운전 감지 기술은 카메라에 의해 획득한 운전자의 얼굴 이미지를 기반으로 하는 방법이 일반적이다. 이러한 기술은 주로 얼굴의 특징점을 이용하여 운전자의 움직임을 감지함으로써, 졸음 여부를 결정한다.
그러나 종래의 운전자 모니터링 시스템은 스테레오 카메라를 기반으로 하기 때문에 복잡한 연산 및 카메라의 동기화에 따라 모니터링 정확도가 감소하고 결정 소요시간이 증가하는 문제점이 있다. 따라서 신속하면서도 정확하게 운전자의 상태를 파악할 수 있는 시스템의 개발이 요구되고 있다.
10-2019-0035558 A
상기와 같은 종래 기술의 문제점을 해결하기 위해, 본 발명의 일 실시예는 3D 카메라 이미지를 기반으로 얼굴 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 운전자의 졸음 상태를 정확하고 신속하게 모니터링할 수 있는 운전자 모니터링 시스템 및 그 방법을 제공하고자 한다.
위와 같은 과제를 해결하기 위한 본 발명의 일 측면에 따르면, 운전자 얼굴을 3D 이미지로 획득하는 3D 카메라; 상기 3D 이미지를 저장하는 저장부; 및 상기 3D 카메라 및 상기 저장부와 통신적으로 연결되어 제어하는 제어부를 포함하고, 상기 제어부는, 상기 3D 카메라로부터 획득한 이미지에서 얼굴의 특징점의 3D 위치를 산출하고, 상기 얼굴 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 졸음 여부를 결정하도록 제어하는 운전자 모니터링 시스템이 제공된다.
일 실시예에서, 상기 제어부는, 상기 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 눈 특징점의 위치 변화율을 산출하고, 상기 눈 특징점의 위치 변화율이 제1임계값 이상인 상태에서 일정시간 경과하면 졸음 상태로 결정하도록 제어할 수 있다.
일 실시예에서, 상기 제어부는, 상기 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 상기 눈 특징점 사이의 간격을 산출하고, 상기 눈 특징점의 위치 변화율이 제1임계값 이상이며, 상기 눈 특징점 사이의 간격(δ)이 제2임계값 미만인 상태에서 일정시간 경과하면 졸음 상태로 결정하도록 제어할 수 있다.
일 실시예에서, 상기 위치 변화에 대한 기준 위치는 운전 개시후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값일 수 있다.
일 실시예에서, 상기 제어부는 상기 획득한 이미지에 따라 운전자를 식별하고, 해당 운전자별 이미지 정보를 상기 저장부에 저장하도록 제어하며, 상기 위치 변화에 대한 기준 위치는 해당 운전자의 눈 특징점 위치의 누적 평균값일 수 있다.
일 실시예에서, 상기 눈 특징점의 위치 변화율은 변화 속도에 기초하여 산출되고, 상기 제어부는 일정한 위치 변화율이 일정 횟수 발생하면 졸음 상태로 결정하도록 제어할 수 있다.
본 발명의 다른 측면에 따르면, 3D 카메라로 운전자 얼굴의 3D 이미지를 획득하는 단계; 제어부에 의해 3D 이미지에서 얼굴의 특징점의 3D 위치를 산출하는 단계; 및 제어부에 의해 상기 얼굴 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 졸음 여부를 결정하는 단계를 포함하는 운전자 모니터링 방법이 제공된다.
일 실시예에서, 상기 3D 위치를 산출하는 단계는 상기 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 눈 특징점의 위치 변화율을 산출하고, 상기 결정하는 단계는 상기 눈 특징점의 위치 변화율이 제1임계값 이상인 상태에서 일정시간 경과하면 졸음 상태로 결정할 수 있다.
일 실시예에서, 상기 3D 위치를 산출하는 단계는 상기 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 상기 눈 특징점 사이의 간격을 산출하고, 상기 결정하는 단계는 상기 눈 특징점의 위치 변화율이 제1임계값 이상이며, 상기 눈 특징점 사이의 간격(δ)이 제2임계값 미만인 상태에서 일정시간 경과하면 졸음 상태로 결정할 수 있다.
일 실시예에서, 상기 위치 변화에 대한 기준 위치는 운전 개시후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값일 수 있다.
일 실시예에서, 상기 운전자 모니터링 방법은 상기 획득한 이미지에 따라 운전자를 식별하고, 해당 운전자별 이미지 정보를 저장부에 저장하는 단계를 더 포함할 수 있다. 여기서, 상기 위치 변화에 대한 기준 위치는 해당 운전자의 눈 특징점 위치의 누적 평균값일 수 있다.
일 실시예에서, 상기 3D 위치를 산출하는 단계는 변화 속도에 기초하여 상기 눈 특징점의 위치 변화율을 산출하고, 상기 결정하는 단계는 일정한 위치 변화율이 일정 횟수 발생하면 졸음 상태로 결정할 수 있다.
본 발명의 일 실시예에 따른 운전자 모니터링 시스템 및 그 방법은 3D 카메라 이미지를 기반으로 얼굴 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 운전자의 졸음 상태를 결정함으로써, 깊이 정보를 적용하여 얼굴 특징점의 위치 및 위치 변화를 정확하게 산출할 수 있으므로 운전자의 졸음 상태를 정확하게 모니터링할 수 있어 제품의 신뢰성을 향상시킬 수 있다.
또한, 본 발명의 일 실시예에 따른 운전자 모니터링 시스템 및 그 방법은 얼굴 특징점의 3D 좌표를 기반으로 위치 변화를 산출함으로써, 비교적 연산량이 적으므로 운전자의 졸음 상태를 신속하게 모니터링할 수 있어 운전자의 안전 운전을 보장할 수 있다.
도 1은 본 발명의 일 실시예에 따른 운전자 모니터링 시스템이 적용된 차량에서의 운전자의 일예를 나타낸 도면이다.
도 2는 본 발명의 일 실시예에 따른 운전자 모니터링 시스템의 블록도이다.
도 3은 본 발명의 일 실시예에 따른 운전자 모니터링 시스템에서 특징점 산출을 설명하기 위한 측면도이다.
도 4는 본 발명의 일 실시예에 따른 운전자 모니터링 시스템에서 특징점의 위치 변화를 설명하기 위한 측면도이다.
도 5는 본 발명의 일 실시예에 따른 운전자 모니터링 시스템에서 특징점의 위치 변화율을 설명하기 위한 측면도이다.
도 6은 본 발명의 일 실시예에 따른 운전자 모니터링 방법의 순서도이다.
도 7은 본 발명의 일 실시예에 따른 운전자 모니터링 방법에서 제1예의 결정 절차를 나타낸 순서도이다.
도 8은 본 발명의 일 실시예에 따른 운전자 모니터링 방법의 제2예의 결정 절차를 나타낸 순서도이다.
이하, 첨부한 도면을 참고로 하여 본 발명의 실시예에 대하여 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 본 발명은 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다. 도면에서 본 발명을 명확하게 설명하기 위해서 설명과 관계없는 부분은 생략하였으며, 명세서 전체를 통하여 동일 또는 유사한 구성요소에 대해서는 동일한 참조부호를 붙였다.
이하에서는 도면을 참조하여 본 발명의 실시예에 따른 운전자 모니터링 시스템을 보다 상세히 설명하도록 한다. 도 1은 본 발명의 일 실시예에 따른 운전자 모니터링 시스템이 적용된 차량에서의 운전자의 일예를 나타낸 도면이고, 도 2는 본 발명의 일 실시예에 따른 운전자 모니터링 시스템의 블록도이다.
도 1 및 도 2를 참조하면, 본 발명의 일 실시예에 따른 운전자 모니터링 시스템(100)은 3D 카메라(110), 저장부(120) 및 제어부(140)를 포함할 수 있다.
운전자 모니터링 시스템(100)은 운전자의 졸음 여부를 결정하기 위한 것으로, 운전자의 얼굴을 촬영하도록 차량(10) 내에서 운전자의 전방에 구비될 수 있다. 이때, 운전자 모니터링 시스템(100)은 운전자가 전방을 주시하는데 방해가 되지 않는 위치에 구비될 수 있다. 일례로, 운전자 모니터링 시스템(100)은 핸들(11) 또는 그 부근에 구비될 수 있다. 또한, 운전자 모니터링 시스템(100)은 차량(10) 내부의 전면 계기판(12)에 설치될 수 있다.
3D 카메라(110)는 운전자 얼굴을 3D 이미지로 획득할 수 있다. 여기서, 3D 카메라(110)는 2D 이미지에 원근감에 따른 깊이(depth) 정보를 포함하는 이미지를 획득할 수 있다. 일례로, 3D 카메라(110)는 ToF(Time-Of-Flight) 카메라일 수 있다. 여기서, 3D 카메라(110)는 높은 X-Y 해상도를 가질 수 있다.
저장부(120)는 3D 카메라(110)에서 획득된 3D 이미지를 저장할 수 있다. 또한, 저장부(120)는 제어부(140)에서 3D 이미지를 처리한 결과로서, 3D 이미지 내의 얼굴 특징점에 대한 위치 및 위치변화율을 저장할 수 있다.
제어부(140)는 3D 카메라(110) 및 저장부(120)와 통신적으로 연결되어 제어할 수 있다. 일례로, 제어부(140)는 운전자 모니터링 시스템(100)에 내장된 독립적인 컨트롤러일 수 있다. 다른 예로서, 제어부(140)는 차량(10)에 구비된 ECU(Electric Control Unit)일 수 있다. 이 경우, ECU는 제어부(140)에서 수행하는 기능으로서, 후술하는 바와 같은 방법에 대응하는 프로그램이 설치될 수 있다.
제어부(140)는 3D 카메라(110)로부터 획득한 이미지에서 얼굴의 특징점의 3D 위치를 산출하도록 제어할 수 있다. 아울러, 제어부(140)는 산출된 얼굴 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 운전자의 졸음 여부를 판단하도록 제어할 수 있다.
도 3 내지 도 5를 참조하여, 운전자의 졸음 여부 판단을 더 상세하게 설명한다.
도 3은 본 발명의 일 실시예에 따른 운전자 모니터링 시스템에서 특징점 산출을 설명하기 위한 측면도이다.
도 3을 참조하면, 제어부(140)는 3D 카메라(110)에서 획득된 3D 이미지에서 얼굴의 특징점을 산출할 수 있다. 이때, 얼굴의 특징점은 제1특징점으로서 눈꺼풀(A) 및 제2특징점으로서 눈의 하단(B)일 수 있다.
여기서, 제1특징점(A) 및 제2특징점(B)은 3D 좌표로 나타낼 수 있다. 즉, 제1특징점(A) 및 제2특징점(B)은 2D 이미지에 대응하는 X-Y 좌표와 함께 원근에 대응한 깊이를 나타내는 Z 좌표로 나타낼 수 있다.
이때, 제어부(140)는 얼굴 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 졸음 여부를 결정할 수 있다. 여기서, 위치 변화에 대한 기준 위치는 운전 개시후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값일 수 있다. 아울러, 위치 변화에 대한 기준 위치는 해당 운전자의 눈 특징점 위치의 누적 평균값일 수 있다.
일례로, 제어부(140)는 도 4에 도시된 바와 같이, 제1특징점(A)과 제2특징점(B) 사이의 간격, 즉, 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)에 따라 운전자의 졸음 여부를 결정하도록 제어할 수 있다.
다른 예로서, 제어부(140)는 도 5에 도시된 바와 같이, 제1특징점(A)의 위치 또는 제2특징점(B)의 위치의 시간에 따른 변화율을 기초로 운전자의 졸음 여부를 결정하도록 제어할 수 있다.
이에 의해, 본 발명의 일 실시예에 따른 운전자 모니터링 시스템(100)은 깊이 정보를 적용하여 눈 특징점의 위치 및 위치 변화를 정확하게 산출할 수 있으므로 운전자의 졸음 상태를 정확하게 모니터링할 수 있고, 따라서 제품의 신뢰성을 향상시킬 수 있다.
도 4는 본 발명의 일 실시예에 따른 운전자 모니터링 시스템에서 특징점의 위치 변화를 설명하기 위한 측면도이다.
제어부(140)는 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 눈 특징점 사이의 간격(δ)을 산출하도록 제어할 수 있다. 여기서, 눈 특징점은 제1특징점(A) 및 제2특징점(B)을 포함할 수 있다. 즉, 제어부(140)는 제1특징점(A)의 위치와 제2특징점(B) 위치 사이의 간격(δ)을 각 특징점의 3D 좌표를 기반하여 산출하도록 제어할 수 있다.
이에 의해, 본 발명의 일 실시예에 따른 운전자 모니터링 시스템(100)은 3D 좌표 기반으로 비교적 연산량이 적으므로 운전자의 졸음 상태를 신속하게 모니터링할 수 있고 따라서 운전자의 안전 운전을 보장할 수 있다.
제어부(140)는 제1특징점(A)과 제2특징점(B) 사의 간격이 제2임계값 미만이면 졸음 상태로 결정하도록 제어할 수 있다. 도 4에 도시된 바와 같이, 운전자가 눈을 완전히 감는 경우, 제1특징점(A')은 제2특징점(B)으로 이동된다. 이와 같이, 제1특징점(A)과 제2특징점(B) 사이의 간격(δ)이 "0"인 경우, 제어부(140)는 운전자의 졸음 상태로 결정하도록 제어할 수 있다.
이때, 제1특징점(A)은 눈꺼풀에 대응하므로 운전자가 일반적으로 눈꺼풀을 깜박이는 경우와 같이 아주 짧은 시간 동안은 반복적으로 제2특징점(B)과의 간격(δ)이 "0" 또는 매우 작은 값으로 감소한다. 또한, 일반적으로 사람이 졸고 있는 경우에는 눈꺼풀이 거의 감진 상태가 비교적 길어진다.
따라서 제어부(140)는 제1특징점(A)과 제2특징점(B) 사이의 간격(δ)이 제2임계값 미만인 상태에서 일정시간을 경과한 경우에만 졸음 상태로 결정하도록 제어할 수 있다. 여기서, 제2임계값은 정상인 경우의 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)에 대하여 5~10% 이하일 수 있다. 일례로, 정상인 경우의 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)은 차량(10)의 운전 개시 후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값에 기초하여 산출된 간격 값일 수 있다.
다른 예로서, 정상인 경우의 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)은 해당 운전자의 눈 특징점 위치의 누적 평균값에 기초하여 산출된 간격 값일 수 있다. 이때, 제어부(140)는 카메라(130)로부터 획득된 이미지에 따라 운전자를 식별할 수 있다. 또한, 제어부(140)는 식별된 운전자별 이미지 정보를 저장부(120)에 저장하도록 제어할 수 있다.
또한, 일정시간은 졸음 결정을 위한 기준시간으로서 0.1~1.5초 일 수 있다. 여기서, 0.1초 미만 경우, 일반적인 눈 깜박임에 대응하는 것으로 운전자의 졸음 결정에 대하여 오류가 빈번할 수 있다. 반면, 1.5초를 초과하면, 이미 졸음 상태임에 불구하고 졸음 상태를 알람하지 못하여 운전자가 졸음에 대응하지 못해 사고를 초래할 수 있다.
이 경우, 일정시간은 차량의 속도에 따라 결정될 수 있다. 즉, 제어부(140)는 차량(10)이 고속인 경우에는 안전을 위해 졸음 결정을 위한 기준시간을 감소하고, 차량(10)이 저속인 경우에는 정확한 졸음 판정을 위해 기준시간을 증가하도록 제어할 수 있다.
도 5는 본 발명의 일 실시예에 따른 운전자 모니터링 시스템에서 특징점의 위치 변화율을 설명하기 위한 측면도이다.
제어부(140)는 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 눈 특징점의 위치 변화율을 산출하도록 제어할 수 있다. 여기서, 눈 특징점은 제1특징점(A) 또는 제2특징점(B)을 포함할 수 있다. 즉, 제어부(140)는 제1특징점(A) 및 제2특징점(B) 중 어느 하나의 위치 변화율을 각 특징점의 3D 좌표를 기반으로 산출하도록 제어할 수 있다.
제어부(140)는 제1특징점(A) 또는 제2특징점(B)의 위치 변화율이 제2임계값 이상이면 졸음 상태로 결정하도록 제어할 수 있다. 도 5에 도시된 바와 같이, 운전자가 조는 경우, 머리를 앞뒤로 또는 위아래로 흔드는 경우, 제1특징점(A')도 동일하게 앞뒤 또는 위아래로 이동한다. 이하에서, 제1특징점(A)을 예로 하여 설명하지만, 제어부(140)는 제2특징점(B) 또는 이마 등과 같은 얼굴의 다른 특징점을 기반으로 졸음 여부를 결정하도록 제어할 수 있다.
이때, 일반적으로 운전자가 조는 경우, 머리의 흔들림은 일정시간 간격으로 반복된다. 이는 운전자가 특정 행동을 하는 경우와는 차이가 있다. 즉, 운전자가 대화중 단순히 고개를 끄덕이거나 좌우측 사이드 밀러를 보기 위해 고개를 돌리는 행동은 횟수에 제한적이며, 고개를 끄덕이거나 고개를 돌린 후 윈래 위치로 돌아오는 동작에 소요되는 시간이 비교적 짧을 수 있다.
따라서 제어부(140)는 제1특징점(A)의 위치 변화율이 제1임계값 이상인 상태에서 일정시간 경과하면 졸음 상태로 결정하도록 제어할 수 있다. 여기서, 위치 변화율은 시간 경과에 따른 이전 위치에 대한 현재 위치의 변화 정도를 의미한다. 일례로, 위치 변화율은 0.2초당 위치 변화율을 의미한다. 제1임계값은 정상인 경우의 제1특징점(A)의 위치에 대하여 ±5~10% 이상의 위치 변화값일 수 있다. 여기서, 정상인 경우의 제1특징점(A)의 위치는 차량(10)의 운전 개시 후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값에 기초하여 산출된 위치 값일 수 있다. 다른 예로서, 정상인 경우의 제1특징점(A)의 위치는 해당 운전자의 눈 특징점 위치의 누적 평균값에 기초하여 산출된 위치 값일 수 있다.
또한, 위치 변화율은 일정한 크기의 위치 변화에 따른 소요 시간의 변화를 의미할 수 있다. 즉, 반복적으로 고개가 끄덕이는 경우, 위치 변화의 크기는 유사할 수 있지만, 고개가 위로 올라가는 속도보다 아래로 떨어지는 속도가 급격하게 변화할 수 있다. 이때, 제1임계값은 정상적으로 고개를 끄덕이는 경우의 제1특징점(A)의 위치 변화 속도에 대한 5~10% 이상의 속도 변화값일 수 있다. 여기서, 정상적으로 고개를 끄덕이는 경우의 제1특징점(A)의 위치 변화 속도는 차량(10)의 운전 개시후 대화중에 고개를 끄덕이는 경우에 산출된 위치 변화 속도 값일 수 있다.
이때, 일정시간은 졸음 결정을 위한 기준시간으로서 0.5~1.5초 일 수 있다. 여기서, 0.5초 미만 경우, 일반적인 고개의 끄덕임이나 고개의 돌림에 대응하는 것으로 운전자의 졸음 결정에 대하여 오류가 빈번할 수 있다. 반면, 1.5초를 초과하면, 이미 졸음 상태임에 불구하고 졸음 상태를 알람하지 못하여 운전자가 졸음에 대응하지 못해 사고를 초래할 수 있다.
아울러, 일정시간은 횟수로 변경될 수 있다. 즉, 제어부(140)는 제1특징점(A)의 일정한 위치 변화율이 반복적으로 나타낸 횟수를 기반으로 졸음 여부를 결정할 수 있다. 이 경우, 제1임계값은 3회 이상일 수 있다.
또한, 본 발명의 일 실시예에 따른 운전자 모니터링 시스템(100)은 알람부(130)를 더 포함할 수 있다.
알람부(130)는 제어부(140)의 제어에 따라 운전자의 졸음 상태가 결정되면 이를 운전자에게 알람하기 위한 것으로서, 제어부(140)의 제어에 따라 음성 또는 시각적으로 알람할 수 있다.
여기서, 알람부(130)는 졸음 경고를 안내하는 음성을 출력하는 음성출력부일 수 있다. 일례로, 음성출력부는 차량(10)에 구비된 스피커일 수 있다. 이 경우, 운전자 모니터링 시스템(100)은 저장부(120)에 저장된 졸음 경고를 나타내는 음성 신호를 차량(10)의 스피커로 출력할 수 있다. 다른 예로서, 음성출력부는 운전자 모니터링 시스템(100)에 구비된 스피커일 수 있다.
또한, 알람부(130)는 졸음 경고에 대응하는 신호를 디스플레이하는 디스플레이일 수 있다. 일례로, 디스플레이는 차량(10)에 구비된 디스플레이일 수 있다. 이 경우, 운전자 모니터링 시스템(100)은 저장부(120)에 저장된 졸음 경고를 나타내는 이미지 신호를 차량(10)의 디스플레이로 출력할 수 있다. 다른 예로서, 디스플레이는 운전자 모니터링 시스템(100)에 구비된 LED일 수 있다. 이 경우, LED는 졸음 경고를 위해 절멸될 수 있다.
이하, 도 6 내지 도 8을 참조하여 본 발명의 일 실시예에 따른 운전자 모니터링 방법을 설명한다.
도 6은 본 발명의 일 실시예에 따른 운전자 모니터링 방법의 순서도이다.
운전자 모니터링 방법(200)은 3D 이미지를 획득하는 단계(S210), 특징점의 3D 위치를 산출하는 단계(S220) 및 졸음 여부를 결정하는 단계(S230)를 포함할 수 있다.
보다 상세히 설명하면, 도 6에 도시된 바와 같이, 먼저, 운전자 모니터링 시스템(100)은 3D 카메라(110)로 운전자 얼굴의 3D 이미지를 획득한다(단계 S210). 이때, 운전자 모니터링 시스템(100)은 ToF 카메라를 이용하여 2D 이미지에 원근감에 따른 깊이 정보를 포함하는 이미지를 획득할 수 있다.
다음으로, 운전자 모니터링 시스템(100)은 3D 이미지에서 얼굴의 특징점의 3D 위치를 산출한다(단계 S220). 여기서, 얼굴의 특징점은 제1특징점으로서 눈꺼풀(A) 및 제2특징점으로서 눈의 하단(B)일 수 있다.
이때, 제1특징점(A) 및 제2특징점(B)은 3D 좌표로 나타낼 수 있다. 즉, 제1특징점(A) 및 제2특징점(B)은 2D 이미지에 대응하는 X-Y 좌표와 함께 원근에 대응한 깊이를 나타내는 Z 좌표로 나타낼 수 있다.
다음으로, 운전자 모니터링 시스템(100)은 얼굴 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 졸음 여부를 결정한다(단계 S230). 여기서, 위치 변화에 대한 기준 위치는 운전 개시후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값일 수 있다. 아울러, 위치 변화에 대한 기준 위치는 해당 운전자의 눈 특징점 위치의 누적 평균값일 수 있다.
이때, 운전자 모니터링 시스템(100)은 도 7에 도시된 바와 같이, 제1특징점(A)과 제2특징점(B) 사이의 간격, 즉, 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)에 따라 운전자의 졸음 여부를 결정할 수 있다.
또한, 운전자 모니터링 시스템(100)은 도 8에 도시된 바와 같이, 제1특징점(A)의 위치 또는 제2특징점(B)의 위치의 시간에 따른 변화율을 기초로 운전자의 졸음 여부를 결정할 수 있다.
도 7은 본 발명의 일 실시예에 따른 운전자 모니터링 방법에서 제1예의 결정 절차를 나타낸 순서도이다.
제1예의 결정절차(200')는 특징점의 3D 위치 및 간격을 산출하는 단계(S222) 및 졸음 여부를 결정하는 단계(S232~S236)를 포함할 수 있다.
보다 상세히 설명하면, 도 7에 도시된 바와 같이, 먼저, 운전자 모니터링 시스템(100)은 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 눈 특징점 사이의 간격을 산출한다(단계 S222). 여기서, 눈 특징점은 제1특징점(A) 및 제2특징점(B)을 포함할 수 있다. 이때, 운전자 모니터링 시스템(100)은 제1특징점(A)의 위치와 제2특징점(B) 위치 사이의 간격(δ)을 각 특징점의 3D 좌표를 기반하여 산출할 수 있다.
다음으로, 운전자 모니터링 시스템(100)은 눈 특징점 사이의 간격(δ)이 제2임계값 미만인지의 여부를 결정한다(단계 S232). 이때, 운전자 모니터링 시스템(100)은 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)이 제2임계값 미만인지의 여부를 결정할 수 있다. 여기서, 제2임계값은 정상인 경우의 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)에 대하여 5~10% 이하일 수 있다. 일례로, 정상인 경우의 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)은 운전 개시 후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값에 기초하여 산출된 간격 값일 수 있다.
다른 예로서, 정상인 경우의 제1특징점(A)의 위치와 제2특징점(B)의 위치 사이의 간격(δ)은 해당 운전자의 눈 특징점 위치의 누적 평균값에 기초하여 산출된 간격 값일 수 있다. 이때, 운전자 모니터링 시스템(100)은 카메라(130)로부터 획득된 이미지에 따라 운전자를 식별할 수 있다. 또한, 운전자 모니터링 시스템(100)은 식별된 운전자별 이미지 정보를 저장부(120)에 저장할 수 있다.
단계 S232의 결정 결과, 눈 특징점 사이의 간격(δ)이 제2임계값 이상이면, 운전자 모니터링 시스템(100)은 단계 S222로 복귀하여 눈 특징점 사이의 간격(δ) 산출 및 제2임계값과의 비교를 반복해서 수행할 수 있다.
단계 S232의 결정 결과, 눈 특징점 사이의 간격(δ)이 제2임계값 미만이면, 운전자 모니터링 시스템(100)은 일정시간이 경과하는지의 여부를 결정한다(단계 S234). 여기서, 일정시간은 졸음 결정을 위한 기준시간으로서 1.0~1.5초 일 수 있다.
이때, 운전자 모니터링 시스템(100)은 차량의 속도에 따라 일정시간을 결정할 수 있다. 즉, 운전자 모니터링 시스템(100)은 차량(10)이 고속인 경우에는 안전을 위해 졸음 결정을 위한 기준시간을 감소하고, 차량(10)이 저속인 경우에는 정확한 졸음 판정을 위해 기준시간을 증가할 수 있다.
단계 S234의 결정 결과, 눈 특징점 사이의 간격(δ)이 제2임계값 미만인 상태에서 일정시간이 경과하지 않으면, 운전자 모니터링 시스템(100)은 단계 S222로 복귀하여 눈 특징점 사이의 간격(δ) 산출, 제2임계값과의 비교 및 시간경과 체크를 반복해서 수행할 수 있다.
단계 S234의 결정 결과, 눈 특징점 사이의 간격(δ)이 제2임계값 미만인 상태에서 일정시간이 경과하면, 운전자 모니터링 시스템(100)은 운전자의 졸음 상태로 결정한다(S236). 즉, 운전자 모니터링 시스템(100)은 눈 특징점 사이의 간격(δ)이 제2임계값 미만인 상태에서 일정시간 경과하면 졸음 상태로 결정할 수 있다. 아울러, 운전자 모니터링 시스템(100)은 후술하는 바와 같이 눈 특징점의 위치 변화율이 제1임계값 이상이면서, 눈 특징점 사이의 간격(δ)이 제2임계값 미만인 상태에서 일정시간 경과하면 졸음 상태로 결정할 수 있다.
이때, 운전자 모니터링 시스템(100)은 음성 또는 시각적 효과로 졸음 상태를 운전자에게 알람할 수 있다.
도 8은 본 발명의 일 실시예에 따른 운전자 모니터링 방법의 제2예의 결정 절차를 나타낸 순서도이다.
제2예의 결정절차(200")는 특징점의 3D 위치 및 위치 변화율을 산출하는 단계(S224) 및 졸음 여부를 결정하는 단계(S233~S237)를 포함할 수 있다.
보다 상세히 설명하면, 도 8에 도시된 바와 같이, 먼저, 운전자 모니터링 시스템(100)은 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 눈 특징점의 위치 변화율을 산출한다(단계 S224). 여기서, 눈 특징점은 제1특징점(A) 또는 제2특징점(B)을 포함할 수 있다. 이때, 운전자 모니터링 시스템(100)은 제1특징점(A) 및 제2특징점(B) 중 어느 하나의 위치 변화율을 각 특징점의 3D 좌표를 기반으로 산출할 수 있다.
다음으로, 운전자 모니터링 시스템(100)은 눈 특징점의 위치 변화율이 제1임계값 이상인지의 여부를 결정한다(단계 S233). 이때, 운전자 모니터링 시스템(100)은 제1특징점(A)의 위치 변화율이 제1임계값 이상인지의 여부를 결정할 수 있다. 여기서, 제1특징점(A)을 예로 하여 설명하지만, 운전자 모니터링 시스템(100)은 제2특징점(B) 또는 이마 등과 같은 얼굴의 다른 특징점을 기반으로 졸음 여부를 결정할 수 있다.
아울러, 위치 변화율은 시간 경과에 따른 이전 위치에 대한 현재 위치의 변화 정도를 의미한다. 일례로, 위치 변화율은 0.2초당 위치 변화율을 의미한다. 이때, 제1임계값은 정상인 경우의 제1특징점(A)의 위치에 대하여 ±5~10% 이상의 위치 변화값일 수 있다. 여기서, 정상인 경우의 제1특징점(A)의 위치는 차량(10)의 운전 개시 후 일정시간 동안 해당 운전자의 눈 특징점 위치의 평균값에 기초하여 산출된 위치 값일 수 있다. 다른 예로서, 정상인 경우의 제1특징점(A)의 위치는 해당 운전자의 눈 특징점 위치의 누적 평균값에 기초하여 산출된 위치 값일 수 있다.
또한, 위치 변화율은 일정한 크기의 위치 변화에 따른 소요 시간의 변화를 의미할 수 있다. 이때, 제1임계값은 정상으로 고개를 끄덕이는 경우의 제1특징점(A)의 위치 변화 속도에 대한 5~10% 이상의 속도 변화값일 수 있다. 여기서, 정상적으로 고개를 끄덕이는 경우의 제1특징점(A)의 위치 변화 속도는 차량(10)의 운전 개시후 대화중에 고개를 끄덕이는 경우에 산출된 위치 변화 속도 값일 수 있다.
단계 S233의 결정 결과, 눈 특징점의 위치 변화율이 제1임계값 미만이면, 운전자 모니터링 시스템(100)은 단계 S224로 복귀하여 눈 특징점의 위치 변화율 산출 및 제1임계값과의 비교를 반복해서 수행할 수 있다.
단계 S233의 결정 결과, 특징점의 위치 변화율이 제1임계값 이상이면, 운전자 모니터링 시스템(100)은 일정시간이 경과하는지의 여부를 결정한다(단계 S235). 여기서, 일정시간은 졸음 결정을 위한 기준시간으로서 0.5~1.5초 일 수 있다.
이때, 운전자 모니터링 시스템(100)은 일정시간을 횟수로 변경할 수 있다. 즉, 운전자 모니터링 시스템(100)은 제1특징점(A)의 일정한 위치 변화율이 반복적으로 나타낸 횟수를 기반으로 졸음 여부를 결정할 수 있다. 이 경우, 제1임계값은 3회 이상일 수 있다.
단계 S235의 결정 결과, 특징점의 위치 변화율이 제1임계값 이상인 상태에서 일정시간 경과하지 않으면, 운전자 모니터링 시스템(100)은 단계 S224로 복귀하여 눈 특징점의 위치의 변화율 산출, 제1임계값과의 비교 및 시간경과(또는 횟수) 체크를 반복해서 수행할 수 있다.
단계 S235의 결정 결과, 특징점의 위치 변화율이 제1임계값 이상인 상태에서 일정시간 경과하면, 운전자 모니터링 시스템(100)은 운전자의 졸음 상태로 결정한다(S237). 즉, 운전자 모니터링 시스템(100)은 눈 특징점의 위치 변화율이 제1임계값 이상인 상태에서 일정시간 경과하면 졸음 상태로 결정할 수 있다. 이때, 운전자 모니터링 시스템(100)은 음성 또는 시각적 효과로 졸음 상태를 운전자에게 알람할 수 있다.
상기와 같은 방법들은 도 1 및 도 2에 도시된 바와 같은 운전자 모니터링 시스템(100)에 의해 구현될 수 있고, 특히, 이러한 단계들을 수행하는 소프트웨어 프로그램으로 구현될 수 있으며, 이 경우, 이러한 프로그램들은 컴퓨터 판독가능한 기록 매체에 저장되거나 전송 매체 또는 통신망에서 반송파와 결합된 컴퓨터 데이터 신호에 의하여 전송될 수 있다.
이때, 컴퓨터 판독가능한 기록 매체는 컴퓨터 시스템에 의해 판독가능한 데이터가 저장되는 모든 종류의 기록 장치를 포함하며, 예를 들면, ROM, RAM, CD-ROM, DVD-ROM, DVD-RAM, 자기 테이프, 플로피 디스크, 하드 디스크, 광 데이터 저장장치 등일 수 있다.
이상에서 본 발명의 일 실시예에 대하여 설명하였으나, 본 발명의 사상은 본 명세서에 제시되는 실시예에 제한되지 아니하며, 본 발명의 사상을 이해하는 당업자는 동일한 사상의 범위 내에서, 구성요소의 부가, 변경, 삭제, 추가 등에 의해서 다른 실시예를 용이하게 제안할 수 있을 것이나, 이 또한 본 발명의 사상범위 내에 든다고 할 것이다.
10 : 차량
100 : 운전자 모니터링 시스템 110 : 3D 카메라
120 : 저장부 130 : 알람부
140 : 제어부

Claims (12)

  1. 운전자 얼굴을 3D 이미지로 획득하는 3D 카메라;
    상기 3D 이미지를 저장하는 저장부; 및
    상기 3D 카메라 및 상기 저장부와 통신적으로 연결되어 제어하는 제어부를 포함하고,
    상기 3D 이미지는 2D 이미지에 원근감에 따른 깊이 정보를 포함하며,
    눈 특징점은 제1특징점으로서 눈꺼풀에 대응하는 제1특징점과, 눈의 하단에 대응하는 제2특징점을 포함하고,
    상기 제1특징점 및 상기 제2특징점은 2D 이미지에 대응하는 X-Y 좌표와 원근에 대응하는 깊이를 나타내는 Z 좌표를 포함하는 3D 좌표로 나타내며,
    상기 제어부는,
    상기 3D 카메라로부터 획득한 이미지에서 얼굴의 특징점의 3D 위치를 산출하되, 상기 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 눈 특징점의 위치 변화율 및 눈 특징점의 3D 위치와 상기 눈 특징점 사이의 간격을 각 특징점의 3D 좌표를 기반으로 하여 산출하고,
    상기 얼굴 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 졸음 여부를 결정하도록 제어하되, 상기 눈 특징점의 위치 변화율이 제1임계값 이상으로 반복적으로 일정 횟수 발생하고, 상기 눈 특징점 사이의 간격이 제2임계값 미만인 상태에서 일정시간 경과하면 졸음 상태로 결정하도록 제어하며,
    차량의 속도에 비례하여 상기 일정시간을 제어하고,
    상기 획득한 이미지에 따라 운전자를 식별하고, 해당 운전자별 이미지 정보를 상기 저장부에 저장하도록 제어하며,
    운전자의 졸음 상태가 결정되면 운전자에게 알람하도록 졸음 경고를 나타내는 음성 신호를 차량의 스피커로 출력하고, 졸음 경고를 나타내는 이미지 신호를 차량의 디스플레이로 출력하도록 제어하고,
    상기 3D 카메라는 운전자의 전방 주시에 방해되지 않도록 전면 계기판에 설치되며,
    상기 위치 변화율은 일정한 크기의 위치 변화에 따른 소요 시간의 변화이며,
    상기 제1임계값은 정상적으로 고개를 끄덕이는 경우의 상기 제1특징점의 위치 변화 속도에 대한 5~10% 이상의 속도 변화값이고, 상기 정상적으로 고개를 끄덕이는 경우의 상기 제1특징점의 위치 변화 속도는 운전 개시후 대화중에 고개를 끄덕이는 경우에 산출된 위치 변화 속도 값이며,
    상기 위치 변화에 대한 기준 위치는 해당 운전자의 눈 특징점 위치의 누적 평균값이고,
    상기 제2임계값은 정상인 경우의 상기 제1특징점의 위치와 상기 제2특징점의 위치 사이의 간격에 대하여 5~10% 이하이고,
    상기 일정시간은 0.1~1.5초인 운전자 모니터링 시스템.
  2. 삭제
  3. 삭제
  4. 삭제
  5. 삭제
  6. 삭제
  7. 3D 카메라로 운전자 얼굴의 3D 이미지를 획득하는 단계;
    제어부에 의해 상기 획득한 이미지에 따라 운전자를 식별하고, 해당 운전자별 이미지 정보를 저장부에 저장하는 단계;
    제어부에 의해 3D 이미지에서 얼굴의 특징점의 3D 위치를 산출하는 단계;
    제어부에 의해 상기 얼굴 특징점의 3D 위치 변화 및 변화 지속 여부에 따라 졸음 여부를 결정하는 단계; 및
    운전자의 졸음 상태가 결정되면, 제어부에 의해 음성 및 시각적으로 졸음 상태를 운전자에게 알람하는 단계;를 포함하고,
    상기 3D 이미지는 2D 이미지에 원근감에 따른 깊이 정보를 포함하며,
    눈 특징점은 제1특징점으로서 눈꺼풀에 대응하는 제1특징점과, 눈의 하단에 대응하는 제2특징점을 포함하고,
    상기 제1특징점 및 상기 제2특징점은 2D 이미지에 대응하는 X-Y 좌표와 원근에 대응하는 깊이를 나타내는 Z 좌표를 포함하는 3D 좌표로 나타내며,
    상기 3D 위치를 산출하는 단계는 상기 얼굴의 특징점 중에서 눈 특징점의 3D 위치와 눈 특징점의 위치 변화율 및 눈 특징점의 3D 위치와 상기 눈 특징점 사이의 간격을 각 특징점의 3D 좌표를 기반으로 하여 산출하고,
    상기 결정하는 단계는 상기 눈 특징점의 위치 변화율이 제1임계값 이상으로 반복적으로 일정 횟수 발생하고, 상기 눈 특징점 사이의 간격이 제2임계값 미만인 상태에서 일정시간 경과하면 졸음 상태로 결정하며, 차량의 속도에 비례하여 상기 일정시간을 결정하고,
    상기 3D 카메라는 운전자의 전방 주시에 방해되지 않도록 전면 계기판에 설치되며,
    상기 위치 변화율은 일정한 크기의 위치 변화에 따른 소요 시간의 변화이고,
    상기 제1임계값은 정상적으로 고개를 끄덕이는 경우의 상기 제1특징점의 위치 변화 속도에 대한 5~10% 이상의 속도 변화값이고, 상기 정상적으로 고개를 끄덕이는 경우의 상기 제1특징점의 위치 변화 속도는 운전 개시후 대화중에 고개를 끄덕이는 경우에 산출된 위치 변화 속도 값이며,
    상기 위치 변화에 대한 기준 위치는 해당 운전자의 눈 특징점 위치의 누적 평균값이고,
    상기 제2임계값은 정상인 경우의 상기 제1특징점의 위치와 상기 제2특징점의 위치 사이의 간격에 대하여 5~10% 이하이며,
    상기 일정시간은 0.1~1.5초이고,
    상기 알람하는 단계는 졸음 경고를 나타내는 음성 신호를 차량의 스피커로 출력하고, 졸음 경고를 나타내는 이미지 신호를 차량의 디스플레이로 출력하는 운전자 모니터링 방법.
  8. 삭제
  9. 삭제
  10. 삭제
  11. 삭제
  12. 삭제
KR1020210122332A 2021-07-20 2021-09-14 운전자 모니터링 시스템 및 그 방법 KR102433668B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20210094586 2021-07-20
KR1020210094586 2021-07-20

Publications (1)

Publication Number Publication Date
KR102433668B1 true KR102433668B1 (ko) 2022-08-18

Family

ID=83112260

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020210122332A KR102433668B1 (ko) 2021-07-20 2021-09-14 운전자 모니터링 시스템 및 그 방법

Country Status (1)

Country Link
KR (1) KR102433668B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240029129A (ko) 2022-08-26 2024-03-05 (주)코아시아씨엠 Tof 카메라용 광학계
WO2024053751A1 (ko) * 2022-09-06 2024-03-14 엘지전자 주식회사 차량의 운전자 모니터링 장치 및 그것의 동작방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08147582A (ja) * 1994-11-17 1996-06-07 Toyota Motor Corp 居眠り警報装置
KR20130054636A (ko) * 2011-11-17 2013-05-27 현대모비스 주식회사 적외선 카메라 및 3ｄ 모델링을 이용한 운전자 자세 감시 장치 및 방법
KR20140025812A (ko) * 2012-08-22 2014-03-05 삼성전기주식회사 졸음 운전 감지 장치 및 방법
KR20190035558A (ko) 2017-09-26 2019-04-03 충남대학교산학협력단 멀티모달 학습 기반의 운전자 상태 인식 시스템 및 그 방법
JP6811834B2 (ja) * 2017-02-15 2021-01-13 三菱電機株式会社 運転状態判定装置および運転状態判定方法
KR20210009089A (ko) * 2019-07-16 2021-01-26 이규석 운전자 졸음방지 경고 및 자동 통화연결 시스템

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08147582A (ja) * 1994-11-17 1996-06-07 Toyota Motor Corp 居眠り警報装置
KR20130054636A (ko) * 2011-11-17 2013-05-27 현대모비스 주식회사 적외선 카메라 및 3ｄ 모델링을 이용한 운전자 자세 감시 장치 및 방법
KR20140025812A (ko) * 2012-08-22 2014-03-05 삼성전기주식회사 졸음 운전 감지 장치 및 방법
JP6811834B2 (ja) * 2017-02-15 2021-01-13 三菱電機株式会社 運転状態判定装置および運転状態判定方法
KR20190035558A (ko) 2017-09-26 2019-04-03 충남대학교산학협력단 멀티모달 학습 기반의 운전자 상태 인식 시스템 및 그 방법
KR20210009089A (ko) * 2019-07-16 2021-01-26 이규석 운전자 졸음방지 경고 및 자동 통화연결 시스템

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240029129A (ko) 2022-08-26 2024-03-05 (주)코아시아씨엠 Tof 카메라용 광학계
WO2024053751A1 (ko) * 2022-09-06 2024-03-14 엘지전자 주식회사 차량의 운전자 모니터링 장치 및 그것의 동작방법

Similar Documents

Publication Publication Date Title
KR101386823B1 (ko) 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
CN109572705B (zh) 一种驾驶员情绪管理方法、设备及存储设备
CN111361552B (zh) 自动驾驶系统
KR102433668B1 (ko) 운전자 모니터링 시스템 및 그 방법
US9007198B2 (en) Adaptive Actuator interface for active driver warning
JP6497915B2 (ja) 運転支援システム
EP2117432B1 (en) Anti-drowsing device and anti-drowsing method
US10346697B2 (en) Driver state monitoring using corneal reflection detection
US10152642B2 (en) Method for detecting driving behavior and system using the same
CN113525389B (zh) 驾驶员警觉性检测方法、设备和系统
JP2007528815A (ja) 運転者の行動解釈に基づいて自動車のサブシステムを制御する方法および機構
JP5423724B2 (ja) ドライバ状態判定装置
KR20150143139A (ko) 차량용 운전자 위험 지수 관리 시스템 및 그 방법
JP6627811B2 (ja) 集中度判定装置、集中度判定方法及び集中度判定のためのプログラム
JP4529394B2 (ja) ドライバの車両運転特性推定装置
US11040720B2 (en) Sleepiness level prediction device and sleepiness level prediction method
US20220258771A1 (en) Method to detect driver readiness for vehicle takeover requests
JP2017182776A (ja) 車両周辺監視装置及びコンピュータプログラム
KR20190105152A (ko) 자율 주행 제어 장치 및 그의 전방차량 출발 알림 방법
JP2018013811A (ja) ドライバ状態判定装置、及びドライバ状態判定プログラム
KR20190134909A (ko) 주행상황 판단 정보 기반 운전자 상태 인식 장치 및 방법
US11780458B1 (en) Automatic car side-view and rear-view mirrors adjustment and drowsy driver detection system
JP2006309432A (ja) 運転者状態推定装置
KR20230147963A (ko) 운전자 모니터링 시스템 및 이를 이용한 운전자 모니터링 방법
JP2018013812A (ja) ドライバ状態誘導装置、及びドライバ状態誘導プログラム

Legal Events

Date Code Title Description
E701 Decision to grant or registration of patent right
GRNT Written decision to grant