KR20180124381A - 운전자의 상태 판단 시스템 및 그 방법 - Google Patents

운전자의 상태 판단 시스템 및 그 방법 Download PDF

Info

Publication number
KR20180124381A
KR20180124381A KR1020170058783A KR20170058783A KR20180124381A KR 20180124381 A KR20180124381 A KR 20180124381A KR 1020170058783 A KR1020170058783 A KR 1020170058783A KR 20170058783 A KR20170058783 A KR 20170058783A KR 20180124381 A KR20180124381 A KR 20180124381A
Authority
KR
South Korea
Prior art keywords
driver
face
event
mental
time interval
Prior art date
Application number
KR1020170058783A
Other languages
English (en)
Inventor
류성숙
김진권
이병준
김삼용
Original Assignee
현대자동차주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 현대자동차주식회사 filed Critical 현대자동차주식회사
Priority to KR1020170058783A priority Critical patent/KR20180124381A/ko
Priority to US15/804,749 priority patent/US10558875B2/en
Priority to CN201711203165.9A priority patent/CN108860153B/zh
Publication of KR20180124381A publication Critical patent/KR20180124381A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Q—ARRANGEMENT OF SIGNALLING OR LIGHTING DEVICES, THE MOUNTING OR SUPPORTING THEREOF OR CIRCUITS THEREFOR, FOR VEHICLES IN GENERAL
    • B60Q9/00—Arrangement or adaptation of signal devices not provided for in one of main groups B60Q1/00 - B60Q7/00, e.g. haptic signalling
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W50/16—Tactile feedback to the driver, e.g. vibration or force feedback to the driver on the steering wheel or the accelerator pedal
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B62—LAND VEHICLES FOR TRAVELLING OTHERWISE THAN ON RAILS
    • B62D—MOTOR VEHICLES; TRAILERS
    • B62D15/00—Steering not otherwise provided for
    • B62D15/02—Steering position indicators ; Steering position determination; Steering aids
    • B62D15/021—Determination of steering angle
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/16—Anti-collision systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0836—Inactivity or incapacity of driver due to alcohol
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0845—Inactivity or incapacity of driver due to drugs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2306/00—Other features of vehicle sub-units
    • B60Y2306/13—Failsafe arrangements
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/90—Driver alarms
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/44—Event detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Physics & Mathematics (AREA)
  • Transportation (AREA)
  • Human Computer Interaction (AREA)
  • Automation & Control Theory (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 운전자의 상태 판단 시스템 및 그 방법에 관한 것으로, 운전자의 상태 판단 시스템에 있어서, 운전자의 상태 판단 시스템에 있어서, 운전자의 얼굴 영상에서 얼굴의 좌표와 방향벡터를 샘플링시간 간격으로 검출하는 얼굴 추적장치; 차량의 유효한 거동을 이벤트로서 검출하는 이벤트 검출장치; 및 상기 이벤트 검출장치에 의해 이벤트가 검출되면, 운전자의 반사반응시간에 기초하여 운전자의 심신미약 상태를 판단하는 판단장치를 포함한다.

Description

운전자의 상태 판단 시스템 및 그 방법{SYSTEM FOR DETECTING IMPAIRED DRIVING AND METHOD THEREOF}
본 발명은 운전자의 상태 판단 시스템 및 그 방법에 관한 것으로, 더욱 상세하게는 차량의 거동에 따른 운전자의 반사반응 시간에 기초하여 운전자의 상태(일례로, 심신미약 상태)를 판단하는 기술에 관한 것입니다.
일반적으로 정상상태의 운전자는 몸의 기울어짐에 대비하여 머리를 몸의 방향과 일치하도록 하는 두위반사(righting reflex) 및 균형을 잃었을 때 넘어지지 않으려고 반응하는 경사반사 등 무의식적으로 다양한 반사반응을 보인다.
그러나 운전자가 음주 혹은 약물 복용 등에 의한 심신미약 상태이거나 피로한 경우에는, 운전자가 눈을 뜨고 있더라도 운동 반사능력이 정상상태에 비하여 크게 떨어지기 때문에, 차선 추종 수준의 간단한 운전은 가능할 수 있으나, 선행차량이 급정거하거나 옆 차선의 차량의 갑자기 끼어드는 경우 적절히 대처하지 못하여 교통사고를 유발할 수 있다.
종래의 운전자의 상태 판단 기술은 운전자의 졸음운전을 판단하는 기술이 주를 이루는데, 운전자의 졸음운전을 판단하는 기술은 카메라를 이용하여 촬영한 영상에서 운전자의 눈을 검출한 후 눈의 형상 변화에 기초하여 운전자의 졸음운전을 판단하거나, 카메라를 이용하여 촬영한 영상에서 운전자의 입을 검출한 후 입의 형상 변화에 기초하여 운전자의 졸음운전을 판단한다.
이러한 종래의 운전자의 상태 판단 기술은 졸음으로 인해 발생하는 운전자 얼굴 내 특징점의 형상변화에 기초한 것으로, 눈의 형상변화(일례로 감김 현상)나 입의 형상변화(일례로 하품)가 없는 심신미약 상태의 운전자(Impaired Driver)를 검출해 내지 못하는 문제점이 있다.
일본공개특허 제2013-156707호
상기와 같은 종래 기술의 문제점을 해결하기 위하여, 본 발명은 차량의 거동에 따른 운전자의 반사반응 시간에 기초하여 운전자의 상태를 판단함으로써, 운전자의 심신미약 상태를 판단해 낼 수 있는 운전자의 상태 판단 시스템 및 그 방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 본 발명의 다른 목적 및 장점들은 하기의 설명에 의해서 이해될 수 있으며, 본 발명의 실시예에 의해 보다 분명하게 알게 될 것이다. 또한, 본 발명의 목적 및 장점들은 특허 청구 범위에 나타낸 수단 및 그 조합에 의해 실현될 수 있음을 쉽게 알 수 있을 것이다.
상기 목적을 달성하기 위한 본 발명의 시스템은, 운전자의 상태 판단 시스템에 있어서, 운전자의 얼굴 영상에서 얼굴의 좌표와 방향벡터를 샘플링시간 간격으로 검출하는 얼굴 추적장치; 차량의 유효한 거동을 이벤트로서 검출하는 이벤트 검출장치; 및 상기 이벤트 검출장치에 의해 이벤트가 검출되면, 운전자의 반사반응시간에 기초하여 운전자의 심신미약 상태를 판단하는 판단장치를 포함한다.
여기서, 상기 판단장치는 상기 얼굴의 좌표에 기초하여 산출한 얼굴의 이동량이 임계치를 초과하는 경우, 운전자의 의도적인 움직임이라 판단한다.
또한, 상기 판단장치는 이벤트 발생 이전의 제1 시간구간에 검출된 얼굴의 방향벡터들을 미분하고, 이벤트 발생 이후의 제2 시간구간에 산출된 얼굴의 방향벡터들을 미분한 후, 상기 제2 시간구간 내 방향벡터의 미분값들의 분산값과 상기 제1 시간구간 내 방향벡터의 미분값들의 분산값에 기초하여 운전자의 심신미약 상태를 판단한다.
즉, 상기 판단장치는 상기 제1 시간구간 내 방향벡터의 미분값들의 분산값을 기준 분산값으로 설정하고, 상기 제2 시간구간 내 방향벡터의 미분값들의 분산을 순차적으로 산출하여, 상기 산출된 분산값들 중에서 상기 기준 분산값의 임계범위를 만족하는 분산값에 상응하는 미분값들의 샘플링시간의 합이 임계시간을 초과하면 운전자가 심신미약 상태인 것으로 판단한다.
상기 운전자의 상태 판단 시스템이 자율주행 차량에 탑재되는 경우, 상기 판단장치는 운전자가 심신미약 상태라고 판단되면 차량의 제어권을 운전자에게 이양하는 시점을 조절할 수도 있다.
상기 목적을 달성하기 위한 본 발명의 방법은, 운전자의 상태 판단 방법에 있어서, 얼굴 추적장치가 운전자의 얼굴 영상에서 얼굴의 좌표와 방향벡터를 샘플링시간 간격으로 검출하는 단계; 이벤트 검출장치가 차량의 유효한 거동을 이벤트로서 검출하는 단계; 및 판단장치가 상기 이벤트가 검출되면 운전자의 반사반응시간에 기초하여 운전자의 심신미약 상태를 판단하는 단계를 포함한다.
여기서, 상기 판단 단계는 상기 얼굴의 좌표에 기초하여 산출한 얼굴의 이동량이 임계치를 초과하는 경우, 운전자의 의도적인 움직임이라 판단할 수 있다.
또한, 상기 판단 단계는 이벤트 발생 이전의 제1 시간구간에 검출된 얼굴의 방향벡터들을 미분하는 단계; 이벤트 발생 이후의 제2 시간구간에 산출된 얼굴의 방향벡터들을 미분하는 단계; 상기 제1 시간구간 내 방향벡터의 미분값들의 분산값을 기준 분산값으로 설정하는 단계; 상기 제2 시간구간 내 방향벡터의 미분값들의 분산을 순차적으로 산출하여, 상기 산출된 분산값들 중에서 상기 기준 분산값의 임계범위를 만족하는 분산값에 상응하는 미분값들의 샘플링시간의 합을 산출하는 단계; 및 상기 산출된 샘플링시간의 합이 임계시간을 초과하면 운전자가 심신미약 상태인 것으로 판단하는 단계를 포함할 수 있다.
상기 본 발명의 방법은 운전자가 심신미약 상태로 판단되면 상기 판단장치가 차량의 제어권을 운전자에게 이양하는 시점을 조절할 수도 있다.
상기와 같은 본 발명은, 차량의 거동에 따른 운전자의 반사반응 시간에 기초하여 운전자의 상태를 판단함으로써, 운전자의 심신미약 상태를 판단해 낼 수 있는 효과가 있다.
도 1 은 본 발명에 따른 운전자의 상태 판단 시스템에 대한 일실시예 구성도,
도 2 는 본 발명에 따른 운전자의 상태 판단 방법에 대한 일실시예 흐름도,
도 3 은 본 발명에 이용되는 반사반응시간을 나타내는 일예시도,
도 4 는 본 발명이 적용되는 자율주행 차량의 일실시예 구성도이다.
이하, 본 발명의 일부 실시예들을 예시적인 도면을 통해 상세하게 설명한다. 각 도면의 구성요소들에 참조부호를 부가함에 있어서, 동일한 구성요소들에 대해서는 비록 다른 도면상에 표시되더라도 가능한 한 동일한 부호를 가지도록 하고 있음에 유의해야 한다. 또한, 본 발명의 실시예를 설명함에 있어, 관련된 공지 구성 또는 기능에 대한 구체적인 설명이 본 발명의 실시예에 대한 이해를 방해한다고 판단되는 경우에는 그 상세한 설명은 생략한다.
본 발명의 실시예의 구성 요소를 설명하는 데 있어서, 제 1, 제 2, A, B, (a), (b) 등의 용어를 사용할 수 있다. 이러한 용어는 그 구성 요소를 다른 구성 요소와 구별하기 위한 것일 뿐, 그 용어에 의해 해당 구성 요소의 본질이나 차례 또는 순서 등이 한정되지 않는다. 또한, 다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가진다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥상 가지는 의미와 일치하는 의미를 가진 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
도 1 은 본 발명에 따른 운전자의 상태 판단 시스템에 대한 일실시예 구성도이다.
도 1에 도시된 바와 같이, 본 발명에 따른 운전자의 상태 판단 시스템(100)은 얼굴 추적장치(10), 이벤트 검출장치(20), 판단장치(30), 출력장치(40), 및 통신장치(50)를 포함한다.
상기 각 구성요소들에 대해 살펴보면, 먼저 얼굴 추적장치(10)는 카메라를 통해 촬영한 운전자의 얼굴 영상에서 특징점(눈, 눈썹, 입술, 안경 등)을 추출한다. 이후, 얼굴 중심점을 기준으로 생성한 얼굴 좌표계(x,y,z)상에서 특징점의 위치를 검출한다. 이때, 얼굴 중심점이 아닌 영상 내 임의의 점을 기준으로 얼굴 좌표계를 생성할 수도 있다.
또한, 얼굴 추적장치(10)는 얼굴의 움직임에 따른 얼굴 좌표계상에서의 특징점의 위치 변화에 기초하여 얼굴의 이동량과 얼굴의 회전량을 소정의 시간단위로 산출한다. 이때, 얼굴의 이동량은 몸의 움직임에 의해 발생하는 얼굴의 이동거리를 나타내며, 얼굴의 회전량은 3축 회전각(Roll, Pitch, Yaw)을 나타내는 방향벡터를 의미한다.
또한, 얼굴 추적장치(10)는 얼굴의 위치와 방향벡터를 실시간으로 저장한다.
여기서, 얼굴 추적장치(10)가 얼굴의 방향벡터를 검출해 내는 방식은 특정 방식에 한정되지 않는다.
다음으로, 이벤트 검출장치(20)는 조향각 센서(21), 각 차륜의 속도를 감지하는 센서(22), 횡가속도 센서(23) 등 각종 센서를 구비하여 차량의 좌회전, 우회전, 곡선로 주행, 방지턱 통과 등을 이벤트로서 검출한다. 이때, 이벤트 검출장치(20)는 운전자의 자세가 기울어지거나 흐트러지는 상황으로서, 조향각이 제1 기준치를 초과하는 경우, 좌/우측 휠 속도의 편차가 제2 기준치를 초과하는 경우(방지턱 통과), 횡가속도가 제3 기준치를 초과하는 경우 등을 이벤트로서 검출할 수 있다. 이러한 이벤트는 운전자의 반사반응을 판단하는 시점정보로 이용된다.
다음으로, 판단장치(30)는 이벤트 검출장치(20)에 의해 이벤트가 검출되면, 얼굴 추적장치(10)에 의해 산출된 얼굴의 방향벡터에 기초하여 운전자의 심신미약 상태를 판단한다.
즉, 판단장치(30)는 이벤트 발생 시점을 기준으로 이전의 소정시간 동안(이하, 제1 시간구간)에 산출된 얼굴의 방향벡터들을 미분하고, 상기 이벤트 발생 시점을 기준으로 이후 소정시간 동안(이하, 제2 시간구간)에 산출된 얼굴의 방향벡터들을 미분한다.
그리고 판단장치(30)는 제2 시간구간 내 방향벡터의 미분값들의 분산값이 제1 시간구간 내 방향벡터의 미분값들의 분산값보다 작거나 비슷한 수준으로 돌아오는데 걸리는 시간을 계산한다.
즉, 판단장치(30)는 제1 시간구간 내 방향벡터의 미분값들의 분산값을 기준 분산값으로 설정하고, 제2 시간구간 내 방향벡터의 미분값들의 분산을 순차적으로 계산하여 상기 순차적으로 계산되는 분산값들 중에서 특정 분산값이 상기 기준 분산값의 임계범위에 들어오면 상기 특정 분산값을 산출하는데 이용된 미분값들의 샘플링시간을 합산하여 소요시간을 계산한다. 이때, 기준 분산값(R)의 임계범위는 일례로 '(R-V)<R<(R+V)'를 만족한다. 여기서, 'V'는 시스템 환경에 따라 설계자에 의해 임의로 설정되는 값이다.
결국, 판단장치(30)는 운전자의 반사반응시간에 기초하여 운전자의 심신미약 상태를 판단한다. 즉, 도 3에 도시된 바와 같이 이벤트 발생 전 운전자의 얼굴(310)이 이벤트가 발생하면서 '320'으로 변형되었다가 다시 이벤트 발생 전 운전자의 얼굴로 돌아가는데 걸리는 시간(반사반응 시간)에 기초하여 운전자의 심신미약 상태를 판단한다.
이하, 예를 들어 판단장치(30)의 동작에 대해 상세히 설명하기로 한다.
일례로서, 제1 시간구간에 0.1초 단위로 샘플링된 얼굴 방향벡터의 미분값이 A1, A2, A3, A4, A5이고, 제2 시간구간에 0.1초 단위로 샘플링된 얼굴 방향벡터의 미분값이 B1, B2, B3, B4, B5이라고 하면, A1, A2, A3, A4, A5의 분산값이 기준 분산값이 된다.
이후, 판단장치(30)는 B1과 B2의 제1 분산값을 계산한 후 상기 계산된 제1 분산값이 기준 분산값의 임계범위에 포함되는지 판단한다.
상기 판단결과, 제1 분산값이 기준 분산값의 임계범위에 포함되면 그때의 소요시간을 산출한다. 이때, 소요시간은 B1과 B2의 분산값에 대한 샘플링시간의 합이므로 0.2초가 된다.
그리고 상기 산출된 소요시간(0.2초)이 임계시간을 초과하면 운전자가 심신미약 상태에 있다고 판단하고, 임계시간을 초과하지 않으면 운전자의 상태를 정상으로 판단한다.
상기 판단결과, 제1 분산값이 기준 분산값의 임계범위에 포함되지 않으면, B1과 B2 및 B3를 이용하여 제2 분산값을 계산한다.
이후, 상기 제2 분산값이 기준 분산값의 임계범위에 포함되면 그때의 소요시간을 산출한다. 이때, 소요시간은 B1과 B2 및 B3의 분산값에 대한 샘플링시간의 합이므로 0.3초가 된다.
그리고 상기 산출된 소요시간(0.3초)이 임계시간을 초과하면 운전자가 심신미약 상태에 있다고 판단하고, 임계시간을 초과하지 않으면 운전자의 상태를 정상으로 판단한다.
이러한 과정을 제2 시간구간 내 모든 분산값을 대상으로 순차적으로 수행하여 운전자의 상태를 판단한다.
한편, 판단장치(30)는 얼굴 추적장치(10)에 의해 산출된 얼굴의 이동량이 임계치를 초과하는 경우, 이는 운전자의 의도적 움직임이라 판단하여 운전자의 심신미약 상태를 판단하는 데이터로 사용하지 않을 수도 있다.
이렇게 하는 이유는 시스템의 판단 오류율을 낮춰 성능을 향상시키기 위함이다.
따라서, 운전자의 상태 판단은 얼굴의 좌표에 기초하여 산출한 얼굴의 이동량이 임계치를 초과하지 않는 경우에 이루어지는 것이 바람직하다.
다음으로, 출력장치(40)는 차량 탑승자에게 위험을 경고하기 위해 시각적 경보부(41)와 청각적 경보부(42) 및 촉각적 경보부(43)를 포함할 수 있다.
시각적 경보부(41)는 LCD(Liquid Crystal Display) 및 HUD(Head Up Display)와 같은 디스플레이, 클러스터 등을 포함하며, 판단장치(30)의 제어하에 시각적 경고로서 경고문구 및 경고불빛을 출력한다.
청각적 경보부(42)는 판단장치(30)의 제어하에 청각적 경고로서 경고음을 출력한다. 이때, 경고음은 단순 부저는 물론 음성 경고를 포함한다. 이때, 음성 경고는 일례로 '안전을 위하여 차량을 갓길에 정차시키시기 바랍니다.', '차량을 안전구역에 정차시키시기 바랍니다.'등이 될 수 있다.
촉각적 경보부(43)는 판단장치(30)의 제어하에 촉각적 경고로서 진동을 발생시킨다. 즉, 촉각적 경보부(43)는 운전자가 심신미약 상태로 판단된 경우, 안전벨트, 스티어링 휠, 가속페달, 시트 등을 진동시켜 경고한다.
다음으로, 통신장치(50)는 V2V(Vehicle to vehicle) 통신을 통해 주변 차량과 통신한다. 즉, 통신장치(50)는 판단장치(30)의 제어하에 운전자가 심신미약 상태임을 주변 차량에 알린다.
또한, 통신장치(50)는 V2X(Vehicle to Everything) 통신을 통해 자차의 운전자가 심신미약 상태임을 알릴 수도 있다. 이때 V2X는 차량과 차량 사이의 무선통신(V2V: Vehicle to Vehicle), 차량과 인프라 간 무선통신(V2I: Vehicle to Infrastructure), 차량 내 유무선 네트워킹(IVN: In-Vehicle Networking), 차량과 이동 단말 간 통신(V2P: Vehicle to Pedestrian) 등을 총칭한다.
한편, 본 발명이 완전 자율주행 차량이나 일부 자율주행 차량에 적용되는 경우, 판단장치(30)는 운전자가 심신미약 상태라고 판단되면 차량의 제어권을 운전자에게 이양하는 시점을 조절하거나, 운전자에게 이양되는 제어권의 종류를 조절하거나, 아예 차량을 안전구역에 비상 정차시킬 수도 있다.
즉, 도 4에 도시된 바와 같이, 운전자의 상태 판단 시스템(100)에 의해 운전자가 심신미약 상태로 판정되면, 자율주행 제어 시스템(110)은 차량의 제어권을 운전자에게 이양하는 시점을 조절하거나, 운전자에게 이양되는 제어권의 종류를 조절하거나, 아예 차량을 안전구역에 비상 정차시킬 수도 있다.
본 발명에서는 얼굴 추적장치(10)와 이벤트 검출장치(20) 및 판단장치(30)를 별개의 구성으로 구현한 예를 설명했으나, 판단장치(30)가 얼굴 추적장치(10)의 기능과 이벤트 검출장치(20)의 기능을 모두 수행하는 형태로 구현할 수도 있다.
도 2 는 본 발명에 따른 운전자의 상태 판단 방법에 대한 일실시예 흐름도이다.
먼저, 얼굴 추적장치(10)가 운전자의 얼굴 영상에서 얼굴의 좌표와 방향벡터를 샘플링시간 간격으로 검출한다(201).
이후, 이벤트 검출장치(20)가 차량의 유효한 거동을 이벤트로서 검출한다(202).
이후, 판단장치(30)가 이벤트 검출장치(20)에 의해 이벤트가 검출되면 얼굴 추적장치(10)에 의해 검출된 얼굴의 방향벡터에 기초하여 운전자의 심신미약 상태를 판단한다(203). 즉, 이벤트 발생 이전의 제1 시간구간에 검출된 얼굴의 방향벡터들을 미분하고, 이벤트 발생 이후의 제2 시간구간에 산출된 얼굴의 방향벡터들을 미분하며, 상기 제1 시간구간 내 방향벡터의 미분값들의 분산값을 기준 분산값으로 설정하고, 상기 제2 시간구간 내 방향벡터의 미분값들의 분산을 순차적으로 산출하여, 상기 산출된 분산값들 중에서 상기 기준 분산값의 임계범위를 만족하는 분산값에 상응하는 미분값들의 샘플링시간의 합을 산출하며, 상기 산출된 샘플링시간의 합이 임계시간을 초과하면 운전자가 심신미약 상태인 것으로 판단한다.
결국, 판단장치(30)는 운전자의 반사반응시간에 기초하여 운전자의 심신미약 상태를 판단한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다.
따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10 : 얼굴 추적장치
20 : 이벤트 검출장치
30 : 판단장치
40 : 출력장치
50 : 통신장치

Claims (19)

  1. 운전자의 얼굴 영상에서 얼굴의 좌표와 방향벡터를 샘플링시간 간격으로 검출하는 얼굴 추적장치;
    차량의 유효한 거동을 이벤트로서 검출하는 이벤트 검출장치; 및
    상기 이벤트 검출장치에 의해 이벤트가 검출되면, 운전자의 반사반응시간에 기초하여 운전자의 심신미약 상태를 판단하는 판단장치
    를 포함하는 운전자의 상태 판단 시스템.
  2. 제 1 항에 있어서,
    상기 판단장치는,
    상기 얼굴의 좌표에 기초하여 산출한 얼굴의 이동량이 임계치를 초과하는 경우, 운전자의 의도적인 움직임이라 판단하는 것을 특징으로 하는 운전자의 상태 판단 시스템.
  3. 제 1 항에 있어서,
    상기 판단장치는,
    상기 얼굴 추적장치에 의해 검출된 얼굴의 방향벡터에 기초하여 운전자의 반사반응시간을 산출하는 것을 특징으로 하는 운전자의 상태 판단 시스템.
  4. 제 3 항에 있어서,
    상기 판단장치는,
    이벤트 발생 이전의 제1 시간구간에 검출된 얼굴의 방향벡터들을 미분하고, 이벤트 발생 이후의 제2 시간구간에 산출된 얼굴의 방향벡터들을 미분한 후, 상기 제2 시간구간 내 방향벡터의 미분값들의 분산값과 상기 제1 시간구간 내 방향벡터의 미분값들의 분산값에 기초하여 운전자의 심신미약 상태를 판단하는 것을 특징으로 하는 운전자의 상태 판단 시스템.
  5. 제 4 항에 있어서,
    상기 판단장치는,
    상기 제1 시간구간 내 방향벡터의 미분값들의 분산값을 기준 분산값으로 설정하고, 상기 제2 시간구간 내 방향벡터의 미분값들의 분산을 순차적으로 산출하여, 상기 산출된 분산값들 중에서 상기 기준 분산값의 임계범위를 만족하는 분산값에 상응하는 미분값들의 샘플링시간의 합이 임계시간을 초과하면 운전자가 심신미약 상태인 것으로 판단하는 것을 특징으로 하는 운전자의 상태 판단 시스템.
  6. 제 1 항에 있어서,
    운전자가 심신미약 상태임을 경고하는 출력장치
    를 더 포함하는 운전자의 상태 판단 시스템.
  7. 제 6 항에 있어서,
    상기 출력장치는,
    시각적 경고, 청각적 경고, 촉각적 경고 중 적어도 하나의 방식으로 운전자의 심신미약 상태를 경고하는 것을 특징으로 하는 운전자의 상태 판단 시스템.
  8. 제 1 항에 있어서,
    상기 운전자의 상태 판단 시스템이 자율주행 차량에 탑재되는 경우, 상기 판단장치는 운전자가 심신미약 상태라고 판단되면 차량의 제어권을 운전자에게 이양하는 시점을 조절하는 것을 특징으로 하는 운전자의 상태 판단 시스템.
  9. 제 1 항에 있어서,
    상기 얼굴 추적장치는,
    상기 얼굴의 좌표와 방향벡터를 저장하는 것을 특징으로 하는 운전자의 상태 판단 시스템.
  10. 제 1 항에 있어서,
    상기 이벤트 검출장치는,
    차량의 좌회전, 우회전, 곡선로 주행, 방지턱 통과 중 어느 하나를 이벤트로서 검출하는 것을 특징으로 하는 운전자의 상태 판단 시스템.
  11. 제 10 항에 있어서,
    상기 이벤트 검출장치는,
    조향각이 제1 기준치를 초과하는 경우, 좌/우측 휠 속도의 편차가 제2 기준치를 초과하는 경우, 횡가속도가 제3 기준치를 초과하는 경우 중 어느 하나를 이벤트로서 검출하는 것을 특징으로 하는 운전자의 상태 판단 시스템.
  12. 얼굴 추적장치가 운전자의 얼굴 영상에서 얼굴의 좌표와 방향벡터를 샘플링시간 간격으로 검출하는 단계;
    이벤트 검출장치가 차량의 유효한 거동을 이벤트로서 검출하는 단계; 및
    판단장치가 상기 이벤트가 검출되면 운전자의 반사반응시간에 기초하여 운전자의 심신미약 상태를 판단하는 단계
    를 포함하는 운전자의 상태 판단 방법.
  13. 제 12 항에 있어서,
    상기 판단 단계는,
    상기 얼굴의 좌표에 기초하여 산출한 얼굴의 이동량이 임계치를 초과하는 경우, 운전자의 의도적인 움직임이라 판단하는 것을 특징으로 하는 운전자의 상태 판단 방법.
  14. 제 12 항에 있어서,
    상기 판단 단계는,
    상기 얼굴 추적장치에 의해 검출된 얼굴의 방향벡터에 기초하여 운전자의 반사반응시간을 산출하는 것을 특징으로 하는 운전자의 상태 판단 방법.
  15. 제 14 항에 있어서,
    상기 판단 단계는,
    이벤트 발생 이전의 제1 시간구간에 검출된 얼굴의 방향벡터들을 미분하는 단계;
    이벤트 발생 이후의 제2 시간구간에 산출된 얼굴의 방향벡터들을 미분하는 단계;
    상기 제1 시간구간 내 방향벡터의 미분값들의 분산값을 기준 분산값으로 설정하는 단계;
    상기 제2 시간구간 내 방향벡터의 미분값들의 분산을 순차적으로 산출하여, 상기 산출된 분산값들 중에서 상기 기준 분산값의 임계범위를 만족하는 분산값에 상응하는 미분값들의 샘플링시간의 합을 산출하는 단계; 및
    상기 산출된 샘플링시간의 합이 임계시간을 초과하면 운전자가 심신미약 상태인 것으로 판단하는 단계
    를 포함하는 운전자의 상태 판단 방법.
  16. 제 12 항에 있어서,
    출력장치가 시각적 경고, 청각적 경고, 촉각적 경고 중 적어도 하나의 방식으로 운전자의 심신미약 상태를 경고하는 단계
    를 더 포함하는 운전자의 상태 판단 방법.
  17. 제 12 항에 있어서,
    운전자가 심신미약 상태로 판단되면 상기 판단장치가 차량의 제어권을 운전자에게 이양하는 시점을 조절하는 것을 특징으로 하는 운전자의 상태 판단 방법.
  18. 제 12 항에 있어서,
    상기 검출된 얼굴의 좌표와 방향벡터를 저장하는 단계
    를 더 포함하는 운전자의 상태 판단 방법.
  19. 제 12 항에 있어서,
    상기 이벤트 검출 단계는,
    조향각이 제1 기준치를 초과하는 경우, 좌/우측 휠 속도의 편차가 제2 기준치를 초과하는 경우, 횡가속도가 제3 기준치를 초과하는 경우 중 어느 하나를 이벤트로서 검출하는 것을 특징으로 하는 운전자의 상태 판단 방법.
KR1020170058783A 2017-05-11 2017-05-11 운전자의 상태 판단 시스템 및 그 방법 KR20180124381A (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020170058783A KR20180124381A (ko) 2017-05-11 2017-05-11 운전자의 상태 판단 시스템 및 그 방법
US15/804,749 US10558875B2 (en) 2017-05-11 2017-11-06 System and method for determining state of driver
CN201711203165.9A CN108860153B (zh) 2017-05-11 2017-11-22 用于确定驾驶员的状态的系统和方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020170058783A KR20180124381A (ko) 2017-05-11 2017-05-11 운전자의 상태 판단 시스템 및 그 방법

Publications (1)

Publication Number Publication Date
KR20180124381A true KR20180124381A (ko) 2018-11-21

Family

ID=64096837

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170058783A KR20180124381A (ko) 2017-05-11 2017-05-11 운전자의 상태 판단 시스템 및 그 방법

Country Status (3)

Country Link
US (1) US10558875B2 (ko)
KR (1) KR20180124381A (ko)
CN (1) CN108860153B (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102471214B1 (ko) * 2022-01-21 2022-11-28 퀀텀테크엔시큐 주식회사 IP-Cam 모니터링 방법 및 장치

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6888542B2 (ja) * 2017-12-22 2021-06-16 トヨタ自動車株式会社 眠気推定装置及び眠気推定方法
US10762785B1 (en) * 2018-01-09 2020-09-01 State Farm Mutual Automobile Insurance Company Vehicle collision alert system and method
JP6906717B2 (ja) * 2018-12-12 2021-07-21 三菱電機株式会社 状態判定装置、状態判定方法、及び状態判定プログラム
JP2020162016A (ja) * 2019-03-27 2020-10-01 ソニー株式会社 状態検出装置、状態検出システム及び状態検出方法
WO2021175125A1 (en) * 2020-03-06 2021-09-10 Guangdong Oppo Mobile Telecommunications Corp., Ltd. System and method for automatically adjusting focus of a camera
JP7259793B2 (ja) * 2020-03-26 2023-04-18 いすゞ自動車株式会社 運転支援装置
CN114680889A (zh) * 2022-03-08 2022-07-01 中国石油大学(北京) 钻井作业人员的不安全行为识别方法和装置

Family Cites Families (68)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6856873B2 (en) * 1995-06-07 2005-02-15 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US7164117B2 (en) * 1992-05-05 2007-01-16 Automotive Technologies International, Inc. Vehicular restraint system control system and method using multiple optical imagers
US7243945B2 (en) * 1992-05-05 2007-07-17 Automotive Technologies International, Inc. Weight measuring systems and methods for vehicles
US7663502B2 (en) * 1992-05-05 2010-02-16 Intelligent Technologies International, Inc. Asset system control arrangement and method
US6772057B2 (en) * 1995-06-07 2004-08-03 Automotive Technologies International, Inc. Vehicular monitoring systems using image processing
US7768380B2 (en) * 1994-05-09 2010-08-03 Automotive Technologies International, Inc. Security system control for monitoring vehicular compartments
US7570785B2 (en) * 1995-06-07 2009-08-04 Automotive Technologies International, Inc. Face monitoring system and method for vehicular occupants
US6822573B2 (en) 2002-01-18 2004-11-23 Intelligent Mechatronic Systems Inc. Drowsiness detection system
US6967581B2 (en) * 2004-04-07 2005-11-22 Harry Karsten Breath alcohol detection system with identity verification
US7413047B2 (en) * 2004-04-14 2008-08-19 Brown Betty J Alcohol ignition interlock system and method
JP3936713B2 (ja) * 2004-09-24 2007-06-27 三菱電機株式会社 車両用後側方警報装置
JP4229051B2 (ja) * 2004-11-26 2009-02-25 日産自動車株式会社 運転意図推定装置、車両用運転操作補助装置および車両用運転操作補助装置を備えた車両
US7423540B2 (en) * 2005-12-23 2008-09-09 Delphi Technologies, Inc. Method of detecting vehicle-operator state
JP4702100B2 (ja) 2006-02-27 2011-06-15 トヨタ自動車株式会社 居眠り判定装置および居眠り運転警告装置
EP2032034B1 (en) * 2006-06-11 2020-04-01 Volvo Truck Corporation Method for determining and analyzing a location of visual interest
JP4862516B2 (ja) * 2006-06-26 2012-01-25 トヨタ自動車株式会社 車両の減速制御装置
JP5109750B2 (ja) * 2008-03-26 2012-12-26 トヨタ自動車株式会社 運転者状態検出装置、意識状態検出方法
EP2359748B1 (en) 2008-09-18 2020-04-08 Chubu University Educational Foundation Sleepiness signal detector
JP5326521B2 (ja) 2008-11-26 2013-10-30 日産自動車株式会社 覚醒状態判断装置及び覚醒状態判断方法
US8239336B2 (en) * 2009-03-09 2012-08-07 Microsoft Corporation Data processing using restricted boltzmann machines
US8040247B2 (en) * 2009-03-23 2011-10-18 Toyota Motor Engineering & Manufacturing North America, Inc. System for rapid detection of drowsiness in a machine operator
US8369608B2 (en) 2009-06-22 2013-02-05 Toyota Motor Engineering & Manufacturing North America, Inc. System and method for detecting drowsy facial expressions of vehicle drivers under changing illumination conditions
WO2010151603A1 (en) 2009-06-23 2010-12-29 L&P Property Management Company Drowsy driver detection system
US9460601B2 (en) * 2009-09-20 2016-10-04 Tibet MIMAR Driver distraction and drowsiness warning and sleepiness reduction for accident avoidance
US20110077484A1 (en) * 2009-09-30 2011-03-31 Nellcor Puritan Bennett Ireland Systems And Methods For Identifying Non-Corrupted Signal Segments For Use In Determining Physiological Parameters
US20130021462A1 (en) * 2010-03-23 2013-01-24 Aisin Seiki Kabushiki Kaisha Alertness determination device, alertness determination method, and recording medium
WO2011125166A1 (ja) 2010-04-05 2011-10-13 トヨタ自動車株式会社 生体状態判定装置
US9292471B2 (en) * 2011-02-18 2016-03-22 Honda Motor Co., Ltd. Coordinated vehicle response system and method for driver behavior
US8698639B2 (en) * 2011-02-18 2014-04-15 Honda Motor Co., Ltd. System and method for responding to driver behavior
EP2544125A1 (en) * 2011-07-04 2013-01-09 Sabirmedical, S.L. Methods and systems for non-invasive measurement of blood pressure
US8977579B2 (en) * 2011-10-11 2015-03-10 Nec Laboratories America, Inc. Latent factor dependency structure determination
US20130093603A1 (en) * 2011-10-18 2013-04-18 Visteon Global Technologies, Inc. Vehicle system and method for assessing and communicating a condition of a driver
JP2013156707A (ja) 2012-01-26 2013-08-15 Nissan Motor Co Ltd 運転支援装置
US9082239B2 (en) * 2012-03-14 2015-07-14 Flextronics Ap, Llc Intelligent vehicle for assisting vehicle occupants
US20140310379A1 (en) * 2013-04-15 2014-10-16 Flextronics Ap, Llc Vehicle initiated communications with third parties via virtual personality
US20150168174A1 (en) * 2012-06-21 2015-06-18 Cellepathy Ltd. Navigation instructions
US9638537B2 (en) * 2012-06-21 2017-05-02 Cellepathy Inc. Interface selection in navigation guidance systems
US8981942B2 (en) * 2012-12-17 2015-03-17 State Farm Mutual Automobile Insurance Company System and method to monitor and reduce vehicle operator impairment
US8930269B2 (en) * 2012-12-17 2015-01-06 State Farm Mutual Automobile Insurance Company System and method to adjust insurance rate based on real-time data about potential vehicle operator impairment
US9751534B2 (en) * 2013-03-15 2017-09-05 Honda Motor Co., Ltd. System and method for responding to driver state
JP2014181020A (ja) * 2013-03-21 2014-09-29 Denso Corp 走行制御装置
US9430827B2 (en) * 2013-05-31 2016-08-30 Siemens Aktiengesellschaft Segmentation of a calcified blood vessel
US20170279957A1 (en) * 2013-08-23 2017-09-28 Cellepathy Inc. Transportation-related mobile device context inferences
KR101386823B1 (ko) * 2013-10-29 2014-04-17 김재철 동작, 안면, 눈, 입모양 인지를 통한 2단계 졸음운전 방지 장치
US20150317511A1 (en) * 2013-11-07 2015-11-05 Orbeus, Inc. System, method and apparatus for performing facial recognition
CN103770733B (zh) * 2014-01-15 2017-01-11 中国人民解放军国防科学技术大学 一种驾驶员安全驾驶状态检测方法及装置
CN104036451B (zh) * 2014-06-20 2018-12-11 深圳市腾讯计算机系统有限公司 基于多图形处理器的模型并行处理方法及装置
CN104035751B (zh) * 2014-06-20 2016-10-12 深圳市腾讯计算机系统有限公司 基于多图形处理器的数据并行处理方法及装置
US9978013B2 (en) * 2014-07-16 2018-05-22 Deep Learning Analytics, LLC Systems and methods for recognizing objects in radar imagery
US9727798B2 (en) * 2014-07-18 2017-08-08 Acrovirt, LLC Generating and using a predictive virtual personification
US9714037B2 (en) * 2014-08-18 2017-07-25 Trimble Navigation Limited Detection of driver behaviors using in-vehicle systems and methods
US20160052524A1 (en) * 2014-08-25 2016-02-25 Hyundai Motor Company System and method for alerting drowsy driving
JP6548376B2 (ja) * 2014-10-06 2019-07-24 日本電産株式会社 レーダシステム、レーダ信号処理装置、車両走行制御装置および方法、ならびにコンピュータプログラム
KR101646401B1 (ko) * 2014-12-08 2016-08-12 현대자동차주식회사 운전자의 졸음상태 판단 시스템 및 그 판단 방법
US20160267335A1 (en) * 2015-03-13 2016-09-15 Harman International Industries, Incorporated Driver distraction detection system
US20160306876A1 (en) * 2015-04-07 2016-10-20 Metalogix International Gmbh Systems and methods of detecting information via natural language processing
US10438112B2 (en) * 2015-05-26 2019-10-08 Samsung Electronics Co., Ltd. Method and apparatus of learning neural network via hierarchical ensemble learning
US9792531B2 (en) * 2015-09-16 2017-10-17 Siemens Healthcare Gmbh Intelligent multi-scale medical image landmark detection
US9940711B2 (en) * 2015-11-25 2018-04-10 Zebra Medical Vision Ltd. Systems and methods for detecting a fatty liver from a computed tomography (CT) scan
US10332509B2 (en) * 2015-11-25 2019-06-25 Baidu USA, LLC End-to-end speech recognition
US10755395B2 (en) * 2015-11-27 2020-08-25 Canon Medical Systems Corporation Dynamic image denoising using a sparse representation
US20170154258A1 (en) * 2015-11-30 2017-06-01 National Institute Of Information And Communications Technology Joint estimation method and method of training sequence-to-sequence model therefor
WO2017092615A1 (zh) * 2015-11-30 2017-06-08 上海联影医疗科技有限公司 一种计算机辅助诊断系统及方法
US20180082212A1 (en) * 2016-09-20 2018-03-22 Intel Corporation Optimizing machine learning running time
US10929743B2 (en) * 2016-09-27 2021-02-23 Disney Enterprises, Inc. Learning to schedule control fragments for physics-based character simulation and robots using deep Q-learning
WO2018064349A1 (en) * 2016-09-30 2018-04-05 Velo3D, Inc. Three-dimensional objects and their formation
US10127659B2 (en) * 2016-11-23 2018-11-13 General Electric Company Deep learning medical systems and methods for image acquisition
US10074038B2 (en) * 2016-11-23 2018-09-11 General Electric Company Deep learning medical systems and methods for image reconstruction and quality evaluation

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102471214B1 (ko) * 2022-01-21 2022-11-28 퀀텀테크엔시큐 주식회사 IP-Cam 모니터링 방법 및 장치

Also Published As

Publication number Publication date
US10558875B2 (en) 2020-02-11
CN108860153A (zh) 2018-11-23
US20180330177A1 (en) 2018-11-15
CN108860153B (zh) 2022-06-21

Similar Documents

Publication Publication Date Title
KR20180124381A (ko) 운전자의 상태 판단 시스템 및 그 방법
US9007198B2 (en) Adaptive Actuator interface for active driver warning
US20180000398A1 (en) Wearable device and system for monitoring physical behavior of a vehicle operator
EP2564765B1 (en) System and method for improving a performance estimation of an operator of a vehicle
EP2407947B1 (en) On-board warning apparatus and warning method
US20100007479A1 (en) Adaptive driver warning methodology
WO2014148025A1 (ja) 走行制御装置
US20160068103A1 (en) Management of driver and vehicle modes for semi-autonomous driving systems
KR102506871B1 (ko) 자율 주행 제어 장치 및 그의 전방차량 출발 알림 방법
KR101478068B1 (ko) 차량 충돌 방지 장치 및 그 방법
JP6693427B2 (ja) ドライバ状態検出装置
CN105398379B (zh) 驾驶辅助影像显示方法
JP4725254B2 (ja) 脇見判定装置
JP2010125923A (ja) 緊急退避装置
WO2008114839A1 (ja) 覚醒度判定装置及び覚醒度判定方法
US11608070B2 (en) System and method for monitoring driver
JP6631569B2 (ja) 運転状態判定装置、運転状態判定方法及び運転状態判定のためのプログラム
JP2010253033A (ja) 意識低下度判定装置および警報装置
KR101427930B1 (ko) 차량의 안전 운전시스템 및 그 제어방법
WO2009060172A1 (en) Detecting driver impairment
US20220371623A1 (en) Vehicle control apparatus
KR20230116122A (ko) 차량, 차량 충돌방지 시스템 및 충돌방지 방지 방법
JP6983013B2 (ja) 報知装置
JP2010026556A (ja) 運転支援装置、及びプログラム
KR20050057896A (ko) 차량 사고 방지 안전장치 및 제어방법

Legal Events

Date Code Title Description
A201 Request for examination
E902 Notification of reason for refusal
E601 Decision to refuse application
AMND Amendment
E902 Notification of reason for refusal
X601 Decision of rejection after re-examination