KR20170107373A - 상황에 따라 차량의 운전자와 상호 작용을 제공하는 시스템 및 방법 - Google Patents

상황에 따라 차량의 운전자와 상호 작용을 제공하는 시스템 및 방법 Download PDF

Info

Publication number
KR20170107373A
KR20170107373A KR1020170026715A KR20170026715A KR20170107373A KR 20170107373 A KR20170107373 A KR 20170107373A KR 1020170026715 A KR1020170026715 A KR 1020170026715A KR 20170026715 A KR20170026715 A KR 20170026715A KR 20170107373 A KR20170107373 A KR 20170107373A
Authority
KR
South Korea
Prior art keywords
driver
vehicle
module configured
situation
state
Prior art date
Application number
KR1020170026715A
Other languages
English (en)
Inventor
로버츠 미카엘
리차드 거닝 데이비드
발라 라자
디. 덴트 카일
Original Assignee
제록스 코포레이션
팔로 알토 리서치 센터 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 제록스 코포레이션, 팔로 알토 리서치 센터 인코포레이티드 filed Critical 제록스 코포레이션
Publication of KR20170107373A publication Critical patent/KR20170107373A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • G06Q50/30—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/40—Business processes related to the transportation industry
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7235—Details of waveform analysis
    • A61B5/7264—Classification of physiological signals or data, e.g. using neural networks, statistical classifiers, expert systems or fuzzy systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B60K28/066—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver actuating a signalling device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W40/09—Driving style or behaviour
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G06K9/00268—
    • G06K9/00845—
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/10—Services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/163—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state by tracking eye movement, gaze, or pupil change
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B60W2040/0827—Inactivity or incapacity of driver due to sleepiness
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2556/00—Input parameters relating to data
    • B60W2556/45—External transmission of data to or from the vehicle
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/20—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for computer-aided diagnosis, e.g. based on medical expert systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Mathematical Physics (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Theoretical Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Medical Informatics (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Molecular Biology (AREA)
  • Psychiatry (AREA)
  • Veterinary Medicine (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Tourism & Hospitality (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Economics (AREA)
  • Human Resources & Organizations (AREA)
  • Marketing (AREA)
  • Primary Health Care (AREA)
  • Strategic Management (AREA)
  • General Business, Economics & Management (AREA)
  • Evolutionary Computation (AREA)
  • Fuzzy Systems (AREA)
  • Educational Technology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Multimedia (AREA)
  • Child & Adolescent Psychology (AREA)

Abstract

운전자의 상황에 기초하여 상기 운전자와 상호 작용하여 운전자를 계속 깨어 있게 할 수 있다. 이 상황은 관심사를 포함하는 운전자 특성을 결정하고, 차량에 포함된 센서, 차량의 상태 및 운전자의 현재 위치에 대한 정보를 사용하여 운전자의 상태와 같은 운전자를 둘러싼 상황을 모니터링함으로써 결정될 수 있다. 특성 및 모니터된 상황은 운전자의 상황을 규정한다. 운전자가 관심을 갖는 정보가 얻어지고 이 정보는 운전자의 상황에 기초하여 운전자에게 추천 가능한 동작을 생성하는 데 사용된다. 동작은 운전자를 깨어 있게 하는데 사용된다.

Description

상황에 따라 차량의 운전자와 상호 작용을 제공하는 시스템 및 방법{SYSTEM AND METHOD FOR PROVIDING CONTEXT-SPECIFIC VEHICULAR DRIVER INTERACTIONS}
본 출원은 일반적으로 차량 안전에 관한 것이고, 보다 상세하게는 상황에 따라 차량 운전자와 상호 작용을 제공하는 시스템 및 방법에 관한 것이다.
깨어 있는 운전자는 도로 안전의 필수 요건이다. 불행히도, 수면 시간 부족, 장시간 근무 및 장거리 통근과 같은 현대 생활의 끊임 없는 요구로 인해 많은 사람들이 너무 피곤해서 도로에 집중할 수 없는 때에도 도로를 삼가지 않고 피곤한 상태임에도 불구하고 운전할 수 있다. 따라서 미국에서 한 여론 조사에 따르면 성인 운전자의 60%는 졸음 운전을 한 반면, 3 분의 1 이상은 실제로 지난 1 년 동안 자동차에서 잠든 것으로 나타났다. 이러한 운전자는 도로 상태, 도로 위 다른 차량과 보행자에 대해 제 시간에 반응하지 않을 수 있으며, 치명적인 자동차 사고를 당할 위험이 증가한다. 운전자가 자동차에 완전히 잠들어 있을 경우 이러한 위험이 더 커진다. 일관되게, 미국 고속도로 교통국(National Highway Traffic Administration)은 미국에서 경찰이 보고한 적어도 10만 건의 충돌 사고가 운전자의 피로에 기인한 것이고 이에 따른 사망자가 1,550명이라고 추정한다.
피로와 관련된 충돌을 막으려고 시도하는 여러 기술이 있지만 이상적인 것은 아니다. 예를 들어, 나드-자퍼(Nad-Zapper)(상표명) 졸음 방지 알람(Anti-Sleep Alarm)은 운전자의 귀 뒤에 착용할 수 있는 동작 감지기를 포함하고 이 동작 감지기는 운전자의 머리가 특정 속도로 앞으로 기울어질 때 알람을 울려 운전자를 깨운다. 그러나 이 알람은 운전자가 잠든 후에만 활성화되어 차량의 통제력을 상실할 위험이 있어서 잠든 운전자에 위험한 상황이 발생하는 것을 막지 못한다. 또한, 그 다음 잠들 때까지 운전자가 깨어 있게 하기 위해 알람이 하는 일은 아무 것도 없다.
유사하게, 디어본 미시간(Dearborn Michigan)에 소재하는 포드(Ford)(등록상표) 모터사(Motor Company)에서 생산한 운전자 경보 시스템과 같은 다른 시스템은 운전자가 차량 통제력을 상실했는지를 결정하기 위해 차량의 측면 위치, 조향 휠 각도 및 속도의 변화를 평가한다. 그러나 이러한 기술은 자동차가 직선 도로에 있는 동안 불과 수 초 지속되는 마이크로 수면을 감지하지 못하고, 사고가 일어나기 전에 운전자를 깨우는 시도를 하지 못할 수 있다. 또한, 이러한 시스템은 운전자가 실제로 차량의 통제력을 상실하기 전에 도로에 머물러야 하는 운전자가 깨어 있게 하려고 시도하지 않는다.
마찬가지로 스웨덴의 고덴버그(Gothenburg)에 소재하는 볼보(Volvo)(등록상표) 그룹에서 연구한 시스템은 차량의 카메라를 사용하여 운전자를 시각적으로 분석하고 이미지를 처리하여 운전자의 얼굴에서 졸음의 징후를 감지한다. 졸음의 징후를 감지하면, 이 시스템은 운전자가 휴식이 충분할 만큼 쉴 것이라는 가정 하에 운전자가 졸음 운전을 하고 있다는 경고를 운전자에 제시한다. 이러한 시스템은 운전자가 깨어 있는 정도를 직접 증가시키지 않으며 특정 상황에서 운전자가 휴식을 취하는 것이 가능하지 않을 수도 있으므로 이러한 시스템의 경고는 운전자에 의해 무시될 수 있다.
따라서, 운전자의 깨어 있음 레벨을 측정하고 운전자가 졸았을 때 깨어 있음 레벨을 증가시키는 방법이 요구된다.
운전자의 상황에 따라 운전자와 상호 작용하는 것은 운전자가 깨어 있는 것을 도와줄 수 있다. 이러한 상황은, 운전자의 관심을 포함하는 운전자의 특성을 결정하고, 차량에 포함된 센서를 사용하여 운전자의 상태, 차량의 상태 및 운전자의 현재 위치에 대한 정보와 같은 운전자를 둘러싼 상황을 모니터링함으로써 결정될 수 있다. 이 특성과 모니터링된 상황은 운전자의 상황을 규정한다. 운전자가 관심을 갖는 정보가 얻어지고 운전자의 상황에 기초하여 이 정보는 운전자에게 추천 가능한 동작(action)을 생성하는 데 사용된다. 이 동작은 운전자를 깨어 있게 하는 데 사용된다.
일 실시예에서, 차량 운전자의 상황에 따라 동작을 수행하는 시스템 및 방법이 개시된다. 운전자의 상태를 결정하는 단계; 상기 차량의 상태를 결정하는 단계; 및 상기 운전자의 하나 이상의 특성을 결정하는 단계를 포함하는 차량의 운전자의 상황이 결정된다. 이 상황에 따라 운전자에 대해 상기 시스템이 수행할 하나 이상의 동작이 추천된다. 추천된 동작 중 하나 이상이 수행된다.
본 발명의 또 다른 실시예는 본 발명을 실시하기 위해 고려되는 최선의 모드를 예시하여 본 발명의 실시예를 설명하는 다음의 상세한 설명으로부터 이 기술 분야에 통상의 지식을 가진 자에게는 용이하게 드러날 것이다. 이해되는 바와 같이, 본 발명은 다른 실시예 및 여러 실시예가 가능하고 본 발명의 사상과 범위를 벗어나지 않으면서 여러 상세사항이 여러 자명한 관점에서 변형될 수 있을 것이다. 따라서, 본 도면과 상세한 설명은 본질적으로 예시적인 것으로 간주되어야 하며, 이로 제한되지 않는다.
도 1은 일 실시예에 따라 차량 운전자의 상황에 따라 동작을 수행하는 시스템을 보여주는 블록도이다.
도 2는 일 실시예에 따라 차량 운전자의 상황에 따라 동작을 수행하는 방법을 나타내는 흐름도이다.
도 3은 일 실시예에 따라 도 2의 방법에서 사용되는 운전자의 상황을 결정하는 루틴을 나타내는 흐름도이다.
도 4는 일 실시예에 따라 도 3의 루틴에서 사용되는 운전자 상태를 모니터링하는 루틴을 나타내는 흐름도이다.
도 5는 일 실시예에 따라 도 4의 루틴에서 사용되는 정밀한 시선 추정(fine gaze estimation)을 수행하는 루틴을 나타내는 흐름도이다.
도 6은 일 실시예에 따라 도 2의 방법에서 사용되는 운전자 특성을 결정하는 루틴을 나타내는 흐름도이다.
도 7은 일 실시예에 따라 도 2의 방법에서 사용되는 운전자에게 취할 동작을 추천하는 루틴을 나타내는 흐름도이다.
운전자의 현재 상황에 기초하여 운전자와 상호 작용을 맞춤 설정하는 것에 의해 운전자의 깨어 있는 정도와 그에 따라 도로 안전을 향상시킬 수 있다. 도 1은 일 실시예에 따라 차량 운전자의 상황에 따라 동작을 수행하는 시스템(10)을 나타내는 블록도이다. 시스템(10)은 차량(15)의 운전자(14)의 상태(13)를 모니터링하는 일을 수행하는 감지 및 비전 모듈(12)을 실행하는 하나 이상의 서버(11)를 포함한다. 운전자의 상태는 운전자가 깨어 있는지 또는 졸고 있는지를 나타낼 수 있지만, 다른 상태도 가능하다. 예를 들어, 또 다른 실시예에서, 운전자의 상태(13)는 운전자의 감정을 포함할 수 있다. 감지 및 비전 모듈(12)은 차량(15) 내부의 하나 이상의 센서와 상호 작용하여 상태를 모니터링한다. 센서는 운전자를 모니터링하는 적어도 하나의 운전자-지향 디지털 카메라(16)를 포함한다. 카메라(16)는 가시광 이미지를 기록하는 카메라(16)일 수 있고; 대안적으로 카메라(16)는 적외선 카메라(16)일 수도 있다. 다른 종류의 카메라도 가능하다. 또한 다른 센서가 사용자를 모니터링할 수 있다. 예를 들어, 생체 인식 센서(biometric sensor)가 운전자에 의해 착용될 수 있는데, 예를 들어 스마트워치(smartwatch)(17)에 통합될 수 있고, 운전자(14)의 생리학적 데이터를 감지할 수 있다. 따라서, 센서는 운전자의 광 체적 변동 파형(photoplethysmogram)("PPG 웨이브")을 기록할 수 있는 스마트워치(17)에 통합된 펄스 옥시미터(pulse oximeter)일 수 있다. 또 다른 종류의 센서도 가능하다.
서버(11)는 특정 시점에서 운전자와 관련된 환경의 세트인 운전자의 상황을 결정하는 상황 모듈(18)을 더 실행한다. 이 상황은 상황 그래프(19)로 표현되고, 이 상황 그래프는 상황 모듈(18)에 저장되고 백업 저장 매체(20)에 추가적으로 저장될 수 있다. 상황 그래프(19)는 의미 그래프(19)이다(여기서 상황 그래프는 아래의 설명에서 "의미 그래프(19)"라고도 언급된다). 운전자(140)의 상태에 더하여, 의미 그래프(19)는, 차량의 속도 또는 차량의 엔진의 분당 반복수, 차량 전방의 임의의 물체, 차량(15)이 주행하는 도로의 상태, 및 차량이 도로 상의 차선에 대한 위치를 유지하는지 여부(이는 차량 내의 센서를 사용하여 결정될 수 있음)와 같은 차량(15)의 상태(21)를 반영하지만, 다른 종류의 차량 상태 정보도 또한 가능하다. 또한, 저장 장치(20)는 특정 도시 또는 지역과 같은 운전자의 위치에 관한 공간 데이터(22)를 포함할 수 있으나 다른 종류의 지리적 위치도 가능하다. 공간 데이터(22)는 위치에서 레스토랑, 상점 및 기타 관심 지점에 관한 데이터를 포함할 수 있다. 공간 데이터(22)는 인터넷 또는 셀룰러 네트워크와 같은 인터네트워크(Internetwork)(23)를 통해 액세스 가능한 하나 이상의 웹 페이지(21)로부터 상황 모듈(18)에 의해 획득될 수 있다. 상황 모듈(18)은, 차량에 내장되어 있는 GPS 수신기를 사용하여 얻을 수 있고 인터네트워크(23)에 접속할 수 있는 차량(15)에 내장된 무선 송수신기를 통해 송신될 수 있는 차량의 현재 위치를 수신하고, 위치된 운전자에 인접한 관심 지점을 식별할 수 있다. 상황 모듈(18)은 관심 지점들을 의미 그래프(19)에 포함할 수 있다.
추가적인 실시예에서, 차량(15)의 센서, 예를 들어, 카메라 또는 다른 센서는, 운전자가 주행에 주의를 집중할 필요가 있고 산만하지 않아야 하는 높은 부하; 주행하는데 운전자가 약간 주의를 기울어야 하고 대화를 위한 추가적인 부하가 허용되는 보통 부하; 또는 운전자가 주차 중이거나 신호등에서 한가할 때의 낮은 부하와 같은 운전자의 부하(도시되지 않음)를 측정할 수 있다. 이 부하는 눈의 깜박임 속도(blinking rate)(이는 아래에 설명된 바와 같이 결정될 수 있음)를 평가하거나, 안구의 도약 운동(saccade) 또는 동공의 확장(pupil dilation)을 측정하여 측정될 수 있으나, 운전자의 부하를 평가하는 다른 방법도 가능하다. 센서로부터 데이터는 무선 트랜시버에 의해 센서로 전송되어 의미 그래프(19)에 통합될 수 있다. 의미 그래프(19)는 2015년 12월 8일자로 등록된 로버츠(Roberts) 등의 공동 양도된 미국 특허 제9,208,439호에 개시된 바와 같이 운전자 상태(13), 차량 상태(21), 위치 정보(22) 또는 다른 정보로부터 생성될 수 있다. 의미 그래프(19)를 생성하는 다른 방법도 가능하다.
서버(11)는, 운전자에 관한 정보를 수집하고, 수집된 정보에 기초하여, 예를 들어, 운전자의 현재 및 과거 관심사와 같은 운전자의 특성을 습득하는 개인 데이터 모듈(24)을 더 실행하지만, 운전자의 다른 특성도 가능하고, 이 특성은, 도 5를 참조하여 아래에서 더 설명된 바와 같이 운전자의 프로파일(25)로 표현된다. 간단히, 개인 데이터 모듈은 인터네트워크(23)를 통해 서버(11)에 의해 검색될 수 있는 운전자와 관련된 웹 콘텐츠(26)로부터 데이터 항목을 추출(23)한다. 웹 콘텐츠(26)는 운전자에 의한 소셜 네트워킹 게시물(social networking post) 또는 운전자의 소셜 네트워크 접속, 운전자가 가입한 RSS 피드(feed), 하나 이상의 서버(27) 상에 유지되는 운전자의 소셜 네트워크 프로파일과 같은 정보 피드를 포함할 수 있으나, 다른 종류의 웹 콘텐츠(26)도 가능하다.
추출된 데이터 항목은 저장 장치(20)에 저장될 수 있는 주제의 계층(28)(이는 여러 카테고리로 그룹화된 주제를 포함할 수 있음)과, 개인 데이터 모듈(24)에 의해, 비교되지만, 다른 종류의 비교도 가능하다. 이 비교에 기초하여, 각 데이터 항목과 연관된 계층(28)의 주제가 식별된다. 식별된 주제에 기초하여, 데이터 항목은 균일한 파라미터 공간으로 분류될 수 있다. 특히, 일 실시예에서, 표현 벡터는 데이터 항목들 각각에 대해 식별된 주제로부터 생성될 수 있다. 이러한 벡터는 계층적인 주제 면에서 문서의 분류를 나타내고, 이 데이터 항목의 내용에 고유한 고차원 벡터 공간의 한 점을 한정한다. 벡터는 데이터 항목의 오래된 정도(age)에 기초하여 가중될 수 있으며, 보다 최근 데이터 항목의 벡터가 더 많이 가중된다. 가중된 벡터들은 운전자의 현재 및 과거 관심사를 기술하는 기술 벡터에서 운전자의 프로파일(25)로 기능하는 단일 벡터로 결합된다. 벡터 내의 필드는 계층(28)에 포함된 주제와 관련된 수치 값에 대응한다. 추가적인 실시예에서, 개인 데이터 모듈(24)은 다수의 사용자와 관련된 벡터를 결합하여 집단 사전 분포(population prior)(29)를 형성할 수 있다.
이 사전 분포(29)는 클러스터 형성(clustering) 및 감독 없는 학습과 같은 기술을 통해 생성될 수 있지만 다른 기술도 가능하다. 예를 들어, 사전 분포(29)는 유사성에 기초하여 프로파일(25)을 결합하기 위한 추천을 하는데 사용될 수 있는 협력 필터링 규칙을 통해 구성될 수 있다. 유사하게, 집단 사전 분포는 프로파일(25) 내 운전자의 나이 및 다른 데이터와 같은 운전자(13)와 관련된 다른 정보에 기초하여 구성될 수 있다. 집단 사전 분포를 생성하는 또 다른 방법도 가능하다. 특정 운전자의 프로파일(25)에 가장 가까운 집단 사전 분포는 아래에서 더 설명된 바와 같이 운전자 프로파일(25) 대신에 동작을 추천하는데 사용될 수 있다.
의미 그래프(19)와 운전자(14)의 프로파일(25)(또는 가장 가까운 사전 분포)은 함께 서버(11)에 의해 실행되는 추천기(30)에 의해, 운전자의 개인 특성(예를 들어, 자신의 관심사), 운전자의 상태, 차량의 상태 및 위치를 포함하는 운전자의 현재 상황을 나타내는 단일 벡터 공간인 "현재 상황" 벡터(31)로 병합된다. 또한, 추천기(30)는 운전자(14)에 취할 수 있는 가능한 동작(32)의 리스트에 액세스한다. 이러한 동작은 운전자(14) 및 다른 동작으로 실행될 특정 대화 패턴을 포함할 수 있다. 예를 들어, 이러한 동작은 운전자(14)의 소셜 네트워킹 접속에 의해 만들어진 소셜 네트워킹 게시물과 같은 주제에 대해 운전자(14)와 대화하는 것; 및 운전자(14)가 자기에게 새로운 이야기를 읽어주기를 원하는지, 주변의 특정 관심 지점에 관해 듣고 싶은지 여부를 운전자(14)에게 물어보는 것을 포함할 수 있다. 리스트(32)에서 또 다른 가능한 동작도 가능하다. 가능한 동작은 구현을 위해 추천될 수 있는 파라미터화된 추천 가능한 동작(33)을 생성하는 데 사용된다.
추천 가능한 동작(33)을 생성하기 위해, 추천기(30)는 운전자(14)가 접속한 최근의 소셜 네트워크, 최근의 새로운 이야기와 같이 웹 콘텐츠(26)로부터 운전자와 관련된 현재 정보를 나타내는 최근의 데이터 항목을 추출하고, 추출된 컨텐츠를 사용하여 가능한 동작을 파라미터화한다. 이 동작(33)은 현재 상황 벡터(31)에 기초하여 더 생성된다. 따라서, 예를 들어, 가능한 동작(32)이 운전자와 대화를 하는 경우, 벡터(31)에 표시된 운전자의 관심은 요리(cooking)를 포함하고, 추출된 현재 정보는 요리에 관한 소셜 네트워킹 게시물을 포함하고, 생성된 동작은 추출된 소셜 네트워킹 게시물에 관한 대화일 수 있다.
생성된 추천 가능한 동작 각각은 고차원 벡터 공간에서 동작을 나타내는 특성화 벡터로 표현된다. 벡터 공간은 주제의 계층 표현에 대응한다. 예를 들어, 중국/아시아 퓨전 레스토랑인 관심 지점에 관해 이야기하는 경우, "아시아 퓨전 요리(Asian Fusion Cuisine)" 및 "중국 요리(Chinese Cuisine)"에 대한 기술 벡터에서 높은 값을 가질 수 있다. 유사하게, 사용자가 졸음이 올 때 재생하도록 의도된 콘텐츠의 일부는 "졸음" 상태에서 높은 값을 가질 수 있다. 이러한 컨텐츠가 친한 친구가 만든 게시물과 또한 관련이 있는 경우 콘텐츠는 가까운 친구가 아닌 친구 항목에는 0과 대조적으로 1에 가까운 "친한 친구" 값을 가질 수 있다.
나아가, 생성된 동작들(32) 중 적어도 일부는 동작이 구현되기 전에 충족되어야 하는 트리거링 조건(34)과 연관될 수 있으며, 이에 대해서는 이하에서 더 설명된다. 예를 들어, 운전자(14)와 대화하는 것을 포함하는 동작은 운전자의 인지 부하가 대화를 안전하게 수행할 만큼 충분히 낮은 것에 의해 트리거될 때까지 구현되지 않을 수 있다. 유사하게, 특정 관심 지점에 대한 대화는 주변 관심 지점에 의해 트리거될 수 있다.
추천기(30)는 생성된 동작의 특성화 벡터를 분석하여 이들에 랭킹을 부여한다. 이 랭킹은 복수의 방식으로 수행될 수 있다. 예를 들어, 특성화 벡터들은 운전자 프로파일(25)과의 친밀도에 기초하여 비교될 수 있다. 예를 들어, 일 실시예에서, 특성화 벡터의 슬롯 내의 값은, 운전자의 프로파일(25)인 벡터 내의 대응하는 슬롯의 값과 곱해진 다음, 이 값들을 합하여서 그 항목에 대한 스코어로 제시된다. 추천기(30)는 상이한 벡터에 대한 스코어들을 비교하고, 이 비교에 기초하여 추천 가능한 동작(33)에 대한 벡터를 랭킹화한다. 추가적인 실시예에서, 동작이 이전에 수행되었는지 여부를 나타내는 참신성(novelty) 및 특정 동작이 이전에 얼마나 최근에 수행되었는지를 나타내는 최신성(recency)에 기초하여 동작에 랭킹이 부여될 수 있다. 또 다른 실시예에서, 다수의 기술을 사용하여 다수의 랭킹이 부여될 수 있으며, 그 결과 차동적으로 가중되고 결합된다. 가중치는 기계 학습을 사용하여 최적화할 수 있다.
상위 2개의 스코어 벡터와 같은 특정 랭킹의 벡터를 갖는 동작(33)이 실행을 위한 것으로 추천기(30)에 의해 추천된다. 또 다른 실시예에서, 다른 랭킹의 다른 동작(33)도 또한 사용될 수 있다. 데이터 항목을 생성하고 추천하는 것은, 2015년 5월 21일에 공개된 로버트(Roberts) 등의 공동 양도된 미국 특허 출원 번호 2015/0142785, 및 2008년 4월 5일 벨로티(Belotti) 등의 "마기티 모바일 레저 가이드를 통한 활동 기반의 유리한 추천(Activity-based serendipitous recommendations with the Magitti mobile leisure guide)"(CHI2008)에 개시된 바와 같이 수행될 수 있다.
추천된 동작(33)은 서버(11)에 의해 구현되는 동작 모듈(35)에 의해 구현된다. 동작 모듈(35)은 운전자(14)와 자연어 대화에 관여하는 자연어 구성 요소(35)를 포함한다. 이 대화는 2015년 10월 15일에 공개된 공동 양도된 미국 특허 출원 공개 번호 2015/0293904에 기술된 바와 같이 수행될 수 있다. 추천기(30)는, 추천된 동작(33)을, 직렬화된 JSON 객체의 형태와 같은 다양한 형태로, 동작 모듈(35)에 제공할 수 있는데, 이 객체는, 동작(33)을 나타내는 것에 더하여, 운전자(14)의 현재 상태(13), 및 동작을 구현하는데 필요한 임의의 정보를 포함할 수 있다. 따라서, 제공된 정보는 관련된 참여 지점들(이 운전자가 졸고 있고 부근의 관심 지점)에서 동작을 취하기 위한 트리거(34); 의미 그래프(19)로부터 검색된 운전자의 깨어있는 상태에 관한 (정보가 실시간으로 변하기 때문에 업데이트된 정보를 갖는) 상황 정보; 운전자(14)의 프로파일(25)로부터의 개인 데이터, 및 추천된 동작(33)을 구현하는데 사용될 수 있는 소셜 네트워킹 업데이트, 및 스포츠 및 엔터테인먼트와 같은 추출된 웹 콘텐츠(26)를 포함할 수 있다. 동작 모듈은 운전자 상태(13) 및 다른 제공된 정보를 분석하여 트리거링 조건(34)이 발생하였고 발생된 트리거링 조건(34)과 관련된 추천 동작을 수행할 때를 인식한다.
자연어 구성 요소(35)는 대화 프롬프트 및 대화 동작을 지원할 수 있다. 대화 프롬프트에 의해 구성 요소(36)는 소셜 네트워킹 게시물을 읽거나 게임을 하는 것과 같이 미리 한정된 패턴 중 하나를 호출할 수 있다. 대화 동작은 음악 선택을 확인하는 것과 같이 다른 모듈과 더 간단한 상호 작용을 제공한다. 예를 들어, 운전자가 졸음을 느끼지 못하게 경쾌한 멜로디(upbeat tune)를 추천하는 경우, 추천기(30)는 컨펌튠(ConfirmTune)(X)에 요청을 발행할 수 있는데, 여기서 X는 운전자의 현재 상태 및 알려진 선호도에 따라 추천되는 멜로디이다. 이 요청에 의해 자연어 구성 요소(36)는 운전자의 질문에 답하고 제안된 음악에 대해 운전자는 승인 또는 거부를 제공할 수 있다.
동작 모듈(36)은 추천된 동작을 수행하기 위해 인터네트워크(23)를 통해 차량에 위치된 운전자 인터페이스(37)를 통해 운전자(14)와 상호 작용한다. 일 실시예에서, 운전자 인터페이스(37)는 소프트웨어 구성 요소일 수 있고, 여행 또는 네비게이션 컴퓨터, 후사경 모니터 및 다른 구성 요소와 같이 차량(15)에 통합된 온보드 컴퓨터 시스템을 사용할 수 있다. 추가적인 실시예에서, 운전자 인터페이스(37)는 시스템(10)에 전용된 부분이어서 다른 탑재 차량 구성 요소에 의해 사용되지 않는 하드웨어 구성 요소를 포함할 수 있다. 운전자 인터페이스(37)는 인터페이스가 음성을 전달할 때 형상과 불투명도를 변화시키는 애니메이션 링 형태와 같은 시각적 디스플레이를 포함할 수 있지만, 인터페이스의 다른 시각적 표현도 가능하다. 동작 모듈(35)이 특정 대화에 관여하도록 결정되면, 동작 모듈(35)은 운전자(14)에게 말할 텍스트를 차량 내 TTS(text-to-speech) 변환을 수행하는 에이전트 인터페이스(37), 예를 들어, 매사추세츠주, 버링톤(Burlington)에 소재하는 뉘앙스 커뮤니케이션즈사(Nuance Communications, Inc.)에서 제조한 뉘앙스(Nuance(등록상표)와 같은 이용가능한 TTS 소프트웨어를 상업적으로 사용하여 텍스트 변환을 수행할 수 있다. 수신된 음성은 자연어 음성이다. 이 음성은 차량(15)에 통합된 스피커(도시되지 않음)를 통해 전달된다. 운전자(14)의 응답은 운전자 인터페이스(13)에 연결된 하나 이상의 마이크로폰을 통해 픽업되고 운전자(14)와 더 상호 작용하는 데 사용될 수 있다. 인터페이스(37)는 적절한 음성-텍스트 변환 소프트웨어를 사용하여 음성-텍스트 변환을 수행하기 전에 운전자 음성에 기본 임계값을 적용하고 다른 필요한 오디오 프로세싱을 수행하고, 분석을 하고 대화를 계속 수행하거나 또는 다른 동작을 취하기 위해 텍스트를 자연어 구성 요소(36)에 송신한다. 인터페이스(37)는 또한 사용자를 깨우기 위해 사용자에게 플래시될 수 있는 라이트와 같은 동작을 취하는 다른 구성 요소를 더 포함할 수 있다. 운전자 인터페이스(37)의 다른 구성 요소도 가능하다.
전술한 바와 같이, 서버(11)는 본 명세서에 개시된 실시예를 수행하는 다수의 모듈을 포함한다. 이들 모듈은 종래의 프로그래밍 언어의 소스 코드로 작성된 컴퓨터 프로그램 또는 절차로서 구현될 수 있고, 객체 또는 바이트 코드로서 중앙 처리 장치에 의해 실행되기 위해 제공된다. 대안적으로, 이들 모듈은 또한 집적 회로 또는 판독 전용 메모리 성분에 구워진 하드웨어로 구현될 수 있으며, 각 서버는 특수화된 컴퓨터로 동작할 수 있다. 예를 들어, 모듈이 하드웨어로 구현되는 경우, 특정 하드웨어는 위에서 설명한 통신을 수행하도록 특수화되고 다른 컴퓨터는 사용할 수 없다. 추가적으로 모듈이 판독 전용 메모리 성분에 구워지면 판독 전용 메모리를 저장하는 컴퓨터는 위에서 설명한 작업을 수행하도록 특수화되고 다른 컴퓨터에서는 수행될 수 없다. 소스 코드와 객체 및 바이트 코드의 다양한 구현 예는 플로피 디스크, 하드 드라이브, 디지털 비디오 디스크(DVD), 랜덤 액세스 메모리(RAM), 판독 전용 메모리(ROM) 및 유사한 저장 매체와 같은 컴퓨터 판독가능한 저장 매체에 유지될 수 있다. 다른 유형의 모듈 및 모듈 기능도 가능하고 다른 물리적 하드웨어 성분도 가능하다. 예를 들어, 서버(11)는 입력/출력 포트, 네트워크 인터페이스 및 비 휘발성 저장 장치와 같은 프로그래밍가능한 컴퓨팅 장치에서 발견되는 다른 성분을 포함할 수 있으나, 다른 성분들도 가능하다. 서버(11)와 저장 장치(20)는 클라우드 컴퓨팅 환경의 일부이거나 전용 서버일 수 있다.
운전자의 상황과 관심사에 따라 운전자에 취할 동작을 맞춤 설정하면 운전자가 깨어 있게 하고 안전 운전을 유지하는 데 도움이 될 수 있다. 도 2는 일 실시예에 따른 차량 운전자의 상황에 따라 동작을 수행하는 방법(40)을 나타내는 흐름도이다. 방법(40)은 도 1의 시스템을 이용하여 구현될 수 있다. 도 3을 참조하여 아래에서 더 설명된 바와 같이, 현재 운전자의 상황이 결정된다(단계 41). 도 6을 참조하여 아래에서 더 설명된 바와 같이 운전자에 취할 하나 이상의 동작이 추천된다. 추천된 동작 중 하나 이상이 수행되고, 방법(40)이 종료된다(단계 43). 도 1을 참조하여 전술된 바와 같이, 추천된 동작은 운전자와 대화에 참여하는 것이거나 또는 운전자가 계속 개입하게 하는 다른 동작을 수행하는 것을 포함할 수 있다. 도 1을 참조하여 전술된 바와 같이, 추천된 항목들 중 적어도 일부는 트리거와 관련될 수 있고, 이는 추천된 동작과 연관된 트리거가 인식될 때 실행된다. 일부 동작은 트리거와 관련되지 않을 수도 있으며 추천될 때 실행될 수 있다.
운전자 상황은 여러 구성 요소를 포함할 수 있다. 도 3은 일 실시예에 따라 도 2의 방법에 사용되는 운전자의 상황을 결정하는 루틴(50)을 나타내는 흐름도이다. 운전자의 상태는 카메라와 같이 차량에 포함된 하나 이상의 센서를 사용하여 결정되지만(단계 51), 도 4를 참조하여 아래에서 더 설명된 바와 같이, 상황을 결정하는 다른 방법도 가능하다. 차량의 상태는 차량의 센서를 사용하여 결정된다(단계 52). 인터넷으로부터 정보를 검색하는 것과 같이, 운전자가 현재 위치하는 위치에 대한 공간 정보가 얻어진다(단계 53). 운전자의 상태, 차량의 상태 및 공간 정보는 의미 그래프로 표현된다(단계 54). 운전자의 프로파일을 포함하는 운전자 특성이 도 6을 참조하여 아래에서 더 설명된 바와 같이 결정되고(단계 55); 또 다른 실시예에서, 프로파일들의 사전 분포가 생성될 수 있다(도시되지 않음). 운전자 특성, 운전자 상태, 차량 상태 및 현재 위치 정보를 포함하는 현재 상황을 특징짓는 벡터가 도 5를 참조하여 아래에서 더 설명된 바와 같이 의미 그래프를 운전자 프로파일(또는 운전자 프로파일에 가장 가까운 사전 분포)에 병합함으로써 생성되고(단계 56), 루틴(50)이 종료된다.
도 4는 일 실시예에 따라 도 3의 루틴에서 사용되는 운전자 상태를 모니터링하는 루틴(60)을 나타내는 흐름도이다. 처음에, 차량의 카메라에 의해 캡쳐된 이미지에 대해 정면, 좌측 및 우측 얼굴 검출기를 동시에 실행함으로써 코스(course) 자세 추정(좌측-전방-우측)이 수행된다(단계 61). 정면 얼굴 자세로서 검출된 프레임들에 대해, 칼만 필터를 적용하는 것과 같은 기술에 의해 시간에 따라 얼굴 표식 특징들의 세트가 검출되고 추적되지만, 다른 기술도 가능하다(단계 62). 이 특징에는 눈, 코, 및 입 등과 같은 얼굴 팻(face pat)의 상대적 위치가 포함될 수 있지만 다른 특징도 가능하다. 도 5(단계 63)를 참조하여 더 설명된 바와 같이, 운전자가 보고 있는 곳을 추정하는데 사용되는 운전자 특징을 갖는 특징에 기초하여 공통 방향을 보는 운전자의 정밀한 시선 추정이 수행된다. 일 실시예에서, 8개의 다른 방향에 대해 시선 추정이 수행되지만, 다른 실시예에서는 다른 개수의 방향도 가능하다. 정밀한 시선 추정의 결과는 운전자의 산만의 정도를 측정하기 위해 운전자 루트 및 차량 속도와 같은 다른 상황 정보와 결합된다(단계 64). 눈의 깜박임 속도 및 눈이 감긴 퍼센트와 같은 눈 메트릭이 카메라를 사용하여 추정된다(단계 65). 문헌[E. Murphy-Chutorian, M. Trivedi, "Head Pose Estimation in Computer Vision: A Survey", IEEE TPAMI, vol. 31, no. 4, pp. 607-626, 2009 및 E. Murphy-Chutorian, A. Doshi, M. M. Trivedi, "Head Pose Estimation for Driver Assistance Systems: A Robust Algorithm and Experimental Evaluation", IEEE ITSC, 2007]에서 설명된 기술을 사용하여, 끄덕임 및 처짐 동작의 빈도와 같은 머리 동작이 추정되지만, 다른 기술도 가능하다(단계 66). 문헌[B. Lee and W. Chung, "Driver alertness monitoring using fusion of facial features and bio-signals", IEEE Sensors Journal, Vol. 12, No. 7, pp. 2416-2422]에 설명된 바와 같이, 운전자에 의해 착용된 PPG 파형 센서의 출력이 얻어지고 피크-투-피크 통계 및 전력 스펙트럼 밀도와 같은 PPG 파형의 특징이 계산되지만, 이 특징을 계산하는 다른 방법도 가능하다(단계 67). 계산된 PPG 파형, 추정된 눈 메트릭 및 추정된 머리 움직임은 다른 시간대로부터 긴 여행에서 방금 돌아온 운전자와 같은 운전자에 대한 시각 및 기타 관련 정보와 같은 다른 상황 정보(이 정보는 처리될 수 있고 의미 그래프에 포함될 수 있고, 운전자 차량의 센서에 기초하여 결정되거나 또는 소셜 네트워킹 게시물을 분석함으로써 결정될 수 있지만, 이러한 정보를 결정하는 다른 방법도 가능하다)와 결합되어 운전자의 졸음의 정도를 제공한다(단계 68). 선택적으로, 추정된 메트릭은 운전자에게 디스플레이될 수 있거나 인터네트워크와의 접속을 통해 제3자에게 제공될 수 있고(단계 69), 루틴(60)이 종료된다. 또 다른 실시예에서, 차량 내의 센서를 사용하여 운전자의 몸짓이나 운전자를 둘러싼 환경과 같은 다른 데이터를 분석할 수 있다.
운전자가 보는 방향을 추정하는 것이 운전자가 얼마나 졸리는지 결정하는데 도움이 될 수 있다. 도 5는 일 실시예에 따라 도 4의 루틴(60)에서 사용되는 정밀한 시선 추정을 수행하는 루틴(70)을 나타내는 흐름도이다. 알려진 방향을 바라보는 운전자에 대한 하나 이상의 비디오가 기록되고 알려진 방향으로 라벨링된다(단계 71). 이 비디오는 저장 장치에 저장될 수 있다. 각각의 트레이닝 비디오에서 운전자의 얼굴 특징이 식별된다(단계 72). 단계(62)에서 획득된 운전자의 얼굴 특징은 트레이닝 비디오의 얼굴 특징과 비교되고(단계 73), 이 비교에 기초하여 정밀한 시선 추정이 수행된다. 통일성(coherency)과 일관성(consistency)을 획득하기 위해 인접 프레임들에 걸쳐 시선 추정한 것에 대해 시간적 평활화가 수행되고(단계 74), 루틴(70)이 종료된다.
도 6은 일 실시예에 따라 도 2의 방법(40)에서 사용되는 운전자 특성을 결정하는 루틴(80)을 나타내는 흐름도이다. 운전자와 관련된 데이터 항목, 운전자 관심사, 소셜 네트워킹 접속을 포함하는 사용자 모델은 운전자가 속한 소셜 네트워크 또는 운전자가 속한 다른 웹 사이트와 같은 사용자가 생성한 컨텐츠를 호스팅하는 웹 컨텐츠로부터 추출된다(단계 81). 추출된 데이터 항목은 주제의 계층과 비교되고, 계층 모자 내의 주제가 식별된 각 데이터 항목과 연관된다(단계 82). 데이터 항목들은 식별된 주제를 사용하여 균일한 파라미터 공간에서 분류될 수 있다(단계 83). 도 1을 참조하여 전술된 바와 같이, 일 실시예에서, 분류는 식별된 주제를 표현하는 벡터를 생성하는 것을 포함할 수 있다. 각 데이터 항목에 대한 벡터는 데이터 항목의 오래된 정도에 기초하여 가중되고, 더 오래된 데이터 항목보다 (운전자의 현재 특성을 나타내는) 더 최신 데이터 항목의 벡터에 더 많은 가중치를 부여한다(단계 84). 가중된 벡터는 관심사와 같은 운전자의 현재 및 과거 특성을 나타내는 운전자의 프로파일로 기능하는 단일 벡터로 결합된다(단계 85). 선택적으로, 프로파일 벡터를 나타내는 개인 데이터를 결합하여 집단 사전 분포를 형성할 수 있고(단계 86), 루틴(80)이 종료된다.
운전자의 상황과 운전자의 특성에 따라 운전자에 대해 실행될 동작을 추천할 수 있다. 도 7은 일 실시예에 따라 도 2의 방법(40)에서 사용될 운전자에 취할 동작을 추천하는 루틴(90)을 나타내는 흐름도이다. 가능한 동작들의 리스트가 유지된다(단계 91). 운전자의 소셜 네트워킹 연결의 최근 소셜 네트워킹 게시물과 같은 운전자에 관한 현재 정보가 웹으로부터 추출되고, 선택적으로 의미 그래프(19)에서 인덱싱된다(단계 92). 현재 추출된 정보, 잠재적 항목 및 현재 상황 벡터에 기초하여 추천 가능한 동작이 생성된다(단계 93). 추천 가능한 동작에는 랭킹이 부여된다(단계 94). 도 1을 참조하여 전술한 바와 같이, 랭킹을 수행하는데 다수의 방법이 가능하다. 도 1을 참조하여 전술된 바와 같이, 랭킹에 기초하여 하나 이상의 동작이 실행을 위해 선택되고(단계 95) 루틴(90)이 종료된다.

Claims (10)

  1. 차량 운전자의 상황에 따라 동작을 수행하는 시스템으로서,
    인터네트워크(Internetwork)를 통해 차량에 접속된 하나 이상의 서버로서, 상기 서버는 코드를 실행하도록 구성되고, 상기 서버는,
    상기 차량의 운전자의 상황을 결정하도록 구성된 상황 모듈을 포함하고, 상기 상황 모듈은,
    상기 운전자의 상태를 결정하도록 구성된 운전자 상태 모듈; 및
    상기 차량의 상태를 결정하도록 구성된 차량 상태 모듈; 및
    상기 운전자의 하나 이상의 특성을 결정하도록 구성된 특성 모듈을 포함하는, 상기 하나 이상의 서버;
    상기 상황에 기초하여 상기 운전자에 수행될 하나 이상의 동작을 추천하도록 구성된 추천 모듈; 및
    추천된 상기 동작들 중 하나 이상을 수행하도록 구성된 수행 모듈을 포함하는, 차량 운전자의 상황에 따라 동작을 수행하는 시스템.
  2. 제1항에 있어서,
    상기 차량의 위치를 결정하도록 구성된 위치 모듈; 및
    결정된 상기 위치에 관한 데이터를 획득하도록 구성된 데이터 모듈을 더 포함하는, 차량 운전자의 상황에 따라 동작을 수행하는 시스템.
  3. 제2항에 있어서,
    상기 운전자의 상태, 상기 차량의 상태 및 위치 데이터를 의미 그래프(semantic graph)로 나타내도록 구성된 그래프 모듈;
    상기 특성을 벡터로 표현하도록 구성된 벡터 모듈; 및
    상기 의미 그래프와 상기 벡터를 상기 상황을 나타내는 다른 벡터에 병합하도록 구성된 병합 모듈을 더 포함하는, 차량 운전자의 상황에 따라 동작을 수행하는 시스템.
  4. 제1항에 있어서,
    상기 차량에 포함된 카메라를 사용하여 상기 운전자의 코스(course) 자세 추정을 수행하도록 구성된 자세 모듈;
    코스 자세 추정의 결과들 중 적어도 일부를 사용하여 상기 운전자의 얼굴에 있는 하나 이상의 얼굴 표식 특징을 검출하도록 구성된 특징 모듈;
    상기 운전자의 시선 방향들 중 하나 이상의 시선 방향을 결정하는 것을 포함하는 검출된 얼굴 표식 특징을 사용하여 상기 운전자의 정밀한 시선 추정을 수행하도록 구성된 시선 모듈; 및
    상기 운전자의 산만의 정도를 측정하기 위해 상기 정밀한 시선 추정과 상기 차량의 상태를 사용하도록 구성된 산만 모듈을 더 포함하는, 차량 운전자의 상황에 따라 동작을 수행하는 시스템.
  5. 제4항에 있어서,
    상기 카메라를 사용하여 상기 운전자의 하나 이상의 눈 메트릭(eye metric)을 추정하도록 구성된 눈 메트릭 모듈로서, 상기 메트릭은 눈의 깜박임 속도(blinking rate) 및 눈이 감긴 퍼센트 중 적어도 하나를 포함하는, 상기 눈 메트릭 모듈;
    상기 운전자에 의해 착용가능한 센서를 사용하여 생체 인식 데이터를 획득하도록 구성된 생체 인식 데이터 모듈; 및
    상기 운전자의 졸음의 정도를 측정하기 위해 상기 생체 인식 데이터, 상기 눈 메트릭 및 머리의 움직임을 사용하도록 구성된 졸음 모듈(drowsiness module)을 더 포함하는, 차량 운전자의 상황에 따라 동작을 수행하는 시스템.
  6. 차량 운전자의 상황에 따라 동작을 수행하는 방법으로서,
    차량의 운전자의 상황을 결정하는 단계로서,
    상기 운전자의 상태를 결정하는 단계;
    상기 차량의 상태를 결정하는 단계; 및
    상기 운전자의 하나 이상의 특성을 결정하는 단계를 포함하는, 상기 차량의 운전자의 상황을 결정하는 단계;
    상기 상황에 기초하여 상기 운전자에 대해 수행될 하나 이상의 동작을 추천하는 단계; 및
    추천된 상기 동작들 중 하나 이상을 수행하는 단계를 포함하되,
    상기 단계들은 적어도 하나의 적절히 프로그래밍된 컴퓨터에 의해 수행되는, 차량 운전자의 상황에 따라 동작을 수행하는 방법.
  7. 제6항에 있어서, 상기 상황을 결정하는 단계는,
    상기 차량의 위치를 결정하는 단계; 및
    결정된 상기 위치에 관한 데이터를 획득하는 단계를 더 포함하는, 차량 운전자의 상황에 따라 동작을 수행하는 방법.
  8. 제7항에 있어서,
    상기 운전자의 상태, 상기 차량의 상태, 및 위치 데이터를 의미 그래프로 표현하는 단계;
    상기 특성을 벡터로 표현하는 단계; 및
    상기 의미 그래프와 상기 벡터를 상기 상황을 나타내는 다른 벡터에 병합하는 단계를 더 포함하는, 차량 운전자의 상황에 따라 동작을 수행하는 방법.
  9. 제6항에 있어서,
    상기 차량에 포함된 카메라를 이용하여 상기 운전자의 코스 자세 추정을 수행하는 단계;
    상기 코스 자세 추정의 결과들 중 적어도 일부를 사용하여 상기 운전자의 얼굴에 있는 하나 이상의 얼굴 표식 특징을 검출하는 단계;
    상기 운전자의 시선 방향들 중 하나 이상의 시선 방향을 결정하는 것을 포함하여 검출된 상기 얼굴 표식 특징을 사용하여 상기 운전자의 정밀한 시선 추정을 수행하는 단계; 및
    상기 정밀한 시선 추정 및 상기 차량의 상태를 사용하여 상기 운전자의 산만의 정도를 측정하는 단계를 더 포함하는, 차량 운전자의 상황에 따라 동작을 수행하는 방법.
  10. 제9항에 있어서,
    상기 카메라를 사용하여 상기 운전자의 하나 이상의 눈 메트릭을 추정하는 단계로서, 상기 메트릭은 눈의 깜박임 속도 및 눈이 감긴 퍼센트 중 적어도 하나를 포함하는, 상기 눈 메트릭을 추정하는 단계;
    상기 운전자에 의해 착용가능한 센서를 사용하여 생체 인식 데이터를 획득하는 단계; 및
    상기 생체 인식 데이터, 상기 눈 메트릭, 및 머리의 움직임을 사용하여 상기 운전자의 졸음의 정도를 측정하는 단계를 더 포함하는, 차량 운전자의 상황에 따라 동작을 수행하는 방법.
KR1020170026715A 2016-03-15 2017-02-28 상황에 따라 차량의 운전자와 상호 작용을 제공하는 시스템 및 방법 KR20170107373A (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US15/070,516 US20170267251A1 (en) 2016-03-15 2016-03-15 System And Method For Providing Context-Specific Vehicular Driver Interactions
US15/070,516 2016-03-15

Publications (1)

Publication Number Publication Date
KR20170107373A true KR20170107373A (ko) 2017-09-25

Family

ID=58261546

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020170026715A KR20170107373A (ko) 2016-03-15 2017-02-28 상황에 따라 차량의 운전자와 상호 작용을 제공하는 시스템 및 방법

Country Status (4)

Country Link
US (1) US20170267251A1 (ko)
EP (1) EP3220368A1 (ko)
JP (1) JP2017168097A (ko)
KR (1) KR20170107373A (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101984284B1 (ko) * 2017-11-28 2019-05-30 주식회사 제네시스랩 기계학습모델을 이용한 자동화된 운전자관리 시스템
US11027741B2 (en) 2017-11-15 2021-06-08 Electronics And Telecommunications Research Institute Apparatus and method for estimating driver readiness and method and system for assisting driver

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109716411B (zh) * 2016-09-08 2021-06-25 福特汽车公司 用以监测驾驶员的活动水平的方法和设备
US10290158B2 (en) * 2017-02-03 2019-05-14 Ford Global Technologies, Llc System and method for assessing the interior of an autonomous vehicle
KR20180104235A (ko) * 2017-03-10 2018-09-20 만도헬라일렉트로닉스(주) 운전자 상태 모니터링 방법 및 장치
US10509974B2 (en) 2017-04-21 2019-12-17 Ford Global Technologies, Llc Stain and trash detection systems and methods
US10304165B2 (en) 2017-05-12 2019-05-28 Ford Global Technologies, Llc Vehicle stain and trash detection systems and methods
WO2018217736A1 (en) * 2017-05-22 2018-11-29 Avis Budget Car Rental, LLC Connected driver communications system and platform
KR102506866B1 (ko) * 2017-12-13 2023-03-08 현대자동차주식회사 차량 환경에서 선발화 안내 장치, 방법 및 시스템
US11780483B2 (en) 2018-05-22 2023-10-10 Transportation Ip Holdings, Llc Electronic job aid system for operator of a vehicle system
CN113632152A (zh) * 2019-03-15 2021-11-09 本田技研工业株式会社 车辆通信装置和程序
IT201900005868A1 (it) * 2019-04-16 2020-10-16 St Microelectronics Srl Procedimento di elaborazione di un segnale elettrofisiologico, sistema, prodotto informatico e veicolo corrispondenti
CN110134233B (zh) * 2019-04-24 2022-07-12 福建联迪商用设备有限公司 一种基于人脸识别的智能音箱唤醒方法及终端
US12012107B2 (en) 2019-05-06 2024-06-18 University Of Florida Research Foundation, Incorporated Operator monitoring and engagement
US20210217510A1 (en) * 2020-01-10 2021-07-15 International Business Machines Corporation Correlating driving behavior and user conduct
US11989174B2 (en) * 2020-02-05 2024-05-21 Microstrategy Incorporated Systems and methods for data insight generation and display
JP7421949B2 (ja) * 2020-02-21 2024-01-25 本田技研工業株式会社 情報処理システムおよび情報処理方法
US12024206B2 (en) * 2020-03-18 2024-07-02 Waymo Llc Testing situational awareness of drivers tasked with monitoring a vehicle operating in an autonomous driving mode
JP2021167163A (ja) * 2020-04-13 2021-10-21 マツダ株式会社 ドライバ異常判定装置
EP3895949B1 (en) * 2020-04-17 2023-08-16 Toyota Jidosha Kabushiki Kaisha Method and device for evaluating user discomfort
TWI758717B (zh) * 2020-04-26 2022-03-21 新煒科技有限公司 基於汽車a柱的車載顯示裝置、方法、系統及存儲介質
WO2022217518A1 (en) * 2021-04-14 2022-10-20 Zoom Video Communications, Inc. Systems and methods for event recommendation
US20210403031A1 (en) * 2021-09-10 2021-12-30 Intel Corporation Disambiguation of vehicle navigation actions
KR20230090051A (ko) * 2021-12-14 2023-06-21 현대자동차주식회사 차량 사운드 제어 장치 및 방법
CN114446029A (zh) * 2022-01-25 2022-05-06 深圳市和而不同人工智能技术有限公司 一种基于智能穿戴手表监测行驶信息的系统和方法
CN114179811B (zh) * 2022-02-17 2022-06-10 北京心驰智途科技有限公司 一种获取驾驶状态的数据处理方法、设备、介质及产品

Family Cites Families (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
SE0303122D0 (sv) * 2003-11-20 2003-11-20 Volvo Technology Corp Method and system for communication and/or interaction between a vehicle driver and a plurality of applications
US9149236B2 (en) * 2013-02-04 2015-10-06 Intel Corporation Assessment and management of emotional state of a vehicle operator
US9208439B2 (en) 2013-04-29 2015-12-08 Palo Alto Research Center Incorporated Generalized contextual intelligence platform
US9582547B2 (en) 2013-11-18 2017-02-28 Palo Alto Research Center Incorporated Generalized graph, rule, and spatial structure based recommendation engine
US9542648B2 (en) 2014-04-10 2017-01-10 Palo Alto Research Center Incorporated Intelligent contextually aware digital assistants

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11027741B2 (en) 2017-11-15 2021-06-08 Electronics And Telecommunications Research Institute Apparatus and method for estimating driver readiness and method and system for assisting driver
KR101984284B1 (ko) * 2017-11-28 2019-05-30 주식회사 제네시스랩 기계학습모델을 이용한 자동화된 운전자관리 시스템

Also Published As

Publication number Publication date
EP3220368A1 (en) 2017-09-20
JP2017168097A (ja) 2017-09-21
US20170267251A1 (en) 2017-09-21

Similar Documents

Publication Publication Date Title
KR20170107373A (ko) 상황에 따라 차량의 운전자와 상호 작용을 제공하는 시스템 및 방법
US20220095975A1 (en) Detection of cognitive state of a driver
US12032730B2 (en) Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
JP7288911B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
Chan et al. A comprehensive review of driver behavior analysis utilizing smartphones
JP5326521B2 (ja) 覚醒状態判断装置及び覚醒状態判断方法
JP7324716B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
Costa et al. Detecting driver’s fatigue, distraction and activity using a non-intrusive ai-based monitoring system
Melnicuk et al. Towards hybrid driver state monitoring: Review, future perspectives and the role of consumer electronics
JP2019195377A (ja) データ処理装置、モニタリングシステム、覚醒システム、データ処理方法、及びデータ処理プログラム
CN113491519A (zh) 基于情感-认知负荷的数字助理
Sankar et al. Machine learning system for indolence perception
Henni et al. Feature selection for driving fatigue characterization and detection using visual-and signal-based sensors
JP2020169956A (ja) 車両の行先提案システム
Salzillo et al. Evaluation of driver drowsiness based on real-time face analysis
CN113598773B (zh) 数据处理装置以及用于评估用户不适的方法
Tavakoli et al. Driver state modeling through latent variable state space framework in the wild
KR102543604B1 (ko) 멀티모달을 이용한 운전자 피로 감지 방법, 이를 수행하기 위한 기록 매체 및 시스템
Al-Gburi et al. State of the Art in Drivers’ Attention Monitoring–A Systematic Literature Review
JPH08332871A (ja) 覚醒度検出装置
Kashevnik et al. Dangerous situation prediction and driving statistics accumulation using smartphone
Zhou et al. Predicting driver fatigue in automated driving with explainability
Soultana et al. A Systematic Literature Review of Driver Inattention Monitoring Systems for Smart Car.
Dababneh et al. Driver vigilance level detection systems: A literature survey
Khan et al. Accident-Avoidance System using latest Sensing Systems