KR20230034973A - 자율 주행 차량들용 멀미 검출 시스템 - Google Patents

자율 주행 차량들용 멀미 검출 시스템 Download PDF

Info

Publication number
KR20230034973A
KR20230034973A KR1020227045852A KR20227045852A KR20230034973A KR 20230034973 A KR20230034973 A KR 20230034973A KR 1020227045852 A KR1020227045852 A KR 1020227045852A KR 20227045852 A KR20227045852 A KR 20227045852A KR 20230034973 A KR20230034973 A KR 20230034973A
Authority
KR
South Korea
Prior art keywords
user
vehicle
data
motion sickness
physiological
Prior art date
Application number
KR1020227045852A
Other languages
English (en)
Inventor
로버트 타츠
Original Assignee
퀄컴 인코포레이티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 퀄컴 인코포레이티드 filed Critical 퀄컴 인코포레이티드
Publication of KR20230034973A publication Critical patent/KR20230034973A/ko

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W60/00—Drive control systems specially adapted for autonomous road vehicles
    • B60W60/001—Planning or execution of driving tasks
    • B60W60/0013—Planning or execution of driving tasks specially adapted for occupant comfort
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/0205—Simultaneously evaluating both cardiovascular conditions and different types of body conditions, e.g. heart and respiratory condition
    • A61B5/02055—Simultaneously evaluating both cardiovascular condition and temperature
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/165—Evaluating the state of mind, e.g. depression, anxiety
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6814—Head
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6813—Specially adapted to be attached to a specific body part
    • A61B5/6825—Hand
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7278—Artificial waveform generation or derivation, e.g. synthesising signals from measured signals
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/72—Signal processing specially adapted for physiological signals or for diagnostic purposes
    • A61B5/7271—Specific aspects of physiological measurement analysis
    • A61B5/7282—Event detection, e.g. detecting unique waveforms indicative of a medical condition
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/02—Control of vehicle driving stability
    • B60W30/025—Control of vehicle driving stability related to comfort of drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/0088—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots characterized by the autonomous decision making process, e.g. artificial intelligence, predefined behaviours
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H40/00—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices
    • G16H40/60—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices
    • G16H40/67—ICT specially adapted for the management or administration of healthcare resources or facilities; ICT specially adapted for the management or operation of medical equipment or devices for the operation of medical equipment or devices for remote operation
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/30—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for calculating health indices; for individual health risk assessment
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/50—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for simulation or modelling of medical disorders
    • G—PHYSICS
    • G16—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR SPECIFIC APPLICATION FIELDS
    • G16H—HEALTHCARE INFORMATICS, i.e. INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR THE HANDLING OR PROCESSING OF MEDICAL OR HEALTHCARE DATA
    • G16H50/00—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics
    • G16H50/70—ICT specially adapted for medical diagnosis, medical simulation or medical data mining; ICT specially adapted for detecting, monitoring or modelling epidemics or pandemics for mining of medical data, e.g. analysing previous cases of other patients
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/14—Arrangements specially adapted for eye photography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/024—Detecting, measuring or recording pulse rate or heart rate
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/02—Detecting, measuring or recording pulse, heart rate, blood pressure or blood flow; Combined pulse/heart-rate/blood pressure determination; Evaluating a cardiovascular condition not otherwise provided for, e.g. using combinations of techniques provided for in this group with electrocardiography or electroauscultation; Heart catheters for measuring blood pressure
    • A61B5/026—Measuring blood flow
    • A61B5/0295—Measuring blood flow using plethysmography, i.e. measuring the variations in the volume of a body part as modified by the circulation of blood therethrough, e.g. impedance plethysmography
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/05—Detecting, measuring or recording for diagnosis by means of electric currents or magnetic fields; Measuring using microwaves or radio waves 
    • A61B5/053—Measuring electrical impedance or conductance of a portion of the body
    • A61B5/0531—Measuring skin impedance
    • A61B5/0533—Measuring galvanic skin response
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M21/00—Other devices or methods to cause a change in the state of consciousness; Devices for producing or ending sleep by mechanical, optical, or acoustical means, e.g. for hypnosis
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61M—DEVICES FOR INTRODUCING MEDIA INTO, OR ONTO, THE BODY; DEVICES FOR TRANSDUCING BODY MEDIA OR FOR TAKING MEDIA FROM THE BODY; DEVICES FOR PRODUCING OR ENDING SLEEP OR STUPOR
    • A61M2205/00—General characteristics of the apparatus
    • A61M2205/33—Controlling, regulating or measuring
    • A61M2205/3303—Using a biosensor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0872—Driver physiology
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W2050/0001—Details of the control system
    • B60W2050/0002—Automatic control, details of type of controller or control system architecture
    • B60W2050/0004—In digital systems, e.g. discrete-time systems involving sampling
    • B60W2050/0005—Processor details or data handling, e.g. memory registers or chip architecture
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/146—Display means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/40—Photo, light or radio wave sensitive means, e.g. infrared sensors
    • B60W2420/403—Image sensing, e.g. optical camera
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2420/00—Indexing codes relating to the type of sensors based on the principle of their operation
    • B60W2420/90—Single sensor for two or more measurements
    • B60W2420/905—Single sensor for two or more measurements the sensor being an xyz axis sensor
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2520/00—Input parameters relating to overall vehicle dynamics
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/22—Psychological state; Stress level or workload
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/221—Physiology, e.g. weight, heartbeat, health or special needs
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/10—Longitudinal speed
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2720/00—Output or target parameters relating to overall vehicle dynamics
    • B60W2720/24—Direction of travel
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements

Landscapes

  • Engineering & Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Medical Informatics (AREA)
  • Public Health (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Automation & Control Theory (AREA)
  • Pathology (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Psychiatry (AREA)
  • Physiology (AREA)
  • Data Mining & Analysis (AREA)
  • Epidemiology (AREA)
  • Primary Health Care (AREA)
  • Artificial Intelligence (AREA)
  • Cardiology (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Signal Processing (AREA)
  • Business, Economics & Management (AREA)
  • Educational Technology (AREA)
  • General Business, Economics & Management (AREA)
  • Child & Adolescent Psychology (AREA)
  • Hospice & Palliative Care (AREA)
  • Psychology (AREA)
  • Social Psychology (AREA)
  • Pulmonology (AREA)
  • Developmental Disabilities (AREA)
  • Evolutionary Computation (AREA)

Abstract

본원에서 설명되는 기술들은 차량 내 사용자에 의해 경험되는 멀미의 정도를 검출하는 것을 포함한다. 생리학적 데이터(심박수, 심박 변이도 파라미터들, 혈액량 펄스, 산소 값들, 호흡 값들, 전기 피부 반응, 피부 전도도 값들, 등), 눈 시선 데이터(예를 들면, 사용자의 이미지들), 차량 움직임 데이터(예를 들면, 차량 진동들을 표시하는 가속도계, 자이로스코프 데이터)의 적절한 조합이 사용자에 의해 경험되는 멀미의 정도를 식별하기 위해 활용될 수 있다. 사용자에 의해 경험되는 멀미의 정도의 상승을 예방하기 위해 또는 사용자에 의해 현재 경험되는 멀미의 정도를 개선하기 위해 하나 이상의 자율적 액션들이 수행될 수 있다.

Description

자율 주행 차량들용 멀미 검출 시스템
[0001] 자율 주행 또는 부분 자율 주행 차량들와 관련된 기술들은 수년들에 걸쳐 발전해 왔다. 승객이, 멀미에 대한 그들의 취약성을 증가시키는 활동들(예를 들면, 독서, 문자 메시지 보내기, 디바이스 사용, 등)에 참가할 수 있기 때문에, 운전자로부터 승객으로의 역할의 전환에 기인하여 자율 주행 차량들에서 멀미가 더 빈번하게 발생할 것으로 예상된다. 멀미는 오심(nausea) 및 생리학적 불편함을 야기할 뿐만 아니라 인지 및 감정 상태(예를 들면, 불안, 집중력의 결여)에도 또한 영향을 끼칠 수 있다. 사람이 경험하고 있을 수 있는 멀미의 정도를 확인하는 것이 도움이 될 수 있다. 조기 검출은 증상들을 예방 및/또는 완화하기 위한 다양한 전략들을 활성화하는 데 유용할 수 있다.
[0002] 본원에서 설명되는 기술들은 차량에 있는 사람에 의해 현재 경험되고 있는 멀미의 정도를 검출하기 위해 제공된다. 검출되는 멀미의 정도에 따라, 다수의 치료 조치들 및/또는 예방 전략들이 활용될 수 있다.
[0003] 일부 실시예들은 차량 내 사람의 멀미를 검출하기 위한 방법을 포함할 수 있다. 방법은, 하나 이상의 프로세서들에 의해, 복수의 센서 디바이스들로부터 제1 생리학적 데이터를 획득하는 것을 포함할 수 있다. 방법은, 하나 이상의 프로세서들에 의해, 차량의 진동들의 주파수를 표시하는 차량 움직임 데이터를 획득하는 것을 더 포함할 수 있다. 방법은, 하나 이상의 프로세서들에 의해, 제1 생리학적 데이터 및 차량 움직임 데이터에 적어도 부분적으로 기반하여 멀미 스코어를 계산하는 것을 더 포함할 수 있는데, 멀미 스코어는 사람이 멀미를 경험하고 있을 가능성을 표시한다. 방법은, 하나 이상의 프로세서들에 의해, 멀미 스코어에 적어도 부분적으로 기반하여 사람이 멀미를 경험하고 있다는 것을 검출하는 것을 더 포함할 수 있다.
[0004] 일부 실시예들은 컴퓨팅 디바이스를 포함할 수 있다. 컴퓨팅 디바이스는 차량 내 사용자에 의해 경험되는 멀미의 정도를 예방하거나 또는 개선하기 위한 실행 가능 명령들을 저장한 메모리 및 메모리와 통신 가능하게 커플링된 하나 이상의 프로세서들을 포함할 수 있다. 일부 실시예들에서, 하나 이상의 프로세서들은 컴퓨팅 디바이스로 하여금 동작들을 수행하게 하기 위한 명령들을 실행하도록 구성된다. 동작들은 복수의 센서 디바이스들로부터 생리학적 데이터를 획득하는 것을 포함할 수 있다. 동작들은 차량의 진동들의 주파수를 표시하는 차량 움직임 데이터를 획득하는 것을 포함할 수 있다. 동작들은 생리학적 데이터 및 차량 움직임 데이터에 적어도 부분적으로 기반하여 멀미 스코어를 계산하는 것을 포함할 수 있다. 동작들은 멀미 스코어에 적어도 부분적으로 기반하여 사용자가 경험하고 있는 멀미의 정도를 검출하는 것을 포함할 수 있다. 동작들은 사용자가 경험하고 있는 멀미의 정도를 결정하는 것에 대한 응답으로 자율 주행 차량 액션(autonomous vehicle action)의 수행을 야기하는 것을 포함할 수 있다. 일부 실시예들에서, 자율 주행 차량 액션으로 하여금 수행되게 하는 것은 사용자에 의해 경험되는 멀미의 정도를 개선하고 및/또는 후속 시간에 사용자에 의해 경험되는 멀미의 정도의 상승을 예방한다.
[0005] 일부 실시예들은 비-일시적 컴퓨터-판독 가능 매체를 포함할 수 있다. 비-일시적 컴퓨터-판독 가능 매체는 차량 내 사용자에 의해 경험되는 멀미의 정도를 예방하거나 또는 개선하기 위한 저장된 명령들을 포함할 수 있다. 일부 실시예들에서, 명령들은, 하나 이상의 프로세싱 유닛들에 의해 실행될 때, 하나 이상의 프로세싱 유닛들로 하여금 동작들을 수행하게 한다. 동작들은 복수의 센서 디바이스들로부터 생리학적 데이터를 획득하는 것을 포함할 수 있다. 동작들은 차량의 진동들의 주파수를 표시하는 차량 움직임 데이터를 획득하는 것을 포함할 수 있다. 동작들은 생리학적 데이터 및 차량 움직임 데이터에 적어도 부분적으로 기반하여 멀미 스코어를 계산하는 것을 포함할 수 있다. 동작들은 멀미 스코어에 적어도 부분적으로 기반하여 사용자가 멀미의 정도를 경험하고 있다는 것을 검출하는 것을 포함할 수 있다. 동작들은 사용자가 멀미의 정도를 경험하고 있다는 것을 결정하는 것에 대한 응답으로 자율 주행 차량 액션의 수행을 야기하는 것을 포함할 수 있다. 일부 실시예들에서, 자율 주행 차량 액션으로 하여금 수행되게 하는 것은 사용자에 의해 경험되는 멀미의 정도를 개선하고 및/또는 후속 시간에 사용자에 의해 경험되는 멀미의 정도의 상승을 예방한다.
[0006] 도 1은, 한 실시예에 따른, 차량의 사용자에 의해 현재 경험되고 있는 멀미의 정도를 분류하기 위한 방법을 예시하는 단순화된 블록도이다.
[0007] 도 2는, 한 실시예에 따른, 기준 상태(baseline state)로부터 스트레스 반응을 경험하는 것, 메스꺼움 반응(sick response)(예를 들면, 멀미)을 경험하는 것으로의 진행을 표시하는 사용자의 생리학적 파라미터들의 예시적인 시퀀스를 예시하는 그래프들의 콜렉션들이다.
[0008] 도 3은, 한 실시예에 따른, 차량의 사용자의 멀미의 정도를 분류하기 위한 다양한 파라미터 값 조합들을 예시하는 테이블이다.
[0009] 도 4a 내지 도 4c는, 일부 실시예들에 따른, 다수의 변수 값들을 결정하기 위한 방법들을 예시하는 플로우차트들이다.
[0010] 도 5는, 한 실시예에 따른, 차량의 사용자가 멀미를 경험하고 있는지의 여부를 결정하기 위한 방법을 묘사하는 플로우차트이다.
[0011] 도 6은, 한 실시예에 따른, 수집된 생리학적 데이터로부터 다양한 피처들을 계산하기 위한 방법의 단순화된 블록도이다.
[0012] 도 7은, 한 실시예에 따른, 스트레스 반응이 발생하였는지의 여부를 결정하기 위한 방법의 단순화된 블록도이다.
[0013] 도 8은, 한 실시예에 따른, 메스꺼움 반응이 발생하였는지의 여부를 결정하기 위한 방법의 단순화된 블록도이다.
[0014] 도 9는, 한 실시예에 따른, 차량 내 사용자의 멀미를 예방 또는 개선하기 위한 방법의 흐름도이다.
[0015] 도 10은, 한 실시예에 따른, 차량의 기능 블록도를 포함한다.
[0016] 도 11은, 한 실시예에 따른, 차량의 다양한 하드웨어 및 소프트웨어 컴포넌트들의 개략도이다.
[0017] 도 12는, 한 실시예에 따른, 눈 시선 데이터(eye gaze data)를 수집하도록 배치되는 다수의 카메라들 및 차량 내 사용자의 생리학적 데이터를 수집하도록 구성된 다수의 생리학적 센서들의 예시적인 구성을 묘사하는 개략도이다.
[0018] 다양한 도면들의 유사한 참조 부호들은, 특정한 예시적인 구현예들에 따라, 유사한 엘리먼트들을 표시한다. 또한, 한 엘리먼트의 다수의 인스턴스들은 문자 또는 하이픈을 갖는 그 엘리먼트에 대한 제1 숫자 및 제2 숫자를 후속시키는 것에 의해 표시될 수 있다. 예를 들면, 한 엘리먼트(110)의 다수의 인스턴스들은 110-1, 110-2, 110-3 등, 또는 110a, 110b, 110c, 등으로서 표시될 수 있다. 제1 숫자만을 사용하여 그러한 엘리먼트를 참조하는 경우, 엘리먼트의 임의의 인스턴스가 이해되어야 한다(예를 들면, 이전 예의 엘리먼트(110)는 엘리먼트들(110-1, 110-2, 및 110-3) 또는 엘리먼트들(110a, 110b, 및 110c)를 가리킬 것이다).
[0019] 이제, 본원의 일부를 형성하는 첨부 도면들과 관련하여 여러 가지 예시적인 실시예들이 설명될 것이다. 본 개시내용의 하나 이상의 양태들이 구현될 수 있는 특정한 실시예들이 하기에서 설명되지만, 다른 실시예들이 사용될 수 있고 첨부된 청구항들의 취지 또는 본 개시내용의 범위로부터 벗어나지 않으면서 다양한 수정들이 이루어질 수 있다.
[0020] 미국 자율 주행 차량들의 탑승자들의 37 %가, 차량이 움직이는 동안, 독서, 문자 메시지 보내기, 및 스마트폰 또는 다른 디바이스의 활용과 같은 다양한 활동들에 적어도 부분적으로 참가하는 것으로부터 유래하는 멀미를 경험하는 것으로 예상된다고 추정된다. 사람이 움직임의 방향을 제어 및/또는 예상할 수 없기 때문에 그리고 전정(vestibular), 고유 수용(proprioceptive), 및 시각적 감각들 사이의 충돌(즉, 내이(inner ear)의 전정 시스템에 의해 결정되는 바와 같은 신체 움직임의 인식 대 시각을 통해 인식되는 바와 같은 신체 움직임의 인식 및/또는 신체의 관절들 및/또는 근육들에 의해 인식되는 바와 같은 신체 움직임의 인식)에 기인하여, 자율 주행 차량들에 탑승하고 있을 때 멀미 취약성이 강화될 수 있다. 멀미는 오심(nausea) 및 생리학적 불편함을 야기할 뿐만 아니라 인지 및 감정 상태(예를 들면, 불안, 집중력의 결여)에도 또한 영향을 끼칠 수 있다. 다른 증상들은 위장 자각/불쾌감, 어지러움, 현기증, 몽롱함(lightheadedness), 방향 감각의 상실(disorientation), 발한, 축축함(clamminess), 홍조(hot flash)/냉증(cold flash), 졸음, 과민성, 불안, 등을 포함할 수 있다. 따라서, 특히 자율 주행 세션 이후 차량의 제어를 운전자에게 전달하기 이전에, 운전자에 의해 경험되는 멀미의 정도를 확인할 수 있는 것이 안전에 중요할 수 있다.
[0021] 오심의 경험은 극심한 멀미의 최종 상태 가까이에서 발생한다. 그러나, 다른 차량 데이터와 연계한 생리학적 데이터는 오심 및/또는 다른 증상들이 계속해서 일어나기 이전에 멀미의 예비 단계들을 시그널링할 수 있다. 조기 검출은 증상들을 예방 및/또는 완화하기 위해 다양한 전략들이 활성화되는 것을 가능하게 할 수 있다. 그러한 전략들은, 운전 역학(예를 들면, 속도, 핸들링, 가속, 등)을 조정하는 것, 감각 환경을 조정하는 것(예를 들면, 조명을 조정하는 것, 음악을 재생하는 것, 경고를 제공하는 것, 음량을 조정하는 것, 온도 설정, 및/또는 공기 흐름을 조정하는 것, 냄새를 제공하는 것과 같은 후각 환경을 수정하는 것, 등), 지평선(horizon)의 뷰를 조정하는 것(예를 들면, 비디오 디스플레이를 조정하는 것, 창의 뷰잉 영역을 증가시키는 것, 등), 등을 포함할 수 있지만, 그러나 이들로 제한되지는 않는다.
[0022] 본원에서 제공되는 실시예들은, 차량 내의 사람이 멀미를 경험하고 있는지의 여부 및/또는 그 사람에 의해 경험되는 멀미의 정도를 평가하기 위해, 생리학적 데이터(심박수, 심박 변이도, 혈액량 펄스(예를 들면, 진폭), 피부 전도도/전기 피부 반응들, 피부 온도, 등) 및 차량 움직임 데이터(예를 들면, 차량 및/또는 차량의 부품들의 진동들의 진폭 및 주파수를 포함하는 차량의 움직임을 식별하는 임의의 적절한 데이터)의 조합을 활용한다. 본원에서 사용되는 바와 같이, 생리학적 데이터는 사람의 임의의 적절한 생리학적 속성과 연관된 임의의 적절한 데이터(예를 들면, 피부 온도, 심박수, 심박 변이도, 호흡수, 호흡량, 혈액 산소 레벨(SpO2), 피부 전도도 레벨(skin conductance level; SCL) 및 피부 전도도 센서(예를 들면, 전기 피부 반응(galvanic skin response; GSR) 센서)로부터 측정되는 바와 같은 피부 전도도 반응(skin conductance response; SCR), 전기 피부 반응(galvanic skin response; GSR), 피부 전기 활동(electrodermal activity; EDA), 피부 전기 반응(electrodermal response; EDR), 교감 피부 반응(sympathetic skin response; SSR), 말초 자율 신경계 표면 전위, 정신 전류 반사(psychogalvanic reflex; PGR), 교감 피부 반응(SSR), 등)를 포함할 수 있다.
[0023] 일부 실시예들에서, 차량 움직임 데이터는 차량의 가속도계들 및/또는 자이로스코프들의 임의의 적절한 조합에 의해 캡처될 수 있다. 횡(전후) 또는 종(좌우) 방향들에서 0.1-0.5 Hz의 저주파 진동들은 멀미에 기여할 가능성이 가장 높은 진동들이다. 이 범위 내의 주파수들은 (도로 상태들도 아니고 자동차 구조도 아니라) 운전자 거동: 회전, 제동, 가속에 의해 통상적으로 생성된다.
[0024] 일부 실시예들에서, 차량의 한 명 이상의 승객들(예를 들면, 승객(들)의 얼굴)의 하나 이상의 이미지들 및/또는 비디오들("눈 시선 데이터"로서 또한 지칭됨)를 캡처하기 위해 하나 이상의 카메라들이 활용될 수 있다. 임의의 적절한 이미지 인식 기술들 및/또는 눈 추적 기술들을 활용하여, 승객의 시선이 식별될 수 있다(예를 들면, 승객이 창 밖을 내다보고 있는지, 그의 눈들이 지평선 상에 있는지, 아래쪽을 보고 있는지, 책을 읽고 있는지, 그의 전화기를 가지고 놀고 있는지, 등). 멀미 증상들을 최소화하기 위해 지평선의 시야를 가능한 한 크게 갖는 것이 최상이다. 제한된 시야(visual field)는 증가된 멀미로 귀결되는데, 그 이유는, 전정 시스템에 의해 느껴지는 움직임이 시각 시스템에 의해 보이는 움직임보다 더 커서, 충돌로 이어질 것이기 때문이다. 승객의 시선의 식별은, 승객에 의해 경험되고 있을 가능성이 있는 멀미의 정도를 실시간으로 표시하는 멀미 스코어를 결정하기 위해, (예를 들면, 생리학적 데이터 및/또는 차량 움직임 데이터와 연계하여) 활용될 수 있다.
[0025] 사람이 오심을 느끼기 이전에 발생하는 생리학적 반응들의 시퀀스가 있다. 일부 실시예들에서, 이 시퀀스는, 오심을 포함하는 메스꺼움 반응이 사람에 의해 경험되기 이전에, 기준 반응(예를 들면, 사람의 통상적인 생리학적 데이터를 표시함), 및 후속되는 스트레스 반응(여기서는 특정한 생리학적 반응들이 보여짐)에 의해 정의될 수 있다. 차량 데이터, 생리학적 데이터, 및 눈 시선 데이터는 시간에 걸쳐 수집될 수 있다. 일부 실시예들에서, 시간에 걸쳐 수집되는 데이터에 기반하여 이 시퀀스를 관찰하는 것은, 사람이 멀미를 경험하고 있을 가능성(예를 들면, 멀미 스코어)을 증가시킬 수 있다. 반면, 시간에 걸쳐 수집되는 데이터가 스트레스 반응을 먼저 표시하지 않는 경우, 사용자가 현재 메스꺼움 반응(예를 들면, 오심)을 경험하고 있을 가능성이 적다는 것이 결정될 수 있다.
[0026] 개시된 기술들을 활용하는 것은 멀미가 종래의 기술들보다 더욱 정확하게 검출되는 것 및/또는 더 빨리 검출되는 것을 가능하게 할 수 있다. 멀미를 더욱 정확하게 및/또는 더 빨리 검출하는 것에 의해, 운전자가 멀미를 경험하고 있는 동안 자율 주행 시스템들이 차량의 제어를 유지하도록 구성될 수 있기 때문에, 본원에서 설명되는 기술들은 더 안전한 자율 주행 경험을 가능하게 할 수 있다. 일부 실시예들에서, 차량의 승객이 멀미를 경험하고 있다는 사실의 지식을 갖는 것은, 자율 주행 시스템으로 하여금, 멀미의 효과들을 예방 및/또는 개선하는 것을 목표로 하는 하나 이상의 액션들을 수행하게 할 수 있다. 예를 들면, 자율 주행 시스템은 속도를 감소시킬 수 있고, 덜 공격적인 및/또는 더 적은 방향 전환들을 취할 수 있다. 일부 실시예들에서, 설명된 기술들은 다른 맥락에서 적용될 수 있다. 예로서, 가상 현실 환경들, 증강 현실(augmented reality; AR) 환경들, 및 혼합 현실(mixed reality; MR) 환경들에서 일반적으로 경험되는 사이버 멀미(예를 들면, 오심)를 평가하기 위해 유사한 기술들이 활용될 수 있다.
[0027] 도 1은, 한 실시예에 따른, 차량의 사용자에 의해 현재 경험되고 있는 멀미의 정도를 분류하기 위한 방법(100)을 예시하는 단순화된 블록도이다. 방법(100)을 수행하기 위한 수단들은, 하기에서 설명되는, 도 8 내지 도 10에서 예시되는 것들과 같은, 차량의 하나 이상의 하드웨어 및/또는 소프트웨어 컴포넌트들을 포함할 수 있다.
[0028] 방법(100)은 블록(102)에서 시작될 수 있는데, 여기서 차량 움직임을 검출하기 위한 동작들이 실행된다. 일부 실시예들에서, 이들 동작들은 하나 이상의 가속도계들, 자이로스코프들, 또는 다른 적절한 관성 센서들로부터 다양한 센서 데이터를 수집하는 것을 포함할 수 있다. 이들 센서들로부터 수집되는 차량 움직임 데이터는 차량이 움직이고 있는지의 여부를 결정하기 위해 분석될 수 있다.
[0029] 방법은 블록(104)으로 진행할 수 있는데, 여기서 블록(102)에서 수집되는 차량 움직임 데이터를 사용하여 차량이 움직이고 있는지의 여부에 관해 결정이 이루어질 수 있다. 일부 실시예들에서, 차량이 정지한 것으로 결정되는 경우(예를 들면, 움직이지 않음), 방법(100)은 종료될 수 있다. 대안적으로, 차량이 움직이고 있는 것으로 결정되는 경우, 방법(100)은 블록(106), 블록(108), 및/또는 블록(110)으로 진행할 수 있다. 블록들(106, 108, 및/또는 110)의 동작들은 임의의 적절한 시퀀스로 실행될 수 있거나 또는 블록들(106, 108, 및/또는 110)의 동작들은 실질적으로 동시에 실행될 수 있다.
[0030] 블록(106)에서, 차량 진동 검출 동작이 실행될 수 있다. 이 동작의 일부로서, 차량의 위도(예를 들면, 전후) 또는 경도(좌우) 진동들(예를 들면, 떨림들)이 식별될 수 있다. 일부 실시예들에서, 차량의 진동들을 식별하기 위해, 하나 이상의 가속도계들, 자이로스코프들, 및/또는 관성 센서들이 활용될 수 있다. 예로서, 3축 가속도계가 차량의 진동 주파수를 표시하는 데이터를 수집 및 식별할 수 있다. 일부 실시예들에서, 차량 진동 데이터는 블록(102)에서 행해지는 차량 움직임 검출 동작의 일부로서 수집될 수 있다. 차량 진동 데이터는 차량 안으로 통합되는 하나 이상의 센서들에 의해, 또는 하나 이상의 웨어러블 디바이스들, 또는 상기한 것들의 임의의 적절한 조합에 의해 수집될 수 있다.
[0031] 일단 진동 데이터가 수집되면, 방법은 블록(112)으로 진행할 수 있다. 블록(112)에서, 위도 및/또는 경도 진동들이 사전 정의된 임계 범위 내에 속하는지의 여부를 결정하기 위해 동작들이 수행될 수 있다. 예로서, 임계 범위는 0.1-0.5 Hz로서 정의될 수 있다. 일부 실시예들에서, 이 범위는 차량의 승객들에게서 멀미가 관찰 및/또는 확인됨에 따라 시간에 걸쳐 수정될 수 있다. 임계 범위 수정들의 추가적인 세부사항들은 하기에서 논의될 것이다.
[0032] 블록(108)에서, 눈 시선 검출 동작들이 실행될 수 있다. 일부 실시예들에서, 이들 동작들은 차량의 사용자(또는 사용자들)의 하나 이상의 이미지들 및/또는 비디오들("눈 시선 데이터"로서 지칭됨)을 획득하는 것을 포함할 수 있다. 눈 시선 데이터는 사용자의 얼굴 및/또는 눈 영역의 이미지들을 포함할 수 있다. 차량의 다수의 사용자들이 있는 경우, 눈 시선 데이터는 그들 사용자들의 일부 조합의 피처들을 포함할 수 있다. 한 명의 사용자에 대해 수행되고 있는 동작에 대한 본원에서의 임의의 언급은 다수의 사용자들이 존재하는 사용 사례들에서 유사하게 적용 가능한 것으로 이해될 수 있다.
[0033] 일단 눈 시선 데이터가 블록(108)에서 수집되면, 방법(100)은 블록(114)으로 진행할 수 있다. 블록(114)에서, 사용자의 시선이 지평선 상에 있는지의 여부를 결정하기 위해 동작들이 수행될 수 있다. 일부 예들에서, 사용자의 시선은 웨어러블 디바이스(예를 들면, AR 안경, 논디스플레이 안경, 등)를 사용하여 결정될 수 있다. 예를 들면, AR 디바이스는 눈 추적 카메라 및/또는 사용자의 시선이 식별될 수 있는 외부 카메라를 포함할 수 있다. 일부 실시예들에서, 사용자의 시선을 결정하기 위해, 웨어러블 디바이스의 관성 측정 유닛이 활용될 수 있다. 여전히 다른 예로서, 사용자의 시선을 식별하기 위해, 사용자를 향해 대향되는 카메라가 활용될 수 있다. 예를 들면, 카메라는 차량의 대시보드에, 차량의 천장에, 전면 유리(windshield)에, 또는 카메라가 사용자(들)를 향해 안쪽으로 지향될 수 있는 임의의 적절한 위치에 부착될 수 있다. 카메라의 알려진 배치에 기반하여, 사용자의 시선의 방향이 결정될 수 있다. 예로서, 카메라가 전면 유리에 배치되는 것으로 알려져 있는 경우에, 카메라에 의해 캡처되는 이미지에서 사용자의 눈들이 완전히 보인다면(또는 어떤 임계 양의 눈들이 보인다면) 사용자는 전면 유리 밖을 보고 있다는 것이 결정될 수 있다. 이미지 인식 기술은 사용자의 눈들이 완전히 보이는지(비록 카메라에서 직접적으로 필요하지는 않지만, 사용자가 카메라의 방향에서 보고 있다는 것을 표시함)의 여부를 식별하기 위해 활용될 수 있다. 마찬가지로, 이미지/비디오 내에서 보이는 사용자의 머리 또는 얼굴의 피처들 및/또는 이미지/비디오 내에서 보이지 않는 피처들을 분석하는 것에 의해 사용자의 시선이 다양한 방향들로 지향되는 것으로 결정될 수 있다. 사용자의 시선의 방향을 식별하기 위해, 임의의 적절한 눈 추적 기술들이 유사하게 활용될 수 있다.
[0034] 블록(110)에서, 생리학적 반응 검출 동작들이 실행될 수 있다. 일부 실시예들에서, 이들 동작들은 차량의 하나 이상의 생리학적 센서들로부터 및/또는 하나 이상의 웨어러블 디바이스들로부터 생리학적 데이터를 수집하는 것을 포함할 수 있다. 상기에서 논의되는 바와 같이, 생리학적 데이터는 하나 이상의 대응하는 생리학적 센서들에 의해 캡처되는 사람의 임의의 적절한 생리학적 속성과 연관된 임의의 적절한 데이터(예를 들면, 피부 온도, 심박수, 심박 변이도, 호흡수, 호흡량, 혈액 산소 레벨(SpO2), 피부 전도도 레벨(SCL) 및 피부 전도도 센서(예를 들면, 전기 피부 반응(GSR) 센서)로부터 측정되는 바와 같은 피부 전도도 반응(SCR), 전기 피부 반응(GSR), 피부 전기 활동(EDA), 피부 전기 반응(EDR), 교감 피부 반응(SSR), 말초 자율 신경계 표면 전위, 정신 전류 반사(PGR), 교감 피부 반응(SSR), 등)를 포함할 수 있다.
[0035] 도 2는, 한 실시예에 따른, 기준 상태로부터 스트레스 반응을 경험하는 것, 메스꺼움 반응(예를 들면, 멀미의 정도)을 경험하는 것으로의 진행을 표시하는 사용자의 생리학적 파라미터들의 예시적인 시퀀스를 예시하는 그래프들의 콜렉션들이다. 일부 실시예들에서, 생리학적 파라미터들은 차량이 움직이기 이전에 또는 차량이 정지하고 임의의 적절한 시간에 일정 시간 기간(예를 들면, 5 분들, 1 분들, 30 초들, 등) 동안 수집될 수 있다. 도 2에서 묘사되는 예에서, 생리학적 데이터를 캡처하기 위해 사용되는 생리학적 센서들의 세트는 EKG 센서(예를 들면, "ECG" 센서로 또한 지칭되는 심전도 센서), 사용자들 손가락들에 있는 GSR 센서, 사용자의 손가락들에서 피부 온도를 측정하도록 구성된 온도계, 및 사용자의 이마에 배치되는 GSR 센서를 포함할 수 있다. 고주파(high frequency; HF) 및 연속적인 차이들의 평균 제곱근(root mean square of successive differences; RMSSD)에 대응하는 그래프들은 시간에 걸쳐 캡처된 EKG 데이터로부터 유도될 수 있다. 일부 실시예들에서, 생리학적 데이터(예를 들면, 심박수, 피부 전도도, 온도, 등과 같은 생리학적 파라미터들의 세트)는 움직임이 처음 개시된 이후 일정 시간 기간(예를 들면, 1 분, 5 분들, 30 초들) 동안 수집될 수 있다. 일부 실시예들에서, 웨어러블 PPG 센서는 측정치들(예를 들면, 혈액량 펄스)를 수집하기 위해 사용될 수 있고 생리학적 파라미터들(예를 들면, 심박수, 심박 변이도, 등)가 측정치들로부터 유도될 수 있다. 상기의 시나리오들에서, 수집된 생리학적 파라미터들은 로컬하게 저장되고 사용자의 기준 생리학적 파라미터들로서 라벨링될 수 있다(예를 들면, 그들과 연관될 수 있다).
[0036] 도 2의 그래프들(200)은 T1에서 시작하는 스트레스 반응을 집합적으로 묘사한다. 일부 실시예들에서, 스트레스 반응의 시작 증상들은 증가된 심박수 및 사용자의 손가락들에서의 전기 피부 반응의 상승을 포함할 수 있다. 대략 일 분 뒤에(예를 들면, 대략 10-15 초들), 사용자의 손가락들에서 캡처되는 온도가 떨어질 수 있다. 일부 실시예들에서, 스트레스 반응은 도 2에서 묘사되는 바와 같이 심박 변이도/낮은 주파수, 또는 심박 변이도/연속적인 차이들의 평균 제곱근에 의해 표시되는 바와 같은 부교감 신경 시스템 금단 증상(parasympathetic nervous system withdrawal)을 포함할 수 있다.
[0037] 스트레스 반응의 증상들 다음에 도 2에서 묘사되는 바와 같은 메스꺼움 반응의 증상들이 뒤따르는 경우, 사용자는 T2에서 멀미를 경험한 것으로 식별될 수 있다. 메스꺼움 반응은 다음의 것의 임의의 적절한 조합을 포함할 수 있다: 이마 및/또는 손가락들에서의 증가된 전기 피부 반응들, 약간 증가하는 심박수, 안정적인 또는 약간 증가하는 손가락 온도 및 혈액량 펄스 진폭, 및/또는 안정적인 또는 증가하는 HF/RMSSD.
[0038] 도 1로 돌아가서, 생리학적 데이터가 블록(110)에서 수집됨에 따라, 방법(100)은 기준 반응이 사용자에 대해 식별될 수 있는 블록(116)으로 진행할 수 있다. 일부 실시예들에서, 생리학적 데이터는 차량의 움직임이 시작되는 시간 근처에서 수집될 수 있다. 따라서, 이러한 생리학적 데이터(예를 들면, 차량이 정지했을 때의 2 분 평균, 움직임의 처음 5 분들, 움직임의 10 분들, 움직임이 개시되기 1 분 이전, 움직임이 개시되기 5 분들 이전, 등에 대응하는 생리학적 데이터)는 사용자에 대한 기준 반응을 정의하기 위해 활용될 수 있다. 일부 실시예들에서, 생리학적 데이터 파라미터들의 제1 세트가 로컬 메모리에 저장되고 사용자의 기준 반응과 연관될 수 있다.
[0039] 시간에 걸쳐, 더 많은 생리학적 데이터가 수집될 수 있고 방법(100)은 사용자가 스트레스 반응을 경험하고 있는지의 여부를 시스템이 결정할 수 있는 블록(118)으로 진행할 수 있다. 도 2와 관련하여 상기에서 논의되는 바와 같이, 사용자가 스트레스 반응을 경험하고 있다는 것을 결정하는 것은, 먼저, 사용자의 기준 반응을 결정하는 것 및, 그 다음, 조건들의 세트가 충족된다는 것을 식별하는 것을 포함할 수 있다. 즉, 스트레스 반응은 기준 반응의 발생 및 후속하는, 사전 정의된 임계 양을 초과하는, 기준 반응으로부터 대응하는 생리학적 파라미터들의 변화들의 사전 정의된 세트로서 정의될 수 있다.
[0040] 더욱더 많은 생리학적 데이터가 수집될 수 있고 방법(100)은 사용자가 메스꺼움 반응을 경험하고 있는지의 여부를 시스템이 결정할 수 있는 블록(120)으로 진행할 수 있다. 도 2와 관련하여 상기에서 논의되는 바와 같이, 사용자가 메스꺼움 반응을 경험하고 있다는 것을 결정하는 것은, 먼저, 사용자의 기준 반응을 결정하는 것 및, 그 다음, 스트레스 반응과 연관된 조건들의 세트가 충족된다는 것을 식별하는 것, 후속하여, 메스꺼움 반응과 연관된 조건들의 다른 세트가 충족된다는 결정을 포함할 수 있다.
[0041] 방법(100)은 멀미 스코어를 계산하기 위한 동작들이 실행되는 블록(122)으로 진행할 수 있다. 일부 실시예들에서, 멀미 스코어는 사용자가 멀미를 경험하고 있는 확률 및/또는 정도를 표시한다. 멀미 스코어는 블록들(112, 114, 116, 118, 및 120)에서 이루어지는 결정들 또는 그들 결정들의 임의의 조합에 적어도 부분적으로 기반하여 계산될 수 있다. 일부 실시예들에서, 블록들(112, 114, 116, 118, 120)로부터 획득되는 더 많은 수의 긍정의 지시(indication)들은 블록들(112, 114, 116, 118, 및 120)으로부터의 더 적은 수의 긍정의 지시들에 대해 해당될 것보다 더 높은 멀미 스코어를 생성할 수 있다. 일부 실시예들에서, 멀미 스코어는 분류(예를 들면, 없음, 낮음, 중간, 및 높음)에 매핑될 수 있는 수치 값일 수 있다. 다른 실시예들에서, 멀미 스코어는 수치 값이 아닌 분류일 수 있다.
[0042] 도 3은, 한 실시예에 따른, 차량의 사람의 멀미의 정도를 분류하기 위한 다양한 파라미터 값 조합들을 예시하는 테이블(300)이다.
[0043] "메스꺼움"으로 라벨링되는 열(column)은 도 1의 블록(120)에서 이루어지는 결정에 대응하도록 의도된다. 메스꺼움 열에서의 "0"의 값은 블록(120)에서의 결정이 사용자가 메스꺼움 반응을 경험하고 있지 않다는 것이었다는 것을 표시하고, 한편, "1"의 값은 블록(120)에서의 결정이 사용자가 메스꺼움 반응을 경험하고 있다는 것이었다는 것을 표시한다.
[0044] "스트레스"로 라벨링되는 열은 도 1의 블록(118)에서 이루어지는 결정에 대응하도록 의도된다. 스트레스 열에서의 "0"의 값은 블록(118)에서의 결정이 사용자가 스트레스 반응을 경험하고 있지 않다는 것이었다는 것을 표시하고, 한편, "1"의 값은 블록(118)에서의 결정이 사용자가 스트레스 반응을 경험하고 있다는 것이었다는 것을 표시한다.
[0045] "시선"으로 라벨링되는 열은 도 1의 블록(114)에서 이루어지는 결정에 대응하도록 의도된다. 시선 열에서의 "0"의 값은 블록(114)에서의 결정이 사용자가 지평선의 방향에서 보고 있지 않았다는 것이었다는 것을 표시하고, 한편 "1"의 값은 블록(118)에서의 결정이 사용자가 지평선의 방향에서 보고 있었다는 것이었다는 것을 표시한다.
[0046] "진동"으로 라벨링되는 열은 도 1의 블록(112)에서 이루어지는 결정에 대응하도록 의도된다. 진동 열에서의 "0"의 값은 블록(112)에서의 결정이 차량의 진동들이 사전 결정된 범위 밖에 있는 것으로 결정되었다는 것이었다는 것을 표시하고, 한편, "1"의 값은 블록(112)에서의 결정이 차량의 진동들이 사전 결정된 범위 내에 속하는 것으로 결정되었다는 것이었다는 것을 표시한다.
[0047] "분류"로 라벨링되는 열은 테이블(300)의 각각의 행에 대응하는 데이터에 할당될 수 있는 분류를 묘사한다.
[0048] 도 1로 돌아가서, 일부 실시예들에서, 블록(122)에서 수행되는 동작들은 블록들(112, 114, 118, 및 120)에서 획득되는 결정들을, 로컬 메모리에 저장될 수 있는 도 3의 테이블(300)과 비교하는 것을 포함할 수 있다. 이 비교에 적어도 부분적으로 기반하여, 테이블로부터 분류가 식별될 수 있고 사용자는, 멀미 없음, 낮은 정도의 멀미, 중간 정도의 멀미, 또는 높은 정도의 멀미를 경험하는 것으로 식별될 수 있다.
[0049] 일부 실시예들에서, 머신 러닝 모델(분류 모델로서 또한 지칭됨)은, 새로운 입력 데이터(예를 들면, 생리학적 데이터, 눈 시선 데이터, 차량 움직임 데이터, 등)를 사용자가 어떤 정도의 멀미를 경험하고 있는지를 표시하는 것으로 분류하기 위해, 감독 학습 기술들 및 트레이닝 데이터 세트를 사용 트레이닝될 수 있다. 일부 실시예들에서, 트레이닝 데이터 세트는, 분류(예를 들면, 사용자에 의해 경험되는 멀미의 정도)가 공지되어 있는, 생리학적 데이터, 눈 시선 데이터, 차량 움직임 데이터의 임의의 적절한 조합을 포함하는 임의의 적절한 수의 예들을 포함할 수 있다. 트레이닝 데이터 세트는 멀미의 정도를 표시하는 임의의 적절한 수의 예들을 포함할 수 있다. 본원에서 설명되는 예들이 네 개의 분류 값들(예를 들면, 없음, 스트레스, 메스꺼움, 낮음, 중간, 높음)을 활용하지만, 임의의 적절한 수의 분류들이 유사하게 활용될 수 있다. 예시적인 감독 학습 알고리즘들은 회귀 알고리즘들(예를 들면, 선형 회귀, 로지스틱 회귀, 등), 의사 결정 트리들, 랜덤 포레스트, 신경망들, 나이브 베이즈(naive Bayes), k-최근접 이웃(k-nearest neighbor), 등을 포함할 수 있다. 비제한적 예로서, 선형 수학식을 관측 데이터(예를 들면, 트레이닝 데이터 세트)에 적합시키는 것에 의해 두 변수들 사이의 관계를 모델링하는 수학적 모델(예를 들면, 분류 모델)을 생성하기 위해 회귀 알고리즘이 활용될 수 있다. 일단 모델이 생성되면, 새로운 데이터(예를 들면, 생리학적 데이터, 눈 시선 데이터, 차량 움직임 데이터)가 모델에 제공될 수 있고, 응답에서, 모델은 새로운 데이터에 대한 분류를 제공할 수 있다.
[0050] 일부 실시예들에서, 머신 러닝 모델은 더욱 정확한 분류들을 제공하기 위해 시간에 걸쳐 개선될 수 있다. 예로서, 새로운 데이터가 모델에 제공될 수 있고 분류가 모델에 의해 결정될 수 있다. 일부 실시예들에서, 분류가 정확하였는지의 여부를 확인하기 위해 사용자로부터 피드백이 유도될 수 있다. 사용자가 그러한 피드백을 제공하는 것을 가능하게 하는 사용자 인터페이스가 (예를 들면, 차량의 터치스크린을 통해) 제공될 수 있다. 피드백이 정확한 경우(또는 피드백이 정확하지 않은 경우), 수집된 데이터는 그러한 것으로 라벨링될 수 있고 트레이닝 데이터 세트에 추가될 수 있다. 모델은, 이제 새로운 예(들)를 포함하는 트레이닝 데이터 세트에 적어도 부분적으로 기반하여 재트레이닝될 수 있고 및/또는 증분적으로 업데이트될 수 있다.
[0051] 여전히 다른 예로서, 멀미 스코어에 대응하는 수치 값을 계산(또는 획득)하기 위해 사전 정의된 규칙 세트 또는 머신 러닝 모델이 활용될 수 있다. 멀미 스코어는 사용자가 경험하고 있는 가능성 및/또는 사용자에 의해 경험되는 멀미의 정도를 정량화할 수 있다.
[0052] 도 4a 내지 도 4c는, 일부 실시예들에 따른, 다수의 변수 값들을 결정하기 위한 방법들(400A-400C)을 예시하는 플로우차트들이다. 방법들(400A, 400B, 및/또는 400C)을 수행하기 위한 수단들은, 하기에서 설명되는, 도 8 내지 도 10에서 예시되는 것들과 같은 차량의 하나 이상의 하드웨어 및/또는 소프트웨어 컴포넌트들을 포함할 수 있다. 방법들(400A-400C)의 실행 이전에, 블록들(104, 112, 114, 116, 118, 및 120)에 대응하는 결정들을 유지하는 다양한 변수들은 디폴트 값(예를 들면, 개개의 블록들에 대응하는 조건이 충족되지 않았다는 것을 표시하는 거짓)으로 초기화될 수 있다.
[0053] 도 4a는 차량이 움직이고 있는지의 여부를 결정하기 위한 방법인 방법(400A)을 예시하는 플로우차트이다. 방법(400A)은 402에서 시작될 수 있는데, 여기서 차량 움직임 데이터가 시간 t에 걸쳐 캡처될 수 있다. 차량 움직임 데이터는 가속도계들, 자이로스코프들, 자력계들, 등을 포함하는 임의의 적절한 센서들(예를 들면, 도 8과 관련하여 하기에서 논의되는 차량 센서(들)(810) 중 하나 이상)에 의해 수집될 수 있다. 일부 실시예들에서, 차량 움직임 데이터는 스마트 워치, 안경, 차량의 관성 측정 유닛(inertial measurement unit; IMU), 등과 같은 하나 이상의 웨어러블 디바이스들에 의해 수집될 수 있다. 차량 움직임 데이터는 임의의 적절한 주기성/빈도에 따라, 사전 정의된 스케줄에 따라, 및/또는 임의의 적절한 사전 정의된 조건들에 따라 수집될 수 있다.
[0054] 404에서, 차량 움직임 데이터를 분석하는 것으로부터, 차량이 움직이고 있는지의 여부에 관한 결정이 이루어질 수 있다. 차량이 움직이고 있지 않은 경우, 변수(예를 들면, "이동" 변수)가 406에서 설정될 수 있고 방법(400A)은 추가적인 차량 움직임 데이터가 캡처될 수 있는 402로 복귀할 수 있다. 이 루프는 시간 t에 걸쳐 임의의 적절한 횟수들 계속될 수 있다. 일부 실시예들에서, 시간 t은 차량이 사용 중인 총 시간(예를 들면, 차량이 공회전 및 정지 또는 이동 중인 시간들을 포함함)에 대응할 수 있다.
[0055] 차량이 404에서 움직이고 있는 것으로 결정되는 경우, 방법(400A)은 406으로 진행할 수 있는데, 여기서 차량이 움직이고 있다는 것을 표시하도록 변수(예를 들면, "이동" 변수)가 업데이트될 수 있다. 그 이후, 방법(400A)은 402로 복귀할 수 있고 단계들(402-408)은 시간 t에 걸쳐 임의의 적절한 횟수들 반복될 수 있다.
[0056] 도 4b는, 차량이 사전 정의된 임계치 내에 속하는 진동들(예를 들면, 다른 진동 주파수들보다 사용자의 스트레스 및/또는 메스꺼움 반응을 유도할 가능성이 더 높은 것으로 결정될 수 있는 진동 주파수들)을 생성하고 있는지의 여부를 결정하기 위한 방법인 방법(400B)을 예시하는 플로우차트이다. 방법(400B)은 409에서 시작될 수 있는데, 여기서 406에서 설정되는 "이동" 변수가 체크될 수 있다. 변수의 값이 차량이 움직이고 있지 않다는 것을 표시하는 경우, 방법(400B)은 410에서 종료될 수 있다. 대안적으로, 이동 변수의 값이 차량이 움직이고 있다는 것을 표시하는 경우, 방법(400B)은 412로 진행할 수 있다.
[0057] 412에서, 차량 움직임 데이터가 시간에 걸쳐 캡처될 수 있다. 이 차량 움직임 데이터는 방법(400A)의 402에서 캡처되는 것과 유사한 타입을 가질 수 있지만 그러나 후속 시간에 있을 수 있다. 일단 이 추가적인 차량 움직임 데이터가 캡처되면, 방법(400B)은 414로 진행할 수 있는데, 여기서 차량의 떨림들의 전력 스펙트럼 밀도(power spectral density; PSD)는 412에서 캡처되는 추가적인 차량 움직임 데이터를 사용하여 시간 t에 걸쳐 계산될 수 있다. 차량의 떨림의 전력 스펙트럼 밀도는, 단위 질량당 주파수로서 측정되는, 차량 움직임 데이터(예를 들면, 가속도계 판독치들) 내에서 발생하는 에너지 변동이다. 일부 실시예들에서, 에너지 변동은 두 개의 수직 축들을 따라 분해될 수 있다. 횡방향 성분은 자동차의 전방으로부터 후방으로 이어지는 축에 대응하는 떨림의 에너지 변동의 양을 표시할 수 있고, 한편 경도 성분은 차량의 한쪽 측면으로부터 반대쪽 측면으로 이어지는 축에 대응하는 떨림의 에너지 변동의 양을 표시할 수 있다.
[0058] 416에서, 414에서 계산되는 횡방향 또는 경도 성분들 중 임의의 것이 사전 정의된 주파수 범위 내에 속하는지의 여부에 관한 결정이 이루어질 수 있다. 한 예로서, 사전 정의된 주파수 범위는 0.1 내지 0.5 Hz일 수 있다. 차량들 진동들의 성분들이 사전 정의된 주파수 범위 내에 속하지 않는 경우, 방법(400B)은, 변수(예를 들면, 진동 변수)가 동일한 것을 표시하는 값으로 설정될 수 있는 418로 진행할 수 있고 방법(400B)은 다시 408로 진행할 수 있다. 이 루프는 차량의 떨림의 진동 성분들이 사전 정의된 주파수 범위 내에 속하지 않는 한, 시간 t에 걸쳐 임의의 적절한 횟수들 계속될 수 있다. 일부 실시예들에서, 시간 t은 차량이 사용 중인 총 시간(예를 들면, 차량이 공회전 및 정지 또는 이동 중인 시간들을 포함함)에 대응할 수 있다.
[0059] 대안적으로, 차량들 진동들의 성분들이 사전 정의된 범위 내에 있는 경우, 방법(400B)은 420으로 진행할 수 있고, 여기서 변수(예를 들면, 진동 변수(oscillation variable; "Osc"))는 동일한 것을 표시하도록 업데이트될 수 있다. 그 이후, 방법(400B)은 409로 복귀할 수 있고 단계들(409-420)은 시간 t에 걸쳐 임의의 적절한 순서로 임의의 적절한 횟수들 반복될 수 있다.
[0060] 도 4c는, 사용자의 시선이 지평선을 향해 충분히(임계 양을 초과하게) 지향되는지의 여부를 결정하기 위한 방법인 방법(400C)을 예시하는 플로우차트이다. 방법(400C)은 422에서 시작될 수 있는데, 여기서, 방법(400A)의 406에서 설정되는 "이동" 변수가 체크될 수 있다. 변수의 값이 차량이 움직이고 있지 않다는 것을 표시하는 경우, 방법(400C)은 424에서 종료될 수 있다. 대안적으로, 이동 변수의 값이 차량이 움직이고 있다는 것을 표시하는 경우, 방법(400C)은 424로 진행할 수 있다.
[0061] 424에서, 눈 시선 데이터가 시간에 걸쳐 캡처될 수 있다. 이 눈 시선 데이터는 시간 t에 걸쳐 캡처되는 사용자의(예를 들면, 사용자의 얼굴, 눈들, 동공들, 등의) 하나 이상의 이미지들 및/또는 비디오들을 포함할 수 있다. 눈 시선 데이터는 하나 이상의 카메라들(예를 들면, 도 8의 카메라(들)(812))의 임의의 적절한 조합에 의해 캡처될 수 있다. 카메라(들)는 사용자를 향해 안쪽으로 향하게 될 수 있다(그리고 일부 경우들에서, 차량 내의 다른 사용자들을 역시 캡처할 수 있음).
[0062] 방법(400C)은 426으로 진행할 수 있는데, 여기서 사용자의 시선이 (예를 들면, 명시된 시간 기간('t')에 걸쳐) 지평선으로부터 벗어나는 양을 결정하기 위해 사용자의 시선이 분석될 수 있다. 예로서, 424에서 캡처되는 이미지(들)/비디오(들)는 사용자의 시선의 방향을 식별하기 위해 임의의 적절한 이미지 인식 및/또는 눈 추적 기술들을 사용하여 분석될 수 있다. 지평선의 공지된 위치가 주어지면, 사용자의 시선이 지평선으로부터 벗어나는 양이 계산될 수 있다. 일부 실시예들에서, 사용자의 시선을 식별하기 위한 동작들이 실행되기 이전에 사용자의 시선은 명시된 시간 기간 't' 동안 벗어날 수 있다.
[0063] 428에서, 사용자의 시선이 지평선으로부터 벗어나는 양이 명시된 시간 기간(t)에 걸쳐 임계 값을 초과하는지의 여부에 관한 결정이 이루어질 수 있다. 한 예로서, 임계 값은 어떤 시간 기간(예를 들면, 예컨대, 1 분, 30 초들, 5 분들, 등)에 걸쳐 차량의 전방 창에서 볼 수 있는 지평선을 향해 정면을 똑바로 응시하는 것으로부터 임의의 방향으로 10 도들에 대응하는 10 도들일 수 있다. 일탈의 양이 임계치를 초과하지 않는 경우, 방법(400C)은 430으로 진행할 수 있는데, 여기서 변수(예를 들면, 시선 변수)는 동일한 것을 표시하는 값으로 설정될 수 있고 방법(400C)은 422로 다시 진행할 수 있다. 이 루프는, 일탈의 양이 임계 값을 초과하지 않는 한, 시간 t에 걸쳐 임의의 적절한 횟수들 계속될 수 있다.
[0064] 대안적으로, 편차의 양이 임계 값을 초과하는 경우, 방법(400C)은 432로 진행할 수 있는데, 여기서 변수(예를 들면, 시선 변수("시선"))는 동일한 것을 표시하도록 업데이트될 수 있다. 그 이후, 방법(400C)은 422로 복귀할 수 있고 단계들(422-432)은 시간 t에 걸쳐 임의의 적절한 순서로 임의의 적절한 횟수들 반복될 수 있다.
[0065] 도 5는, 한 실시예에 따른, 차량의 사람이 멀미를 경험하고 있는지의 여부를 결정하기 위한 방법(500)을 묘사하는 플로우차트이다. 방법(500)을 수행하기 위한 수단들은, 하기에서 설명되는, 도 8 내지 도 10에서 예시되는 것들과 같은, 차량의 하나 이상의 하드웨어 및/또는 소프트웨어 컴포넌트들을 포함할 수 있다.
[0066] 방법(500)은 502에서 시작될 수 있는데, 여기서 방법(400A)의 406에서 설정되는 "이동" 변수가 체크될 수 있다. 변수의 값이 차량이 움직이고 있지 않다는 것을 표시하는 경우, 방법(500)은 504에서 종료될 수 있다. 대안적으로, 이동 변수의 값이 차량이 움직이고 있다는 것을 표시하는 경우, 방법(500)은 506으로 진행할 수 있는데, 여기서 변수들(예를 들면, 차량의 진동들이 사전 정의된 주파수 범위 내에 속하는지의 여부를 표시하는 "Osc" 변수 및 사용자의 시선이 임계양을 초과하여 지평선으로부터 벗어나는지의 여부를 표시하는 "시선" 변수)은 방법들(400B 및 400C)의 실행에 의해 결정된다. 변수들 둘 모두가 거짓으로 설정되는 경우(또는 다르게는 부정적인 결정을 표시하는 경우), 방법(500)은 502로 복귀할 수 있다. 대안적으로, 변수들 중 하나(또는 둘 모두)가 참으로 설정되는 경우(또는 다르게는 긍정적인 결정을 표시하는 경우), 방법(500)은 508로 진행할 수 있다.
[0067] 508에서, 생리학적 데이터가 캡처될 수 있고 임의의 적절한 피처들이 그러한 데이터로부터 계산/식별될 수 있다. 예로서, 생리학적 데이터는 도 8의 하나 이상의 생리학적 센서(들)(828)의 임의의 적절한 조합에 의해 수집될 수 있다. 따라서, 생리학적 데이터는 심박수, 심박 변이도, 혈압, 혈액량 펄스, 맥박, 산소, 온도, 피부 전도도, 전기 피부 반응(GSR), 피부 전기 반응(EDR), 정신 전류 반사(PGR), 피부 전도도 반응(SCR), 교감 피부 반응(SSR), 피부 전도도 레벨(SCL) 등과 관련된 임의의 적절한 데이터를 포함할 수 있다.
[0068] 도 6은, 한 실시예에 따른, 수집된 생리학적 데이터로부터 다양한 피처들을 계산하기 위한 방법(600)의 단순화된 블록도이다. 일부 실시예들에서, 508에서 수행되는 동작들은 방법(600)의 동작들을 포함할 수 있다. 단계들(602-620)은 임의의 적절한 순서로 수행될 수 있고 및/또는 단계들(602-620)에서 수행되는 임의의 적절한 수의 동작들은 실질적으로 동시에 수행될 수 있다.
[0069] 방법(600)은 602에서 시작될 수 있는데, 여기서 심장 초음파 검사 데이터(echocardiography data; ECG) 데이터가 시간 t에 걸쳐 캡처될 수 있다. ECG 데이터는 도 8의 생리학적 센서(들)(828)의 ECG 센서에 의해 캡처될 수 있다. 604에서, 평균 심박수, 평균(또는 실제) 심박 변이도 메트릭들(예를 들면, 저주파(low frequency; LF), 고주파(HF), 연속적인 차이들의 평균 제곱근(RMSSD))를 포함하는 생리학적 파라미터들이 시간 t에 걸쳐 캡처되는 ECG 데이터에 기반하여 계산될 수 있다.
[0070] 방법(600)은 606으로 진행할 수 있는데, 여기서 전기 피부 반응(GSR) 데이터가 시간 t에 걸쳐 캡처될 수 있다. GSR 데이터는 도 8의 생리학적 센서(들)(828)의 GSR 센서에 의해 캡처될 수 있다. 일부 실시예들에서, GSR 데이터는 신체의 특정한 부분에 대응할 수 있다. 608에서, 시간 t에 걸쳐 606에서 캡처되는 GSR 데이터에 기반하여, 평균 피부 전도도 레벨 및 피부 전도도 반응 레이트를 포함하는 생리학적 파라미터들이 계산될 수 있다.
[0071] 방법(600)은 610으로 진행할 수 있는데, 여기서 피부 온도 데이터가 시간 t에 걸쳐 캡처될 수 있다. 피부 온도 데이터는 도 8의 생리학적 센서(들)(828)의 온도 센서에 의해 캡처될 수 있다. 일부 실시예들에서, 온도 데이터는 신체의 특정한 부분에 대응할 수 있다. 612에서, 시간 t에 걸쳐 캡처되는 온도들에 기반하여, 평균 온도(예를 들면, 온도 센서가 배치되는 손가락에서, 센서가 배치되는 스티어링 휠에서 캡처되는 온도, 웨어러블 디바이스에 의해 캡처되는 온도)를 포함하는 생리학적 파라미터들이 계산될 수 있다.
[0072] 방법(600)은 614로 진행할 수 있는데, 여기서 광혈류 측정(photoplethysmography; PPG) 데이터가 시간 t에 걸쳐 캡처될 수 있다. PPG는 도 8의 생리학적 센서(들)(828)의 PPG 센서에 의해 캡처될 수 있다. 616에서, 시간 t에 걸쳐 캡처되는 PPG 데이터에 기반하여, 혈액량 펄스 진폭을 포함하는 생리학적 파라미터들이 계산될 수 있다.
[0073] 방법(600)은 618로 진행할 수 있는데, 여기서 추가적인 GSR 데이터가 시간 t에 걸쳐 캡처될 수 있다. 추가적인 GSR 데이터는 도 8의 생리학적 센서(들)(828) 중 다른 GSR 센서에 의해 캡처될 수 있다. 일부 실시예들에서, 추가적인 GSR 센서는 사용자의 이마에 배치될 수 있다. 620에서, 시간 t에 걸쳐 618에서 캡처되는 GSR에 기반하여, 평균 피부 전도도 레벨 및 피부 전도도 반응 레이트를 포함하는 생리학적 파라미터들이 계산될 수 있다.
[0074] 도 5로 돌아가서, 방법(500)은 508로부터 510으로 진행할 수 있는데, 여기서 캡처된 생리학적 데이터뿐만 아니라, 그로부터 계산되는 임의의 피처들이 기준 데이터로서 저장될 수 있고 기준 데이터가 존재한다는 것을 표시하는 변수가 설정될 수 있다. 단계들(502-510)은 도 1의 블록(116)에 대응할 수 있다.
[0075] 512에서, 방법(400A)의 406에서 설정되는 "이동" 변수가 다시 체크될 수 있다. 변수의 값이 차량이 움직이고 있지 않다는 것을 표시하는 경우, 방법(500)은 514에서 종료될 수 있다. 대안적으로, 이동 변수의 값이 차량이 움직이고 있다는 것을 표시하는 경우, 방법(500)은 516으로 진행할 수 있는데, 여기서 후속하는 생리학적 데이터가 캡처될 수 있고 대응하는 피처들이 계산될 수 있다. 일부 실시예들에서, 516에서 수행되는 동작들은 도 6의 방법(600)의 실행을 포함할 수 있다.
[0076] 518에서, (예를 들면, 도 2에서 표시되는 바와 같이) 사용자가 스트레스 반응을 경험하였는지의 여부에 관한 결정이 이루어질 수 있다. 일부 실시예들에서, 이 결정은 생리학적 데이터 및/또는 대응하는 생리학적 피처들(예를 들면, 심박수, BVP, RMSSD, LF, HF, LF/HF, GSR 값들, 신체의 특정한 위치들에서의 온도들, 등)을 스트레스 반응과 연관된 생리학적 피처 값들의 사전 정의된 세트와 비교하는 것에 적어도 부분적으로 기반하여 및/또는 각각의 피처가 510에서 저장되는 기준 데이터와 관련하여 사전 정의된 방식으로 변경되었다는 것(예를 들면, 증가되거나 또는 감소되었다는 것) 또는 실질적으로 일정하게 유지되었다는 것을 결정하는 것에 의해 이루어질 수 있다. 예를 들면, 생리학적 피처들의 사전 정의된 세트는 손가락에서의 GSR 및 심박수에서의 증가가 스트레스 반응의 시작을 시그널링한다는 것을 표시할 수 있다. 사전 정의된 세트에 대한 생리학적 데이터 및/또는 피처들의 비교는 사용자의 데이터/피처들이 유사한 증가를 표시할 때 스트레스 반응을 표시할 수 있다. 다른 실시예들에서, 사용자가 스트레스 반응을 경험하고 있다는 결정은, 입력 데이터를 스트레스 반응을 표시하는 것 또는 스트레스 반응을 표시하지 않는 것으로서 식별하도록 트레이닝되는 머신 러닝 모델에 대한 입력으로서 516에서 계산되는 생리학적 데이터 및/또는 대응하는 생리학적 피처들을 제공하는 것에 적어도 부분적으로 기반하여 이루어질 수 있다.
[0077] 일부 실시예들에서, 518에서 활용되는 머신 러닝 모델은, 새로운 입력 데이터(예를 들면, 생리학적 데이터 및/또는 그러한 데이터로부터 유도되는 피처들)를 사용자가 스트레스 반응을 경험하고 있는지 또는 아닌지를 표시하는 것으로 분류하기 위해, 감독 학습 기술들 및 트레이닝 데이터 세트를 사용하여 트레이닝될 수 있다. 일부 실시예들에서, 트레이닝 데이터 세트는 분류(예를 들면, 스트레스 반응 = 참, 스트레스 반응 = 거짓)가 공지되어 있는 생리학적 데이터 및 또는 그러한 데이터로부터 유도되는 생리학적 피처들의 임의의 적절한 조합을 포함하는 임의의 적절한 수의 예들을 포함할 수 있다. 트레이닝 데이터 세트는 스트레스 반응을 표시하는 임의의 적절한 수의 예들 및/또는 스트레스 반응을 표시하지 않는 임의의 적절한 수의 예들을 포함할 수 있다. 모델은 회귀 알고리즘들(예를 들면, 선형 회귀, 로지스틱 회귀, 등), 의사 결정 트리들, 랜덤 포레스트, 신경망들, 나이브 베이즈, k-최근접 이웃, 등과 같은 감독 학습 알고리즘들을 사용하여 트레이닝될 수 있다. 일단 모델이 트레이닝되면, 새로운 데이터(예를 들면, 생리학적 데이터 및/또는 그러한 데이터로부터 유도되는 대응하는 생리학적 피처)가 모델에 제공될 수 있고, 응답에서, 모델은, 사용자가 스트레스 반응을 경험하고 있는지의 여부에 관한 결정으로 간주될 수 있는 값(예를 들면, 참, 거짓)을 제공할 수 있다.
[0078] 518에서 사용자가 스트레스 반응을 경험하지 않았다는 것이 결정되는 경우, 방법은 520으로 진행할 수 있는데, 여기서 스트레스 변수가 설정될 수 있고(예를 들면, 거짓으로 또는 다르게는 부정적인 결정을 표시함) 방법(500)은 512로 복귀할 수 있다. 대안적으로, 518에서 사용자가 스트레스 반응을 경험하였다는 것이 결정되는 경우, 방법(500)은 522로 진행할 수 있는데, 여기서 스트레스 데이터(예를 들면, 516에서 수집 및/또는 계산되는 데이터)가 저장될 수 있고 및/또는 스트레스 변수가 설정될 수 있다(예를 들면, 참으로, 또는 다르게는 긍정적인 결정을 표시함). 단계들(512-522)은 도 1의 블록(118)에 대응할 수 있다.
[0079] 방법(500)은 524로 진행할 수 있는데, 여기서 방법(400A)의 406에서 설정되는 "이동" 변수가 다시 체크될 수 있다. 변수의 값이 차량이 움직이고 있지 않다는 것을 표시하는 경우, 방법(500)은 526에서 종료될 수 있다. 대안적으로, 이동 변수의 값이 차량이 움직이고 있다는 것을 표시하는 경우, 방법(500)은 528로 진행할 수 있는데, 여기서 추가적인 생리학적 데이터가 캡처될 수 있고 대응하는 생리학적 피처들이 계산될 수 있다. 일부 실시예들에서, 528에서 수행되는 동작들은 도 6의 방법(600)의 실행을 포함할 수 있다.
[0080] 530에서, 사용자가 메스꺼움 반응(예를 들면, 도 2에서 표시되는 메스꺼움 반응)을 경험하였는지의 여부에 관한 결정이 이루어질 수 있다. 일부 실시예들에서, 이 결정은 생리학적 데이터 및/또는 대응하는 생리학적 피처들(예를 들면, 심박수, BVP, RMSSD, LF, HF, LF/HF, GSR 값들, 신체의 특정한 위치들에서의 온도들, 등)을 메스꺼움 반응과 연관된 생리학적 피처 값들의 사전 정의된 세트와 비교하는 것에 적어도 부분적으로 기반하여 및/또는 각각의 피처가 522에서 저장되는 스트레스 데이터와 관련하여 사전 정의된 방식으로 변경되었다는 것(예를 들면, 증가되거나 또는 감소되었다는 것) 또는 실질적으로 일정하게 유지되었다는 것을 결정하는 것에 의해 이루어질 수 있다. 예를 들면, 생리학적 피처들의 사전 정의된 세트는 (예를 들면, 도 2에서 표시되는 바와 같이 손가락에서의 GSR 및 심박수의 증가 이후) 이마에서의 GSR의 증가가 메스꺼움 반응의 시작을 시그널링한다는 것을 표시할 수 있다. 사전 정의된 세트에 대한 생리학적 데이터 및/또는 피처들의 비교는 사용자의 데이터/피처들이 유사한 증가를 표시할 때 메스꺼움 반응을 표시할 수 있다. 다른 실시예들에서, 사용자가 메스꺼움 반응을 경험하고 있다는 결정은, 입력 데이터를 메스꺼움 반응을 표시하는 것 또는 메스꺼움 반응을 표시하지 않는 것으로서 식별하도록 트레이닝되는 머신 러닝 모델에 대한 입력으로서 528에서 계산되는 생리학적 데이터 및/또는 대응하는 생리학적 피처들을 제공하는 것에 적어도 부분적으로 기반하여 이루어질 수 있다.
[0081] 일부 실시예들에서, 530에서 활용되는 머신 러닝 모델은, 새로운 입력 데이터(예를 들면, 생리학적 데이터 및/또는 그러한 데이터로부터 유도되는 피처들)를 사용자가 메스꺼움 반응을 경험하고 있는지 또는 아닌지를 표시하는 것으로 분류하기 위해, 감독 학습 기술들 및 트레이닝 데이터 세트를 사용하여 트레이닝될 수 있다. 일부 실시예들에서, 트레이닝 데이터 세트는 분류(예를 들면, 메스꺼움 반응 = 참, 메스꺼움 반응 = 거짓)가 공지되어 있는 생리학적 데이터 및 또는 그러한 데이터로부터 유도되는 생리학적 피처들의 임의의 적절한 조합을 포함하는 임의의 적절한 수의 예들을 포함할 수 있다. 트레이닝 데이터 세트는 메스꺼움 반응을 표시하는 임의의 적절한 수의 예들 및/또는 메스꺼움 반응을 표시하지 않는 임의의 적절한 수의 예들을 포함할 수 있다. 모델은 회귀 알고리즘들(예를 들면, 선형 회귀, 로지스틱 회귀, 등), 의사 결정 트리들, 랜덤 포레스트, 신경망들, 나이브 베이즈, k-최근접 이웃, 등과 같은 감독 학습 알고리즘들을 사용하여 트레이닝될 수 있다. 일단 모델이 트레이닝되면, 새로운 데이터(예를 들면, 생리학적 데이터 및/또는 그러한 데이터로부터 유도되는 대응하는 생리학적 피처)가 모델에 제공될 수 있고, 응답에서, 모델은, 사용자가 스트레스 반응을 경험하고 있는지의 여부에 관한 결정으로 간주될 수 있는 값(예를 들면, 참, 거짓)을 제공할 수 있다.
[0082] 530에서 사용자가 메스꺼움 반응을 경험하지 않았다는 것이 결정되는 경우, 방법은 518로 다시 진행할 수 있다. 대안적으로, 530에서 사용자가 메스꺼움 반응을 경험하였다는 것이 결정되는 경우, 방법(500)은 534로 진행할 수 있는데, 여기서 매스꺼움 변수가 설정될 수 있다(예를 들면, 참으로, 또는 다르게는 긍정적인 결정을 표시함). 단계들(524-534)은 도 1의 블록(120)에 대응할 수 있다. 일부 실시예들에서, 528에서 캡처되는/계산되는 생리학적 데이터 및/또는 피처들은 후속하는 사용을 위해 저장될 수 있다.
[0083] 도 7은, 한 실시예에 따른, 스트레스 반응이 발생하였는지의 여부를 결정하기 위한 방법(700)의 단순화된 블록도이다. 방법(700)의 실행 이전에, 방법(600)은, 제1 시간에, 기준 데이터를 수집하는 것에 대응하는 수집된 생리학적 데이터로부터 다양한 피처들을 계산하도록 실행될 수 있다. 방법(600)은, 제2 시간(예를 들면, 제1 시간보다 더 나중의 제2 시간)에, 현재의 데이터를 수집하는 것에 대응하는 수집된 생리학적 데이터로부터 다양한 피처들을 계산하도록 실행될 수 있다. 방법(700)은 기준 데이터 및 현재의 데이터가 수집된 이후 시작될 수 있다.
[0084] 방법(700)은 702에서 시작될 수 있는데, 여기서 기준 심박수와 현재 심박수 사이의 차이가 계산될 수 있다. 704에서, 702에서 식별되는 심박수에서의 차이가 사전 결정된 심박수 임계치를 초과하는 경우, 심박수에서의 차이가 스트레스 반응의 하나의 피처를 표시한다는 것이 결정될 수 있다. 심박수에서의 차이가 사전 결정된 심박수 임계치를 초과하지 않는 경우, 스트레스 반응의 피처가 표시되지 않는다는 것이 결정될 수 있다.
[0085] 706에서, 손가락들(또는 다른 위치)에서의 현재의 SCL과 기준 SCL 사이의 차이 및 손가락들(또는 다른 위치)에서의 현재의 SCR 레이트와 기준 SCR 레이트 사이의 차이가 계산될 수 있다. 710에서, SCL에서의 차이와 SCR 레이트에서의 차이 둘 모두가 사전 결정된 임계치를 초과하는 경우, 스트레스 반응의 특정한 피처가 표시되어 진다는 것이 결정될 수 있다. 차이들 중 하나 또는 둘 모두가 임계치를 초과하지 못하는 경우, 스트레스 반응의 그 특정한 피처가 표시되어 지지 않는다는 것이 결정될 수 있다.
[0086] 710에서, 손가락들(또는 다른 위치)에서의 기준 피부 온도와 손가락들(또는 다른 위치)에서의 현재의 피부 온도 사이의 차이가 계산될 수 있다. 712에서, 710에서 식별되는 차이가 대응하는 사전 결정된 온도 임계치 미만인 경우, 스트레스 반응의 피처가 표시되어 진다는 것이 결정될 수 있다. 710에서 식별되는 차이가 대응하는 사전 결정된 온도 임계치와 동일하거나 또는 임계치를 초과하는 경우, 스트레스 반응의 피처가 표시되지 않는다는 것이 결정될 수 있다.
[0087] 714에서, 현재의 HF와 기준 HF 사이의 차이 또는 현재의 RMSSD와 기준 RMSSD 사이의 차이가 계산될 수 있다. 716에서, 차이 HF 또는 RMSSD에서의 차이 중 어느 하나가 대응하는 사전 결정된 임계치 미만인 경우, 스트레스 반응의 특정한 피처가 표시된다는 것이 결정될 수 있다. 차이 중 어느 것도 대응하는 사전 결정된 임계치 미만이 아닌 것으로 결정되는 경우, 스트레스 반응의 그 특정한 피처가 표시되지 않는다는 것이 결정될 수 있다.
[0088] 718에서, 기준 BVP와 현재의 BVP 사이의 차이가 계산될 수 있다. 720에서, 716에서 식별되는 BVP에서의 차이가 대응하는 사전 결정된 BVP 임계치보다 더 작은 경우, BVP에서의 차이가 스트레스 반응의 하나의 피처를 표시한다는 것이 결정될 수 있다. BVP에서의 차이가 사전 결정된 BVP 임계치와 동일하거나 또는 임계치를 초과하는 경우, 스트레스 반응의 피처가 표시되지 않는다는 것이 결정될 수 있다.
[0089] 722에서, 이마에서의 현재의 SCL과 기준 SCL 사이의 차이 및 이마에서의 현재의 SCR 레이트와 기준 SCR 레이트 사이의 차이가 계산될 수 있다. 724에서, SCL에서의 차이와 SCR 레이트에서의 차이 둘 모두가 사전 결정된 임계치보다 더 작거나 또는 동일한 경우, 스트레스 반응의 피처가 표시되지 않는다는 것이 결정될 수 있다. 차이들 중 하나 또는 둘 모두가 임계치를 초과하는 경우, 스트레스 반응의 그 특정한 피처가 표시되지 않는다는 것이 결정될 수 있다.
[0090] 726에서, 704, 708, 712, 716, 720, 및 724에서 이루어지는 결정들에 적어도 부분적으로 기반하여 조건들의 세트가 충족되는지의 여부에 관한 결정이 이루어질 수 있다. 예로서, 스트레스 반응이 발생하였다는 것을 결정하기 위한 임계 조건들 세트는, 심박수가 변경되었다는 것을 결정하는 것(예를 들면, 704 참조), SCR 레이트가 변경되었다는 것을 결정하는 것, 및 708, 712, 716, 720, 및/또는 724에서 이루어지는 결정들로부터의 적어도 하나의 다른 긍정적인 결정을 포함할 수 있다. 일부 실시예들에서, 726에서의 결정에 대해 필요한 임계 조건들은 사용자에 의해 구성 가능할 수 있다. 임계 조건(들)이 충족되는 경우, 스트레스 반응이 발생하였다는 결정이 728에서 이루어질 수 있고 방법(700)은 730에서 종료될 수 있다. 임계치가 충족되지 않거나 또는 초과되는 경우, 스트레스 반응이 발생하지 않았다는 결정이 732에서 이루어질 수 있고 방법(700)은 730에서 종료될 수 있다.
[0091] 도 7에서 도시되는 숫자보다 더 많은 또는 더 적은 차이 값들이 계산될 수 있다는 것이 인식되어야 한다. 702, 706, 710, 714, 718, 722의 계산들은 임의의 적절한 순서로 수행될 수 있다는 것이 또한 인식되어야 한다. 일부 실시예들에서, 현재의 데이터에 대응하는 수집된 생리학적 데이터로부터 계산되는 피처들은 후속하는 사용을 위해 저장될 수 있다. 이 데이터는 "스트레스 데이터"로서 칭해질 수 있다. 예를 들면, 스트레스 반응이 표시된다는 결정이 이루어지는 경우(예를 들면, 728), "현재의 데이터"에 대응하는 생리학적 데이터 및 그것으로부터 계산되는 피처들은 후속하는 사용을 위해 저장될 수 있다. 이 데이터는 하기에서 "스트레스 데이터"로 지칭될 수 있다.
[0092] 도 8은, 한 실시예에 따른, 메스꺼움 반응이 발생하였는지의 여부를 결정하기 위한 방법(800)의 단순화된 블록도이다. 일부 실시예들에서, 방법(800)은 도 7의 방법(700)의 실행 이후에 실행될 수 있다. 생리학적 데이터를 수집하기 위해 그리고 그 생리학적 데이터로부터 피처들을 계산하기 위해 방법(600)이 다시 한번 수행될 수 있다. 이것은 이제 현재의 데이터로서 간주될 수 있다. 예시적 목적들을 위해, 시간(Ts)은 도면의 스트레스 반응이 발생한 것으로 결정되었던 시간을 가리킬 수 있다.
[0093] 방법(800)은 802에서 시작될 수 있는데, 여기서 시간(Ts)에 대응하는 심박수와 현재의 데이터의 심박수 사이의 차이가 계산될 수 있다. 804에서, 802에서 식별되는 심박수에서의 차이가 사전 결정된 심박수 임계치 미만인 경우, 그 차이가 메스꺼움 반응의 하나의 피처를 표시한다는 것이 결정될 수 있다. 심박수에서의 차이가 사전 결정된 심박수 임계치와 동일하거나 또는 임계치를 초과하는 경우, 그 메스꺼움 반응의 그 피처가 표시되지 않는다는 것이 결정될 수 있다.
[0094] 806에서, 손가락들에서의 현재의 SCL과 시간(Ts)에서의 손가락들에서의 SCL 사이의 차이 및 현재의 SCR 레이트와 시간(Ts)에서의 손가락들에서의 SCR 레이트 사이의 차이가 계산될 수 있다. 808에서, SCL에서의 차이와 SCR 레이트에서의 차이 둘 모두가 사전 결정된 임계치를 초과하는 경우, 메스꺼움 반응의 특정한 피처가 표시된다는 것이 결정될 수 있다. 차이들 중 하나 또는 둘 모두가 임계치와 동일하거나 또는 임계치를 초과하지 못하는 경우, 메스꺼움 반응의 그 특정한 피처가 표시되지 않는다는 것이 결정될 수 있다.
[0095] 810에서, 시간(Ts)에서의 손가락들에서의 피부 온도와 손가락들에서의 현재의 피부 온도 사이의 차이가 계산될 수 있다. 812에서, 810에서 식별되는 차이가 대응하는 사전 결정된 온도 임계치와 동일하거나 또는 임계치를 초과하는 경우, 메스꺼움 반응의 피처가 표시된다는 것이 결정될 수 있다. 710에서 식별되는 차이가 대응하는 사전 결정된 온도 임계치 미만인 경우, 메스꺼움 반응의 그 피처가 표시되지 않는다는 것이 결정될 수 있다.
[0096] 814에서, 현재의 HF와 시간(Ts)에서의 HF 사이의 차이 또는 현재의 RMSSD와 시간(Ts)에서 RMSSD 사이의 차이가 계산될 수 있다. 816에서, 차이 HF 또는 RMSSD에서의 차이가 대응하는 사전 결정된 임계치와 동일하거나 또는 임계치를 초과하는 경우, 메스꺼움 반응의 특정한 피처가 표시된다는 것이 결정될 수 있다. HF도 또는 RMSSD도 대응하는 사전 결정된 임계치와 동일하거나 또는 초과하지 않는 경우, 메스꺼움 반응의 그 특정한 피처가 표시되지 않는다는 것이 결정될 수 있다.
[0097] 818에서, 현재의 BVP와 시간(Ts)에서의 BVP 사이의 차이가 계산될 수 있다. 820에서, 818에서 식별되는 BVP에서의 차이가 대응하는 사전 결정된 BVP 임계치보다 더 크거나 또는 동일한 경우, BVP에서의 차이가 메스꺼움 반응의 하나의 피처를 표시한다는 것이 결정될 수 있다. BVP에서의 차이가 사전 결정된 BVP 임계치 미만인 경우, 메스꺼움 반응의 그 피처가 표시되지 않는다는 것이 결정될 수 있다.
[0098] 822에서, 이마에서의 현재의 SCL과 시간(Ts)에서의 이마에서의 SCL 사이의 차이 및 이마에서의 현재의 SCR 레이트와 시간(Ts)에서의 이마에서의 SCR 레이트 사이의 차이가 계산될 수 있다. 824에서, SCL에서의 차이 및 SCR 레이트에서의 차이 둘 모두가 사전 결정된 임계치보다 더 큰 경우, 메스꺼움 반응의 피처가 표시된다는 것이 결정될 수 있다. 차이들 중 하나 또는 둘 모두가 임계치와 동일하거나 또는 임계치를 초과하는 경우, 메스꺼움 반응의 그 특정한 피처가 표시되지 않는다는 것이 결정될 수 있다.
[0099] 826에서, 804, 808, 812, 816, 820, 및 824에서 이루어지는 결정들에 적어도 부분적으로 기반하여 조건들의 세트가 충족되는지의 여부에 관한 결정이 이루어질 수 있다. 예로서, 메스꺼움 반응이 발생하였는지의 여부를 결정하기 위한 임계 조건들의 세트는 이마에서의 SCR 레이트가 변경되었다는 것을 결정하는 것 및 804, 808, 812, 816, 820, 및/또는 824에서 이루어지는 결정들로부터의 적어도 두 개의 다른 긍정 결정들을 포함할 수 있다. 일부 실시예들에서, 826에서의 결정에 대해 필요한 임계 조건들은 사용자에 의해 구성 가능할 수 있다. 임계 조건(들)이 충족되는 경우, 메스꺼움 반응이 발생하였다는 결정이 828에서 이루어질 수 있고 방법(800)은 830에서 종료될 수 있다. 임계치가 충족되지 않거나 또는 초과되는 경우, 스트레스 반응이 발생하지 않았다는 결정이 832에서 이루어질 수 있고 방법(800)은 830에서 종료될 수 있다.
[00100] 도 8에서 도시되는 숫자보다 더 많은 또는 더 적은 차이 값들이 계산될 수 있다는 것이 인식되어야 한다. 802, 806, 810, 814, 818, 822의 계산들은 임의의 적절한 순서로 수행될 수 있다는 것이 또한 인식되어야 한다. 일부 실시예들에서, 방법(700)의 실행이 스트레스 반응이 발생하였다는 결정을 초래하지 않는 한 방법(800)은 실행되지 않을 수 있다.
[00101] 도 9는, 한 실시예에 따른, 차량 내 사용자의 멀미를 예방 또는 개선하기 위한 방법(900)에 대한 흐름도이다. 방법(900)을 수행하기 위한 수단들은, 하기에서 설명되는, 도 10 내지 도 12에서 예시되는 것들과 같은, 차량의 하나 이상의 하드웨어 및/또는 소프트웨어 컴포넌트들을 포함할 수 있다. 방법(700)은 컴퓨팅 디바이스(예를 들면, 차량(1000), 도 10의 프로세서(들)(1002), 등)에 의해 수행될 수 있다. 일부 실시예들에서, 방법(900)에 대한 명령들은 비-일시적 컴퓨터-판독 가능 매체(예를 들면, 도 10의 메모리(1004))에 저장될 수 있고 하나 이상의 프로세서들(예를 들면, 도 10의 프로세서(들)(1002))은 방법(900)의 동작들을 수행하기 위해 명령들을 실행할 수 있다. 일부 실시예들에서, 방법(900)의 동작들은 도 10의 멀미 검출 엔진(1030)과 연관된 코드를 실행하는 것에 의해 도 10의 하나 이상의 프로세서들(들)(1002)에 의해 수행된다.
[00102] 방법(900)은 블록(902)에서 시작될 수 있는데, 여기서 생리학적 데이터는 복수의 센서 디바이스들(예를 들면, 도 10의 생리학적 센서(들)(1028))로부터 (예를 들면, 하나 이상의 프로세서들(들)(1002)에 의해) 획득될 수 있다.
[00103] 블록(904)에서, 차량(예를 들면, 차량(1000))의 차량 움직임 데이터가 (예를 들면, 도 10의 차량 센서(들)(1010)로부터 하나 이상의 프로세서(들)(1002)에 의해) 획득될 수 있다.
[00104] 블록(906)에서, 생리학적 데이터 및 차량 움직임 데이터에 적어도 부분적으로 기반하여 (예를 들면, 프로세서(들)(902)에 의해) 멀미 스코어가 계산될 수 있다. 도 9에서 묘사되지는 않지만, 눈 시선 데이터에 적어도 부분적으로 추가로 기반하여 멀미 스코어가 계산될 수 있다는 것이 인식될 수 있다. 일부 실시예들에서, 멀미 스코어는 특정한 데이터가 다른 데이터보다 더 많이 가중될 수 있는 수학적 함수에 적어도 부분적으로 기반하여 계산될 수 있다. 일부 실시예들에서, 멀미 스코어는 하나 이상의 머신 러닝 모델들(예를 들면, 하나 이상의 프로세서들(들)(1002)에 의해 유지되는 및/또는 그들이 액세스 가능한 하나 이상의 머신 러닝 모델들)에 대한 입력으로서 생리학적 데이터 및/또는 차량 움직임 데이터(및/또는 그들로부터 유도되는 피처들 및/또는 눈 시선 데이터)를 제공하는 것에 의해 계산될 수 있다. 멀미 검출 엔진(1030)과 연관된 명령들은, 프로세서(들)(1002)에 의해 실행될 때, 본원에서 논의되는 머신 러닝 동작들 중 임의의 것으로 하여금 수행되게 할 수 있다.
[00105] 블록(908)에서, 사용자가 경험하고 있는 멀미의 정도는 멀미 스코어에 적어도 부분적으로 기반하여 (예를 들면, 하나 이상의 프로세서들(들)(1002)에 의해) 검출될 수 있다.
[00106] 블록(910)에서, 사용자가 멀미의 정도를 경험하고 있다는 것을 결정하는 것에 대한 응답으로 (예를 들면, 하나 이상의 프로세서들(들)(1002)에 의해) 자율 주행 차량 액션이 수행될 수 있다. 일부 실시예들에서, 자율 주행 차량 액션을 수행하는 것은 후속 시간에 사용자에 의해 경험되는 멀미의 정도를 개선하거나 또는 후속 시간에 사용자에 의해 경험되는 멀미의 정도의 상승을 예방한다. 예로서, 자율 주행 차량 액션은 차량 속도를 늦추는 것, 경로를 수정하는 것, 덜 공격적인 방향 전환들을 수행하는 것, 더욱 일정한 진행 방향을 유지하는 것, 또는 상기한 것들의 임의의 조합을 포함할 수 있다.
[00107] 도 10 내지 도 12는, 자율 주행 차량에서 이동하는 동안 사람이 경험할 수 있는 멀미의 정도를 검출하기 위한 본원에서 제공되는 기술들을 구현하기 위해 사용될 수 있는 시스템들, 구조 디바이스들, 차량 컴포넌트들, 및 다른 디바이스들, 컴포넌트들, 및 시스템들의 예시들이다.
[00108] 도 10은, 한 실시예에 따른, 차량(1000)의 기능 블록도를 포함한다. 본원에서 논의되는 방법들은, 상기의 실시예들에서 설명되는 바와 같이, 차량(800) 내에서 이동하는 사람과 관련하여 수행될 수 있다. 또한, 도 1 내지 도 9에서 도시되는 블록들을 실행하기 위한 하드웨어 및/또는 소프트웨어 컴포넌트들이 하기에서 더욱 상세하게 설명된다. 차량(1000)은, 예를 들면, 자동차, 버스, 트럭, 오토바이 및/또는 적어도 부분적으로 자율적으로 주행될 수 있는 다른 전동 차량을 포함할 수 있다.
[00109] 도 10에서 도시되는 바와 같이, 차량(1000)은 버스(1001)를 통해 연결되는 다양한 소프트웨어 및 하드웨어 컴포넌트들을 포함할 수 있다. 예를 들면, 차량(1000)은 하나 이상의 프로세서들(들)(1002) 및 메모리(1004)를 포함할 수 있다. 메모리(1004)는, 외부 오브젝트 감지 및 분류, 예측 및 계획, 및 거동 실행을 포함하는, 그러나 이들로 제한되지는 않는 자율 주행 활동들을 수행하기 위한, 프로세서(들)(1002)에 의해 실행 가능한, 실행 가능 명령들을 포함할 수 있다. 차량(1000)은 다양한 수단들, 프로토콜들, 표준들을 통해, 예컨대 SAE 또는 유럽 전기 통신 표준 협회(European Telecommunications Standards Institute; ETSI) CV2X 메시지들 및 데이터 엘리먼트들 또는 다른 무선 및 무선 프로토콜들을 통해 데이터를 송신 및 수신하기 위한 하나 이상의 무선 트랜스시버들, 예컨대 무선 트랜스시버(들)(1006)를 포함할 수 있다. 일부 실시예들에서, 무선 트랜스시버(들)(1006)는 단거리 무선 통신들 프로토콜들(예를 들면, Bluetooth®(블루투스), Bluetooth Low Energy®(블루투스 저에너지), 등)를 통해, 및/또는 로컬 및/또는 광역 네트워크를 통해, 및/또는 셀룰러 네트워크를 통해, 및/또는 임의의 적절한 무선 네트워크를 통해 데이터 메시지들 및 엘리먼트들을 송신 및 수신하도록 구성될 수 있다. 물론, 이들은 무선 링크를 통해 차량(1000)에 의해 활용될 수 있는 네트워크들의 예들에 불과하며, 청구된 청구대상은 이와 관련하여 제한되지 않는다는 것이 이해되어야 한다. 한 실시예에서, 무선 트랜스시버(들)(1006)는 WAN, WLAN, 및/또는 PAN 트랜스시버들의 다양한 조합들을 포함할 수 있다. 한 실시예에서, 무선 트랜스시버(들)(1006)는 블루투스 트랜스시버, ZigBee(지그비) 트랜스시버, 또는 다른 PAN 트랜스시버를 또한 포함할 수 있다.
[00110] 일부 실시예들에서, 차량(1000)은 글로벌 내비게이션 위성 시스템(Global Navigation Satellite System; GNSS) 수신기(1008)를 포함할 수 있다. GNSS 수신기(1008)는 수신기의 포지션, 속도, 및 시간을 제공하기 위해 내비게이션 위성(및/또는 다른 차량들)으로부터 신호들을 수신하고 디지털 방식으로 프로세싱하도록 구성될 수 있다. GNSS 수신기(1008)는 하드웨어 및/또는 소프트웨어 컴포넌트들을 포함할 수 있다. 한 실시예에서, GNSS 수신기(1008)에 의해 수신되는 GNSS 위성들로부터의 GNSS 신호들은 위치 결정을 위해 및/또는 GNSS 신호 파라미터들 및 복조된 데이터의 결정을 위해 차량(1000)에 의해 활용된다. 한 실시예에서, 무선 트랜스시버(들)(806)에 의해 수신되는 신호들은, 단독으로 또는 GNSS 수신기(1008)에 의해 수신되는 GNSS 신호들과 조합하여, 위치 결정을 위해 사용된다.
[00111] 무선 트랜스시버(들)(1006)를 지원할 수 있는 네트워크 기술들의 예들은 GSM, CDMA, WCDMA, LTE, 5G 또는 뉴 라디오 액세스 기술(New Radio Access Technology; NR), HRPD, 및 V2X 차 대 차(car-to-car) 통신이다. 언급되는 바와 같이, V2X 통신 프로토콜들은 SAE 및 ETS-ITS 표준들과 같은 다양한 표준들에서 정의될 수 있다. GSM, WCDMA 및 LTE는 3GPP에 의해 정의되는 기술들이다. CDMA 및 HRPD는 3세대 파트너십 프로젝트 II(3rd Generation Partnership Project II; 3GPP2)에 의해 정의되는 기술들이다. WCDMA는 또한 범용 이동 통신 시스템(Universal Mobile Telecommunications System; UMTS)의 일부이며 HNB에 의해 지원될 수 있다.
[00112] 무선 트랜스시버(들)(1006)는 (예를 들면, 서비스 계약 하의) 서비스를 위해 무선 원격 통신 네트워크에 대한 가입자 액세스를 제공하는 기기의 배치들을 포함할 수 있는 WAN 무선 기지국들을 통해 통신들 네트워크들과 통신할 수 있다. 여기서, WAN 무선 기지국은 WAN 무선 기지국이 액세스 서비스를 제공할 수 있는 범위에 적어도 부분적으로 기반하여 결정되는 셀 내의 가입자 디바이스들을 서비스함에 있어서 WAN 또는 셀 기지국의 기능들을 수행할 수 있다. WAN 기지국들의 예들은 GSM, WCDMA, LTE, CDMA, HRPD, Wi-Fi(와이파이), Bluetooth(블루투스), WiMAX(와이맥스), 5G NR 기지국들을 포함한다. 한 실시예에서, 추가적인 무선 기지국들은 WLAN 및/또는 PAN 트랜스시버를 포함할 수 있다.
[00113] 한 실시예에서, 차량(1000)은 하나 이상의 카메라(들)(1012)를 포함할 수 있다. 한 실시예에서, 카메라(들)(1012)는 카메라 센서 및 장착 어셈블리를 포함할 수 있다. 차량(1000) 상의 상이한 카메라들에 대해 상이한 장착 어셈블리들이 사용될 수 있다. 예를 들면, 전방 대향 카메라들은 전방 범퍼에, 백미러 어셈블리(rear-view mirror assembly)의 스템(stem)에 또는 차량(1000)의 다른 전방 대향 영역들에 장착될 수 있다. 후방 대향 카메라들은 후방 범퍼/휀더(fender)에, 후방 유리(rear windshield) 상에, 트렁크 또는 차량의 다른 후방 대향 영역들 상에 장착될 수 있다. 측면 대향 미러(side facing mirror)들은 미러 어셈블리 또는 도어 어셈블리들에 통합되는 것과 같이 차량의 측면 상에 장착될 수 있다. 카메라들은, 특히 공지된 사이즈 및/또는 형상의 오브젝트들(예를 들면, 정지 표지판 및 번호판 둘 모두는 표준화된 사이즈와 형상을 가짐)에 대해 오브젝트 검출 및 거리 추정을 제공할 수 있으며, 예컨대 방향 전환 동안 차량의 축에 대한 회전 운동에 관한 정보를 또한 제공할 수 있다. 다른 센서들과 협력하여 사용되는 경우, 카메라들 둘 모두는, 이동되는 거리 및 각도 방위를 검증하기 위해, 다른 시스템들의 사용을 통해, 예컨대 LIDAR(라이다), 휠 틱(wheel tick)/거리 센서들, 및/또는 GNSS의 사용을 통해 캘리브레이팅될 수 있다. 카메라들은, 예를 들면, 공지된 오브젝트들(랜드마크들, 노변 마커(marker)들, 도로 마일 마커들, 등) 사이의 공지된 거리들에 대해 캘리브레이팅하는 것에 의해, 거리 측정치들이 정확하다는 것을 검증하기 위해 그리고 또한 오브젝트들이, 상응하여, LIDAR 및 다른 시스템에 의해 차량에 대한 정확한 위치들로 매핑되도록 오브젝트 검출이 정확하게 수행된다는 것을 검증하기 위해, 다른 시스템들을 검증 및 캘리브레이팅하도록 유사하게 사용될 수 있다. 유사하게, 예를 들면, 가속도계들과 결합되는 경우, 도로 위험물(road hazard)들과의 충돌 시간(예를 들면, 포트홀(pot hole)에 부딪히기 이전의 경과 시간)이 추정될 수 있는데, 이것은 실제 충돌의 시간에 대해 검증될 수 있고 및/또는 정지 모델들(예를 들면, 오브젝트에 부딪히기 이전에 정지하려고 시도하는 경우 추정된 정지 거리와 비교됨) 및/또는 기동 모델들(현재 속도에서의 회전 반경에 대한 현재의 추정치들 및/또는 현재 속도에서의 기동성의 척도가 현재의 조건들에서 정확한지의 여부를 검증하고 카메라 및 다른 센서 측정치들에 기반하여 추정된 파라미터들을 상응하여 업데이트하도록 수정됨)에 대해 검증될 수 있다.
[00114] 일부 실시예들에서, 카메라(들)(1012)는 안쪽을 향할 수 있다(예를 들면, 차량의 한 명 이상의 승객들을 향함). 카메라(들)(1012)는 차량 점유자(occupant)들 중 한 명 이상 중 적어도 일부 부분의 하나 이상의 이미지들 및/또는 비디오(들)(본원에서 "눈 시선 데이터"로서 지칭됨)를 캡처하기 위해 활용될 수 있다. 예로서, 카메라(들)(1012)는 차량 점유자들 중 한 명 이상의 얼굴의 일부 부분(예를 들면, 눈들)의 이미지들/비디오를 (예를 들면, 스케줄에 따라 주기적으로, 매초마다, 등)를 캡처하도록 배치될 수 있다.
[00115] 차량 센서(들)(1010)는 임의의 적절한 수의 가속도계들, 자이로들 및/또는 자력계들을 포함할 수 있다. 일부 실시예들에서, 차량 센서(들)(1010)는 차량(1000)의 관성 측정 유닛의 일부일 수 있다. 차량 센서(들)(1010)는 움직임 및 방향 정보를 제공 및/또는 검증하기 위해, 휠 및 구동 트레인 성능을 모니터링하기 위해, 및/또는 차량(1000) 및/또는 차량(1000)의 부품들의 진동들의 진폭 및 주파수를 측정하기 위해 활용될 수 있다. 예로서, 가속도계(예를 들면, 3축 가속도계)가 차량(1000)의 컴포넌트의 평형 포지션에 대한 움직임 또는 기계적 진동과 같은 차량(1000)의 떨림들을 측정할 수 있다. 가속도계들은, 한 실시예에서, 포트홀들과 같은 도로 위험물들과의 실제 충돌의 시간을, 현존하는 정지 및 가속 모델들뿐만 아니라 조향 모델들에 기반한 예측 시간들에 대해 검증하기 위해 또한 활용될 수 있다. 차량 센서(들)(1010)의 자이로들 및 자력계들은, 한 실시예에서, 차량의 회전 상태뿐만 아니라 자북(magnetic north)을 기준으로 하는 방위를 각각 측정하기 위해, 그리고, 특히 속도 센서들, 휠 틱 센서들과 같은 다른 센서들과 같은 다른 외부 및 내부 센서들로부터의 측정치들, 및/또는 주행 거리계 측정치들과 협력하여 사용될 때, 현재 속도에서의 회전 반경에 대한 추정치들 및/또는 모델들 및/또는 현재 속도에서의 기동성의 척도를 측정 및 캘리브레이팅하기 위해 활용될 수 있다. 일부 실시예들에서, 차량 센서(들)(1010)는 차량(1000)에 의해 수행되는 움직임들에 대응하는 진동들 및/또는 진동 주파수를 측정하도록 구성될 수 있다.
[00116] 차량(1000)은 LIDAR(1014)를 포함할 수 있다. LIDAR(1014)는 오브젝트들에 대한 거리들을 측정하기 위해 펄스식 레이저 광을 사용할 수 있다. 카메라(들)(1012)가 오브젝트 검출을 제공할 수 있지만, LIDAR(1014)는, 특히 미지의 사이즈 및 형상의 오브젝트들과 관련하여, 오브젝트들의 거리들(및 방위들)을 더욱 확실하게 검출하기 위한 수단들을 제공할 수 있다. LIDAR(1014) 측정치들은, 정확한 거리 측정치들 및 델타 거리 측정치들을 제공하는 것에 의해 이동의 속도, 벡터 방향들, 상대적 포지션 및 정지 거리를 추정하기 위해 또한 사용될 수 있다.
[00117] 한 실시예에서, 전력 및 구동 시스템들 및 관련된 시스템들(1016)(발전기, 배터리, 트랜스미션, 엔진) 및 시스템들(1018)(브레이크, 액추에이터, 스로틀 제어, 스티어링, 및 전기)은 프로세서(들)(1002) 및/또는 하드웨어 또는 소프트웨어에 의해 또는 차량의 오퍼레이터에 의해 또는 이들의 어떤 조합에 의해 제어될 수 있다. 시스템들(1018) 및 전력 및 구동 시스템들 및 관련된 시스템들(1016)은, 안전하고 정확하게 차량(1000)을 자율적으로(그리고, 경보들 및 긴급 오버라이드들/제동/정지와 관련하여 수동으로) 운전하고 조작하는 것을 가능하게 하기 위해, 예컨대 차량(800)을 안전하고, 효과적이고, 효율적으로 교통 상황에 합류시키고, 정지하고, 가속하고 그리고 다르게는 조작하기 위해, 성능 파라미터들 및 조작 파라미터들과 연계하여 활용될 수 있다. 한 실시예에서, 전력 및 구동 시스템들 및 관련된 시스템들(1016) 및 시스템들(1018)을 제어하기 위해, 카메라(들)(1012), 차량 센서(들)(1010)(가속도계들, 자이로들, 기압계들, 등을 포함함), LIDAR(1014), GNSS 수신기(1008), RADAR(1020)와 같은 다양한 센서 시스템들로부터의 입력, 무선 트랜스시버(들)(1006)로부터의 입력, 메시징, 및/또는 측정치들 또는 이들의 다양한 조합들이 프로세서(들)(1002) 및/또는 DSP(1003) 또는 다른 프로세싱 시스템들에 의해 활용될 수 있다.
[00118] GNSS 수신기(1008)는 지구에 대한 포지션(절대 포지션)을 결정하기 위해, 그리고, 매핑 데이터 및/또는 다른 오브젝트들로부터의 측정치들과 같은 다른 정보와 함께 사용되는 경우, 다른 오브젝트들에 대한, 예컨대 다른 차량들에 대한 및/또는 도로 표면에 대한 포지션을 결정하기 위해 활용될 수 있다. 포지션을 결정하기 위해, GNSS 수신기(1008)는 하나 이상의 안테나(들)(1009)를 사용하여 하나 이상의 GNSS 위성들로부터 RF 신호들을 수신할 수 있다. GNSS 수신기(1008)는 하나 이상의 GNSS 무리(constellation)들뿐만 아니라 다른 위성 기반의 내비게이션 시스템들을 지원할 수 있다. 예를 들면, 한 실시예에서, GNSS 수신기(1008)는 GPS, GLONASS(글로나스), Galileo(갈릴레오), 및/또는 BeiDou(베이더우), 또는 이들의 임의의 조합과 같은 글로벌 내비게이션 위성 시스템들을 지원할 수 있다. 한 실시예에서, GNSS 수신기(1008)는 NavIC 또는 QZSS 또는 이들의 조합과 같은 지역 내비게이션 위성 시스템들뿐만 아니라 위성 통합 도플러 위성 궤도 및 무선 위치 결정(Doppler Orbitography and Radio-positioning Integrated by Satellite; DORIS) 또는 광역 증강 시스템(wide area augmentation system; WAAS) 또는 유럽 정지 궤도 내비게이션 오버레이 서비스(European geostationary navigation overlay service; EGNOS) 또는 다기능 위성 증강 시스템(multi-functional satellite augmentation system; MSAS) 또는 로컬 영역 증강 시스템(local area augmentation system; LAAS)과 같은 다양한 증강 시스템들(예를 들면, 위성 기반의 증강 시스템들(Satellite Based Augmentation Systems; SBAS) 또는 지상 기반의 증강 시스템들(ground based augmentation systems; GBAS))을 지원할 수 있다. 실시예에서, GNSS 수신기(1008) 및 안테나(들)(1009)는 GPS L1, L2 및 L5 대역들, Galileo(갈릴레오) E1, E5 및 E6 대역들, Compass(콤파스)(BeiDou(베이더우)) B1, B3 및 B2 대역들, GLONASS(글로나스) G1, G2 및 G3 대역들, 및 QZSS L1C, L2C 및 L5-Q 대역들과 같은 다수의 대역들 및 하위 대역들을 지원할 수 있다.
[00119] GNSS 수신기(1008)는 위치, 내비게이션을 위해 활용될 수 있는 위치 및 상대적 위치를 결정하기 위해, 그리고, 적절한 경우, 예컨대 맑은 하늘 조건들에서 두 개의 시점들 사이의 거리를 결정하기 위한 그리고 거리 데이터를 사용하여 주행 거리계 및/또는 LIDAR와 같은 다른 센서들을 캘리브레이팅하기 위한 다른 센서들을 캘리브레이팅하기 위해 사용될 수 있다. 한 실시예에서, 예를 들면, 공유된 도플러 및/또는 차량들 사이의 의사 거리 측정치들에 기반한 GNSS 기반의 상대적 위치들은 두 차량들 사이의 고도로 정확한 거리들을 결정하기 위해 사용될 수 있으며, GNSS 안테나 위치 및 형상 및 모델 정보와 같은 차량 정보와 결합되는 경우, LIDAR, 카메라, RADAR(레이더), SONAR(소나) 및 다른 거리 추정 기술들로부터의 정보와 연관된 신뢰도 레벨을 캘리브레이팅, 검증하기 위해, 및/또는 그 신뢰도 레벨에 영향을 끼치기 위해 사용될 수 있다. GNSS 도플러 측정치들은 차량의 또는 다른 차량에 대한 차량의 선형 움직임 및 회전 움직임을 결정하기 위해 또한 활용될 수 있는데, 이들은 자이로 및/또는 자력계 및 다른 센서 시스템들과 연계하여 활용되어 측정된 위치 데이터에 기반하여 그들 시스템들의 캘리브레이션을 유지할 수 있다. 상대적 GNSS 포지션 데이터는 노변 유닛(road-side unit; RSU)들로부터의 높은 신뢰도 절대 위치들과 또한 결합되어, 차량의 높은 신뢰도 절대 위치들을 결정할 수 있다. 더구나, 상대적 GNSS 포지션 데이터는, 다른 차량들을 피하기 위해 그리고 차선 또는 다른 할당된 도로 영역에 머물기 위해, LIDAR 및/또는 카메라 기반의 데이터 소스들을 가릴 수 있는 궂은 날씨 동안 사용될 수 있다. 예를 들면, GNSS 수신기 및 V2X 성능을 갖춘 노변 유닛(RSU)을 사용하여, GNSS 측정 데이터가 차량에 제공될 수 있는데, 차량은, RSU의 절대 위치를 제공받는 경우, 가시성의 결여에도 불구하고, 차량을 차선 및/또는 도로 상에서 유지하면서, 맵을 기준으로 차량을 내비게이팅하기 위해 사용될 수 있다.
[00120] RADAR(1020)는 오브젝트들에서 반사되는 송신된 전파(radio wave)들을 사용한다. 반사된 전파들은 반사파(reflection)들이 도달하는 데 걸리는 시간 및 반사된 파들의 다른 신호 특성들에 기반하여 분석되어 주변 오브젝트들의 위치를 결정한다. RADAR(1020)는 인근 자동차들, 노변 오브젝트들(표지판들, 다른 차량들, 보행자들, 등)의 위치를 검출하기 위해 활용될 수 있으며, 일반적으로, 심지어 눈, 철로 또는 우박과 같은 흐린 날씨가 있는 경우에도, 오브젝트들의 검출을 가능하게 한다. 따라서, RADAR(1020)는, 시각적 기반의 시스템들 통상적으로 실패하는 경우, 거리 측정 및 거리 측정치들 및 정보를 제공하는 것에 의해 다른 오브젝트들에 대한 거리 측정 정보를 제공함에 있어서 LIDAR(1014) 및 카메라(들)(1012)를 보완하기 위해 사용될 수 있다. 더구나, RADAR(1020)는 LIDAR(1014) 및 카메라(들)(1012)와 같은 다른 시스템들을 캘리브레이팅하기 위해 및/또는 온전성 체크하기(sanity check) 위해 활용될 수 있다. RADAR(1020)로부터의 거리 측정 측정치들은 현재 속도에서의 정지 거리, 가속도, 현재 속도에서의 기동성 및/또는 현재 속도에서의 회전 반경 및/또는 현재 속도에서의 기동성의 척도를 결정/측정하기 위해 활용될 수 있다. 일부 시스템들에서, 지면 관통 RADAR는, 예를 들면, 도로 표면 상의 RADAR 반사 마커들 또는 도랑들과 같은 지형 피처들을 통해 도로 표면들을 추적하기 위해 또한 사용될 수 있다.
[00121] 생리학적 센서(들)(1028)는 피부 전기 활동(EDA)을 측정하도록 구성된 하나 이상의 센서들을 포함할 수 있다. EDA는 피부의 전기적 특성들에서 지속적인 변동을 야기하는 인체의 성질이다. 생리학적 센서(들)(1028)의 임의의 적절한 조합은 피부 전도도, 전기 피부 반응(GSR), 피부 전기 반응(EDR), 정신 전류 반사(PGR), 피부 전도도 반응(SCR), 교감 피부 반응(SSR), 피부 전도도 레벨(SCL) 등을 측정하도록 구성될 수 있다. 예로서, 생리학적 센서(들)(1028)는 다음의 것들 중 하나 이상을 포함할 수 있다: GSR을 측정하도록 구성된 전기 피부 반응 센서들, 피부 전도도를 측정하도록 구성된 피부 전도도 센서들, 피부 전기 반응들을 측정하도록 구성된 EDR 센서들, 정신 전류 반사들을 측정하도록 구성된 PGR 센서들, 피부 전도도 반응들을 측정하도록 구성된 SCR 센서들, 교감 피부 반응들을 측정하도록 구성된 SSR 센서들, 피부 전도도 레벨들(예를 들면, 국소화된 발한)을 측정하도록 구성된 SCL 센서들, 등. 일부 실시예들에서, 단일의 생리학적 센서가 SCL 및 SCR 둘 모두를 측정할 수 있다.
[00122] 일부 실시예들에서, 생리학적 센서(들)(1028)는 심박수(heart rate; HR) 및/또는 심박 변이도(heartrate variability; HRV) 파라미터들을 획득(예를 들면, 캡처, 측정, 계산)하도록 구성된 하나 이상의 센서들을 포함할 수 있다. 심박 변이도는 박동간 간격(Interbeat Interval; IBI)들로 칭해지는 연속적인 심장 박동들 사이의 시간 간격들의 변화들로 구성된다. 건강한 심장은 메트로놈이 아니다. 건강한 심장의 진동들은 복잡하고 지속적으로 변하는데, 이것은 심장혈관 시스템이 항상성에 대한 갑작스러운 신체적, 심리적 도전 과제들에 대해 신속하게 조정하는 것을 허용한다. HRV 파라미터들은 연속적인 심장 박동들 사이의 연속적인 차이들의 평균 제곱근(RMSSD)을 포함할 수 있다. 유럽 심장 학회 및 북미 심장박동조율 및 전기생리학회의 특별 전문 위원회(Task Force of the European Society of Cardiology and the North American Society of Pacing and Electrophysiology)는 심박수(HR) 진동들을 극초저주파(ultra-low-frequency; ULF), 초저주파(very-low-frequency; VLF), 저주파(low-frequency; LF), 및 고주파(high-frequency; HF) 대역들로 분할하였다. 일부 실시예들에서, 생리학적 센서(들)(1028)에 의해 제공되는 HRV 파라미터들은 ULF, VLF, LF, HF, LF/HF(LF 대 HF 전력의 비율로서 지칭됨)의 임의의 적절한 조합, 또는 상기한 심박수 진동들 파라미터들의 임의의 적절한 비율과 같은 심박수 진동들 파라미터들을 포함할 수 있다. 생리학적 센서(들)(1028)는 심박수 모니터(heart rate monitor; HRM)들, 전기적 심장 정보를 측정하도록 구성된 심전도 검사(electrocardiography; ECG) 센서들(EKG 센서들로서 또한 지칭됨), 혈액량을 측정하도록 구성된 광혈류 측정(PPG) 센서들, 등을 포함할 수 있다. ECG(심전도 검사) 센서들은, 통상적으로 의료 디바이스들에서 구현되는 심실들의 확장 및 수축을 제어하는 전기 신호들에 의해 생성되는 생체 전위를 측정한다. PPG 센서들은 광 기반의 기술을 사용하여 심장의 펌프 작용에 의해 제어되는 혈액량을 측정한다. PPG 센서는, 펄스가 신체의 두 개의 상이한 원위 부분들에 도달하는 데 필요한 시간들로서 정의되는 맥파 전달 시간(pulse transit time; PTT)을 측정하도록 구성될 수 있다. PPG 센서는 혈액량 펄스(BVP)를 측정하도록 구성될 수 있다. BVP는 맥박수를 측정하는 방법으로 널리 사용된다. BVP는 심장의 각각의 박동(맥박)과 함께 국소화된 영역의 조직들을 통과하는 혈액의 볼륨에 기반하여 심박수를 추론하기 위해 사용될 수 있다. 일부 실시예들에서, BVP 진폭이 측정될 수 있다. BVP 진폭은 혈관 수축/혈관 확장 ― 교감(스트레스 반응)에 그리고 체온 조절(매스꺼움) 반응에 결부됨 ― 의 척도일 수 있다.
[00123] 생리학적 센서(들)(1028)는, 일부 실시예들에서, 분당 호흡들 및/또는 호흡량(breath volume)을 측정하도록 구성된 하나 이상의 호흡 센서들, (예를 들면, 신체의 국소화된 부분에서) 체온 및/또는 주변 온도를 측정하도록 구성된 하나 이상의 온도계들, 등을 포함할 수 있다.
[00124] 일부 실시예들에서, 메모리(1004)는, 프로세서(들)(1002)에 의해 실행될 때, 멀미 검출 엔진(1030)을 구현하는 명령들을 저장할 수 있다. 멀미 검출 엔진(830)은 도 1 내지 도 9와 관련하여 상기에서 논의되는 방법들, 계산들, 및/또는 동작들의 임의의 적절한 조합을 수행하기 위한 코드를 저장할 수 있다.
[00125] 도 11은, 한 실시예에 따른, 예시적인 차량(1100)(예를 들면, 도 10의 차량(1000)의 예)의 사시도이다. 여기서, 도 11 및 이전 실시예들과 관련하여 논의되는 컴포넌트들 중 일부가 도시된다. 예시되고 앞서 논의되는 바와 같이, 차량(1100)은 백미러 장착 카메라(rear view mirror-mounted camera; 1104), 승객 대향 카메라(도시되지 않음), 전방 휀더 장착 카메라(도시되지 않음), 사이드 미러 장착 카메라(도시되지 않음) 및 후방 카메라(도시되지 않음, 그러나 통상적으로 트렁크, 해치 또는 후방 범퍼 상에 있음)와 같은 카메라(들)(1102)(예를 들면, 도 10의 카메라(들)(1012)의 예)를 구비할 수 있다. 차량(1100)은, 오브젝트들을 검출하고 그들 오브젝트들까지의 거리들을 측정하기 위한 LIDAR(1106)를 또한 구비할 수 있고; LIDAR(1106)는 종종 지붕에 장착되지만, 그러나, 다수의 LIDAR 유닛들이 있는 경우, 그들은 차량의 전방, 후방 및 측면들 주위에 배향될 수 있다. 차량(1100)은 GNSS 무선 수신기(표시되는 바와 같이, 통상적으로 지붕 후방 상의 샤크 핀 유닛(shark fin unit) 내에 위치됨) 및/또는 다양한 무선 트랜스시버들(예컨대 WAN, WLAN, V2X; 통상적으로, 샤크 핀 내에 위치되지만, 그러나 필수는 아님)와 같은 수신기(1108), RADAR(1110)(통상적으로 전방 범퍼에 있음), 및 SONAR(1112)(만약 존재한다면, 통상적으로 차량의 양측 상에 위치됨)와 같은 다른 다양한 위치 관련 시스템들을 구비할 수 있다. 센서들(1114)도 또한 존재할 수 있고 휠 센서들 및/또는 타이어 압력 센서들, 가속도계들, 자이로들, 휠 회전 검출 및/또는 카운터들과 같은 구동 트레인 센서들을 포함할 수 있다. 일부 실시예들에서, 차량(1100) 및/또는 차량의 하나 이상의 부분들의 진동들을 결정 및/또는 측정하기 위해, 센서들(1114)의 임의의 적절한 조합이 활용될 수 있다.
[00126] 한 실시예에서, LIDAR, RADAR, 카메라, GNSS 및 SONAR과 같은 다양한 센서들을 통해 결정되는 거리 측정치들 및 상대적 위치들은 자동차 사이즈 및 형상 정보 및 센서의 위치에 관한 정보와 결합되어 상이한 차량들의 표면들 사이의 거리들 및 상대적 위치들을 결정할 수 있고, 그 결과, 센서로부터 다른 차량으로의 또는 두 개의 상이한 센서들(예컨대 두 개의 GNSS 수신기들) 사이의 거리 또는 벡터는 각각의 차량 상의 센서의 포지션을 고려하도록 증분적으로 증가된다. 따라서, 두 개의 GNSS 수신기들 사이의 정확한 GNSS 거리 및 벡터가 GNSS 수신기에 대한 다양한 자동차 표면들의 상대적 위치에 기반하여 수정될 필요가 있을 것이다. 예를 들면, 뒤쪽 자동차의 전방 범퍼와 선행 차량의 후방 범퍼 사이의 거리를 결정함에 있어서, 거리는, GNSS 수신기와 후속하는 자동차 상의 전방 범퍼 사이의 거리, 및 앞쪽 자동차의 GNSS 수신기와 앞쪽 자동차의 후방 범퍼 사이의 거리에 기반하여, 조정될 필요가 있을 것이다. 예로서, 앞쪽 자동차의 후방 범퍼와 후속하는 자동차의 전방 범퍼 사이의 거리는, (두 개의 GNSS 수신기들 사이의 상대적 거리) - (후방 자동차의 GNSS 수신기에서 전방 범퍼까지의 거리) - (앞쪽 자동차의 GNSS 수신기에서 후방 범퍼까지의 거리)이다. 이 목록은 제한하도록 의도되는 것이 아니다는 것 및 도 11은 차량(1100)의 실시예에서 다양한 센서들의 예시적인 위치들을 제공하도록 의도된다는 것이 인식된다.
[00127] 도 12는, 한 실시예에 따른, 눈 시선 데이터를 수집하도록 배치되는 다수의 카메라(들) 및 차량(예를 들면, 도 10의 차량(1000))의 점유자(예를 들면, 점유자(1202))에 대응하는 생리학적 데이터를 수집 및/또는 측정하도록 배치되는 다수의 생리학적 센서들의 예시적인 구성(1200)을 묘사하는 개략도이다. 구성(1200)은 예로서 제공되며 본 개시내용을 제한하도록 의도되지 않는다. 점유자(1202)의 임의의 적절한 생리학적 데이터를 수집 및/또는 측정하기 위해 활용될 수 있는 동일한 또는 상이한 수 및/또는 타입의 센서들을 포함하는 다른 구성들이 고려된다.
[00128] 구성(1200)은 카메라(1204)(예를 들면, 도 10의 카메라(들)(1012)의 예)를 포함한다. 카메라(1204)는, 카메라(1204)가 시간에 걸쳐 점유자(1202)의 눈 시선 데이터(예를 들면, 하나 이상의 이미지들/비디오)를 캡처하는 것을 가능하게 하는 방식으로 점유자(1202)를 향하도록 배치될 수 있다. 일부 실시예들에서, 카메라(1204)는 점유자의 얼굴 및/또는 눈들의 눈 시선 데이터를 캡처하도록 배치될 수 있다. 이들 이미지들/비디오는 (예를 들면, 도 10의 프로세서(들)(1002)에 의해) 프로세싱될 수 있고 임의의 적절한 이미지 인식 및/또는 눈 추적 기술들이 활용되어 점유자(1202)의 시선(예를 들면, 점유자(1202)가 보고 있는 쪽의 방향, 사용자의 시선이 지평선으로부터 벗어나는 양, 점유자(1202)가 지평선을 향해 보고 있는지 또는 아닌지의 여부, 점유자가 창 밖을 보고 있는지 또는 아닌지의 여부, 등)을 식별할 수 있다.
[00129] 구성(1200)은 도 10의 생리학적 센서(들)(1028)의 임의의 적절한 조합을 포함할 수 있다. 도 12에서 묘사되는 바와 같이, 생리학적 센서(들)(1028)는 두 개의 전기 피부 반응(GSR) 센서들(예를 들면, GSR 센서(1006) 및 GSR 센서(1008))를 포함하지만, 더 많은 또는 더 적은 수의 GSR 센서들이 활용될 수 있다. 도 12는 GSR 센서(1206)를 점유자(1202)의 이마에 배치되는 것으로 묘사한다. 일부 실시예들에서, GSR 센서(1206)는 머리밴드, 선글라스, 등(묘사되지 않음)과 같은 오브젝트 또는 다른 디바이스의 컴포넌트일 수 있다. GSR 센서(1206)는 이마에서 전기 피부 반응들을 측정하도록 배치될 수 있다. 도 12는 GSR 센서(1008)를 점유자(1202)의 손가락들에서 전기 피부 반응들을 측정하도록 배치되는 것으로 묘사한다. 일부 실시예들에서, GSR 센서(1208)는 자동차의 스티어링 휠, 웨어러블 디바이스(예를 들면, 스마트워치), 등에 통합될 수 있다. GSR 센서들(1206 및 1208)가 묘사되지만, 피부 전도도, 전기 피부 반응(GSR), 피부 전기 반응(EDR), 정신 전류 반사(PGR), 피부 전도도 반응(SCR), 교감 피부 반응(SSR), 피부 전도도 레벨(SCL)(예를 들면, 발한), 등을 측정하기 위해, 임의의 적절한 수의 센서들이 신체의 임의의 적절한 위치에서 유사하게 활용될 수 있다.
[00130] 도 12는 점유자(1202)의 손가락들에서 피부 온도를 측정하도록 구성된 피부 온도 센서(1209)를 묘사한다. 일부 실시예들에서, 피부 온도 센서(1209)는 자동차의 스티어링 휠, 웨어러블 디바이스(예를 들면, 스마트워치), 등에 통합될 수 있다. 단지 하나의 피부 온도 센서가 묘사되지만, 임의의 적절한 수의 온도 센서들이 신체의 임의의 적절한 위치에서 유사하게 활용될 수 있다.
[00131] 일부 실시예들에서, 생리학적 센서(들)(1028)는 심박수(HR) 및/또는 심박 변이도(HRV) 파라미터들을 획득(예를 들면, 캡처, 측정, 계산)하도록 구성된 하나 이상의 센서들을 포함할 수 있다. 도 12에서 묘사되는 바와 같이, 심전도 검사(ECG) 센서(1210)가 점유자(1202)의 심박수(HR) 및 심박 변이도(HRV)를 측정하도록 배치된다. HRV 파라미터들은 연속적인 심장 박동들 사이의 연속적인 차이들의 평균 제곱근(RMSSD)을 포함할 수 있다. 일부 실시예들에서, HRV 파라미터들은 극초저주파(ULF) 대역, 초저주파(VLF) 대역, 저주파(LF) 대역, 및 고주파(HF) 대역, 또는 상기한 것들의 임의의 적절한 조합 및/또는 비율을 포함할 수 있다. 일부 실시예들에서, ECG 센서(1210)는 피부에 직접적으로 접촉하는 것에 의해 전기 신호 및 표준 전극들을 측정한다. 그러나, 일부 실시예들에서, 카 시트(car seat)의 재료를 통해 정전 용량형 심박수 센서(capacitive heart rate sensor)가 활용될 수 있다.
[00132] 도 12에서 묘사되는 바와 같이, 점유자(1202)는 광혈류 측정(PPG) 센서(예를 들면, PPG 센서(1212))를 가지고 구성된 웨어러블 디바이스(예를 들면, 워치, 반지, 안경, 등)를 활용할 수 있다. PPG 센서(1212)는 혈액량, 등을 측정하도록 구성될 수 있다. PPG 센서(1212)는 점유자(1202)(및/또는 차량의 다른 점유자들)의 맥파 전달 시간(PTT) 및/또는 혈액량 펄스(BVP)를 측정할 수 있다. 일부 실시예들에서, BVP는 이미지들로부터 BVP를 식별하도록 구성된 이미지 프로세싱 알고리즘들을 사용하여 카메라를 통해 측정될 수 있다. 임의의 적절한 수의 생리학적 센서(들)(1028)가 활용될 수 있고 임의의 적절한 무선 통신들 프로토콜을 통해 도 10의 프로세서(들)(1002) 및/또는 서로 통신하도록 구성될 수 있다. 생리학적 센서(들)(1028)의 다른 조합들 및 구성들이 고려된다.
[00133] 도 12에서 묘사되는 바와 같이, IMU(1214)(예를 들면, 도 10의 임의의 적절한 수의 차량 센서(들)(1010)를 포함함)는 점유자(1202)에 의해 점유되는 차량에서 위치될 수 있다. IMU(1214)는 차량의 움직임을 측정하기 위해 활용될 수 있다. IMU(1214)는 점유자(1202)가 위치되는 차량 및/또는 차량의 부품들의 진동들의 진폭 및 주파수를 측정하도록 구성된 임의의 적절한 수의 가속도계들, 자이로스코프들, 및/또는 자력계들을 포함할 수 있다. 따라서, 일부 실시예들에서, IMU(1214)는 도 1, 도 4, 및 도 5와 관련하여 상기에서 설명되는 차량 움직임 데이터를 캡처하기 위해 활용된다.
[00134] 특정한 요건들에 따라 실질적인 변동들이 이루어질 수 있다는 것이 기술 분야의 숙련된 자들에게 명백할 것이다. 예를 들면, 맞춤형 하드웨어가 또한 사용될 수 있고, 및/또는 특정한 엘리먼트들이 하드웨어, 소프트웨어(애플릿들, 등과 같은 휴대용 소프트웨어를 포함함), 또는 둘 모두에서 구현될 수 있다. 게다가, 네트워크 입력/출력 디바이스들과 같은 다른 컴퓨팅 디바이스들에 대한 연결이 활용될 수 있다.
[00135] 첨부 도면들을 참조하면, 메모리(예를 들면, 도 10의 메모리(1004))를 포함할 수 있는 컴포넌트들은 비-일시적 머신 판독 가능 매체들을 포함할 수 있다. 본원에서 사용되는 바와 같은 용어 "머신 판독 가능 매체" 및 용어 "컴퓨터-판독 가능 매체"는, 머신으로 하여금 특정한 양식으로 동작하게 하는 데이터를 제공하는 데 참가하는 임의의 저장 매체를 지칭한다. 본원의 상기에서 제공되는 실시예들에서, 다양한 머신 판독 가능 매체들은 실행을 위해 명령들/코드를 프로세싱 유닛들 및/또는 다른 디바이스(들)로 제공함에 있어서 수반될 수 있다. 추가적으로 또는 대안적으로, 머신 판독 가능 매체들은 그러한 명령들/코드를 저장 및/또는 반송하기(carry) 위해 사용될 수 있다. 많은 구현예들에서, 컴퓨터-판독 가능 매체는 물리적 및/또는 유형의 저장 매체이다. 그러한 매체는, 불휘발성 매체들, 휘발성 매체들, 및 송신 매체들을 포함하는, 그러나 이들로 제한되지는 않는 다양한 형태들을 취할 수 있다. 일반적인 형태들의 컴퓨터-판독 가능 매체들은, 예를 들면, 자기 및/또는 광학 매체들, 구멍들의 패턴들을 갖는 임의의 다른 물리적 매체, RAM, PROM, EPROM, FLASH-EPROM, 임의의 다른 메모리 칩 또는 카트리지, 이하에서 설명되는 바와 같은 반송파(carrier wave), 또는 컴퓨터가 명령들 및/또는 코드를 판독할 수 있는 임의의 다른 매체를 포함한다.
[00136] 본원에서 논의되는 방법들, 시스템들, 및 디바이스들은 예들이다. 다양한 실시예들은 다양한 프로시져들 또는 컴포넌트들을 적절히 생략, 대체, 또는 추가할 수 있다. 예를 들면, 특정한 실시예들과 관련하여 설명되는 피처들은 다양한 다른 실시예들에서 조합될 수 있다. 실시예들의 상이한 양태들 및 엘리먼트들은 유사한 방식으로 조합될 수 있다. 본원에서 제공되는 도면들의 다양한 컴포넌트들은 하드웨어 및/또는 소프트웨어로 구체화될 수 있다. 또한, 기술은 진화하고, 따라서, 엘리먼트들 중 많은 것은 본 개시내용의 범위를 그들 특정한 예들로 제한하지 않는 예들이다.
[00137] 그러한 신호들을 비트들, 정보, 값들, 엘리먼트들, 부호들, 문자들, 변수들, 용어들, 숫자들, 수치들, 등으로서 참조하는 것이, 주로 일반적인 사용의 이유들 때문에, 때때로 편리한 것으로 입증되었다. 그러나, 이들 또는 유사한 용어들 모두는 적절한 물리적 양들과 연관되어야 하며 단지 편리한 라벨들에 불과하다는 것이 이해되어야 한다. 달리 구체적으로 언급되지 않는 한, 상기의 논의로부터 명백한 바와 같이, 본 명세서 전체에 걸쳐 "프로세싱", "컴퓨팅", "계산하는", "결정하는", "확인하는", "식별하는", "연관시키는", "측정하는", "수행하는" 등과 같은 용어들을 활용하는 논의들은, 특정한 장치, 예컨대 특수 목적 컴퓨터 또는 유사한 특수 목적 전자 컴퓨팅 디바이스의 액션들 또는 프로세스들을 참조한다는 것이 인식된다. 따라서, 본 명세의 맥락에서, 특수 목적 컴퓨터 또는 유사한 특수 목적 전자 컴퓨팅 디바이스는, 메모리들, 레지스터들, 또는 다른 정보 저장 디바이스들, 송신 디바이스들, 또는 특수 목적 컴퓨터 또는 유사한 특수 목적 전자 컴퓨팅 디바이스의 디스플레이 디바이스들 내에서 물리적 전자적, 전기적, 또는 자기적 양들로서 통상적으로 표현되는 신호들을 조작 또는 변환할 수 있다.
[00138] 본원에서 사용되는 바와 같은 용어들 "및" 그리고 "또는"은, 그러한 용어들이 사용되는 맥락에 적어도 부분적으로 의존할 것으로 또한 예상되는 다양한 의미들을 포함할 수 있다. 통상적으로, "또는"은, A, B, 또는 C와 같은 목록을 연관시키기 위해 사용되는 경우, A, B, 및 C를 의미하도록(여기서는 포괄적인 의미로 사용됨), 뿐만 아니라, A, B, 또는 C를 의미하도록(여기서는 배타적 의미로 사용됨) 의도된다. 또한, 본원에서 사용되는 바와 같은 용어 "하나 이상"은, 임의의 피처, 구조물, 또는 특성을 단수로 설명하기 위해 사용될 수 있거나 또는 피처들, 구조물들, 또는 특성들의 어떤 조합을 설명하기 위해 사용될 수 있다. 그러나, 이것은 예시적인 예에 불과하며, 청구되는 청구대상은 이 예로 제한되지 않는다는 것을 유의해야 한다. 더구나, 용어 "~중 적어도 하나"는, A, B, 또는 C와 같은 목록을 연관시키기 위해 사용되는 경우, A, B, 및/또는 C의 임의의 조합, 예컨대 A, AB, AA, AAB, AABBCCC, 등을 의미하도록 해석될 수 있다.
[00139] 여러 가지 실시예들을 설명하였지만, 본 개시내용의 취지로부터 벗어나지 않으면서 다양한 수정예들, 대안적 구성예들, 및 등가예들이 사용될 수 있다. 예를 들면, 상기의 엘리먼트들은 단지 더 큰 시스템의 컴포넌트일 수 있는데, 여기서 다른 규칙들이 다양한 실시예들의 적용에 우선할 수 있거나 또는 다르게는 그 적용을 수정할 수 있다. 또한, 상기의 엘리먼트들이 고려되기 이전에, 동안에, 또는 이후에, 다수의 단계들이 취해질 수 있다. 따라서, 상기의 설명은 본 개시내용의 범위를 제한하지 않는다.

Claims (24)

  1. 차량 내 사용자의 멀미를 예방 또는 개선하기 위한 방법으로서,
    하나 이상의 프로세서들에 의해, 복수의 센서 디바이스들로부터 상기 차량 내 사용자와 관련된 생리학적 데이터를 획득하는 단계;
    상기 하나 이상의 프로세서들에 의해, 상기 차량의 차량 움직임 데이터를 획득하는 단계;
    상기 하나 이상의 프로세서들에 의해, 상기 생리학적 데이터 및 상기 차량 움직임 데이터에 적어도 부분적으로 기반하여 멀미 스코어를 계산하는 단계;
    상기 하나 이상의 프로세서들에 의해, 상기 멀미 스코어에 적어도 부분적으로 기반하여 상기 사용자가 경험하고 있는 멀미의 정도를 검출하는 단계; 및
    상기 하나 이상의 프로세서들에 의해, 상기 사용자가 경험하고 있는 상기 멀미의 정도를 결정하는 것에 대한 응답으로 자율 주행 차량 액션(autonomous vehicle action)을 수행하는 단계를 포함하며, 상기 자율 주행 차량 액션을 수행하는 단계는 후속 시간에 상기 사용자에 의해 경험되는 상기 멀미의 정도를 개선하거나 또는 상기 후속 시간에 상기 사용자에 의해 경험되는 상기 멀미의 정도의 상승을 예방하는, 차량 내 사용자의 멀미를 예방 또는 개선하기 위한 방법.
  2. 제1 항에 있어서,
    상기 하나 이상의 프로세서들에 의해, 이미지 캡처 디바이스로부터 눈 시선 데이터(eye gaze data)를 획득하는 단계를 더 포함하며, 상기 눈 시선 데이터는 상기 사용자의 시선을 표시하는 하나 이상의 이미지들을 포함하며, 상기 멀미 스코어는 상기 사용자의 시선을 표시하는 상기 하나 이상의 이미지들에 적어도 부분적으로 추가로 기반하여 계산되는, 차량 내 사용자의 멀미를 예방 또는 개선하기 위한 방법.
  3. 제1 항에 있어서,
    상기 차량 움직임 데이터는 하나 이상의 진동 측정치들을 포함하며, 상기 방법은 상기 진동 측정치들의 주파수가 사전 정의된 범위 내에 속한다는 것을 결정하는 단계를 더 포함하는, 차량 내 사용자의 멀미를 예방 또는 개선하기 위한 방법.
  4. 제1 항에 있어서,
    상기 자율 주행 차량 액션은 상기 차량의 속도를 늦추는 것, 경로를 수정하는 것, 덜 공격적인 방향 전환들을 수행하는 것, 더욱 일정한 진행 방향을 유지하는 것, 또는 상기한 것들의 임의의 조합을 포함하는, 차량 내 사용자의 멀미를 예방 또는 개선하기 위한 방법.
  5. 제1 항에 있어서,
    상기 복수의 센서 디바이스들은, 상기 사용자의 전기 피부 반응들을 측정하도록 각각 구성된 제1 센서 및 제2 센서 및 상기 사용자의 심박수를 측정하도록 구성된 제3 센서를 포함하는, 차량 내 사용자의 멀미를 예방 또는 개선하기 위한 방법.
  6. 제5 항에 있어서,
    상기 제1 센서는 제1 전기 피부 반응을 측정하도록 상기 사용자의 이마에 포지셔닝되며, 상기 제2 센서는 제2 전기 피부 반응을 측정하도록 상기 사용자의 손바닥 표면 또는 손목에 포지셔닝되는, 차량 내 사용자의 멀미를 예방 또는 개선하기 위한 방법.
  7. 제1 항에 있어서,
    상기 멀미 스코어를 계산하는 단계는 상기 생리학적 데이터로부터 생리학적 피처들의 제1 세트를 결정하는 단계를 더 포함하며, 상기 생리학적 피처들의 제1 세트는,
    상기 사용자의 심박수,
    평균 피부 온도,
    상기 사용자의 피부의 하나 이상의 영역들에 대응하는 하나 이상의 피부 전도도 레벨들,
    상기 사용자의 피부의 상기 하나 이상의 영역들에 대응하는 하나 이상의 피부 전도도 반응들,
    상기 사용자의 정상적인 심장 박동들 사이의 연속적인 차이들의 평균 제곱근(root mean square), 및
    상대적 혈류를 표시하는 혈액량 펄스 진폭, 또는
    상기한 것들의 임의의 조합을 포함하는, 차량 내 사용자의 멀미를 예방 또는 개선하기 위한 방법.
  8. 제7 항에 있어서,
    상기 사용자와 연관된 기준 생리학적 피처들의 세트를 획득하는 단계; 및
    상기 생리학적 피처들의 제1 세트를 상기 기준 생리학적 피처들의 세트와 비교하는 것에 적어도 부분적으로 기반하여 상기 사용자가 스트레스 반응을 경험하였다는 것을 결정하는 단계를 더 포함하는, 차량 내 사용자의 멀미를 예방 또는 개선하기 위한 방법.
  9. 제8 항에 있어서,
    하나 이상의 프로세서들에 의해, 상기 복수의 센서 디바이스들로부터 후속하는 생리학적 데이터를 획득하는 단계 ― 상기 후속하는 생리학적 데이터는 상기 생리학적 데이터 이후 상기 복수의 센서 디바이스들에 의해 캡처됨 ― ;
    상기 후속하는 생리학적 데이터로부터, 상기 사용자의 생리학적 피처들의 제2 세트를 결정하는 단계; 및
    상기 생리학적 피처들의 제2 세트를 상기 생리학적 피처들의 세트와 비교하는 것에 적어도 부분적으로 기반하여 상기 사용자가 스트레스 반응을 경험한 이후 메스꺼움 반응을 경험하였다는 것을 결정하는 단계를 더 포함하며, 상기 멀미 스코어는 상기 사용자가 스트레스 반응을 경험한 이후 메스꺼움 반응을 경험하였다는 상기 결정에 적어도 부분적으로 기반하여 계산되는, 차량 내 사용자의 멀미를 예방 또는 개선하기 위한 방법.
  10. 컴퓨팅 디바이스로서,
    차량 내 사용자에 의해 경험되는 멀미의 정도를 예방 또는 개선하기 위한 실행 가능 명령들을 저장한 메모리; 및
    상기 메모리와 통신 가능하게 커플링된 하나 이상의 프로세서들을 포함하며, 상기 하나 이상의 프로세서들은, 상기 컴퓨팅 디바이스로 하여금,
    복수의 센서 디바이스들로부터 생리학적 데이터를 획득하게 하며;
    상기 차량의 진동들의 주파수를 표시하는 차량 움직임 데이터를 획득하게 하며;
    상기 생리학적 데이터 및 상기 차량 움직임 데이터에 적어도 부분적으로 기반하여 멀미 스코어를 계산하게 하며;
    상기 멀미 스코어에 적어도 부분적으로 기반하여 상기 사용자가 경험하고 있는 멀미의 정도를 검출하게 하며; 그리고
    상기 사용자가 경험하고 있는 상기 멀미의 정도를 결정하는 것에 대한 응답으로 자율 주행 차량 액션의 수행을 야기하게 하도록,
    상기 명령들을 실행하도록 구성되며,
    상기 자율 주행 차량 액션이 수행되게 하는 것은 상기 사용자에 의해 경험되는 상기 멀미의 정도를 개선하거나 또는 후속 시간에 상기 사용자에 의해 경험되는 상기 멀미의 정도의 상승을 예방하는, 컴퓨팅 디바이스.
  11. 제10 항에 있어서,
    상기 명령들을 실행하는 것은 추가로 상기 컴퓨팅 디바이스로 하여금 이미지 캡처 디바이스로부터 눈 시선 데이터를 획득하게 하며,
    상기 눈 시선 데이터는 상기 사용자의 시선을 표시하는 하나 이상의 이미지들을 포함하며, 상기 멀미 스코어는 상기 사용자의 시선을 표시하는 상기 하나 이상의 이미지들에 적어도 부분적으로 추가로 기반하여 계산되는, 컴퓨팅 디바이스.
  12. 제10 항에 있어서,
    상기 차량 움직임 데이터는 하나 이상의 진동 측정치들을 포함하며, 상기 명령들을 실행하는 것은 추가로 상기 컴퓨팅 디바이스로 하여금 상기 진동 측정치들의 주파수가 사전 정의된 범위 내에 속한다는 것을 결정하게 하는, 컴퓨팅 디바이스.
  13. 제10 항에 있어서,
    상기 자율 주행 차량 액션은 상기 차량의 속도를 늦추는 것, 경로를 수정하는 것, 덜 공격적인 방향 전환들을 수행하는 것, 더욱 일정한 진행 방향을 유지하는 것, 또는 상기한 것들의 임의의 조합을 포함하는, 컴퓨팅 디바이스.
  14. 제10 항에 있어서,
    상기 복수의 센서 디바이스들은 상기 사용자의 전기 피부 반응들을 측정하도록 각각 구성된 제1 센서 및 제2 센서 및 상기 사용자의 심박수를 측정하도록 구성된 제3 센서를 포함하는, 컴퓨팅 디바이스.
  15. 제14 항에 있어서,
    상기 제1 센서는 제1 전기 피부 반응을 측정하도록 상기 사용자의 이마에 포지셔닝되며, 상기 제2 센서는 제2 전기 피부 반응을 측정하도록 상기 사용자의 손바닥 표면 또는 손목에 포지셔닝되는, 컴퓨팅 디바이스.
  16. 제15 항에 있어서,
    상기 멀미 스코어를 계산하는 것은 상기 생리학적 데이터로부터 생리학적 피처들의 제1 세트를 결정하는 것을 더 포함하며, 상기 생리학적 피처들의 제1 세트는,
    상기 사용자의 심박수,
    평균 피부 온도,
    상기 사용자의 피부의 하나 이상의 영역들에 대응하는 하나 이상의 피부 전도도 레벨들,
    상기 사용자의 피부의 상기 하나 이상의 영역들에 대응하는 하나 이상의 피부 전도도 반응들,
    상기 사용자의 정상적인 심장 박동들 사이의 연속적인 차이들의 평균 제곱근, 및
    상대적 혈류를 표시하는 혈액량 펄스 진폭,또는
    상기한 것들의 임의의 조합을 포함하는, 컴퓨팅 디바이스.
  17. 제16 항에 있어서,
    상기 명령들을 실행하는 것은, 추가로, 상기 컴퓨팅 디바이스로 하여금,
    상기 사용자와 연관된 기준 생리학적 피처들의 세트를 획득하게 하며; 그리고
    상기 생리학적 피처들의 세트를 상기 기준 생리학적 피처들의 세트와 비교하는 것에 적어도 부분적으로 기반하여 상기 사용자가 스트레스 반응을 경험하였다는 것을 결정하게 하는, 컴퓨팅 디바이스.
  18. 제17 항에 있어서,
    상기 명령들을 실행하는 것은, 추가로, 상기 컴퓨팅 디바이스로 하여금,
    상기 복수의 센서 디바이스들로부터 후속하는 생리학적 데이터를 획득하게 하며 ― 상기 후속하는 생리학적 데이터는 제1 생리학적 데이터 이후 상기 복수의 센서 디바이스들에 의해 캡처됨 ― ;
    상기 후속하는 생리학적 데이터로부터, 상기 사용자의 생리학적 피처들의 제2 세트를 결정하게 하며; 그리고
    상기 생리학적 피처들의 제2 세트를 상기 생리학적 피처들의 세트와 비교하는 것에 적어도 부분적으로 기반하여 상기 사용자가 스트레스 반응을 경험한 이후 메스꺼움 반응을 경험하였다는 것을 결정하게 하며,
    상기 멀미 스코어는 상기 사용자가 스트레스 반응을 경험한 이후 메스꺼움 반응을 경험하였다는 상기 결정에 적어도 부분적으로 기반하여 계산되는, 컴퓨팅 디바이스.
  19. 차량 내 사용자에 의해 경험되는 멀미의 정도를 예방하거나 또는 개선하기 위한 명령들이 저장된 비-일시적 컴퓨터-판독 가능 저장 매체로서,
    상기 명령들은, 하나 이상의 프로세싱 유닛들에 의해 실행될 때, 상기 하나 이상의 프로세싱 유닛들로 하여금,
    복수의 센서 디바이스들로부터 생리학적 데이터를 획득하게 하며;
    상기 차량의 진동들의 주파수를 표시하는 차량 움직임 데이터를 획득하게 하며;
    상기 생리학적 데이터 및 상기 차량 움직임 데이터에 적어도 부분적으로 기반하여 멀미 스코어를 계산하게 하며;
    상기 멀미 스코어에 적어도 부분적으로 기반하여 상기 사용자가 경험하고 있는 멀미의 정도를 검출하게 하며; 그리고
    상기 사용자가 경험하고 있는 상기 멀미의 정도를 결정하는 것에 대한 응답으로 자율 주행 차량 액션의 수행을 야기하게 하며,
    상기 자율 주행 차량 액션이 수행되게 하는 것은 상기 사용자에 의해 경험되는 상기 멀미의 정도를 개선하거나 또는 후속 시간에 상기 사용자에 의해 경험되는 상기 멀미의 정도의 상승을 예방하는, 비-일시적 컴퓨터-판독 가능 저장 매체.
  20. 제19 항에 있어서,
    상기 명령들은, 상기 하나 이상의 프로세싱 유닛들에 의해 실행될 때, 추가로 상기 하나 이상의 프로세싱 유닛들로 하여금 이미지 캡처 디바이스로부터 눈 시선 데이터를 획득하게 하며, 상기 눈 시선 데이터는 상기 사용자의 시선을 표시하는 하나 이상의 이미지들을 포함하며, 상기 멀미 스코어는 상기 사용자의 시선을 표시하는 상기 하나 이상의 이미지들에 적어도 부분적으로 추가로 기반하여 계산되는, 비-일시적 컴퓨터-판독 가능 저장 매체.
  21. 제19 항에 있어서,
    상기 차량 움직임 데이터는 하나 이상의 진동 측정치들을 포함하며, 상기 명령들은, 상기 하나 이상의 프로세싱 유닛들에 의해 실행될 때, 추가로 상기 하나 이상의 프로세싱 유닛들로 하여금 상기 진동 측정치들의 주파수가 사전 정의된 범위 내에 속한다는 것을 결정하게 하는, 비-일시적 컴퓨터-판독 가능 저장 매체.
  22. 제19 항에 있어서,
    상기 자율 주행 차량 액션은, 상기 차량의 속도를 늦추는 것, 경로를 수정하는 것, 덜 공격적인 방향 전환들을 수행하는 것, 더욱 일정한 진행 방향을 유지하는 것, 또는 상기한 것들의 임의의 조합을 포함하는, 비-일시적 컴퓨터-판독 가능 저장 매체.
  23. 제19 항에 있어서,
    상기 명령들은, 상기 하나 이상의 프로세싱 유닛들에 의해 실행될 때, 추가로 상기 하나 이상의 프로세싱 유닛들로 하여금,
    상기 사용자와 연관된 기준 생리학적 피처들의 세트를 획득하게 하며; 그리고
    생리학적 피처들의 세트를 상기 기준 생리학적 피처들의 세트와 비교하는 것에 적어도 부분적으로 기반하여 상기 사용자가 스트레스 반응을 경험하였다는 것을 결정하게 하는, 비-일시적 컴퓨터-판독 가능 저장 매체.
  24. 제23 항에 있어서,
    상기 명령들은, 상기 하나 이상의 프로세싱 유닛들에 의해 실행될 때, 추가로 상기 하나 이상의 프로세싱 유닛들로 하여금,
    상기 복수의 센서 디바이스들로부터 후속하는 생리학적 데이터를 획득하게 하며 ― 상기 후속하는 생리학적 데이터는 상기 생리학적 데이터 이후 상기 복수의 센서 디바이스들에 의해 캡처됨 ― ;
    상기 후속하는 생리학적 데이터로부터, 상기 사용자의 생리학적 피처들의 제2 세트를 결정하게 하며; 그리고
    상기 생리학적 피처들의 제2 세트를 상기 생리학적 피처들의 세트와 비교하는 것에 적어도 부분적으로 기반하여 상기 사용자가 스트레스 반응을 경험한 이후 메스꺼움 반응을 경험하였다는 것을 결정하게 하며,
    상기 멀미 스코어는 상기 사용자가 스트레스 반응을 경험한 이후 메스꺼움 반응을 경험하였다는 상기 결정에 적어도 부분적으로 기반하여 계산되는, 비-일시적 컴퓨터-판독 가능 저장 매체.
KR1020227045852A 2020-07-02 2021-04-28 자율 주행 차량들용 멀미 검출 시스템 KR20230034973A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/920,410 2020-07-02
US16/920,410 US11820402B2 (en) 2020-07-02 2020-07-02 Motion sickness detection system for autonomous vehicles
PCT/US2021/029635 WO2022005587A1 (en) 2020-07-02 2021-04-28 Motion sickness detection system for autonomous vehicles

Publications (1)

Publication Number Publication Date
KR20230034973A true KR20230034973A (ko) 2023-03-10

Family

ID=76270027

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020227045852A KR20230034973A (ko) 2020-07-02 2021-04-28 자율 주행 차량들용 멀미 검출 시스템

Country Status (7)

Country Link
US (1) US11820402B2 (ko)
EP (1) EP4175860B1 (ko)
KR (1) KR20230034973A (ko)
CN (1) CN115768671A (ko)
BR (1) BR112022026184A2 (ko)
TW (1) TW202218623A (ko)
WO (1) WO2022005587A1 (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1928822B1 (en) 2005-09-26 2013-02-27 Life Technologies Corporation Violet laser excitable dyes and their method of use
US8093012B2 (en) 2005-10-13 2012-01-10 Aureon Laboratories, Inc. Multiplex in situ immunohistochemical analysis
US20070249014A1 (en) 2006-02-10 2007-10-25 Invitrogen Corporation Labeling and detection of post translationally modified proteins
US8114636B2 (en) 2006-02-10 2012-02-14 Life Technologies Corporation Labeling and detection of nucleic acids
KR20220003744A (ko) * 2020-07-02 2022-01-11 현대자동차주식회사 멀미 저감을 위한 자율주행차량의 제어 시스템
US11710216B2 (en) * 2020-07-14 2023-07-25 Gm Cruise Holdings Llc Adaptive adjustments to visual media to reduce motion sickness
US20220199224A1 (en) * 2020-12-21 2022-06-23 International Business Machines Corporation De-escalating situations
US20220227375A1 (en) * 2021-01-19 2022-07-21 Denso Ten Limited Information processing device, information processing method, computer readable medium, and map storage device
US12115994B2 (en) * 2021-08-11 2024-10-15 Rovi Guides, Inc. Systems and methods for operating a vehicle based on physiological parameters of an occupant
CN114812793A (zh) * 2022-03-25 2022-07-29 优跑汽车技术(上海)有限公司 一种自动驾驶模式下的防晕车控制方法、系统及汽车
WO2023199318A1 (en) * 2022-04-12 2023-10-19 B.G. Negev Technologies And Applications Ltd.,At Ben Gurion University A system and a method of measuring, analyzing, and providing feedback regarding the nervous, mental and physiological states of a patient, using wearable or carried sensors
CN114869240B (zh) * 2022-06-13 2024-07-12 北京中科心研科技有限公司 一种筛查飞行学员晕动症的方法及手环和系统
DE102022003756A1 (de) * 2022-10-12 2024-04-18 Mercedes-Benz Group AG Verfahren zur Verringerung kinetosebedingter Störungen eines Insassen auf einem Fahrzeugsitz
CN117653863B (zh) * 2024-02-01 2024-04-02 华南脑控(广东)智能科技有限公司 基于脑机接口正念冥想的晕动症干预方法

Family Cites Families (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9994228B2 (en) * 2010-05-14 2018-06-12 Iarmourholdings, Inc. Systems and methods for controlling a vehicle or device in response to a measured human response to a provocative environment
US10796176B2 (en) * 2010-06-07 2020-10-06 Affectiva, Inc. Personal emotional profile generation for vehicle manipulation
KR101659027B1 (ko) * 2014-05-15 2016-09-23 엘지전자 주식회사 이동 단말기 및 차량 제어 장치
EP3303025B1 (en) * 2015-06-03 2021-04-21 Clearmotion, Inc. Methods and systems for controlling vehicle body motion and occupant experience
US9862312B2 (en) * 2016-04-06 2018-01-09 The Regents Of The University Of Michigan Universal motion sickness countermeasure system
DE102017208283A1 (de) 2016-11-07 2018-05-09 Bayerische Motoren Werke Aktiengesellschaft Verfahren zum Betreiben eines Fahrerassistenzsystems eines Kraftwagens sowie Fahrerassistenzsystem eines Kraftwagens
EP3580734A1 (en) 2017-02-10 2019-12-18 Koninklijke Philips N.V. Driver and passenger health and sleep interaction
US20180370461A1 (en) * 2017-06-23 2018-12-27 Magna Electronics Inc. Vehicle system for reducing motion sickness
US10259451B2 (en) * 2017-07-19 2019-04-16 GM Global Technology Operations LLC Motion sickness mitigation system and method
GB2567856B (en) 2017-10-27 2020-05-27 Jaguar Land Rover Ltd Anti-motion sickness device
US20190133511A1 (en) * 2017-11-09 2019-05-09 Lear Corporation Occupant motion sickness sensing
CN111867459B (zh) * 2018-03-14 2024-01-09 松下知识产权经营株式会社 晕车症估计系统、移动车辆、晕车症估计方法和晕车症估计程序
DE102018203898A1 (de) 2018-03-14 2019-09-19 Bayerische Motoren Werke Aktiengesellschaft System und Verfahren zur Fahrtplanung für ein Fahrzeug
US10695565B2 (en) * 2018-10-16 2020-06-30 GM Global Technology Operations LLC System and method to mitigate motion sickness or emesis in a vehicle
JP2020124370A (ja) * 2019-02-05 2020-08-20 ソニーセミコンダクタソリューションズ株式会社 酔い状態判定システム、生体情報取得装置、周囲環境情報取得装置、酔い状態判定装置、及び酔い状態判定方法
US10559307B1 (en) 2019-02-13 2020-02-11 Karen Elaine Khaleghi Impaired operator detection and interlock apparatus
US10926773B2 (en) * 2019-05-10 2021-02-23 Denso International America, Inc. Systems and methods for mitigating motion sickness in a vehicle

Also Published As

Publication number Publication date
CN115768671A (zh) 2023-03-07
EP4175860C0 (en) 2024-07-31
US11820402B2 (en) 2023-11-21
EP4175860B1 (en) 2024-07-31
US20220001893A1 (en) 2022-01-06
BR112022026184A2 (pt) 2023-01-17
TW202218623A (zh) 2022-05-16
WO2022005587A1 (en) 2022-01-06
EP4175860A1 (en) 2023-05-10

Similar Documents

Publication Publication Date Title
EP4175860B1 (en) Motion sickness detection system for autonomous vehicles
US10640122B2 (en) Driving consciousness estimation device
US20210009149A1 (en) Distractedness sensing system
CN112041910B (zh) 信息处理装置、移动设备、方法和程序
US20190133511A1 (en) Occupant motion sickness sensing
JP7273031B2 (ja) 情報処理装置、移動装置、情報処理システム、および方法、並びにプログラム
US9792801B2 (en) Enhancing vehicle system control
JP7324716B2 (ja) 情報処理装置、移動装置、および方法、並びにプログラム
US20170158202A1 (en) Driver biometric information signal measurement system and method
JP6113440B2 (ja) 乗り物の操作者の視覚的入力
US9663047B2 (en) Method and system for inferring the behavior or state of the driver of a vehicle, use of the method and computer program for carrying out the method
US20160133117A1 (en) System for monitoring vehicle operator compliance with safe operating conditions
US10528833B1 (en) Health monitoring system operable in a vehicle environment
US20140067801A1 (en) Geotagging based on specified criteria
CN110448316A (zh) 数据处理装置及方法、监测系统、唤醒系统以及记录介质
CN105996990A (zh) 一种融合心率和驾驶动作的疲劳驾驶预警手环及预警方法
US10807527B1 (en) Systems and methods for verifying whether vehicle operators are paying attention
US20210195981A1 (en) System and method for monitoring a cognitive state of a rider of a vehicle
FI20215174A1 (fi) Laite, menetelmä ja tietokoneohjelma ajoneuvon kuljettajan ajotavan määrittämiseksi
WO2010091464A1 (en) Method and system for monitoring an operator of machinery
JP7156210B2 (ja) 車両用情報提供システム
US12039502B2 (en) System, method and services for tracking, monitoring and transporting
TWI662910B (zh) 運動頭盔安全防護裝置之運動感測控制系統
CN117734707A (zh) 一种驾驶员疲劳状态检测系统及方法
KR20220023684A (ko) 정보 제공 장치 및 그 제어 방법

Legal Events

Date Code Title Description
A201 Request for examination