RU2725557C2 - Носимое устройство обнаружения взгляда глаз в транспортном средстве - Google Patents

Носимое устройство обнаружения взгляда глаз в транспортном средстве Download PDF

Info

Publication number
RU2725557C2
RU2725557C2 RU2018109733A RU2018109733A RU2725557C2 RU 2725557 C2 RU2725557 C2 RU 2725557C2 RU 2018109733 A RU2018109733 A RU 2018109733A RU 2018109733 A RU2018109733 A RU 2018109733A RU 2725557 C2 RU2725557 C2 RU 2725557C2
Authority
RU
Russia
Prior art keywords
operator
vehicle
eye
computer
view
Prior art date
Application number
RU2018109733A
Other languages
English (en)
Other versions
RU2018109733A (ru
RU2018109733A3 (ru
Inventor
Девиндер Сингх КОЧХАР
Original Assignee
ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи filed Critical ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи
Publication of RU2018109733A publication Critical patent/RU2018109733A/ru
Publication of RU2018109733A3 publication Critical patent/RU2018109733A3/ru
Application granted granted Critical
Publication of RU2725557C2 publication Critical patent/RU2725557C2/ru

Links

Images

Classifications

    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/16—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state
    • A61B5/18—Devices for psychotechnics; Testing reaction times ; Devices for evaluating the psychological state for vehicle drivers or machine operators
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G08B21/02—Alarms for ensuring the safety of persons
    • G08B21/06—Alarms for ensuring the safety of persons indicating a condition of sleep, e.g. anti-dozing alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00—Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113—Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/24—Detecting, measuring or recording bioelectric or biomagnetic signals of the body or parts thereof
    • A61B5/316—Modalities, i.e. specific diagnostic methods
    • A61B5/398—Electrooculography [EOG], e.g. detecting nystagmus; Electroretinography [ERG]
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/68—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient
    • A61B5/6801—Arrangements of detecting, measuring or recording means, e.g. sensors, in relation to patient specially adapted to be attached to or worn on the body surface
    • A61B5/6802—Sensor mounted on worn items
    • A61B5/6803—Head-worn items, e.g. helmets, masks, headphones or goggles
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60K—ARRANGEMENT OR MOUNTING OF PROPULSION UNITS OR OF TRANSMISSIONS IN VEHICLES; ARRANGEMENT OR MOUNTING OF PLURAL DIVERSE PRIME-MOVERS IN VEHICLES; AUXILIARY DRIVES FOR VEHICLES; INSTRUMENTATION OR DASHBOARDS FOR VEHICLES; ARRANGEMENTS IN CONNECTION WITH COOLING, AIR INTAKE, GAS EXHAUST OR FUEL SUPPLY OF PROPULSION UNITS IN VEHICLES
    • B60K28/00—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions
    • B60K28/02—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver
    • B60K28/06—Safety devices for propulsion-unit control, specially adapted for, or arranged in, vehicles, e.g. preventing fuel supply or ignition in the event of potentially dangerous conditions responsive to conditions relating to the driver responsive to incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B21/00—Alarms responsive to a single specified undesired or abnormal condition and not otherwise provided for
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems
    • G08B25/01—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium
    • G08B25/08—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems characterised by the transmission medium using communication transmission lines
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B2503/00—Evaluating a particular growth phase or type of persons or animals
    • A61B2503/20—Workers
    • A61B2503/22—Motor vehicles operators, e.g. drivers, pilots, captains
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B60W2040/0818—Inactivity or incapacity of driver
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/26—Incapacity
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/06—Combustion engines, Gas turbines
    • B60W2710/0605—Throttle position
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/18—Braking system
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2710/00—Output or target parameters relating to a particular sub-units
    • B60W2710/20—Steering systems

Landscapes

  • Health & Medical Sciences (AREA)
  • Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Physics & Mathematics (AREA)
  • Public Health (AREA)
  • Biophysics (AREA)
  • Veterinary Medicine (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Pathology (AREA)
  • Transportation (AREA)
  • Mechanical Engineering (AREA)
  • Automation & Control Theory (AREA)
  • Ophthalmology & Optometry (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Chemical & Material Sciences (AREA)
  • Combustion & Propulsion (AREA)
  • Psychology (AREA)
  • Psychiatry (AREA)
  • Educational Technology (AREA)
  • Social Psychology (AREA)
  • Developmental Disabilities (AREA)
  • Hospice & Palliative Care (AREA)
  • Child & Adolescent Psychology (AREA)
  • Traffic Control Systems (AREA)
  • Eye Examination Apparatus (AREA)
  • Image Processing (AREA)
  • Length Measuring Devices With Unspecified Measuring Means (AREA)
  • Emergency Alarm Devices (AREA)

Abstract

Группа изобретений относится к медицинской технике, а именно к системе и способу для определения направления взгляда оператора транспортного средства. Система содержит датчики измерения движения глазных мышц, компьютер. Датчики движения глазных мышц включены в устройство, носимое оператором транспортного средства. Компьютер включает в себя процессор и память. Память хранит инструкции, исполняемые компьютером по способу. При этом принимают данные движения глазных мышц от датчика. Определяют по упомянутому измерению направление взгляда оператора. Активируют операцию транспортного средства, если уровень внимательности оператора, основанный на направлении взгляда, ниже предварительно определенного порогового значения. Определяют опасность на проезжей части на пути транспортного средства из данных датчиков транспортного средства. Определяют недостаток внимания к опасности на проезжей части на основе определения, что направление взгляда изменилось от направления опасности на проезжей части. Предупреждают оператора при определении недостатка внимания к опасности на проезжей части. Обеспечивается способ и система определения направления взгляда оператора транспортного средства для определения уровня внимательности. 3 н. и 17 з.п. ф-лы, 5 ил.

Description

УРОВЕНЬ ТЕХНИКИ
[0001] Определение, касающееся того, отвлекается ли водитель транспортного средства, может иногда выполняться посредством обнаружения, смотрит ли водитель наружу на дорогу, или вместо этого на пассажиров, автомобильное радио и т.д. К несчастью, системы контроля взгляда водителя зачастую являются дорогостоящими, неудобными, сложными для использования и громоздкими. Такие системы контроля могут зачастую ограничивать свободу перемещения водителя и/или могут мешать работе транспортного средства.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
В одном варианте осуществления настоящего изобретения обеспечена система, содержащая: один или более датчиков, включенных в устройство, носимое оператором транспортного средства, чтобы измерять движение глазных мышц; и компьютер, который включает в себя процессор и память, причем память хранит инструкции, исполняемые компьютером, так что компьютер программируется, чтобы: принимать данные, указывающие движение глазных мышц, от носимого датчика; определять, используя упомянутое измерение, направление взгляда оператора; использовать направление взгляда, чтобы определять уровень внимательности оператора; и активировать операцию транспортного средства, если уровень внимательности оператора ниже предварительно определенного порогового значения.
В дополнительном варианте осуществления обеспечена система, в которой носимое устройство является маской.
В еще одном дополнительном варианте осуществления обеспечена система, в которой один или более датчиков могут включать в себя любой из датчика латерального движения кантуса, датчика внутреннего движения кантуса и датчика верхнечелюстного движения.
В еще одном дополнительном варианте осуществления обеспечена система, в которой носимое устройство беспроводным образом соединяется с компьютером.
В еще одном дополнительном варианте осуществления обеспечена система, в которой компьютер дополнительно программируется, чтобы извлекать из памяти параметр, касающийся направления взгляда, и использовать упомянутый параметр в определении уровня внимательности оператора.
В еще одном дополнительном варианте осуществления обеспечена система, в которой операция транспортного средства включает в себя по меньшей мере одно из активации дроссельной заслонки, активации механизма рулевого управления и активации тормозов.
В еще одном дополнительном варианте осуществления обеспечена система, в которой предоставляют направление взгляда по меньшей мере одному из человеко-машинного интерфейса компьютера в транспортном средстве и мобильного пользовательского устройства.
В еще одном дополнительном варианте осуществления обеспечена система, в которой компьютер дополнительно программируется, чтобы предоставлять направление взгляда удаленному серверу.
В еще одном дополнительном варианте осуществления обеспечена система, в которой компьютер дополнительно программируется, чтобы определять опасность из данных датчика транспортного средства и предупреждать оператора, когда уровень внимательности оператора указывает недостаток внимания к опасности.
В другом варианте осуществления настоящего изобретения обеспечен способ, содержащий этапы, на которых: принимают данные от одного или более датчиков, включенных в устройство, носимое оператором транспортного средства, чтобы измерять движение глазных мышц; и определяют, используя упомянутое измерение, направление взгляда оператора; используют упомянутое направление взгляда, чтобы определять уровень внимательности оператора; и активируют операцию транспортного средства, если уровень внимательности оператора ниже предварительно определенного порогового значения.
В дополнительном варианте осуществления обеспечен способ, в котором носимое устройство является маской.
В еще одном дополнительном варианте осуществления обеспечен способ, в котором один или более датчиков могут включать в себя любой из датчика латерального движения кантуса, датчика внутреннего движения кантуса и датчика верхнечелюстного движения.
В еще одном дополнительном варианте осуществления обеспечен способ, дополнительно содержащий этапы, на которых извлекают из памяти параметр, касающийся направления взгляда, и используют параметр в определении уровня внимательности оператора.
В еще одном дополнительном варианте осуществления обеспечен способ, в котором операция транспортного средства включает в себя по меньшей мере одно из активации дроссельной заслонки, активации механизма рулевого управления и активации тормозов.
В еще одном дополнительном варианте осуществления обеспечен способ, в котором предоставляют направление взгляда по меньшей мере одному из человеко-машинного интерфейса компьютера в транспортном средстве и мобильного пользовательского устройства.
В еще одном дополнительном варианте осуществления обеспечен способ, дополнительно содержащий этап, на котором предоставляют направление взгляда удаленному серверу.
В еще одном дополнительном варианте осуществления обеспечен способ, дополнительно содержащий этап, на котором определяют опасность из данных датчика транспортного средства и предупреждают оператора, когда уровень внимательности оператора указывает недостаток внимания к опасности.
В другом варианте осуществления настоящего изобретения обеспечен носимый датчик, содержащий: один или более датчиков, включенных в устройство, носимое оператором транспортного средства, чтобы измерять движение глазных мышц; и компьютер на связи с упомянутым устройством, при этом компьютер определяет движение глазных мышц оператора.
В дополнительном варианте осуществления настоящего изобретения обеспечен носимый датчик, в котором упомянутое устройство, носимое оператором транспортного средства, является маской.
В еще одном дополнительном варианте осуществления настоящего изобретения обеспечен носимый датчик, в котором один или более датчиков могут включать в себя любой из датчика бокового движения кантуса, датчика внутреннего движения кантуса и датчика верхнечелюстного движения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0002] Фиг. 1 - это блок-схема примерной носимой системы обнаружения взгляда глаз в транспортном средстве.
[0003] Фиг. 2A - это вид маски, которая должна быть носима около глаз оператора, показывающий датчики обнаружения движения глаз в системе на фиг. 1.
[0004] Фиг. 2B иллюстрирует десять позиций взгляда, которые предоставляют возможность сравнений горизонтальных, вертикальных и диагональных движений глаз.
[0005] Фиг. 3 - это схема примерного процесса для обнаружения взгляда оператора, носящего маску с датчиками.
[0006] Фиг. 4 - это схема другого примерного процесса для обнаружения взгляда оператора, носящего маску с датчиками.
[0007] Фиг. 5 - это схема другого примерного процесса для обнаружения взгляда оператора, носящего маску с датчиками.
ОПИСАНИЕ
Введение
[0008] Фиг. 1 - это блок-схема примерной носимой системы 100 обнаружения взгляда глаз в транспортном средстве. Транспортное средство 10 включает в себя компьютер 12, который принимает данные от носимой лицевой маски 20 с массивом датчиков (см. фиг. 2), которая носится оператором транспортного средства 10. Носимая лицевая маска 20 с массивом датчиков типично включает в себя датчики движения глазных мышц или т.п., которые размещаются вокруг глаза, чтобы принимать электрические сигналы глазных мышц, так, как известно для различных использований, в том числе выполнения измерений, которые могут быть использованы, чтобы определять направление взгляда глаза. Компьютер 10 использует данные от носимой лицевой маски 20 с массивом датчиков, чтобы определять направление взгляда оператора транспортного средства, например, направлен ли взгляд оператора на дорогу или куда-либо еще. Компьютер 12 может дополнительно анализировать взгляд оператора на основе изображения дороги от камеры 16, чтобы обнаруживать опасность, о которой оператор может не знать. Дополнительно, компьютер 12 может предупреждать оператора и/или выполнять корректировки операций транспортного средства 10 на основе возможного столкновения, например, с опасностью на дороге.
Примерные элементы системы
[0009] Транспортное средство 10 включает в себя компьютер 12 транспортного средства, который, в свою очередь, включает в себя процессор и память, память включает в себя одну или более форм компьютерно-читаемых носителей и хранит инструкции, исполняемые процессором для выполнения различных операций, т.е., программирование, включающее в себя раскрытое в данном документе. Например, компьютер 12, в целом, включает в себя, и приспособлен исполнять, инструкции, чтобы принимать данные от носимой лицевой маски 20 с массивом датчиков, чтобы определять направление взгляда носящего.
[00010] Компьютер 12 конфигурируется для связи с одним или более удаленными компьютерами 25 и/или одним или более мобильными пользовательскими устройствами 17, через шлюз 18, которая, как описано ниже, может включать в себя различные проводные и/или беспроводные сетевые технологии, например, сотовые, Bluetooth, проводные и/или беспроводные сети пакетной коммутации и т.д. Дополнительно, компьютер 12, в целом, включает в себя инструкции для приема данных, например, от лицевой маски 20 с массивом датчиков и/или человеко-машинного интерфейса (HMI) 19, который может быть одним или более из системы интерактивного голосового ответа (IVR), графического пользовательского интерфейса (GUI), включающего в себя экран ввода касанием или т.п., и т.д. Компьютер 12 может также быть соединен с внешней памятью 14 для дополнительных требований хранения.
[00011] Компьютер 12, который собирает и хранит данные, полученные от маски 20, может отправлять данные удаленному серверу 25 через внешний шлюз 28, который может быть одним или более компьютерными серверами, каждый, как правило, включает в себя по меньшей мере один процессор и по меньшей мере одну память, причем память хранит инструкции, исполняемые процессором, включающие в себя инструкции для выполнения различных этапов и процессов, описанных в данном документе. В целом, сервер 25 может быть использован для множества целей, например, взаимодействия с навигационной системой транспортного средства 10, предоставления данных, используемых для предложения маршрута транспортного средства 10 и/или его атрибутов, и т.д. Сервер 25 может включать в себя или быть соединен с возможностью обмена данными с хранилищем 30 данных для хранения данных, таких как информация об утомлении водителя, потенциальные точки маршрута для остановки для отдыха, и т.д. Таким образом, одним возможным действием сервера 25 в системе 100 является прием указания от компьютера 12 транспортного средства 10 через шлюз 18, что взгляд глаз оператора транспортного средства 10 указывает, что оператор может нуждаться в перерыве на отдых, и тогда навигационная система транспортного средства должна предлагать точки маршрута, чтобы удовлетворять возможную потребность оператора транспортного средства 10.
[00012] Пользовательское устройство 17, типично мобильное устройство, перемещаемое или носимое пользователем, может быть любым устройством из множества вычислительных устройств, включающих в себя процессор и память, а также функциональные возможности связи. Например, пользовательское устройство 17 может быть переносным компьютером, планшетным компьютером, смартфоном и т.д., который включает в себя функциональные возможности для беспроводной связи с использованием IEEE 802.11, Bluetooth и/или протоколов сотовой связи. Дополнительно пользовательское устройство 17 может использовать такие функциональные возможности, чтобы связываться через шлюз 18 в том числе с компьютером 12 транспортного средства. Пользовательское устройство 17 может связываться с компьютером 12 транспортного средства 10 с помощью других механизмов, таких как сеть в транспортном средстве 10, известные протоколы, такие как Bluetooth, и т.д. Соответственно, пользовательское устройство 17 может быть использовано, чтобы выполнять некоторые из всех операций в данном документе, приписываемых компьютеру 12, например, принимать данные от лицевой маски 20 с массивом датчиков, выполнять определение о направлении взгляда оператора и предоставлять определение через пользовательский интерфейс пользовательского устройства 17. Дополнительно, пользовательское устройство 17 может быть использовано, чтобы дополнять и/или заменять HMI 19 компьютера 12.
[00013] Оператор 10 транспортного средства может носить носимую лицевую маску 20 с массивом датчиков, иллюстрированную на фиг. 2A. Маска 20, как правило, прикрепляется к оператору так, чтобы прижиматься к лицу оператора, и может носиться без помехи зрению оператора. Лицевая маска 20 с массивом датчиков типично включает в себя множество датчиков 22, 24, 26 движения глазных мышц, размещенных повсюду на маске 20. Размещение датчика движения глазных мышц может включать в себя датчик 22 латерального движения кантуса, датчик 24 внутреннего движения кантуса и датчик 26 верхнечелюстного движения.
[00014] Существуют шесть глазодвигательных мышц, которые действуют, чтобы поворачивать или вращать глаз вокруг его вертикальной, горизонтальной и его переднезадней осей. Верхняя косая (SO) мышца, главным образом, поворачивает верх глаза к носу, вниз и наружу. Верхняя прямая мышца (SR) перемещает глаз вверх, вдоль вертикального меридиана и поворачивает верх глаза к носу и перемещает глаз внутрь. Медиальная прямая (MR) мышца перемещает глаз вдоль горизонтального меридиана к носу. Латеральная прямая (LR) мышца перемещает глаз вдоль горизонтального меридиана от носа. Нижняя косая (IO) мышца поворачивает верх глаза от носа, а также перемещает глаз вверх и наружу. Нижняя прямая (IR) мышца перемещает глаз вниз вдоль вертикального меридиана, а также поворачивает верх глаза от носа и перемещает глаз внутрь.
[00015] Фиг. 2B иллюстрирует десять позиций взгляда, которые предоставляют возможность сравнений горизонтального, вертикального и диагонального глазных движений, создаваемых шестью глазодвигательными мышцами, когда оба глаза и множество мышц работают вместе. В примере в соответствии с взглядом 30 вверх вправо и со ссылкой на таблицу 41 мышц, SR или верхняя прямая мышца в правом глазу и IO или нижняя косая мышца в левом глазу сокращаются, в то время как другие мышцы глаза находятся в состоянии покоя. Сокращение мышцы является активацией участков, генерирующих напряжение в мышечных волокнах. За завершением сокращения мышцы следует расслабление мышцы или состояние покоя, которое является возвращением мышечных волокон в их создающее низкое напряжение состояние. Датчики 22, 24, 26 (фиг. 2A) могут обнаруживать, когда мышца сокращается и когда мышца находится в состоянии покоя. В другом примере взгляд 38 вниз и влево сокращает SO-мышцу правого глаза и IR-мышцу левого глаза. Конвергенция 39 возникает, когда MR-мышцы обоих правого и левого глаза сокращаются.
[00016] Действия шести мышц, ответственных за движение глаза, зависят от позиции глаза во время сокращения мышц. Четыре мышцы управляют движением глаза в четырех основных направлениях или вверх, вниз, влево и вправо, в то время как оставшиеся две мышцы управляют корректировками, участвующими в противодействии движению головы. Зрительная система в мозгу является слишком медленной, чтобы обрабатывать информацию, если изображения перемещаются по сетчатке глаза более чем на несколько градусов в секунду. Например, чтобы иметь возможность видеть, в то время как человек движется, мозг должен компенсировать движение головы, поворачивая глаза. Глаза должны следовать за целью, поскольку только небольшой участок глаза, называемый центральной ямкой, обеспечивает острое зрение. Поскольку движения глаз, как правило, являются быстрыми и точными и могут управляться сознательно, большинство движений глаз может совершаться без осознанного усилия.
[00017] Датчики 22, 24, 26 могут быть беспроводным образом соединены с компьютером 12 транспортного средства 10, или датчики 22, 24, 26 могут быть непосредственно соединены с маской 20, которая может быть проводным образом соединена с компьютером 12 транспортного средства 10 напрямую и/или может связываться с компьютером 12 через один или более различных механизмов беспроводной связи, включающих в себя любое желаемое сочетание механизмов проводной (например, кабельной и волоконной) и/или беспроводной (например, сотовой, беспроводной, спутниковой, микроволновой и радиочастотной) связи и любой желаемой сетевой топологии (или топологий, когда используется множество механизмов связи). Примерные сети передачи данных включают в себя беспроводные сети передачи данных (например, использующие Bluetooth, IEEE 802.11 и т.д.), локальные вычислительные сети (LAN) и/или глобальные вычислительные сети (WAN), включающие в себя Интернет и предоставляющие услуги передачи данных.
[00018] Маска 20 с массивом датчиков может иметь размер, чтобы вмещать лицо оператора транспортного средства 10. Маска 20 может быть бумажного типа с покрытием, но может, альтернативно или дополнительно, быть изготовлена из тканевого материала или пластмассового материала. Лицевая маска 20 с массивом датчиков может удерживаться на лице посредством ремня-липучки, который идет вокруг головы оператора, и/или лицевая маска 20 с массивом датчиков может иметь клейкое вещество, нанесенное на первую поверхность, т.е., поверхность, контактирующую с кожей. Клейкое вещество может быть акрилатом, включающим в себя метакрилаты и эпоксидные диакрилаты, которые также известны как виниловые смолы.
[00019] Камера 16 и детектор 13 объекта может быть размещен на транспортном средстве 10, чтобы обнаруживать объекты впереди транспортного средства 10 посредством отправки изображений и/или обнаружения информации для компьютера 12. Детектор 13 объекта может быть любым из множества типов, таким как лидар, радар, ультразвуковой, сонар и т.д. Компьютер 12, используя информацию о взгляде, может определять, был ли фокус оператора за пределами транспортного средства 10, и/или видит ли оператор опасность на проезжей части. Если оператор определяется как отвлекшийся, например, смотрит не на опасность на проезжей части, компьютер 12 может затем отправлять тревожный сигнал оператору. Тревожный сигнал может быть отправлен HMI 19, пользовательскому устройству 17 или любому другому устройству привлечения внимания.
Примерная последовательность операций процесса
[00020] Фиг. 3 является схемой примерного процесса 300 для определения текущего направления взгляда глаз оператора транспортного средства.
[00021] Процесс 300 начинается на этапе 305, на котором компьютер 12 инициирует измерения посредством лицевой маски 20 с массивом датчиков. Например, пользователь может предоставлять ввод с пользовательского устройства 17, чтобы инициировать измерения от датчиков 22, 24, 26 движения глазных мышц в лицевой маске 20 с массивом датчиков, например, из приложения смартфона или т.п. Компьютер 12 может обнаруживать лицевую маску 20 с массивом датчиков и тип и число датчиков 22, 24, 26. Дополнительно этап 305 может включать в себя предоставление идентификации оператора-субъекта компьютеру 12 и/или прием входных данных, касающихся и/или возвращающих параметры, относящиеся к оператору-субъекту, такие параметры предоставляются для большей точности в оценке направления взгляда глаз, как описано более подробно ниже.
[00022] Затем на этапе 310 компьютер 12 принимает данные от лицевой маски 20 с массивом датчиков, например, результаты измерений от датчика 22, 24, 26, которые, как описано выше, могут быть использованы в качестве указателей расположения глаза и/или направления взгляда пассажира транспортного средства.
[00023] Затем на этапе 315 компьютер 12 определяет, обнаружено ли изменение расположения глаз пассажира, например, изменилось ли направление взгляда. Дополнительно, после определения направления взгляда глаз пользователя, компьютер 12 может отправлять данные о движении и/или расположении глаз пользовательскому устройству 17, чтобы предоставлять текущее направление взгляда глаза. Например, текущее направление взгляда может включать в себя направление и расстояние движения глаза.
[00024] Затем на этапе 320 компьютер 12 оценивает движения глаз оператора и определяет текущее направление взгляда оператора. Например, компьютер 12 может использовать модель внимательности оператора или другие известные модели и/или уравнения, чтобы определять направление взгляда оператора. Модель внимательности оператора может использовать такие параметры как возраст оператора-субъекта, пол, прием лекарственных препаратов, рост и/или вес. Такие параметры могут быть предоставлены компьютеру 12 транспортного средства, например, согласно пользовательскому вводу через HMI 19 и/или пользовательское устройство 17, и могут быть сохранены в памяти компьютера 12. Дополнительно или альтернативно, такие параметры для оператора-субъекта могут быть сохранены в хранилище 30 данных сервера 25 и могут быть извлечены компьютером 12 согласно идентификатору оператора-субъекта. Сохранены ли локально на компьютере 12 или удаленно на сервере 25, такие параметры могут быть использованы, чтобы динамически улучшать характеристику прогнозирования стохастической модели.
[00025] Затем на этапе 325 компьютер 12 может предоставлять оценку в HMI 19, пользовательскому устройству 17 и т.д. Компьютер 12 может также предоставлять оценку серверу 25, где она может быть сохранена в хранилище 30 данных. Пользователь, например, через компьютер 12 или пользовательское устройство 17, может предоставлять дополнительные входные данные, которые должны быть предоставлены серверу 25, чтобы предоставлять возможность адаптивного обучения и уточнения относительно конкретного оператора-субъекта или вычислений текущего взгляда в более обобщенно. Соответственно, компьютер 12 может принимать обновления одной или более моделей, например, множества моделей, соответствующих различным параметрам, от сервера 25, и/или может быть запрограммирован, чтобы выполнять такие обновления. Дополнительно, как упомянуто выше, оценка текущего взгляда оператора-субъекта, выполненная на этапе 320, может быть использована как основа для операций транспортного средства 10. Например, если оценка оператора указывает, что оператор выглядит вялым, компьютер 12 транспортного средства может запрашивать, чтобы навигационная система транспортного средства 10 предоставила маршрут, или модифицировала существующий маршрут, чтобы указывать одну или более точек маршрута, имеющих зону отдыха.
[00026] Затем на этапе 330 компьютер 12 определяет, должен ли процесс 300 продолжаться. Например, пользователь может предоставлять входные данные, останавливающие измерения от лицевой маски 20 с массивом датчиков, компьютер 12 может обнаруживать, что лицевая маска 20 с массивом датчиков была снята с оператора-субъекта и т.д., альтернативно или дополнительно, процесс 300 может не продолжаться, если транспортное средство 10, включающее в себя компьютер 12, выключено и/или остановлено. В любом случае, если процесс 300 продолжается, исполняется этап 310. Иначе, процесс 300 заканчивается после этапа 330.
[00027] Фиг. 4 является схемой другого примерного процесса 400 для определения текущего взгляда глаз оператора транспортного средства и тревожного оповещения оператора, взгляд которого не находится там, где он должен быть. Процесс 400 начинается на этапе 405, который аналогичен этапу 305. Дополнительно, этап 410, следующий за этапом 405, аналогично похож на этап 310, описанный выше.
[00028] На этапе 420, следующем за этапом 410, компьютер 12, способом, аналогичным способу, описанному выше относительно этапа 320, выполняет оценку текущего взгляда оператора-субъекта.
[00029] Затем на этапе 425 компьютер 12 принимает информацию, касающуюся любых потенциальных опасностей. Например, изображение с камеры 17 может быть цифровым образом обработано, чтобы определять, находятся ли какие-либо объекты впереди транспортного средства 10. Дополнительно или альтернативно, детектор 13 объекта может указывать компьютеру 12 потенциальные опасности.
[00030] На этапе 430 компьютер 12 определяет, является ли опасность угрожающей, например, являет и представляет собой угрозу транспортному средству 10. Наличие или отсутствие опасности на дороге может быть определено с помощью данных датчика транспортного средства 10, чтобы определять потенциальное препятствие, определять расстояние до препятствия, вероятность того, что транспортное средство 10 будет пересекать препятствие, и т.д. Например, компьютер может определять, направлен ли взгляд глаз не в направлении фактической или потенциальной опасности, такой как неподвижный объект, подвижный объект или принципиальное другое транспортное средство (POV), которое вероятно должно приходить в текущее или потенциальное направление движения, и представляет собой угрозу транспортному средству 10. В другом примере компьютер 12 может также определять траекторию перемещения взгляда глаз и оценивает, будет ли потенциальная или фактическая опасность вероятно замечена своевременным образом. Если так, далее исполняется этап 435, иначе исполняется этап 440.
[00031] На этапе 435 компьютер 12 активирует одну или более операций в транспортном средстве 10 на основе обнаруженной опасности, сигнализирует оператору, что существует опасность снаружи транспортного средства 10, с помощью предупреждения. Например, предупреждение может быть слышимым тоном, воспроизводимым через HMI 19, и/или компьютер 12 может осуществлять вибрацию на рулевом колесе. Дополнительно, например, операции могут включать в себя по меньшей мере одно из приведения в действие дроссельной заслонки транспортного средства 10, рулевого управления и тормозов, чтобы избегать источника опасности. Например, при определении грозящей опасности, и что внимание оператора падает ниже порогового значения внимательности, компьютер 12 может быть запрограммирован применять тормоза транспортного средства 10 и/или управлять рулевым управлением транспортного средства 10, например, предоставляя инструкции электронному блоку управления известным образом, чтобы избегать опасности.
[00032] На этапе 440, который может следовать за этапами 430, 435, способом, аналогичным способу, описанному выше относительно этапа 330, определяется, продолжается ли процесс 400. Если так, тогда далее исполняется этап 410. Иначе, процесс 400 заканчивается.
[00033] Фиг. 5 является схемой другого примерного процесса 500 для определения текущего взгляда глаз оператора транспортного средства и тревожного оповещения оператора, взгляд которого не находится там, где он должен быть.
[00034] Процесс 500 начинается на этапе 505, на котором компьютер 12 принимает информацию, касающуюся любых потенциальных опасностей, и определяет расстояние и диапазон относительно потенциальной опасности. Например, изображение от камеры 17 может быть цифровым образом обработано, чтобы определять расстояние и направление относительно каких-либо объектов, которые находятся впереди транспортного средства 10. Дополнительно или альтернативно, детектор 13 объекта может указывать компьютеру 12 расстояние и ориентацию относительно потенциальных источников опасности.
[00035] Затем на этапе 510 компьютер определяет степень изменения расстояния и ориентации относительно потенциальной опасности. Например, потенциальный источник опасности может быть на десять метров ближе к транспортному средству, чем в предыдущем определении.
[00036] Затем на этапе 515 получается направление взгляда, которое может быть получено из процесса, аналогично похожего на этапы процесса 300.
[00037] Затем на этапе 520 компьютер 12 определяет, существует ли возможность столкновения. Например, компьютер будет использовать такие факторы как скорость транспортного средства 10, расстояние и ориентацию относительно потенциального источника опасности и любое перемещение какой-либо потенциальной опасности, и т.д. Если не существует вероятности столкновения, например, когда потенциальная опасность перемещается от пути транспортного средства 10, процесс возвращается к этапу 505, иначе процесс продолжается на этапе 525.
[00038] На этапе 525 компьютер 12 определяет, существует ли время, чтобы оператор транспортного средства 10 наблюдал за потенциальной опасностью без вмешательства компьютера. Определение может быть основано на времени движения до потенциальной опасности. Если время движения является по существу длительным, процесс возвращается к этапу 505, иначе процесс 500 продолжается на этапе 530. Например, потенциальная опасность находится в 50 метрах впереди транспортного средства 10, при скорости 10 км/ч транспортное средство 10 потратит приблизительно 18 секунд, чтобы достигать потенциальной опасности. Альтернативно, если транспортное средство 10 двигалось со скоростью 100 км/ч, время движения будет меньше двух секунд.
[00039] На этапе 530 компьютер 12 активирует одну или более операций в транспортном средстве 10 на основе обнаруженной опасности, предупреждает оператора, что существует опасность снаружи транспортного средства 10, с помощью предупреждения, которое является аналогичным этапу 435 процесса 400.
[00040] На этапе 535, способом, аналогичным способу, описанному выше относительно этапа 330, определяется, продолжается ли процесс 500. Если так, тогда затем исполняется этап 505. Иначе, процесс 500 заканчивается.
Заключение
[00041] Используемое в данном документе, наречие "по существу" означает, что форма, структура, измерение, количество, время и т.д. могут отклоняться от точно описанной геометрии, расстояния, измерения, количества, времени и т.д. вследствие несовершенств в материалах, механической обработке, производстве и т.д.
[00042] Термин "примерный" используется в данном документе в смысле выражения примера, например, ссылка на "примерный виджет" должна рассматриваться как простая ссылка на пример виджета.
[00043] Вычислительные устройства, такие как устройства, обсужденные в данном документе, в общем, включают в себя инструкции, исполняемые посредством одного или более вычислительных устройств, таких как идентифицированные выше, и для выполнения блоков или этапов процессов, описанных выше. Например, этапы обработки, обсужденные выше, осуществляются как компьютерные исполняемые инструкции.
[00044] Машиноисполняемые инструкции могут быть компилированы или интерпретированы из компьютерных программ, созданных с использованием множества языков и/или технологий программирования, включающих в себя, без ограничения и отдельно или в комбинации, Java™, C, C++, C#, Python, Visual Basic, Java Script, Perl, HTML и т.д. В общем, процессор (например, микропроцессор) принимает инструкции, например, из памяти, машиночитаемого носителя и т.д. и исполняет эти инструкции, тем самым выполняя один или более процессов, включающих в себя один или более процессов, описанных в данном документе. Такие инструкции и другие данные могут храниться и передаваться с использованием множества компьютерно-читаемых носителей. Файл в вычислительном устройстве, в целом, является совокупностью данных, сохраненных на считываемом компьютером носителе, таком как носитель хранения, оперативное запоминающее устройство и т.д.
[00045] Компьютерно-читаемый носитель включает в себя любой носитель, который участвует в предоставлении данных (например, инструкций), который может быть считан посредством компьютера. Такой носитель может принимать множество форм, включающих в себя, но без ограничения, энергонезависимые носители, энергозависимые носители и т.д. Энергонезависимые носители включают в себя, например, оптические или магнитные диски и другое постоянное запоминающее устройство. Энергозависимые носители включают в себя, например, динамическое оперативное запоминающее устройство (DRAM), которое типично составляет основную память. Обычные формы компьютерно-читаемых носителей включают в себя, например, гибкий диск, дискету, жесткий диск, магнитную ленту, любой другой магнитный носитель, CD-ROM, DVD, любой другой оптический носитель, перфорационную карту, бумажную ленту, любой другой физический носитель с рисунками отверстий, RAM, PROM, EPROM, FLASH-EEPROM, любую другую микросхему памяти или картридж, или любой другой носитель, с которого компьютер может выполнять считывание.
[00046] На чертежах, идентичные ссылки с номерами указывают идентичные элементы. Дополнительно, некоторые или все из этих элементов могут быть изменены. Что касается носителей, процессов, систем, способов и т.д., описанных в данном документе, должно быть понятно, что, хотя этапы таких процессов и т.д. были описаны как происходящие согласно некоторой упорядоченной последовательности, такие процессы могут быть применены на практике с помощью описанных этапов, выполняемых в порядке, отличном от порядка, описанного в данном документе. Дополнительно должно быть понятно, что некоторые этапы могут выполняться одновременно, что другие этапы могут быть добавлены, или что некоторые этапы, описанные в данном документе, могут быть опущены. Другими словами, описания процессов в данном документе предоставляются в целях иллюстрации некоторых вариантов осуществления и никоим образом не должны истолковываться как ограничивающие заявленное изобретение.
[00047] Соответственно, должно быть понятно, что вышеприведенное описание предназначено быть иллюстративным, а не ограничивающим. Многие варианты осуществления и применения, отличные от предоставленных примеров, будут понятны специалистам в области техники по прочтении вышеприведенного описания. Объем изобретения должен быть определен, не со ссылкой на вышеприведенное описание, но должен вместо этого быть определен со ссылкой на прилагаемую формулу изобретения, вместе с полным объемом эквивалентов, к которым такие пункты формулы приписаны. Ожидается и предполагается, что будущие разработки произойдут в уровне техники, обсужденном в данном документе, и что раскрытые системы и способы будут включены в такие будущие варианты осуществления. Резюмируя, должно быть понятно, что изобретение способно к модификации и вариативности и ограничено только последующей формулой изобретения.
[00048] Все термины, используемые в формуле изобретения, предполагают получение их самых широких разумных принципов толкования и их обычных значений, которые понятны специалистам в области техники, пока явное указание на противоположное не будет сделано в данном документе. В частности, использование сингулярных артиклей, таких как "a", "the", "упомянутый" и т.д., должно читаться, чтобы перечислять один или более указанных элементов, пока формула изобретения не перечислит явное ограничение до противоположного.

Claims (43)

1. Система для определения направления взгляда оператора транспортного средства, содержащая:
один или более датчиков, включенных в устройство, носимое оператором транспортного средства, чтобы измерять движение глазных мышц; и
компьютер, который включает в себя процессор и память, причем память хранит инструкции, исполняемые компьютером, так что компьютер программируется, чтобы:
принимать данные, указывающие движение глазных мышц, от носимого датчика;
определять, используя упомянутое измерение, направление взгляда оператора;
использовать направление взгляда, чтобы определять уровень внимательности оператора;
активировать операцию транспортного средства, если уровень внимательности оператора, основанный на направлении взгляда, ниже предварительно определенного порогового значения;
определять опасность на проезжей части на пути транспортного средства из данных датчиков транспортного средства;
определять недостаток внимания к опасности на проезжей части на основе определения, что направление взгляда изменилось от направления опасности на проезжей части; и
предупреждать оператора при определении недостатка внимания к опасности на проезжей части.
2. Система по п. 1, в которой компьютер дополнительно программируется, чтобы извлекать из памяти параметр, касающийся направления взгляда, и использовать упомянутый параметр в определении уровня внимательности оператора.
3. Система по п. 1, в которой операция транспортного средства включает в себя по меньшей мере одно из активации дроссельной заслонки, активации механизма рулевого управления и активации тормозов.
4. Система по п. 1, в которой компьютер дополнительно программируется, чтобы предоставлять направление взгляда по меньшей мере одному из человекомашинного интерфейса компьютера в транспортном средстве и мобильного пользовательского устройства.
5. Система по п. 1, в которой компьютер дополнительно программируется, чтобы предоставлять направление взгляда удаленному серверу.
6. Система по п. 1, в которой компьютер дополнительно программируется, чтобы определять утомление оператора на основе направления взгляда и определять точку маршрута для транспортного средства, когда утомление оператора указывает на вялость.
7. Система по п. 1, в которой движение глазных мышц является сокращением по меньшей мере одной мышцы в каждом глазе, в то время как другие мышцы в каждом глазе расслаблены.
8. Система по п. 7, в которой инструкции дополнительно включают в себя инструкции для определения направления взгляда на основе одной или более мышц в каждом глазе, которые сокращаются.
9. Способ для определения направления взгляда оператора транспортного средства, содержащий этапы, на которых:
принимают данные от одного или более датчиков, включенных в устройство, носимое оператором транспортного средства, чтобы измерять движение глазных мышц; и
определяют, используя упомянутое измерение, направление взгляда оператора;
используют упомянутое направление взгляда, чтобы определять уровень внимательности оператора; и
активируют операцию транспортного средства, если уровень внимательности оператора, основанный на направлении взгляда, ниже предварительно определенного порогового значения;
определяют опасность на проезжей части на пути транспортного средства из данных датчиков транспортного средства;
определяют недостаток внимания к опасности на проезжей части на основе определения, что направление взгляда изменилось от направления опасности на проезжей части; и
предупреждают оператора при определении недостатка внимания к опасности на проезжей части.
10. Способ по п. 9, дополнительно содержащий этапы, на которых извлекают из памяти параметр, касающийся направления взгляда, и используют параметр в определении уровня внимательности оператора.
11. Способ по п. 9, в котором операция транспортного средства включает в себя по меньшей мере одно из активации дроссельной заслонки, активации механизма рулевого управления и активации тормозов.
12. Способ по п. 9, дополнительно содержащий этап, на котором предоставляют направление взгляда по меньшей мере одному из человекомашинного интерфейса компьютера в транспортном средстве и мобильного пользовательского устройства.
13. Способ по п. 9, дополнительно содержащий этап, на котором предоставляют направление взгляда удаленному серверу.
14. Способ по п. 9, дополнительно содержащий этап, на котором определяют утомление оператора на основе направления взгляда и определяют точку маршрута для транспортного средства, когда утомление оператора указывает на вялость.
15. Способ по п. 9, в котором движение глазных мышц является сокращением по меньшей мере одной мышцы в каждом глазе, в то время как другие мышцы в каждом глазе расслаблены.
16. Способ по п. 15, дополнительно содержащий этап, на котором определяют направление взгляда на основе одной или более мышц в каждом глазе, которые сокращаются.
17. Система для определения направления взгляда оператора транспортного средства, содержащая процессор и память, причем память хранит инструкции, исполняемые процессором, чтобы:
принимать данные от одного или более датчиков, включенных в устройство, носимое оператором транспортного средства, чтобы измерять движение глазных мышц; и
определять, используя упомянутое измерение, направление взгляда оператора;
использовать направление взгляда, чтобы определять уровень внимательности оператора;
активировать операцию транспортного средства, если уровень внимательности оператора, основанный на направлении взгляда, ниже предварительно определенного порогового значения;
определять опасность на проезжей части на пути транспортного средства из данных датчиков транспортного средства;
определять недостаток внимания к опасности на проезжей части на основе определения, что направление взгляда изменилось от направления опасности на проезжей части; и
предупреждать оператора при определении недостатка внимания к опасности на проезжей части.
18. Система по п. 17, в которой процессор дополнительно программируется, чтобы извлекать из памяти параметр, касающийся направления взгляда, и использовать упомянутый параметр в определении уровня внимательности оператора.
19. Система по п. 17, в которой процессор дополнительно программируется, чтобы определять утомление оператора на основе направления взгляда и определять точку маршрута для транспортного средства, когда утомление оператора указывает на вялость.
20. Система по п. 17, в которой движение глазных мышц является сокращением по меньшей мере одной мышцы в каждом глазе, в то время как другие мышцы в каждом глазе расслаблены.
RU2018109733A 2015-09-21 2015-09-21 Носимое устройство обнаружения взгляда глаз в транспортном средстве RU2725557C2 (ru)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/US2015/051168 WO2017052493A1 (en) 2015-09-21 2015-09-21 Wearable in-vehicle eye gaze detection

Publications (3)

Publication Number Publication Date
RU2018109733A RU2018109733A (ru) 2019-10-23
RU2018109733A3 RU2018109733A3 (ru) 2019-10-23
RU2725557C2 true RU2725557C2 (ru) 2020-07-02

Family

ID=58386913

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2018109733A RU2725557C2 (ru) 2015-09-21 2015-09-21 Носимое устройство обнаружения взгляда глаз в транспортном средстве

Country Status (7)

Country Link
US (1) US10618521B2 (ru)
CN (1) CN108024710A (ru)
DE (1) DE112015006809T5 (ru)
GB (1) GB2557538B (ru)
MX (1) MX2018002668A (ru)
RU (1) RU2725557C2 (ru)
WO (1) WO2017052493A1 (ru)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2542560B (en) * 2015-09-21 2019-02-20 Jaguar Land Rover Ltd Vehicle interface apparatus and method
WO2019112501A1 (en) * 2017-12-08 2019-06-13 Telefonaktiebolaget Lm Ericsson (Publ) Determining an undesired action of a vehicle
EP3576074A1 (en) * 2018-06-01 2019-12-04 Volvo Car Corporation Method and system for assisting drivers to drive with precaution
DE102018209440A1 (de) * 2018-06-13 2019-12-19 Bayerische Motoren Werke Aktiengesellschaft Verfahren zur Beeinflussung von Systemen zur Aufmerksamkeitsüberwachung
CN109326085B (zh) * 2018-11-08 2020-07-31 上海掌门科技有限公司 一种用于在车辆设备上进行疲劳驾驶检测的方法与设备
KR102645050B1 (ko) * 2018-12-12 2024-03-11 현대자동차주식회사 차량의 주행 제어 장치 및 방법, 그리고 차량 시스템
US10827968B2 (en) * 2019-04-02 2020-11-10 International Business Machines Corporation Event detection and notification system
DE102019213931B4 (de) * 2019-09-12 2021-10-28 Zf Friedrichshafen Ag Verfahren und Computerprogrammprodukt zur Identifizierung eines Fahrzeugnutzers und Steuergerät für automatisierte Fahrfunktionen
KR20220000536A (ko) * 2020-06-26 2022-01-04 현대자동차주식회사 차량 주행 제어 장치 및 방법

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001060254A1 (en) * 2000-02-15 2001-08-23 Active Attention Ab Method and means for monitoring driver alertness
US20010028309A1 (en) * 1996-08-19 2001-10-11 Torch William C. System and method for monitoring eye movement
US20120212353A1 (en) * 2011-02-18 2012-08-23 Honda Motor Co., Ltd. System and Method for Responding to Driver Behavior
US20140152792A1 (en) * 2011-05-16 2014-06-05 Wesley W. O. Krueger Physiological biosensor system and method for controlling a vehicle or powered equipment
EP2752348A1 (en) * 2013-01-04 2014-07-09 Continental Automotive Systems, Inc. Adaptive emergency brake and steer assist system based on driver focus
RU2013151451A (ru) * 2011-04-20 2015-05-27 Сканиа Св Аб Транспортное средство с системой обеспечения безопасности, включающей в себя прогнозирование усталости водителя

Family Cites Families (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5496355A (en) 1994-11-21 1996-03-05 Lipsky; Stephen N. Extraocular muscle sensor and stimulator
US5726916A (en) * 1996-06-27 1998-03-10 The United States Of America As Represented By The Secretary Of The Army Method and apparatus for determining ocular gaze point of regard and fixation duration
DE19743024A1 (de) * 1997-09-29 1999-04-08 Daimler Chrysler Ag Kraftfahrzeug mit autonomer Fahrzeugführung und elektronischen Kommunikationsmitteln
US7204250B1 (en) 1999-12-16 2007-04-17 Compumedics Limited Bio-mask
US6989754B2 (en) * 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
US11428937B2 (en) * 2005-10-07 2022-08-30 Percept Technologies Enhanced optical and perceptual digital eyewear
EP1961622B1 (en) * 2005-12-12 2018-06-13 Panasonic Intellectual Property Corporation of America Safety-travel assistance device
WO2007128034A1 (en) * 2006-05-01 2007-11-15 Eye Diagnostics Pty Ltd Portable eye monitoring device and methods for using the same
US8066545B2 (en) * 2009-10-07 2011-11-29 Mattel, Inc. Toy vehicle track play set
US9650041B2 (en) * 2009-12-18 2017-05-16 Honda Motor Co., Ltd. Predictive human-machine interface using eye gaze technology, blind spot indicators and driver experience
US8384534B2 (en) * 2010-01-14 2013-02-26 Toyota Motor Engineering & Manufacturing North America, Inc. Combining driver and environment sensing for vehicular safety systems
US8690750B2 (en) * 2010-05-14 2014-04-08 Wesley W. O. Krueger System and method for measuring and minimizing the effects of vertigo, motion sickness, motion intolerance, and/or spatial disorientation
JP5866728B2 (ja) * 2011-10-14 2016-02-17 サイバーアイ・エンタテインメント株式会社 画像認識システムを備えた知識情報処理サーバシステム
SG11201502578WA (en) 2012-10-02 2015-04-29 Deptracker Aps A monitoring device for analysing a sleep condition
US10025379B2 (en) * 2012-12-06 2018-07-17 Google Llc Eye tracking wearable devices and methods for use
JP2014120799A (ja) * 2012-12-13 2014-06-30 Panasonic Corp ロケータシステム、携帯情報端末及びロケータ
US8981942B2 (en) * 2012-12-17 2015-03-17 State Farm Mutual Automobile Insurance Company System and method to monitor and reduce vehicle operator impairment
US20150025917A1 (en) * 2013-07-15 2015-01-22 Advanced Insurance Products & Services, Inc. System and method for determining an underwriting risk, risk score, or price of insurance using cognitive information
WO2015094191A1 (en) * 2013-12-17 2015-06-25 Intel Corporation Controlling vision correction using eye tracking and depth detection
US9459451B2 (en) * 2013-12-26 2016-10-04 Microsoft Technology Licensing, Llc Eye tracking apparatus, method and system
US9794475B1 (en) * 2014-01-29 2017-10-17 Google Inc. Augmented video capture
US10043281B2 (en) * 2015-06-14 2018-08-07 Sony Interactive Entertainment Inc. Apparatus and method for estimating eye gaze location
US20170103440A1 (en) * 2015-08-01 2017-04-13 Zhou Tian Xing Wearable augmented reality eyeglass communication device including mobile phone and mobile computing via virtual touch screen gesture control and neuron command

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20010028309A1 (en) * 1996-08-19 2001-10-11 Torch William C. System and method for monitoring eye movement
WO2001060254A1 (en) * 2000-02-15 2001-08-23 Active Attention Ab Method and means for monitoring driver alertness
US20120212353A1 (en) * 2011-02-18 2012-08-23 Honda Motor Co., Ltd. System and Method for Responding to Driver Behavior
RU2013151451A (ru) * 2011-04-20 2015-05-27 Сканиа Св Аб Транспортное средство с системой обеспечения безопасности, включающей в себя прогнозирование усталости водителя
US20140152792A1 (en) * 2011-05-16 2014-06-05 Wesley W. O. Krueger Physiological biosensor system and method for controlling a vehicle or powered equipment
EP2752348A1 (en) * 2013-01-04 2014-07-09 Continental Automotive Systems, Inc. Adaptive emergency brake and steer assist system based on driver focus

Also Published As

Publication number Publication date
GB2557538A (en) 2018-06-20
US10618521B2 (en) 2020-04-14
WO2017052493A1 (en) 2017-03-30
CN108024710A (zh) 2018-05-11
GB201805641D0 (en) 2018-05-23
GB2557538B (en) 2021-09-29
RU2018109733A (ru) 2019-10-23
US20180244279A1 (en) 2018-08-30
RU2018109733A3 (ru) 2019-10-23
DE112015006809T5 (de) 2018-06-07
MX2018002668A (es) 2018-06-13

Similar Documents

Publication Publication Date Title
RU2725557C2 (ru) Носимое устройство обнаружения взгляда глаз в транспортном средстве
US11182629B2 (en) Machine learning based driver assistance
EP3735365B1 (en) Primary preview region and gaze based driver distraction detection
CN102712317B (zh) 使驾驶员与环境感测结合的车辆安全性系统
EP2893867B1 (en) Detecting visual inattention based on eye convergence
EP2892036B1 (en) Alert generation correlating between head mounted imaging data and external device
US11191468B2 (en) Vehicular notification apparatus
US10655978B2 (en) Controlling an autonomous vehicle based on passenger behavior
JP2016110449A (ja) 運転支援システムおよび運転支援方法
US10243867B2 (en) Vehicle security system
US11645511B2 (en) Systems and methods for simulating instantaneous attentive human responses to road hazards for improved early warning systems and fleet data harvesting
US9529889B2 (en) Information terminal with application prioritization
KR20210151802A (ko) 정보 처리 장치, 이동 장치 및 방법, 그리고 프로그램
JP2016028318A (ja) 乗り物の自動緊急応答システムのためのコンピュータ記憶媒体及び方法
JP6762157B2 (ja) 乗員の視線方向を予測する方法および装置
US20150158494A1 (en) Method and apparatus for determining carelessness of driver
JP2015207163A (ja) 状態推定装置、および状態推定プログラム
CN109716411A (zh) 用以监测驾驶员的活动水平的方法和设备
JP2018183532A (ja) 状態推定装置
IL271855A (en) Continuous stimulation based on cognitive state
JP2014153875A (ja) 運転支援装置
JP6320942B2 (ja) 重み行列学習装置、視線方向予測システム、警告システムおよび重み行列学習方法
Kochhar et al. WEARABLE IN-_VEHICLE EYE GAZE DETECTION
Islam et al. A novel approach to enhance safety on drowsy driving in self-driving car
JP2017062565A (ja) サポート装置及びサポート方法