RU2514924C2 - Прогнозирующий человеко-машинный интерфейс с использованием технологии обнаружения взгляда, индикаторов "мертвых" зон и водительского опыта - Google Patents

Прогнозирующий человеко-машинный интерфейс с использованием технологии обнаружения взгляда, индикаторов "мертвых" зон и водительского опыта Download PDF

Info

Publication number
RU2514924C2
RU2514924C2 RU2012130445/08A RU2012130445A RU2514924C2 RU 2514924 C2 RU2514924 C2 RU 2514924C2 RU 2012130445/08 A RU2012130445/08 A RU 2012130445/08A RU 2012130445 A RU2012130445 A RU 2012130445A RU 2514924 C2 RU2514924 C2 RU 2514924C2
Authority
RU
Russia
Prior art keywords
vehicle
driver
alert
experience
knowledge
Prior art date
Application number
RU2012130445/08A
Other languages
English (en)
Other versions
RU2012130445A (ru
Inventor
Стивен ФЕЙТ
Ник ШОЙФЛЕР
Дейв ЧОИ
Мишелль КОСТЕРЛИХ
Росс МИЛЛЕР
Коди ГРЕБЕ
Джейсон ЛИН
Original Assignee
Хонда Мотор Ко., Лтд.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Хонда Мотор Ко., Лтд. filed Critical Хонда Мотор Ко., Лтд.
Publication of RU2012130445A publication Critical patent/RU2012130445A/ru
Application granted granted Critical
Publication of RU2514924C2 publication Critical patent/RU2514924C2/ru

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/095—Predicting travel path or likelihood of collision
    • B60W30/0956—Predicting travel path or likelihood of collision the prediction being responsive to traffic or environmental parameters
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/18—Conjoint control of vehicle sub-units of different type or different function including control of braking systems
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W10/00—Conjoint control of vehicle sub-units of different type or different function
    • B60W10/30—Conjoint control of vehicle sub-units of different type or different function including control of auxiliary equipment, e.g. air-conditioning compressors or oil pumps
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W30/00—Purposes of road vehicle drive control systems not related to the control of a particular sub-unit, e.g. of systems using conjoint control of vehicle sub-units, or advanced driver assistance systems for ensuring comfort, stability and safety or drive control systems for propelling or retarding the vehicle
    • B60W30/08—Active safety systems predicting or avoiding probable or impending collision or attempting to minimise its consequences
    • B60W30/09—Taking automatic action to avoid collision, e.g. braking and steering
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/02—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to ambient conditions
    • B60W40/04—Traffic conditions
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W40/00—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models
    • B60W40/08—Estimation or calculation of non-directly measurable driving parameters for road vehicle drive control systems not related to the control of a particular sub unit, e.g. by using mathematical models related to drivers or passengers
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S13/00—Systems using the reflection or reradiation of radio waves, e.g. radar systems; Analogous systems using reflection or reradiation of waves whose nature or wavelength is irrelevant or unspecified
    • G01S13/88—Radar or analogous systems specially adapted for specific applications
    • G01S13/93—Radar or analogous systems specially adapted for specific applications for anti-collision purposes
    • G01S13/931—Radar or analogous systems specially adapted for specific applications for anti-collision purposes of land vehicles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013—Eye tracking input arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/59—Context or environment of the image inside of a vehicle, e.g. relating to seat occupancy, driver state or inner lighting conditions
    • G06V20/597—Recognising the driver's state or behaviour, e.g. attention or drowsiness
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W50/00—Details of control systems for road vehicle drive control not related to the control of a particular sub-unit, e.g. process diagnostic or vehicle driver interfaces
    • B60W50/08—Interaction between the driver and the control system
    • B60W50/14—Means for informing the driver, warning the driver or prompting a driver intervention
    • B60W2050/143—Alarm means
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/225—Direction of gaze
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2540/00—Input parameters relating to occupants
    • B60W2540/30—Driving style
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60W—CONJOINT CONTROL OF VEHICLE SUB-UNITS OF DIFFERENT TYPE OR DIFFERENT FUNCTION; CONTROL SYSTEMS SPECIALLY ADAPTED FOR HYBRID VEHICLES; ROAD VEHICLE DRIVE CONTROL SYSTEMS FOR PURPOSES NOT RELATED TO THE CONTROL OF A PARTICULAR SUB-UNIT
    • B60W2554/00—Input parameters relating to objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/18—Eye characteristics, e.g. of the iris
    • G06V40/193—Preprocessing; Feature extraction

Abstract

Группа изобретений относится к автомобильным человеко-машинным интерфейсам. Технический результат заключается в повышении безопасности транспортного средства. Способ и используемая система включают детектор взгляда для приема вектора взгляда от водителя, датчик близости для определения местоположений ближайших объектов и их скоростей. При этом риск аварии транспортного средства определяется на основе местоположения и скорости ближайшего объекта. Знание водителем обстановки транспортного средства определяется на основе местоположения и скорости ближайшего объекта, а также местоположения взгляда. В ответ на знание водителем и риск аварии транспортного средства активируется оповещение в транспортном средстве. 2 н. и 16 з.п. ф-лы, 26 ил.

Description

Родственные заявки
Данная заявка притязает на приоритет предварительной заявки на патент (США) № 61/288200, поданной 18 декабря 2009 года, содержимое которой полностью содержится в данном документе по ссылке.
Область техники, к которой относится изобретение
Примерные варианты осуществления относятся к области техники автомобильных человеко-машинных интерфейсов, а более конкретно, к прогнозирующему человеко-машинному интерфейсу с использованием технологии обнаружения взгляда, индикаторов "мертвых" зон и информации водительского опыта.
Уровень техники
Автомобильная безопасность остается поводом для общего беспокойства автопроизводителей и потребителей. Хотя современные автомобили содержат множество усовершенствований, выполненных с возможностью повышать безопасность пассажира, действия водителя зачастую являются окончательным фактором того, приводит или нет автомобильная авария к повреждениям у пассажиров. Чтобы разрешать эту проблему, изготовители с недавних пор включают системы предотвращения аварий в конструкции автомобилей в попытке уменьшать ошибки водителя и предотвращать возникновение аварий, вместо концентрации на послеаварийных мерах безопасности. Системы предотвращения аварий ранжируются по функциональности от простого предупреждения водителей о неизбежной аварии до принятия управления транспортным средством, чтобы активно предотвращать или смягчать аварию.
Системы предотвращения аварий, тем не менее, имеют внутренне присущие проблемы, которые не допускают их широкое применение. Системы предотвращения аварий по своей природе создают помехи для управления водителем автомобиля. Также интерпретация водителем обстановки, окружающей транспортное средство, заменяется или изменяется посредством собственной интерпретации автомобилем идентичных событий. Существующие системы предотвращения аварий, тем не менее, имеют доступ к гораздо меньшему объему информации, чем компетентный водитель. Как результат, существующие системы предотвращения аварий зачастую предоставляют предупреждения об авариях, о которых водитель знает, что они не произойдут.
Еще чаще нехватка информации об обстановке касательно автомобиля приводит к тому, что система предотвращения аварий предоставляет предупреждение об опасной ситуации при вождении, о которой водитель уже знает. Существующие системы предотвращения аварий не имеют способа получения сведений о том, что водитель знает об обстановке касательно автомобиля. Во многих случаях нет необходимости предупреждать водителя о возможно опасной ситуации при вождении, которая, как уже выяснено, может возникнуть. Как результат, существующие системы предотвращения аварий предоставляют больше предупреждений, чем требуется, и тем самым раздражают водителей. Как результат, многие владельцы автомобилей с такими системами могут игнорировать или полностью деактивировать системы предотвращения аварий, тем самым сводя к нулю их эффективность.
Сущность изобретения
Один вариант осуществления настоящего изобретения содержит прогнозирующий человеко-машинный интерфейс для предотвращения аварий. Этот человеко-машинный интерфейс содержит систему предотвращения аварий и систему обнаружения взгляда. Совместно система предотвращения аварий и система обнаружения взгляда предоставляют возможность комплексных определений надлежащих реакций на опасные ситуации при вождении. Система обнаружения взгляда предоставляет информацию вектора взгляда, указывающую определение местоположения взгляда водителя, в систему предотвращения аварий. Из информации вектора взгляда система предотвращения аварий может определять знание водителем текущей обстановки при вождении. Система предотвращения аварий затем может предоставлять надлежащую реакцию (например, в форме оповещения или предупреждения) на потенциальную аварию транспортного средства на основе обстановки автомобиля и ранее определенного знания водителем обстановки транспортного средства.
Если риски, возникающие вследствие текущей обстановки транспортного средства автомобиля, являются низкими и определяется, что водитель имеет сведения по этим рискам, то система предотвращения аварий может фактически ничего не предпринимать. По мере того как риск аварии возрастает, система предотвращения аварий может предоставлять оповещение, которое варьируется по типу в зависимости от риска. Тип оповещения также зависит от осведомленности водителя об обстановке транспортного средства. В случаях, если определяется, что водитель не имеет знания относительно обстановки автомобиля, и существует высокий риск аварии, выбранный тип оповещения имеет аудио- и/или видеокомпонент, настроенный так, что он сообщает пользователю риска аварии транспортного средства, чтобы предотвращать аварию. Дополнительно, в некоторых вариантах осуществления система предотвращения аварий также может принимать на себя активное управление автомобилем, чтобы предотвращать аварию, в частности, в приведенном непосредственно выше случае, когда риск аварии является наивысшим, и определяется то, что водитель не осознает риск.
В конкретных вариантах осуществления изобретения система предотвращения аварий содержит датчики окружения автомобиля, выполненные с возможностью обнаруживать конкретные ближайшие объекты (например, транспортные средства), чтобы обнаруживать опасные ситуации при вождении. В некоторых вариантах осуществления датчики окружения автомобиля содержат датчики близости, чтобы определять то, есть или нет другой автомобиль непосредственно впереди автомобиля. Система предотвращения аварий в таком случае предупреждает или принимает меры в автомобиле против наезда сзади на находящийся впереди автомобиль. В других вариантах осуществления датчики близости используются для того, чтобы предупреждать или регулировать направление движения автомобиля, чтобы удерживать автомобиль на текущей полосе движения. В других вариантах осуществления датчики близости обнаруживают автомобили в ближайших полосах движения и указывают то, безопасно или нет для автомобиля поворачивать или менять полосу движения.
В других вариантах осуществления система предотвращения аварий дополняется блоком водительского опыта. Блок водительского опыта выполнен с возможностью собирать информацию водительского опыта и использовать эту информацию для того, чтобы определять уровень водительского опыта водителя. Уровень водительского опыта водителя используется для того, чтобы регулировать поведение системы предотвращения аварий. Если определено, что водитель имеет высокий уровень водительского опыта, то система предотвращения аварий будет отображать меньше оповещений и играть менее активную роль в коррекции вождения. Соответственно, если определено, что водитель имеет низкий уровень водительского опыта, то система предотвращения аварий будет отображать больше оповещений и играть более активную роль в коррекции вождения.
Преимущество одного варианта осуществления настоящего изобретения состоит в том, что он включает знание водителем текущей обстановки транспортного средства при определении того, какой тип реакции для предотвращения аварий предоставлять. Это приводит к лучше настроенным оповещениям, которые являются более эффективными при уменьшении частоты и серьезности автомобильных аварий. Дополнительно, лучше настроенные оповещения с большой вероятностью позволяют водителям считать оповещения полезными, а не раздражающими. Следовательно, водители должны в меньшей степени склоняться к тому, чтобы деактивировать системы предотвращения аварий, повышая степень их применения.
Признаки и преимущества, описанные в подробном описании, не являются инклюзивными, и, в частности, множество дополнительных признаков и преимуществ должно быть очевидным для специалистов в данной области техники с учетом чертежей и подробного описания. Более того, следует отметить, что язык, использованный в спецификации, был принципиально выбран с целью удобочитаемости и в учебных целях, и он не предназначен для того, чтобы задавать пределы или ограничивать предмет изучения изобретения.
Краткое описание чертежей
Фиг. 1-3 описывают один вариант осуществления системы обнаружения взгляда, которая предоставляет определение того, куда смотрит водитель, в систему предотвращения аварий.
Фиг. 4 иллюстрирует системную конфигурацию системы торможения для предотвращения столкновений (CMBS) в соответствии с одним вариантом осуществления.
Фиг. 5 иллюстрирует пример работы системы торможения для предотвращения столкновений в соответствии с одним вариантом осуществления.
Фиг. 6 является блок-схемой последовательности операций существующих систем торможения для предотвращения столкновений, в которых технология обнаружения взгляда не используется.
Фиг. 7 является блок-схемой последовательности операций системы торможения для предотвращения столкновений, работающей в сочетании с системой обнаружения взгляда в соответствии с одним вариантом осуществления.
Фиг. 8 иллюстрирует компоновку транспортного средства и схему для прогнозирующего HMI с использованием системы помощи при удержании полосы движения (LKAS) в соответствии с одним вариантом осуществления.
Фиг. 9 является блок-схемой последовательности операций существующих систем помощи при удержании полосы движения, в которых технология обнаружения взгляда не используется.
Фиг. 10 является блок-схемой последовательности операций системы помощи при удержании полосы движения, работающей в сочетании с системой обнаружения взгляда в соответствии с одним вариантом осуществления.
Фиг. 11 иллюстрирует компоновку транспортного средства и схему для прогнозирующего HMI с использованием системы индикации "мертвых" зон (BSI) в соответствии с одним вариантом осуществления.
Фиг. 12 иллюстрирует пример работы существующих систем индикации "мертвых" зон в соответствии с одним вариантом осуществления.
Фиг. 13-14 являются блок-схемами последовательности операций существующих систем индикации "мертвых" зон.
Фиг. 15-20 являются блок-схемами последовательности операций системы индикации "мертвых" зон, работающей в сочетании с системой обнаружения взгляда в соответствии с одним вариантом осуществления.
Фиг. 21 обобщает различные типы оповещений, которые могут быть использованы в системе индикации "мертвых" зон, работающей в сочетании с системой обнаружения взгляда в соответствии с одним вариантом осуществления.
Фиг. 22 иллюстрирует систему считывателя отпечатков пальцев, включенную в кнопку пуска/остановки двигателя в соответствии с одним вариантом осуществления.
Фиг. 23 является блок-схемой последовательности операций системы определения водительского опыта, определяющей уровень водительского опыта с использованием информации вектора взгляда в соответствии с одним вариантом осуществления.
Фиг. 24 иллюстрирует пример дополнительных факторов, которые могут быть рассмотрены при определении уровня водительского опыта в соответствии с одним вариантом осуществления.
Фиг. 25 является блок-схемой последовательности операций для примера использования уровня опыта водителя, чтобы определять то, отображается или нет полезная информация водителю, в соответствии с одним вариантом осуществления.
Фиг. 26 является блок-схемой последовательности операций для примера использования уровня опыта водителя, чтобы определять то, отображается или нет некоторая информация водителю, в соответствии с одним вариантом осуществления.
Чертежи показывают варианты осуществления только в целях иллюстрации. Специалисты в данной области техники должны легко распознавать из последующего описания то, что альтернативные варианты осуществления структур и способов, проиллюстрированных в данном документе, могут использоваться без отступления от принципов, описанных в данном документе.
Подробное описание изобретения
Признаком одного варианта осуществления является прогнозирующий человеко-машинный интерфейс (HMI) для предотвращения аварий. Этот человеко-машинный интерфейс содержит систему предотвращения аварий и систему обнаружения взгляда. Совместно система предотвращения аварий и система обнаружения взгляда предоставляют возможность комплексных определений надлежащих реакций на опасные ситуации при вождении.
Система обнаружения взгляда
Фиг. 1-3 описывают один вариант осуществления системы обнаружения взгляда, которая предоставляет определение того, куда смотрит водитель, в систему предотвращения аварий. Фиг. 1 иллюстрирует систему обнаружения взгляда в соответствии с одним вариантом осуществления. Система обнаружения взгляда содержит вычислительный блок 110 слежения за глазами (или электронный блок управления слежением за глазами (ECU)), инфракрасные (IR) средства 120 подсветки и камеру 120. Все эти элементы электрически соединяются между собой. ECU 110 слежения за глазами выполнен с возможностью управлять IR-средствами подсветки и камерой 120, чтобы захватывать данные взгляда. ECU 110 слежения за глазами дополнительно выполнен с возможностью выполнять вычисление по данным взгляда, принимаемым из камеры 120, чтобы определять вектор взгляда, указывающий местоположение взгляда водителя. Вектор взгляда может быть передан в другие части транспортного средства, а именно в систему предотвращения аварий, по CAN-шине 130 транспортного средства.
Патент (США) 7206435, который полностью включен в данный документ по ссылке, описывает систему и способ для обнаружения взгляда. Система обнаружения взгляда может быть сконструирована посредством ряда различных способов, и этот патент предоставляет один пример того, как эта система может быть сконструирована. В некоторых вариантах осуществления ECU 110 слежения за глазами дополнительно выполнен с возможностью коррелировать вектор взгляда с местоположениями внутри транспортного средства (например, что водитель смотрит на пассажира или в зеркало заднего вида). В одном варианте осуществления ECU 110 слежения за глазами конструируется с использованием процессора, имеющего устройство хранения и/или запоминающее устройство, допускающее сохранение компьютерных программных инструкций, которые при выполнении посредством процессора выполняют различные функции, описанные в данном документе. В некоторых вариантах осуществления ECU 110 слежения за глазами является частью электронного блока управления (ECU) транспортного средства. Фирменное техническое описание "Smart Eye Pro 5.0", которое полностью включено в данный документ по ссылке, также описывает устройство для обнаружения взгляда, которое может быть использовано в соответствии с другим вариантом осуществления изобретения.
IR-средства подсветки и камера 120 используются для того, чтобы создавать и принимать (соответственно) данные взгляда и предоставлять данные взгляда в ECU слежения за глазами. В примерном варианте осуществления по фиг. 1 эти IR-средства подсветки и камера 120 соединяются между собой, тем не менее в других вариантах осуществления они могут быть отдельными. В одном варианте осуществления камера 120 выполнена с возможностью работать в электромагнитном частотном IR-диапазоне. В некоторых вариантах осуществления используется несколько таких камер. ECU 110 слежения за глазами использует данные взгляда для того, чтобы определять вектор взгляда. В некотором варианте осуществления камера системы обнаружения взгляда может видеть через различные типы защитной оптики в различных условиях освещения, чтобы четко отслеживать положение глаз водителя. В некоторых вариантах осуществления другие типы систем используются для того, чтобы обнаруживать направление, которое использует водитель, и может быть использован, например, неинфракрасный свет.
Фиг. 2 иллюстрирует пример системы обнаружения взгляда при работе в транспортном средстве в соответствии с одним вариантом осуществления. В одном варианте осуществления IR-средства подсветки и камера(ы) 120 размещаются на приборной панели, рулевой колонке и/или рулевом колесе, хотя предусмотрено то, что другие положения также могут быть использованы. Фиг. 2 иллюстрирует линию визирования камеры и примерный вектор взгляда для конкретного варианта осуществления.
Фиг. 3 иллюстрирует пример того, как технология обнаружения взгляда функционирует в соответствии с одним вариантом осуществления. В одном варианте осуществления две концентрические окружности 310a и 310b используются для того, чтобы вычислять глазную центральную точку и начальную плоскость для вектора взгляда.
Система предотвращения аварий в сочетании с обнаружением взгляда
Система предотвращения аварий прогнозирующего человеко-машинного интерфейса использует информацию вектора взгляда из системы обнаружения взгляда, чтобы повышать комплексность своего процесса принятия решений. Информация вектора взгляда дает возможность системе предотвращения аварий настраивать свою реакцию в формах оповещений или активного управления автомобилем частично на основе определения того, имеет или нет водитель сведения по опасной обстановке при вождении. Система предотвращения аварий содержит различные виды датчиков близости (например, радар, расположенный в различных частях транспортных средств), которые обнаруживают окружающую обстановку транспортного средства и предоставляют базовую информацию, которая используется в сочетании с вектором взгляда водителя для того, чтобы определять то, следует или нет выдавать оповещения или активировать функции управления автомобилем. Транспортное средство, включающее в себя систему предотвращения аварий и систему обнаружения взгляда, упоминается ниже как "усовершенствованное транспортное средство".
Система предотвращения аварий может выдавать различные виды оповещений и активировать различные функции управления автомобилем в зависимости от типов опасной обстановки при вождении, на которые система предотвращения аварий сконфигурирована реагировать. Примеры опасной обстановки транспортного средства описаны ниже, чтобы иллюстрировать различные варианты осуществления и признаки системы предотвращения аварий. Каждый тип обстановки транспортного средства (или риск аварии транспортного средства) может использовать различные виды датчиков близости для того, чтобы предоставлять данные системы предотвращения аварий, которые она использует в качестве базиса для определения того, какой тип реакции следует предоставлять. Примеры опасной обстановки транспортного средства включают в себя аварии с лобовым столкновением, аварии при смене полосы движения и аварии при удержании полосы движения. Эти примеры, тем не менее, являются просто иллюстративными, и прогнозирующий HMI, описанный в данном документе, также может быть выполнен с возможностью реагировать на другую опасную обстановку без отступления от принципов, описанных в данном документе.
Система торможения для предотвращения столкновений
В одном варианте осуществления система предотвращения аварий содержит систему торможения для предотвращения столкновений (CMBS). Текущие CMBS выдают оповещение и в некоторых случаях тормозят транспортное средство в зависимости от расстояния между транспортным средством водителя и впереди идущим транспортным средством для транспортного средства водителя, а также разности скоростей между двумя транспортными средствами. В примерных вариантах осуществления CMBS использует информацию вектора взгляда, чтобы минимизировать оповещения, когда водитель уделяет внимание дороге, чтобы не допускать выдачу необязательных оповещений.
Фиг. 4 иллюстрирует системную конфигурацию системы торможения для предотвращения столкновений (CMBS) в соответствии с одним вариантом осуществления. CMBS включает в себя радарное устройство 420 и электронный преднатяжитель ремня безопасности (не показан). В одном варианте осуществления радарное устройство 420 является радаром диапазона миллиметровых волн. В варианте осуществления, проиллюстрированном на фиг. 4, радарное устройство 420 размещается спереди транспортного средства, хотя радар также может быть размещен в другом месте на транспортном средстве. Усовершенствованное транспортное средство дополнительно включает в себя вычислительное устройство 410 CMBS (или "ACC/CMBS ECU"), которое включает в себя процессор и устройство хранения и/или запоминающее устройство, допускающее сохранение компьютерных программных инструкций, которые при выполнении посредством процессора выполняют различные функции, описанные в данном документе. ACC/CMBS ECU 410 может быть включен в электронный блок управления (ECU) транспортного средства. Радарное устройство 420 электрически подключено к ACC/CMBS ECU 410 и передает внешнюю информацию положения и скорости транспортного средства в ACC/CMBS ECU.
Фиг. 5 иллюстрирует пример работы системы торможения для предотвращения столкновений в соответствии с одним вариантом осуществления. Как показано на фиг. 5, в одном варианте осуществления радар 420 обнаруживает транспортные средства впереди усовершенствованного транспортного средства и предоставляет информацию в ACC/CMBS ECU 410. ACC/CMBS ECU, в качестве части CMBS и систем предотвращения аварий, предоставляет аудио- и/или визуальное предупреждение водителю, если обнаруживается риск столкновения. Если два транспортных средства продолжают сближаться, CMBS может применять незначительное торможение к усовершенствованному транспортному средству и несильно повышает натяжение ремня безопасности с использованием электронного преднатяжителя ремня безопасности, чтобы предоставлять тактильное предупреждение водителю. Если транспортные средства сближаются даже в большей степени, например, в точке, в которой столкновение неизбежно или почти неизбежно, если действия не были предприняты водителем, то CMBS может активировать сильное торможение в усовершенствованном транспортном средстве и прочно сжимать ремень безопасности с использованием электронного преднатяжителя ремня безопасности, чтобы уменьшать повреждения, вызываемые посредством ударного воздействия.
Фиг. 6 является блок-схемой последовательности операций существующих систем торможения для предотвращения столкновений, в которых технология обнаружения взгляда не используется. Существующие системы обнаруживают то, находится или нет целевое транспортное средство впереди транспортного средства водителя 605, и определяют относительную скорость целевого транспортного средства 610 относительно транспортного средства водителя. Если целевое транспортное средство движется быстрее 615, то оповещение не выдается 625. Если целевое транспортное средство движется медленнее, но в пределах десяти миль в час (например) транспортного средства водителя 620, то оповещение не выдается 625. Если целевое транспортное средство движется более чем на десять миль в час медленнее, чем транспортное средство водителя 630, то существующие системы определяют расстояние до целевого транспортного средства 635 и формируют оповещение 645, если расстояние меньше порогового значения для выдачи оповещения 640. В противном случае 645 оповещения не предоставляются 625. Пороговое значение для выдачи оповещения может варьироваться в зависимости от скорости транспортного средства водителя или разности в скорости между двумя транспортными средствами.
Все оповещения, предоставляемые посредством системы, к примеру, системы, описанной на фиг. 6, являются независимыми от знания водителем обстановки. Здесь, обстановкой являются относительные положения и скорости автомобиля водителя и целевого транспортного средства впереди автомобиля водителя. Даже если водитель хорошо осведомлен о целевом транспортном средстве, то предупреждение будет предоставляться независимо от этого. Это может раздражать водителя, например, если водитель ускоряется, чтобы безопасно менять полосу движения. В этом примере водитель может иметь сведения о том, что он приближается (возможно, в опасной близости) к целевому транспортному средству, но с намерением более безопасной смены полосы движения. В этом примере необязательные предупреждения могут препятствовать возможностям водителя безопасно выполнять смену полосы движения. На основе опыта, к примеру, как указано выше, водитель в итоге игнорирует предупреждающие сообщения или полностью деактивирует предупреждающую систему, тем самым отрицая ее эффективность.
Фиг. 7 является блок-схемой последовательности операций системы торможения для предотвращения столкновений, работающей в сочетании с системой обнаружения взгляда в соответствии с одним вариантом осуществления. CMBS в усовершенствованном транспортном средстве обнаруживает то, находится или нет целевое транспортное средство впереди усовершенствованного транспортного средства 705, и определяет относительную скорость целевого транспортного средства 710 относительно усовершенствованного транспортного средства. Если целевое транспортное средство движется быстрее 715, то оповещение 725 не выдается. Если целевое транспортное средство движется медленнее 720, но в пределах десяти миль в час (например), усовершенствованного транспортного средства, то оповещение не выдается 725. Если целевое транспортное средство движется более чем на десять миль в час медленнее, чем усовершенствованное транспортное средство 730, то CMBS осуществляет связь с системой обнаружения взгляда, чтобы получать определение в отношении того, куда смотрит водитель 735. Если водитель не смотрит вперед на дорогу 740, то CMBS увеличивает значение порогового расстояния для выдачи оповещения (так, что оповещение предоставляется, когда целевое транспортное средство отдалено еще дальше). С другой стороны, если водитель смотрит на дорогу 745, то CMBS поддерживает неизмененным или снижает значение порогового расстояния для выдачи оповещения. Затем система CMBS ECU определяет расстояние до целевого транспортного средства 750 и формирует оповещение 765, если расстояние ниже порогового значения для выдачи оповещения 755. В противном случае 760 оповещение не предоставляется 725.
Посредством включения системы обнаружения взгляда в CMBS системы предотвращения аварий оповещения могут быть настроены согласно знанию водителем обстановки при вождении. Также рассмотрим вышеприведенный пример ускорения водителя для смены полосы движения. В этом случае, если водитель проверяет, насколько близко он находится к впереди идущему транспортному средству при ускорении, с тем чтобы менять полосу движения, оповещение не предоставляется. Посредством ограничения порогового значения, при котором оповещение выдается на основе осведомленности водителя, в целом предоставляется меньше оповещений, повышая эффективность каждого оповещения и стимулируя водителя считать систему предотвращения аварий ценным инструментом, а не раздражающим фактором.
Система помощи при удержании полосы движения
В одном варианте осуществления система предотвращения аварий содержит систему помощи при удержании полосы движения (LKAS). LKAS выдает звуковое и/или визуальное предупреждение, когда изображение камеры указывает, что транспортное средство водителя отклоняется от своей текущей транспортной полосы движения. В примерных вариантах осуществления LKAS использует информацию вектора взгляда, чтобы исключать предупреждения, когда водитель уделяет внимание дороге.
Фиг. 8 иллюстрирует компоновку транспортного средства и схему для прогнозирующего HMI с использованием системы помощи при удержании полосы движения (LKAS) в соответствии с одним вариантом осуществления. LKAS содержит LKAS ECU 810, содержащий процессор и устройство хранения и/или запоминающее устройство, допускающее сохранение компьютерных программных инструкций, которые при выполнении посредством процессора выполняют различные функции, описанные в данном документе. LKAS дополнительно содержит камеру 820, которая, в одном варианте осуществления, размещается в центре усовершенствованного транспортного средства около ветрового стекла. Предусмотрено то, что другие положения камеры и даже несколько камер могут быть использованы. LKAS подключается к шине 130 связи транспортного средства (CAN) и может быть частью ECU транспортного средства. В этом случае LKAS ECU 810 является частью ECU транспортного средства.
Фиг. 9 является блок-схемой последовательности операций существующих систем помощи при удержании полосы движения, в которых технология обнаружения взгляда не используется. В одном примерном варианте осуществления LKAS работает в случаях, когда транспортное средство водителя управляется на прямой дороге или на дороге с изгибом, имеющим радиус 230 метров или более, на скорости транспортного средства между 60 и 100 километров в час (км). Другие варианты осуществления могут работать в других рабочих режимах. Камера обнаруживает разделительные линии 910 полосы движения и определяет на основе расположения камеры относительно разделительных линий полосы движения то, находится или нет транспортное средство в пределах разделительных линий 920 полосы движения. Если транспортное средство находится за пределами разделительных линий 940 полосы движения, то оповещение выдается 960. В противном случае 930 оповещение не выдается 950.
Оповещения, предоставляемые посредством существующих систем, к примеру, системы, описанной на фиг. 9, являются независимыми от знания водителем обстановки. Здесь, обстановка включает в себя положение и ориентацию транспортного средства относительно расположения камеры и компоновки разделительных линий полосы движения. Даже если водитель намеренно медленно меняет полосу движения, то предупреждение предоставляется независимо от этого. В этом примере необязательные предупреждения могут раздражать водителя, приводя к тому, что он игнорирует предупреждения, предоставляемые посредством LKAS, или полностью деактивирует систему.
Фиг. 10 является блок-схемой последовательности операций системы помощи при удержании полосы движения, работающей в сочетании с системой обнаружения взгляда в соответствии с одним вариантом осуществления. В усовершенствованном транспортном средстве камера 820 обнаруживает разделительные линии 1005 полосы движения и определяет то, на основе расположения камеры относительно разделительных линий полосы движения, находится или нет транспортное средство в пределах разделительных линий 1010 полосы движения. Если транспортное средство находится за пределами разделительных линий полосы движения, система 1020 использует детектор взгляда, чтобы определять то, уделяет или нет водитель внимание дороге 1030. Если водитель смотрит вперед на дорогу 1040, то оповещение меньшей интенсивности выдается 1050. Если водитель не смотрит вперед на дорогу 1035, то оповещение 1045 большей интенсивности выдается. Если транспортное средство находится в пределах разделительных линий 1015 полосы движения, то оповещение не предоставляется 1025.
Интенсивность выдаваемого оповещения является относительной, и может предоставляться множество оповещений меньшей и большей интенсивности. Например, оповещение низкой интенсивности может быть только визуальным оповещением, тогда как оповещение высокой интенсивности содержит визуальное оповещение и аудиооповещение. В другом примере оповещением низкой интенсивности может быть вообще отсутствие оповещения, а оповещение высокой интенсивности содержит визуальное и/или аудиооповещение. В других примерах оповещения отличаются на основе громкости или местоположения аудиооповещения либо на основе визуального шаблона, яркости или местоположения визуального оповещения. Местоположение оповещения может быть использовано для того, чтобы привлекать внимание водителя к конкретному местоположению взгляда, например привлекать внимание к левой или правой стороне транспортного средства.
Посредством включения системы обнаружения взгляда в LKAS системы предотвращения аварий оповещения могут быть настроены согласно знанию водителем обстановки при вождении. Также рассмотрим вышеприведенный пример очень медленной смены полосы движения водителем. В этом случае, если водитель смотрит на дорогу, оповещение вообще не предоставляется, либо оповещение низкой интенсивности предоставляется. Посредством ограничения числа предоставляемых оповещений и/или интенсивности оповещения каждое оповещение становится более эффективным, стимулируя водителя считать систему предотвращения аварий ценным инструментом, а не раздражающим фактором.
Смена полосы движения и система индикации "мертвых" зон
В одном варианте осуществления система предотвращения аварий содержит систему индикации "мертвых" зон (BSI). BSI-система предоставляет визуальное или аудиопредупреждение, когда усовершенствованное транспортное средство почти перешло на полосу движения, которая уже занята посредством другого транспортного средства. В примерных вариантах осуществления BSI-система использует информацию вектора взгляда, чтобы ограничивать обстановки, в которых оповещение предоставляется водителю.
Фиг. 11 иллюстрирует компоновку транспортного средства и схему для прогнозирующего HMI с использованием системы индикации "мертвых" зон (BSI) в соответствии с одним вариантом осуществления. В одном варианте осуществления усовершенствованное транспортное средство включает в себя два радарных устройства, направленных влево 1120b и вправо 1120d позади транспортного средства, и два радарных устройства, направленных к положению непосредственно за транспортным средством водителя с левой 1120a и правой 1120c стороны. Радары 1120 подключаются к ECU 1110 индикации "мертвых" зон (BSI). BSI ECU 1110 может быть частью ECU транспортного средства, который подключается к другим датчикам транспортного средства и устройствам через шину 130 данных (CAN-шину транспортного средства). BSI ECU может включать в себя процессор, имеющий устройство хранения и/или запоминающее устройство, допускающее сохранение компьютерных программных инструкций, которые при выполнении посредством процессора выполняют различные функции, описанные в данном документе.
Фиг. 12 иллюстрирует пример работы существующих систем индикации "мертвых" зон в соответствии с одним вариантом осуществления. Фиг. 12 отображает две зоны 1240 оповещений, расположенные в "мертвой" зоне водителя (транспортное средство водителя упоминается как основное транспортное средство 1220). Фиг. 12 также иллюстрирует случаи, в которых оповещение 1210 инициируется и не инициируется посредством существующих BSI-систем. Эти случаи описываются более подробно на фиг. 13 и 14. Например, оповещения 1210 могут быть инициированы посредством вхождения других транспортных средств 1230 или стационарных объектов в зоны 1240 оповещений.
Фиг. 13-14 являются блок-схемами последовательности операций существующих систем индикации "мертвых" зон. В одной такой примерной BSI-системе, если другое "целевое" транспортное средство входит в зону 1305 оповещений, BSI ECU определяет направление, из которого цель приближается 1310. Если целевое транспортное средство приближается спереди 1315, то BSI-система определяет относительную скорость целевого транспортного средства 1325. Если скорость является аналогичной 1330 или превышает 1335 скорость транспортного средства водителя, то оповещение не формируется 1340. Если относительная скорость меньше, чем скорость транспортного средства водителя 1345, то BSI-система определяет то, активирует или нет водитель сигнал поворота своего транспортного средства в направлении целевого транспортного средства 1410. Если да 1420, оповещение типа 2 оповещения формируется 1450, как показано на фиг. 14. Если сигнал поворота не включен в направлении целевого транспортного средства 1430, то оповещение типа 1 оповещения может быть сформировано 1440, как также показано на фиг. 14.
Со ссылкой на фиг. 13 и 14, если целевое транспортное средство входит в зону оповещений со стороны зоны 1350 оповещений, то BSI-система определяет то, включен или нет сигнал поворота транспортного средства водителя в направлении целевого транспортного средства 1410. Если да 1420, оповещение типа 2 оповещения формируется 1450. Если сигнал поворота не включен в направлении целевого транспортного средства 1430, то оповещение типа 2 оповещения может быть сформировано 1440.
Со ссылкой на фиг. 13 и 14, если целевое транспортное средство входит в зону оповещений со стороны зоны оповещений 1320, то BSI-система определяет то, является целевой объект транспортным средством или стационарным объектом 1335. Если это стационарный объект, то оповещение не выдается (не показано). Если это целевое транспортное средство, то BSI ECU определяет относительную скорость целевого транспортного средства относительно транспортного средства водителя, и если скорости являются аналогичными 1360, то оповещение не формируется 1340, хотя в альтернативных вариантах осуществления, если скорость является аналогичной, процесс продолжается на этапе 1 на фиг. 14 и может приводить к формированию оповещения, чтобы предупреждать водителя о том, что транспортное средство вошло в "мертвую" зону водителя. Если скорость целевого транспортного средства ниже скорости транспортного средства водителя 1365, то BSI ECU определяет то, включен или нет сигнал поворота транспортного средства водителя в направлении целевого транспортного средства 1410. Если да 1420, оповещение типа 2 оповещения формируется 1450. Если сигнал поворота не включен в направлении целевого транспортного средства 1430, то оповещение типа 1 оповещения может быть сформировано 1440. В альтернативном варианте осуществления, если скорость целевого транспортного средства меньше скорости транспортного средства водителя, то оповещение не формируется. В одном примерном варианте осуществления оповещение является изображением 1460 индикатора, которое варьируется по интенсивности на основе типа оповещения, тип 1 или тип 2, а также на основе условий окружающего освещения (например, ночное время или дневное время).
Любое оповещение, предоставляемое посредством системы, к примеру, системы, описанной на фиг. 12-14, является независимым от знания водителем обстановки. Здесь, обстановка включает в себя присутствие транспортных средств или объектов в "мертвой" зоне водителя. Необязательные предупреждения могут раздражать водителя, приводя к тому, что он игнорирует предупреждения, предоставляемые посредством BSI-системы, или полностью деактивирует систему.
Фиг. 15-20 являются блок-схемами последовательности операций системы индикации "мертвых" зон, работающей в сочетании с системой обнаружения взгляда в соответствии с одним вариантом осуществления. В этом варианте осуществления BSI-система включает информацию вектора взгляда в свое определение в отношении того, предоставлять или нет оповещение, когда транспортное средство или объект входит в "мертвую" зону водителя. Со ссылкой на фиг. 15, если целевое транспортное средство входит в зону оповещений 1501, BSI ECU определяет направление, из которого целевое транспортное средство приближается 1502. Если целевое транспортное средство приближается к зоне оповещений спереди 1503, то BSI ECU определяет то, находится зона оповещений на водительской стороне или пассажирской стороне 1505.
Если целевое транспортное средство приближается к зоне оповещений спереди и с водительской стороны 1506, BSI ECU определяет относительную скорость целевого транспортного средства по сравнению с усовершенствованным транспортным средством 1517 (фиг. 16). Если скорость целевого транспортного средства является аналогичной 1518 или превышает 1519 скорость основного транспортного средства, то оповещение не выдается 1520. Если скорость целевого транспортного средства меньше скорости усовершенствованного транспортного средства 1521, то BSI ECU, с использованием вектора взгляда, определяет то, куда смотрит водитель 1522. Если водитель смотрит вперед на дорогу или на окно с водительской стороны 1523, то (в отношении #7 на фиг. 19) BSI ECU формирует оповещение 1552, например, тип 1 оповещения, если BSI ECU определяет то, что датчик рулевого управления обнаруживает левый поворот 1550. Если BSI ECU определяет то, что датчик рулевого управления не обнаруживает левый поворот, то BSI ECU формирует оповещение 1553, например, тип 2 оповещения, если BSI ECU определяет 1551, что сигнал левого поворота не включен, и формирует оповещение 1554, например, тип 3 оповещения, если BSI ECU определяет 1551, что сигнал левого поворота включен. Со ссылкой на фиг. 16, если водитель смотрит на пассажирскую область или центральную область 1524, то (в отношении #8 на фиг. 19) BSI ECU формирует оповещение 1552, например, тип 1 оповещения, если BSI ECU определяет то, что датчик рулевого управления обнаруживает левый поворот 1555. Если BSI ECU определяет то, что датчик рулевого управления не обнаруживает левый поворот, то BSI ECU формирует оповещение 1553, например, тип 2 оповещения, если BSI ECU определяет 1556, что сигнал левого поворота не включен, и формирует оповещение 1557, например, тип 4 оповещения, если BSI ECU определяет 1556, что сигнал левого поворота включен.
Если целевое транспортное средство приближается к области оповещений спереди и с пассажирской стороны 1507, BSI ECU определяет относительную скорость целевого транспортного средства по сравнению с усовершенствованным транспортным средством 1525 (фиг. 16). Если скорость целевого транспортного средства является аналогичной 1526 или превышает 1527 скорость основного транспортного средства, то оповещение не выдается 1520. Если скорость целевого транспортного средства меньше скорости усовершенствованного транспортного средства 1528, то BSI ECU с использованием технологии обнаружения взгляда определяет то, куда смотрит водитель 1529. Если водитель смотрит вперед на дорогу или на окно с пассажирской стороны 1530, то (в отношении #9 на фиг. 20) BSI ECU формирует оповещение 1560, например, тип 5 оповещения, если BSI ECU определяет 1558 то, что датчик рулевого управления обнаруживает правый поворот. Если BSI ECU определяет то, что датчик рулевого управления не обнаруживает правый поворот, то BSI ECU формирует оповещение 1553, например, тип 2 оповещения, если BSI ECU определяет 1559, что сигнал правого поворота не включен, и формирует оповещение 1554, например, тип 3 оповещения, если BSI ECU определяет 1559, что сигнал правого поворота включен. Со ссылкой на фиг. 16, если водитель смотрит на окно с водительской стороны или центральную область 1531, то (в отношении #10 на фиг. 20) BSI ECU формирует оповещение 1560, например, тип 5 оповещения, если BSI ECU определяет 1561, что датчик рулевого управления обнаруживает правый поворот. Если BSI ECU определяет то, что датчик рулевого управления не обнаруживает правый поворот, то BSI ECU формирует оповещение 1553, например, тип 2 оповещения, если BSI ECU определяет 1562, что сигнал правого поворота не включен, и формирует оповещение 1563, например, тип 6 оповещения, если BSI ECU определяет 1562, что сигнал правого поворота включен.
Если целевое транспортное средство приближается к области оповещений сзади 1508 и с водительской стороны 1510, то BSI ECU с использованием технологии обнаружения взгляда определяет (в отношении #3 на фиг. 17), куда смотрит водитель 1532. Если водитель смотрит вперед на дорогу или на окно с водительской стороны 1533, то (в отношении #7 на фиг. 19) BSI ECU формирует оповещение 1552, например, тип 1 оповещения, если BSI ECU определяет 1550, что датчик рулевого управления обнаруживает левый поворот. Если BSI ECU определяет то, что датчик рулевого управления не обнаруживает левый поворот, то BSI ECU формирует оповещение 1553, например, тип 2 оповещения, если BSI ECU определяет 1551, что сигнал левого поворота не включен, и формирует оповещение 1554, например, тип 3 оповещения, если BSI ECU определяет 1551, что сигнал левого поворота включен. Со ссылкой на фиг. 17, если водитель смотрит на пассажирскую область или центральную область 1534, то (в отношении #8 на фиг. 19) BSI ECU формирует оповещение 1552, например, тип 1 оповещения, если BSI ECU определяет 1555, что датчик рулевого управления обнаруживает левый поворот. Если BSI ECU определяет то, что датчик рулевого управления не обнаруживает левый поворот, то BSI ECU формирует оповещение 1553, например, тип 2 оповещения, если BSI ECU определяет 1556, что сигнал левого поворота не включен, и формирует оповещение 1557, например, тип 4 оповещения, если BSI ECU определяет 1556, что сигнал левого поворота включен.
Если целевое транспортное средство приближается к области оповещений сзади и с пассажирской стороны 15111, то BSI ECU с использованием технологии обнаружения взгляда определяет (в отношении #4 на фиг. 17), куда смотрит водитель 1535. Если водитель смотрит вперед на дорогу или на окно с пассажирской стороны 1536, то (в отношении #9 на фиг. 20) BSI ECU формирует оповещение 1560, например, тип 5 оповещения, если BSI ECU определяет 1558, что датчик рулевого управления обнаруживает правый поворот. Если BSI ECU определяет то, что датчик рулевого управления не обнаруживает правый поворот, то BSI ECU формирует оповещение 1553, например, тип 2 оповещения, если BSI ECU определяет 1559, что сигнал правого поворота не включен, и формирует оповещение 1554, например, тип 3 оповещения, если BSI ECU определяет 1559, что сигнал правого поворота включен. Со ссылкой на фиг. 17, если водитель смотрит на окно с водительской стороны или центральную область 1537, то (в отношении #10 на фиг. 20) BSI ECU формирует оповещение 1560, например, тип 5 оповещения, если BSI ECU определяет 1560, что датчик рулевого управления обнаруживает правый поворот. Если BSI ECU определяет то, что датчик рулевого управления не обнаруживает правый поворот, то BSI ECU формирует оповещение 1553, например, тип 2 оповещения, если BSI ECU определяет 1562, что сигнал правого поворота не включен, и формирует оповещение 1563, например, тип 6 оповещения, если BSI ECU определяет то, что сигнал правого поворота включен.
Если целевое транспортное средство приближается к области оповещений сбоку 1504 и с водительской стороны 1513, BSI ECU определяет 1538 (в отношении #5 на фиг. 18) то, является целевое транспортное средство фактически транспортным средством или стационарным объектом. Если это транспортное средство, то BSI ECU определяет относительную скорость целевого транспортного средства по сравнению с усовершенствованным транспортным средством. Если скорость целевого транспортного средства является аналогичной или превышает скорость основного транспортного средства 1540, то оповещение не выдается 1520, хотя в альтернативном варианте осуществления оповещения могут выдаваться в этом и аналогичных случаях в данном документе согласно оставшимся тестам, например, того, куда смотрит водитель. Если скорость целевого транспортного средства меньше скорости усовершенствованного транспортного средства 1539, то BSI ECU с использованием технологии обнаружения взгляда определяет то, куда смотрит водитель 1541. Если водитель смотрит вперед на дорогу или на окно с водительской стороны 1542, то (в отношении #7 на фиг. 19) BSI ECU формирует оповещение 1552, например, тип 1 оповещения, если BSI ECU определяет 1550, что датчик рулевого управления обнаруживает левый поворот. Если BSI ECU определяет то, что датчик рулевого управления не обнаруживает левый поворот, то BSI ECU формирует оповещение 1553, например, тип 2 оповещения, если BSI ECU определяет 1551, что сигнал левого поворота не включен, и формирует оповещение 1554, например, тип 3 оповещения, если BSI ECU определяет 1551, что сигнал левого поворота включен. Со ссылкой на фиг. 18, если водитель смотрит на пассажирскую область или центральную область 1543, то (в отношении #8 на фиг. 19) BSI ECU формирует оповещение 1552, например, тип 1 оповещения, если BSI ECU определяет 1555, что датчик рулевого управления обнаруживает левый поворот. Если BSI ECU определяет то, что датчик рулевого управления не обнаруживает левый поворот, то BSI ECU формирует оповещение 1553, например, тип 2 оповещения, если BSI ECU определяет 1556, что сигнал левого поворота не включен, и формирует оповещение 1557, например, тип 4 оповещения, если BSI ECU определяет 1556, что сигнал левого поворота включен.
Если целевое транспортное средство приближается к области оповещений сбоку 1504 и с пассажирской стороны 1516, BSI ECU определяет (в отношении #6 на фиг. 18) то, является целевое транспортное средство фактически транспортным средством или стационарным объектом 1544. Если это транспортное средство, то BSI ECU определяет относительную скорость целевого транспортного средства по сравнению с усовершенствованным транспортным средством. Если скорость целевого транспортного средства является аналогичной или превышает скорость основного транспортного средства 1546, то оповещение 1520 не выдается, хотя в альтернативном варианте осуществления оповещения могут выдаваться в этом и аналогичных случаях в данном документе согласно оставшимся тестам, например, того, куда смотрит водитель. Если скорость целевого транспортного средства меньше скорости усовершенствованного транспортного средства 1545, то BSI ECU с использованием технологии обнаружения взгляда определяет то, куда смотрит водитель 1547. Если водитель смотрит вперед на дорогу или на окно с пассажирской стороны 1548, то (в отношении #9 на фиг. 20) BSI ECU формирует оповещение 1560, например, тип 5 оповещения, если BSI ECU определяет 1558, что датчик рулевого управления обнаруживает правый поворот. Если BSI ECU определяет то, что датчик рулевого управления не обнаруживает правый поворот, то BSI ECU формирует оповещение 1553, например, тип 2 оповещения, если BSI ECU определяет 1559, что сигнал правого поворота не включен, и формирует оповещение 1554, например, тип 3 оповещения, если BSI ECU определяет 1559, что сигнал правого поворота включен. Со ссылкой на фиг. 18, если водитель смотрит на окно с водительской стороны или центральную область 1549, то (в отношении #10 на фиг. 19) BSI ECU формирует оповещение 1560, например, тип 5 оповещения, если BSI ECU определяет 1561, что датчик рулевого управления обнаруживает правый поворот. Если BSI ECU определяет то, что датчик рулевого управления не обнаруживает правый поворот, то BSI ECU формирует оповещение 1553, например, тип 2 оповещения, если BSI ECU определяет 1562, что сигнал правого поворота не включен, и формирует оповещение 1563, например, тип 6 оповещения, если BSI ECU определяет 1562, что сигнал правого поворота включен.
Фиг. 21 обобщает различные типы оповещений, которые могут быть использованы в системе индикации "мертвых" зон, работающей в сочетании с системой обнаружения взгляда в соответствии с одним вариантом осуществления. Наряду с отсутствием предоставления оповещения шесть оповещений на фиг. 21 указывают диапазон возможных реакций для BSI-системы на основе информации обстановки и информации вектора взгляда. Это является отличием от существующих систем, описанных выше, которые могут предоставлять только два различных типа оповещений (третьим считается отсутствие оповещения). Дополнительные оповещения различных типов используются для того, чтобы предоставлять комплексные реакции на внешнюю обстановку автомобиля на основе определенного местоположения взгляда водителя.
В зависимости от опасности, создаваемой для транспортного средства водителя, предоставляемое оповещение может варьироваться в нескольких измерениях. Например, оповещение может быть в аудио- или визуальной форме, оповещение может варьироваться по звуковой или визуальной интенсивности, местоположение аудио- или визуального оповещения может изменяться, и/или оповещение может иметь постоянную или периодическую, или апериодическую форму. Посредством перестановки этих различных переменных для оповещения множество различных типов оповещений возможно. Должно быть очевидным то, что множество других типов оповещений может быть использовано без отступления от рамок изобретения.
BSI-система использует эти различные типы оповещений, чтобы настраивать предоставляемое оповещение согласно обстановке транспортного средства и местоположению взгляда водителя. Например, типы 1 и 4 оповещений предоставляют оповещения с водительской стороны. Тем не менее, то, должны или нет предоставляться эти оповещения, зависит от того, знает или нет водитель внешнюю угрозу. Знание водителем внешней угрозы основано на том, определяется или нет взгляд водителя как смотрение в окно с водительской стороны.
BSI-система с использованием информации вектора взгляда может не только определять то, когда предоставлять оповещение, но также и то, когда не предоставлять оповещение. Таким образом, если водитель уделяет внимание угрозе, воспринимаемой посредством датчиков близости BSI, оповещение не предоставляется. Как результат, BSI-система позволяет сокращать число необязательных предупреждений, предоставляемых водителю.
Система водительского опыта
В некоторых вариантах осуществления человеко-машинный интерфейс дополнительно содержит систему водительского опыта. Система водительского опыта отслеживает вождение водителя, чтобы определять уровень опыта водителя. Уровень опыта водителя отражает навыки вождения водителя. На основе этого уровня опыта система водительского опыта может изменять то, какая информация представляется водителю. Если водитель является неопытным, HMI может предоставлять дополнительные оповещения, а также полезную информацию, чтобы помогать водителю. HMI-система также может блокировать некоторые информационно-развлекательные системы транспортного средства, чтобы способствовать фокусированию водителя на дороге. Напротив, если водитель является опытным, HMI может предоставлять меньше информации, может сокращать число и интенсивность оповещений и не блокирует информационно-развлекательные системы так, как в случае с неопытным водителем.
Фиг. 22 иллюстрирует систему считывателя отпечатков пальцев, включенную в кнопку 2210 пуска/остановки двигателя в соответствии с одним вариантом осуществления. Система водительского опыта принимает сигналы из системы считывателя отпечатков пальцев, чтобы идентифицировать водителя транспортного средства. Идентификационные данные водителя используются для того, чтобы следить за водителем и определять уровень водительского опыта (или показатель уровня опыта).
В одном варианте осуществления система 2210 считывателя отпечатков пальцев может содержать традиционный считыватель отпечатков пальцев, может быть использован, к примеру, DIGITAL PERSONA PRO, который предлагается на рынке компанией DigitalPersona, Inc, Редвуд-Сити, Калифорния. В альтернативных вариантах осуществления другие системы персональной идентификации могут быть использованы для того, чтобы определять идентификационные данные водителя, например, с использованием брелока для ключей или ввода водителем идентификатора. Система водительского опыта может включать в себя процессор, имеющий устройство хранения и/или запоминающее устройство, допускающее сохранение компьютерных программных инструкций, которые при исполнении посредством процессора выполняют различные функции, описанные в данном документе, и могут быть частью электронного блока управления (ECU) транспортного средства.
Фиг. 23 является блок-схемой последовательности операций работы системы водительского опыта, определяющей уровень водительского опыта с использованием информации вектора взгляда в соответствии с одним вариантом осуществления. Система водительского опыта идентифицирует водителя или в качестве известного водителя 2320, или в качестве неизвестного водителя 2315. Если водитель является ранее не известным водителем, система водительского опыта регистрирует водителя в базе данных 2325, которая может храниться локально в устройстве хранения или удаленно, например, на удаленном сервере с использованием беспроводной связи из транспортного средства. Система водительского опыта затем начинает запись данных 2335, чтобы создавать уровень опыта для водителя. Если водитель известен 2320, система водительского опыта извлекает 2330 информацию опыта водителя и уровня и начинает запись данных 2335, чтобы обновлять уровень опыта.
Примеры типа данных, записанных и используемых для того, чтобы создавать показатель уровня опыта, включают в себя время 2340 вождения, т.е. количество времени, которое водитель водит, условия 2345 вождения, к примеру, информацию трафика и прогноз 2350 погоды, который может сопоставляться со временем вождения, чтобы определять то, сколько времени водитель уже водит в различных условиях вождения. Данные условий вождения формируются из датчиков на транспортном средстве, например, стеклоочистителей, термометра, антиблокировочной системы тормозов, скорости, окружающих транспортных средств и их скорости на основе бортового радара. Данные состояния вождения также могут включать в себя информацию из внешних источников, например, из данных трафика и/или прогноза погоды третьей стороны, доступных через сети беспроводной связи, такие как сотовые сети, сети спутниковой связи. Данные вождения также включают в себя информацию взгляда 2355. Все эти данные комбинируются, чтобы обновлять 2360 уровень опыта водителя.
Фиг. 24 иллюстрирует пример дополнительных факторов, которые могут рассматриваться при определении уровня опыта водителя в соответствии с одним вариантом осуществления. Система водительского опыта также может использовать информацию вектора взгляда из системы обнаружения взгляда, чтобы определять уровень водительского опыта. В одном варианте осуществления информация вектора взгляда может быть использована для того, чтобы анализировать количество времени, в течение которого водитель смотрит по сторонам, в сравнении с использованием своего периферического зрения, что, в свою очередь, позволяет указывать величину опыта и навыков, которую имеет водитель. Эта информация может записываться и анализироваться, и включаться как часть (или весь компонент) показателя навыков и водительского опыта. Система обнаружения взгляда также может быть использована для того, чтобы определять количество времени, которое водитель тратит на смотрение в каждое из зеркал транспортного средства, а также время реакции водителя на соседние транспортные средства, если такие транспортные средства могут быть идентифицированы посредством бортовых радарных систем, как описано выше. На фиг. 24 движение глаз водителя-новичка показывает, что водитель фокусируется на элементах, которые не представляют такой важности для безопасной работы транспортного средства, как элементы, на которых фокусируется опытный водитель. Как показано на фиг. 24, глаза опытного водителя смотрят, например, на предстоящий поворот.
Фиг. 25 является блок-схемой последовательности операций примера использования уровня опыта водителя, чтобы определять то, отображается или нет полезная информация водителю, в соответствии с одним вариантом осуществления. В одном варианте осуществления полезная информация предоставляется через модуль HMI-помощи интерфейсного программного обеспечения транспортного средства 2505. В одном примерном варианте осуществления справочная информация может включать в себя справочные "всплывающие меню". Чтобы определять то, сколько полезной информации следует отображать, система водительского опыта сначала идентифицирует уровень опыта водителя 2510. Если уровень опыта является высоким 2515, то система водительского опыта определяет 2520 величину использования HMI-помощи этим конкретным водителем. Если уровень предыдущего использования этой системы является высоким 2525, то система не показывает справочные сообщения 2530, если уровень использования является низким 2535, то только минимальные справочные сообщения показываются 2540. Если уровень водительского опыта является низким 2545 и величина использования HMI-помощи 2550 является низкой 2565, то все сообщения показываются пользователю 2570, а если величина использования этой системы 2550 являться высокой 2555, то только минимальные справочные сообщения показываются 2560. В одном варианте осуществления показатель уровня опыта является детальным, чтобы идентифицировать больше различий между уровнем опыта водителей.
Фиг. 26 является блок-схемой последовательности операций примера использования уровня водительского опыта, чтобы определять то, отображается или нет некоторая информация водителю, в соответствии с одним вариантом осуществления. Система водительского опыта может блокировать вывод информации 2605, чтобы не допускать помех от информации, предоставляемой посредством HMI, информационно-развлекательных систем транспортного средства или предупреждений для привлечения внимания, фокусированию водителя при вождении. В одном варианте осуществления система водительского опыта использует уровень водительского опыта и информацию трафика 2610, чтобы определять то, блокировать или нет доступ или просмотр некоторой информации для водителя. Если водитель имеет высокий уровень опыта 2615, то информация не блокируется 2620. Если уровень водительского опыта является низким 2625, то система водительского опыта (или другой блок в транспортном средстве, например, в ECU) определяет условия трафика 2630. Если условие трафика не интенсивно 2635, то информация не блокируется 2640. Тем не менее, если условия трафика интенсивны 2645, то система водительского опыта идентифицирует погодные условия 2650. Если погодные условия хорошие 2655, то предусмотрены минимальные блокировки системы 2660. Если погодные условия плохие 2665, то больше информации блокируется от водителя 2670.
Предложенная система водительского опыта предоставляет возможность настройки пользователем функций транспортного средства, таких как, например, система предотвращения аварий или HMI, вследствие того факта, что система водительского опыта знает, кто водитель. На основе этих знаний и информации о водительском опыте, а также текущих условий вождения система водительского опыта позволяет расширять способность водителя выполнять задачи вождения. Посредством использования этой информации транспортное средство может уменьшать объем помощи, которую HMI предоставляет водителю, сокращать число предупреждений, предоставляемых посредством системы предотвращения аварий, уменьшать отображение менее важной информации и некоторых функций. Как результат, система водительского опыта позволяет сокращать число отвлечений, предоставляемых водителю.
Другие функции
Включение системы обнаружения взгляда в систему предотвращения аварий обеспечивает возможность наличия нескольких функций. В одном варианте осуществления система предотвращения аварий регулируется на основе измерения когнитивной нагрузки водителя. Известно, что по мере того как когнитивная нагрузка увеличивается, зрачки слегка расширяются в сравнении с ненагруженным состоянием. В одном варианте осуществления система обнаружения взгляда дополнительно выполнена с возможностью измерять расширение глаз водителя, чтобы отслеживать когнитивное состояние водителя. Чтобы устанавливать базовые данные, система обнаружения взгляда записывает размер расширения глаз водителя и сравнивает этот размер с размером, записанным во время других внешних действий. Например, система может считывать данные из датчика окружающего освещения и контролировать текущую рабочую задачу, чтобы начинать устанавливать базовые данные. После того как базовые данные накоплены для водителя, система обнаружения взгляда может сокращать несущественные предупреждения и блокировать комплексные функции, такие как информационно-развлекательные функции, к примеру, поиск музыки в IPOD, когда обнаруживаются периоды высокой когнитивной нагрузки.
В другом варианте осуществления после аварии транспортного средства система обнаружения взгляда дополнительно выполнена с возможностью определять то, находится или нет водитель в сознании. Система должна принимать сигнал столкновения из вспомогательной системы безопасности (SRS), указывающий то, что столкновение произошло. В ответ на прием сигнала столкновения система затем определяет то, открыты или нет глаза водителя. Если система определяет то, что водитель не находится в сознании, система инициирует автоматизированный телефонный вызов с предварительно записанным сообщением в службы экстренной помощи, например, 911. В этом варианте осуществления система обнаружения взгляда работает в сочетании с телефоном, подключенным к системе (через технологию Bluetooth или некоторую аналогичную технологию). В одном варианте осуществления система обнаружения взгляда дополнительно выполнена с возможностью включать информацию местоположения из навигационной системы в предварительно записанное сообщение.
В другом варианте осуществления система обнаружения взгляда может использовать информацию взгляда, чтобы изменять то, где HMI отображает информацию. Например, для оповещений система обнаружения взгляда может принудительно отображать оповещение там, куда смотрит водитель. Например, если водитель смотрит на устройство отображения аудиосистемы, оповещение о низком уровне топлива может перенаправляться так, что оно отображается на устройстве отображения аудиосистемы. Система обнаружения взгляда также может быть выполнена с возможностью изменять информацию, на которую смотрит водитель. Система может увеличивать размер текста и/или значков, на которые смотрит водитель, чтобы повышать их удобочитаемость. Система также может изменять яркость и/или контрастность текста и/или значков, на которые смотрит водитель. В одном варианте осуществления изменения являются незначительными, с тем чтобы не озадачивать или отвлекать водителя.
В другом варианте осуществления система обнаружения взгляда выполнена с возможностью регулировать положения зеркал транспортного средства на основе положения глаз водителя. С использованием информации вектора взгляда система может автоматически регулировать боковые зеркала заднего вида в положения, предлагаемые посредством ассоциации инженеров автомобилестроения (SAE). Система обнаружения взгляда должна реализовать алгоритм размещения зеркал на основе текущей формулы SAE для вычисления видимости зеркал. Предлагаемое положение зеркал может быть использовано в качестве начальной точки для точной регулировки водителем.
Дополнительные соображения
Ссылка в этом подробном описании на "один из вариантов осуществления" или "вариант осуществления" означает, что конкретный признак, структура или характеристика, описанная в связи с вариантом осуществления, включена, по меньшей мере, в один вариант осуществления. Таким образом, появление фразы "в одном варианте осуществления" или "вариант осуществления" в различных местах в этом подробном описании не обязательно всегда указывает один и тот же вариант осуществления.
Некоторые части нижеприведенного подробного описания представляются на основе алгоритмов и символьных представлений операций с битами данных в компьютерном запоминающем устройстве. Эти алгоритмические описания и представления являются средством, используемым специалистами в области обработки данных для того, чтобы наиболее эффективно передавать суть своей работы другим специалистам в данной области техники. Алгоритм представлен здесь и, в общем, задуман как непротиворечивая последовательность этапов (инструкций), приводящая к требуемому результату. Этапы - это то, что требует физической обработки физических величин. Обычно, хотя и не обязательно, эти величины принимают форму электрических, магнитных или оптических сигналов, допускающих хранение, передачу, комбинирование, сравнение и иную обработку. Иногда удобно, главным образом по причинам стандартного использования, упоминать эти сигналы как биты, значения, элементы, символы, знаки, термины, числа и т.п. Кроме того, также иногда удобно упоминать определенные компоновки этапов, требующих физическую обработку или преобразование физических величин либо представлений физических величин как модули или кодирующие устройства, без потери общности.
Тем не менее, все эти и аналогичные термины должны быть ассоциированы с надлежащими физическими величинами и являются просто удобными метками, применяемыми к данным величинам. Если прямо не указано иное, как очевидно из последующего пояснения, следует принимать во внимание, что по всему описанию пояснения, использующие такие термины, как "обработка" или "вычисление", или "расчет", или "определение", или "отображение", или "определение" и т.п., означают действие и процессы компьютерной системы или аналогичного электронного вычислительного устройства (к примеру, конкретной вычислительной машины), которое обрабатывает и преобразует данные, представленные в качестве физических (электронных) величин в запоминающих устройствах компьютерной системы или регистрах либо в других таких устройствах хранения, передачи или отображения информации.
Конкретные аспекты включают в себя этапы и инструкции процесса, описанные в данном документе в форме алгоритма. Следует отметить, что этапы и инструкции процесса могут быть осуществлены в программном обеспечении, микропрограммном обеспечении или аппаратных средствах и при осуществлении в программном обеспечении могут загружаться так, что они постоянно размещаются, а также управляются из различных платформ, используемых посредством множества операционных систем. Вариант осуществления также может заключаться в компьютерном программном продукте, который может выполняться в вычислительной системе.
Примерные варианты осуществления также относятся к устройству для выполнения операций в данном документе. Это устройство может быть специально сконструировано для данных целей, к примеру, как специальный компьютер в транспортном средстве или оно может содержать компьютер общего назначения, выборочно активируемый или реконфигурируемый посредством компьютерной программы, сохраненной в компьютере, который может находиться в транспортном средстве. Такая компьютерная программа может сохраняться на машиночитаемом носителе хранения данных, таком как, но не только, любой тип диска, включающий в себя гибкие диски, оптические диски, CD-ROM, магнитооптические диски, постоянные запоминающие устройства (ROM), оперативные запоминающие устройства (RAM), EPROM, EEPROM, магнитные или оптические карты, специализированные интегральные схемы (ASIC) или любой тип носителей, подходящих для хранения электронных инструкций, каждый из которых соединен с компьютерной системной шиной. Запоминающее устройство может включать в себя любое из вышеуказанных и/или других устройств, которые могут сохранять информацию. Кроме того, компьютеры, упоминаемые в подробном описании, могут включать в себя один процессор или могут быть архитектурами, использующими многопроцессорные конструкции для расширения вычислительных возможностей.
Алгоритмы и изображения, представленные в данном документе, по сути, не связаны ни с одним конкретным компьютером или другим устройством. Различные системы общего назначения также могут быть использованы для программ в соответствии с идеями в данном документе, или может быть удобным конструировать более специализированное устройство, чтобы осуществлять этапы способа. Структура для множества этих систем должна быть очевидной из описания. Помимо этого, примерные варианты осуществления не описываются со ссылкой на какой-либо конкретный язык программирования. Следует принимать во внимание, что множество языков программирования может быть использовано для того, чтобы реализовывать идеи, как описано в данном документе, и все нижеприведенные ссылки на конкретные языки предоставляются для раскрытия сущности реализации и оптимального режима.
Кроме того, язык, использованный в спецификации, был принципиально выбран с целью удобочитаемости и в учебных целях и он не предназначен, чтобы обозначать пределы или ограничивать изобретенный предмет изучения. Соответственно, раскрытие сущности имеет намерение быть иллюстративным, а не ограничивающим объем вариантов осуществления.
Хотя конкретные варианты осуществления и применения проиллюстрированы и описаны в данном документе, следует понимать, что варианты осуществления не ограничиваются точной конструкцией и компонентами, раскрытыми в данном документе, и что различные модификации, изменения и вариации могут быть сделаны в компоновке, работе и деталях способов и устройств без отступления от сущности и объема.

Claims (18)

1. Способ предоставления аварийного предупредительного оповещения в транспортном средстве, содержащий этапы, на которых:
- принимают вектор взгляда от водителя с использованием детектора (120) взгляда;
- обнаруживают местоположение ближайшего объекта с использованием датчика (420; 1120a-d) близости, причем упомянутый ближайший объект находится за пределами транспортного средства;
- определяют риск аварии транспортного средства на основе местоположения ближайшего объекта;
- определяют знание водителем обстановки транспортного средства на основе местоположения ближайшего объекта и вектора взгляда; и
- активируют оповещение транспортного средства на основе знания водителем обстановки транспортного средства и риска аварии транспортного средства,
отличающийся тем, что способ дополнительно содержит этапы, на которых:
- собирают информацию водительского опыта от водителя с использованием детектора (120) взгляда и данных вождения транспортного средства, при этом упомянутая информация водительского опыта включает в себя данные записанного времени вождения, данные условия вождения и информацию вектора взгляда; и
- вычисляют уровень водительского опыта на основе информации водительского опыта, причем упомянутый уровень водительского опыта отражает навык вождения водителя, и при этом активация оповещения транспортного средства дополнительно основана на уровне водительского опыта.
2. Способ по п.1, дополнительно содержащий этап, на котором:
- активируют функцию управления автомобилем на основе знания водителем обстановки транспортного средства и риска аварии транспортного средства.
3. Способ по п.2, в котором функцией управления автомобилем является по меньшей мере одна из функции торможения транспортного средства, функции рулевого колеса или функции управления информационно-развлекательной средой.
4. Способ по п.1, в котором определение знания водителем обстановки транспортного средства дополнительно содержит определение того, находится или нет местоположение ближайшего объекта в поле зрения вектора взгляда.
5. Способ по п.1, в котором оповещение транспортного средства содержит первое визуальное оповещение, активируемое выше первого порогового значения, на основе знания водителем обстановки транспортного средства и риска аварии транспортного средства.
6. Способ по п.5, в котором оповещение транспортного средства содержит второе визуальное оповещение, активируемое выше второго порогового значения, на основе знания водителем обстановки транспортного средства и риска аварии транспортного средства.
7. Способ по п.6, в котором оповещение транспортного средства содержит слуховое оповещение, активируемое выше третьего порогового значения, на основе знания водителем обстановки транспортного средства и риска аварии транспортного средства.
8. Способ по п.1, в котором ближайшим объектом является по меньшей мере одно из второго транспортного средства, неподвижного объекта или разделения полос движения.
9. Способ по п.1, дополнительно содержащий обнаружение скорости ближайшего объекта с использованием датчика (420) близости, и при этом определение риска аварии транспортного средства и знания водителем обстановки транспортного средства дополнительно основано на скорости ближайшего объекта.
10. Система предоставления аварийного предупредительного оповещения в транспортном средстве, содержащая:
- детектор (120) взгляда, выполненный с возможностью принимать вектор взгляда от водителя;
- датчик (420; 1120a-d) близости, выполненный с возможностью обнаруживать местоположение ближайшего объекта, причем упомянутый ближайший объект находится за пределами транспортного средства;
- электронный блок (410; 810; 1110) управления, выполненный с возможностью определять риск аварии транспортного средства на основе местоположения ближайшего объекта и определять знание водителем обстановки транспортного средства на основе местоположения ближайшего объекта и вектора взгляда; и
- причем электронный блок (410; 810; 1110) управления дополнительно выполнен с возможностью активировать оповещение транспортного средства на основе знания водителем обстановки транспортного средства и риска аварии транспортного средства,
отличающаяся тем, что система дополнительно содержит:
- систему водительского опыта, выполненную с возможностью собирать информацию водительского опыта от водителя с использованием детектора (120) взгляда и данные вождения транспортного средства, при этом упомянутая информация водительского опыта включает в себя данные записанного времени вождения, данные условия вождения и информацию вектора взгляда, и определять уровень водительского опыта на основе информации водительского опыта, причем упомянутый уровень водительского опыта отражает навык вождения водителя, и при этом активация оповещения транспортного средства дополнительно основана на уровне водительского опыта.
11. Система по п.10, в которой электронный блок (410; 810; 1110) управления дополнительно выполнен с возможностью активировать функцию управления автомобилем на основе знания водителем обстановки транспортного средства и риска аварии транспортного средства.
12. Система по п.11, в которой функцией управления автомобилем является по меньшей мере одно из функции торможения транспортного средства, функции рулевого колеса или функции управления информационно-развлекательной средой.
13. Система по п.10, в которой определение знания водителем обстановки транспортного средства дополнительно основано на том, находится или нет местоположение ближайшего объекта в поле зрения вектора взгляда.
14. Система по п.10, в которой оповещение транспортного средства содержит первое визуальное оповещение, активируемое выше первого порогового значения, на основе знания водителем обстановки транспортного средства и риска аварии транспортного средства.
15. Система по п.14, в которой оповещение транспортного средства содержит второе визуальное оповещение, активируемое выше второго порогового значения, на основе знания водителем обстановки транспортного средства и риска аварии транспортного средства.
16. Система по п.15, в которой оповещение транспортного средства содержит слуховое оповещение, активируемое выше третьего порогового значения, на основе знания водителем обстановки транспортного средства и риска аварии транспортного средства.
17. Система по п.10, в которой ближайшим объектом является по меньшей мере одно из второго транспортного средства, неподвижного объекта или разделения полос движения.
18. Система по п.10, в которой датчик (420; 1120a-d) близости дополнительно выполнен с возможностью обнаруживать скорость ближайшего объекта, и при этом риск аварии транспортного средства и знание водителем обстановки транспортного средства дополнительно основано на скорости ближайшего объекта.
RU2012130445/08A 2009-12-18 2010-12-09 Прогнозирующий человеко-машинный интерфейс с использованием технологии обнаружения взгляда, индикаторов "мертвых" зон и водительского опыта RU2514924C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US28820009P 2009-12-18 2009-12-18
US61/288,200 2009-12-18
PCT/US2010/059713 WO2011075392A1 (en) 2009-12-18 2010-12-09 A predictive human-machine interface using eye gaze technology, blind spot indicators and driver experience

Publications (2)

Publication Number Publication Date
RU2012130445A RU2012130445A (ru) 2014-01-27
RU2514924C2 true RU2514924C2 (ru) 2014-05-10

Family

ID=44167665

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2012130445/08A RU2514924C2 (ru) 2009-12-18 2010-12-09 Прогнозирующий человеко-машинный интерфейс с использованием технологии обнаружения взгляда, индикаторов "мертвых" зон и водительского опыта

Country Status (8)

Country Link
US (2) US9650041B2 (ru)
EP (1) EP2513882B1 (ru)
JP (1) JP2013514592A (ru)
CN (1) CN102656613B (ru)
BR (1) BR112012012635A2 (ru)
CA (1) CA2779923A1 (ru)
RU (1) RU2514924C2 (ru)
WO (1) WO2011075392A1 (ru)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2704887C2 (ru) * 2015-05-19 2019-10-31 ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи Способ и система для повышения осведомленности водителя транспортного средства, а также транспортное средство
RU2709702C1 (ru) * 2017-12-08 2019-12-19 Тойота Дзидося Кабусики Кайся Устройство привлечения внимания для транспортного средства
RU2711817C2 (ru) * 2017-01-25 2020-01-22 ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи Системы и способы предотвращения столкновений
RU2730299C1 (ru) * 2017-06-26 2020-08-21 Ниссан Мотор Ко., Лтд. Способ помощи в передвижении транспортного средства и устройство помощи в передвижении транспортного средства
RU2737672C2 (ru) * 2016-03-21 2020-12-02 ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи Идентификация водителя транспортного средства
RU2741129C1 (ru) * 2017-01-20 2021-01-22 Ниссан Мотор Ко., Лтд. Способ прогнозирования поведения транспортного средства и устройство прогнозирования поведения транспортного средства
RU2756256C1 (ru) * 2017-11-11 2021-09-28 Бендикс Коммёршл Виикл Системз Ллк Система и способы контроля поведения водителя для управления автопарком в парке транспортных средств с использованием устройства формирования изображения, обращенного к водителю
US11188769B2 (en) 2017-11-11 2021-11-30 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device

Families Citing this family (133)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE112010001770B4 (de) * 2009-03-16 2014-09-25 Nokia Corp. System mit einem steuermittel für eine richtantenne und vorrichtung, benutzerschnittstelle, verfahren und computerprogramm
US11704574B2 (en) 2010-06-07 2023-07-18 Affectiva, Inc. Multimodal machine learning for vehicle manipulation
US11935281B2 (en) 2010-06-07 2024-03-19 Affectiva, Inc. Vehicular in-cabin facial tracking using machine learning
US11700420B2 (en) 2010-06-07 2023-07-11 Affectiva, Inc. Media manipulation using cognitive state metric analysis
US11484685B2 (en) 2010-06-07 2022-11-01 Affectiva, Inc. Robotic control using profiles
US11430260B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Electronic display viewing verification
US11657288B2 (en) 2010-06-07 2023-05-23 Affectiva, Inc. Convolutional computing using multilayered analysis engine
US11393133B2 (en) 2010-06-07 2022-07-19 Affectiva, Inc. Emoji manipulation using machine learning
US11587357B2 (en) 2010-06-07 2023-02-21 Affectiva, Inc. Vehicular cognitive data collection with multiple devices
US11887352B2 (en) 2010-06-07 2024-01-30 Affectiva, Inc. Live streaming analytics within a shared digital environment
US11511757B2 (en) 2010-06-07 2022-11-29 Affectiva, Inc. Vehicle manipulation with crowdsourcing
US11410438B2 (en) * 2010-06-07 2022-08-09 Affectiva, Inc. Image analysis using a semiconductor processor for facial evaluation in vehicles
US11465640B2 (en) 2010-06-07 2022-10-11 Affectiva, Inc. Directed control transfer for autonomous vehicles
US11430561B2 (en) 2010-06-07 2022-08-30 Affectiva, Inc. Remote computing analysis for cognitive state data metrics
US9035803B2 (en) * 2010-08-03 2015-05-19 Lc Technologies, Inc. Systems and methods for aiding traffic controllers and/or pilots
US20120206252A1 (en) * 2011-02-16 2012-08-16 Toyota Motor Engineering & Manufacturing North America, Inc. Lane departure warning system
US9542847B2 (en) 2011-02-16 2017-01-10 Toyota Motor Engineering & Manufacturing North America, Inc. Lane departure warning/assistance method and system having a threshold adjusted based on driver impairment determination using pupil size and driving patterns
JP5765995B2 (ja) * 2011-03-31 2015-08-19 富士通テン株式会社 画像表示システム
US20120306637A1 (en) * 2011-06-01 2012-12-06 Johnson Controls Technology Company System and method for selectively altering content of a vehicle interface
US10967882B2 (en) * 2018-01-09 2021-04-06 Motherson Innovations Company Limited Autonomous vehicles with control retaking systems and methods of using same
DE102011085825A1 (de) * 2011-11-07 2013-05-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Warnen des Fahrers eines Kraftfahrzeugs bei mangelnder Aufmerksamkeit
JP5832667B2 (ja) * 2011-12-29 2015-12-16 インテル・コーポレーション 再構成可能なパーソナライズド車両用ディスプレイ
US20140070934A1 (en) * 2012-09-07 2014-03-13 GM Global Technology Operations LLC Methods and systems for monitoring driver object detection
WO2014042572A1 (en) * 2012-09-17 2014-03-20 Volvo Lastvagnar Aktiebolag Method for providing a context based coaching message to a driver of a vehicle
US9400551B2 (en) * 2012-09-28 2016-07-26 Nokia Technologies Oy Presentation of a notification based on a user's susceptibility and desired intrusiveness
US9085262B2 (en) 2012-10-08 2015-07-21 Microsoft Technology Licensing, Llc Tinting indication of environmental conditions
US9002586B2 (en) * 2012-12-03 2015-04-07 Honda Motor Co., Ltd. Integrated biometric switch
US9524269B1 (en) * 2012-12-19 2016-12-20 Allstate Insurance Company Driving event data analysis
US9457914B1 (en) * 2013-05-24 2016-10-04 Rockwell Collins, Inc. Bringing critical notifications to a pilot via eye tracking
US9654740B2 (en) 2013-05-28 2017-05-16 International Business Machines Corporation Controlling automotive rear-view mirror based on eye movement
US20150029031A1 (en) * 2013-07-29 2015-01-29 Thomas Pank Driver alertness detection and alarm system
US9096129B2 (en) * 2013-07-29 2015-08-04 Freescale Semiconductor, Inc. Method and system for facilitating viewing of information in a machine
JP6258639B2 (ja) * 2013-09-04 2018-01-10 トヨタ自動車株式会社 衝突回避支援装置及び衝突回避支援方法
US10210761B2 (en) * 2013-09-30 2019-02-19 Sackett Solutions & Innovations, LLC Driving assistance systems and methods
KR20150066739A (ko) * 2013-12-09 2015-06-17 경북대학교 산학협력단 경고 메시지를 제공하는 차량 제어 시스템 및 그 방법
US9354073B2 (en) * 2013-12-09 2016-05-31 Harman International Industries, Inc. Eye gaze enabled navigation system
KR20150073269A (ko) * 2013-12-20 2015-07-01 현대자동차주식회사 차량용 클러스터 장치
US9298994B2 (en) * 2014-01-09 2016-03-29 Harman International Industries, Inc. Detecting visual inattention based on eye convergence
KR20150087985A (ko) * 2014-01-23 2015-07-31 한국전자통신연구원 안전운행정보 표출 장치 및 그 방법
US20150249906A1 (en) * 2014-02-28 2015-09-03 Rovi Guides, Inc. Methods and systems for encouraging behaviour while occupying vehicles
US9810783B2 (en) * 2014-05-15 2017-11-07 Empire Technology Development Llc Vehicle detection
DE102014214698B3 (de) * 2014-07-25 2015-12-24 Bayerische Motoren Werke Aktiengesellschaft Benutzerschnittstelle und Bedienverfahren zur blickbasierten Bedienung eines Geschwindigkeitsregelungssystems
US9514651B2 (en) 2014-08-19 2016-12-06 Here Global B.V. Optimal warning distance
WO2016059724A1 (ja) * 2014-10-17 2016-04-21 三菱電機株式会社 ドライバー支援装置および警報タイミング制御方法
FR3027418B1 (fr) * 2014-10-20 2020-07-31 Peugeot Citroen Automobiles Sa Dispositif de controle de desactivation d’un systeme de surveillance de la trajectoire d’un vehicule, en fonction de la direction d’observation des yeux du conducteur
US9747812B2 (en) 2014-10-22 2017-08-29 Honda Motor Co., Ltd. Saliency based awareness modeling
DE102015200697A1 (de) * 2015-01-19 2016-07-21 Robert Bosch Gmbh Verfahren und Vorrichtung zum Erkennen von Sekundenschlaf eines Fahrers eines Fahrzeugs
US9505413B2 (en) * 2015-03-20 2016-11-29 Harman International Industries, Incorporated Systems and methods for prioritized driver alerts
JP6428482B2 (ja) 2015-05-18 2018-11-28 トヨタ自動車株式会社 車両用制御装置
US9493118B1 (en) 2015-06-24 2016-11-15 Delphi Technologies, Inc. Cognitive driver assist with variable warning for automated vehicles
JP6488922B2 (ja) * 2015-07-06 2019-03-27 株式会社デンソー 運転者異常検出装置
DE102015213769A1 (de) * 2015-07-22 2017-01-26 Robert Bosch Gmbh Verfahren und Vorrichtung zum Prädizieren einer Blickrichtung eines Fahrzeuginsassen
US9771082B2 (en) * 2015-08-13 2017-09-26 International Business Machines Corporation Reducing cognitive demand on a vehicle operator by generating passenger stimulus
US10618521B2 (en) * 2015-09-21 2020-04-14 Ford Global Technologies, Llc Wearable in-vehicle eye gaze detection
EP3153366B1 (en) * 2015-10-07 2020-12-09 Volvo Car Corporation Vehicle observability enhancing system, vehicle comprising such system and a method for increasing vehicle observability
DE102015220237A1 (de) * 2015-10-16 2017-04-20 Zf Friedrichshafen Ag Fahrzeugsystem und Verfahren zur Aktivierung einer Selbstfahreinheit zum autonomen Fahren
DE102015220398A1 (de) * 2015-10-20 2017-04-20 Robert Bosch Gmbh Verfahren zur Übermittlung von Informationen an einen Fahrer eines Kraftfahrzeuges und adaptives Fahrerassistenzsystem
DE112015007069T5 (de) * 2015-10-29 2018-07-19 Mitsubishi Electric Corporation Fahrassistenzvorrichtung
US20170185146A1 (en) * 2015-12-29 2017-06-29 Ford Global Technologies, Llc Vehicle notification system including transparent and mirrored displays
US10162651B1 (en) 2016-02-18 2018-12-25 Board Of Trustees Of The University Of Alabama, For And On Behalf Of The University Of Alabama In Huntsville Systems and methods for providing gaze-based notifications
US9778654B2 (en) 2016-02-24 2017-10-03 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for advanced resting time suggestion
DE102017101250A1 (de) * 2016-03-09 2017-09-14 Subaru Corporation Fahrtsteuerungsvorrichtung für Fahrzeug
CN105867410A (zh) * 2016-04-06 2016-08-17 东莞北京航空航天大学研究院 基于眼球跟踪的无人机地面站控制方法及其系统
US9826500B1 (en) * 2016-05-11 2017-11-21 International Business Machines Corporation Preventing driver distraction from incoming notifications
EP3478557A4 (en) * 2016-07-01 2020-03-11 Eyesight Mobile Technologies Ltd. DRIVER MONITORING SYSTEM AND METHOD
CN107662559A (zh) * 2016-07-28 2018-02-06 奥迪股份公司 警告控制装置及方法
US9809167B1 (en) * 2016-08-29 2017-11-07 Ford Global Technologies, Llc Stopped vehicle traffic resumption alert
DE102016216738A1 (de) * 2016-09-05 2018-03-08 Robert Bosch Gmbh Verfahren und Vorrichtung zum Steuern eines Fahrzeugs
US20180082203A1 (en) * 2016-09-21 2018-03-22 International Business Machines Corporation Detection of operator likelihood of deviation from planned route
EP3299241B1 (en) 2016-09-26 2021-11-10 Volvo Car Corporation Method, system and vehicle for use of an object displaying device in a vehicle
CN106476700A (zh) * 2016-11-08 2017-03-08 北京小米移动软件有限公司 驾车安全提醒的方法、装置、后视镜及交通工具
US10467488B2 (en) * 2016-11-21 2019-11-05 TeleLingo Method to analyze attention margin and to prevent inattentive and unsafe driving
US11249544B2 (en) * 2016-11-21 2022-02-15 TeleLingo Methods and systems for using artificial intelligence to evaluate, correct, and monitor user attentiveness
WO2018117631A1 (en) 2016-12-21 2018-06-28 Samsung Electronics Co., Ltd. Electronic apparatus and method of operating the same
CN110087965B (zh) * 2016-12-21 2022-09-27 大陆-特韦斯贸易合伙股份公司及两合公司 用于车辆的系统
KR102471072B1 (ko) * 2016-12-21 2022-11-25 삼성전자주식회사 전자 장치 및 그 동작 방법
US20180215395A1 (en) * 2017-02-02 2018-08-02 Intel Corporation Context derived driver assistance
US10082869B2 (en) * 2017-02-03 2018-09-25 Qualcomm Incorporated Maintaining occupant awareness in vehicles
US10166996B2 (en) * 2017-02-09 2019-01-01 Toyota Motor Engineering & Manufacturing North America, Inc. Systems and methods for adaptively communicating notices in a vehicle
US10445559B2 (en) * 2017-02-28 2019-10-15 Wipro Limited Methods and systems for warning driver of vehicle using mobile device
EP3633650A4 (en) 2017-05-31 2020-07-08 Fujitsu Limited DRIVING AID DEVICE, DRIVING AID SYSTEM, AND DRIVING AID METHOD
DE112018003180T5 (de) * 2017-06-22 2020-03-12 Mitsubishi Electric Corporation Risikoinformations-sammeleinrichtung
CN107487358A (zh) * 2017-08-02 2017-12-19 江苏开放大学 一种基于大脑情感学习回路模型的驾驶员转向控制方法
US11100729B2 (en) * 2017-08-08 2021-08-24 Panasonic Intellectual Property Corporation Of America Information processing method, information processing system, and program
WO2019029832A1 (en) * 2017-08-11 2019-02-14 Toyota Motor Europe AUTOMATIC DRIVING SYSTEM AND METHOD FOR STIMULATING A DRIVER
US10782776B2 (en) * 2017-09-28 2020-09-22 Nissan North America, Inc. Vehicle display configuration system and method
JP6984312B2 (ja) * 2017-10-26 2021-12-17 トヨタ自動車株式会社 車載装置、情報処理システム、及び情報処理方法
JP2019095892A (ja) * 2017-11-20 2019-06-20 シャープ株式会社 車両用運転支援装置、および車両用運転支援プログラム
EP3493178B1 (en) * 2017-12-01 2024-03-06 Veoneer Sweden AB Driver attentiveness detection method and device
FR3076521B1 (fr) * 2018-01-05 2020-02-07 Institut De Recherche Technologique Systemx Procede d'aide a la conduite d'un vehicule et dispositifs associes
EP3517385B1 (en) * 2018-01-26 2022-08-31 Honda Research Institute Europe GmbH Method and driver assistance system for assisting a driver in driving a vehicle
US11042156B2 (en) * 2018-05-14 2021-06-22 Honda Motor Co., Ltd. System and method for learning and executing naturalistic driving behavior
US10849543B2 (en) * 2018-06-08 2020-12-01 Ford Global Technologies, Llc Focus-based tagging of sensor data
IL260822B (en) 2018-07-26 2019-12-31 Ophir Yoav Method and system for a dynamic collision awareness envelope for a vehicle
US11866042B2 (en) 2018-08-20 2024-01-09 Indian Motorcycle International, LLC Wheeled vehicle adaptive speed control method and system
JP6777124B2 (ja) * 2018-08-24 2020-10-28 株式会社Ｊｖｃケンウッド 警告装置、運転傾向解析装置および運転傾向解析方法
EP3644095A1 (en) * 2018-10-23 2020-04-29 Veoneer Sweden AB Object detection system
JP7146585B2 (ja) * 2018-11-13 2022-10-04 本田技研工業株式会社 視線検出装置、プログラム、及び、視線検出方法
DE102019202588A1 (de) * 2019-02-26 2020-08-27 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
DE102019202581B4 (de) 2019-02-26 2021-09-02 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Fahrerinformationssystems in einem Ego-Fahrzeug und Fahrerinformationssystem
IL265495B (en) * 2019-03-19 2022-09-01 Rober Ohrenstein Method for travel authorization
US11887383B2 (en) 2019-03-31 2024-01-30 Affectiva, Inc. Vehicle interior object management
EP3722158A1 (en) 2019-04-10 2020-10-14 Volvo Car Corporation A voice assistant system
US11618439B2 (en) * 2019-04-11 2023-04-04 Phantom Auto Inc. Automatic imposition of vehicle speed restrictions depending on road situation analysis
JP7058800B2 (ja) * 2019-04-12 2022-04-22 三菱電機株式会社 表示制御装置、表示制御方法、及び表示制御プログラム
DE102019208663B4 (de) * 2019-06-14 2021-01-14 Audi Ag Verfahren zur Unterstützung eines Fahrers hinsichtlich für eine Verkehrssituation relevanter Objekte und Kraftfahrzeug
KR20200144175A (ko) * 2019-06-17 2020-12-29 현대자동차주식회사 차량 및 그 제어 방법
EP4042322A4 (en) * 2019-10-01 2023-10-25 Telelingo d/b/a Dreyev METHODS AND SYSTEMS FOR USING ARTIFICIAL INTELLIGENCE TO ASSESS, CORRECT AND MONITOR A USER'S ATTENTION
KR20210044961A (ko) * 2019-10-15 2021-04-26 현대자동차주식회사 자율주행차량의 차선변경 전략 결정 장치 및 그 방법
US11769056B2 (en) 2019-12-30 2023-09-26 Affectiva, Inc. Synthetic data for neural network training using vectors
US11866037B2 (en) * 2020-03-16 2024-01-09 Toyota Motor Engineering & Manufacturing North America, Inc. Behavior-based vehicle alerts
CN113815623B (zh) * 2020-06-11 2023-08-08 广州汽车集团股份有限公司 一种视觉追踪人眼注视点的方法、车辆预警方法及装置
DE102020207820A1 (de) * 2020-06-24 2021-12-30 Volkswagen Aktiengesellschaft Verfahren zum Betrieb eines Fahrerassistenzsystems für ein Fahrzeug und Fahrerassistenzsystem
US11654919B2 (en) * 2020-08-11 2023-05-23 Aptiv Technologies Limited Adaptive user-specific automated driver assistance system warnings
US11535253B2 (en) * 2020-09-18 2022-12-27 GM Global Technology Operations LLC Lane change maneuver intention detection systems and methods
DE102020212165A1 (de) 2020-09-28 2022-03-31 Volkswagen Aktiengesellschaft Verfahren zum Betreiben eines Kraftfahrzeugs sowie Kraftfahrzeug
JP2023548762A (ja) * 2020-10-20 2023-11-21 ポラリス インダストリーズ インコーポレーテッド 車両危険状態検出のためのシステム及び方法
US11584378B2 (en) * 2020-10-27 2023-02-21 Arm Limited Vehicle-assist system
CN112396235B (zh) * 2020-11-23 2022-05-03 浙江天行健智能科技有限公司 基于眼球动作追踪的交通事故发生时间预测建模方法
CN112489425A (zh) * 2020-11-25 2021-03-12 平安科技（深圳）有限公司 车辆防撞预警方法、装置、车载终端设备和存储介质
EP4005889A1 (en) * 2020-11-30 2022-06-01 Aptiv Technologies Limited Attention assist method for dynamic blind zone with driver state in the loop, assist system, vehicle and computer program
JP2022119428A (ja) * 2021-02-04 2022-08-17 本田技研工業株式会社 運転支援装置
JP7229283B2 (ja) * 2021-02-04 2023-02-27 本田技研工業株式会社 車両用シートベルト装置
CN113173168A (zh) * 2021-04-30 2021-07-27 重庆工程职业技术学院 车辆智能驾驶控制系统及方法
US11749032B2 (en) 2021-05-17 2023-09-05 Toyota Research Institute, Inc. Systems and methods for adapting notifications according to component monitoring
CN113421458A (zh) * 2021-06-16 2021-09-21 吉林大学 一种重型商用车驾驶员动态盲区的检测方法
CN113450595A (zh) * 2021-06-30 2021-09-28 江西昌河汽车有限责任公司 一种人车交互的防碰撞预警系统及预警方法
US11861916B2 (en) * 2021-10-05 2024-01-02 Yazaki Corporation Driver alertness monitoring system
EP4163896A1 (en) 2021-10-08 2023-04-12 Honda Research Institute Europe GmbH Assistance system with relevance-dependent stimulus modulation
FR3132266A1 (fr) * 2022-01-28 2023-08-04 Renault S.A.S Procédé d’adaptation d’informations communiquées à un conducteur d’un véhicule et dispositif d’assistance à la conduite apte à mettre en œuvre un tel procédé.
US20230267399A1 (en) * 2022-02-18 2023-08-24 Bendix Commercial Vehicle Systems Llc System and method for providing a driver of a vehicle with feedback for self-coaching
US11878707B2 (en) * 2022-03-11 2024-01-23 International Business Machines Corporation Augmented reality overlay based on self-driving mode
US11934574B2 (en) * 2022-07-15 2024-03-19 Ghost Autonomy Inc. Modifying vehicle display parameters using operator gaze

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU69814U1 (ru) * 2006-03-22 2008-01-10 Федеральное государственное унитарное предприятие Центральный научно-исследовательский институт машиностроения (ФГУП ЦНИИмаш) Устройство сигнализации о движении транспорта специального назначения

Family Cites Families (38)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7570785B2 (en) 1995-06-07 2009-08-04 Automotive Technologies International, Inc. Face monitoring system and method for vehicular occupants
JPH1139199A (ja) 1997-07-18 1999-02-12 Fujitsu General Ltd 業務管理データトランザクションシステム
JP3465590B2 (ja) * 1998-05-27 2003-11-10 トヨタ自動車株式会社 車両走行支援装置
US6154559A (en) 1998-10-01 2000-11-28 Mitsubishi Electric Information Technology Center America, Inc. (Ita) System for classifying an individual's gaze direction
JP4348663B2 (ja) 1999-12-09 2009-10-21 マツダ株式会社 自動車の制御装置
JP4385392B2 (ja) 2000-06-15 2009-12-16 マツダ株式会社 車両用情報提供装置
US6909947B2 (en) * 2000-10-14 2005-06-21 Motorola, Inc. System and method for driver performance improvement
BR0307760A (pt) 2002-02-19 2006-04-04 Volvo Technology Corp sistema e método para a monitoração e o gerenciamento de gargas de atenção do motorista
WO2003074307A1 (en) * 2002-03-07 2003-09-12 Yechezkal Evan Spero Enhanced vision for driving
US6927674B2 (en) 2002-03-21 2005-08-09 Delphi Technologies, Inc. Vehicle instrument cluster having integrated imaging system
US7206435B2 (en) 2002-03-26 2007-04-17 Honda Giken Kogyo Kabushiki Kaisha Real-time eye detection and tracking under various light conditions
AU2003269772A1 (en) 2002-10-15 2004-05-04 Volvo Technology Corporation Method and arrangement for interpreting a subjects head and eye activity
US6859144B2 (en) * 2003-02-05 2005-02-22 Delphi Technologies, Inc. Vehicle situation alert system with eye gaze controlled alert signal generation
US6906619B2 (en) * 2003-02-27 2005-06-14 Motorola, Inc. Visual attention influenced condition indicia apparatus and method
US6989754B2 (en) * 2003-06-02 2006-01-24 Delphi Technologies, Inc. Target awareness determination system and method
WO2004108466A1 (en) 2003-06-06 2004-12-16 Volvo Technology Corporation Method and arrangement for controlling vehicular subsystems based on interpreted driver activity
JP4275507B2 (ja) * 2003-10-28 2009-06-10 富士通テン株式会社 運転支援装置
SE0303122D0 (sv) 2003-11-20 2003-11-20 Volvo Technology Corp Method and system for communication and/or interaction between a vehicle driver and a plurality of applications
JP4277081B2 (ja) * 2004-03-17 2009-06-10 株式会社デンソー 運転支援装置
DE102005018697A1 (de) * 2004-06-02 2005-12-29 Daimlerchrysler Ag Verfahren und Vorrichtung zur Warnung eines Fahrers im Falle eines Verlassens der Fahrspur
US7689008B2 (en) * 2005-06-10 2010-03-30 Delphi Technologies, Inc. System and method for detecting an eye
US7551991B2 (en) * 2006-03-07 2009-06-23 Tdk Corporation Vehicle over speed indicator
EP2032034B1 (en) * 2006-06-11 2020-04-01 Volvo Truck Corporation Method for determining and analyzing a location of visual interest
SG138501A1 (en) * 2006-07-05 2008-01-28 Micron Technology Inc Lead frames, microelectronic devices with lead frames, and methods for manufacturing lead frames and microelectronic devices with lead frames
US7609150B2 (en) * 2006-08-18 2009-10-27 Motorola, Inc. User adaptive vehicle hazard warning apparatuses and method
JP4420002B2 (ja) * 2006-09-14 2010-02-24 トヨタ自動車株式会社 視線先推定装置
US7579942B2 (en) 2006-10-09 2009-08-25 Toyota Motor Engineering & Manufacturing North America, Inc. Extra-vehicular threat predictor
JP2008222055A (ja) * 2007-03-13 2008-09-25 Toyota Motor Corp 運転補助制御装置
JP5045212B2 (ja) * 2007-04-25 2012-10-10 株式会社デンソー 顔画像撮像装置
JP4992907B2 (ja) * 2007-05-02 2012-08-08 トヨタ自動車株式会社 車両挙動制御装置
US8831299B2 (en) * 2007-05-22 2014-09-09 Intellectual Ventures Fund 83 Llc Capturing data for individual physiological monitoring
US7859432B2 (en) 2007-05-23 2010-12-28 Che Il Electric Wireing Devices Co., Ltd. Collision avoidance system based on detection of obstacles in blind spots of vehicle
JP5028302B2 (ja) * 2008-03-05 2012-09-19 本田技研工業株式会社 車両用警報装置
JP4727688B2 (ja) * 2008-04-23 2011-07-20 トヨタ自動車株式会社 覚醒度推定装置
EP2141696A1 (en) * 2008-07-03 2010-01-06 Deutsche Thomson OHG Method for time scaling of a sequence of input signal values
US8028789B2 (en) * 2008-07-31 2011-10-04 GM Global Technology Operations LLC Control adaptation of variable gear ratio steering
US8384532B2 (en) * 2009-04-02 2013-02-26 GM Global Technology Operations LLC Lane of travel on windshield head-up display
US8631893B2 (en) * 2009-11-16 2014-01-21 Michael M. Van Schoiack Driver drowsiness detection and verification system and method

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU69814U1 (ru) * 2006-03-22 2008-01-10 Федеральное государственное унитарное предприятие Центральный научно-исследовательский институт машиностроения (ФГУП ЦНИИмаш) Устройство сигнализации о движении транспорта специального назначения

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2704887C2 (ru) * 2015-05-19 2019-10-31 ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи Способ и система для повышения осведомленности водителя транспортного средства, а также транспортное средство
RU2737672C2 (ru) * 2016-03-21 2020-12-02 ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи Идентификация водителя транспортного средства
RU2741129C1 (ru) * 2017-01-20 2021-01-22 Ниссан Мотор Ко., Лтд. Способ прогнозирования поведения транспортного средства и устройство прогнозирования поведения транспортного средства
RU2711817C2 (ru) * 2017-01-25 2020-01-22 ФОРД ГЛОУБАЛ ТЕКНОЛОДЖИЗ, ЭлЭлСи Системы и способы предотвращения столкновений
RU2730299C1 (ru) * 2017-06-26 2020-08-21 Ниссан Мотор Ко., Лтд. Способ помощи в передвижении транспортного средства и устройство помощи в передвижении транспортного средства
RU2756256C1 (ru) * 2017-11-11 2021-09-28 Бендикс Коммёршл Виикл Системз Ллк Система и способы контроля поведения водителя для управления автопарком в парке транспортных средств с использованием устройства формирования изображения, обращенного к водителю
US11188769B2 (en) 2017-11-11 2021-11-30 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
US11715306B2 (en) 2017-11-11 2023-08-01 Bendix Commercial Vehicle Systems Llc System and methods of monitoring driver behavior for vehicular fleet management in a fleet of vehicles using driver-facing imaging device
RU2709702C1 (ru) * 2017-12-08 2019-12-19 Тойота Дзидося Кабусики Кайся Устройство привлечения внимания для транспортного средства
US10703267B2 (en) 2017-12-08 2020-07-07 Toyota Jidosha Kabushiki Kaisha Haptic and visual attention attracting device for vehicle

Also Published As

Publication number Publication date
CN102656613B (zh) 2015-02-11
CA2779923A1 (en) 2011-06-23
JP2013514592A (ja) 2013-04-25
WO2011075392A1 (en) 2011-06-23
US20120271484A1 (en) 2012-10-25
EP2513882A1 (en) 2012-10-24
EP2513882A4 (en) 2013-05-29
RU2012130445A (ru) 2014-01-27
CN102656613A (zh) 2012-09-05
US9650041B2 (en) 2017-05-16
EP2513882B1 (en) 2014-04-02
BR112012012635A2 (pt) 2016-07-12
US20170247031A1 (en) 2017-08-31
US10336323B2 (en) 2019-07-02

Similar Documents

Publication Publication Date Title
RU2514924C2 (ru) Прогнозирующий человеко-машинный интерфейс с использованием технологии обнаружения взгляда, индикаторов "мертвых" зон и водительского опыта
US9649936B2 (en) In-vehicle device, control method of in-vehicle device, and computer-readable storage medium
US11851077B2 (en) Secondary disengage alert for autonomous vehicles
US6906619B2 (en) Visual attention influenced condition indicia apparatus and method
US9227631B2 (en) Method for safely parking a vehicle in an emergency situation
WO2017169026A1 (ja) 運転支援装置、自動運転制御装置、車両、運転支援方法およびプログラム
EP3575175B1 (en) Method and system for assisting drivers to drive with precaution
JP4604691B2 (ja) 車両用警報装置、車両周囲状況の警報方法
US11279371B2 (en) Method, system and vehicle for use of an object displaying device in a vehicle
EP3757967A1 (en) Vehicle warning device
WO2020003750A1 (ja) 車両用表示制御装置、車両用表示制御方法、及び制御プログラム
CN112428953A (zh) 一种盲区监测报警方法及装置
JP2016224553A (ja) 車両用交通情報表示システム
US11590845B2 (en) Systems and methods for controlling a head-up display in a vehicle
EP4005889A1 (en) Attention assist method for dynamic blind zone with driver state in the loop, assist system, vehicle and computer program
CN111775832A (zh) 汽车智能盲点侦测系统
WO2023062804A1 (ja) 乗員状態検知装置、乗員状態検知システム、車両制御システム、および乗員状態検知方法
Mutthalkar et al. Advanced Driver Assist System: Case Study
US20230271604A1 (en) Automatic driver assist system for a vehicle
KR20230106207A (ko) 적어도 하나 이상의 모드에 따라, 제어되는 차량 및 방법

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20151210