RU2662293C2 - Способ непрерывного контроля психофизиологического состояния водителей, перевозящих опасные грузы и пассажиров по дорогам общего пользования, система, его реализующая, и блок обработки и управления, используемый в ней - Google Patents

Abstract

Изобретение относится к способам и средствам мониторинга и оценки производительности человека. Средство мониторинга включает в себя: сбор данных о состоянии водителя от датчиков электроэнцефалограммы и видеокамеры, сбор данных о характере движения транспортного средства, голосовой опрос водителя, интеллектуальное отслеживание пороговых значений и динамики данных, активацию устройств, активацию бортовых приборов транспортного средства. Голосовой опрос водителя представляет формирование звукового сигнала в его адрес, одновременную фиксацию данных о времени, затраченном водителем на обдумывание вопроса и предоставление ответа, а также классификацию состояния водителя в режиме реального времени на основании обработки данных о состоянии водителя и о характере движения транспортного средства и данных его голосового опроса путем сопоставления обработанных сигналов с автоматическим классификатором. Активация бортовых приборов транспортного средства предназначена для предупреждения окружающих в случае невозврата водителя к нормальному психофизиологическому состоянию в течение заданного временного интервала. Достигается повышение эффективности контроля работоспособности водителя. 3 н. и 11 з.п. ф-лы, 2 ил.

Description

Настоящая группа изобретений относится к способам и средствам для мониторинга и оценки производительности человека, и более конкретно, к использованию биометрических технологий для определения состояния водителя, выполняющего поставленную задачу и может быть применена в управлении дорожным движением; деятельности предприятий, осуществляющих автомобильные перевозки пассажиров и опасных грузов по дорогам общего пользования.

Известны, например, патенты «Метод и устройство для мониторинга и оценки состояния оператора» US 7027621 и «Метод и система мониторинга усталости водителя» US 8725311.

Патент US 8725311 содержит описание способа и системы непрерывного контроля психофизиологического состояния водителей, перевозящих опасные грузы и пассажиров по дорогам общего пользования, которая содержит: датчики, расположенные в сиденье (спинке или подголовнике) или в ремне безопасности, предназначенные для снятия электроэнцефалограммы водителя; видеокамеру, выполненную в виде отдельного внешнего устройства, подключенного к блоку обработки и управления, причем видеокамера расположена перед водителем и направлена на его лицо и оснащена инфракрасной подсветкой для обеспечения функционирования в темное время суток; блок воздействия на водителя, содержащий блок световой индикации (сигнальная лампа), блок вибрационной индикации (генератор тактильных ощущений) и блок звуковой индикации (устройство, выполненное с возможностью воспроизведения предупреждающего звукового сигнала), блок голосового взаимодействия с водителем, включающий микрофон и голосовой динамик, блок обработки и управления, с которым соединены все упомянутые элементы и который имеет возможность подключения к нему бортовых приборов транспортного средства, а также выполненный в виде ЭВМ.

Недостатком известных способа и системы является низкая эффективность контроля работоспособности водителя.

Техническим результатом заявляемых способа и системы является повышение эффективности контроля работоспособности водителя.

Указанный технический результат в части способа достигается за счет того, что способ непрерывного контроля психофизиологического состояния водителей, перевозящих опасные грузы и пассажиров по дорогам общего пользования, включает сбор данных о состоянии водителя от датчиков электроэнцефалограммы и видеокамеры, сбор данных о характере движения транспортного средства, обработку и интерпретацию собранных данных, голосовой опрос водителя посредством формирования звукового сигнала в его адрес, содержащего вопрос на основе шаблонов вопросов, фиксацию и запись ответа, предоставленного водителем на полученный вопрос, с дальнейшим переводом речи в текст, одновременную фиксацию данных о времени, затраченном водителем на обдумывание вопроса и предоставление ответа, сопоставление полученного ответа с эталонным ответом из базы эталонных ответов, предварительно сформированной экспертами с применением семантической и онтологической разметки и словарей, классификацию состояния водителя в режиме реального времени на основании обработки данных о состоянии водителя и о характере движения транспортного средства и данных его голосового опроса путем сопоставления обработанных сигналов с автоматическим классификатором, содержащим все возможные комбинации параметров и их значений, характеризующих динамику изменений параметров, и интеллектуального отслеживания пороговых значений и динамики данных, активацию устройств, предназначенных для стимуляции деятельности водителя и вывода его из опасного состояния, в зависимости от результатов классификации, активацию бортовых приборов транспортного средства для предупреждения окружающих в случае невозврата водителя к нормальному психофизиологическому состоянию в течение заданного временного интервала.

Указанный технический результат в части системы достигается за счет того, что система непрерывного контроля психофизиологического состояния водителей, перевозящих опасные грузы и пассажиров по дорогам общего пользования, включает установленные в кабине транспортного средства блок датчиков состояния водителя, содержащий датчики электроэнцефалограммы и видеокамеру, блок воздействия на водителя, содержащий блок световой индикации, блок вибрационной индикации и блок звуковой индикации, блок голосового взаимодействия с водителем, включающий микрофон и голосовой динамик, блок обработки и управления, с которым соединены блок датчиков состояния водителя, блок воздействия на водителя, блок голосового взаимодействия с водителем и который имеет возможность подключения к нему бортовых приборов транспортного средства. При этом блок голосового взаимодействия с водителем содержит базу шаблонов вопросов и базу эталонных ответов на них, сформированную экспертами с применением словарей, семантической и онтологической разметки.

Возможны варианты, при которых:

- датчики электроэнцефалограммы встроены в повязку на голову водителя или в головной убор униформы;

- видеокамера снабжена инфракрасной подсветкой и/или оптическими фильтрами для повышения качества получаемых изображений;

- блок световой индикации снабжен аккумулятором для автономной работы;

- блок вибрационной индикации снабжен аккумулятором для автономной работы;

- блок вибрационной индикации расположен на коврике-подстилке, встраиваемом в водительское сидение транспортного средства или в вибронакидке на водительское сидение;

- блок звуковой индикации снабжен аккумулятором для автономной работы;

- блок обработки и управления выполнен с возможностью подключения к нему видеокамеры, регистрирующей дорожные события, например, штатного видеорегистратора;

- блок обработки и управления выполнен с возможностью подключения к внешнему серверу, расположенному за пределами транспортного средства.

Таким образом, повышение эффективности контроля работоспособности водителя происходит за счет постоянного автоматизированного и интеллектуального контроля работоспособности водителя и при ее снижении до опасного порогового уровня автоматической реализации действий, направленных на восстановление работоспособности водителя. Заявляемые совокупности признаков в части способа и системы обеспечивают повышение достоверности контроля за счет повышения точности обработки и интерпретации данных. В результате в каждый момент времени (непрерывно) отслеживается психофизиологическое состояние водителя путем обработки актуальных комплексных многокритериальных данных, характеризующих текущее или прогнозируемое состояние водителя.

Техническим результатом заявляемого блока обработки и управления является повышение качества и скорости обработки данных.

Указанный технический результат достигается за счет того, что блок обработки и управления, применяемый в системе непрерывного контроля психофизиологического состояния водителей, перевозящих опасные грузы и пассажиров по дорогам общего пользования, выполнен в виде платы, размещенной в корпусе, и содержит модуль передачи данных, модуль GPS/GLONASS, графический процессор, модуль беспроводной передачи данных Bluetooth, модуль беспроводной передачи данных Wi-Fi, встроенную память, включающую классификатор и базу эталонных ответов, центральный процессор, соединенный со всеми упомянутыми элементами.

Возможны варианты, когда корпус блока обработки и управления выполнен пыле/вибро/влагозащищенным; в корпус блока обработки и управления встроен радиатор без принудительной конвекции; блок обработки и управления выполнен с возможностью подключения внешних датчиков.

Таким образом, повышается качество и скорость обработки данных благодаря возможности выполнения параллельных многопотоковых вычислений и обеспечения выполнения критерия непрерывности мониторинга в квазиреальном времени за счет наличия графического процессора с многоядерной архитектурой, позволяющей многократно превышать производительность выполняемых вычислений по сравнению с традиционными вычислениями на центральном процессоре.

Заявляемые технические решения поясняются совместно нижеследующими фигурами и описанием.

На Фиг. 1 изображена блок схема системы непрерывного контроля психофизиологического состояния водителей, перевозящих опасные грузы и пассажиров по дорогам общего пользования.

На Фиг. 2 изображена блок схема блока обработки и управления, используемого в системе непрерывного контроля психофизиологического состояния водителей, перевозящих опасные грузы и пассажиров по дорогам общего пользования.

Система непрерывного контроля психофизиологического состояния водителей, перевозящих опасные грузы и пассажиров по дорогам общего пользования содержит (Фиг. 1) установленные в кабине транспортного средства (ТС) блок датчиков состояния водителя, блок воздействия на водителя, блок голосового взаимодействия с водителем и блок обработки и управления (БОиУ), с которым соединены блок датчиков состояния водителя, блок воздействия на водителя и блок голосового взаимодействия с водителем, а также бортовые приборы ТС. БОиУ может быть подключен к внешнему серверу, расположенному за пределами ТС. Блок датчиков состояния водителя включает датчики электроэнцефалограммы (ЭЭГ) и видеокамеру, которые позволяют получать данные о состоянии водителя. Блок воздействия на водителя включают световую, вибрационную, звуковую индикацию. Блок голосового взаимодействия с водителем включает микрофон и голосовой динамик. К бортовым приборам ТС относятся внешние световые приборы (фары, габаритные огни, световая аварийная сигнализация) и звуковой сигнал.

Датчики ЭЭГ представляют собой переносное малогабаритное устройство для снятия ЭЭГ, основанное на сухих (без использования токопроводящего геля) контактных датчиках. Датчики ЭЭГ могут быть встроен в повязку на голову водителя или в другой, например, головной убор униформы. Нейроинтерфейс датчиков ЭЭГ осуществляет сбор данных электрической активности головного мозга водителя с последующим частотным преобразованием и распределением по диапазонам: дельта, альфа, бета, тета и гамма. Датчики ЭЭГ могут быть подключены к БОиУ по проводной или беспроводной связи по интерфейсу Bluetooth и может содержать встроенный аккумулятор для автономной работы.

Видеокамера обычно выполнена в виде отдельного внешнего устройства, подключенного к БОиУ посредством беспроводной или проводной связи, например, высокоскоростного интерфейса проводной передачи данных USB 3.0. Видеокамера расположена в кабине ТС так, чтобы постоянно регистрировать движения рук, головы, мимики лица водителя, и установлена в районе лобового стекла ТС, не ограничивая обзор водителя. С помощью видеокамеры получают последовательные изображения водителя с высокой частотой и передают их на БОиУ. Видеокамера может быть снабжена инфракрасной подсветкой для обеспечения функционирования в темное время суток и/или оптическими фильтрами для повышения качества получаемых изображений.

БОиУ выполнен в виде платы, размещенной в корпусе, и содержит модуль передачи данных 2G/3G/4G LTE, предназначенный для отправки обработанной информации и других данных, например, при голосовом взаимодействии на внешний сервер (в случае его наличия) или другие внешние устройства (например, персональный компьютер техника, который занимается отладкой системы), модуль GPS/GLONASS, предназначенный для определения местоположения ТС, графический процессор, предназначенный для выполнения высокопроизводительных вычислений и обработки сигналов видеокамеры, модуль беспроводной передачи данных Bluetooth, предназначенный для подключения нейроинтерфейса датчика ЭЭГ, модуль беспроводной передачи данных Wi-Fi, предназначенный для подключения внешних точек доступа, центральный процессор, предназначенный для координации работы всех элементов и модулей, входящих в состав БОиУ.

БОиУ осуществляет сбор сигналов от блока датчиков состояния водителя. Сигналы от датчика ЭЭГ обрабатываются с применением различных фильтров и алгоритмов для удаления шумов и помех. Сигналы с видеокамеры обрабатываются с целью получения данных о мимике водителя (количество глаз в кадре, частота моргания, время смыкания век, наклоны, кивки и повороты головы и др.).

Затем в режиме реального времени производится сопоставление обработанных сигналов с хранящимся в памяти блока классификатором, представляющим собой базу данных всех возможных комбинаций сигналов в момент времени, а также динамики эталонных изменений, которая составляется на основе выборки по большому количеству данных.

С помощью соединения с блоком голосового взаимодействия с водителем (БГВВ) реализован голосовой опрос водителя для сбора дополнительных параметров его психофизиологического состояния. При этом БГВВ может быть выполнен в самостоятельном корпусе или встроен в БОиУ. БОиУ, используя динамик и алгоритм преобразования текст-звук, формирует звуковой сигнал в адрес водителя, содержащий вопрос на основе сохраненных в памяти шаблонов вопросов. Также в памяти БОиУ содержится составленная экспертами база эталонных ответов, построенная с применением семантической и онтологической разметки и словарей, что позволяет корректно обрабатывать слова в различных падежах, синонимы, термины из смежной области знаний, разговорные и сленговые выражения, а также прочие индивидуальные аспекты речи водителя, отличающиеся от эталонных, но имеющие аналогичное значение в контексте произнесенной фразы. Применение данного подхода обеспечивает высокую точность обработки и интерпретации данных. В ответ на полученный вопрос водитель предоставляет ответ, который записывается и направляется на внешний сервер (в случае его наличия), где переводится из речи в текст. Выполнение перевода речи в текст возможно также программными средствами БОиУ без использования внешнего сервера. Затем, посредством получения сообщения от внешнего сервера или внутреннего сообщения, содержащего тестовую расшифровку предоставленного водителем ответа, а также данные времени, затраченные водителем на обдумывание вопроса и предоставление ответа, производится сопоставление полученного ответа с эталонным. Блок обработки и управления учитывает полученные данные о правильности предоставленного ответа, а также о затраченном на предоставление ответа времени наряду с данными видеокамеры и ЭЭГ в алгоритмах классификации состояний водителя.

В результате в каждый момент времени (непрерывно) отслеживается психофизиологическое состояние водителя с присвоением статуса: нормальное, умеренно опасное, опасное, очень опасное.

В зависимости от присвоенного статуса задействуются устройства блока воздействия на водителя, предназначенные для стимуляции деятельности водителя и вывода его из опасного состояния. При нормальном статусе устройства не задействованы. При умеренно опасном статусе включается световая сигнализация. При опасном статусе к световой индикации добавляется вибрационная индикация. При очень опасном статусе добавляется третий механизм стимуляции - звуковая индикация, выполненная в виде отдельного блока, оснащенного динамиками и подключаемого к БОиУ. В случае возврата водителя к нормальным психофизиологическим параметрам устройства блока воздействия на водителя отключаются.

В случае невозврата водителя к нормальному психофизиологическому состоянию в течение заданного временного интервала блок обработки и управления задействует бортовые приборы ТС, а именно устройства световой сигнализации: свет фар и аварийная сигнализация, а также звуковые сигналы ТС.

Блок осуществляет передачу обработанных данных на внешний сервер, в том числе: идентификационный номер ТС, данные о местоположении ТС, скорость ТС, статус состояния водителя, данные о срабатывании устройств вывода. В случае отсутствия сетевого соединения (пропала связь) осуществляется логирование данных в память блока с последующей отправкой на сервер при восстановлении соединения. Внешний сервер имеет протокол подключения, таким образом, доступ к данным по конкретному ТС или группе ТС могут иметь операторы или сотрудники диспетчерских центров мониторинга.

Корпус БОиУ может быть выполнен: пыле/вибро/влагозащищенным. В корпус может быть встроен радиатор без принудительной конвекции для естественного охлаждения. БОиУ может быть выполнен с возможностью подключения прочих внешних датчиков и модификации программного обеспечения (ПО).

Световая индикация выполнена в виде блока, состоящего из любых источников излучение видимого диапазона, например светодиодов, и периферийной электроники, подключенного к БОиУ посредством проводного или беспроводного соединения. Блок световой индикации устанавливается таким образом, чтобы сигналы индикации для водителя находились в поле его зрения. Блок световой индикации дополнительно может быть снабжен аккумулятором для автономной работы.

При получении управляющего сигнала (команды) от БОиУ блок индикации начинает функционировать.

Блок световой индикации может быть выполнен с возможностью регулировки уровня выходного сигнала в соответствии с преднастройками алгоритма БОиУ.

Вибрационная индикация выполнена в виде блока, расположенного на коврике-подстилке, встраиваемого в водительское сидение ТС, в вибронакидке на водительское сидение или в другом инструменте тактильное воздействия, подключенного к БОиУ посредством проводного и беспроводного соединения.

Блок вибрационной индикации дополнительно может быть снабжен аккумулятором для автономной работы.

При получении управляющего сигнала (команды) от блока обработки и управления блок вибрационной индикации начинает функционировать.

Звуковая индикация выполнена в виде блока, состоящего из динамиков и периферийной электроники, подключенного к БОиУ посредством проводного или беспроводного соединения. Блок звуковой индикации устанавливается таким образом, чтобы обеспечить достаточную для водителя слышимость сигналов индикации для водителя.

Блок звуковой индикации дополнительно может быть снабжен аккумулятором для автономной работы.

При получении управляющего сигнала (команды) от БОиУ блок звуковой индикации начинает функционировать.

Блок звуковой индикации может быть выполнен с возможностью регулировки уровня выходного сигнала в соответствии с преднастройками алгоритма БОиУ.

В случае невозврата водителя к нормальному психофизиологическому состоянию в течение заданного временного интервала БОиУ задействует бортовые приборы транспортного средства (ТС), а именно устройства световой сигнализации: свет фар и аварийная сигнализация, а также звуковые сигналы ТС. То есть к БОИУ могут быть подключены штатные приборы ТС.

Заявляемая система может быть подключена к внешнему серверу, обеспечивающему прием и хранение данных от ТС в базе с возможностью резервирования данных и обеспечения многопользовательского подключения с настраиваемыми уровнями доступа.

Также система может быть подключена к видеокамере, регистрирующей дорожные события (например, штатному видеорегистратору).

Блок датчиков состояния водителей подключают к БОиУ.

Датчик ЭЭГ подключают к БОиУ. Включение/отключение датчика ЭЭГ выполняется управляющим сигналом, поступающим от БОиУ. В процессе работы производится односторонняя передача данных от датчика ЭЭГ к БОиУ.

Видеокамеру подключают к БОиУ. Включение/отключение видеокамеры выполняют управляющим сигналом, поступающим от БОиУ. В процессе работы производится односторонняя передача данных от видеокамеры к БОиУ.

БОиУ может быть подключен к бортовому компьютеру транспортного средства (ТС) посредством проводного соединения через шину CAN или одну из ее реализаций. Передача данных двусторонняя: от БОиУ поступают запросы, на БОиУ поступают требуемые данные.

Подключение микрофона и голосового динамика для обеспечения механизмов голосового взаимодействия с водителем осуществляется непосредственно к соответствующим разъемам, имеющимся в БОиУ, посредством проводного соединения. Передача данных односторонняя: от микрофона к БОиУ и от БОиУ к динамику.

Также на БОиУ представлен ряд разъемов для проводного подключения устройств блока датчиков состояния водителя, устройств блока воздействия на водителя и приборов ТС. Имеется также по меньшей мере один запасной разъем.

Подключение к внешнему серверу или иным внешним приборам может осуществляться по беспроводному каналу передачи данных (2G/3G/4G или Wi-Fi посредством встроеных в БОиУ передающих устройств (модулей и модемов)). Передача данных ведется, например, пакетным способом.

Блок обработки и управления (Фиг. 2), используемый в системе, содержит расположенные в едином корпусе на по меньшей мере одной плате центральный и графический процессор, модем 2G/3G/4G, модуль GPS/GLONASS, беспроводные интерфейсы Bluetooth и Wi-Fi, разъемы для подключения внешних устройств.

Центральный процессор представляет собой микропроцессор, исполняющий код программ.

Центральный процессор осуществляет функции координации и синхронизации работы всех блоков, модулей и устройств, входящих в состав БОиУ.

Беспроводной интерфейс Bluetooth представляет собой приемо-передающее устройство, расположенное на плате БОиУ. Посредством данного интерфейса осуществляется сбор первичных данных электроэнцефалограммы (ЭЭГ) с датчика ЭЭГ.

К интерфейсу может быть подключена внешняя антенна для обеспечения более надежной связи. БОиУ может быть выполнен с возможностью поддержки протокола передачи данных Bluetooth 4.0

Модуль GPS/GLONASS представляет собой устройство позиционирования, расположенное на плате БОиУ.

Посредством данного модуля осуществляется сбор данных о местоположении транспортного средства (координаты) и скорости его передвижения. К модулю может быть подключена внешняя антенна.

Встроенная память реализована в виде оперативного запоминающего устройства и устройства долговременного хранения информации.

Оперативное запоминающее устройство используется для кратковременной записи первичных необработанных данных для осуществления дальнейшей отправки для обработки на высокопроизводительный графический контроллер. Также оперативная память используется для кэширования отправляемых на сервер или иные внешние устройства данных для обеспечения целостности передаваемой информации в случае кратковременного разрыва связи или прекращения сетевого соединения и его последующего восстановления.

Устройство долговременного хранения информации используется для хранения обработанных данных о психо-физиологическом состоянии водителя и характере движения транспортного средства за настраиваемый период времени, хранения алгоритмов и кодов программ, настроек системы.

Модем 2G/3G/4G представляет собой устройство передачи данных, расположенное на плате БОиУ. Модем предназначен для отправки данных на сервер или иные внешние устройства через инфраструктуру операторов сотовой связи. К модему может быть подключена внешняя антенна.

Беспроводной интерфейс Wi-Fi представляет собой устройство передачи данных, расположенное на плате БОиУ. Интерфейс предназначен для отправки данных на сервер или иные внешние устройства. К интерфейсу может быть подключена внешняя антенна.

Графический процессор выполнен в виде видеокарты - устройства обработки данных, имеющего специализированную архитектуру.

Графический процессор предназначен для выполнения задач, связанных и исполнением алгоритмов обработки данных: данные ЭЭГ, потоковые данные видеокамеры, голосовые данные (распознавание).

Графический процессор реализован с возможностью выполнения параллельных многопотоковых вычислений за счет многоядерной архитектуры, многократное превышение производительности выполняемых вычислений по сравнению с традиционными вычислениями на центральном процессоре, что позволяет повышать качество обработки данные и обеспечивать выполнение критерия непрерывности мониторинга в квазиреальном времени.

Все элементы и модули, представленные на схеме БОиУ реализованы и соединены друг с другом в рамках единой печатной платы.

Входящие первичные необработанные данные (голосовые данные, ЭЭГ, данные видеокамеры) записываются в устройство оперативной памяти и направляются на обработку с помощью Графического процессора (контроллера). Обработанные данные записываются (логгируются) в устройстве долговременного хранения информации для накопления массива данных за определенный период.

Обработанные данные дополняются информацией о скорости и местоположении транспортного средства в момент времени, получаемой с помощью модуля GPS/GLONASS.

В зависимости от присвоенного в соответствии с классификатором состояния водителя производится управление внешними устройствами индикации и предупреждения, подключенными по проводному интерфейсу.

Данные отправляются на сервер или иные внешние устройства посредством встроенного Модема или Wi-Fi модуля.

Описанная система реализует следующий способ непрерывного контроля психофизиологического состояния водителей, перевозящих опасные грузы и пассажиров по дорогам общего пользования, который включает сбор данных о состоянии водителя от датчиков ЭЭГ и видеокамеры, расположенных в блоке датчиков состояния водителя; сбор данных о характере движения транспортного средства с помощью подключения БОиУ к бортовым приборам ТС; обработку и интерпретацию собранных данных с помощью БОиУ; голосовой опрос водителя с помощью блока взаимодействия с водителем посредством формирования звукового сигнала в его адрес, содержащего вопрос на основе шаблонов вопросов, фиксацию и запись ответа, предоставленного водителем на полученный вопрос, с дальнейшим переводом речи в текст с помощью БОиУ; одновременную фиксацию с помощью БОиУ данных о времени, затраченном водителем на обдумывание вопроса и предоставление ответа; сопоставление с помощью БОиУ полученного ответа с эталонным ответом из базы эталонных ответов, предварительно сформированной экспертами с применением семантической и онтологической разметки и словарей; на основании обработки данных о состоянии водителя и о характере движения транспортного средства и данных его голосового опроса в режиме реального времени с помощью БОиУ классифицируют его состояние путем сопоставления обработанных сигналов с автоматическим классификатором, содержащим все возможные комбинации параметров и их значений, характеризующих динамику изменений параметров, и интеллектуального отслеживания пороговых значений и динамики данных; в зависимости от результатов классификации с помощью блока обработки и управления задействуют устройства, предназначенные для стимуляции деятельности водителя и вывода его из опасного состояния, входящие в состав блока воздействия на водителя; в случае невозврата водителя к нормальному психофизиологическому состоянию в течение заданного временного интервала с помощью БОиУ задействуют бортовые приборы ТС для предупреждения окружающих.

Система монтируется непосредственно на транспортное средство (ТС): в кабине или за ее пределами устанавливают БОиУ, напротив водителя монтируют видеокамеру, в поле зрения водителя монтируют блок световой индикации, чтобы световые сигналы попадали в поле прямого или периферического зрения водителя, на водительское кресло монтируют вибронакидку (устройство вибрационной индикации), в любом незвукоизолированном месте, обеспечивающим достаточную слышимость звуковых сигналов, устанавливают блок звуковой индикации. Водитель ТС надевает форменный головной убор с вмонтированными в него датчиками электроэнцефалограммы (ЭЭГ), которые подключают к БОиУ.

Кроме того, управляющие выводы БОиУ подключают к бортовой сети/системе ТС для обеспечения возможности управления свето-звуковыми приборами ТЗ. К БОиУ подключают выносной микрофон для записи голосовых сообщений водителя ТС. Также блок подключается посредством шины CAN к бортовому компьютеру ТС для получения дополнительных сведений (скорость, обороты двигателя, запас топлива и ошибки и неисправности) в соответствии с поддерживаемым ТС протоколом передачи данных.

При включении двигателя ТС автоматически производится включение системы, загрузка алгоритмов и проверка работоспособности и исправности датчиков. В случае выявления неполадки или ошибки подается звуковой сигнал и отправляется сообщение на внешний сервер (в случае его наличия), содержащее код ошибки.

Видеокамера и датчики снятия ЭЭГ передают данные на БОиУ. Поступающие данные обрабатываются и интерпретируются. Данные о характере движения ТС поступают со встроенного модуля Glonass/GPS, а также с бортового компьютера ТС посредством подключения по шине CAN. Данные о характере движения ТС необходимы для введения поправочных коэффициентов в алгоритмах с учетом скорости движения ТС, а также прогнозирования возможных сценариев изменения состояния водителя, например в случае равнопеременного движения в течение продолжительного времени возрастает риск возникновения состояния монотонии.

Система также получает дополнительные сведения о состоянии водителя посредством голосового общения с водителем. Бортовое устройство, используя динамик и алгоритм преобразования текст-звук, задает водителю вопрос на основе сохраненных в памяти шаблонов вопросов. Также в памяти устройства содержится база эталонных ответов, построенная экспертами с применением семантической и онтологической разметки и словарей, что позволяет корректно обрабатывать слова в различных падежах, синонимы, термины из смежной области знаний, разговорные и сленговые выражения, а также прочие индивидуальные аспекты речи водителя, отличающиеся от эталонных, но имеющие аналогичное значение в контексте произнесенной фразы. Применение данного подхода обеспечивает высокую точность обработки и интерпретации данных. В ответ на полученный вопрос водитель предоставляет ответ, который записывается и направляется на внешний сервер, где переводится из речи в текст. Выполнение перевода речи в текст возможно также программными средствами БОиУ без использования внешнего сервера. Затем, посредством получения сообщения от внешнего сервера или внутреннего сообщения, содержащего тестовую расшифровку предоставленного водителем ответа, а также данные времени, затраченные водителем на обдумывание вопроса и предоставление ответа, производится сопоставление полученного ответа и эталонным.

После обработки первичных данных в алгоритмах классификации психофизиологических состояний водителя участвуют следующие параметры и переменные.

В части данных видеокамеры:

- количество и частота поворотов и наклонов головы, включая кивки и запрокидывания;

- количество и частота морганий;

- количество глаз в кадре;

- период (продолжительность) смыкания век;

- относительная по сравнению со средним значением для данного водителя ширина раскрытия век («прищур").

В части данных ЭЭГ: частотные распределения электрической активности головного мозга по основным каналам (ЭЭГ).

В части данных о характере движения ТС:

- скорость движения

- ускорения/торможения за последний период времени

В части обработки голосовых данных:

- степень корректности ответа на вопрос, данного водителем, по сравнению с эталонным ответом;

- время, потребовавшееся на обдумывание вопроса и поиск возможных вариантов ответа

- эмоциональная окраска ответа

В результате в каждый момент времени БОиУ обрабатывает актуальные комплексные многокритериальные данные так или иначе характеризующие текущее или прогнозируемое состояние водителя. Для непрерывного мониторинга психофизиологического состояния водителя необходимо в каждый момент времени классифицировать его состояния, для это применяется два подхода:

- автоматический классификатор

- интеллектуальные алгоритмы на основе отслеживания пороговых значений и динамики данных

Автоматический классификатор реализован с помощью программных средств БОиУ и сопоставляет обработанные данные с базой данных, содержащей все возможные комбинации параметров и их значений, в том числе их производных, характеризующих динамику изменений параметров. Все комбинации разделены на условные группы состояний в соответствии с градациями, принятыми в системе. Таким образом, классификатор позволяет как сопоставлять данные с широкой выборкой значений статических значений, так и отслеживать динамику данных во время поездки относительно ее начала.

Интеллектуальные алгоритмы на основе отслеживания пороговых значений и динамики данных предназначены для оперативного реагирования на изменения, которые могут иметь критически важное значение для присвоения корректной градации состояния водителя ТС, для которых существует вероятность временной задержки в интерпретации при работе классификатора. Например, при резком изменении какого-либо из значений или при пропадании (обнулении) одного из параметров (сигналов) производится моментальная корректировка градации состояния с целью проверки водителя.

Под опасными состояниями водителя ТС применительно к Комплексу понимаются: сонливость, монотония, стресс, усталость и прочие. Принятые в градации состояний водителя:

1) Норма

2) Опасность 1

3) Опасность 2

4) Опасность 3

Состояние «Норма» является нормальным (стабильным) состоянием водителя, при котором он в полном объеме способен выполнять обязанности. В случае если состояние водителя классифицируется как «Норма», Комплекс не осуществляет стимуляцию его деятельности посредством обратной связи. Группа состояний «Опасность» (Опасность 1, Опасность 2, Опасность 3) являются условно опасными и могут ограничивать возможности водителя в части безопасного управления ТС и оперативного реагирования на дорожную обстановку. В случае выявления одного из состояний данной группы задействуются механизмы стимуляции водителя и информирования остальных участников дорожного движения в соответствии с заложенным алгоритмом.

Данные о состоянии водителя, сработавших средствах стимуляции (в случае выявления опасных состояний), скорости движения ТС и его местоположении (координатах) с настраиваемой частотой передаются на сервер или иные внешние устройства посредством беспроводных каналов 2G/3G/4G или Wi-Fi для возможности использования данной информации в работе диспетчерского центра или для построения комплексной системы мониторинга транспорта. В случае невозможности передачи данных по причине временного отсутствия/обрыва связи производится кэширование данных в оперативной памяти БОиУ с последующей пакетной передачей данных в полном объеме.

Стимуляция водителя и информирование остальных участников дорожного движения производится по следующему алгоритму:

Классификатор оценивает состояние:

- Состояние «Опасность 1» - задействуется световая индикация в кабине ТС для предупреждения водителя о входе в потенциально опасное состояние;

- Состояние «Опасность 2» - в дополнение к световой индикации задействуется вибрационная индикация для коррекции состояния водителя посредством тактильной сигнализации (вибронакидка на кресло);

- Состояние «Опасность 3» - в дополнение к средствам, задействованным при реагировании на состояния «Опасность 1» и «Опасность 2» - световой и вибрационным индикациям соответственно, добавляется звуковая индикация (сигнализация), призванная вывести водителя из опасного состояния. С течением времени происходит постепенное увеличение громкости сигнала.

В случае фиксации состояния «Опасность 3» в течение времени, превышающего пороговое значение, установленное экспертом, происходит активация средств информирования об опасности остальных участников движения: аварийной световой сигнализации ТС, дальнего света ТС (в дискретном режиме), звукового сигнала ТС (в дискретном режиме).

При фиксации реакции водителя на реализуемые меры стимуляции на основе классификатора производится изменение мер воздействия или их полная отмена в зависимости от изменений состояния водителя в соответствии с принятыми в системе градациями.

По завершении поездки и выключении двигателя ТС производится деактивация и выключение системы.

Claims (14)

1. Способ непрерывного контроля психофизиологического состояния водителей, перевозящих опасные грузы и пассажиров по дорогам общего пользования, включающий сбор данных о состоянии водителя от датчиков электроэнцефалограммы и видеокамеры, сбор данных о характере движения транспортного средства, обработку и интерпретацию собранных данных, голосовой опрос водителя посредством формирования звукового сигнала в его адрес, содержащего вопрос на основе шаблонов вопросов, фиксацию и запись ответа, предоставленного водителем на полученный вопрос, с дальнейшим переводом речи в текст, одновременную фиксацию данных о времени, затраченном водителем на обдумывание вопроса и предоставление ответа, сопоставление полученного ответа с эталонным ответом из базы эталонных ответов, предварительно сформированной экспертами с применением семантической и онтологической разметки и словарей, классификацию состояния водителя в режиме реального времени на основании обработки данных о состоянии водителя и о характере движения транспортного средства и данных его голосового опроса путем сопоставления обработанных сигналов с автоматическим классификатором, содержащим все возможные комбинации параметров и их значений, характеризующих динамику изменений параметров, и интеллектуального отслеживания пороговых значений и динамики данных, активацию устройств, предназначенных для стимуляции деятельности водителя и вывода его из опасного состояния, в зависимости от результатов классификации, активацию бортовых приборов транспортного средства для предупреждения окружающих в случае невозврата водителя к нормальному психофизиологическому состоянию в течение заданного временного интервала.

2. Система непрерывного контроля психофизиологического состояния водителей, перевозящих опасные грузы и пассажиров по дорогам общего пользования, включающая установленные в кабине транспортного средства блок датчиков состояния водителя, содержащий датчики электроэнцефалограммы и видеокамеру, блок воздействия на водителя, содержащий блок световой индикации, блок вибрационной индикации и блок звуковой индикации, блок голосового взаимодействия с водителем, включающий микрофон и голосовой динамик, блок обработки и управления, с которым соединены блок датчиков состояния водителя, блок воздействия на водителя, блок голосового взаимодействия с водителем, который имеет возможность подключения к нему бортовых приборов транспортного средства, отличающаяся тем, что блок голосового взаимодействия с водителем содержит базу шаблонов вопросов и базу эталонных ответов на них, сформированную экспертами с применением словарей, семантической и онтологической разметки.

3. Система по п. 2, отличающаяся тем, что датчики электроэнцефалограммы встроены в повязку на голову водителя или в головной убор униформы.

4. Система по п. 2, отличающаяся тем, что видеокамера снабжена инфракрасной подсветкой и/или оптическими фильтрами для повышения качества получаемых изображений.

5. Система по п. 2, отличающаяся тем, что блок световой индикации снабжен аккумулятором для автономной работы.

6. Система по п. 2, отличающаяся тем, что блок вибрационной индикации снабжен аккумулятором для автономной работы.

7. Система по п. 2, отличающаяся тем, что блок вибрационной индикации расположен на коврике-подстилке, встраиваемом в водительское сидение транспортного средства или в вибронакидке на водительское сидение.

8. Система по п. 2 отличающаяся тем, что блок звуковой индикации снабжен аккумулятором для автономной работы.

9. Система по п. 2, отличающаяся тем, что блок обработки и управления выполнен с возможностью подключения к нему видеокамеры, регистрирующей дорожные события, например штатного видеорегистратора.

10. Система по п. 2, отличающаяся тем, что блок обработки и управления выполнен с возможностью подключения к внешнему серверу, расположенному за пределами транспортного средства.

11. Блок обработки и управления, применяемый в системе непрерывного контроля психофизиологического состояния водителей, перевозящих опасные грузы и пассажиров по дорогам общего пользования, по любому из пп. 2-10 выполнен в виде платы, размещенной в корпусе, и содержит модуль передачи данных, модуль GPS/GLONASS, графический процессор, модуль беспроводной передачи данных Bluetooth, модуль беспроводной передачи данных Wi-Fi, встроенную память, включающую классификатор и базу эталонных ответов, центральный процессор, соединенный со всеми упомянутыми элементами.

12. Блок по п. 11, отличающийся тем, что его корпус выполнен: пыле/вибро/влагозащищенным.

13. Блок по п. 11, отличающийся тем, что в корпус встроен радиатор без принудительной конвекции.

14. Блок по п. 11, отличающийся тем, что он выполнен с возможностью подключения внешних датчиков.

Images