RU2748780C1 - Способ и система детектирования тревожных событий, происходящих на транспортном средстве во время перевозки грузов, в режиме реального времени - Google Patents

Abstract

Заявленное изобретение относится к средствам обработки цифровой информации, предназначенным для автоматического анализа видеоданных в режиме одновременной работы группы видеокамер. Технический результат заключается в повышении эффективности выявления тревожных событий на транспортном средстве при перевозке грузов за счет расширения зон видеомониторинга и аналитики происходящих типов событий на ТС. Такой результат достигается за счет способа детектирования тревожных событий, происходящих на транспортном средстве (ТС) во время перевозки грузов, в режиме реального времени, содержащего этапы, на которых: получают изображения областей ТС с видеокамер, установленных по внешнему периметру ТС; автоматически определяют корректность отображения зоны интереса в области ТС, захватываемой каждой видеокамеры; осуществляют обработку полученных кадров, в ходе которой удаляют шумовые сигналы и выделяют полезный сигнал; на основании полученного полезного сигнала осуществляют проверку на наличие одного или нескольких тревожных событий, выбираемых из группы: наличие открытого технологического ящика или грузового отсека ТС; наличие подключенного шланга к ТС; наличие емкости для слива топлива или транспортировки груза у ТС; наличие человека в области грузового отсека или технологического ящика или люка ТС; осуществляют сохранение и отправку на сервер информации о выявленных тревожных событиях, происходящих во время транспортировки грузов. 2 н. и 11 з.п. ф-лы, 8 ил.

Description

ОБЛАСТЬ ТЕХНИКИ

[0001] Заявленное техническое решение в общем относится к области вычислительной техники, а в частности к средствам обработки цифровой информации, предназначенного для автоматического анализа видеоданных в режиме одновременной работы группы видеокамер.

УРОВЕНЬ ТЕХНИКИ

[0002] Существующей проблемой с развитием уровня техники в области систем автоматизированного видеоконтроля при перевозке грузов является контроль за выполнением условий перевозки груза, а также неизменностью качества и количества перевозимых грузов. Для целей повышения уровня контроля за неизменностью качества и количества перевозимых грузов необходимо обеспечить возможность автоматизированного детектирования событий, свидетельствующих о вероятном нарушении правил перевозки грузов локально на транспортном средстве (ТС), с передачей зафиксированных данных на сервер.

[0003] Из уровня техники известно решение US 20140202800 A1 "Cargo Theft Prevention System and Method" (Intelligent Technologies International Inc., опубликовано: 24.07.2014). Данное решение направленно на сохранность грузов при грузоперевозке, исключение вероятности кражи перевозимого груза, который находится в прицепах грузовых автомобилей. Для достижения этой цели используется система мониторинга, которая устанавливается на грузовой транспорт. В состав данной системы входят различные датчики: акселерометр, датчик движения, датчик RFID, электромагнитный датчик, камеры, микрофон, ультразвуковой датчик, емкостной датчик, химический датчик, датчик влажности, датчик излучения, биологический датчик, датчик температуры, датчик давления, датчик излучения, датчик проникновения, пожарный датчик, датчик дыма, датчик воды и датчик загрязнения.

[0004] Система связи может быть подключена к сенсорной системе по беспроводной связи. Окружающая обстановка вокруг прицепа транспорта контролируется датчиками для получения информации об окружающей обстановке вокруг прицепа, и данная информация передается на удаленный объект вместе с информацией о прицепе и местонахождении прицепа.

[0005] Система использует одно или несколько устройств формирования изображения (например, камеры), установленные, например, около потолка контейнера. Выходные данные с камер анализируются с помощью системы распознавания образов, такой как нейронная сеть. Кроме того, различные изображения могут быть вычтены, чтобы определить изменения в содержимом контейнера, когда двери открываются и материал добавляется или удаляется, или для определения изменений положения содержимого. Различные производные этой информации могут быть извлечены и отправлены телематической системой в соответствующее место для мониторинга.

[0006] Камеры системы могут быть расположены в различных местах в салоне транспортного средства, включая обшивку потолка, крышу, потолок, узел зеркал заднего вида, переднюю стойку, среднюю стойку и С-образную стойку, на боковой стенка или даже на двери грузового контейнера.

[0007] Система с помощью камер и алгоритма машинного обучения (например, нейронная сеть), способна фиксировать и различать различные события, происходящие с контейнером или грузом. События могут относиться к краже груза, изменению состава груза или численности груза, изменение положения груза или проникновение в контейнер.

[0008] Техническое оборудование, задействованное в данной системе расположено непосредственно на транспорте и выполнено с возможность передачи зафиксированных данных на удаленный сервер.

[0009] Также из уровня техники известно решение US 20160050356 А1 "System and method for modifying onboard event detection and/or image capture strategy using external source data" (Trimble Inc, опубликовано: 18.02.2016). Данное решение раскрывает систему детекции событий на борту грозового транспортного средства. Система использует одно или несколько устройств захвата изображений, установленных в грузовом транспорте и прицепе транспортного средства, а также на внешней части транспорта. Дополнительно система может содержать датчики и микрофоны.

[0010] Система состоит из бортового компьютера выполненного с возможностью детектировать события на грузовом транспортом средстве и передавать информацию о событиях на удаленный сервер.

[0011] Недостатком известных решений в данной области техники является отсутствие возможности детектирования таких тревожных событий по видеоданным, как: определение наличия открытого технологического ящика; наличие подключенного шланга(ов) к транспортному средству; наличие емкости(ей) у транспортного средства; наличие человека его идентификация и анализ поведения.

РАСКРЫТИЕ ИЗОБРЕТЕНИЯ

[0012] В заявленном техническом решении предлагается новый подход по детектированию тревожных событий, происходящих на транспортном средстве во время перевозки грузов, в режиме реального времени, позволяющий решить технические проблемы, присущие решениям, известным из уровня техники. В данном решении используются алгоритмы машинного обучения, которые позволяют автоматизировать процесс детектирования тревожных событий на ТС, а так же повысить точность детектирования тревожных событий происходящих на транспортном средстве во время перевозки грузов в режиме реального времени.

[0013] Основным техническим результатом является повышение эффективности выявления тревожных событий на ТС при перевозке грузов, за счет расширения зон видеомониторинга и аналитики происходящих типов событий на ТС.

[0014] Дополнительным техническим результатом, достигающимся при решении данной проблемы, является повышение точности детектирования тревожных событий происходящих на ТС во время перевозки грузов в режиме реального времени.

[0015] Указанные технические результаты достигаются благодаря осуществлению компьютерно-реализуемого способа детектирования тревожных событий, происходящих на транспортном средстве (ТС) во время перевозки грузов, в режиме реального времени, выполняемого с помощью вычислительного устройства и содержащего этапы, на которых:

a) получают изображения областей ТС с видеокамер, установленных по меньшей мере по внешнему периметру ТС;

b) автоматически определяют корректность отображения по меньшей мере одной зоны интереса в области ТС, захватываемой каждой видеокамеры;

c) осуществляют обработку полученных кадров, в ходе которой удаляют шумовые сигналы и выделяют полезный сигнал;

d) на основании полученного полезного сигнала осуществляют проверку на наличие одного или нескольких тревожных событий, выбираемых из группы:

- наличие открытого технологического ящика или грузового отсека ТС;

- наличие подключенного шланга к ТС;

- наличие емкости для слива топлива или транспортировки груза у ТС;

- наличие человека в области грузового отсека или технологического ящика или люка ТС;

е) осуществляют сохранение и отправку на сервер информации о выявленных тревожных событиях, происходящих во время транспортировки грузов.

[0016] В одном из частных вариантов реализации способа детектирование тревожных событий осуществляется с помощью алгоритма машинного обучения.

[0017] В другом частном варианте реализации способа осуществляют фиксацию по меньшей мере времени обнаружения каждого тревожного события.

[0018] В другом частном варианте реализации способа осуществляют определение координат ТС.

[0019] В другом частном варианте реализации способа на основании координат определяют геозоны, в которых зафиксированные события признаются тревожными.

[0020] В другом частном варианте реализации способа статус ТС выбирается из группы: движение, стоянка.

[0021] В другом частном варианте реализации способа в случае детекции тревожных событий, вычислительное устройство, генерирует тревожный сигнал, передаваемый на пульт охраны полиции или служб специального назначения.

[0022] В другом частном варианте реализации способа детектирование тревожных событий, производится локально на ТС при любом уровне освещенности.

[0023] В другом частном варианте реализации способа на основе полезного сигнала дополнительно определяют по меньшей мере одно тревожное событие в периметре ТС, характеризующее:

- курение;

- использование мобильных устройств;

- отсутствие специальной одежды и средств защиты;

- положение и модель поведения человека в зоне интереса.

[0024] В другом частном варианте реализации способа определение тревожных событий осуществляется на основании геозоны местонахождения ТС.

[0025] В другом частном варианте реализации способа детектирование человека производится локально на ТС при любом уровне освещенности.

[0026] В другом частном варианте реализации способа определение положения и модели поведения человека производится локально на транспортном средстве в результате классификации по выделенным признакам при детектировании.

[0027] Кроме того, заявленное решение реализуется с помощью вычислительной системы детектирования тревожных событий, происходящих на ТС во время перевозки грузов, в режиме реального времени, которая содержит:

- видеокамеры, установленные на ТС и выполненные с возможностью фиксации тревожных событий на ТС;

- вычислительное устройство, связанное с упомянутыми видеокамерами, содержащее по меньшей мере один процессор и средство памяти, на котором хранятся машиночитаемые инструкции для выполнения способа детектирования тревожных событий, происходящих на транспортном средстве (ТС) во время перевозки грузов, в режиме реального времени.

КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ

[0028] Признаки и преимущества настоящего изобретения станут очевидными из приводимого ниже подробного описания изобретения и прилагаемых чертежей.

[0029] Фиг. 1 иллюстрирует пример расположения камер на ТС для контроля областей фиксации тревожных событий.

[0030] Фиг. 2 иллюстрирует блок-схему выполнения заявленного способа.

[0031] Фиг. 3 иллюстрирует блок-схему детектирования события «Саботаж».

[0032] Фиг. 4 иллюстрирует блок-схему детектирования события при открытии технологического ящика.

[0033] Фиг. 5 иллюстрирует блок-схему детектирования события наличие шланга или тары около ТС.

[0034] Фиг. 6 иллюстрирует блок-схему детектирования события присутствия человека на крыше.

[0035] Фиг. 7 иллюстрирует блок-схему детектирования события «Курение».

[0036] Фиг. 8 иллюстрирует пример общего вида вычислительной системы, которая обеспечивает реализацию заявленного решения.

ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ

[0037] На Фиг. 1 представлен пример расположения камер (110-160) на ТС (100), позволяющие получать изображение для последующего анализа событий. Использование камер (110-160) для контроля ключевых зон при перевозке грузов позволяет реализовать эффективный способ видеоконтроля за статичными и динамическими объектами в области контроля с учетом специфических особенностей автоматической регистрации событий при перевозке грузов.

[0038] Размещение камер (110-160) в представленных частях ТС (100) позволяет в автоматическом режиме выявлять ключевые событий в режиме реального времени в процессе перевозки грузов как в состоянии движения, так и в стационарном положении ТС (100) с передачей метаданных и видеоинформации об инцидентах на сервер. Примерами таких событий могут являться:

- Саботирование работы системы видеоконтроля;

- Человек в области грузового отсека (люка) транспортного средства;

- Курение в периметре транспортного средства;

- Использование мобильных устройств в периметре транспортного средства;

- Отсутствие специальной одежды и средств защиты;

- Открытие технологического ящика (грузового отсека) транспортного средства;

- Подключение шланга(ов) к транспортному средству;

- Обнаружение емкостей возле транспортного средства.

[0039] Техническое решение может быть реализовано в виде распределенной компьютерной системы или программно-аппаратного комплекса, с установленной частью для видеоконтроля на ТС (100) в части видеокамер (110-160) и средств для передачи информации на сервер, например, GSM модемы, 3G/4G/5G модемы, средства спутниковой передачи данных, Wi-Fi модули и т.п. На сервере, как правило, выполняется обработка в части детектируемых событий по полученным данным с ТС (100), однако это не ограничивает пример выполнения заявленного решения при размещении вычислительных мощностей для обработки данных с видеокамер (110-160) непосредственно на ТС (100) с реализацией функции отправки распознанных событий и сопутствующих метаданных на сервер.

[0040] Получение видеоданных для анализа происходит по меньшей мере с одной камеры видеонаблюдения (110-160) установленной на ТС (100), например, инфракрасной - для обеспечения возможности распознавания ключевых событий в темное время суток, установленной с учетом задачи покрытия зоны интереса в периметре ТС (100), потенциально захватывающей события, связанные с нарушениями правил производственной безопасности, нарушениями трудовой дисциплины, случаями хищений перевозимых грузов и пр.

[0041] Анализ данных, получаемых с камер (110-160) осуществляется вычислительным блоком на базе микропроцессорной системы и по меньшей мере одного запоминающего устройства (ОЗУ, ПЗУ и т.п.). Для записи изображений с камер (110-160) может применяться модуль записи видеоизображений, состоящий по меньшей мере из одного вычислительного блока на базе микропроцессорной системы, обеспечивающего обмен данными с вычислительным блоком, модулем передачи данных, CAN-шиной целевого транспортного средства, а также получение видеоизображений от группы камер, и по меньшей мере из одного запоминающего устройства, обеспечивающего запись и хранение видеоизображений от группы камер. Также, может использоваться оптический модуль передачи данных, обеспечивающий беспроводную передачу видео и фотоизображений на серверную часть с использованием стандарта LTE или иного стандарта широкополосной подвижной беспроводной связи, а также получения сигналов глобальных навигационных спутниковых систем GPS/TJIOHACC.

[0042] Для реализации решения в части аппаратной части на ТС (100) используется модуль питания, состоящий по меньшей мере из одного аккумулятора, обеспечивающего автономное питание всей системы, по меньшей мере одного контроллера питания, обеспечивающего мониторинг сети питания целевого ТС (100) и формирующего логику выбора источника питания: при нормальном напряжении в сети и работающем генераторе целевого ТС (100) осуществляется заряд внутреннего аккумулятора и питание системы от бортовой сети. При неработающем генераторе ТС (100) осуществляется питание системы от внутреннего аккумулятора, при этом при низком уровне заряда внутреннего аккумулятора контроллер формирует сигнал аварийного выключения для модуля записи видеоизображений, чтобы обеспечить корректное завершение работы системы сбора видеоданных и сохранение данных.

[0043] Аппаратная часть программно-аппаратного комплекса может быть дополнена другими устройствами, выступающими в качестве источников данных, например, микрофоном, датчиком температуры, датчиками открытия дверей(люков), датчиками паров и дыма, пульсометром, устройством принудительного снижения скоростного режима и др. В аппаратную часть комплекса также могут быть включены устройства для взаимодействия системы либо оператора с водителем, например, такие как: аудио, вибро-сигнализации, средства связи (динамики, зуммер и т.п.), световые индикаторы, проектор отображения данных на лобовом стекле и др. Данные средства могут использоваться для получения дополнительной информации о событиях на ТС (100), использоваться как средства для предотвращения незаконных действий на ТС (100) и т.п.

[0044] Аппаратная часть комплекса может быть реализована во взрывозащищенном исполнении в целях организации мониторинга перевозки взрывоопасных грузов.

[0045] В состав программной части комплекса дополнительно могут входить такие модули, как:

- модуль данных о техническом состоянии ТС (100), обеспечивающий сбор, обработку и анализ данных о техническом состоянии ТС (100), включая, но не ограничиваясь, данные о скоростном режиме, ошибках двигателя, рабочих параметрах ТС (температура, обороты, давление масла и т.п.), ДТП (показания датчика удара, активация подушек безопасности, системы экстренного торможения и т.п.). Данные о техническом состоянии ТС, в частности, могут поступать в модуль за счет подключения к диагностическому разъему OBD (OBDII/OBD2), обеспечивающий получение необходимых параметров состояния CAN шины ТС;

- модуль записи видеоданных, осуществляющий получение данных, содержащих изображения, генерируемые видеокамерами и осуществляющий последовательную либо параллельную передачу их в модуль анализа данных. Передача данных может быть осуществлена в обратном порядке для передачи полученных данных в сторонние системы. Запись видеоданных производится в режиме реального времени для обеспечения актуальности информирования о регистрации ключевых событий. В модуле записи видеоданных реализуется оптимизированная обработка видепотоков, одновременно поступающих как минимум с двух видеокамер;

- модуль анализа данных обеспечивает препроцессинг поступивших изображений для алгоритмов детектирования ключевых событий, запуск работы алгоритмов, постпроцессинг и аккумулирование накопленных данных, передачу результатов первичной обработки данных в модуль постобработки;

- модуль сбора данных, осуществляющий агрегацию данных, получаемых от других программных модулей системы с привязкой по времени и геоданным (координатам), формируя пакет сообщения, а также сохраняя его для обеспечения последующего доступа к нему. Получив данные и сформировав сообщение, модуль сбора данных передает их модулю постобработки.

- модуль постобработки агрегирует данные, полученные от модуля сбора, формируя пакет сообщения для обработки. Далее пакет и/или несколько пакетов проходят постобработку в связи с логикой детекции ключевых событий, подлежащих фиксации. На уровне модуля постобработки производится агрегация, фильтрация, преобразование данных в целях генерации ключевых событий и передачи их на сервер.

- модуль хранения и отправки данных осуществляет хранение данных в памяти устройства для обеспечения доступа к ним программным модулям. В случае невозможности передать данные, модуль обеспечивает их долгосрочное хранение до момента успешной отправки, осуществляет дублирование фото/видео фрагментов, содержащих материал, соответствующий определенному ключевому событию для дальнейшей выгрузки и/или отправки на сервер. Осуществляет журналирование и системное логирование диагностической информации, а также сведения об ошибках. Обмен данными с сервером осуществляется с помощью беспроводного канала передачи данных, в частности 2G/3G/4G/5G/Wi-Fi и т.п.

- портал мониторинга, АРМ оператора Ситуационного центра предназначен для проверки данных о детекции ключевых событий, оперативного реагирования на них и проведения анализа накопленных данных.

[0046] На Фиг. 2 представлена блок-схема общего выполнения способа (200) выявления событий на ТС (100). Заявленный способ (200) детектирования тревожных событий, происходящих на ТС (100) во время перевозки грузов, в режиме реального времени (100) состоит из нескольких этапов, выполняемых с помощью вычислительного устройства.

[0047] На первом этапе (201) получают изображения областей ТС (100) с одной или нескольких видеокамер (110-160), установленных по меньшей мере по внешнему периметру ТС (100), как представлено на Фиг. 1. Дополнительно может также фиксироваться информация с камер наблюдения, которые являются внешними и не установлены на ТС (100), но позволяют идентифицировать ключевые области ТС (100) для фиксации событий.

[0048] На этапе (202) автоматически определяется корректность отображения по меньшей мере одной зоны интереса в области ТС (100), захватываемой каждой видеокамерой (110-160). На данном этапе производится анализ видеоданных с каждой видеокамеры, осуществляется проверка поступившего видеопотока на предмет валидности.

[0049] В случае, если данные, полученные с видеокамеры, признаются скомпрометированными, в системе формируется отчет о ключевом событии «Саботаж». На Фиг. 3 представлена блок-схема выявления данного типа события. Алгоритм детекции ключевого события «Саботаж» включает выявление следующих видов ключевого события:

- видеокамера закрыта;

- видеокамера отвернута;

- предмет перед видеокамерой;

- движение перед видеокамерой.

[0050] Для детекции ключевого события «Саботаж», подсобытия «Видеокамера закрыта» достаточно получение как минимум одного кадра, на котором содержится изображение области контроля. На полученном кадре осуществляется поиск контекстных признаков изображения. В случае, если метрика, характеризующая контекстные признаки изображения, менее заданного порогового значения, то формируется подсобытие «Видеокамера закрыта».

[0051] Для детекции ключевого события «Саботаж», подсобытия «Видеокамера отвернута» требуется анализ двух последовательных кадров, содержащих изображений области контроля. При превышении метрики, характеризующей контекстные признаки изображения, порогового значения производится вычисление смещения контекстных признаков на двух последовательных кадрах. При фиксации наличия смещения формируется подсобытие «Видеокамера отвернута». Производится аппроксимирование контекстных признаков изображения с целью формирования долгосрочной и краткосрочной моделей изображения.

[0052] Осуществляется вычисление признаков различия краткосрочной и долгосрочной моделей изображения по блокам. В случае обнаружения новых контекстных признаков изображения, значение которых превышает пороговое значение, в не менее чем в t блоках формируется подсобытие «Предмет перед видеокамерой». В случае обнаружения новых контекстных признаков изображения, значение которых ниже порогового показателя, в не менее чем в s блоках формируется подсобытие «Движение перед видеокамерой».

[0053] Если валидность отображения зоны интереса подтверждена, активируются детекторы для распознавания ключевых событий применительно к конкретным зонам интереса для группы камер (110-160).

[0054] На этапе (203) осуществляют обработку полученных кадров, в ходе которой удаляют шумовые сигналы и выделяют полезный сигнал. На данном этапе производится анализ растровых изображений на предмет выявления в них областей интереса для последующей обработки. Обработка может осуществляться известным из уровня техники способом для выявления информации по полученным кадрам и выявление полезного сигнала, свидетельствующего о необходимости дополнительного анализа получаемой информации.

[0055] На этапе (204) на основании полученного полезного сигнала осуществляют проверку на наличие одного или нескольких тревожных событий, выбираемых из группы:

- наличие открытого технологического ящика или грузового отсека ТС;

- наличие подключенного шланга к ТС;

- наличие емкости для слива топлива или транспортировки груза у ТС;

- наличие человека в области грузового отсека или технологического ящика или люка ТС.

[0056] В целях детектирования тревожного события «Наличие открытого технологического ящика или грузового отсека ТС» осуществляется непрерывная фиксация и анализ изображений как при закрытом, так и при открытом положении технологического ящика (грузового отсека). На Фиг. 4 представлена блок-схема детектирования данного события.

[0057] Алгоритм регистрации ключевого события «Наличие открытого технологического ящика или грузового отсека ТС» основан на презумпции того, что изображение при закрытом ящике менее содержательно, т.е. включает меньше объектов, деталей, текстур, чем при открытом. Таким образом, для изображения с открытым ящиком (отсеком) более характерны перепады яркости.

[0058] Алгоритм детекции ключевого события «Наличие открытого технологического ящика или грузового отсека ТС» характеризуется проверкой состояния технологического ящика (грузового отсека), с представленными далее этапами реализации:

- осуществляется предобработка контрольного изображения области интереса - включает в себя глобальную нормализацию и перевод изображения в шкалу градаций серого цвета;

- область интереса подается на искусственную нейронную сеть (ИНС) для выделения признаков закрытого технологического ящика (грузового отсека) на изображении внутренней стенки и получения вероятностной оценки этих признаков;

- выполняется поиск характерных линий на внутренней стенке технологического ящика (грузового отсека).

[0059] Если вероятностная оценка, полученная в ходе обработки изображений с помощью ИНС, проходит пороговое значение, установленное в системе, регистрируется ключевое событие «Открытие технологического ящика (грузового отсека) транспортного средства» и инвертируется флаг состояния открытого технологического ящика (грузового отсека).

[0060] При регистрации открытого технологического ящика (грузового отсека) в системе в параллельном режиме запускаются алгоритмы детектирования ключевых событий:

- наличие подключенного шланга к ТС;

- наличие емкости для слива топлива или транспортировки груза у ТС.

[0061] На Фиг. 5 представлена блок-схема выполнения алгоритма для детектирования событий «Наличие подключенного шланга к ТС», «Наличие емкости для слива топлива или транспортировки груза у ТС» и включает выполнение следующих этапов:

- изображения, соответствующие области интереса, подвергаются дискретизации и глобальной нормализации;

- далее изображения анализируются с помощью ИНС, обученную на анализ и выявление изображений шланга(ов) и емкости(ей) на кадрах, получаемых с камер. Результатом работы сети являются отдельные регионы с объектами и классами: емкость(и) или шланг(и).

- осуществляется вычисление метрик, характеризующих количество положительных детекций емкости(ей) и/или шланга(ов), а также временного интервала последовательных детекций.

[0062] В случае, если метрика, характеризующая количество положительных детекций емкости(ей) или шланга(ов), превышает заданное пороговое значение в течение заданного временного интервала, то в системе происходит регистрация ключевого события «Наличие подключенного шланга к ТС» и/или «наличие емкости для слива топлива или транспортировки груза у ТС».

[0063] На Фиг. 6 представлена блок-схема выполнения алгоритма детекции ключевого события «Наличие человека в области грузового отсека или технологического ящика или люка ТС», который включает выполнение следующих этапов:

- предобработка изображения;

- детектирование человека;

- фильтрация результатов детектирования или постобработка;

- определение модели поведения человека по отфильтрованным детекциям.

[0064] Этапе детектирования выполняется с помощью модели машинного обучения, представляющей собой ИНС, обученную на анализ и выявление изображений людей, получаемых с видеокамер.

[0065] В целях увеличения точности детектирования в условиях малого масштаба и при недостаточном контрасте окружения в модель включаются способы предобработки изображения и постобработки полученных результатов анализа.

[0066] Предобработка изображения включает преобразования, нацеленные на улучшение качества распознавания:

- выравнивание изображения по краям, избавление от оптических дефектов, полученных камерой;

- фильтрация изображения, для избавления от посторонних сигналов, отличных от полезного;

- понижение контрастности, необходимое для снижения влияния светоотражающих элементов специализированной рабочей одежды и иных на результирующее изображение.

[0067] Постобработка предусматривает фильтрацию геометрических форм, характеризующих силуэт человека, имеющих наименьшие вероятности. Детекция человека считается действительной, если отсутствует одно из условий:

- площадь геометрической формы менее пороговых значений;

- положение геометрической формы не соответствует плоскости поверхности, предполагаемого нахождения человека;

- одна геометрическая форма перекрывается другой, имеющей большую вероятность.

[0068] Преобразования увеличивают качество работы детектирующего алгоритма для выделения человека и минимизируют влияние оптических искажений в результате воздействия внешних шумовых сигналов.

[0069] Определение модели поведения человека реализуется с помощью алгоритма, определяющего положение человека, а также его поведенческие паттерны. Получаемые с детектора человека признаки передаются в модуль для определения класса, характеризующего положение человека и выполнение им действий, которые интерпретируются в рамках допустимых или недопустимых в системе безопасности и контроля перевозки.

[0070] В случае потери детекции (человек не был задетектирован на последнем кадре, но был задетектирован на предыдущих) выполняется попытка дополнить результат детектирования с помощью трекера. Трекер инициализируется последней найденной рамкой, в котором заключен силуэт человека, найденный с использованием нейросетевых методов. Силуэт человека анализируется на соответствующей области кадра, наиболее похожей на область, ограниченную формой рамки. В случае успешного поиска результатом являются признаки детекции человека на новом кадре.

[0071] В случае детекции человека и выявлении искомых моделей поведения человека в системе регистрируется ключевое событие «Наличие человека в области грузового отсека или технологического ящика или люка ТС».

[0072] Детекция ключевого события «Наличие человека в области грузового отсека или технологического ящика или люка ТС» является основанием для последовательного распознавания ключевых событий:

- курение в периметре транспортного средства;

- использование мобильных устройств в периметре транспортного средства;

- отсутствие специальной одежды и средств защиты.

[0073] Входными данными для фиксации ключевых событий «Курение в периметре транспортного средства», «Использование мобильных устройств в периметре транспортного средства», «Отсутствие специальной одежды и средств защиты» являются изображения лиц и силуэтов людей, обнаруженных в зонах видимости камер. На Фиг. 7 представлена блок-схема работы алгоритма для выявления вышеуказанных событий.

[0074] Каждому из найденных изображений людей присваивается идентификационный номер, для того чтобы разделить объекты и зафиксировать поведение одного конкретного объекта, анализируя последовательность кадров.

[0075] Детектирование событий осуществляется с помощью модели машинного обучения, в частности ИНС, обученную на анализ и определение одного из классов поступившей информации: «Курение в периметре транспортного средства», «Использование мобильных устройств в периметре транспортного средства», «Ключевое событие не выявлено», «Отсутствие специальной одежды и средств защиты», «Наличие специальной одежды и средств защиты».

[0076] Детекция ключевого события происходит с учетом объема распознаваемой последовательности кадров. Объем выборки для определения ключевого события формируется исходя из частоты кадров видеокамеры в течение заданного временного интервала.

[0077] Основанием для регистрация ключевого события является доля объектов, отнесенных нейронной сетью к одному классу относительно общего объема выборки, которая должна быть не менее заданного порогового значения. В случае если полученная информация относится к одному из заявленных для фиксирования событию и удовлетворяет условиям функции формирования ключевого события, в системе регистрируется ключевое событие «Курение в периметре транспортного средства» и/или «Использование мобильных устройств в периметре транспортного средства» и/или «Наличие специальной одежды и средств защиты».

[0078] На этапе (205) осуществляют сохранение и отправку на сервер информации о выявленных тревожных событиях, происходящих во время транспортировки грузов, а также сопутствующие метаданные.

[0079] Также дополнительно может осуществляться фиксация таких показателей, как время обнаружения каждого тревожного события и координаты ТС. На основании получаемых координат определяются геозоны, в которых зафиксированные события признаются тревожными. Анализ геозон также осуществляется исходя из текущего статуса ТС, в частности, движение, стоянка, техобслуживание и пр. Координаты геозон и статус ТС могут быть привязаны к соответствующим точкам маршрута ТС.

[0080] Дополнительно в случае детекции тревожных событий, вычислительное устройство, установленное на ТС или серверной части, генерирует тревожный сигнал, передаваемый на пульт охраны полиции или служб специального назначения, что позволяет произвести оперативное реагирование на возникающие тревожные события.

[0081] Детектирование тревожных событий, производится локально на ТС при любом уровне освещенности с помощью ИК режима на видеокамерах. При этом могут использоваться любые типы камер, позволяющие достичь требуемого качества захватываемого изображения.

[0082] На Фиг. 8 представлен пример общего вида вычислительной системы (300), которая обеспечивает реализацию заявленного способа или является частью компьютерной системы, например, сервером, персональным компьютером, частью вычислительного кластера, обрабатывающим необходимые данные для осуществления заявленного технического решения.

[0083] В общем случае, система (300) содержит объединенные общей шиной информационного обмена один или несколько процессоров (301), средства памяти, такие как ОЗУ (302) и ПЗУ (303), интерфейсы ввода/вывода (304), устройства ввода/вывода (1105), и устройство для сетевого взаимодействия (306).

[0084] Процессор (301) (или несколько процессоров, многоядерный процессор и т.п.) может выбираться из ассортимента устройств, широко применяемых в настоящее время, например, таких производителей, как: Intel™, AMD™, Apple™, Samsung Exynos™, MediaTEK™, Qualcomm Snapdragon™ и т.п. Под процессором или одним из используемых процессоров в системе (300) также необходимо учитывать графический процессор, например, GPU NVIDIA или Graphcore, тип которых также является пригодным для полного или частичного выполнения способа, а также может применяться для обучения и применения моделей машинного обучения в различных информационных системах.

[0085] ОЗУ (302) представляет собой оперативную память и предназначено для хранения исполняемых процессором (301) машиночитаемых инструкций для выполнения необходимых операций по логической обработке данных. ОЗУ (302), как правило, содержит исполняемые инструкции операционной системы и соответствующих программных компонент (приложения, программные модули и т.п.). При этом, в качестве ОЗУ (302) может выступать доступный объем памяти графической карты или графического процессора.

[0086] ПЗУ (303) представляет собой одно или более устройств постоянного хранения данных, например, жесткий диск (HDD), твердотельный накопитель данных (SSD), флэш-память (EEPROM, NAND и т.п.), оптические носители информации (CD-R/RW, DVD-R/RW, BlueRay Disc, MD) и др.

[0087] Для организации работы компонентов системы (300) и организации работы внешних подключаемых устройств применяются различные виды интерфейсов В/В (304). Выбор соответствующих интерфейсов зависит от конкретного исполнения вычислительного устройства, которые могут представлять собой, не ограничиваясь: PCI, 16

AGP, PS/2, IrDa, FireWire, LPT, COM, SATA, IDE, Lightning, USB (2.0, 3.0, 3.1, micro, mini, type C), TRS/Audio jack (2.5, 3.5, 6.35), HDMI, DVI, VGA, Display Port, RJ45, RS232 и т.п.

[0088] Для обеспечения взаимодействия пользователя с вычислительной системой (300) применяются различные средства (305) В/В информации, например, клавиатура, дисплей (монитор), сенсорный дисплей, тач-пад, джойстик, манипулятор мышь, световое перо, стилус, сенсорная панель, трекбол, динамики, микрофон, средства дополненной реальности, оптические сенсоры, планшет, световые индикаторы, проектор, камера, средства биометрической идентификации (сканер сетчатки глаза, сканер отпечатков пальцев, модуль распознавания голоса) и т.п.

[0089] Средство сетевого взаимодействия (306) обеспечивает передачу данных посредством внутренней или внешней вычислительной сети, например, Интранет, Интернет, ЛВС и т.п.В качестве одного или более средств (306) может использоваться, но не ограничиваться: Ethernet карта, GSM модем, GPRS модем, LTE модем, 5G модем, модуль спутниковой связи, NFC модуль, Bluetooth и/или BLE модуль, Wi-Fi модуль и др.

[0090] Представленные материалы заявки раскрывают предпочтительные примеры реализации технического решения и не должны трактоваться как ограничивающие иные, частные примеры его воплощения, не выходящие за пределы испрашиваемой правовой охраны, которые являются очевидными для специалистов соответствующей области техники.

Claims (28)

1. Компьютерно-реализуемый способ детектирования тревожных событий, происходящих на транспортном средстве (ТС) во время перевозки грузов, в режиме реального времени, выполняемый с помощью вычислительного устройства и содержащий этапы, на которых:

a) получают изображения областей ТС с видеокамер, установленных по меньшей мере по внешнему периметру ТС;

b) автоматически определяют корректность отображения по меньшей мере одной зоны интереса в области ТС, захватываемой каждой видеокамеры;

c) осуществляют обработку полученных кадров, в ходе которой удаляют шумовые сигналы и выделяют полезный сигнал;

d) на основании полученного полезного сигнала осуществляют проверку на наличие одного или нескольких тревожных событий, выбираемых из группы:

наличие открытого технологического ящика или грузового отсека ТС;

наличие подключенного шланга к ТС;

наличие емкости для слива топлива или транспортировки груза у ТС;

наличие человека в области грузового отсека или технологического ящика или люка ТС;

e) осуществляют сохранение и отправку на сервер информации о выявленных тревожных событиях, происходящих во время транспортировки грузов.

2. Способ по п. 1, характеризующийся тем, что детектирование тревожных событий осуществляется с помощью алгоритма машинного обучения.

3. Способ по п. 1, характеризующийся тем, что осуществляют фиксацию по меньшей мере времени обнаружения каждого тревожного события.

4. Способ по п. 1, характеризующийся тем, что осуществляют определение координат ТС.

5. Способ по п. 4, характеризующийся тем, что на основании координат определяют статус ТС и геозоны, в которых зафиксированные события признаются тревожными.

6. Способ по п. 5, характеризующийся тем, что статус ТС выбирается из группы: движение, стоянка.

7. Способ по п. 1, характеризующийся тем, что в случае детекции тревожных событий, вычислительное устройство генерирует тревожный сигнал, передаваемый на пульт охраны полиции или служб специального назначения.

8. Способ по п. 1, характеризующийся тем, что детектирование тревожных событий производится локально на ТС при любом уровне освещённости.

9. Способ по п. 1, характеризующийся тем, что на основе полезного сигнала дополнительно определяют по меньшей мере одно тревожное событие в периметре ТС, характеризующее:

- курение;

- использование мобильных устройств;

- отсутствие специальной одежды и средств защиты;

- положение и модель поведения человека в зоне интереса.

10. Способ по п. 9, характеризующийся тем, что определение тревожных событий осуществляется на основании геозоны местонахождения ТС.

11. Способ по п. 9, характеризующийся тем, что детектирование человека производится локально на ТС при любом уровне освещённости.

12. Способ по п. 9, характеризующийся тем, что определение положения и модели поведения человека производится локально на транспортном средстве в результате классификации по выделенным признакам при детектировании.

13. Система детектирования тревожных событий, происходящих на ТС во время перевозки грузов, в режиме реального времени, содержащая:

- видеокамеры, установленные на ТС и выполненные с возможностью фиксации тревожных событий на ТС;

- вычислительное устройство, связанное с упомянутыми видеокамерами, содержащее по меньшей мере один процессор и средство памяти, на котором хранятся машиночитаемые инструкции для выполнения способа по любому из пп. 1-12.

Images