RU2797748C2 - Интеллектуальная система выявления и прогнозирования событий на основе нейронных сетей - Google Patents

Abstract

Изобретение относится к области охранной сигнализации и может быть использовано на любых производственных или строительных площадках для автоматического контроля безопасности охранного режима. Техническим результатом является ускорение процесса обработки видеоинформации для обнаружения уровня угрозы и прогноза развития событий. Технический результат достигается тем, что в заявленном решении предусмотрены рекуррентная и сверточная нейронные сети, обеспечивающие обработку видеопотока с видеокамеры терминала наблюдения, при этом для обработки видеопотока используется модуль первичной обработки видеопотока для первичного распознавания качества и характеристик видео, модуль архивирования для сохранения и фильтрации видеоданных, модуль идентификации для обработки информации по типу объекта, модуль хранения эталонной информации, модуль журналирования и прогнозирования для хранения событий с присвоенным уровнем угрозы и прогноза развития событий. 1 ил.

Description

Изобретение относится к области охранной сигнализации и может быть использовано на любых производственных или строительных площадках для автоматического (без участия человека) контроля безопасности охранного режима (учета рабочего времени, контроля доступа человека в помещение, контроля пожарной безопасности).

Известна интеллектуальная сетевая система мониторинга охраняемой территории по патенту РФ2629521, G08B13/00, содержащая центральный пункт управления, технические средства обнаружения, работающие на разных физических принципах, размещенные на пронумерованных участках охраняемой территории и связанные между собой и с центральным пунктом управления с помощью первого радиоканала с двухсторонней радиосвязью, технические средства видеонаблюдения, связанные между собой и с центральным пунктом управления с помощью второго радиоканала с двухсторонней радиосвязью. Принципом работы указанного решения является работа двух радиомодемов, каждый из которых работает на своем радиоканале связи, при этом все средства обнаружения поделены на две группы, каждая из которых привязана к одному из двух радиоканалов. Недостатком решения является то, что в случае выбытия из строя радиомодема или занятости канала, информация с привязанных к данному радиомодему средств обнаружения не поступает для обработки системой. В результате существует вероятность получения неполных необходимых данных, что снижает эффективность работы системы. Помимо этого система работает только во взаимосвязи с оператором, принимающим решения на основании информации, выведенной на монитор.

Известна интеллектуальная автоматическая система обнаружения нарушителей по патенту РФ №2721178, G08B 13/00, G08N 3/02, принятая за прототип и содержащая средства обнаружения в виде датчиков охранной сигнализации, связанные с датчиками блока логической обработки сигналов и искусственную нейронную сеть с подаваемыми на нее обучающими сигналами, средства обнаружения в виде средств формирования изображений нарушителей, объединенные вместе с датчиками охранной сигнализации в N блоков средств обнаружения, N блоков устройств регистрации и первичной обработки сигналов от средств обнаружения, N блоков искусственных нейронных сетей, осуществляющих распознавание сигналов от средств обнаружения, блока управления потоком данных, блока средств регистрации параметров природных факторов, блока средств регистрации параметров антропогенных факторов, блока учета параметров внешней среды, блока памяти, блока итогового распознавания и блока принятия решения.

Технический результат изобретения состоит в повышении вероятности обнаружения несанкционированного проникновения. Однако нигде не указана, какова текущая (существующая) вероятность обнаружения проникновения, и расчет насколько повысится эта вероятность обнаружения.

Заявляется возможность идентификации нарушителя в пределах данного класса, снижение расходов на эксплуатацию системы и ее применение в несовместимых с длительным нахождением человека условиях (опасные производства, подводные и (или) космические объекты и пр.) в связи с необязательностью наличия человека-оператора. Однако данное утверждение представляется сомнительным: в патенте указано, что средства обнаружения в виде датчиков охранной сигнализации работают на различных физических принципах действия (радиоволновые, радиолучевые, инфракрасные, вибрационные (виброметрические), вместе с тем применение радиолучевых или инфракрасных датчиков под водой практически невозможно, принимая во внимания плотность воды и другие характеристики. Кроме того, в описании указывается на необходимость проведения плановых периодических обучений ИАСОН на «курсах повышения квалификации», а также указывается на то, что каждое средство обнаружения сенсорной области характеризуется известными координатами размещения на охраняемой территории и (при необходимости) индивидуальными параметрами настройки. Таким образом, заявление о возможности работы системы без доступа человека и отсутствии необходимости в обслуживании человеком не убедительно.

Принцип работы прототипа построен на том, что средства обнаружения в виде средств формирования изображений, которые вместе с датчиками охранной сигнализации, работающими на различных физических принципах действия, объединены в N блоков средств обнаружения, каждый из которых содержит средства обнаружения одного типа, а все устройства каждого блока могут принимать и обрабатывать сигналы от средств обнаружения только одного типа, при этом искусственные нейронные сети, осуществляющие распознавание сигналов от средств обнаружения и объединенные в N блоков искусственных нейронных сетей таким образом, что все нейронные сети каждого блока способны распознавать сигналы от средств обнаружения только одного типа. Это усложняет конструкцию, что снижает ее надежность и стабильность работы.

Поскольку каждое средство обнаружения в известной системе характеризуется индивидуальными параметрами настройки, то и не может работать без указанной настройки. Однако известно, что обучение и настройка нейросети являются наиболее энергозатратными, поэтому заявленный эффект экономии ресурсов не состоятелен.

При этом выходами ИАСОН являются выходы блока принятия решения, на которых в режиме реального времени результаты работы ИАСОН несут информацию о нарушениях и нарушителях, о неисправностях, достаточную для принятия адекватных мер командой быстрого реагирования по противодействию нарушителям, ремонтной бригадой по устранению неисправности, пожарной командой по тушению очага возгорания и пр., а также несут информацию о работе системы для ее записи на внешний сервер хранения данных.

Однако система работает не постоянно, а только при проникновении на территорию нарушителя, весь процесс с момента фиксации нарушения датчиками занимает некоторое время для обработки: поступление сигнала, принятие системой решения о приоритетности, подача сигнала для обработки нейросетью, конечный результат. Таким образом, говорить о том, что принятие решения происходит в режиме реального времени не корректно. Кроме того, в патенте нет блока для сохранения в архив видеофрагментов или первичных данных и последующей их фильтрации с удалением статичных кадров и сохранением только отфильтрованных необходимых данных. Это увеличивает время принятия решения, так как обрабатываются фрагменты большого объема, что снижает эффективность системы.

И наконец, в описании сказано, что система распознает ситуации, связанные с неисправностью средств обнаружения и (или) каналов передачи информации, наличием нештатных ситуаций эксплуатации, выдавая в блок принятия решения 20 всю эту информацию, а в искусственные нейронные сети 45…48 соответствующих каналов обнаружения 1…4 - обучающие сигналы, позволяющие нейронным сетям 45…48 пополнять свой индивидуальный опыт.

Однако на сегодняшний день науке не известны самообучающиеся нейронные сети, данный вопрос вызывает большие дискуссии с точки зрения, как этики, так и реализации данного процесса. Указание авторами на данный факт без раскрытия алгоритма (процесса) самообучения носит предположительный характер, поэтому говорить о самообучении нейронной сети не корректно.

Задачей изобретения является создание системы, обеспечивающей автоматизацию выявления любых отклонений от установленного режима труда и ее применение на любых производственных или строительных площадках в соответствии с существующими требованиями, в том числе в несовместимых с длительным нахождением человека условиях (опасные производства, подводные и (или) космические объекты и пр.) без участия человека для исключения фактора невнимательности человека при контроле за безопасностью.

Технический результат изобретения заключается в упрощении конструкции, экономии энергоресурсов, ускорении процесса обработки информации, что повышает эффективность системы.

Данный технический результат достигается тем, что система содержит полный комплекс эталонной (сравнительной) информации, отклонения от которой фиксируются и анализируются посредством совокупности многослойных нейронных сетей, после чего обученная нейронная сеть проводит идентификацию, выявляет угрозу и сообщает рекомендуемое решение.

Заявляемая система кроме источника видеопотока, терминала наблюдения, приспособленного для информирования оператора о наличии угрозы и ее уровня, центра управления, содержит совокупности нейронных сетей минимум двух типов - рекуррентной и сверточной, состоящих из совокупности нейронных сетей, по меньшей мере, двух типов - рекуррентной и сверточной, состоящих из следующих последовательно соединенных между собой внутренними протоколами модулей: модуля первичной обработки видеопотока для первичного распознавания качества и характеристик видео, модуля архивирования для сохранения данных видео и их фильтрации, модуля идентификации, для основной обработки информации по типу объекта посредством нейросети и получения выходной реакции, модуля хранения эталонной информации, модуля журналирования и прогнозирования для хранения событий с присвоенным уровнем угрозы и прогноза развития события.

В предлагаемой системе в отличие от прототипа использован только один вид источников обнаружения (видеокамера) с функциями видеонаблюдения, движения, тепловизионными и радиоволновыми при отсутствии привязки к блокам обнаружения. Это позволяет упростить систему, сократив количество совокупностей нейронных сетей, и использовать уже подготовленные к эксплуатации сети, что повышает надежность и стабильность работы системы с сохранением того же уровня функциональности при сокращении модулей. Это обеспечивает также универсальность системы, содержащей один вид источников обнаружения, не требующий индивидуальной настройки, что экономит энергоресурсы.

Наличие модуля архивирования обеспечивает фильтрацию с удалением статичных кадров первично сохраненного видеопотока и сохранение отфильтрованных необходимых данных (непосредственно видеофрагмент, место записи и указание на камеру, записавшую фрагмент). Таким образом, применение совокупности нейронных сетей минимум двух типов - рекуррентной и сверточной обеспечивает (повышает) оперативность принятия решений системой и оптимальную обработку данных, ускоряя процесс обработки информации и сокращая время выдачи готового результата. Это повышает эффективность системы.

Заявляемая система представлена на чертеже и содержит, по меньшей мере, одну видеокамеру 1, являющуюся источником видеопотока и связанную с модулем первичной обработки видеопотока 2, отвечающим за первичное распознавание качества и характеристик видео с целью оптимизации дальнейшего процесса обработки видеопотока. Модуль 2 связан с модулем архивирования 3, обеспечивающим сохранение данных и работающим в следующем порядке: первичная запись видеопотока в архив, обработка записанных данных с целью фильтрации видео на предмет наличия события и удаление статичных кадров, сохранение в архиве отфильтрованных данных и удаление первичного видеопотока. Модуль 3 связан с модулем идентификации 4, отвечающим за основную обработку информации и работающим в следующем порядке: первичное распознавание объекта в кадре, распределение видео для дальнейшей обработки по типу объекта на видео, запуск соответствующей объекту нейросети, обработка видео посредством нейросети и получение выходной реакции. Модуль 4 связан с модулем хранения эталонной информации 5, отвечающим за хранение и управление эталонной информацией, включая, например изображения людей, допускаемых на объект, изображения регистрационных знаков транспортных средств, имеющих доступ на объект, утвержденные формы экипировки, линии периметра, права доступа и т.д. и связан с модулем журналирования и прогнозирования 6, обеспечивающим запись и хранения событий, с присвоенным уровнем угрозы, информацию о времени передаче диспетчеру информации о событии, прогноз развития события. Модуль 5 связан с модулем 6. Модуль 6 связан с терминалом наблюдения 7, приспособленным для информирования оператора о наличии угрозы и ее уровня. Модули 1-6 составляют центр управления с совокупностью нейронных сетей минимум двух типов - рекуррентной и сверточной.

Система содержит, по меньшей мере, одну цифровую и/или аналоговую видеокамеру, два сервера, сервер с базой хранения данных, которая включает в себя, в том числе загруженную эталонную информацию, и сервер обработки информации, терминал наблюдения, подключенный к обоим серверам, шлюзы подключения источников видеопотока к серверам, все элементы системы связаны между собой единым протоколом управления данными.

Система работает следующим образом. С источника видеопотока 1 в реальном времени осуществляется постоянная передача видеопотока в центр управления.

1) С видеокамер постоянно осуществляется передача видеопотока, который первично по каналам радиосвязи и по слаботочным сетям в цифровом либо в аналоговом формате попадают (в прототипе каналы передачи информации не указаны, как не указан и формат видеопотока). Первичный видеопоток поступает в модуль первичной обработки 2, где происходит распознавание формата, качества и характеристик видеопотока для дальнейшей оптимизации процесса обработки (в прототипе данного процесса не предусмотрено, соответственно можно говорить о том, что у них формат видеопотока и качество предполагаются одинаковыми.

2) После первичной обработки видеопотока обработанный видеофрагмент поступает в модуль архивирования 3, где происходит первичная запись видео в архив с указанием времени, конкретного места записи и конкретной видеокамеры, после чего в этом же модуле начинается процесс дальнейшей обработки видео нейросетью с целью фильтрации фрагмента на предмет содержания события, путем сравнения обученной многослойной нейросетью фрагмента с аналогичным статичным фрагментом (эталонным), на котором отсутствуют любые события. Значениями выходных реакций на всех этапах обработки потока нейросетью во всех модулях являются «0» или «1», где «0» соответствует отрицательному ответу, а «1» - утвердительному. Итогом данного процесса является удаление нейросетью статичных кадров из видеопотока. По завершении процесса фильтрации в данном модуле происходит сохранение отфильтрованных данных (непосредственно видеофрагмент, место записи и указание на камеру, записавшую фрагмент) и первично сохраненный видеопоток удаляется.

Таким образом достигается эффект оперативной и оптимальной обработки данных и эффект повышения быстродействия системы.

3) Итоговый отфильтрованный и сохраненный фрагмент видео поступает в Модуль идентификации 4. Первый этап идентификации заключается в обработке нейросетью фрагмента, на предмет распознавания типа объекта (человек, животное, птица, каска, экипировка, транспортное средство, дым, огонь, оружие, иной предмет, отсутствовавший в эталонном кадре, линия периметра). По результатам анализа объекта нейросети запускают следующую нейросеть, ответственную за соответствующий объект. По результатам обработки конкретного объекта нейросеть направляет видеофрагмент либо в модуль эталонной информации 5 (если требуется сравнение с эталонным кадром, например, в случае проверки прав доступа распознанного человека на ту или иную территорию, в случае проверки линии периметра и т.д.); либо в модуль журналирования и прогнозирования 6. При направлении фрагмента в модуль эталонной информации 5 в связи с установлением факта нарушения линии периметра нейронная сеть после получения выходной реакции из модуля эталонной информации 5, подтверждающей нарушение периметра, передает информацию в модуль архивирования 3 с указанием данных о месте, времени и метку видеопотока для получения расширенного видеофрагмента, после чего направляет полученный из архива фрагмент на повторную идентификацию с целью распознания объекта в связи с нарушением периметра, и далее по алгоритму обработки. Одновременно с обращением в модуль архивирования 3 система делает запись в модуле журналирования 6, куда также экспортируется результат распознавания и присваивается уровень угрозы с указанием необходимых к выполнению действий, после чего информация о наличии угрозы, ее уровень, необходимые действия и данные о месте, времени и метка видеопотока направляется системой в терминал наблюдения 7 для информирования ответственной службы.

Claims (1)

1. Интеллектуальная система выявления и прогнозирования событий на основе нейронных сетей, содержащая по меньшей мере одну видеокамеру, являющуюся источником видеопотока, терминал наблюдения, приспособленный для информирования оператора о наличии угрозы и ее уровня, и центр управления, отличающаяся наличием совокупности нейронных сетей по меньшей мере двух типов - рекуррентной и сверточной, состоящих из следующих последовательно соединенных между собой внутренними протоколами модулей: модуля первичной обработки видеопотока для первичного распознавания качества и характеристик видео, модуля архивирования для сохранения данных видео и их фильтрации, модуля идентификации, для основной обработки информации по типу объекта посредством нейросети и получения выходной реакции, модуля хранения эталонной информации, модуля журналирования и прогнозирования для хранения событий с присвоенным уровнем угрозы и прогноза развития события.

Images