RU2742582C1 - Система и способ отображения движущихся объектов на карте местности - Google Patents

Система и способ отображения движущихся объектов на карте местности Download PDF

Info

Publication number
RU2742582C1
RU2742582C1 RU2020121090A RU2020121090A RU2742582C1 RU 2742582 C1 RU2742582 C1 RU 2742582C1 RU 2020121090 A RU2020121090 A RU 2020121090A RU 2020121090 A RU2020121090 A RU 2020121090A RU 2742582 C1 RU2742582 C1 RU 2742582C1
Authority
RU
Russia
Prior art keywords
map
user
interactive map
interactive
moving object
Prior art date
Application number
RU2020121090A
Other languages
English (en)
Inventor
Мурат Казиевич Алтуев
Иван Юрьевич Калугин
Original Assignee
Общество с ограниченной ответственностью "Ай Ти Ви групп"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Ай Ти Ви групп" filed Critical Общество с ограниченной ответственностью "Ай Ти Ви групп"
Priority to RU2020121090A priority Critical patent/RU2742582C1/ru
Priority to US17/074,626 priority patent/US11651667B2/en
Application granted granted Critical
Publication of RU2742582C1 publication Critical patent/RU2742582C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/19682—Graphic User Interface [GUI] presenting system data to the user, e.g. information on a screen helping a user interacting with an alarm system
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T17/00—Three dimensional [3D] modelling, e.g. data description of 3D objects
    • G06T17/05—Geographic models
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19678—User interface
    • G08B13/1968—Interfaces for setting up or customising the system
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V2201/00—Indexing scheme relating to image or video recognition or understanding
    • G06V2201/10—Recognition assisted with metadata

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Software Systems (AREA)
  • Geometry (AREA)
  • Computational Linguistics (AREA)
  • Computer Graphics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Remote Sensing (AREA)
  • Processing Or Creating Images (AREA)
  • Alarm Systems (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Изобретение относится к области визуализации данных на карте местности, а более конкретно к анализу видеоданных, получаемых от камер, привязанных к интерактивной карте местности, для последующего отображения в режиме реального времени всех движущихся в кадре объектов на упомянутой карте местности. Система отображения движущихся объектов на интерактивной карте местности содержит видеокамеры, трекер объектов и устройство обработки и хранения данных, на котором установлен графический пользовательский интерфейс. Графический пользовательский интерфейс содержит устройство обработки и хранения данных, а именно блок отображения, блок настройки слоев интерактивной карты и блок задания угла обзора видеокамер. При этом устройство обработки и хранения данных сконфигурировано для получения видеоданных от видеокамер, а также для получения метаданных всех движущихся объектов от трекера объектов. Достигается обеспечение отображения в режиме реального времени изображений реальных движущихся объектов на интерактивной карте местности. 3 н. и 26 з.п. ф-лы, 3 ил.

Description

ОБЛАСТЬ ТЕХНИКИ
Изобретение относится к области визуализации данных на карте местности, а более конкретно к анализу видеоданных, получаемых от камер, привязанных к интерактивной карте местности, для последующего отображения в режиме реального времени всех движущихся в кадре объектов на упомянутой карте местности.
УРОВЕНЬ ТЕХНИКИ
Системы видеонаблюдения (безопасности, контроля) используются для охраны и контроля помещений или территорий. При этом упомянутые охранные системы могут быть очень больших масштабов, то есть включать в себя как уличное видеонаблюдение, так и контроль внутри зданий. Для огромной подконтрольной территории используются автоматизированные системы видеонаблюдения. В общем случае такие системы опираются на алгоритмы обработки изображений и распознавания образов, позволяющие анализировать видео без прямого участия человека. В зависимости от конкретных целей, системы видеонаблюдения могут реализовывать множество функций, например, таких как: обнаружение объектов, слежение за движением объектов, идентификация объектов, поиск интересующих объектов и многое другое.
Когда система видеонаблюдения выявляет потенциально опасную ситуацию или подозрительные действия объектов в кадре, оператор системы сразу же оповещается. Для принятия решения о дальнейших действиях по нейтрализации потенциально опасной ситуации оператор системы просматривает видео с одной или нескольких видеокамер, в области зрения которых видно происшествие. Однако движущиеся объекты, например, люди или автомобили, как правило очень быстро перемещаются из области зрения одной видеокамеры в область зрения другой. В связи с этим оператору системы может быть не совсем удобно быстро переключаться между различными видеокамерами и следить за ситуацией в целом. Когда идет речь о реагировании на потенциально опасную ситуации в режиме реального времени, очень важно видеть картину полностью и не упускать ни единой детали. Для такого случая было бы более наглядно и удобно видеть движущиеся объекты и все их действия прямо на карте местности, а не переключаться между различными видеокамерами.
Из уровня техники известны различные решения, характеризующие отображение меток движущихся объектов на карте местности. Примером может служить мобильное приложение «Яндекс.Навигатор» или такое решение как «Яндекс.Карты», которое показывает в режиме реального времени местоположение всего общественного транспорта. А работает это так: каждое транспортное средство оборудовано устройствами GPS и ГЛОНАСС, которые раз в 20-60 секунд передают по мобильному интернету сигналы о своем местоположении на сервер перевозчика. Далее система получает от перевозчиков ID машины, номер маршрута, тип транспорта (автобус, троллейбус, трамвай или маршрутка), время сигнала и координаты. Система осуществляет проверку транспортного средства (едет ли оно по своему маршруту или нет) и после успешной проверки транспортное средство отображается на карте в виде метки.
Основным отличием такого рода решений от заявляемого нами решения является использование датчиков для определения местоположения объектов. При этом движущиеся объекты отображаются на карте местности лишь как метки. Такие решения не являются достаточно наглядными для использования в системах безопасности, поскольку по меткам трудно распознать полную картину происходящего.
Что касается использования видеокамер, то из уровня техники известно решение, раскрытое в патенте US 8358808, В2, G06K 9/00, опубл. 22.01.2013, в котором описаны системы и методы для обнаружения и отслеживания объектов, таких как автомобили, по видеоданным. Системы и способы анализируют видеоданные для подсчета объектов, определения скоростей объектов и отслеживания пути объектов, не полагаясь на обнаружение и идентификацию фоновых данных в захваченных видеоданных. Система обнаружения использует одну или несколько линий сканирования для создания пространственно-временной карты, представляющей из себя временную последовательность фрагментов видеоданных, отображающих историю данных пикселей, соответствующих линии сканирования. Система обнаруживает объекты в видеоданных на основе пересечения линий на пространственно-временной карте. Система обнаруживает объект и затем записывает обнаружение для подсчета и отображения объекта в связке с видеоданными.
Основным отличием данного решения является отсутствие визуального отображения движущихся объектов на карте местности. Кроме того, известное решение является достаточно сложным в реализации и применяется только для отслеживания транспортных средств.
Наиболее близким по технической сущности является известное решение, раскрытое в патенте RU 2703152 C1, G06T 7/20, опубл. 15.10.2019, в котором описаны системы и способы для отображения схемы перемещения объектов по контролируемой местности. Система содержит: множество датчиков и/или устройств, определяющих конкретное положение объектов в заданные моменты времени; план контролируемой местности; память, хранящую архив данных, идентифицирующих объекты в определенном местоположении в определенное время, причем упомянутые данные получают от упомянутых датчиков и/или устройств в режиме реального времени; устройство отображения изображений; графический пользовательский интерфейс; устройство ввода/вывода данных; и по меньшей мере, одно устройство обработки данных, сконфигурированное для выполнения этапов, включающих: получение запроса от пользователя через графический пользовательский интерфейс, а также критериев поиска, для выполнения поиска данных о, по меньшей мере, одном объекте; выполнение поиска данных о, по меньшей мере, одном объекте по архиву данных; получение набора данных, характеризующего перемещение, по меньшей мере, одного заданного объекта по контролируемо местности, причем данные были получены от разных датчиков и/или устройств в соответствии с критериями поиска в разное время; автоматическое построение на плане контролируемой местности схемы перемещения объекта по полученному набору данных; отображение упомянутой схемы перемещения объекта на устройстве отображения изображений.
Основным отличием данного решения является тот факт, что анализируются именно архивные данные, которые получены не только от видеокамер, но и от других устройств. При этом на плане местности может быть отображена только схема перемещения объекта, а не изображение реального движущегося объекта в режиме реального времени.
Таким образом, основным недостатком предшествующего уровня техники является отсутствие быстрого, точного и более наглядного отображения в режиме реального времени всех движущихся объектов на карте местности, причем не только на улице, но и в зданиях. Заявляемое нами решение позволяет оператору системы безопасности отслеживать все движущиеся объекты просматривая только карту охраняемой местности, а не видеоданные от множества видеокамер, в области зрения которых перемещаются движущиеся объекты.
РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
Заявляемое техническое решение направлено на устранение недостатков, присущих предшествующему уровню техники и на развитие уже известных решений.
Техническим результатом заявленной группы изобретений является обеспечение отображения в режиме реального времени изображений реальных движущихся объектов на интерактивной карте местности.
Данный технический результат достигается за счет того, что система отображения движущихся объектов на интерактивной карте местности содержит: несколько видеокамер, привязанных к интерактивной карте и сконфигурированных для получения видеоданных из своей области зрения; трекер объектов, выполненный с возможностью анализа видеоданных, получаемых от видеокамер, для формирования метаданных всех движущихся объектов; и по меньшей мере одно устройство обработки и хранения данных, на котором установлен графический пользовательский интерфейс (ГПИ), содержащий средства ввода и вывода данных, по меньшей мере такие, как: блок отображения, сконфигурированный для отображения интерактивной карты местности в двумерном (2D) или трехмерном (3D) виде; блок настройки слоев интерактивной карты, сконфигурированный для предоставления пользователю возможности добавлять отдельные слои для каждого этажа любого многоэтажного здания, имеющегося на интерактивной карте, при этом каждый слой представляет собой отдельную мини-карту этажа, а на полной 3D интерактивной карте каждое многоэтажное здание представляется как трехмерный объект, состоящий из нескольких слоев; блок задания угла обзора видеокамер, сконфигурированный для предоставления пользователю системы возможности задавать для каждой привязанной к интерактивной карте видеокамеры ее угол обзора на карте; при этом устройство обработки и хранения данных сконфигурировано для: получения видеоданных от видеокамер, а также получения метаданных всех движущихся объектов от трекера объектов; анализа полученных видеоданных и метаданных объектов; отображения в режиме реального времени на интерактивной карте реального изображения по меньшей мере одного движущегося объекта, именно в том местоположении на карте, где в настоящий момент находится этот движущийся объект, причем местоположение изображения на карте и само изображение движущегося объекта меняются в режиме реального времени на основании видеоданных и метаданных движущегося объекта; при этом на интерактивной карте отображаются все движущиеся объекты, которые попадают в область зрения любой из привязанных к карте видеокамер, для которых предварительно пользователем задан угол обзора на карте.
Указанный технический результат также достигается за счет способа отображения движущихся объектов на интерактивной карте местности, выполняемого компьютерной системой, содержащей, по меньшей мере, одно устройство обработки и хранения данных, на котором установлен графический пользовательский интерфейс (ГПИ), содержащий средства ввода и вывода данных, причем способ содержит этапы, на которых выполняется: отображение интерактивной карты местности в двумерном (2D) или трехмерном (3D) виде на экране; предоставление пользователю возможности посредством использования средств ГПИ добавлять отдельные слои для каждого этажа любого многоэтажного здания, имеющегося на интерактивной карте, при этом каждый слой представляет собой отдельную мини-карту этажа, а на полной 3D интерактивной карте каждое многоэтажное здание представляется как трехмерный объект, состоящий из нескольких слоев; предоставление пользователю возможности посредством использования средств ГПИ привязывать видеокамеры к интерактивной карте и задавать угол обзора на карте для привязанных видеокамер; получение видеоданных от упомянутых видеокамер; анализ полученных видеоданных посредством использования трекера объектов для формирования метаданных всех движущихся объектов; анализ полученных метаданных движущихся объектов; отображение в режиме реального времени на интерактивной карте реального изображения по меньшей мере одного движущегося объекта, именно в том местоположении на карте, где в настоящий момент находится этот движущийся объект, причем местоположение изображения на карте и само изображение движущегося объекта меняется в режиме реального времени на основании видеоданных и метаданных движущегося объекта; при этом на интерактивной карте отображаются все движущиеся объекты, которые попадают в область зрения любой из привязанных к карте видеокамер, для которых предварительно пользователем задан угол обзора на карте.
В одном частном варианте заявленного решения блок отображения сконфигурирован для отображения интерактивной карты в двух режимах: режиме отображения полной 3D интерактивной карты или режиме отображения 2D мини-карты этажа любого многоэтажного здания, имеющегося на интерактивной карте, при этом как только пользователь системы выбирает слой конкретного этажа конкретного многоэтажного здания, интерактивная карта переходит из режима отображения полной 3D интерактивной карты в режим отображения 2D мини-карты выбранного этажа, причем изображения движущихся объектов отображаются на интерактивной карте в любом из возможных режимов отображения.
В другом частном варианте заявленного решения блок отображения сконфигурирован для предоставления пользователю системы возможности поворачивать, наклонять или изменять масштаб отображаемой интерактивной карты в любом из возможных режимов отображения, причем при масштабировании карты все отображаемые на ней изображения движущихся объектов масштабируются в тех же пропорциях.
В еще одном частном варианте заявленного решения если движущийся объект попадает в область зрения нескольких видеокамер, то для отображения автоматически выбирается изображение движущегося объекта именно с той видеокамеры, с которой в настоящий момент получено наилучшее видеоизображение движущегося объекта для заданного пользователем системы угла поворота или наклона интерактивной карты.
А в другом частном варианте заявленного решения для случая, когда пользователь системы посчитает движение отображаемого на интерактивной карте движущегося объекта подозрительным, ГПИ сконфигурирован таким образом, чтобы предоставить пользователю системы возможность выбирать движущийся объект на интерактивной карте, после чего открывается полное видео с той видеокамеры, от которой получено отображаемое на карте изображение упомянутого движущегося объекта.
В еще одном частном варианте заявленного решения в блоке отображения на интерактивной карте отображаются траектории движения всех движущихся объектов за предварительно заданный пользователем системы интервал времени, причем траектории движения разных движущихся объектов отображаются разными цветами.
В другом частном варианте заявленного решения трекер объектов при анализе видеоданных делит все движущиеся объекты на такие категории как: человек, транспортное средство, группа людей.
В еще одном частном варианте заявленного решения в случае, когда при анализе видеоданных определено, что движущийся объект является человеком, при этом далее распознано лицо упомянутого человека, то рядом с изображением этого человека на интерактивной карте будет отображаться его ФИО и фотография из базы данных.
В другом частном варианте заявленного решения в случае, когда при заданном пользователем масштабе и угле наклона или поворота интерактивной карты невозможно корректно и полностью отобразить изображение движущегося объекта, то на основании метаданных упомянутого движущегося объекта для отображения будет использовано его схематичное изображение.
В еще одном частном варианте заявленного решения интерактивная карта представляет из себя план местности или открытую карту местности (OpenStreetMap).
В другом частном варианте заявленного решения если интерактивная карта является открытой картой местности OpenStreetMap, то в настройках каждой видеокамеры можно задать точные координаты ее местоположения, после чего она будет добавлена на интерактивную карту в предварительно заданную точку.
В еще одном частном варианте заявленного решения ГПИ дополнительно содержит блок задания правил, сконфигурированный для предоставления пользователю возможности задавать правила, для определения того, какие ситуации или действия движущихся объектов считать опасными или неправомерными.
В другом частном варианте заявленного решения в момент, когда обнаруживается нарушение по меньшей мере одного из предварительно заданных правил, на интерактивной карте в месте происшествия появляется значок для привлечения внимания пользователя, причем упомянутый значок будет мигать красным цветом на протяжении предварительно заданного пользователем интервала времени.
А еще в одном частном варианте заявленного решения в момент, когда обнаруживается нарушение по меньшей мере одного из предварительно заданных правил осуществляется по меньшей мере одно или комбинация из предварительно заданных пользователем действий, таких как: инициирование тревоги, sms оповещение пользователя, оповещение пользователя по электронной почте, аудио оповещение пользователя, запись видеоданных с места происшествия в архив, экспорт кадра или видеоданных.
Данный технический результат также достигается за счет считываемого компьютером носителя данных, содержащего исполняемые процессором компьютера инструкции для осуществления способов отображения движущихся объектов на интерактивной карте местности.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 - блок-схема системы отображения движущихся объектов на интерактивной карте местности.
Фиг. 2 - пример отображения движущегося объекта на мини-карте этажа многоэтажного здания.
Фиг. 3 - блок-схема одного из вариантов реализации способа отображения движущихся объектов на интерактивной карте местности.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Ниже будет приведено описание примерных вариантов осуществления заявленной группы изобретений. Однако заявленная группа изобретений не ограничивается только этими вариантами осуществления. Специалистам в данной области техники будет очевидно, что под объем заявленной группы изобретений, описанной в формуле, могут попадать и другие варианты реализаций.
Заявляемое техническое решение в различных своих вариантах осуществления может быть выполнено в виде компьютерных систем и способов для отображения движущихся объектов на интерактивной карте местности, а также в виде считываемого компьютером носителя данных.
На фиг. 1 представлена блок-схема одного из вариантов реализации системы для отображения движущихся объектов на интерактивной карте местности. Упомянутая система в полной своей комплектации включает в себя: несколько видеокамер (10, …, 1n), привязанных к интерактивной карте местности; трекер объектов (20); базу данных (30); и по меньшей мере одно устройство обработки и хранения данных (30, …, 3m), на котором установлен графический пользовательский интерфейс (40), содержащий средства ввода и вывода данных, по меньшей мере такие, как: блок отображения (b1), блок настройки слоев интерактивной карты (b2), блок задания угла обзора видеокамер (b3) и блок задания правил (b4). При этом видеокамеры, трекер объектов, база данных и все устройства обработки и хранения данных объединены в единую вычислительную систему посредством использования локальной сети или через интернет. Следует отметить, что для достижения заявляемого технического результата достаточно минимальной комплектации системы, в состав которой не входит база данных и блок задания правил в ГПИ.
В данном контексте под системами понимаются любые вычислительные/компьютерные системы, построенные на базе программно-аппаратных взаимосвязанных технических средств.
Видеокамеры, привязанные к интерактивной карте, сконфигурированы для получения в режиме реального времени видеоданных из своей области зрения и передачи их по сети к по меньшей мере одному устройству обработки и хранения данных.
Трекер объектов - это программный алгоритм для определения местоположения движущихся объектов в видеоданных. Посредством использования упомянутого трекера возможно выполнить обнаружение всех движущихся в кадре объектов и определить их конкретные пространственные координаты. Кроме того, упомянутый трекер объектов в некоторых реализациях может использовать нейронные сети, например, для повышения точности определения движущихся объектов.
В качестве устройства обработки и хранения данных может выступать компьютер, ноутбук, сервер, планшет и т.п. При этом для обработки данных каждое упомянутое устройство содержит одно или комбинацию из: процессора, микропроцессора, графического процессора, ЭВМ (электронно-вычислительная машина), ПЛК (программируемый логический контроллер), сконфигурированные для исполнения определенных команд (инструкций, программ) по обработке данных. А для хранения данных упомянутые устройства содержат, по меньшей мере одно из, но не ограничиваясь: жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD), оптические накопители информации и т.д.
Графический пользовательский интерфейс (ГПИ), установленный на по меньшей мере одном устройстве обработки и хранения данных, представляет из себя систему средств ввода и вывода данных, для обеспечения взаимодействия пользователя с вычислительным устройством, основанную на представлении всех доступных пользователю системных объектов и функций в виде графических компонентов экрана (окон, значков, меню, кнопок, списков, панелей и т.п.). При этом пользователь имеет произвольный доступ, посредством устройств ввода/вывода данных, ко всем видимым экранным объектам - блокам интерфейса, которые отображаются на дисплее. Устройство ввода/вывода данных может представлять собой, но не ограничиваясь, например, манипулятор мышь, клавиатуру, тачпад, стилус, джойстик, трекпад и т.п.
Следует отметить, что в описанную систему могут входить и любые другие известные в данном уровне техники устройства, например, такие как различного вида датчики, устройства ввода/вывода, устройства отображения (дисплеи, экраны) и т.п.
Далее будет подробно описан пример работы вышеупомянутой системы отображения движущихся объектов на интерактивной карте местности.
Рассмотрим крупную систему безопасности, например, для бизнес-городка. При этом следует отметить, что система безопасности может быть аналогичным образом сконфигурирована для абсолютно любой охраняемой территории, начиная от одного помещения/здания и доходя до целого района или города. На охраняемой территории есть несколько многоэтажных зданий. Камеры видеонаблюдения размещены как на улице, так и внутри зданий (на всех этажах, во всех требующих контроля помещениях).
Для контроля за территорией бизнес-городка и соответственно для отслеживания перемещения всех движущихся по ней объектов используется интерактивная карта местности. В общем случае интерактивная карта - это электронная карта, на которой представлена информация, привязанная к географическому контексту. В контексте данной заявки интерактивная карта представляет из себя план местности или открытую карту местности (OpenStreetMap). При этом план местности - это разновидность топографической карты или чертеж небольшого участка местности в заданном масштабе, который представляет из себя изображение в общедоступном формате. Открытая карта местности (OpenStreetMap) в свою очередь конфигурируется на основании данных геоинформационной системы (ГИС), при этом есть возможность ее редактировать (в зависимости от требований и интересов пользователя).
К упомянутой интерактивной карте привязаны все видеокамеры системы. А в случае, когда в качестве интерактивной карты выступает OpenStreetMap (OSM), в настройках каждой видеокамеры можно указать точные координаты ее местоположения. После этого каждая видеокамера будет добавлена на интерактивную карту в предварительно заданную точку.
Как уже было отмечено ранее, видеокамеры системы сконфигурированы для получения в режиме реального времени видеоданных из своей области зрения. Упомянутые видеокамеры предпочтительно размещены таким образом, чтобы полностью охватывать все помещение/территорию, при этом области зрения видеокамер могут немного пересекаться/накладываться, для получения полной картины. Таким образом при дальнейшем анализе видеоизображений легко обнаружить различные движущиеся или стационарные объекты, отследить траекторию движения объектов, идентифицировать объекты, осуществить поиск интересующих объектов, получить хорошее одно или несколько интересующих изображений по видеоданным, а также выполнить многие другие необходимые действия. Все установленные видеокамеры подключены по сети (локальной или глобальной) к одному или нескольким устройствам обработки и хранения данных, в данном случае к серверу. Кроме того, все установленные видеокамеры привязаны к карте местности. Привязку видеокамер осуществляет администратор перед началом работы системы.
При этом видеокамеры в одной из реализаций могут содержать трекер объектов, сконфигурированный для формирования метаданных объектов. Или же в другом варианте, если в системе используются самые простые видеокамеры, то трекер объектов может быть установлен на одном из устройств обработки и хранения данных, например, на сервере. Трекер объектов сконфигурирован для обработки и анализа видеоданных, получаемых от видеокамер системы, и для формирования метаданных всех движущихся в кадре объектов. Метаданными являются подробные данные обо всех объектах, перемещающихся в поле зрения каждой камеры (местоположения, траектории движений, описатели лиц, номера транспортных средств, описатели одежды и т.п.). Получаемые метаданные объектов сохраняются в память системы, вместе с соответствующими им видеоданными, для обеспечения возможности дальнейшего анализа по архивным данным. Следует отметить, что в одной из возможных реализаций трекер объектов при анализе видеоданных делит все обнаруженные движущиеся объекты на такие категории как: человек, транспортное средство, группа людей. Кроме того, как уже было отмечено ранее, трекер объектов в некоторых реализациях может использовать нейронные сети. Для примера, если оператор системы хочет, чтобы на карте местности из всех движущихся объектов отображались только люди, то для такого случая трекер объектов сконфигурирован таким образом, чтобы посредством использования нейронной сети отсеивать все другие движущиеся в кадре объекты и детектировать только людей. Аналогичным образом на карте можно отобразить только транспортные средства.
Когда все устройства системы безопасности установлены на территории и настроены должным образом, пользователь, а точнее администратор системы, приступает к настройке отображения данных на интерактивной карте местности. Ведь от наглядности данных на карте зависит точность и скорость выявления потенциально опасных происшествий, а также скорость реагирования. Для настройки отображаемых данных ГПИ, установленный на компьютере пользователя, содержит необходимые средства ввода и вывода данных (см. фиг. 1), которые будут рассмотрены более подробно ниже.
Блок отображения [b1] сконфигурирован для отображения интерактивной карты местности в двумерном (2D) или трехмерном (3D) виде. Изначально карта местности представлена в 2D виде. Однако для большей детализации и лучшей наглядности было бы хорошо видеть многоэтажные здания в 3D виде. Для достижения этой цели в ГПИ предусмотрен блок настройки слоев интерактивной карты [b2], который сконфигурирован для предоставления пользователю системы возможности добавлять отдельные слои для каждого этажа любого многоэтажного здания, имеющегося на интерактивной карте. При этом каждый слой представляет собой отдельную 2D мини-карту этажа, а на полной уже 3D интерактивной карте каждое многоэтажное здание представляется как трехмерный объект, состоящий из нескольких слоев. Таким образом, оператор в момент настройки работы системы для каждого многоэтажного здания и соответственно для каждого этажа добавляет отдельные слои. Мини-картой этажа (слоем) чаще всего является план этажа. Такое решение будет полезно и удобно в использовании для контроля за ситуацией не только на улице, но и в зданиях. Для примера, на фиг. 2 представлена мини-карта этажа одного здания.
Также ГПИ содержит блок задания угла обзора видеокамер [b3], сконфигурированный для предоставления пользователю системы возможности задавать для каждой привязанной к интерактивной карте видеокамеры ее угол обзора на карте. Следует еще раз обратить внимание, что угол обзора видеокамеры задается непосредственно на карте местности. Этот этап необходим, поскольку на интерактивной карте отображаются только те движущиеся объекты, которые попадают в область зрения любой из привязанных к карте видеокамер, для которых предварительно пользователем задан угол обзора на карте.
В свою очередь, по меньшей мере одно устройство обработки и хранения данных, например, компьютер или сервер выполняет основные этапы, необходимые для работы всей системы отображения движущихся объектов на интерактивной карте. А именно упомянутый компьютер или сервер получает видеоданные от всех привязанных видеокамер и метаданные всех движущихся объектов от трекера объектов в режиме реального времени. Далее осуществляется анализ полученных видеоданных и метаданных объектов. Во время анализа выполняются стандартные операции обработки видеоданных, такие как обнаружение объектов, распознавание, получение изображений объектов и многое другое.
Финальным этапом является отображение в режиме реального времени на интерактивной карте реального изображения по меньшей мере одного движущегося объекта, именно в том местоположении на карте, где в настоящий момент находится этот движущийся объект. При этом местоположение изображения на карте и само изображение движущегося объекта меняются в режиме реального времени на основании получаемых видеоданных и метаданных движущегося объекта. Следует отметить, что реальное изображение объекта (или проще говоря трек) представляет из себя прямоугольную область кадра видеоданных, в которой определено движение объекта.
Блок отображения [b1] сконфигурирован для отображения интерактивной карты в двух режимах: режиме отображения полной 3D интерактивной карты или режиме отображения 2D мини-карты этажа любого многоэтажного здания, имеющегося на интерактивной карте. Предположим для примера, что на экране пользователя отображается полная интерактивная 3D карта местности, на которой есть несколько многоэтажных зданий. Если пользователь хочет посмотреть, что происходит, например, на 3-ем этаже определенного здания, то тогда пользователь системы выбирает (кликает по нему мышкой) слой конкретного этажа (в данном примере третьего) конкретного многоэтажного здания. После этого интерактивная карта переходит из режима отображения полной 3D интерактивной карты в режим отображения 2D мини-карты выбранного этажа, на которой отображаются движущиеся по этажу объекты. На фиг. 2 представлен пример отображения движущегося объекта на 2D мини-карте этажа многоэтажного здания. По карте легко понять, что один из сотрудников бизнес-городка идет по коридору. Следует отметить, что изображения движущихся объектов отображаются на интерактивной карте в любом из возможных режимов отображения, однако для отображения людей на улице логично использовать полную карту, а вот для отображения людей внутри здания лучше подходит использование мини-карты этажа, поскольку движущиеся объекты отображаются в масштабе карты.
В одном из частных вариантов реализации системы блок отображения [b1] дополнительно сконфигурирован для предоставления пользователю системы возможности поворачивать, наклонять или изменять масштаб отображаемой интерактивной карты в любом из возможных двух режимов отображения (то есть выполнять любые действия, которые возможно осуществлять с трехмерным объектом). При этом при масштабировании карты все отображаемые на ней изображения движущихся объектов масштабируются в тех же пропорциях что и карта.
Кроме того, если пользователь повернул карту и при этом трек движущегося объекта ловится несколькими видеокамерами сразу, то может выполняться переключение с одной камеры на другую для более лучшего представления движущегося объекта на карте местности. То есть если движущийся объект попадает в область зрения нескольких видеокамер, то для отображения автоматически выбирается изображение движущегося объекта именно с той видеокамеры, с которой в настоящий момент получено наилучшее видеоизображение движущегося объекта для заданного пользователем системы угла поворота или наклона интерактивной карты. Например, если на видеоданных от камеры 1 хорошо видно идущего человека (то есть видно в полный рост и хорошо видно руки и лицо), а на видеоданных от камеры 2 видно затылок этого человека (поскольку он уже прошел камеру 2), то для отображения автоматически выбирается изображение человека от камеры 1.
Также для примера представим ситуацию, в которой оператор системы при просмотре интерактивной карты заметил какую-то подозрительную ситуацию или подозрительные действия/движения движущегося объекта. Например, если два человека дерутся или человек идет в опасную зону. Для такого случая ГПИ сконфигурирован таким образом, чтобы предоставить пользователю системы возможность выбирать движущийся объект на интерактивной карте (кликать по нему мышкой), после чего открывается полное видео с той видеокамеры, от которой получено отображаемое на карте изображение упомянутого движущегося объекта. По этим видеоданным оператор системы легко и быстро сможет разобраться в ситуации и принять необходимые меры безопасности.
Следует также отметить, что в одном из частных вариантов реализации система дополнительно сконфигурирована для отображения траекторий движения всех движущихся объектов на карте. А именно в блоке отображения [b1] на интерактивной карте отображаются траектории движения всех движущихся объектов за предварительно заданный пользователем системы интервал времени. При этом траектории движения разных движущихся объектов отображаются разными цветами. Допустим, оператор хочет увидеть, кто из сотрудников заходил в помещение, из которого 26 мая 2020 года пропало оборудование. Оператор в ГПИ задает интересующий его интервал времени, например, с 8:00 до 13:00, поскольку в 13:00 уже была обнаружена пропажа. После этого на карте местности можно увидеть траектории движения всех объектов, перемещающихся по территории и определить, кто именно из сотрудников и в какое конкретно время заходил в помещение. Далее при просмотре видеоданных в определенный момент легко подтвердить факт кражи и принять соответствующие меры.
Как уже было указано ранее, трекер объектов при анализе видеоданных делит все движущиеся объекты на три категории: (1) человек, (2) транспортное средство, (3) группа людей. При этом в случае, когда при анализе видеоданных определено, что движущийся объект является человеком (1), далее система пытается распознать его лицо. Возможно это сотрудник охраняемого бизнес-городка. Если лицо упомянутого человека распознано, то на интерактивной карте рядом с изображением этого человека будет отображаться его ФИО и фотография из базы данных. Также может быть отображена должность человека или любая другая предварительно заданная для отображения информация из базы данных сотрудников. Следует отметить, что база данных хранится на по меньшей мере одном устройстве обработки и хранения данных, таком как сервер.
Бывают ситуации, когда при заданном пользователем масштабе и угле наклона или поворота интерактивной карты невозможно корректно и полностью отобразить изображение (трек) движущегося объекта. Например, если оператор смотрит сверху на улицу. Для такого случая на основании проанализированных метаданных упомянутого движущегося объекта для отображения на карте будет использовано его схематичное изображение.
Как известно, автоматизированные системы безопасности обычно сконфигурированы таким образом, чтобы была возможность задавать определенные критерии или правила, для определения потенциально опасных траекторий движения объектов. ГПИ заявляемой нами системы в одной из частных реализаций также дополнительно содержит блок задания правил [b4], сконфигурированный для предоставления пользователю системы возможности задавать правила, для определения того, какие ситуации или действия движущихся объектов считать опасными или неправомерными. Такими правилами определения того, какие движения объектов являются тревожными, могут являться по меньшей мере следующие: факт наличия пересечения траектории движения объекта и некоторой поверхности в пространстве координат объектов; факт попадания траектории, по меньшей мере, одного объекта в некоторую область в пространстве координат объектов; факт покидания траектории, по меньшей мере, одного объекта некоторой области в пространстве координат объектов; факт появления траектории, по меньшей мере, одного объекта в некоторой области в пространстве координат объектов; факт исчезновения траектории, по меньшей мере, одного объекта в некоторой области в пространстве координат объектов; факт начала движения, по меньшей мере, одного объекта в некоторой области в пространстве координат объектов; факт остановки, по меньшей мере, одного объекта в некоторой области в пространстве координат объектов; определение временной длительности нахождения траектории движения, по меньшей мере, одного объекта внутри некоторой области в пространстве координат объектов; факт одновременного нахождения внутри некоторой области нескольких объектов и тому подобное. Более подробно о различных вариантах правил раскрыто в наших более ранних патентах RU 2688739 С2 и RU 2671994 С1.
Когда оператор системы задает все необходимые правила/критерии, система начинает автоматически в режиме реального времени проверять движения всех объектов. В момент, когда обнаруживается нарушение по меньшей мере одного из предварительно заданных правил (например, если человек пересек предварительно заданную линию - графический примитив), на интерактивной карте в месте происшествия появляется значок для привлечения внимания пользователя. Это может быть значок (!) или любой другой, заданный пользователем. Если оператор системы предварительно задал интервал времени сигнализации, то упомянутый значок (!) будет мигать красным цветом (или любым другим предварительно заданным цветом) на протяжении заданного интервала времени.
Кроме того, дополнительно в момент, когда обнаруживается нарушение по меньшей мере одного из предварительно заданных правил осуществляется по меньшей мере одно или комбинация из предварительно заданных пользователем действий. Например, таких как: инициирование тревоги, sms оповещение пользователя, оповещение пользователя по электронной почте, аудио оповещение пользователя, запись видеоданных с места происшествия в архив, экспорт кадра или видеоданных. Все эти действия помогают операторам системы быстро реагировать на потенциально опасные ситуации. Для примера, если оператор системы отвлекся или отошел ненадолго, и за это время система обнаружила нарушение, то оператору приходит sms оповещение, а также выполняется аудио оповещение на его рабочем компьютере. При этом на интерактивной карте в месте происшествия мигает значок (!). Кроме того, оповещение может приходить не только оператору, но и сразу сотрудникам службы безопасности.
На фиг. 3 представлена блок-схема одного из вариантов реализации способа отображения движущихся объектов на интерактивной карте местности. Указанный способ выполняется компьютерной системой, содержащей, по меньшей мере, одно устройство обработки и хранения данных, на котором установлен графический пользовательский интерфейс (ГПИ), содержащий средства ввода и вывода данных. При этом способ содержит этапы, на которых выполняется:
(100) отображение интерактивной карты местности в двумерном (2D) или трехмерном (3D) виде на экране;
(200) предоставление пользователю возможности посредством использования средств ГПИ добавлять отдельные слои для каждого этажа любого многоэтажного здания, имеющегося на интерактивной карте, при этом каждый слой представляет собой отдельную мини-карту этажа, а на полной 3D интерактивной карте каждое многоэтажное здание представляется как трехмерный объект, состоящий из нескольких слоев;
(300) предоставление пользователю возможности посредством использования средств ГПИ привязывать видеокамеры к интерактивной карте и задавать угол обзора на карте для привязанных видеокамер;
(400) получение видеоданных от упомянутых видеокамер;
(500) анализ полученных видеоданных посредством использования трекера объектов для формирования метаданных всех движущихся объектов;
(600) анализ полученных метаданных движущихся объектов;
(700) отображение в режиме реального времени на интерактивной карте реального изображения по меньшей мере одного движущегося объекта, именно в том местоположении на карте, где в настоящий момент находится этот движущийся объект, причем местоположение изображения на карте и само изображение движущегося объекта меняется в режиме реального времени на основании видеоданных и метаданных движущегося объекта; при этом на интерактивной карте отображаются все движущиеся объекты, которые попадают в область зрения любой из привязанных к карте видеокамер, для которых предварительно пользователем задан угол обзора на карте.
Следует еще раз отметить, что данный способ может быть реализован средствами описанной ранее системы для отображения движущихся объектов на интерактивной карте местности и, следовательно, может быть расширен и уточнен всеми теми же частными вариантами исполнения, которые уже были описаны выше для реализации системы отображения движущихся объектов на интерактивной карте местности.
Кроме того, варианты осуществления настоящей группы изобретений могут быть реализованы с использованием программного обеспечения, аппаратных средств, программной логики или их комбинации. В данном примере осуществления программная логика, программное обеспечение или набор инструкций хранятся на одном или более из различных традиционных считываемых компьютером носителе данных.
В контексте данного описания «считываемым компьютером носителем данных» может быть любая среда или средство, которые могут содержать, хранить, передавать, распространять или транспортировать инструкции (команды) для их использования (исполнения) вычислительным устройством, например, таким как компьютер. При этом носитель данных может являться энергозависимым или энергонезависимым машиночитаемым носителем данных.
При необходимости, по меньшей мере, часть различных операций, рассмотренных в описании данного решения, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом.
Хотя данное техническое решение было описано подробно в целях иллюстрации наиболее необходимых в настоящее время и предпочтительных вариантов осуществления, следует понимать, что данное изобретение не ограничивается раскрытыми вариантами осуществления и более того, предназначено для модификации и различных других комбинаций признаков из описанных вариантов осуществления. Например, следует понимать, что настоящее изобретение предполагает, что в возможной степени, один или более признаков любого варианта осуществления могут быть объединены с другим одним или более признаками любого другого варианта осуществления.

Claims (51)

1. Система отображения движущихся объектов на интерактивной карте местности, содержащая:
несколько видеокамер, привязанных к интерактивной карте и сконфигурированных для получения видеоданных из своей области зрения;
трекер объектов, выполненный с возможностью анализа видеоданных, получаемых от видеокамер, для формирования метаданных всех движущихся объектов; и
по меньшей мере одно устройство обработки и хранения данных, на котором установлен графический пользовательский интерфейс (ГПИ), содержащий средства ввода и вывода данных, по меньшей мере такие, как:
блок отображения, сконфигурированный для отображения интерактивной карты местности в двумерном (2D) или трехмерном (3D) виде;
блок настройки слоев интерактивной карты, сконфигурированный для предоставления пользователю возможности добавлять отдельные слои для каждого этажа любого многоэтажного здания, имеющегося на интерактивной карте, при этом каждый слой представляет собой отдельную мини-карту этажа, а на полной 3D интерактивной карте каждое многоэтажное здание представляется как трехмерный объект, состоящий из нескольких слоев;
блок задания угла обзора видеокамер, сконфигурированный для предоставления пользователю системы возможности задавать для каждой привязанной к интерактивной карте видеокамеры ее угол обзора на карте;
при этом устройство обработки и хранения данных сконфигурировано для получения видеоданных от видеокамер, а также получения метаданных всех движущихся объектов от трекера объектов;
анализа полученных видеоданных и метаданных объектов;
отображения в режиме реального времени на интерактивной карте реального изображения по меньшей мере одного движущегося объекта именно в том местоположении на карте, где в настоящий момент находится этот движущийся объект, причем местоположение изображения на карте и само изображение движущегося объекта меняются в режиме реального времени на основании видеоданных и метаданных движущегося объекта;
при этом на интерактивной карте отображаются все движущиеся объекты, которые попадают в область зрения любой из привязанных к карте видеокамер, для которых предварительно пользователем задан угол обзора на карте.
2. Система по п. 1, в которой блок отображения сконфигурирован для отображения интерактивной карты в двух режимах: режиме отображения полной 3D интерактивной карты или режиме отображения 2D мини-карты этажа любого многоэтажного здания, имеющегося на интерактивной карте,
при этом, как только пользователь системы выбирает слой конкретного этажа конкретного многоэтажного здания, интерактивная карта переходит из режима отображения полной 3D интерактивной карты в режим отображения 2D мини-карты выбранного этажа,
причем изображения движущихся объектов отображаются на интерактивной карте в любом из возможных режимов отображения.
3. Система по п. 2, в которой блок отображения сконфигурирован для предоставления пользователю системы возможности поворачивать, наклонять или изменять масштаб отображаемой интерактивной карты в любом из возможных режимов отображения, причем при масштабировании карты все отображаемые на ней изображения движущихся объектов масштабируются в тех же пропорциях.
4. Система по п. 3, в которой если движущийся объект попадает в область зрения нескольких видеокамер, то для отображения автоматически выбирается изображение движущегося объекта именно с той видеокамеры, с которой в настоящий момент получено наилучшее видеоизображение движущегося объекта для заданного пользователем системы угла поворота или наклона интерактивной карты.
5. Система по любому из пп. 1-4, в которой для случая, когда пользователь системы посчитает движение отображаемого на интерактивной карте движущегося объекта подозрительным, ГПИ сконфигурирован таким образом, чтобы предоставить пользователю системы возможность выбирать движущийся объект на интерактивной карте, после чего открывается полное видео с той видеокамеры, от которой получено отображаемое на карте изображение упомянутого движущегося объекта.
6. Система по любому из пп. 1-3, в которой в блоке отображения на интерактивной карте отображаются траектории движения всех движущихся объектов за предварительно заданный пользователем системы интервал времени, причем траектории движения разных движущихся объектов отображаются разными цветами.
7. Система по любому из пп. 1-5, в которой трекер объектов при анализе видеоданных делит все движущиеся объекты на такие категории, как человек, транспортное средство, группа людей.
8. Система по п. 7, в которой в случае, когда при анализе видеоданных определено, что движущийся объект является человеком, при этом далее распознано лицо упомянутого человека, то рядом с изображением этого человека на интерактивной карте будет отображаться его ФИО и фотография из базы данных.
9. Система по п. 4, в которой в случае, когда при заданном пользователем масштабе и угле наклона или поворота интерактивной карты невозможно корректно и полностью отобразить изображение движущегося объекта, то на основании метаданных упомянутого движущегося объекта для отображения будет использовано его схематичное изображение.
10. Система по любому из пп. 1-4, в которой интерактивная карта представляет из себя план местности или открытую карту местности (OpenStreetMap).
11. Система по п. 10, в которой если интерактивная карта является открытой картой местности OpenStreetMap, то в настройках каждой видеокамеры можно задать точные координаты ее местоположения, после чего она будет добавлена на интерактивную карту в предварительно заданную точку.
12. Система по п. 5, в которой ГПИ дополнительно содержит блок задания правил, сконфигурированный для предоставления пользователю возможности задавать правила, для определения того, какие ситуации или действия движущихся объектов считать опасными или неправомерными.
13. Система по п. 12, в которой в момент, когда обнаруживается нарушение по меньшей мере одного из предварительно заданных правил, на интерактивной карте в месте происшествия появляется значок для привлечения внимания пользователя, причем упомянутый значок будет мигать красным цветом на протяжении предварительно заданного пользователем интервала времени.
14. Система по любому из пп. 12-13, в которой в момент, когда обнаруживается нарушение по меньшей мере одного из предварительно заданных правил, осуществляется по меньшей мере одно или комбинация из предварительно заданных пользователем действий, таких как инициирование тревоги, sms-оповещение пользователя, оповещение пользователя по электронной почте, аудиооповещение пользователя, запись видеоданных с места происшествия в архив, экспорт кадра или видеоданных.
15. Способ отображения движущихся объектов на интерактивной карте местности, выполняемый компьютерной системой, содержащей по меньшей мере одно устройство обработки и хранения данных, на котором установлен графический пользовательский интерфейс (ГПИ), содержащий средства ввода и вывода данных, причем способ содержит этапы, на которых выполняются:
отображение интерактивной карты местности в двумерном (2D) или трехмерном (3D) виде на экране;
предоставление пользователю возможности посредством использования средств ГПИ добавлять отдельные слои для каждого этажа любого многоэтажного здания, имеющегося на интерактивной карте, при этом каждый слой представляет собой отдельную мини-карту этажа, а на полной 3D интерактивной карте каждое многоэтажное здание представляется как трехмерный объект, состоящий из нескольких слоев;
предоставление пользователю возможности посредством использования средств ГПИ привязывать видеокамеры к интерактивной карте и задавать угол обзора на карте для привязанных видеокамер;
получение видеоданных от упомянутых видеокамер;
анализ полученных видеоданных посредством использования трекера объектов для формирования метаданных всех движущихся объектов;
анализ полученных метаданных движущихся объектов;
отображение в режиме реального времени на интерактивной карте реального изображения по меньшей мере одного движущегося объекта именно в том местоположении на карте, где в настоящий момент находится этот движущийся объект, причем местоположение изображения на карте и само изображение движущегося объекта меняется в режиме реального времени на основании видеоданных и метаданных движущегося объекта;
при этом на интерактивной карте отображаются все движущиеся объекты, которые попадают в область зрения любой из привязанных к карте видеокамер, для которых предварительно пользователем задан угол обзора на карте.
16. Способ по п. 15, в котором интерактивная карта может отображаться в двух режимах: режиме отображения полной 3D интерактивной карты или режиме отображения 2D мини-карты этажа любого многоэтажного здания, имеющегося на интерактивной карте,
при этом, как только пользователь системы выбирает слой конкретного этажа конкретного многоэтажного здания, интерактивная карта переходит из режима отображения полной 3D интерактивной карты в режим отображения 2D мини-карты выбранного этажа,
причем изображения движущихся объектов отображаются на интерактивной карте в любом из возможных режимов отображения.
17. Способ по п. 16, в котором пользователь системы имеет возможность посредством использования средств ГПИ поворачивать, наклонять или изменять масштаб отображаемой интерактивной карты в любом из возможных режимов отображения, причем при масштабировании карты все отображаемые на ней изображения движущихся объектов масштабируются в тех же пропорциях.
18. Способ по п. 17, в котором если движущийся объект попадает в область зрения нескольких видеокамер, то для отображения автоматически выбирается изображение движущегося объекта именно с той видеокамеры, с которой в настоящий момент получено наилучшее видеоизображение движущегося объекта для заданного пользователем системы угла поворота или наклона интерактивной карты.
19. Способ по любому из пп. 15-18, в котором для случая, когда пользователь системы посчитает движение отображаемого на интерактивной карте движущегося объекта подозрительным, ГПИ сконфигурирован таким образом, чтобы предоставить пользователю системы возможность выбирать движущийся объект на интерактивной карте, после чего открывается полное видео с той видеокамеры, от которой получено отображаемое на карте изображение упомянутого движущегося объекта.
20. Способ по любому из пп. 15-17, в котором на интерактивной карте отображаются траектории движения всех движущихся объектов за предварительно заданный пользователем интервал времени, причем траектории движения разных движущихся объектов отображаются разными цветами.
21. Способ по любому из пп. 15-19, в котором упомянутый трекер объектов при анализе видеоданных делит все движущиеся объекты на такие категории, как человек, транспортное средство, группа людей.
22. Способ по п. 21, в котором в случае, когда при анализе видеоданных определено, что движущийся объект является человеком, при этом далее распознано лицо упомянутого человека, то рядом с изображением этого человека на интерактивной карте будет отображаться его ФИО и фотография из базы данных.
23. Способ по п. 18, в котором в случае, когда при заданном пользователем масштабе и угле наклона или поворота интерактивной карты невозможно корректно и полностью отобразить изображение движущегося объекта, то на основании метаданных упомянутого движущегося объекта для отображения будет использовано его схематичное изображение.
24. Способ по любому из пп. 15-18, в котором интерактивная карта представляет из себя план местности или открытую карту местности (OpenStreetMap).
25. Способ по п. 24, в котором если интерактивная карта является открытой картой местности OpenStreetMap, то в настройках каждой видеокамеры пользователь имеет возможность задать точные координаты ее местоположения, после чего она будет добавлена на интерактивную карту в предварительно заданную точку.
26. Способ по п. 19, в котором ГПИ дополнительно сконфигурирован для предоставления пользователю возможности задавать правила для определения того, какие ситуации или действия движущихся объектов считать опасными или неправомерными.
27. Способ по п. 26, в котором в момент, когда обнаруживается нарушение по меньшей мере одного из предварительно заданных правил, на интерактивной карте в месте происшествия появляется значок для привлечения внимания пользователя, причем упомянутый значок будет мигать красным цветом на протяжении предварительно заданного пользователем интервала времени.
28. Способ по любому из пп. 26-27, в котором в момент, когда обнаруживается нарушение по меньшей мере одного из предварительно заданных правил, осуществляется по меньшей мере одно или комбинация из предварительно заданных пользователем действий, таких как инициирование тревоги, sms-оповещение пользователя, оповещение пользователя по электронной почте, аудиооповещение пользователя, запись видеоданных с места происшествия в архив, экспорт кадра или видеоданных.
29. Считываемый компьютером носитель данных, содержащий исполняемые процессором компьютера инструкции для осуществления способов отображения движущихся объектов на интерактивной карте местности по любому из пп. 15-28.
RU2020121090A 2020-06-25 2020-06-25 Система и способ отображения движущихся объектов на карте местности RU2742582C1 (ru)

Priority Applications (2)

Application Number Priority Date Filing Date Title
RU2020121090A RU2742582C1 (ru) 2020-06-25 2020-06-25 Система и способ отображения движущихся объектов на карте местности
US17/074,626 US11651667B2 (en) 2020-06-25 2020-10-20 System and method for displaying moving objects on terrain map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2020121090A RU2742582C1 (ru) 2020-06-25 2020-06-25 Система и способ отображения движущихся объектов на карте местности

Publications (1)

Publication Number Publication Date
RU2742582C1 true RU2742582C1 (ru) 2021-02-08

Family

ID=74554752

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2020121090A RU2742582C1 (ru) 2020-06-25 2020-06-25 Система и способ отображения движущихся объектов на карте местности

Country Status (2)

Country Link
US (1) US11651667B2 (ru)
RU (1) RU2742582C1 (ru)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2775162C1 (ru) * 2021-09-02 2022-06-28 Общество с ограниченной ответственностью "Ай Ти Ви групп" Система и способ отслеживания движущихся объектов по видеоданным

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11599574B2 (en) * 2020-10-26 2023-03-07 Dell Products L.P. Method and system for performing a compliance operation on video data using a data processing unit
US11916908B2 (en) 2020-10-26 2024-02-27 Dell Products L.P. Method and system for performing an authentication and authorization operation on video data using a data processing unit
CN117407480B (zh) * 2023-12-14 2024-03-19 杭州计算机外部设备研究所(中国电子科技集团公司第五十二研究所) 一种基于光电云台的地图显示方法及装置

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070279494A1 (en) * 2004-04-16 2007-12-06 Aman James A Automatic Event Videoing, Tracking And Content Generation
US20080088706A1 (en) * 2006-10-13 2008-04-17 Fujixerox Co., Ltd Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity
US20110183732A1 (en) * 2008-03-25 2011-07-28 WSM Gaming, Inc. Generating casino floor maps
US20170205985A1 (en) * 2013-02-26 2017-07-20 Google Inc. Expanding a 3d stack of floor maps at a rate proportional to a speed of a pinch gesture
KR20170100204A (ko) * 2016-02-25 2017-09-04 한국전자통신연구원 3차원 공간 정보를 이용한 목표물 추적 장치 및 방법
RU2670429C1 (ru) * 2017-11-24 2018-10-23 ООО "Ай Ти Ви групп" Системы и способы отслеживания движущихся объектов на видеоизображении
RU2688735C2 (ru) * 2017-09-04 2019-05-22 ООО "Ай Ти Ви групп" Устройство и способ управления системой видеонаблюдения в реальном времени в режиме фиксации тревожных событий
RU2702160C2 (ru) * 2015-05-26 2019-10-07 Панасоник Интеллекчуал Проперти Менеджмент Ко., Лтд. Устройство поддержки отслеживания, система поддержки отслеживания и способ поддержки отслеживания
US20190384992A1 (en) * 2017-03-06 2019-12-19 Canon Kabushiki Kaisha Information-processing system, information-processing apparatus, method of processing information, and storage medium storing program for causing computer to execute method of processing information
RU2723900C1 (ru) * 2020-02-04 2020-06-18 Общество с ограниченной ответственностью "Скайтрэк" (ООО "Скайтрэк") Способ и система анализа статичных объектов в видеопотоке

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3274976A1 (en) * 2015-03-24 2018-01-31 Carrier Corporation Systems and methods for providing a graphical user interface indicating intruder threat levels for a building
US11774250B2 (en) * 2019-07-05 2023-10-03 Nvidia Corporation Using high definition maps for generating synthetic sensor data for autonomous vehicles
US11243656B2 (en) * 2019-08-28 2022-02-08 Zillow, Inc. Automated tools for generating mapping information for buildings

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070279494A1 (en) * 2004-04-16 2007-12-06 Aman James A Automatic Event Videoing, Tracking And Content Generation
US20080088706A1 (en) * 2006-10-13 2008-04-17 Fujixerox Co., Ltd Interface for browsing and viewing video from multiple cameras simultaneously that conveys spatial and temporal proximity
US20110183732A1 (en) * 2008-03-25 2011-07-28 WSM Gaming, Inc. Generating casino floor maps
US20170205985A1 (en) * 2013-02-26 2017-07-20 Google Inc. Expanding a 3d stack of floor maps at a rate proportional to a speed of a pinch gesture
RU2702160C2 (ru) * 2015-05-26 2019-10-07 Панасоник Интеллекчуал Проперти Менеджмент Ко., Лтд. Устройство поддержки отслеживания, система поддержки отслеживания и способ поддержки отслеживания
KR20170100204A (ko) * 2016-02-25 2017-09-04 한국전자통신연구원 3차원 공간 정보를 이용한 목표물 추적 장치 및 방법
US20190384992A1 (en) * 2017-03-06 2019-12-19 Canon Kabushiki Kaisha Information-processing system, information-processing apparatus, method of processing information, and storage medium storing program for causing computer to execute method of processing information
RU2688735C2 (ru) * 2017-09-04 2019-05-22 ООО "Ай Ти Ви групп" Устройство и способ управления системой видеонаблюдения в реальном времени в режиме фиксации тревожных событий
RU2670429C1 (ru) * 2017-11-24 2018-10-23 ООО "Ай Ти Ви групп" Системы и способы отслеживания движущихся объектов на видеоизображении
RU2723900C1 (ru) * 2020-02-04 2020-06-18 Общество с ограниченной ответственностью "Скайтрэк" (ООО "Скайтрэк") Способ и система анализа статичных объектов в видеопотоке

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2775162C1 (ru) * 2021-09-02 2022-06-28 Общество с ограниченной ответственностью "Ай Ти Ви групп" Система и способ отслеживания движущихся объектов по видеоданным

Also Published As

Publication number Publication date
US11651667B2 (en) 2023-05-16
US20210407270A1 (en) 2021-12-30

Similar Documents

Publication Publication Date Title
RU2742582C1 (ru) Система и способ отображения движущихся объектов на карте местности
KR100885465B1 (ko) 비디오 추적 시스템, 및 자동 비디오 추적 시스템에서 목표물을 선택하기 위한 방법 및 장치
EP2980767B1 (en) Video search and playback interface for vehicle monitor
Haering et al. The evolution of video surveillance: an overview
CN104521230B (zh) 用于实时重建3d轨迹的方法和系统
JP4829290B2 (ja) インテリジェントなカメラ選択および対象追跡
CA2853132C (en) Video tagging for dynamic tracking
US20110109747A1 (en) System and method for annotating video with geospatially referenced data
Milosavljević et al. Integration of GIS and video surveillance
US9996237B2 (en) Method and system for display of visual information
WO2006106496A1 (en) Apparatus and methods for the semi-automatic tracking and examining of an object or an event in a monitored site
EP2770733A1 (en) A system and method to create evidence of an incident in video surveillance system
US11610403B2 (en) Graphical management system for interactive environment monitoring
US11151730B2 (en) System and method for tracking moving objects
CN108022453A (zh) 障碍物入侵监测方法、系统、终端及存储介质
EP0614155A2 (en) Motion detection system
JP7120337B2 (ja) 制御方法、プログラム、及びシステム
RU2671994C1 (ru) Система и способ обнаружения тревожных траекторий движения объектов
RU2701985C1 (ru) Система и способ поиска объектов по траекториям движения на плане местности
Garibotto Multi-camera human re-identification for video security of museums