RU2670429C1 - Системы и способы отслеживания движущихся объектов на видеоизображении - Google Patents
Системы и способы отслеживания движущихся объектов на видеоизображении Download PDFInfo
- Publication number
- RU2670429C1 RU2670429C1 RU2017141015A RU2017141015A RU2670429C1 RU 2670429 C1 RU2670429 C1 RU 2670429C1 RU 2017141015 A RU2017141015 A RU 2017141015A RU 2017141015 A RU2017141015 A RU 2017141015A RU 2670429 C1 RU2670429 C1 RU 2670429C1
- Authority
- RU
- Russia
- Prior art keywords
- image
- moving object
- video
- image capture
- objects
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 19
- 238000012545 processing Methods 0.000 claims abstract description 17
- 239000000126 substance Substances 0.000 abstract 1
- 238000010586 diagram Methods 0.000 description 6
- 238000001514 detection method Methods 0.000 description 4
- 230000006870 function Effects 0.000 description 2
- 238000012552 review Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000013500 data storage Methods 0.000 description 1
- 238000006073 displacement reaction Methods 0.000 description 1
- 230000010365 information processing Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000003909 pattern recognition Methods 0.000 description 1
- 238000001228 spectrum Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
- G06T7/292—Multi-camera tracking
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/50—Context or environment of the image
- G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
- G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
- G06V40/23—Recognition of whole body movements, e.g. for sport training
-
- G—PHYSICS
- G08—SIGNALLING
- G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
- G08B13/00—Burglar, theft or intruder alarms
- G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
- G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
- G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
- G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
- G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
- G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
- H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/02—Services making use of location information
- H04W4/029—Location-based management or tracking services
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30232—Surveillance
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T2207/00—Indexing scheme for image analysis or image enhancement
- G06T2207/30—Subject of image; Context of image processing
- G06T2207/30241—Trajectory
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04W—WIRELESS COMMUNICATION NETWORKS
- H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
- H04W4/30—Services specially adapted for particular environments, situations or purposes
- H04W4/33—Services specially adapted for particular environments, situations or purposes for indoor environments, e.g. buildings
Abstract
Изобретение относится к области видеонаблюдения, в частности к обработке видеоинформации с камер видеонаблюдения для отслеживания движущихся объектов в реальном времени или при просмотре архивного видео. Технический результат заключается в повышении точности отслеживания движущихся объектов. Предложена система отслеживания движущихся объектов на видеоизображении, которая содержит: множество устройств захвата изображения, устройство хранения, устройство отображения изображения, устройство ввода данных, множество устройств обработки данных, сконфигурированных для выполнения привязки множества устройств захвата изображения к плану местности, отображение видеоизображения с первого устройства захвата изображения, выбор движущегося объекта, в отслеживании которого заинтересован оператор, распознавание движения выбранного движущегося объекта и выделение его на видеоизображении как области интереса, оценку направления движения выбранного движущегося объекта, предсказание второго устройства захвата изображения, отображение на устройстве отображения изображения видеоизображения со второго устройства захвата изображения. 4 н. и 8 з.п. ф-лы, 5 ил.
Description
ОБЛАСТЬ ТЕХНИКИ
Настоящее изобретение относится к области видеонаблюдения, а более конкретно к системам и способам обработки видеоинформации, полученной с камер видеонаблюдения, для отслеживания движущихся объектов в реальном времени или при просмотре архивного видео.
УРОВЕНЬ ТЕХНИКИ
Под системами видеонаблюдения понимается программно-аппаратное обеспечение или технические средства, использующие в том числе и методы компьютерного зрения для автоматизированного сбора данных, на основании анализа потокового видео (видеоанализа). Системы видеонаблюдения могут опираться на алгоритмы обработки изображения и распознавания образов, позволяющие анализировать видео без прямого участия человека.
Системы видеонаблюдения используются в составе интеллектуальных систем видеонаблюдения и видео поиска.
Системы видеонаблюдения, в зависимости от конкретных целей, могут реализовывать множество функций, например таких, как: обнаружение объектов, слежение за движением объектов, классификация объектов, идентификация объектов, обнаружение или распознавание различных ситуаций, в том числе и тревожных, и т.д.
К задачам, которые возможно решить посредством систем видеонаблюдения, относится отслеживание движений (перемещений) объектов, посредством использования множества камер, расположенных в зоне контроля, а также предсказание камеры, в области зрения которой может появиться выбранный движущийся объект, после того как покинет область зрения текущей камеры, видеоизображение с которой в настоящий момент просматривается оператором.
Известно решение, раскрытое в патенте US 9390332 В2, G06T 7/00, опубл. 12.07.2016, в котором раскрыты системы и способы обработки информации (изображений), направленные на отслеживание человека по множеству камер и способные предсказывать, в области зрения какой следующей камеры появится отслеживаемый человек. Система обработки информации сконфигурирована для идентификации направления перемещения объекта, появившегося в видеоизображении первой видеокамеры из множества видеокамер, определения набора вероятностей и предсказания на основе полученного набора вероятностей одной или нескольких следующих видеокамер, для которых вероятность появления отслеживаемого объекта выше, чем для остальных видеокамер. Недостатком данного решения является невозможность выбора конкретного объекта и распознавания его движения, а также отсутствие выделения движущегося объекта как области интереса при распознавании движения. Кроме того, в данном решении отсутствует этап привязки множества видеокамер к плану местности объекта видеонаблюдения. Указанные недостатки не позволяют достигнуть необходимого уровня точности отслеживания конкретного движущегося объекта на заранее определенной территории.
Наиболее близким по технической сущности является известное из уровня техники решение, раскрытое в патенте RU 2551128 C1, H04N 7/18, опубл. 20.05.2015, характеризующее устройство, систему и способ, направленные на содействие контролирующему человеку в выполнении задачи отслеживания движущегося объекта. Устройство сконфигурировано для отображения в реальном времени на устройстве отображения множества видов отображения захваченных изображений, сделанных соответствующими камерами, причем множество видов отображения расположены на изображении карты, представляющем контролируемую зону, причем устройство содержит блок установки цели, для выбора и установки движущегося объекта в качестве цели, которая должна отслеживаться, блок указания цели, который на основании информации слежения, полученной в результате обработки изображений, указывает движущийся объект на каждом из видов, на котором появляется движущийся объект, блок предсказания, для предсказания следующего вида отображения, на котором движущийся объект появится в следующий раз, и блок указания вида отображения, который указывает следующий вид отображения. Данное решение характеризуется недостаточной точность отслеживания движущихся объектов за счет отсутствия надлежащей привязки множества видеокамер к плану местности объекта видеонаблюдения. Кроме того, данное решение не применимо для отслеживания движущихся объектов при просмотре архивного видео. К недостаткам также относится отсутствие факта распознавания движения и оценки направления движения выбранного движущегося объекта.
РАСКРЫТИЕ СУЩНОСТИ ИЗОБРЕТЕНИЯ
Данное техническое решение направлено на устранение недостатков, присущих предшествующему уровню техники.
Техническим результатом заявленной группы изобретений является повышение точности отслеживания движущихся объектов.
Данный технический результат достигается тем, что система для отслеживания движущихся объектов на видеоизображении в режиме реального времени содержит: множество устройств захвата изображения; устройство хранения; устройство отображения изображения; устройство ввода данных; множество устройств обработки данных, сконфигурированных для выполнения этапов, включающих: привязку множества устройств захвата изображения к плану местности, посредством создания связей между объектами на плане местности и объектами на видеоизображении; отображение видеоизображения с первого устройства захвата изображения; выбор движущегося объекта, в отслеживании которого заинтересован оператор, в качестве объекта интереса; распознавание движения выбранного движущегося объекта и выделение его на видеоизображении как области интереса; оценку направления движения выбранного движущегося объекта; предсказание второго устройства захвата изображения, в области зрения которого может появиться выбранный движущийся объект, после того как покинет область зрения первого устройства захвата изображения, если продолжит двигаться в том же направлении, что и в момент выхода из области зрения первого устройства захвата изображения; отображение на устройстве отображения изображения видеоизображения со второго устройства захвата изображения, сразу после того как выбранный движущийся объект покинет область зрения первого устройства захвата изображения.
Указанный технический результат также достигается и тем, что система для отслеживания движущихся объектов на видеоизображении при просмотре архивного видео содержит: множество устройств захвата изображения; устройство хранения; устройство отображения изображения; устройство ввода данных; множество устройств обработки данных, сконфигурированных для выполнения этапов, включающих: привязку множества устройств захвата изображения к плану местности, посредством создания связей между объектами на плане местности и объектами на видеоизображении; отображение архивного видеоизображения с первого устройства захвата изображения; выбор движущегося объекта, в отслеживании которого заинтересован оператор, в качестве объекта интереса; распознавание движения выбранного движущегося объекта и выделение его на видеоизображении как области интереса; оценку направления движения выбранного движущегося объекта; предсказание второго устройства захвата изображения, в области зрения которого может появиться выбранный движущийся объект, после того как покинет область зрения первого устройства захвата изображения; отображение на устройстве отображения изображения архивного видеоизображения со второго устройства захвата изображения, сразу после того как движущийся объект был выбран оператором в качестве объекта интереса, причем отображение архивного видеоизображения со второго устройства захвата изображения начинается с того момента времени, в который выбранный движущийся объект покинул область зрения первого устройства захвата изображения.
Данный технический результат также достигается за счет выполнения способа отслеживания движущихся объектов на видеоизображении, причем способ выполняется в режиме реального времени или при просмотре архивного видео и содержит этапы, на которых: выполняют привязку множества устройств захвата изображения к плану местности, посредством создания связей между объектами на плане местности и объектами на видеоизображении, причем связи задаются виртуальными отрезками, один конец которых соответствует расположению объекта на видеоизображении, а другой конец соответствует расположению объекта на плане местности; отображают видеоизображение с первого устройства захвата изображения; выбирают движущийся объект, в отслеживании которого заинтересован оператор, в качестве объекта интереса; распознают движение выбранного движущегося объекта и оценивают его направление движения; предсказывают второе устройство захвата изображения, в области зрения которого может появиться выбранный движущийся объект, после того как покинет область зрения первого устройства захвата изображения; выполняют отображение на устройстве отображения изображения видеоизображения со второго устройства захвата изображения.
Также технический результат достигается и за счет выполнения способа отслеживания движущихся объектов на видеоизображении, выполняемого в режиме реального времени или при просмотре архивного видео и содержащего этапы, на которых: выполняют привязку множества устройств захвата изображения к плану местности, посредством создания связей между объектами на плане местности и объектами на видеоизображении; отображают видеоизображение с устройства захвата изображения; выбирают движущийся объект, в отслеживании которого заинтересован оператор, в качестве объекта интереса; распознают движение выбранного движущегося объекта, посредством определения положений движущегося объекта на плане местности из координат положений, полученных от устройства захвата изображения, причем определение координат положений движущегося объекта выполняется посредством получения метаданных от устройства захвата изображения; после распознавания движения выделяют движущийся объект на видеоизображении как область интереса, причем область интереса отображается на устройстве отображения изображения как полупрозрачная прямоугольная область, наложенная на видеоизображение; оценивают направление движения выбранного движущегося объекта по истории положений выбранного движущегося объекта; выполняют отображение на устройстве отображения изображения видеоизображения с выделенной траекторией движения выбранного движущегося объекта.
В одном частном варианте заявленного решения каждое из множества устройств обработки данных дополнительно сконфигурировано для отображения на устройстве отображения изображения выделенной траектории движения выбранного движущегося объекта.
В другом частном варианте заявленного решения связи между объектами на плане местности и объектами на видеоизображении задаются виртуальными отрезками, один конец которых соответствует расположению объекта на видеоизображении, а другой конец соответствует расположению объекта на плане местности.
Еще в одном частном варианте при выборе движущегося объекта может выбираться только один объект.
В другом частном варианте распознавание движения движущегося объекта включает определение положений движущегося объекта на плане местности из координат положений, полученных от устройства захвата изображения.
Еще в одном частном варианте определение координат положений движущегося объекта выполняется посредством получения метаданных от устройства захвата изображения.
В другом частном варианте оценка направления движения осуществляется на основании истории положений движущегося объекта, сохраненной на устройстве хранения.
Еще в одном частном варианте план местности является открытой картой улиц (OpenStreetMap) или планом здания или планом охраняемого объекта.
В другом частном варианте область интереса является полупрозрачной прямоугольной областью.
Еще в одном частном варианте движущимся объектом является человек или группа близко идущих людей или транспортное средство.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
Фиг. 1 - блок-схема системы для отслеживания движущихся объектов;
Фиг. 2 - блок-схема одного из вариантов реализации способа отслеживания движущихся объектов;
Фиг. 3 пример привязки множества устройств захвата изображения к плану местности посредством создания связей;
Фиг. 4 - пример работы системы отслеживания движущихся объектов;
Фиг. 5 - блок-схема другого варианта реализации способа отслеживания движущихся объектов.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Заявляемое техническое решение в различных своих вариантах осуществления может быть выполнено в виде систем или способов, реализуемых посредством различных компьютерных средств.
На фиг. 1 показана блок-схема системы для отслеживания движущихся объектов. Система включает в себя: множество устройств обработки данных (10, …, 1n), множество устройств захвата изображений (20, …, 2m), устройство хранения данных (30), устройство ввода данных (40) и устройство отображения изображений (50).
Под устройством захвата изображения обычно подразумевается видеокамера.
В качестве устройства обработки данных может выступать процессор, микропроцессор, ЭВМ (электронно-вычислительная машина), ПЛК (программируемый логический контроллер) или интегральная схема, сконфигурированные для исполнения определенных команд (инструкций, программ) по обработке данных (изображений).
В роли устройства хранения данных могут выступать, но, не ограничиваясь, жесткие диски (HDD), флеш-память, ПЗУ (постоянное запоминающее устройство), твердотельные накопители (SSD) и т.д.
В качестве устройства отображения изображений может выступать дисплей, монитор, видеотерминал и т.д.
Устройство ввода данных может представлять собой, но не ограничиваться, например, манипулятор мышь, клавиатуру, тачпад, стилус, джойстик, трекпад и т.п.
На фиг. 2 показана блок-схема одного из вариантов выполнения способа отслеживания движущихся объектов. Указанный способ может быть реализован компьютерной системой в двух режимах: в режиме реального времени и в режиме просмотра архивного видео.
Далее будут кратко рассмотрены этапы выполнения способа отслеживания движущихся объектов, а также принципиальные различия работы систем отслеживания объектов в разных режимах.
1) Привязка множества устройств захвата изображения к плану местности.
План местности - разновидность топографической карты или чертеж небольшого участка местности в заданном масштабе. В контексте данного изобретения планом местности может являться план здания или охраняемого объекта, а также открытая карта улиц (OpenStreetMap). План местности представляет из себя изображение в общедоступном формате (.jpeg или .png) и может являться двухмерным или трехмерным. План можно загрузить в систему видеонаблюдения. Для плана местности характерна возможность автоматического и/или ручного масштабирования и смещения.
Привязка множества камер к местности выполняется посредством создания связей между неподвижными объектами на плане местности и объектами на видеоизображении. В качестве неподвижных объектов могут выступать различные предметы мебели, офисная и/или бытовая техника, двери, подоконники и другие предметы, имеющие объемно-пространственную структуру. Указанные связи задаются виртуальными отрезками, один конец (точка) которых соответствует расположению неподвижного объекта на видеоизображении, а другой конец (точка) соответствует расположению неподвижного объекта на плане местности. Оператор задает конечные точки, после чего системой задаются виртуальные отрезки. Заданные связи оператор может корректировать и/или удалять.
На фиг. 3 показан пример привязки множества устройств захвата изображения к плану местности посредством создания четырех связей.
Реализация соотнесения видеоизображения с объектами на плане местности может осуществляться в режиме погружения. В этом режиме оператор может «перемещаться» между камерами, выбирая любую камеру из текущей области видимости.
В режиме погружения видеоизображение с выбранной видеокамеры отображается поверх изображения плана местности. При этом на основе заранее заданной привязки подбирается такой ракурс, при котором объекты наблюдения на видеоизображении и на плане местности будут совпадать. Оператор видит на устройстве отображения изображения план местности и наложенное на него видеоизображение.
2) Отображение видеоизображения с первого устройства захвата изображения.
Видеокамеры могут быть установлены в более чем одном помещении. При этом каждой камере из множества камер может соответствовать свой план местности (то есть в какой-либо местности может быть установлена только одна видеокамера), либо несколько видеокамер установлено в одной местности и используется план этой местности с возможностью переключаться между видеокамерами. Видеоизображения могут отображаться наложенными поверх плана местности на экране дисплея.
3) Выбор движущегося объект, в отслеживании которого заинтересован оператор, в качестве объекта интереса.
На данном этапе оператор посредством использования устройства ввода данных выбирает интересующий его движущийся объект. Выбрать можно только один интересующий движущийся объект, причем движущимся объектом может являться человек, животное, транспортное средство или же группа близко идущих людей.
4) Распознавание движения выбранного движущегося объекта и оценка его направления движения.
Исходя из размещения видеокамер на плане местности производится расчет положений движущихся объектов из координат на текущей камере в координаты на плане местности. В одном из частных случаев распознавание движения движущегося объекта включает определение положений движущегося объекта на плане местности из координат положений, полученных от устройства захвата изображения, причем определение координат положений движущегося объекта выполняется посредством получения метаданных от устройства захвата изображения. Система получает метаданные, если на камере, в области зрения которой расположен движущийся объект, работает трекер (например, AxxonSoft) или внешний трекер. Для активации указанной функции оператору необходимо посредством устройства ввода данных в окне просмотра видеоизображения кликнуть на трек интересующего объекта, при этом в окне видеонаблюдения должен быть активирован трекинг объектов (определение местоположения движущегося объекта во времени с помощью камеры, при котором алгоритм анализирует видеоизображения и выдает положение движущихся целевых объектов относительно изображений).
Трекинг объектов распознает наличие движущегося объекта в области зрения камеры и динамически выделяет его на видеоизображении полупрозрачной прямоугольной областью в качестве области интереса. Отличием предлагаемого технического решения от известных из области техники решений является то, что выделение движущегося объекта выполняется не на этапе выбора объекта интереса, а только после того как система определяет, что объект интереса двигается (перемещается). Такое решение позволяет оператору более точно видеть контролируемый объект, при этом система более действенно обращает внимание оператора на движение объектов.
Местоположение движущихся объектов в поле зрения видеокамеры может быть определено при помощи видео аналитики, встроенной в каждую видеокамеру. Указанное местоположение объектов определяется при помощи сенсоров, фиксирующих различные части спектра (видимые, тепловые) или датчиков, отличных по принципу действия от видеокамеры, таких как радары.
Далее, на основании истории положений движущегося объекта, сохраненной на устройстве хранения, осуществляется оценка направления движения объекта. История положений представляет из себя характеристики нескольких предыдущих полученных положений движений объектов, скорость движения, направленность движения, на основании которых одно или более устройств обработки данных может предсказывать дальнейшее направление движения объекта интереса.
5) Предсказание второго (следующего) устройства захвата изображения, в области зрения которого может появиться выбранный движущийся объект, после того как покинет область зрения первого (текущего) устройства захвата изображения.
Указанное предсказание камеры выполняется по полученному на предыдущем этапе направлению движения. Система рассчитывает дальнейшую траекторию движения выбранного объекта и определяет камеру, в область зрения которой он скорее всего попадет.
6) Отображение на устройстве отображения изображения видеоизображения со второго устройства захвата изображения.
Данный этап имеет кардинальные отличия при использовании различных режимов просмотра видеоизображения.
При просмотре видеоизображения в режиме реального времени отображение на устройстве отображения изображения видеоизображения со второго устройства захвата изображения выполняется сразу после того, как выбранный движущийся объект покидает область зрения первого устройства захвата изображения.
При просмотре архивного видеоизображения отображение на устройстве отображения изображения архивного видеоизображения со второго устройства захвата изображения выполняется сразу после того, как движущийся объект был выбран оператором в качестве объекта интереса. Причем отображение архивного видеоизображения со второго устройства захвата изображения начинается с того момента времени, в который выбранный движущийся объект покинул область зрения первого устройства захвата изображения. Такой подход сокращает время просмотра архивного видео и повышает скорость мониторинга с целью отследить перемещение выбранного интересующего объекта, поскольку позволяет оператору в указанном режиме просмотра архивного видео не смотреть весь архив с первой камеры (не ждать когда движущийся объект покинет область зрения первой камеры), а сразу переходить к просмотру архива со второй камеры (третьей и т.д.), причем именно с того момента времени, когда объект интереса должен появиться в области ее обзора.
На фиг. 4 представлен конкретный пример работы системы отслеживания движущихся объектов.
Рассмотрим помещение, состоящее из 5 комнат (зон). В каждой зоне установлены видеокамеры, которые обозревают только свою зону, в зависимости от области зрения видеокамеры. Объект наблюдения находится в зоне 1 в поле зрения Камеры 1. Если объект будет двигаться влево и пропадет из поля зрения Камеры 1 (войдет в дверь), то на мониторе оператора будет отображена Камера 2. Если объект будет двигаться вправо и пропадет из поля зрения Камеры 1 (войдет в дверь), то на мониторе оператора будет отображена Камера 5. Если объект будет двигаться вверх и пропадет из поля зрения Камеры 1 (войдет в дверь), то на мониторе оператора будет отображена Камера 3. Если объект будет двигаться вниз и пропадет из поля зрения Камеры 1 (войдет в дверь), то на мониторе оператора будет отображена Камера 4.
На фиг. 5 показана блок-схема другого варианта реализации способа отслеживания движущихся объектов.
Указанный способ выполняется компьютерными средствами как в режиме реального времени, так и при просмотре архивного видео. Первоначальные этапы данного способа являются аналогичными этапам, подробно описанным выше.
Основными отличительными и существенными признаками является то, что после этапа распознавания движения выполняется автоматическое выделение движущегося объекта на видеоизображении как области интереса, причем область интереса отображается на устройстве отображения изображения как полупрозрачная прямоугольная область, наложенная на видеоизображение. Далее направление движения выбранного движущегося объекта оценивают по истории положений выбранного движущегося объекта и выполняют отображение на устройстве отображения изображения видеоизображения с выделенной траекторией движения выбранного движущегося объекта.
Детектирование начала движения производится по градиенту межкадровой разницы видеоизображения во времени. При этом траектория движения для разных объектов интереса может выделяться разными цветами. Траектория движения накладывается на видеоизображение также, как и полупрозрачная прямоугольная область, характеризующая область интереса. Системное выделение траектории движения обеспечивает возможность оператору наглядно проследить направление движения выбранного объекта и при желании, посредством устройства ввода, самостоятельно перейти к просмотру той камеры, в область зрения которой направляется выделенный объект интереса. Это является легко реализуемым решением при условии соотнесения множества камер с планом местности.
При необходимости, по меньшей мере, часть различных операций, рассмотренных в описании данного изобретения, может быть выполнена в отличном от представленного порядке и/или одновременно друг с другом.
Хотя данное изобретение было описано подробно в целях иллюстрации наиболее практичных в настоящее время и предпочтительных вариантов осуществления, следует понимать, что данное изобретение не ограничивается раскрытыми вариантами осуществления и более того, предназначено для модификации и различных других комбинаций признаков из описанных вариантов осуществления. Например, следует понимать, что настоящее изобретение предполагает, что в возможной степени, один или более признаков любого варианта осуществления могут быть объединены с другим одним или более признаками любого другого варианта осуществления.
Claims (53)
1. Система для отслеживания движущихся объектов на видеоизображении в режиме реального времени, содержащая:
множество устройств захвата изображения;
устройство хранения;
устройство отображения изображения;
устройство ввода данных;
множество устройств обработки данных, сконфигурированных для выполнения этапов, включающих:
привязку множества устройств захвата изображения к плану местности посредством создания связей между объектами на плане местности и объектами на видеоизображении;
отображение видеоизображения с первого устройства захвата изображения;
выбор движущегося объекта, в отслеживании которого заинтересован оператор, в качестве объекта интереса;
распознавание движения выбранного движущегося объекта и выделение его на видеоизображении как области интереса;
оценку направления движения выбранного движущегося объекта;
предсказание второго устройства захвата изображения, в области зрения которого может появиться выбранный движущийся объект, после того как покинет область зрения первого устройства захвата изображения, если продолжит двигаться в том же направлении, что и в момент выхода из области зрения первого устройства захвата изображения;
отображение на устройстве отображения изображения видеоизображения со второго устройства захвата изображения, сразу после того как выбранный движущийся объект покинет область зрения первого устройства захвата изображения,
в которой каждое из множества устройств обработки данных дополнительно сконфигурировано для отображения на устройстве отображения изображения выделенной траектории движения выбранного движущегося объекта.
2. Система по п. 1, в которой связи между объектами на плане местности и объектами на видеоизображении задаются виртуальными отрезками, один конец которых соответствует расположению объекта на видеоизображении, а другой конец соответствует расположению объекта на плане местности.
3. Система по п. 2, в которой при выборе движущегося объекта может выбираться только один объект.
4. Система по п. 2, в которой распознавание движения движущегося объекта включает определение положений движущегося объекта на плане местности из координат положений, полученных от устройства захвата изображения.
5. Система по п. 4, в которой определение координат положений движущегося объекта выполняется посредством получения метаданных от устройства захвата изображения.
6. Система по п. 5, в которой оценка направления движения осуществляется на основании истории положений движущегося объекта, сохраненной на устройстве хранения.
7. Система по п. 2, в которой план местности является открытой картой улиц (OpenStreetMap), или планом здания, или планом охраняемого объекта.
8. Система по п. 1, в которой область интереса является полупрозрачной прямоугольной областью.
9. Система по п. 1, в которой движущимся объектом является человек, или группа близко идущих людей, или транспортное средство.
10. Система для отслеживания движущихся объектов на видеоизображении при просмотре архивного видео, содержащая:
множество устройств захвата изображения;
устройство хранения;
устройство отображения изображения;
устройство ввода данных;
множество устройств обработки данных, сконфигурированных для выполнения этапов, включающих:
привязку множества устройств захвата изображения к плану местности посредством создания связей между объектами на плане местности и объектами на видеоизображении;
отображение архивного видеоизображения с первого устройства захвата изображения;
выбор движущегося объекта, в отслеживании которого заинтересован оператор, в качестве объекта интереса;
распознавание движения выбранного движущегося объекта и выделение его на видеоизображении как области интереса;
оценку направления движения выбранного движущегося объекта;
предсказание второго устройства захвата изображения, в области зрения которого может появиться выбранный движущийся объект, после того как покинет область зрения первого устройства захвата изображения;
отображение на устройстве отображения изображения архивного видеоизображения со второго устройства захвата изображения, сразу после того как движущийся объект был выбран оператором в качестве объекта интереса, причем отображение архивного видеоизображения со второго устройства захвата изображения начинается с того момента времени, в который выбранный движущийся объект покинул область зрения первого устройства захвата изображения,
в которой каждое из множества устройств обработки данных дополнительно сконфигурировано для отображения на устройстве отображения изображения выделенной траектории движения выбранного движущегося объекта.
11. Способ отслеживания движущихся объектов на видеоизображении, выполняемый в режиме реального времени или при просмотре архивного видео и содержащий этапы, на которых:
выполняют привязку множества устройств захвата изображения к плану местности посредством создания связей между объектами на плане местности и объектами на видеоизображении, причем связи задаются виртуальными отрезками, один конец которых соответствует расположению объекта на видеоизображении, а другой конец соответствует расположению объекта на плане местности;
отображают видеоизображение с первого устройства захвата изображения;
выбирают движущийся объект, в отслеживании которого заинтересован оператор, в качестве объекта интереса;
распознают движение выбранного движущегося объекта и оценивают его направление движения;
предсказывают второе устройство захвата изображения, в области зрения которого может появиться выбранный движущийся объект, после того как покинет область зрения первого устройства захвата изображения;
выполняют отображение на устройстве отображения изображения видеоизображения со второго устройства захвата изображения,
при этом отображают траекторию движения выбранного движущегося объекта.
12. Способ отслеживания движущихся объектов на видеоизображении, выполняемый в режиме реального времени или при просмотре архивного видео и содержащий этапы, на которых:
выполняют привязку множества устройств захвата изображения к плану местности посредством создания связей между объектами на плане местности и объектами на видеоизображении;
отображают видеоизображение с устройства захвата изображения;
выбирают движущийся объект, в отслеживании которого заинтересован оператор, в качестве объекта интереса;
распознают движение выбранного движущегося объекта посредством определения положений движущегося объекта на плане местности из координат положений, полученных от устройства захвата изображения,
причем определение координат положений движущегося объекта выполняется посредством получения метаданных от устройства захвата изображения;
после распознавания движения выделяют движущийся объект на видеоизображении как область интереса, причем область интереса отображается на устройстве отображения изображения как полупрозрачная прямоугольная область, наложенная на видеоизображение;
оценивают направление движения выбранного движущегося объекта по истории положений выбранного движущегося объекта;
выполняют отображение на устройстве отображения изображения видеоизображения с выделенной траекторией движения выбранного движущегося объекта.
Priority Applications (3)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017141015A RU2670429C1 (ru) | 2017-11-24 | 2017-11-24 | Системы и способы отслеживания движущихся объектов на видеоизображении |
| US16/044,332 US10839533B2 (en) | 2017-11-24 | 2018-07-24 | Systems and methods of tracking of the moving objects on the video image |
| DE102018118423.9A DE102018118423A1 (de) | 2017-11-24 | 2018-07-30 | Systeme und verfahren zur verfolgung bewegter objekte in der videoüberwachung |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2017141015A RU2670429C1 (ru) | 2017-11-24 | 2017-11-24 | Системы и способы отслеживания движущихся объектов на видеоизображении |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2670429C1 true RU2670429C1 (ru) | 2018-10-23 |
Family
ID=63923475
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2017141015A RU2670429C1 (ru) | 2017-11-24 | 2017-11-24 | Системы и способы отслеживания движущихся объектов на видеоизображении |
Country Status (3)
| Country | Link |
|---|---|
| US (1) | US10839533B2 (ru) |
| DE (1) | DE102018118423A1 (ru) |
| RU (1) | RU2670429C1 (ru) |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2701985C1 (ru) * | 2018-12-06 | 2019-10-02 | Общество с ограниченной ответственностью "Ай Ти Ви групп" | Система и способ поиска объектов по траекториям движения на плане местности |
| RU2742582C1 (ru) * | 2020-06-25 | 2021-02-08 | Общество с ограниченной ответственностью "Ай Ти Ви групп" | Система и способ отображения движущихся объектов на карте местности |
| RU2755775C1 (ru) * | 2021-01-14 | 2021-09-21 | Виктор Михайлович Крылов | Способ автоматического формирования цифровой модели охраняемого объекта, анализа систем безопасности охраняемого объекта и оценки уязвимости охраняемого объекта с учетом упомянутого анализа |
| RU2775162C1 (ru) * | 2021-09-02 | 2022-06-28 | Общество с ограниченной ответственностью "Ай Ти Ви групп" | Система и способ отслеживания движущихся объектов по видеоданным |
Families Citing this family (8)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN107924690B (zh) * | 2015-09-02 | 2021-06-25 | 交互数字Ce专利控股公司 | 用于促进扩展场景中的导航的方法、装置和系统 |
| RU2679200C1 (ru) * | 2018-04-10 | 2019-02-06 | ООО "Ай Ти Ви групп" | Способ и система отображения данных с видеокамеры |
| CN112001941B (zh) * | 2020-06-05 | 2023-11-03 | 成都睿畜电子科技有限公司 | 基于计算机视觉的仔猪监管方法及系统 |
| WO2022020996A1 (zh) * | 2020-07-27 | 2022-02-03 | 华为技术有限公司 | 视频拼接的方法、装置及系统 |
| JP7402784B2 (ja) * | 2020-11-13 | 2023-12-21 | 本田技研工業株式会社 | 遠隔表示システム、ロボット、及び表示端末 |
| CN113115216B (zh) * | 2021-02-22 | 2022-09-06 | 浙江大华技术股份有限公司 | 室内定位方法、业务管理服务器及计算机存储介质 |
| EP4089574A1 (en) * | 2021-05-14 | 2022-11-16 | Fyma OÜ | A method and system for gathering information of an object moving in an area of interest |
| CN113377977A (zh) * | 2021-06-17 | 2021-09-10 | 深圳市睿联技术股份有限公司 | 一种视频信息生成方法、装置、系统和存储介质 |
Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20100157064A1 (en) * | 2008-12-18 | 2010-06-24 | Industrial Technology Research Institute | Object tracking system, method and smart node using active camera handoff |
| RU2452033C2 (ru) * | 2005-01-03 | 2012-05-27 | Опсигал Контрол Системз Лтд. | Системы и способы наблюдения в ночное время |
| US20140050455A1 (en) * | 2012-08-20 | 2014-02-20 | Gorilla Technology Inc. | Correction method for object linking across video sequences in a multiple camera video surveillance system |
| RU2565243C1 (ru) * | 2013-07-11 | 2015-10-20 | Панасоник Корпорэйшн | Устройство содействия отслеживанию, система содействия отслеживанию и способ содействия отслеживанию |
| EP3239943A1 (en) * | 2016-04-28 | 2017-11-01 | Toshiba TEC Kabushiki Kaisha | Monitoring device and method |
| GB2550509A (en) * | 2015-02-20 | 2017-11-22 | Panasonic Ip Man Co Ltd | Tracking assistance device, tracking assistance system, and tracking assistance method |
Family Cites Families (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8207964B1 (en) * | 2008-02-22 | 2012-06-26 | Meadow William D | Methods and apparatus for generating three-dimensional image data models |
| GB0709329D0 (en) * | 2007-05-15 | 2007-06-20 | Ipsotek Ltd | Data processing apparatus |
| US8970349B2 (en) * | 2011-06-13 | 2015-03-03 | Tyco Integrated Security, LLC | System to provide a security technology and management portal |
| BR112015008383A2 (pt) | 2012-10-18 | 2017-07-04 | Nec Corp | sistema de processamento de informações, método e programa para processamento de informações |
| JP5506989B1 (ja) | 2013-07-11 | 2014-05-28 | パナソニック株式会社 | 追跡支援装置、追跡支援システムおよび追跡支援方法 |
| US9407880B2 (en) * | 2014-04-10 | 2016-08-02 | Smartvue Corporation | Systems and methods for automated 3-dimensional (3D) cloud-based analytics for security surveillance in operation areas |
-
2017
- 2017-11-24 RU RU2017141015A patent/RU2670429C1/ru active
-
2018
- 2018-07-24 US US16/044,332 patent/US10839533B2/en active Active
- 2018-07-30 DE DE102018118423.9A patent/DE102018118423A1/de not_active Withdrawn
Patent Citations (6)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2452033C2 (ru) * | 2005-01-03 | 2012-05-27 | Опсигал Контрол Системз Лтд. | Системы и способы наблюдения в ночное время |
| US20100157064A1 (en) * | 2008-12-18 | 2010-06-24 | Industrial Technology Research Institute | Object tracking system, method and smart node using active camera handoff |
| US20140050455A1 (en) * | 2012-08-20 | 2014-02-20 | Gorilla Technology Inc. | Correction method for object linking across video sequences in a multiple camera video surveillance system |
| RU2565243C1 (ru) * | 2013-07-11 | 2015-10-20 | Панасоник Корпорэйшн | Устройство содействия отслеживанию, система содействия отслеживанию и способ содействия отслеживанию |
| GB2550509A (en) * | 2015-02-20 | 2017-11-22 | Panasonic Ip Man Co Ltd | Tracking assistance device, tracking assistance system, and tracking assistance method |
| EP3239943A1 (en) * | 2016-04-28 | 2017-11-01 | Toshiba TEC Kabushiki Kaisha | Monitoring device and method |
Non-Patent Citations (2)
| Title |
|---|
| Куделькин В.А. и др. Комплексное описание состояния защищенности территории с использованием геоинформационной системы, Известия Самарского научного центра Российской академии наук, т.17, N6(2), 2015. * |
| Хамухин А.В., Высокоэффективные алгоритмы семантической обработки видеоизображений и управления приборными комплексами технического зрения, Диссертация, 05.13.01 - Системный анализ, управление и обработка информации (информационно-вычислительное обеспечение), Том 1, Москва, 2016, рис.1.1, 2.1, рис.2.7, стр.90-96, 254. * |
Cited By (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2701985C1 (ru) * | 2018-12-06 | 2019-10-02 | Общество с ограниченной ответственностью "Ай Ти Ви групп" | Система и способ поиска объектов по траекториям движения на плане местности |
| RU2742582C1 (ru) * | 2020-06-25 | 2021-02-08 | Общество с ограниченной ответственностью "Ай Ти Ви групп" | Система и способ отображения движущихся объектов на карте местности |
| RU2755775C1 (ru) * | 2021-01-14 | 2021-09-21 | Виктор Михайлович Крылов | Способ автоматического формирования цифровой модели охраняемого объекта, анализа систем безопасности охраняемого объекта и оценки уязвимости охраняемого объекта с учетом упомянутого анализа |
| RU2775162C1 (ru) * | 2021-09-02 | 2022-06-28 | Общество с ограниченной ответственностью "Ай Ти Ви групп" | Система и способ отслеживания движущихся объектов по видеоданным |
Also Published As
| Publication number | Publication date |
|---|---|
| DE102018118423A1 (de) | 2019-05-29 |
| US10839533B2 (en) | 2020-11-17 |
| US20190156495A1 (en) | 2019-05-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2670429C1 (ru) | Системы и способы отслеживания движущихся объектов на видеоизображении | |
| US10445887B2 (en) | Tracking processing device and tracking processing system provided with same, and tracking processing method | |
| CN109104561B (zh) | 用于追踪场景中的移动对象的系统及方法 | |
| US20220124410A1 (en) | Image processing system, image processing method, and program | |
| JP6806188B2 (ja) | 情報処理システム、情報処理方法及びプログラム | |
| JP5001260B2 (ja) | オブジェクト追跡方法及びオブジェクト追跡装置 | |
| KR101533686B1 (ko) | 시선 추적 장치 및 방법, 이를 수행하기 위한 기록매체 | |
| US10719946B2 (en) | Information processing apparatus, method thereof, and computer-readable storage medium | |
| JP2020515974A (ja) | 歩行者追跡の方法および電子デバイス | |
| US20230353711A1 (en) | Image processing system, image processing method, and program | |
| JP2010049296A (ja) | 移動物体追跡装置 | |
| US10719717B2 (en) | Scan face of video feed | |
| CN112703533A (zh) | 对象跟踪 | |
| KR101062225B1 (ko) | 감시 카메라를 이용한 지능형 영상 검색 방법 및 시스템 | |
| EP2999217A1 (en) | Image processing apparatus, image processing method, image processing system, and program | |
| JP7085812B2 (ja) | 画像処理装置およびその制御方法 | |
| EP2618288A1 (en) | Monitoring system and method for video episode viewing and mining | |
| JP4610005B2 (ja) | 画像処理による侵入物体検出装置および方法およびプログラム | |
| KR102464196B1 (ko) | 빅데이터 기반 영상 감시시스템 | |
| US10740623B2 (en) | Representative image generation device and representative image generation method | |
| US11151730B2 (en) | System and method for tracking moving objects | |
| Landge | Object Detection and Object Tracking Using Background Subtraction for Surveillance Application | |
| US11070770B2 (en) | Method and system for auto-calibration of multiple sensors for event tracking | |
| JP7332047B2 (ja) | 追跡装置、追跡システム、追跡方法、およびプログラム | |
| JP6304708B2 (ja) | ムクドリを検知する画像処理方法、画像処理装置及び画像処理プログラム |