RU2475853C2 - Система распознавания поведения - Google Patents

Система распознавания поведения Download PDF

Info

Publication number
RU2475853C2
RU2475853C2 RU2009133474/08A RU2009133474A RU2475853C2 RU 2475853 C2 RU2475853 C2 RU 2475853C2 RU 2009133474/08 A RU2009133474/08 A RU 2009133474/08A RU 2009133474 A RU2009133474 A RU 2009133474A RU 2475853 C2 RU2475853 C2 RU 2475853C2
Authority
RU
Russia
Prior art keywords
frame
objects
scene
identified
foreground
Prior art date
Application number
RU2009133474/08A
Other languages
English (en)
Other versions
RU2009133474A (ru
Inventor
Джон Эрик ИТОН
Уэсли Кеннет КОББ
Деннис Джин УРЕХ
Бобби Эрнест БЛИТ
Дэвид Самьюэл ФРИДЛЭНДЕР
Раджкиран Кумар ГОТТУМУККАЛ
Лон Уилльям РИСИНГЕР
Кишор Адинатх САИТВАЛ
Минг-Дзунг СЕОВ
Дэвид Марвин СОЛУМ
Ган Сюй
Тао ЯН
Original Assignee
Бихейвиэрл Рикогнишн Системз, Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=39682435&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=RU2475853(C2) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Бихейвиэрл Рикогнишн Системз, Инк. filed Critical Бихейвиэрл Рикогнишн Системз, Инк.
Publication of RU2009133474A publication Critical patent/RU2009133474A/ru
Application granted granted Critical
Publication of RU2475853C2 publication Critical patent/RU2475853C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19608—Tracking movement of a target, e.g. by detecting an object predefined as a target, using target direction and or velocity to predict its new position
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G08B13/19602—Image analysis to detect motion of the intruder, e.g. by frame subtraction
    • G08B13/19613—Recognition of a predetermined image pattern or behaviour pattern indicating theft or intrusion
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B23/00—Alarms responsive to unspecified undesired or abnormal conditions

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Geophysics And Detection Of Objects (AREA)

Abstract

Изобретение относится к видеоанализу и к анализу и изучению поведения на основе данных потокового видео. Техническим результатом является расширение функциональных возможностей распознавания поведения за счет быстрого изучения в реальном времени обычного и необычного поведения для любой среды посредством анализа движений или активностей или отсутствия таковых в среде и идентификации и прогнозирования ненормального и подозрительного поведения на основе того, что было изучено. Объекты, представленные в потоке, определяются на основе анализа видеокадров. Каждый объект может иметь соответствующую поисковую модель, используемую для отслеживания движения объекта от кадра к кадру. Определяются классы объектов и формируются семантические представления объектов. Семантические представления используются для определения поведений объектов и для изучения поведения, возникающего в среде, представленной полученными видеопотоками. 2 н. и 13 з.п. ф-лы, 11 ил.

Description

Область техники, к которой относится изобретение
Изобретение в основном относится к видеоанализу и более конкретно к анализу и изучению поведения на основе данных потокового видео.
Уровень техники
Некоторые в настоящее время доступные системы видеонаблюдения имеют простые способности распознавания. Однако многие такие системы наблюдения требуют предварительных знаний (до того как система была разработана) действий и/или объектов, которые система должна быть способна отыскивать. Основной программный код, направленный на конкретные «ненормальные» поведения, должен разрабатываться для создания этих систем наблюдения работоспособными и достаточно функциональными. Другими словами, если системный основной код не включает в себя описания определенных поведений, система будет неспособна распознать такие поведения. Кроме того, для различения поведений часто требуется разработка отдельных программных продуктов. Это делает способности распознавания систем наблюдения трудоемкими и чрезмерно дорогими. Например, мониторинг входов в аэропорт за затаившимися преступниками и идентификация пловцов, которые не перемещаются в бассейне, являются двумя разными ситуациями и поэтому могут требовать разработки двух разных программных продуктов, имеющих свои соответствующие предварительно закодированные «ненормальные» поведения.
Системы наблюдения могут также быть желательными для запоминания обычных сцен и формирования тревоги всякий раз, когда изменения не считаются нормальными изменениями. Однако эти типы систем наблюдения должны предварительно программироваться для узнавания того, какое такое изменение является ненормальным. Кроме того, такие системы не могут точно различать, что на самом деле случилось. Или эти системы определяют, что то, что ранее считалось «нормальным», изменилось. Таким образом, продукты, разработанные таким способом, создаются для определения только ограниченного диапазона заранее определенного типа поведения.
Сущность изобретения
Варианты осуществления настоящего изобретения обеспечивают способ и систему для анализа и изучения поведения на основе полученного потока видеокадров. Объекты, представленные в потоке, определяются на основе анализа видеокадров. Каждый объект может иметь соответствующую поисковую модель, которая используется для отслеживания движений объекта от кадра к кадру. Определяются классы объектов и формируются семантические представления объектов. Семантические представления используются для определения поведений объектов и для изучения поведений, возникающих в среде, показанной получаемыми видеопотоками. Таким образом, система быстро изучает и в реальном времени обычные и необычные поведения для любой среды посредством анализа движений или активностей или отсутствия таковых в среде и идентифицирует и прогнозирует ненормальное и подозрительное поведение на основе того, что было изучено.
Один конкретный вариант осуществления настоящего изобретения включает в себя способ обработки потока видеокадров, регистрирующих события в сцене. Способ включает в себя прием первого кадра потока. Первый кадр включает в себя данные для множества пикселей, включенных в кадр. Способ может, дополнительно, включать в себя идентификацию одной или более групп пикселей в первом кадре. Каждая группа представляет объект в сцене. Способ может еще дополнительно включать в себя формирование поисковой модели, сохраняющей один или более признаков, связанных с каждым идентифицируемым объектом, классификацию каждого объекта, используя изученный классификатор, отслеживание, во втором кадре, каждого объекта, идентифицированного в первом кадре, используя поисковую модель, и передачу первого кадра, второго кадра и классификаций объектов в средство машинного изучения. Способ может еще дополнительно включать в себя формирование, посредством средства машинного изучения, одного или более семантических представлений поведения объекта, находящегося в сцене, из множества кадров. Средство машинного изучения может обычно создаваться для изучения образцов поведения, наблюдаемого в сцене, во множестве кадров и для идентификации появлений образцов поведения в классифицированных объектах.
Краткое описание чертежей
Таким образом, указанные выше признаки, преимущества и объекты настоящего изобретения достигаются и могут быть понятными подробно, при этом более конкретное описание изобретения, которое кратко подытожено выше, может иметь ссылки на варианты, показанные на прилагаемых чертежах.
Однако отметим, что приложенные чертежи только иллюстрируют типичные варианты осуществления этого изобретения и поэтому не рассматриваются как ограничивающие его объем, при этом для изобретения могут допускаться другие равные эффективные варианты осуществления.
Фиг. 1 - высокоуровневая блок-схема система распознавания поведения в соответствии с одним вариантом осуществления настоящего изобретения.
Фиг. 2 показывает блок-схему способа анализа и изучения поведения на основе потока видеокадров в соответствии с одним вариантом осуществления настоящего изобретения.
Фиг. 3 показывает модуль заднего и переднего плана средства компьютерного зрения в соответствии с настоящим изобретением.
Фиг. 4 показывает модуль отслеживания интересующих объектов в средстве компьютерного зрения в соответствии с одним вариантом осуществления настоящего изобретения.
Фиг. 5 показывает модуль оценки/идентификации в средстве компьютерного зрения в соответствии с одним вариантом осуществления настоящего изобретения.
Фиг. 6 показывает компонент контекстного процессора в средстве компьютерного зрения в соответствии с одним вариантом осуществления настоящего изобретения.
Фиг. 7 показывает модуль семантического анализа в средстве машинного изучения в соответствии с одним вариантом осуществления настоящего изобретения.
Фиг. 8 показывает модуль восприятия в средстве машинного изучения в соответствии с одним вариантом осуществления настоящего изобретения.
Фиг. 9А-9С показывает последовательности видеокадров, в которых система распознавания поведения определяет ненормальное поведение и выдает предупреждение, в соответствии с одним вариантом осуществления настоящего изобретения.
Подробное описание предпочтительных вариантов осуществления
Системы распознавания поведения с машинным обучением, такие варианты осуществления которых, описанные здесь, изучают поведения на основе информации, полученной с течением времени. В контексте настоящего изобретения анализируется информация из видеопотока (т.е. последовательности индивидуальных видеокадров). Описание раскрывает систему распознавания поведения, которая обучается для идентификации и различения между нормальным и ненормальным поведениями в сцене посредством анализа движений и/или активностей (и/или отсутствием таковых) с течением времени. Обычные/необычные поведения заранее не определяются и жестко не кодируются. Взамен система распознавания поведения, описанная здесь, быстро изучает, что является «нормальным» для любой среды, и идентифицирует ненормальное и подозрительное поведение на основе того, чему обучена посредством контроля положения, т.е. анализируя контент записанного видео кадр за кадром.
Далее делаются ссылки на варианты осуществления изобретения. Однако будет понятно, что изобретение не ограничивается какими-либо конкретными описанными вариантами осуществления. Вместо этого любая комбинация следующих признаков и элементов, любая из которых относится к разным вариантам осуществления, предполагается для реализации и осуществления изобретения. Кроме того, в различных вариантах осуществления обеспечиваются разные преимущества по отношению к уровню техники. Однако, хотя варианты осуществления изобретения могут достигать преимущества по отношению к другим возможным решениям и/или по отношению к уровню техники, любое конкретное преимущество, достигаемое любым вариантом осуществления, не ограничивает изобретение. Таким образом, следующие аспекты, признаки, варианты осуществления и преимущества просто иллюстрируют и не рассматриваются как элементы или ограничения, исключенные из приложенной формулы, где точно перечислены в формуле. Аналогично ссылка на «изобретение» не будет ограничивать основную линию любого объекта изобретения, описанного здесь, и не будет рассматриваться в качестве элемента или ограничения, исключенного из приложенной формулы, где точно процитированы в формуле.
Один вариант осуществления реализуется как программный продукт для использования в компьютерной системе. Программа(ы) программного продукта определяет функции вариантов осуществления (включая способ, описанный здесь) и может содержать разные машиночитаемые запоминающие носители. Иллюстративный машиночитаемый запоминающий носитель включает в себя, но не ограничивает: (i) незаписываемый запоминающий носитель (например, постоянная память в компьютере, такая как диски CD-ROM, считываемые дисководом CD-ROM), в котором постоянно хранится информация; (ii) записываемый запоминающий носитель (например, гибкие диски в дискетном дисководе или дисководе жесткого диска), в котором хранится изменяемая информация. Такой машиночитаемый запоминающий носитель, когда несет выполняемые компьютером команды, которые управляют функциями настоящего изобретения, является вариантом осуществления изобретения. Другой носитель включает в себя коммуникационную среду, по которой информация передается на компьютер, такую как через компьютерную или телефонную сеть, включая сети беспроводной передачи. Последний вариант осуществления, в частности, включает в себя передачу информации в или из Интернета и других сетей. Такая коммуникационная среда, когда переносит машиночитаемые команды, которые управляют функциями настоящего изобретения, является вариантом осуществления настоящего изобретения. Машиночитаемый запоминающий носитель и коммуникационная среда широко могут называться здесь в качестве машиночитаемого носителя.
Обычно подпрограмма, выполняемая для реализации вариантов осуществления изобретения, может быть частью операционной системы или конкретного приложения, компонента, программы, модуля, объекта или последовательности команд. Компьютерная программа настоящего изобретения содержит обычно множество команд, которые будут транслироваться собственным компьютером в машиночитаемый формат и, следовательно, машиночитаемые команды. Также программы содержат переменные и структуры данных, которые принадлежат программе или находятся в памяти или в запоминающих устройствах. Кроме того, разные программы, описанные здесь, могут идентифицироваться на основе приложения, для которого они реализуются в конкретных вариантах осуществления изобретения. Однако, будет очевидным, что любые конкретные номенклатуры программ, которые следуют, используются лишь для удобства, и таким образом, изобретение не следует ограничивать использованием только в любом конкретном приложении, идентифицированным и/или подразумеваемым такой номенклатурой.
Варианты осуществления настоящего изобретения обеспечивают систему распознавания поведения и способ анализа, изучения и распознавания поведения. Фиг. 1 является высокоуровневой блок-схемой системы 100 распознавания поведения в соответствии с один вариантом осуществления настоящего изобретения. Как показано, система 100 распознавания поведения включает в себя средство 105 ввода видео, сеть 110, компьютерную систему 115 и устройства 145 ввода и вывода (например, монитор, клавиатура, мышь, принтер и т.п.).
Сеть 110 принимает видеоданные (например, видеопоток(и), видеоизображения или аналогичные) из средства 105 видеоввода. Средством 105 ввода видео может быть видеокамера, VCR, DVR, DVD, компьютер или т.п. Например, средство 105 ввода видео может быть стационарной видеокамерой, расположенной в определенной области (например, станция метро) и постоянно записывающей область и события, возникающие в этом месте. Обычно область, видимая камерой, называется как «сцена». Средство 105 ввода видео может быть сконфигурировано для записи сцены в качестве последовательных индивидуальных видеокадров с конкретной кадровой скоростью (например, 24 кадра в секунду), где каждый кадр включает в себя фиксированное число пикселей (например, 320х240). Каждый пиксель каждого кадра устанавливает цветовое значение (например, значение RGB). Кроме того, видеопоток может форматироваться, используя известные такие форматы, как, например, MPEG2, MJPEG, MPEG4, H.263, H.264 и т.п. Как обсуждается более подробно ниже, система распознавания поведения анализирует эту необработанную информацию для идентификации активности объектов в потоке, классифицирует такие элементы, извлекает множество метаданных в отношении действий и взаимодействия таких элементов и передает эту информацию на средство машинного изучения. В свою очередь средство машинного изучения может быть сконфигурировано для оценки, изучения и запоминания с течением времени. Кроме того, на основе «изучения» средство машинного изучения может идентифицировать определенное поведение в качестве ненормального.
Сеть 110 может использоваться для передачи видеоданных, записанных средством 105 ввода видео, на компьютерную систему 115. В одном варианте осуществления сеть 110 передает принятый поток видеокадров на компьютерную систему 115.
Иллюстративно компьютерная система 115 включает в себя CPU 120, хранилище 125 (например, диск, оптический диск, гибкий диск и т.п.) и память 130, содержащую средство 135 компьютерного зрения и средство 140 машинного изучения. Средство 135 компьютерного зрения может обеспечивать программное приложение, созданное для анализа последовательности видеокадров, полученной средством 105 ввода видео. Например, в одном варианте осуществления средство 135 компьютерного зрения может быть сконфигурировано для анализа видеокадров для идентификации интересующих целей, отслеживать эти интересующие цели, делать вывод о свойствах интересующих целей, классифицировать их по категориям и назначать метки для наблюдаемых данных. В одном варианте осуществления средство 135 компьютерного зрения формирует список атрибутов (таких, как текстура, цвет и т.п.) интересующих классифицируемых объектов и предоставляет список средству 140 машинного изучения. Кроме того, средство компьютерного зрения может предоставлять средству 140 машинного изучения разнообразную информацию о каждом отслеживаемом объекте в сцене (например, кинематические данные, глубины, цвета, данные внешнего вида и т.д.).
Средство 140 машинного изучения получает видеокадры и результаты, сформированные средством 135 компьютерного зрения. Средство 140 машинного изучения анализирует принятые данные, создает семантические представления событий, представленных в видеокадрах, определяет образцы и узнает из них о наблюдаемых поведениях для идентификации нормальных и/или ненормальных событий. Средство 135 компьютерного зрения и средство 140 машинного изучения и их компоненты описываются более подробно ниже. Данные, описывающие любое нормальное/ненормальное поведение/событие, которое было определено, и/или такое поведение/событие, могут предоставляться на устройство 145 вывода для выдачи предупреждения, например предупреждающее сообщение, представленное на экране графического интерфейса GUI.
Обычно средство 135 компьютерного зрения и средство 140 машинного изучения обрабатывают полученные видеоданные в реальном времени. Однако масштабы времени на обработку информации средством 135 компьютерного зрения и средством 140 машинного изучения могут отличаться. Например, в одном варианте осуществления средство 135 компьютерного зрения обрабатывает принятые кадры видеоданных, пока средство машинного изучения обрабатывает принятые данные каждых N кадров. Иными словами, пока средство 135 компьютерного зрения анализирует каждый кадр в реальном времени для получения набора информации о том, что происходит в данном кадре, средство 140 машинного изучения не ограничивается скоростью кадров в реальном времени средства ввода видео.
Отметим, однако, что фиг. 1 показывает лишь одну из возможных структур системы 100 распознавания поведения. Например, хотя средство 105 ввода видео показывается подключенным к компьютерной системе 115 через сеть 110, сеть 110 не всегда присутствует или необходима (например, средство 105 ввода видео может непосредственно подключаться к компьютерной системе 115). Кроме того, в одном варианте осуществления средство 135 компьютерного зрения может реализовываться как часть устройства ввода видео (например, в качестве компонента встроенной программы, прямо зашитой в видеокамеру). В таком случае выходные данные видеокамеры могут предоставляться на средство 140 машинного изучения для анализа.
Фиг. 2 показывает способ 200 анализа и изучения поведения из потока видеокадров в соответствии с одним вариантом осуществления настоящего изобретения. Как показано, способ 200 начинается с этапа 205. На этапе 210 набор видеокадров, полученных от источника ввода видео. На этапе 215 видеокадры могут обрабатываться для минимизации шума видео, нерегулярного или необычного освещения сцены, проблемы, относящиеся к цвету, и так далее. То есть содержание видеокадров может быть усилено для видимого улучшения изображения до обработки компонентами системы распознавания поведения (например, средство 135 компьютерного зрения и средство 140 машинного изучения, описанные выше).
На этапе 220 каждый последующий видеокадр анализируется для идентификации и/или обновления изображения переднего и заднего планов для использования во время последующих этапов способа 200. Обычно изображение заднего плана включает в себя стационарные элементы сцены, фиксированные средством ввода видео (например, пиксели, показывающие платформу станции метро), в то время как изображение переднего плана включает в себя изменяемые элементы, фиксированные средством ввода видео (например, пиксели, показывающие мужчину, движущегося вокруг платформы). Иными словами, изображение заднего плана обеспечивает этап, на котором элементы заднего плана могут вводиться, взаимодействовать друг с другом и удаляться. Изображение заднего плана может включать в себя значение цвета для каждого пикселя в изображении заднего плана. В одном варианте осуществления изображение заднего плана может получаться путем отбора значений цвета для данного пикселя для ряда кадров. Также, если новые кадры принимаются, элементы изображения заднего плана могут изменяться на основе дополнительной информации, включенной в каждый последующий кадр. Обычно, если пиксели являются частью заднего или переднего плана, то могут определяться для каждого кадра в последовательности видеокадров, и элементы переднего плана могут идентифицироваться путем сравнения изображений заднего плана со значениями цветовых пикселей в данном кадре. После того, как пиксели переднего плана идентифицированы, маска может применяться к кадру, эффективно вырезая пиксели, которые являются частью заднего плана, из изображения, оставляя только одно или более пятен пикселей переднего плана в изображении. Например, маска может примеряться к кадру таким образом, чтобы каждый пиксель переднего плана представлялся белым и каждый пиксель заднего плана представлялся черным. В результате черное и белое изображение (представленное в качестве двумерного массива) может предоставляться на последующие элементы системы распознавания поведения. В одном варианте осуществления компьютерная система 115 может обеспечиваться с первоначальными моделями изображения заднего плана для данной сцены.
На этапе 225 изображение переднего плана, связанное с заданным кадром, может анализироваться для идентификации набора пятен (например, группы связанных пикселей) путем сегментации изображения переднего плана на интересующие цели. Другими словами, система может быть сконфигурирована для изоляции разных пятен в изображении переднего плана, где каждое пятно удобно представляет различные объекты переднего плана в кадре (например, машина, мужчина, чемодан и т.п.). Для каждого пятна переднего плана поисковая модель может инициализироваться, когда пятно переднего плана изначально определено. Поисковая модель используется для фиксирования позиции пятна в схеме, идентифицирующей, какие пиксели образуют часть пятна, и хранения различных метаданных, относительно наблюдаемого поведения в пятне от кадра к кадру. Кроме того, поисковая модель может использоваться путем отслеживания модели для прогнозирования, нахождения и отслеживания движений соответствующего объекта от кадра к кадру. Как только последовательные кадры принимаются, поисковая модель обновляется, так как пятно переднего плана продолжает присутствовать в последующих видеокадрах. Такое обновление может периодически выполняться с каждым дополнительным видеокадром, а новая информация, позволяющая уточнять поисковую модель, принимается по мере необходимости или аналогично.
Поисковая модель может реализовываться различными способами. Например, в одном варианте осуществления поисковой моделью может быть модель внешнего вида, созданная для фиксирования ряда признаков о данном объекте переднего плана, включая пиксели, которые являются частью этого объекта переднего плана. Модель внешнего вида данного объекта может затем обновляться на основе пикселей, представляющих этот объект от кадра к кадру. В другом варианте осуществления поисковой моделью может быть минимально ограничивающий прямоугольник для охвата объекта. Хотя вычисление намного быстрее, минимально ограничивающий прямоугольник включает в себя пиксели в качестве части пятна, которые являются, по сути, частью заднего плана. Тем не менее, для некоторых видов анализа этот подход может быть эффективным. Эта поисковая модель описывается ниже более подробно. На этапе 230 поисковая модель используется для отслеживания движений объектов на переднем плане относительно того, как они перемещаются по сцене от кадра к кадру. То есть, после того, как объект идентифицируется в первом кадре, и модель внешнего вида (и/или ограничивающий прямоугольник) формируется для этого объекта, поисковая модель может использоваться для идентификации и отслеживания этого объекта в последующих кадрах на основе модели внешнего вида (и/или ограничивающего прямоугольника) до тех пор, пока объект переднего плана не покинет сцену. Поисковая модель может использоваться для идентификации объекта в видеокадрах после того, как объект, например, изменит положение или позицию. Таким образом, разные типы информации, относящиеся к одному и тому же объекту, определяются (например, кинематические характеристики объекта, ориентация, направление движения и так далее), когда такой объект движется по сцене.
На этапе 235 система распознавания поведения пытается классифицировать пятна переднего плана в качестве одной из классификаций отдельных экземпляров. Например, в одном варианте осуществления система распознавания поведения может быть сконфигурирована для классификации каждого объекта переднего план в качестве одного из «человек», «транспортное средство», «другой» или «неизвестный». Конечно, больше классификаций может использоваться и, кроме того, классификации могут создаваться с учетом потребностей конкретного случая. Например, система распознавания поведения, получающая видеоизображения транспортерной багажной ленты, может классифицировать объекты на ленте по различным видам/размерам багажа. После классификации объекта переднего плана могут быть сделаны дополнительные оценки в отношении такого объекта, например оцениваются поза объекта (например, ориентация, поза и т.д.), местоположение (например, расположение на сцене, представленной видеоизображениями, местоположение относительно других интересующих объектов, и т.д.) и движение (например, траектория, скорость, направление и т.д.). Эта информация может использоваться средством 140 машинного изучения для описания определенных поведений в качестве нормального или ненормального на основе последних наблюдений аналогичных объектов (например, другие объекты, классифицируемые как люди).
На этапе 240 результаты предыдущих этапов (например, результаты отслеживания, данные изображения заднего плана/переднего плана, результаты классификации и т.д.) объединяются и анализируются для создания карты сцены, показанной видеокадрами. В одном варианте осуществления сцена сегментируется на пространственно разделенные области, каждый сегмент определяется набором пикселей. Области сортируются в соответствии с z-глубиной (то есть, какой сегмент ближе и какой сегмент дальше от устройства видеозахвата) и опционально помечается (например, как натуральный, сделанный человеком и т.д.). На этапе 245 создаются семантические представления движений объектов. Иными словами создаются семантические представления движений и/или действий отслеживаемых объектов (например, «автомобиль припаркуется», «автомобиль останавливается», «человек наклоняется», «лицо исчезает» и так далее). На этапе 250 семантические представления анализируются для распознавания образов.
Итоговые семантические представления аннотированы на карте сцены и результаты классификации анализируются на этапе 255. Система распознавания поведения анализирует такие результаты для изучения образцов поведения, обобщает на основе изучения и изучает посредством создания аналогий. Это также позволяет системе распознавания поведения определять и/или изучать, какой вид поведения является нормальным и какой вид поведения является ненормальным. То есть средство машинного изучения может быть сконфигурировано для идентификации распознаваемых образцов, оценки новых поведений для данного объекта, подкрепления или изменения образцов поведения, изученных для данного объекта, и т.д.
На этапе 260 результаты предыдущих шагов опционально анализируются для распознавания поведения. Кроме того, система распознавания поведения может быть сконфигурирована для выполнения определенного действия в ответ на распознавание появления данного события. Например, на основе результатов предыдущих этапов система распознавания поведения может выдавать предупреждение, когда объект переднего плана классифицирован как человек, который занимается необычным поведением. Кроме того, некоторое поведение, которое является «необычным», может основываться на том, что средство изучения «изучило» «нормальное» поведение людей в данной сцене. В одном варианте осуществления предупреждения выдаются только, если ненормальное поведение было определено (например, предупреждение о том, что лицо оставило без присмотра сумку на станции метро). В другом варианте осуществления выдается предупреждение о том, что нормальные события происходят в сцене (например, предупреждение, указывающее, что автомобиль припаркован). Способ заканчивается этапом 275.
Следует отметить, что не является необходимым выполнять все описанные выше этапы в указанном порядке. Кроме того, не все описанные этапы являются необходимыми для работы описанного способа. Какие этапы должны использоваться, в каком порядке этапы должны выполняться и должны ли некоторые этапы повторяться чаще, чем другие этапы, определяется на основе, например, потребностей конкретного пользователя, конкретных качеств наблюдаемой среды и так далее.
Фиг. 3-6 показывают разные компоненты средства 135 компьютерного зрения, показанного на фиг. 1, в соответствии с одним вариантом осуществления настоящего изобретения. В частности, фиг. 3 показывает компоненты модуля 300 переднего и заднего плана. Модуль 300 переднего и заднего плана использует признаки в каждом видеокадре для идентификации, какие пиксели принадлежат изображению заднего плана и какие принадлежат изображению переднего плана. В одном варианте осуществления видеокадры анализируются для классификации каждого пикселя в качестве части изображения заднего плана сцены (и этого кадра) или отображения части изображения переднего плана для этого кадра.
Обычно пиксели, которые не меняют цвет с течением времени, считаются частью изображения заднего плана. Отбирая значение цвета пикселя по времени, присутствие объекта переднего плана в некоторых кадрах может размываться. Кроме того, так как изображение заднего плана может обновляться динамически, то изображение заднего плана может компенсировать изменения в свете и тени. Аналогично пиксели, которые изменяют цвет относительно изображения заднего вида, предполагаются отображающими объект переднего плана. Иными словами, движения объектов переднего плана в сцене определяются на основе разницы между значениями цветов пикселей в последующих видеокадрах. Обычно изображение заднего плана может предусматриваться в качестве видеокадра пикселей, имеющих вырезанные объекты переднего плана. Изображения переднего плана могут предусматриваться в качестве пикселей, которые закрывают задний план. Альтернативно только одно изображение переднего плана может использоваться. Такое изображение переднего плана может представляться в качестве прозрачного видеокадра, который соединяет пиксели переднего плана. Следует отметить, что в то время как два последовательных кадра могут быть достаточными для отслеживания данного объекта переднего плана, сравнение множества последовательных кадров дает более точные результаты при определении изображения заднего плана для данной сцены.
Следует также отметить, что пиксель, первоначально определенный в качестве пикселя заднего плана (в одном кадре), может стать пикселем переднего плана (в другом кадре), и наоборот. Например, если значение цвета пикселя на заднем плане начинает меняться, может быть целесообразным повторно классифицировать его как пиксель переднего плана (например, припаркованный автомобиль в течение длительного периода времени начинает двигаться). Аналогично меняющийся пиксель может стать статическим, поэтому может быть необходимо повторно классифицировать такой пиксель в качестве пикселя заднего плана (например, мусор мог быть принесен на станцию метро для постоянного использования). Однако чтобы избежать ненужных повторных классификаций пикселей и для улучшения интерпретации того, что входит в изображения переднего и заднего планов, в одном варианте осуществления система распознавания поведения может классифицировать пиксели как часть кратковременного заднего плана (STBG), кратковременного переднего плана (STFG), долговременного заднего плана (LTBG) и долговременного переднего план (LTFG). STBG и STFG хранятся в памяти в течение короткого периода времени (например, секунды или меньше), в то время как LTBG и LTFG сохраняются в памяти на длительный период (например, минуты). Определение, сначала, пиксели в качестве STBG/STFG, и затем интерпретирование только квалификаций пикселей в качестве LTBG/LTFG, позволяет более точное определение того, какие пиксели являются частью изображения заднего/переднего плана. Конечно, временные периоды могут регулироваться в зависимости от событий, происходящих в конкретной сцене.
Фиг. 3 показывает компоненты модуля 300 заднего и переднего плана, которые могут использоваться для формирования изображений заднего и переднего плана для видеокадра, в соответствии с одним вариантом осуществления изобретения. Сначала видеокадры принимаются модулем 305 изучения заднего плана. Модуль 300 переднего и заднего плана может обучаться, используя первоначальную последовательность кадров. Обучение позволяет модулю 300 переднего и заднего плана создавать изображение заднего плана сцены, представленной в полученных видеокадрах. Процесс обучения может происходить во время этапа инициализации системы, а именно до того, как определено изображение заднего плана сцены.
Модуль 310 компенсации темной сцены может обрабатывать значения пикселей для компенсации условий слабого или темного освещения части сцены. Кроме того, модуль 310 компенсации темной сцены может быть сконфигурирован для передачи обработанных видеокадров на модуль 315 STFG/STBG и модуль 320 LTBG/LTBG. Модуль 315 STFG/STBG может быть сконфигурирован для определения пикселей STFG и STBG в данном кадре и представления этой информации на модуль 325 старого FG и модуль 335 компенсации подсветки, соответственно. Модуль 320 LTFG/LTBG может быть сконфигурирован для идентификации пикселей LTFG и LTBG и аналогично модулю 315 STFG/STBG, представляют эту информацию на модуль 325 старого FG и модуль 335 компенсации освещенности, соответственно. Модуль 325 старого FG идентифицирует старые пиксели переднего плана и предоставляет результаты на модуль 330 обновления BG. Пиксель может стать «старым», когда определение BG/FG устаревает и нуждается в переоценке. После получения модуль 335 компенсации освещенности может динамически корректировать обработку для изменения освещения (например, осветление/затемнение сцены из-за облаков, затемняющих солнце, или регулирование искусственных источников света), и модуль 310 компенсации темной сцены будет динамически обеспечивать специальную обработку в пределах очень темных областей и/или условий со слабым освещением. Модуль 330 обновления GB обновляет модель изображения заднего плана и передает результаты на модуль 335 компенсации освещения, который, в свою очередь, после обработки всех полученных результатов передает обработанные результаты на модуль LTFG/LTBG.
Таким образом, в совокупности, модуль 300 заднего и переднего плана определяет набор изображений заднего и переднего плана и/или модели переднего и заднего плана для использования другими компонентами системы распознавания поведения. Модели заднего и переднего плана различаются между пикселями, которые являются частью заднего плана сцены (т.е. частью сцены), и пикселями, которые отображают объекты переднего плана (т.е. элементы, выполняющие некоторые действия в сцене). Следует отметить, что хотя в указанном выше описании модуля 300 заднего и переднего плана ссылки делаются только на изображение заднего плана, альтернативно модуль 300 заднего и переднего плана может использовать множество изображений заднего плана (например, сцены кадра изображения могут разделяться на несколько зон заднего плана для более точной идентификации заднего плана).
В одном варианте осуществления модель заднего плана/изображение может включать в себя дополнительную информацию, такую как цвета пикселя. Кроме того, модель заднего плана/изображение обычно включает в себя дополнительные характеристики пикселей, такие как цвет. Однако хранение или сбор такой информации может быть опущены (например, для экономии ресурсов в среде, где известные цвета несущественно улучшают различия между интересующими объектами, например конвейер, транспортирующий объекты в основном одного и того же или аналогичного цвета).
Фиг. 4 показывает модуль 400 объекта переднего плана, созданный для идентификации объектов, отображенных в изображениях переднего плана сцены, в соответствии с одним вариантом осуществления изобретения. В общем модуль 400 объекта переднего плана может быть сконфигурирован для приема изображений переднего плана, созданных модулем 300 заднего и переднего плана для данного кадра, создания/обновления поисковых моделей для изображений переднего плана и попыток отследить движения отображенного объекта в изображениях переднего плана, в которых объект движется по сцене от кадра к кадру.
Как показано на фиг. 4, модуль 400 объекта переднего плана включает в себя модуль 405 обнаружения пятна, модуль 410 создания/обновления, модуль 420 слежения и 1-М поисковые модели, поисковую модель 1 (4151), поисковую модель 2 (4152) - поисковую модель M (415M). В одном варианте осуществления модуль 405 обнаружения пятна может быть сконфигурирован для анализа изображений переднего плана для определения групп соответствующих пикселей, называемых пятнами переднего плана, где каждая такая группа пикселей аналогично представляет четкий объект в сцене. Кроме того, каждому определенному пятну переднего плана назначается идентификационный номер слежения. Пятна переднего плана используются модулем 410 создания/обновления для создания/обновления поисковых моделей 4151-415M, в котором уже существующие поисковые модели были созданы или обновлены для пятен, идентифицированных в предыдущих видео кадрах. В одном варианте осуществления для обновления поисковых моделей 4151 - 415M модуль 410 создания/обновления также использует результаты, сформированные модулем 420 слежения. Если постоянно определяемое пятно не имеет соответствующей поисковой модели, такая поисковая модель строится (создается).
В любой момент модуль 400 объекта переднего плана может включать в себя множество поисковых моделей, каждая представляющая другое пятно переднего плана. Число поисковых моделей может зависеть от того, сколько пятен переднего плана идентифицируется модулем 405 определения пятна в изображении переднего плана. В одном варианте осуществления поисковые модели могут создаваться с прогностическими возможностями в отношении того, что пятно переднего плана может сделать в последующих видеокадрах. Например, поисковые модели, связанные с данным пятном переднего плана, могут включать в себя предполагаемую в дальнейшем позицию (и форму) этого пятна на основе настоящей позиции и кинематические данные. Кроме того, каждая поисковая модель может включать в себя разнообразную информацию, полученную о пятнах данного переднего плана (например, текстуры, цвета, образцы, позиция Z-глубины в сцене, размер, скорость движения, кинематика и т.п.).
Кроме того, различные виды поисковых моделей могут использоваться в соответствии с принципами настоящего изобретения. Как указано, поисковая модель может использоваться модулем 420 слежения для прогнозирования, нахождения и отслеживания движений соответствующего объекта из кадра в кадр. В одном варианте осуществления используется внешний вид модели. Внешний вид модели включает в себя пиксели, используемые для отображения объекта (например, где кадр отображает человека на изображении переднего плана, модель внешнего вида будет включать в себя в основном пиксели контура человека и пиксели внутри контура). В другом варианте осуществления поисковая модель реализуется в виде модели на основе признаков, где модель на основе признаков представляет пиксели внутри прямоугольника, такого как, например, минимально ограничивающего прямоугольника, охватывающего объект (например, где объект является человеком, модель на основе признаков может включать в себя ограничивающий прямоугольник, охватывающий человека). Альтернативно модель на основе признаков может включать в себя множество ограничивающих прямоугольников для данного объекта, такие как прямоугольники минимально возможных размеров, охватывающих различные области этого объекта (например, где кадр отображает человека, модель на основе признака для такого объекта может включать в себя несколько прямоугольников минимального размера, где прямоугольники охватывают различные области человека, такие как руки, ноги, голова и туловище).
Используемые поисковые модели могут зависеть, например, от наблюдаемой среды, предпочтений пользователя системы распознавания поведения и так далее. Например, хотя модель внешнего вида удовлетворительно обеспечивает более точное отслеживание, модель на основе признаков может экономить ресурсы, где, например, формы отслеживаемых интересующих объектов являются простыми (например, ленточный транспортер для багажа).
Как упоминалось выше, модуль 420 слежения использует поисковые модели 415 для отслеживания движений соответствующих объектов, представленных в видеопоследовательности от кадра к кадру, таких как перемещение объекта по сцене. Модуль 420 слежения берет обнаруженное пятно переднего плана текущего видеокадра и ищет поисковую модель предыдущего видеокадра, которая обеспечивает точное соответствие с пятном переднего плана. В одном варианте осуществления для каждого постоянно обнаруживаемого пятна переднего плана модуль 420 слежения ищет поисковую модель 415, у которой относительное пространственное векторное расстояние между поисковой моделью и пятном переднего план абсолютно минимально. Таким образом, модуль 420 слежения может отслеживать местоположение каждого объекта, представленного одной из поисковых моделей 415 от кадра к кадру. В одном варианте осуществления модуль 420 слежения использует кинематическую информацию, полученную на основе предыдущих видеокадров, для оценки положений поисковой модели в текущем видеокадре.
Фиг. 5 показывает модуль 500 оценки/идентификации в средстве компьютера зрения в соответствии с одним вариантом осуществления настоящего изобретения. Обычно модуль 500 оценки/идентификации получает пятна переднего плана и соответствующие поисковые модели и пытается классифицировать объекты в видеокадре, которые представлены пятнами переднего план, в качестве членов известных категорий (классов). В одном варианте осуществления, если интересующий объект был определен, то модуль 500 оценки/идентификации оценивает позу, положение и движение интересующего объекта. Модуль 500 оценки/идентификации обычно обучается на многочисленных положительных и отрицательных примерах, представляющих примеры данного класса. Кроме того, онлайновое обучение может использоваться для динамического обновления классификатора, пока видео анализируется покадрово.
Как показано, модуль 500 оценки/идентификации включает в себя классификатор 505, класс 1 (5101)-класс N (510N) и идентификатор 515. Классификатор 505 пытается классифицировать объект переднего плана в качестве члена одного из классов, класс 1 (5101)-класс N (520N). В случае успеха статические данные (например, размер, цвет и т.п.) и кинематические данные (например, скорость, частота, направление и т.п.), представляющие классифицированный объект, также могут определяться в течение определенного периода времени (например, X раз в кадрах) идентификатором 515. Для каждого определенного объекта модуль 500 оценки/идентификации выдает ряд контекстных событий, содержащих указанные выше статические и кинематические характеристики интересующего объекта, и исследования известных объектов, содержащие статические и кинематические характеристики среднего члена класса определенного объекта.
В одном варианте осуществления система использует четыре классификатора: человек, транспорт, другой и неизвестный. До тех пор, пока класс интересующего объекта не определится, такой объект рассматривается как член класса "неизвестный". Каждый класс содержит позу, статику и кинематические данные о среднем члене класса. В одном варианте осуществления такие данные постоянно обновляются по мере того, как больше интересующих объектов классифицируется и идентифицируется, их поза, статика, кинематические данные определяются и собираются. Следует отметить, что обычно модуль 500 оценки/идентификации обрабатывает информацию в реальном времени на покадровой основе.
Фиг. 6 показывает контекстный процессор 600 в средстве 135 компьютерного зрения, в соответствии с одним вариантом осуществления настоящего изобретения. Обычно контекстный процессор 600 объединяет результаты, полученные от других компонентов средства 135 компьютерного зрения, таких как модуль 300 заднего и переднего планов, модуль 400 объекта переднего плана и модуль 500 оценки/идентификации, для создания карты аннотаций сцены, зафиксированной видеокадрами. В одном варианте осуществления сцена сегментируется на пространственно-разделенные области, которые сортируются в соответствии с z-глубиной сцены, и опционально помечаются как естественно отображающие или сделанные человеком элементы.
Как показано, контекстный процессор 600 может включать в себя средство 605 сегментации области для разделения сцены на мелкие поля (области), средство 610 задания последовательности областей для определения отношений между областями (например, ближе/дальше от устройства захвата видео относительно друг к друга), и картографическое устройство 615 сцены для формирования аннотированной карты. В одном варианте осуществления контекстный процессор 600 использует информацию относительно движений (такую, как траектории) и местоположения отслеживаемых интересующих объектов для формирования аннотированной карты.
Фиг. 7 и 8 показывают различные компоненты средства 140 машинного изучения, показанного на фиг. 1. Конкретно фиг. 7 показывает компоненты модуля 700 семантического анализа и фиг. 8 показывает компоненты модуля 800 восприятия, в соответствии с одним вариантом осуществления настоящего изобретения. Обычно семантический модуль 700 создает семантические представления (например, символические представления) движений и действий отслеживаемых объектов. Семантическое представление обеспечивает формальное описание того, что, как считается, происходит на сцене, на основе движений конкретного отслеживаемого объекта (и, в конечном счете, на основе изменений в значения пиксельных цветов от кадра к кадру). Формальная языковая грамматика (например, существительные и глаголы) используется для описания событий в сцене (например, «парковка автомобиля», «внешний вид человека» и т.п.).
Затем семантические представления анализируются для распознавания образцов, и результаты передаются в модуль 800 восприятия, показанный на фиг. 8. В одном варианте осуществления семантический модуль 700 также создает символьную карту сцены, включая различные аспекты события, происходящие на сцене, такие как символические представления траекторий объектов в сцене. В одном варианте осуществления символьная карта также может включать в себя распределение частот (например, данные о том, как часто и где определенные классы или виды объектов представлены на сцене).
Как показано на фиг. 7, семантический модуль 700 включает в себя сенсорную память 710, модуль (LSA) 715 латентного семантического анализа, модуль 725 примитивных событий, модуль 730 разбиения фазового пространства, модуль (iLSA) 735 инкрементного латентного семантического анализа и модуль 740 формального языка. Сенсорная память 710 получает информацию, обеспеченную для семантического модуля 700, и сохраняет эту информацию для последующего использования модулем 725 примитивных событий и модулем 730 разбиения фазового пространства. В одном варианте осуществления сенсорная память 710 идентифицирует, какая информация должна быть предоставлена для дальнейшего анализа в модуль 725 примитивных событий и модуль 730 разбиения фазового пространства.
Модуль 725 определения примитивных событий может создаваться определением возникновения примитивных событий (например, автомобиль останавливается, меняет направление, исчезает, появляется; человек наклоняется, падает, изменяется и т.п.) в сенсорной памяти 710. Примитивные события, обычно, отражают изменения в кинематических характеристиках отслеживаемых объектов. Таким образом, после того, как объект классифицируется как «автомобиль», модуль 725 определения примитивных событий может оценивать данные в отношении машины для идентификации различных событий поведения, когда они возникают. В одном варианте осуществления примитивные события заранее определяются (например, для конкретной среды, где используется самообучаемая система распознавания поведения). В другом варианте осуществления только некоторые примитивные события заранее определяются (например, парковка, поворот, падение), в то время как другие примитивные события изучаются с течением времени (например, объекты определенного класса можно найти в определенном месте сцены).
Модуль 730 разбиения фазового пространства определяет информацию о геометрическом положении объектов, имеющих скорость, в сцене. Соответственно модуль 725 примитивных событий и модуль 730 разбиения фазового пространства позволяют семантическому модулю 700 анализировать данные двумя различными способами. На основе результатов модуля 725 примитивных событий и модуля 730 разбиения фазового пространства LSA 715 и iLSA 735 создают/обновляют модель сцены, где модель включает в себя интересующие объекты.
LSA 715, обычно, является начальным модулем изучения в семантическом модуле 700. LSA собирает данные в течение периода времени до тех пор, пока LSA 715 формирует результаты с достаточным статистически весом. Иными словами, LSA 715 изучает базовую структуру сцены, в то время как iLSA 735 постепенно обновляет такую структуру. Следует отметить, что iLSA 735 достаточно гибок, чтобы управлять изменениями в образцах поведения, происходящего на сцене. Обучающий модуль 740 формального языка использует данные, сформированные iLSA 735, для создания семантических представлений (символическое представление о том, что происходит в сцене) и передает семантические представления в модуль 800 восприятия для изучения того, что означают созданные семантические представления.
Фиг. 8 показывает модуль восприятия в средстве машинного изучения в соответствии с одним вариантом осуществления изобретения. Модуль 800 восприятия может быть сконфигурирован для обработки результатов, сформированных по меньшей мере некоторыми компонентами компьютерного зрения 135 и средством 140 машинного изучения (например, модулем 500 оценки/идентификации, контекстным процессором 600, семантическим модулем 700 т.д.). Обычно модуль 800 распознавания изучает образы, обобщает на основе изучения и обучается путем создания аналогий.
Как показано на фиг. 8, модуль 800 восприятия может включать в себя ассоциативную память 805 восприятия, планировщик 810, рабочее пространство 815, эпизодическую память 820 и долговременную память 825. Рабочее пространство 815 обеспечивает область памяти, которая отражает, какая информация в настоящее время оценивается средством 140 машинного изучения. А именно рабочее пространство 815 сохраняет элементы данных, которые постоянно имеют «внимание» средства 140 машинного изучения. Как указано ниже, данные в рабочем пространстве 815 могут включать в себя набор результатов восприятия (каждое описывающее событие) и коделеты. Ассоциативная память 805 восприятия собирает данные, переданные на модуль 800 восприятия, и сохраняет такие данные в качестве результатов восприятия. Каждое восприятие может представлять данные, описывающие то, что произошло на видео, такие как примитивное событие. Ассоциативная память 805 восприятия передает результаты восприятия и/или коделеты в рабочее пространство 815.
Коделеты обеспечивают часть исполняемого кода, который описывает и/или следит за отношениями между различными результатами восприятия. Другими словами, коделеты суммируют правила для определения конкретного поведения/события (например, событие парковки), где поведение/событие включает в себя один или более результатов восприятия. Каждый коделет может быть сконфигурирован для приема набора входных результатов восприятия и может обрабатывать их конкретным способом. Например, коделет может принимать набор входных результатов восприятия и оценивать их для определения, возникло ли конкретное событие (например, парковка автомобиля). На примере парковки автомобиля результат восприятия может обновить эпизодическую память 820 информацией о том, какой автомобиль, цвет автомобиля, где припаркован автомобиль и т.д. Кроме того, информация об этом обнаруженном примитивном событии может использоваться для обновления определения примитивного события в долговременной памяти 825. Кроме того, коделеты, распознающие аномалии, используются модулем 800 восприятия. Такие коделеты имеют доступ к результатам восприятия и, если определенные результаты восприятия статистически не коррелируют с ранее накопленными статистическими данными, то может определяться ненормальное событие.
В одном варианте осуществления коделеты полностью заранее записываются. В другом варианте осуществления, по меньшей мере, некоторые коделеты не полностью предварительно записываются, но вместо этого формируются с течением времени. Например, коделет, описывающий нормальное поведение для определенного результата(ов) восприятия, может сам формироваться/модифицироваться на основе накопленных данных, описывающих соответствующие наблюдаемые события.
Планировщик 810 определяет, какой коделет необходимо активировать в любое заданное время. Например, планировщик 810 может пытаться определить соответствие между результатами восприятия, размещенными в рабочем пространстве 815, и коделетами. Когда соответствующий набор входных данных, необходимых для данного коделета (например, набор результатов восприятия), доступен, этот коделет может размещаться в рабочем пространстве 815 и активироваться. Когда доступно множество коделетов для активации, определение, когда и какой коделет активируется, может быть случайным. Однако в одном варианте осуществления определенные коделеты созданы имеющими приоритет над другими (например, коделет, определяющий определенное аномальное поведение). В каждый конкретный момент времени множество коделетов может активироваться планировщиком 810 в рабочем пространстве 815.
Модуль 800 восприятия также использует эпизодическую память 820 и долговременную память 825 для захвата кратковременных и долговременных данных в отношении примитивных событий. Эпизодическая память 820 является кратковременной памятью для хранения последних результатов восприятия. Например, результат восприятия, который был недавно изменен, находится в эпизодической памяти 820. Результаты восприятия помещаются в эпизодическую память 820 из рабочего пространства 815. В то же время рабочее пространство 815 может использовать результаты восприятия, сохраненные в эпизодической памяти 820, для согласования их с соответствующими коделетами.
Обычно, по меньшей мере, некоторые результаты восприятия переходят из эпизодической памяти 820 в долговременную память 825. Однако не каждая часть данных, помещенная в эпизодическую память 820, переходит в долговременную память 825. Некоторые данные исчезают из эпизодической памяти 820 без заполнения долговременной памяти 825 (например, данные, описывающие одноразовое событие, которое не было определено как ненормальное).
В то же время аспекты этого события могут использоваться для пополнения информацией долговременной памяти 825 (например, аспекты того как, где и как долго автомобиль припаркован на автостоянке). Таким образом, долговременная память 825 может использоваться для создания и накопления общих образцов поведения в данной сцене. В одном варианте осуществления образцы поведения, сохраненные в эпизодической памяти 820, и образцы поведения, которые приобрели достаточные статистические веса, помещаются в долговременную память 825 в качестве общих образцов поведения. Однако не все данные, помещенные в долговременную память 825, остаются там. Некоторые данные, в конечном счете, исчезают (например, конкретные детали). Например, если несколько автомобилей разных цветов были припаркованы в одном и том же месте в течение периода времени, общий образец автомобиля, припаркованного в данном конкретном месте, может быть изучен и помещен в долговременную память 825. Однако подробности, касающиеся ранее припаркованных автомобилей, такие как их цвета, будут исчезать из долговременной памяти 825 после некоторого периода времени.
В одном варианте осуществления рабочее пространство 815 использует общие модели поведения, найденные в долговременной памяти 825 для определения событий, происходящих на сцене. После того, как событие было распознано, формируется информация, указывающая, что распознанное событие было определено. Такая информация затем используется для формирования предупреждений. Хотя в одном варианте осуществления выдаются только предупреждения в отношении определенного ненормального поведение (например, нападение), в другом варианте осуществления также выдаются предупреждения, описывающие идентифицированное нормальное поведение (например, припаркованный автомобиль).
Фиг. 9A-9C показывают сценарий, имеющий место на станции 900 метро, где система распознавания поведения обнаруживает ненормальное поведение и выдает предупреждение, в соответствии с одним вариантом осуществления настоящего изобретения. Как видно, стационарная видеокамера 915 фиксирует события, происходящие на станции 900 метро, и передает видеоизображения, показывающие события, в систему распознавания поведения. Как показано на фиг. 9A-9C, видеокамера 915 фиксирует видеоизображения человека 905, несущего сумку 910, приближающегося к мусорной корзине 920 (фиг. 9A), кладущего сумку 910 на землю рядом с мусорной корзиной 920 (фиг. 9B) и оставляющего сумку 910 позади (фиг. 9C). На основе изучения наблюдаемых людей, входящих на станцию 900 метро, действие оставления «другого» объекта (например, сумки), принесенного другим объектом, классифицируемого как человек, может идентифицироваться как ненормальное, и, соответственно, система распознавания поведения может выдать предупреждение для указания возникновения такого события.
В соответствии с вышеуказанными обсужденными принципами система распознавания поведения интерпретирует пиксели, изображающие стационарную корзину 920 мусора в качестве части изображения заднего плана, без конкретной идентификации корзины 920 мусора в качестве корзины мусора. В противоположность, система распознавания поведения интерпретирует человека 905 и сумку 910 в качестве изображения(й) переднего плана. Первоначально (фиг. 9A) самообучаемая система распознавания поведения может рассматривать человека 905 и сумку 910 как одно пятно переднего плана. Однако, если человек 905 ставит сумку 910 вниз (фиг. 9B-9C), то человек и сумка 910 становятся частями отдельных пятен переднего плана. Хотя в одном варианте осуществления, человек 905 подбирает сумку 910, их соответствующие пятна переднего плана будут объединены в новые пятна переднего плана, в другом варианте осуществления человек 905 и сумка 910 рассматриваются в качестве двух отдельных пятен переднего плана. В еще одном варианте осуществления человек 905 и сумка 910 рассматриваются в качестве отдельных пятен переднего плана с самого начала (фиг. 9A).
Для человека 905 и сумки 910 система распознавания поведения создает и обновляет поисковые модели для отслеживания этих объектов от кадра к кадру. Кроме того, система распознавания поведения классифицирует человека 905 в качестве «человека» и сумку 910 в качестве «другой» (альтернативно как «сумка»), собирает информацию о них и прогнозирует их действия на основе ранее изученного поведения людей и сумок на станции метро. Если оставляемая позади сумка не связана с обычным изученным поведением, система распознавания поведения идентифицирует такое поведение как ненормальное и выдает предупреждение. Альтернативно такое поведение может идентифицироваться как ненормальное, так как система заранее узнала, что ситуация оставления сумки позади указывает на ненормальное поведение.
Хотя вышесказанное направлено на варианты осуществления настоящего изобретения, другие и дополнительные варианты осуществления изобретения могут разрабатываться без отхода от основного его объема, и его объем определяется формулой, которая следует.

Claims (15)

1. Способ обработки потока видеокадров, регистрирующих события в сцене, содержащий этапы, на которых:
принимают первый кадр потока, при этом первый кадр включает в себя данные для множества пикселей, включенных в этот кадр;
идентифицируют одну или более групп пикселей в первом кадре, при этом каждая группа представляет объект в сцене;
формируют поисковую модель, хранящую один или более признаков, связанных с каждым идентифицированным объектом;
классифицируют каждый из объектов, используя обученный классификатор;
отслеживают во втором кадре каждый из объектов, идентифицированных в первом кадре, используя поисковую модель;
подают первый кадр, второй кадр и классификации объектов в средство машинного обучения; и
формируют средством машинного обучения одно или более семантических представлений поведения, проявляемого объектами в сцене по множеству кадров, при этом средство машинного обучения сконфигурировано изучать шаблоны поведения, наблюдаемые в сцене по множеству кадров, и идентифицировать появления этих шаблонов поведения, проявляемого классифицированными объектами.
2. Способ по п.1, дополнительно содержащий этап, на котором выдают по меньшей мере одно предупреждение, указывающее на возникновение одного из идентифицированных шаблонов поведения со стороны одного из отслеживаемых объектов.
3. Способ п.1, в котором каждая поисковая модель формируется в качестве одной из модели внешнего вида и модели на основе признаков.
4. Способ п.1, в котором этап отслеживания во втором кадре каждого из объектов, идентифицированных в первом кадре, используя поисковую модель, содержит этапы, на которых:
определяют местоположение идентифицированных объектов во втором кадре и
обновляют соответствующую поисковую модель для каждого идентифицированного объекта.
5. Способ п.1, в котором обученный классификатор приспособлен для классификации каждого объекта как одного из человека, автомобиля или другого.
6. Способ по п.1, в котором этап идентификации одной или более групп пикселей в первом кадре содержит этапы, на которых:
идентифицируют по меньшей мере одну группу пикселей, представляющих область переднего плана первого кадра, и по меньшей мере одну группу пикселей, представляющую область заднего плана первого кадра;
сегментируют области переднего плана на пятна переднего плана, при этом каждое пятно переднего плана представляет объект, представленный в первом кадре; и
обновляют изображение заднего плана сцены на основе областей заднего плана, идентифицированных в первом кадре.
7. Способ по п.6, дополнительно содержащий этапы, на которых:
обновляют аннотированную карту сцены, представленной видеопотоком, используя результаты этапов формирования поисковой модели, хранящей один или более признаков, связанных с каждым идентифицированным объектом;
классифицируют каждый из объектов, используя обученный классификатор; и
отслеживают во втором кадре каждый из объектов, идентифицированных в первом кадре, используя поисковую модель, при этом аннотированная карта описывает трехмерную геометрию сцены, включая оцененное трехмерное положение идентифицированных объектов и оцененное трехмерное положение множества объектов, представленных в изображении заднего плана сцены, и при этом этап формирования семантических представлений дополнительно содержит этап, на котором анализируют сформированные семантические представления для распознаваемых шаблонов поведения с использованием латентного семантического анализа.
8. Система для обработки потока видеокадров, регистрирующих события в сцене, содержащая:
источник ввода видео;
процессор и
память, хранящую:
средство компьютерного зрения, при этом средство компьютерного зрения сконфигурировано:
принимать от источника ввода видео первый кадр потока, при этом первый кадр включает в себя данные для множества пикселей, включенных в этот кадр,
идентифицировать одну или более групп пикселей в первом кадре, при этом каждая группа представляет объект в сцене,
формировать поисковую модель, хранящую один или более признаков, связанных с каждым идентифицированным объектом;
классифицировать каждый из объектов, используя обученный классификатор;
отслеживать во втором кадре каждый из объектов, идентифицированных в первом кадре, используя поисковую модель; и
подавать первый кадр, второй кадр и классификации объектов в средство машинного обучения; и
средство машинного обучения, при этом средство машинного обучения сконфигурировано формировать одно или более семантических представлений поведения, проявляемого объектами в сцене по множеству кадров, и дополнительно сконфигурировано изучать шаблоны поведения, наблюдаемого в сцене по множеству кадров, и идентифицировать появления этих шаблонов поведения, проявляемого классифицированными объектами.
9. Система по п.8, в которой средство машинного обучения дополнительно сконфигурировано выдавать по меньшей мере одно предупреждение, указывающее на возникновение одного из идентифицированных шаблонов поведения со стороны одного из отслеживаемых объектов.
10. Система по п.8, в которой каждая поисковая модель формируется как одна из модели внешнего вида и модели на основе признаков.
11. Система по п.8, в которой отслеживание во втором кадре каждого из объектов, идентифицированных в первом кадре, используя поисковую модель, содержит:
определение местоположения идентифицированных объектов во втором кадре и
обновление соответствующей поисковой модели для каждого идентифицированного объекта.
12. Система по п.8, в которой обученный классификатор приспособлен для классификации каждого объекта как одного из человека, автомобиля и другого.
13. Система по п.12, в которой обученный классификатор дополнительно приспособлен для оценки по меньшей мере одного из позы, местоположения и движения для по меньшей мере одного из классифицированных объектов на основе изменений в группе пикселей, представляющих этот объект, по множеству последовательных кадров.
14. Система по п.8, в которой средство компьютерного зрения сконфигурировано для идентификации одной или более групп пикселей в первом кадре посредством выполнения этапов:
идентификации по меньшей мере одной группы пикселей, представляющих область переднего плана первого кадра, и по меньшей мере одной группы пикселей, представляющих область заднего плана первого кадра;
сегментации областей переднего плана на пятна переднего плана, при этом каждое пятно переднего плана представляет объект, представленный в первом кадре; и
обновления изображения заднего плана сцены на основе областей заднего плана, идентифицированных в первом кадре.
15. Система по п.14, в которой средство компьютерного зрения дополнительно сконфигурировано:
обновлять аннотированную карту сцены, представленной видеопотоком, используя результаты этапов формирования поисковой модели, хранящей один или более признаков, связанных с каждым идентифицированным объектом;
классифицировать каждый из объектов, используя обученный классификатор; и
отслеживать во втором кадре каждый из объектов, идентифицированных в первом кадре, используя поисковую модель, при этом аннотированная карта описывает трехмерную геометрию сцены, включая оцененное трехмерное положение идентифицированных объектов и оцененное трехмерное положение множества объектов, представленных в изображении заднего плана сцены, и при этом формирование семантических представлений дополнительно содержит анализ сформированных семантических представлений для распознаваемых шаблонов поведения с использованием латентного семантического анализа.
RU2009133474/08A 2007-02-08 2008-02-08 Система распознавания поведения RU2475853C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US88877707P 2007-02-08 2007-02-08
US60/888,777 2007-02-08
PCT/US2008/053457 WO2008098188A2 (en) 2007-02-08 2008-02-08 Behavioral recognition system

Publications (2)

Publication Number Publication Date
RU2009133474A RU2009133474A (ru) 2011-03-20
RU2475853C2 true RU2475853C2 (ru) 2013-02-20

Family

ID=39682435

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2009133474/08A RU2475853C2 (ru) 2007-02-08 2008-02-08 Система распознавания поведения

Country Status (17)

Country Link
US (2) US8131012B2 (ru)
EP (1) EP2118864B1 (ru)
JP (2) JP5278770B2 (ru)
KR (1) KR101260847B1 (ru)
CN (1) CN101622652B (ru)
AU (1) AU2008213586B2 (ru)
BR (1) BRPI0806968B1 (ru)
CA (1) CA2674311C (ru)
DK (1) DK2118864T3 (ru)
EG (1) EG26304A (ru)
ES (1) ES2522589T3 (ru)
MX (1) MX2009008376A (ru)
NZ (1) NZ578752A (ru)
PL (1) PL2118864T3 (ru)
RU (1) RU2475853C2 (ru)
WO (1) WO2008098188A2 (ru)
ZA (1) ZA200905257B (ru)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2658165C2 (ru) * 2015-07-31 2018-06-19 Сяоми Инк. Способ и устройство для уведомления об аномальной видеоинформации
RU2679864C2 (ru) * 2014-10-13 2019-02-13 Конинклейке Филипс Н.В. Система и способ мониторинга пациента
RU2683499C1 (ru) * 2018-03-15 2019-03-28 Антон Владимирович Роженков Система автоматического создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов
RU2686566C2 (ru) * 2014-02-07 2019-04-29 Таль Способ для детектирования и классифицирования событий сцены
RU2694139C1 (ru) * 2019-04-04 2019-07-09 Общество с ограниченной ответственностью "Скайтрэк" (ООО "Скайтрэк") Способ определения девиантного поведения человека в режиме одновременной работы группы видеокамер
RU2798280C1 (ru) * 2023-03-02 2023-06-21 Открытое Акционерное Общество "Российские Железные Дороги" Устройство для обнаружения признаков асоциального поведения

Families Citing this family (213)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010030978A2 (en) * 2008-09-15 2010-03-18 Aman James A Session automated recording together with rules based indexing, analysis and expression of content
ES2522589T3 (es) 2007-02-08 2014-11-17 Behavioral Recognition Systems, Inc. Sistema de reconocimiento conductual
US8411935B2 (en) 2007-07-11 2013-04-02 Behavioral Recognition Systems, Inc. Semantic representation module of a machine-learning engine in a video analysis system
US8175333B2 (en) * 2007-09-27 2012-05-08 Behavioral Recognition Systems, Inc. Estimator identifier component for behavioral recognition system
US8300924B2 (en) * 2007-09-27 2012-10-30 Behavioral Recognition Systems, Inc. Tracker component for behavioral recognition system
US8064695B2 (en) * 2007-09-27 2011-11-22 Behavioral Recognition Systems, Inc. Dark scene compensation in a background-foreground module of a video analysis system
US8200011B2 (en) * 2007-09-27 2012-06-12 Behavioral Recognition Systems, Inc. Context processor for video analysis system
IL190232A (en) 2008-03-17 2013-05-30 Fst21 Ltd Automatic / Semi-automatic incoming sorting system and method
US8358805B2 (en) * 2008-05-21 2013-01-22 Honeywell International Inc. System having a layered architecture for constructing a dynamic social network from image data
EP2135498B1 (en) * 2008-06-20 2012-06-20 AGROCOM GmbH & Co. Agrarsystem KG A method of navigating an agricultural vehicle and an agricultural vehicle
US10929651B2 (en) 2008-07-21 2021-02-23 Facefirst, Inc. Biometric notification system
US9141863B2 (en) * 2008-07-21 2015-09-22 Facefirst, Llc Managed biometric-based notification system and method
US10043060B2 (en) 2008-07-21 2018-08-07 Facefirst, Inc. Biometric notification system
US9721167B2 (en) * 2008-07-21 2017-08-01 Facefirst, Inc. Biometric notification system
US8126833B2 (en) * 2008-09-11 2012-02-28 Behavioral Recognition Systems, Inc. Detecting anomalous events using a long-term memory in a video analysis system
US8121968B2 (en) * 2008-09-11 2012-02-21 Behavioral Recognition Systems, Inc. Long-term memory in a video analysis system
US9633275B2 (en) 2008-09-11 2017-04-25 Wesley Kenneth Cobb Pixel-level based micro-feature extraction
JP5289022B2 (ja) * 2008-12-11 2013-09-11 キヤノン株式会社 情報処理装置及び情報処理方法
US9373055B2 (en) * 2008-12-16 2016-06-21 Behavioral Recognition Systems, Inc. Hierarchical sudden illumination change detection using radiance consistency within a spatial neighborhood
US9704177B2 (en) 2008-12-23 2017-07-11 International Business Machines Corporation Identifying spam avatars in a virtual universe (VU) based upon turing tests
US9697535B2 (en) 2008-12-23 2017-07-04 International Business Machines Corporation System and method in a virtual universe for identifying spam avatars based upon avatar multimedia characteristics
US8285046B2 (en) * 2009-02-18 2012-10-09 Behavioral Recognition Systems, Inc. Adaptive update of background pixel thresholds using sudden illumination change detection
US20100208063A1 (en) * 2009-02-19 2010-08-19 Panasonic Corporation System and methods for improving accuracy and robustness of abnormal behavior detection
US8477994B1 (en) * 2009-02-26 2013-07-02 Google Inc. Creating a narrative description of media content and applications thereof
US8537219B2 (en) 2009-03-19 2013-09-17 International Business Machines Corporation Identifying spatial locations of events within video image data
US8553778B2 (en) 2009-03-19 2013-10-08 International Business Machines Corporation Coding scheme for identifying spatial locations of events within video image data
US8416296B2 (en) * 2009-04-14 2013-04-09 Behavioral Recognition Systems, Inc. Mapper component for multiple art networks in a video analysis system
US20100291527A1 (en) * 2009-05-12 2010-11-18 Jennifer Baldi Kit and process for diagnosing multiple intelligences profile
US8656476B2 (en) 2009-05-28 2014-02-18 International Business Machines Corporation Providing notification of spam avatars
US8358834B2 (en) 2009-08-18 2013-01-22 Behavioral Recognition Systems Background model for complex and dynamic scenes
US8280153B2 (en) * 2009-08-18 2012-10-02 Behavioral Recognition Systems Visualizing and updating learned trajectories in video surveillance systems
US9805271B2 (en) 2009-08-18 2017-10-31 Omni Ai, Inc. Scene preset identification using quadtree decomposition analysis
US8493409B2 (en) * 2009-08-18 2013-07-23 Behavioral Recognition Systems, Inc. Visualizing and updating sequences and segments in a video surveillance system
US8340352B2 (en) * 2009-08-18 2012-12-25 Behavioral Recognition Systems, Inc. Inter-trajectory anomaly detection using adaptive voting experts in a video surveillance system
US8379085B2 (en) * 2009-08-18 2013-02-19 Behavioral Recognition Systems, Inc. Intra-trajectory anomaly detection using adaptive voting experts in a video surveillance system
US8295591B2 (en) * 2009-08-18 2012-10-23 Behavioral Recognition Systems, Inc. Adaptive voting experts for incremental segmentation of sequences with prediction in a video surveillance system
US20110043689A1 (en) * 2009-08-18 2011-02-24 Wesley Kenneth Cobb Field-of-view change detection
US8625884B2 (en) * 2009-08-18 2014-01-07 Behavioral Recognition Systems, Inc. Visualizing and updating learned event maps in surveillance systems
US8786702B2 (en) * 2009-08-31 2014-07-22 Behavioral Recognition Systems, Inc. Visualizing and updating long-term memory percepts in a video surveillance system
US8270733B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Identifying anomalous object types during classification
US8797405B2 (en) * 2009-08-31 2014-08-05 Behavioral Recognition Systems, Inc. Visualizing and updating classifications in a video surveillance system
US8167430B2 (en) * 2009-08-31 2012-05-01 Behavioral Recognition Systems, Inc. Unsupervised learning of temporal anomalies for a video surveillance system
US8285060B2 (en) * 2009-08-31 2012-10-09 Behavioral Recognition Systems, Inc. Detecting anomalous trajectories in a video surveillance system
US8270732B2 (en) * 2009-08-31 2012-09-18 Behavioral Recognition Systems, Inc. Clustering nodes in a self-organizing map using an adaptive resonance theory network
US8218818B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object tracking
US8218819B2 (en) * 2009-09-01 2012-07-10 Behavioral Recognition Systems, Inc. Foreground object detection in a video surveillance system
US8170283B2 (en) * 2009-09-17 2012-05-01 Behavioral Recognition Systems Inc. Video surveillance system configured to analyze complex behaviors using alternating layers of clustering and sequencing
US8180105B2 (en) * 2009-09-17 2012-05-15 Behavioral Recognition Systems, Inc. Classifier anomalies for observed behaviors in a video surveillance system
AU2009243442B2 (en) * 2009-11-30 2013-06-13 Canon Kabushiki Kaisha Detection of abnormal behaviour in video objects
EP2345998B1 (en) * 2009-12-01 2019-11-20 Honda Research Institute Europe GmbH Multi-object tracking with a knowledge-based, autonomous adaptation of the tracking modeling level
US9251506B2 (en) * 2010-01-05 2016-02-02 Apple Inc. User interfaces for content categorization and retrieval
US20110167357A1 (en) * 2010-01-05 2011-07-07 Todd Benjamin Scenario-Based Content Organization and Retrieval
SE534706C2 (sv) * 2010-04-16 2011-11-22 Metod för videoövervakning av ett område med beteendeanalys och datorsystem för genomförande av metoden
US9324244B1 (en) * 2010-05-15 2016-04-26 David Sol Distributed multi-nodal operant conditioning system and method
TWI430212B (zh) * 2010-06-08 2014-03-11 Gorilla Technology Inc 利用多特徵自動集群法之異常行為偵測系統與方法
US8977005B2 (en) * 2010-09-17 2015-03-10 Nec Corporation Carried item region extraction device, carried item region extraction method, and computer readable medium
US20120131393A1 (en) * 2010-11-19 2012-05-24 International Business Machines Corporation Detecting System Component Failures In A Computing System
US8527817B2 (en) 2010-11-19 2013-09-03 International Business Machines Corporation Detecting system component failures in a computing system
US8855361B2 (en) * 2010-12-30 2014-10-07 Pelco, Inc. Scene activity analysis using statistical and semantic features learnt from object trajectory data
US20120249468A1 (en) * 2011-04-04 2012-10-04 Microsoft Corporation Virtual Touchpad Using a Depth Camera
US11025865B1 (en) * 2011-06-17 2021-06-01 Hrl Laboratories, Llc Contextual visual dataspaces
JP5780979B2 (ja) * 2012-02-17 2015-09-16 株式会社東芝 車両状態検出装置、車両挙動検出装置及び車両状態検出方法
ITCS20120011A1 (it) * 2012-02-23 2013-08-24 Angelo Rizzo Procedimento per rilevare una situazione di pericolo e relativo sistema e prodotto informatico.
IN2014DN08349A (ru) 2012-03-15 2015-05-08 Behavioral Recognition Sys Inc
CN102592408A (zh) * 2012-03-19 2012-07-18 四川省绵阳西南自动化研究所 基于视觉信息分析的智能哨位安全预警系统
US9111353B2 (en) 2012-06-29 2015-08-18 Behavioral Recognition Systems, Inc. Adaptive illuminance filter in a video analysis system
US9113143B2 (en) 2012-06-29 2015-08-18 Behavioral Recognition Systems, Inc. Detecting and responding to an out-of-focus camera in a video analytics system
WO2014004901A1 (en) * 2012-06-29 2014-01-03 Behavioral Recognition Systems, Inc. Unsupervised learning of feature anomalies for a video surveillance system
US9317908B2 (en) * 2012-06-29 2016-04-19 Behavioral Recognition System, Inc. Automatic gain control filter in a video analysis system
US9723271B2 (en) 2012-06-29 2017-08-01 Omni Ai, Inc. Anomalous stationary object detection and reporting
US9911043B2 (en) 2012-06-29 2018-03-06 Omni Ai, Inc. Anomalous object interaction detection and reporting
BR112015003444A2 (pt) 2012-08-20 2017-07-04 Behavioral Recognition Sys Inc método e sistema para detectar óleo em superfície de mar
WO2014075022A1 (en) * 2012-11-12 2014-05-15 Behavioral Recognition Systems, Inc. Image stabilization techniques for video surveillance systems
US9589190B2 (en) 2012-12-21 2017-03-07 Robert Bosch Gmbh System and method for detection of high-interest events in video data
US9342759B1 (en) * 2013-03-14 2016-05-17 Hrl Laboratories, Llc Object recognition consistency improvement using a pseudo-tracklet approach
KR20150144772A (ko) 2013-04-19 2015-12-28 무슈라즈 라자마니 범죄 증거 제공장치 겸 지원 요청장치
US10346377B2 (en) 2013-04-23 2019-07-09 Nec Corporation Information processing system, information processing method and storage medium
US9666064B2 (en) * 2013-04-23 2017-05-30 Nec Corporation Information processing system, information processing method and storage medium
WO2014203026A1 (en) * 2013-06-17 2014-12-24 Aselsan Elektronik Sanayi Ve Ticaret Anonim Sirketi A method for object tracking
WO2014208575A1 (ja) * 2013-06-28 2014-12-31 日本電気株式会社 映像監視システム、映像処理装置、映像処理方法および映像処理プログラム
US10387729B2 (en) * 2013-07-09 2019-08-20 Outward, Inc. Tagging virtualized content
CN103402079A (zh) * 2013-07-31 2013-11-20 广东威创视讯科技股份有限公司 一种基于vw的异常事件智能追踪存储显示方法
US9639521B2 (en) 2013-08-09 2017-05-02 Omni Ai, Inc. Cognitive neuro-linguistic behavior recognition system for multi-sensor data fusion
CN103475882B (zh) * 2013-09-13 2017-02-15 北京大学 监控视频的编码、识别方法和监控视频的编码、识别系统
US9305225B2 (en) * 2013-10-14 2016-04-05 Daon Holdings Limited Methods and systems for determining user liveness
US9310908B2 (en) * 2013-10-30 2016-04-12 Htc Corporation Color sampling method and touch control device thereof
KR20150071781A (ko) * 2013-12-18 2015-06-29 한국전자통신연구원 궤적변환 기반 이동궤적 모델링 장치 및 방법
PL406971A1 (pl) 2014-01-28 2015-08-03 Politechnika Poznańska Sposób analizy zachowania osób w inteligentnym systemie monitorowania oraz inteligentny system monitorowania
US9524426B2 (en) * 2014-03-19 2016-12-20 GM Global Technology Operations LLC Multi-view human detection using semi-exhaustive search
CN103955671B (zh) * 2014-04-23 2017-02-15 浙江工业大学 基于快速判别公共向量算法的人体行为识别方法
JP2017525064A (ja) * 2014-05-30 2017-08-31 プレイスメーター インコーポレイテッドＰｌａｃｅｍｅｔｅｒ Ｉｎｃ． ビデオデータを用いた活動モニタリングのためのシステム及び方法
CN104159090A (zh) * 2014-09-09 2014-11-19 联想(北京)有限公司 一种信息处理方法和智能监控设备
US10102738B2 (en) * 2014-09-30 2018-10-16 Henry's Products Llc Portable security device
US9306965B1 (en) 2014-10-21 2016-04-05 IronNet Cybersecurity, Inc. Cybersecurity system
US10409909B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Lexical analyzer for a neuro-linguistic behavior recognition system
US10409910B2 (en) 2014-12-12 2019-09-10 Omni Ai, Inc. Perceptual associative memory for a neuro-linguistic behavior recognition system
US10475185B1 (en) 2014-12-23 2019-11-12 Amazon Technologies, Inc. Associating a user with an event
US10552750B1 (en) 2014-12-23 2020-02-04 Amazon Technologies, Inc. Disambiguating between multiple users
US10438277B1 (en) * 2014-12-23 2019-10-08 Amazon Technologies, Inc. Determining an item involved in an event
EP3241152A4 (en) * 2014-12-30 2018-09-05 Morphotrust Usa, LLC Video triggered analyses
KR101649961B1 (ko) 2014-12-31 2016-08-22 삼성에스디에스 주식회사 영상 데이터 처리 방법 및 장치
GB201501510D0 (en) * 2015-01-29 2015-03-18 Apical Ltd System
US9679387B2 (en) * 2015-02-12 2017-06-13 Mitsubishi Electric Research Laboratories, Inc. Depth-weighted group-wise principal component analysis for video foreground/background separation
CN106034222A (zh) * 2015-03-16 2016-10-19 深圳市贝尔信智能系统有限公司 一种立体式捕捉物体的方法、装置以及系统
US20170083790A1 (en) * 2015-09-23 2017-03-23 Behavioral Recognition Systems, Inc. Detected object tracker for a video analytics system
IL241863A0 (en) * 2015-10-06 2016-11-30 Agent Video Intelligence Ltd A method and system for classifying objects from a sequence of images
US11283877B2 (en) 2015-11-04 2022-03-22 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
US10334050B2 (en) 2015-11-04 2019-06-25 Zoox, Inc. Software application and logic to modify configuration of an autonomous vehicle
WO2017079341A2 (en) 2015-11-04 2017-05-11 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9612123B1 (en) 2015-11-04 2017-04-04 Zoox, Inc. Adaptive mapping to navigate autonomous vehicles responsive to physical environment changes
US9734455B2 (en) 2015-11-04 2017-08-15 Zoox, Inc. Automated extraction of semantic information to enhance incremental mapping modifications for robotic vehicles
US9632502B1 (en) 2015-11-04 2017-04-25 Zoox, Inc. Machine-learning systems and techniques to optimize teleoperation and/or planner decisions
US10401852B2 (en) 2015-11-04 2019-09-03 Zoox, Inc. Teleoperation system and method for trajectory modification of autonomous vehicles
US10248119B2 (en) 2015-11-04 2019-04-02 Zoox, Inc. Interactive autonomous vehicle command controller
US9754490B2 (en) 2015-11-04 2017-09-05 Zoox, Inc. Software application to request and control an autonomous vehicle service
US9606539B1 (en) 2015-11-04 2017-03-28 Zoox, Inc. Autonomous vehicle fleet service and system
KR101817583B1 (ko) * 2015-11-30 2018-01-12 한국생산기술연구원 깊이 이미지를 이용한 행동 패턴 분석 시스템 및 방법
KR101758693B1 (ko) * 2015-12-11 2017-07-19 연세대학교 산학협력단 물체-행동 관계 모델에 기반한 행동 인식 방법 및 그 장치
KR101720781B1 (ko) * 2015-12-21 2017-03-28 고려대학교 산학협력단 객체에 대한 이상 행동 예측 장치 및 이를 이용한 이상 행동 예측 방법
EP3405932A1 (en) * 2016-01-29 2018-11-28 KiwiSecurity Software GmbH Methods and apparatus for using video analytics to detect regions for privacy protection within images from moving cameras
CN105608446B (zh) * 2016-02-02 2019-02-12 北京大学深圳研究生院 一种视频流异常事件的检测方法及装置
EP3436929A4 (en) * 2016-06-17 2019-10-16 Hewlett-Packard Development Company, L.P. COMMON MACHINE LEARNING STRUCTURE
GB2554633B (en) * 2016-06-24 2020-01-22 Imperial College Sci Tech & Medicine Detecting objects in video data
EP3338205B1 (en) 2016-07-14 2019-05-01 Ironnet Cybersecurity, Inc. Simulation and virtual reality based cyber behavioral system
US10380756B2 (en) 2016-09-08 2019-08-13 Sony Corporation Video processing system and method for object detection in a sequence of image frames
TWI616086B (zh) 2016-10-20 2018-02-21 攝影裝置畫面異常種類之檢測方法
WO2018084577A1 (en) 2016-11-03 2018-05-11 Samsung Electronics Co., Ltd. Data recognition model construction apparatus and method for constructing data recognition model thereof, and data recognition apparatus and method for recognizing data thereof
CN108377407B (zh) * 2016-11-04 2021-03-12 株式会社理光 全景视频的处理方法、装置及电子设备
US10198621B2 (en) 2016-11-28 2019-02-05 Sony Corporation Image-Processing device and method for foreground mask correction for object segmentation
CN110235138B (zh) * 2016-12-05 2023-09-05 摩托罗拉解决方案公司 用于外观搜索的系统和方法
US10445565B2 (en) * 2016-12-06 2019-10-15 General Electric Company Crowd analytics via one shot learning
EP3340104B1 (en) * 2016-12-21 2023-11-29 Axis AB A method for generating alerts in a video surveillance system
US10839203B1 (en) 2016-12-27 2020-11-17 Amazon Technologies, Inc. Recognizing and tracking poses using digital imagery captured from multiple fields of view
US10044980B1 (en) 2017-02-06 2018-08-07 International Busines Machines Corporation Conference management
US10338594B2 (en) * 2017-03-13 2019-07-02 Nio Usa, Inc. Navigation of autonomous vehicles to enhance safety under one or more fault conditions
CN106971166A (zh) * 2017-03-29 2017-07-21 纵目科技（上海）股份有限公司 停车位检测的图像预处理方法及系统
US10699421B1 (en) 2017-03-29 2020-06-30 Amazon Technologies, Inc. Tracking objects in three-dimensional space using calibrated visual cameras and depth cameras
US20180300557A1 (en) * 2017-04-18 2018-10-18 Amazon Technologies, Inc. Object analysis in live video content
US10671840B2 (en) 2017-05-04 2020-06-02 Intel Corporation Method and apparatus for person recognition using continuous self-learning
US10423162B2 (en) 2017-05-08 2019-09-24 Nio Usa, Inc. Autonomous vehicle logic to identify permissioned parking relative to multiple classes of restricted parking
CN110603542B (zh) * 2017-06-07 2023-04-25 赫尔实验室有限公司 用于视觉活动识别的系统、方法和计算机可读介质
US10157476B1 (en) * 2017-06-15 2018-12-18 Satori Worldwide, Llc Self-learning spatial recognition system
US10710633B2 (en) 2017-07-14 2020-07-14 Nio Usa, Inc. Control of complex parking maneuvers and autonomous fuel replenishment of driverless vehicles
US10369974B2 (en) 2017-07-14 2019-08-06 Nio Usa, Inc. Control and coordination of driverless fuel replenishment for autonomous vehicles
TWI639978B (zh) * 2017-07-19 2018-11-01 和碩聯合科技股份有限公司 視訊監控系統與視訊監控方法
TWI684160B (zh) * 2017-07-31 2020-02-01 陳兆煒 分析提示系統及方法
KR102481883B1 (ko) * 2017-09-27 2022-12-27 삼성전자주식회사 위험 상황을 감지하는 방법 및 장치
US11232294B1 (en) 2017-09-27 2022-01-25 Amazon Technologies, Inc. Generating tracklets from digital imagery
US20190156270A1 (en) 2017-11-18 2019-05-23 Walmart Apollo, Llc Distributed Sensor System and Method for Inventory Management and Predictive Replenishment
CN107944960A (zh) * 2017-11-27 2018-04-20 深圳码隆科技有限公司 一种无人售货方法和设备
US11284041B1 (en) 2017-12-13 2022-03-22 Amazon Technologies, Inc. Associating items with actors based on digital imagery
US11030442B1 (en) * 2017-12-13 2021-06-08 Amazon Technologies, Inc. Associating events with actors based on digital imagery
BR112020009757A2 (pt) 2017-12-15 2020-11-03 Revolution Medicines, Inc. compostos policíclicos como inibidores alostéricos de shp2
US11022971B2 (en) 2018-01-16 2021-06-01 Nio Usa, Inc. Event data recordation to identify and resolve anomalies associated with control of driverless vehicles
EP3746938A4 (en) * 2018-01-30 2021-10-06 HRL Laboratories, LLC SYSTEM AND METHOD FOR CLASSIFYING A NEUROMORPHIC VISUAL ACTIVITY BASED ON FOVEA DETECTION AND CONTEXT FILTERING
US11529950B2 (en) 2018-04-10 2022-12-20 Pony Ai Inc. Enhanced training information generation
US10769494B2 (en) * 2018-04-10 2020-09-08 Pony Ai Inc. Enhanced training information generation
CN108717521A (zh) * 2018-04-17 2018-10-30 智慧互通科技有限公司 一种基于图像的停车场秩序管理方法及系统
US11196669B2 (en) 2018-05-17 2021-12-07 At&T Intellectual Property I, L.P. Network routing of media streams based upon semantic contents
CN110706194B (zh) * 2018-06-21 2021-07-06 北京三快在线科技有限公司 一种定位方法、装置及移动设备
US11468681B1 (en) 2018-06-28 2022-10-11 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11468698B1 (en) 2018-06-28 2022-10-11 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
US11482045B1 (en) 2018-06-28 2022-10-25 Amazon Technologies, Inc. Associating events with actors using digital imagery and machine learning
CN112424826A (zh) * 2018-07-13 2021-02-26 Asml荷兰有限公司 基于机器学习的图案分组方法
KR102268040B1 (ko) * 2018-09-13 2021-06-22 박상열 기계학습을 이용한 가축관리장치 및 방법
US10518750B1 (en) 2018-10-11 2019-12-31 Denso International America, Inc. Anti-theft system by location prediction based on heuristics and learning
CN112955900B (zh) * 2018-10-25 2023-08-04 上海趋视信息科技有限公司 智能视频监控系统和方法
US11312594B2 (en) * 2018-11-09 2022-04-26 Otis Elevator Company Conveyance system video analytics
KR102043366B1 (ko) * 2018-11-21 2019-12-05 (주)터보소프트 최대 공통 뷰를 이용한 공간참조 영상들간의 궤적 유사도 측정방법
WO2020107327A1 (en) 2018-11-29 2020-06-04 Beijing Didi Infinity Technology And Development Co., Ltd. Systems and methods for target identification in video
KR102697346B1 (ko) * 2018-12-20 2024-08-21 삼성전자주식회사 영상에서 오브젝트를 인식하는 전자 장치 및 그 동작 방법
WO2020136761A1 (ja) * 2018-12-26 2020-07-02 日本電気株式会社 情報処理装置、情報処理方法、およびプログラム
CN111476838A (zh) 2019-01-23 2020-07-31 华为技术有限公司 图像分析方法以及系统
CN109858965A (zh) * 2019-01-25 2019-06-07 上海基分文化传播有限公司 一种用户识别方法和系统
US10733457B1 (en) * 2019-03-11 2020-08-04 Wipro Limited Method and system for predicting in real-time one or more potential threats in video surveillance
CN110097722A (zh) * 2019-03-20 2019-08-06 合肥名德光电科技股份有限公司 基于图像处理的车辆监控报警方法及装置
CN110147712A (zh) * 2019-03-27 2019-08-20 苏州书客贝塔软件科技有限公司 一种行人分析智能云平台
US11080861B2 (en) 2019-05-14 2021-08-03 Matterport, Inc. Scene segmentation using model subtraction
EP3739503B1 (en) * 2019-05-14 2023-10-25 Nokia Technologies Oy Video processing
RU196355U1 (ru) * 2019-06-26 2020-02-26 Леся Николаевна Анищенко Устройство для автоматизированного распознавания поведения с целью выявления агрессии
KR20210009066A (ko) 2019-07-16 2021-01-26 삼성전자주식회사 사용자의 의도를 추정하는 방법 및 장치
US10997730B2 (en) 2019-08-21 2021-05-04 XNOR.ai, Inc. Detection of moment of perception
US10930032B1 (en) * 2019-08-22 2021-02-23 International Business Machines Corporation Generating concept images of human poses using machine learning models
BE1027605B1 (nl) 2019-09-30 2021-04-26 Secury360 Bv Verbeterde werkwijze en systeem voor camerabeveiliging
US11284824B2 (en) * 2019-12-02 2022-03-29 Everseen Limited Method and system for determining a human social behavior classification
CN111046819B (zh) * 2019-12-18 2023-09-05 浙江大华技术股份有限公司 一种行为识别处理方法及装置
CN111178323B (zh) * 2020-01-10 2023-08-29 北京百度网讯科技有限公司 基于视频的群体行为识别方法、装置、设备及存储介质
CN111461223B (zh) * 2020-04-01 2023-04-07 支付宝(杭州)信息技术有限公司 异常交易识别模型的训练方法及异常交易识别方法
RU2748581C1 (ru) * 2020-04-02 2021-05-27 Антон Владимирович Роженков Система автоматического создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов
US11398094B1 (en) 2020-04-06 2022-07-26 Amazon Technologies, Inc. Locally and globally locating actors by digital cameras and machine learning
US11443516B1 (en) 2020-04-06 2022-09-13 Amazon Technologies, Inc. Locally and globally locating actors by digital cameras and machine learning
CN111666916B (zh) * 2020-06-18 2023-03-28 安徽超清科技股份有限公司 一种基于自学习技术后厨违规行为识别方法
WO2021261985A1 (en) * 2020-06-23 2021-12-30 Mimos Berhad A system and method for classifying level of aggressiveness
CN112037254B (zh) * 2020-08-11 2024-07-12 浙江大华技术股份有限公司 目标跟踪方法及相关装置
KR20220051717A (ko) * 2020-10-19 2022-04-26 한국전자통신연구원 동영상에서 영상 패턴을 이용한 자기지도학습 기반 분할 및 추적 시스템 및 방법
CN112634329B (zh) * 2020-12-26 2024-02-13 西安电子科技大学 一种基于时空与或图的场景目标活动预测方法及装置
CN112597961B (zh) * 2020-12-30 2021-09-24 上海大学 一种基于大数据的兴趣目标提取方法及系统
US11516311B2 (en) * 2021-01-22 2022-11-29 Avago Technologies International Sales Pte. Limited Distributed machine-learning resource sharing and request routing
CN112926474A (zh) * 2021-03-08 2021-06-08 商汤集团有限公司 一种行为识别及特征提取的方法、装置、设备及介质
CN113052147B (zh) * 2021-04-30 2023-04-25 北京邮电大学 一种行为识别方法及装置
CN113239791B (zh) * 2021-05-11 2022-08-23 青岛以萨数据技术有限公司 基于神经网络和目标追踪的考官异常行为监控方法及系统
IT202100022397A1 (it) * 2021-08-27 2023-02-27 Visio Tech S R L Metodo per il monitoraggio di target su un nastro trasportatore, su sorter e su rulliere di un impianto di smistamento
IT202100022403A1 (it) * 2021-08-27 2023-02-27 Visio Tech S R L Metodo per il monitoraggio di target in un impianto di smistamento
KR102593463B1 (ko) * 2021-09-27 2023-10-24 고려대학교 산학협력단 일반 상식 추론 기반의 언어 생성 장치 및 방법
KR20230100418A (ko) 2021-12-28 2023-07-05 경북대학교 산학협력단 시공간 어텐션 네트워크를 이용한 행동경계 생성방법 및 행동경계 생성장치
WO2023168389A2 (en) * 2022-03-04 2023-09-07 Supernal, Llc Systems, methods, and devices for passenger monitoring
DE102022202942A1 (de) 2022-03-25 2023-09-28 Robert Bosch Gesellschaft mit beschränkter Haftung Überwachungsvorrichtung, Überwachungsanordnungen, Verfahren, Computerprogramm und Speichermedium
US20230316726A1 (en) * 2022-03-27 2023-10-05 Deep Sentinel Corp. Using guard feedback to train ai models
US12107994B2 (en) 2022-05-11 2024-10-01 Motorola Solutions, Inc. Method and device for prompting a user to report a public-safety incident
US12002268B2 (en) 2022-07-06 2024-06-04 Universal City Studios Llc Amusement park interactive guidance system
CN116189089B (zh) * 2023-02-14 2024-08-27 国网宁夏电力有限公司石嘴山供电公司 智能视频监控方法及系统
CN116403162B (zh) * 2023-04-11 2023-10-27 南京航空航天大学 一种机场场面目标行为识别方法、系统及电子设备
CN117115718B (zh) * 2023-10-20 2024-01-09 思创数码科技股份有限公司 政务视频数据的处理方法、系统及计算机可读存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574845A (en) * 1994-11-29 1996-11-12 Siemens Corporate Research, Inc. Method and apparatus video data management
EP1162844A2 (en) * 2000-05-17 2001-12-12 Mitsubishi Denki Kabushiki Kaisha Dynamic feature extraction from compressed digital video signals for content-based retrieval in a video playback system
EP1482735A1 (en) * 2002-04-12 2004-12-01 Mitsubishi Denki Kabushiki Kaisha Video content transmission device and method, video content storage device, video content reproduction device and method, meta data generation device, and video content management method
US20060018516A1 (en) * 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
RU2378790C1 (ru) * 2005-09-27 2010-01-10 Квэлкомм Инкорпорейтед Методики масштабируемости на основе информации содержимого

Family Cites Families (86)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4679077A (en) * 1984-11-10 1987-07-07 Matsushita Electric Works, Ltd. Visual Image sensor system
GB2219461B (en) 1988-05-02 1992-11-18 Canon Kk Exposure control device
US4998162A (en) 1988-08-22 1991-03-05 Sony Corporation Video camera
US5113507A (en) 1988-10-20 1992-05-12 Universities Space Research Association Method and apparatus for a sparse distributed memory system
US5091780A (en) * 1990-05-09 1992-02-25 Carnegie-Mellon University A trainable security system emthod for the same
JPH04273689A (ja) * 1991-02-28 1992-09-29 Hitachi Ltd 監視装置
JP3123587B2 (ja) 1994-03-09 2001-01-15 日本電信電話株式会社 背景差分による動物体領域抽出方法
AU6726596A (en) 1995-03-22 1996-10-08 Idt International Digital Technologies Deutschland Gmbh Method and apparatus for depth modelling and providing depth information of moving objects
US7076102B2 (en) * 2001-09-27 2006-07-11 Koninklijke Philips Electronics N.V. Video monitoring system employing hierarchical hidden markov model (HMM) event learning and classification
US5969755A (en) 1996-02-05 1999-10-19 Texas Instruments Incorporated Motion based event detection system and method
US5751378A (en) 1996-09-27 1998-05-12 General Instrument Corporation Scene change detector for digital video
US6263088B1 (en) 1997-06-19 2001-07-17 Ncr Corporation System and method for tracking movement of objects in a scene
US6532022B1 (en) 1997-10-15 2003-03-11 Electric Planet, Inc. Method and apparatus for model-based compositing
DE69921237T2 (de) 1998-04-30 2006-02-02 Texas Instruments Inc., Dallas Automatische Videoüberwachungsanlage
US6711278B1 (en) 1998-09-10 2004-03-23 Microsoft Corporation Tracking semantic objects in vector image sequences
US6570608B1 (en) 1998-09-30 2003-05-27 Texas Instruments Incorporated System and method for detecting interactions of people and vehicles
AU1930700A (en) 1998-12-04 2000-06-26 Interval Research Corporation Background estimation and segmentation based on range and color
US7136525B1 (en) 1999-09-20 2006-11-14 Microsoft Corporation System and method for background maintenance of an image sequence
JP4592243B2 (ja) 1999-10-04 2010-12-01 浜松ホトニクス株式会社 高速画像処理カメラシステム
US6674877B1 (en) 2000-02-03 2004-01-06 Microsoft Corporation System and method for visually tracking occluded objects in real time
US6940998B2 (en) * 2000-02-04 2005-09-06 Cernium, Inc. System for automated screening of security cameras
US6642940B1 (en) 2000-03-03 2003-11-04 Massachusetts Institute Of Technology Management of properties for hyperlinked video
US7868912B2 (en) 2000-10-24 2011-01-11 Objectvideo, Inc. Video surveillance system employing video primitives
US6678413B1 (en) 2000-11-24 2004-01-13 Yiqing Liang System and method for object identification and behavior characterization using video analysis
US6625310B2 (en) * 2001-03-23 2003-09-23 Diamondback Vision, Inc. Video segmentation using statistical pixel modeling
US6825769B2 (en) * 2001-09-14 2004-11-30 Koninklijke Philips Electronics N.V. Automatic shut-off light system when user sleeps
US20030058237A1 (en) 2001-09-27 2003-03-27 Koninklijke Philips Electronics N.V. Multi-layered background models for improved background-foreground segmentation
US20030107650A1 (en) * 2001-12-11 2003-06-12 Koninklijke Philips Electronics N.V. Surveillance system with suspicious behavior detection
US20060165386A1 (en) 2002-01-08 2006-07-27 Cernium, Inc. Object selective video recording
US7436887B2 (en) 2002-02-06 2008-10-14 Playtex Products, Inc. Method and apparatus for video frame sequence-based object tracking
US6856249B2 (en) * 2002-03-07 2005-02-15 Koninklijke Philips Electronics N.V. System and method of keeping track of normal behavior of the inhabitants of a house
US7254268B2 (en) 2002-04-11 2007-08-07 Arcsoft, Inc. Object extraction
US7034833B2 (en) 2002-05-29 2006-04-25 Intel Corporation Animated photographs
US6970190B2 (en) 2002-06-12 2005-11-29 Litton Systems, Inc. Event synchronization for detector systems
US7308136B2 (en) 2002-07-01 2007-12-11 Xerox Corporation Weak edge repositioning in a MRC segmentor
US20040032906A1 (en) 2002-08-19 2004-02-19 Lillig Thomas M. Foreground segmentation for digital video
US7227893B1 (en) 2002-08-22 2007-06-05 Xlabs Holdings, Llc Application-specific object-based segmentation and recognition system
US7200266B2 (en) 2002-08-27 2007-04-03 Princeton University Method and apparatus for automated video activity analysis
US7349574B1 (en) 2002-10-11 2008-03-25 Sensata Technologies, Inc. System and method for processing non-linear image data from a digital imager
US7336803B2 (en) * 2002-10-17 2008-02-26 Siemens Corporate Research, Inc. Method for scene modeling and change detection
US7236190B2 (en) 2002-10-31 2007-06-26 Freescale Semiconductor, Inc. Digital image processing using white balance and gamma correction
US7639741B1 (en) 2002-12-06 2009-12-29 Altera Corporation Temporal filtering using object motion estimation
US6999600B2 (en) 2003-01-30 2006-02-14 Objectvideo, Inc. Video scene background maintenance using change detection and classification
US7421418B2 (en) * 2003-02-19 2008-09-02 Nahava Inc. Method and apparatus for fundamental operations on token sequences: computing similarity, extracting term values, and searching efficiently
JP2004328622A (ja) 2003-04-28 2004-11-18 Matsushita Electric Ind Co Ltd 行動パターン識別装置
US7026979B2 (en) 2003-07-03 2006-04-11 Hrl Labortories, Llc Method and apparatus for joint kinematic and feature tracking using probabilistic argumentation
US7280673B2 (en) 2003-10-10 2007-10-09 Intellivid Corporation System and method for searching for changes in surveillance video
US20050104958A1 (en) * 2003-11-13 2005-05-19 Geoffrey Egnal Active camera video-based surveillance systems and methods
US7127083B2 (en) * 2003-11-17 2006-10-24 Vidient Systems, Inc. Video surveillance system with object detection and probability scoring based on object class
WO2005096215A1 (en) 2004-03-24 2005-10-13 Cernium, Inc. Improvement in video analysis using segmentation gain by area
US7508455B2 (en) 2004-03-26 2009-03-24 Ross Video/Live Production Technology Method, system, and device for automatic determination of nominal backing color and a range thereof
US20050219362A1 (en) * 2004-03-30 2005-10-06 Cernium, Inc. Quality analysis in imaging
US8289390B2 (en) * 2004-07-28 2012-10-16 Sri International Method and apparatus for total situational awareness and monitoring
US7158680B2 (en) 2004-07-30 2007-01-02 Euclid Discoveries, Llc Apparatus and method for processing video data
US8589315B2 (en) * 2004-08-14 2013-11-19 Hrl Laboratories, Llc Behavior recognition using cognitive swarms and fuzzy graphs
US7620266B2 (en) 2005-01-20 2009-11-17 International Business Machines Corporation Robust and efficient foreground analysis for real-time video surveillance
US20060190419A1 (en) * 2005-02-22 2006-08-24 Bunn Frank E Video surveillance data analysis algorithms, with local and network-shared communications for facial, physical condition, and intoxication recognition, fuzzy logic intelligent camera system
ATE486332T1 (de) * 2005-03-17 2010-11-15 British Telecomm Verfahren zur verfolgung von objekten in einer videosequenz
US20080181453A1 (en) 2005-03-17 2008-07-31 Li-Qun Xu Method of Tracking Objects in a Video Sequence
WO2006115676A2 (en) * 2005-03-30 2006-11-02 Cernium Corporation Video ghost detection by outline
US20060222206A1 (en) * 2005-03-30 2006-10-05 Cernium, Inc. Intelligent video behavior recognition with multiple masks and configurable logic inference module
US8316407B2 (en) * 2005-04-04 2012-11-20 Honeywell International Inc. Video system interface kernel
US7825954B2 (en) 2005-05-31 2010-11-02 Objectvideo, Inc. Multi-state target tracking
US20070092149A1 (en) 2005-10-24 2007-04-26 Sung Chih-Ta S Method and apparatus of high quality video compression
TWI285047B (en) 2005-11-24 2007-08-01 Sunplus Technology Co Ltd Method of automatic exposure control and automatic exposure compensated apparatus
EP2013823A1 (en) 2006-03-28 2009-01-14 The University Court Of The University Of Edinburgh A method for automatically characterizing the behavior of one or more objects
KR101392294B1 (ko) 2006-04-17 2014-05-27 오브젝트비디오 인코퍼레이티드 통계적인 픽셀 모델링을 이용한 비디오 분할
US8467570B2 (en) 2006-06-14 2013-06-18 Honeywell International Inc. Tracking system with fused motion and object detection
US7710466B2 (en) 2007-01-25 2010-05-04 Research In Motion Limited Method and apparatus for controlling a camera module to compensate for the color spectrum of a white LED
US7916944B2 (en) 2007-01-31 2011-03-29 Fuji Xerox Co., Ltd. System and method for feature level foreground segmentation
ES2522589T3 (es) 2007-02-08 2014-11-17 Behavioral Recognition Systems, Inc. Sistema de reconocimiento conductual
WO2008103929A2 (en) 2007-02-23 2008-08-28 Johnson Controls Technology Company Video processing systems and methods
US8086036B2 (en) 2007-03-26 2011-12-27 International Business Machines Corporation Approach for resolving occlusions, splits and merges in video images
US7929729B2 (en) 2007-04-02 2011-04-19 Industrial Technology Research Institute Image processing methods
US8306348B2 (en) 2007-04-24 2012-11-06 DigitalOptics Corporation Europe Limited Techniques for adjusting the effect of applying kernels to signals to achieve desired effect on signal
US8064639B2 (en) 2007-07-19 2011-11-22 Honeywell International Inc. Multi-pose face tracking using multiple appearance models
US8064695B2 (en) 2007-09-27 2011-11-22 Behavioral Recognition Systems, Inc. Dark scene compensation in a background-foreground module of a video analysis system
US8200011B2 (en) 2007-09-27 2012-06-12 Behavioral Recognition Systems, Inc. Context processor for video analysis system
US8300924B2 (en) 2007-09-27 2012-10-30 Behavioral Recognition Systems, Inc. Tracker component for behavioral recognition system
WO2009049314A2 (en) 2007-10-11 2009-04-16 Trustees Of Boston University Video processing system employing behavior subtraction between reference and observed video image sequences
US8452108B2 (en) 2008-06-25 2013-05-28 Gannon Technologies Group Llc Systems and methods for image recognition using graph-based pattern matching
US8121968B2 (en) 2008-09-11 2012-02-21 Behavioral Recognition Systems, Inc. Long-term memory in a video analysis system
US8611677B2 (en) 2008-11-19 2013-12-17 Intellectual Ventures Fund 83 Llc Method for event-based semantic classification
US9373055B2 (en) 2008-12-16 2016-06-21 Behavioral Recognition Systems, Inc. Hierarchical sudden illumination change detection using radiance consistency within a spatial neighborhood
US8285046B2 (en) 2009-02-18 2012-10-09 Behavioral Recognition Systems, Inc. Adaptive update of background pixel thresholds using sudden illumination change detection
US8416296B2 (en) 2009-04-14 2013-04-09 Behavioral Recognition Systems, Inc. Mapper component for multiple art networks in a video analysis system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5574845A (en) * 1994-11-29 1996-11-12 Siemens Corporate Research, Inc. Method and apparatus video data management
EP1162844A2 (en) * 2000-05-17 2001-12-12 Mitsubishi Denki Kabushiki Kaisha Dynamic feature extraction from compressed digital video signals for content-based retrieval in a video playback system
EP1482735A1 (en) * 2002-04-12 2004-12-01 Mitsubishi Denki Kabushiki Kaisha Video content transmission device and method, video content storage device, video content reproduction device and method, meta data generation device, and video content management method
US20060018516A1 (en) * 2004-07-22 2006-01-26 Masoud Osama T Monitoring activity using video information
RU2378790C1 (ru) * 2005-09-27 2010-01-10 Квэлкомм Инкорпорейтед Методики масштабируемости на основе информации содержимого

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2686566C2 (ru) * 2014-02-07 2019-04-29 Таль Способ для детектирования и классифицирования событий сцены
RU2679864C2 (ru) * 2014-10-13 2019-02-13 Конинклейке Филипс Н.В. Система и способ мониторинга пациента
RU2658165C2 (ru) * 2015-07-31 2018-06-19 Сяоми Инк. Способ и устройство для уведомления об аномальной видеоинформации
RU2683499C1 (ru) * 2018-03-15 2019-03-28 Антон Владимирович Роженков Система автоматического создания сценарного видеоролика с присутствием в кадре заданного объекта или группы объектов
WO2019177493A1 (ru) * 2018-03-15 2019-09-19 Антон Владимирович РОЖЕНКОВ Система автоматического создания сценарного видеоролика с заданным объектом
US11025999B2 (en) 2018-03-15 2021-06-01 Fun Editor Llc System of automatic creation of a scenario video clip with a predefined object
RU2694139C1 (ru) * 2019-04-04 2019-07-09 Общество с ограниченной ответственностью "Скайтрэк" (ООО "Скайтрэк") Способ определения девиантного поведения человека в режиме одновременной работы группы видеокамер
RU2798280C1 (ru) * 2023-03-02 2023-06-21 Открытое Акционерное Общество "Российские Железные Дороги" Устройство для обнаружения признаков асоциального поведения
RU2824055C1 (ru) * 2023-05-03 2024-08-01 Федеральное государственное казенное учреждение "12 Центральный научно-исследовательский институт" Министерства обороны Российской Федерации Способ комплексного интеллектуального выявления запрещенных объектов и несанкционированных действий в потоке видеоданных

Also Published As

Publication number Publication date
BRPI0806968A2 (pt) 2014-04-08
CN101622652A (zh) 2010-01-06
KR101260847B1 (ko) 2013-05-06
BRPI0806968A8 (pt) 2018-01-16
ES2522589T3 (es) 2014-11-17
ZA200905257B (en) 2010-10-27
EP2118864A4 (en) 2012-08-01
US8620028B2 (en) 2013-12-31
US20120163670A1 (en) 2012-06-28
BRPI0806968B1 (pt) 2018-09-18
PL2118864T3 (pl) 2015-03-31
DK2118864T3 (da) 2014-11-10
JP5602792B2 (ja) 2014-10-08
US20080193010A1 (en) 2008-08-14
KR20090121309A (ko) 2009-11-25
EP2118864A2 (en) 2009-11-18
JP5278770B2 (ja) 2013-09-04
JP2012230686A (ja) 2012-11-22
CN101622652B (zh) 2012-03-21
WO2008098188A3 (en) 2008-11-13
MX2009008376A (es) 2009-12-14
EG26304A (en) 2013-07-03
AU2008213586B2 (en) 2013-07-11
AU2008213586A1 (en) 2008-08-14
JP2010518522A (ja) 2010-05-27
NZ578752A (en) 2012-03-30
CA2674311C (en) 2015-12-29
WO2008098188A2 (en) 2008-08-14
US8131012B2 (en) 2012-03-06
RU2009133474A (ru) 2011-03-20
EP2118864B1 (en) 2014-07-30
CA2674311A1 (en) 2008-08-14

Similar Documents

Publication Publication Date Title
RU2475853C2 (ru) Система распознавания поведения
US10706284B2 (en) Semantic representation module of a machine-learning engine in a video analysis system
KR101995107B1 (ko) 딥 러닝을 이용한 인공지능 기반 영상 감시 방법 및 시스템
KR101731461B1 (ko) 객체에 대한 행동 탐지 장치 및 이를 이용한 행동 탐지 방법
Lim et al. iSurveillance: Intelligent framework for multiple events detection in surveillance videos
Zin et al. Unattended object intelligent analyzer for consumer video surveillance
Afsar et al. Automatic human trajectory destination prediction from video
Roy et al. Real-time record sensitive background classifier (RSBC)
Prasath et al. Traffic Anomalies in Surveillance Videos: Recent Trends
Varadharajan Object Detection in a video based on Frame Differencing using Deep learning

Legal Events

Date Code Title Description
PC41 Official registration of the transfer of exclusive right

Effective date: 20160329