RU2484529C1 - Способ ранжирования видеоданных - Google Patents
Способ ранжирования видеоданных Download PDFInfo
- Publication number
- RU2484529C1 RU2484529C1 RU2012110783/08A RU2012110783A RU2484529C1 RU 2484529 C1 RU2484529 C1 RU 2484529C1 RU 2012110783/08 A RU2012110783/08 A RU 2012110783/08A RU 2012110783 A RU2012110783 A RU 2012110783A RU 2484529 C1 RU2484529 C1 RU 2484529C1
- Authority
- RU
- Russia
- Prior art keywords
- priority
- fragment
- video
- fragments
- user
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 43
- 239000012634 fragment Substances 0.000 claims abstract description 139
- 238000003860 storage Methods 0.000 claims abstract description 22
- 238000004891 communication Methods 0.000 claims abstract description 15
- 238000001514 detection method Methods 0.000 claims description 9
- 230000033001 locomotion Effects 0.000 claims description 8
- 238000010276 construction Methods 0.000 claims description 3
- 238000012549 training Methods 0.000 claims description 3
- 230000005236 sound signal Effects 0.000 claims description 2
- 238000012545 processing Methods 0.000 abstract description 4
- 238000005516 engineering process Methods 0.000 abstract description 3
- 239000000126 substance Substances 0.000 abstract 1
- 230000005540 biological transmission Effects 0.000 description 10
- 238000012546 transfer Methods 0.000 description 4
- 238000013459 approach Methods 0.000 description 3
- 230000004888 barrier function Effects 0.000 description 2
- 230000006835 compression Effects 0.000 description 2
- 238000007906 compression Methods 0.000 description 2
- 238000013500 data storage Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 2
- 238000011161 development Methods 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 238000011156 evaluation Methods 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 239000000779 smoke Substances 0.000 description 2
- 238000012706 support-vector machine Methods 0.000 description 2
- 101150012579 ADSL gene Proteins 0.000 description 1
- 102100020775 Adenylosuccinate lyase Human genes 0.000 description 1
- 108700040193 Adenylosuccinate lyases Proteins 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000008034 disappearance Effects 0.000 description 1
- 238000004836 empirical method Methods 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000012417 linear regression Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 238000012805 post-processing Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000002123 temporal effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/21—Server components or server architectures
- H04N21/218—Source of audio or video content, e.g. local disk arrays
- H04N21/2187—Live feed
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/20—Analysis of motion
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/49—Segmenting video sequences, i.e. computational techniques such as parsing or cutting the sequence, low-level clustering or determining units such as shots or scenes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
- H04N21/845—Structuring of content, e.g. decomposing content into time segments
- H04N21/8456—Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
- H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Library & Information Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Computational Linguistics (AREA)
- Computing Systems (AREA)
- Closed-Circuit Television Systems (AREA)
- Alarm Systems (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
Abstract
Изобретение относится к средствам обработки видеоданных. Техническим результатом является повышение качества обработки видеоданных без потери их качества. В способе из исходных видеоданных, выделяют фрагменты, соответствующие объекту и/или событию, вычисляют признаки каждого фрагмента, влияющие на оценку приоритета фрагмента и/или используемые при поиске фрагментов в хранилище, оценивают приоритет каждого фрагмента с учетом его признаков, сортируют фрагменты в соответствии с приоритетом каждого из них и передают по каналам связи пользователю и/или в хранилище полученную приоритетную очередь фрагментов или фрагмент с наибольшим приоритетом. 25 з.п. ф-лы, 4 ил., 2 табл.
Description
Изобретение относится к обработке данных, а именно к области охранного телевидения, видеонаблюдения и видеоаналитики. Изобретение позволяет эффективно строить территориально-распределенные системы видеонаблюдения в различных отраслях, включая охрану и безопасность, транспорт и розничные продажи, спорт и развлечения, жилищно-коммунальное хозяйство и социальную инфраструктуру. Изобретение может быть использовано в локальных и глобальных сетях, на выделенных или облачных серверах. Изобретение позволяет снизить расходы на анализ, хранение и передачу видео, а также расширить область применения услуги VSaaS - видеонаблюдение как сервис (англ. video surveillance as a service).
Одним из существенных барьеров развития территориально-распределенных систем видеонаблюдения является значительный объем данных, поступающих с камер. Даже при использовании современных алгоритмов сжатия, таких как Н.264, камеры стандартной четкости (0.4 мегапиксела) формируют поток данных от 0.5 до 4 Мбит/с, а камеры высокой четкости (1-3 мегапиксела) от 1 до 10 Мбит/с (в режиме высокого качества видео). Для систем с большим числом камер, затраты на передачу, хранение и анализ данных становятся критическими.
В частности, серьезным барьером развития услуги VSaaS являются недостаточная пропускная способность каналов связи за пределами локальной сети. Так, средняя скорость подключения абонента к Интернету в мире составляет 1.8 Мбит/с по данным на 2010 год. При использовании асимметричных технологий доступа (например, через ADSL- или кабельный модем) исходящий канал от абонента к приложению VSaaS в 4-10 раз меньше входящего, и в среднем он меньше 512 Кбит/с. Таким образом, услуга VSaaS не позволяет реализовать удаленный просмотр и запись видео с большего числа камер, особенно камер высокого разрешения (более 1 мегапикселя).
Как раскрывается в международной заявке WO 2011041903, опубликованной 14.04.2011, видеоаналитика, реализованная на стороне источника видео, то есть встроенная видеоаналитика, позволяет уменьшить объем передаваемой информации по каналам связи. Однако в системах с большим числом камер и большим числом событий, регистрируемых видеоаналитикой, данный подход не является достаточным для снижения объема данных, передаваемых по каналам связи и записываемых в архив. На оживленных объектах видеоаналитика формирует непрерывный поток событий и реального уменьшения объема передаваемых данных не происходит.
Другой проблемой является большое количество тревожных событий, поступающих в ситуационные центры и на пульт удаленной охраны. Операторы часто не успевают реагировать на тревожные события, формируемые системой видеонаблюдения с аналитикой, и не могут сфокусироваться на решении наиболее важных задач.
Хранение больших объемов видео является высокозатратным. В существующих хранилищах видео (видеорегистраторы) используются следующие методы для повышения эффективности использования дискового пространства: а) удаление старых видеозаписей с возможностью ручной блокировки удаления отдельных записей (функция lock); б) уменьшение объема архива видео за счет более высокой степени сжатия, что негативно отражается на качестве видео (пространственной и временной детализации видео).
На решение вышеуказанных проблем и направлено предлагаемое изобретение.
Способ ранжирования видеоданных, включающий получение видеоданных с, по крайней мере, одной видеокамеры и передачу отсортированных видеоданных по каналам связи, по крайней мере, одному пользователю и/или, по крайней мере, в одно хранилище, характеризующийся тем, что вначале из полученных исходных видеоданных выделяют фрагменты, соответствующие, по крайней мере, одному объекту и/или событию, затем вычисляют признаки каждого фрагмента, которые влияют на оценку приоритета фрагмента и/или используются при поиске фрагментов в хранилище, далее оценивают приоритет каждого фрагмента с учетом его признаков, потом сортируют фрагменты в соответствии с приоритетом каждого из них и передают по каналам связи, по крайней мере, одному пользователю и/или, по крайней мере, в одно хранилище полученную приоритетную очередь фрагментов или один фрагмент с наибольшим приоритетом.
Фрагменты могут выделяться при помощи детектора движения.
Фрагменты могут выделяться при помощи видеоаналитики, встроенной в сетевую камеру или в видеосервер.
Фрагменты могут выделяться при помощи серверной видеоаналитики.
Оценку приоритета каждого фрагмента могут осуществлять при помощи функции регрессии.
Построение функции регрессии могут осуществлять на основе статистики запросов пользователя.
Оценку приоритета каждого фрагмента могут осуществлять при помощи статистического классификатора.
Обучение статистического классификатора могут осуществлять на основе статистики запросов пользователя.
Оценку приоритета каждого фрагмента могут осуществлять при помощи правил, задаваемых пользователем.
Оценку приоритета каждого фрагмента могут производить с учетом текущих запросов пользователя.
Оценку приоритета каждого фрагмента пользователь может устанавливать вручную.
Оценку приоритета каждого фрагмента могут производить на основе приоритета камеры, которая является источником фрагмента видеоданных.
Для оценки приоритета каждого фрагмента могут использовать один признак, вычисляемый видеоаналитикой, такой как точность обнаружения объекта или ситуации.
Для оценки приоритета могут использовать значение приоритета, заранее задаваемое пользователем в таблице для каждого типа объектов или ситуаций.
Для оценки приоритета фрагмента могут использовать сумму или максимум оценок приоритетов отдельных объектов и/или ситуаций, содержавшихся в этом фрагменте.
Для оценки приоритета могут использовать данные, полученные из внешних датчиков.
Фрагментом видеоданных может являться последовательность кадров.
Фрагментом видеоданных может являться изображение - тревожный кадр или часть изображения.
Пользователем может являться оператор системы видеонаблюдения.
Время хранения фрагмента, переданного в хранилище, может зависеть от приоритета фрагмента.
При передаче видеоданных по каналам связи с ограниченной пропускной способностью в первую очередь могут передавать фрагменты с наибольшим приоритетом.
Полученная приоритетная очередь может быть отображена на пользовательском интерфейсе.
Фрагменты полученной приоритетной очереди могут быть отображены на пользовательском интерфейсе, цветом или иным графическим индикатором, зависящим от приоритета фрагмента.
Могут выполняться те или иные действия для привлечения внимания оператора: подача звукового сигнала и/или отправка сообщения SMS (англ. Short Message Service - сервис коротких сообщений) в зависимости от полученной оценки приоритета.
Каждый фрагмент приоритетной очереди может быть предан в отдельном файле.
Приоритетная очередь может распределяться между несколькими пользователями.
Настоящее изобретение поясняется рис.1-4. На рис.1 представлена общая схема осуществления способа ранжирования видеоданных. На рис.2 изображена схема системы видеонаблюдения. На рис.3 представлен эскиз графического интерфейса пользователя системы. Фрагменты видео выделены цветом и представлены в хронологическом порядке. На рис.4 показан эскиз графического интерфейса пользователя Системы. Фрагменты видео выделены цветом и представлены в приоритетном порядке.
Способ ранжированной передачи видеоданных включает следующие шаги, отображенные на рис.1:
Шаг 1. Выделение фрагментов из исходного видео при помощи видеоаналитики
Исходное видео, поступающее с камер наблюдение, разделяется на фрагменты. Фрагмент может представлять собой последовательность кадров, отдельный кадр (тревожный кадр) или часть кадра. Разделение видео на фрагменты происходит таким образом, чтобы каждый фрагмент соответствовал одному объекту или событию, наблюдаемых камерой и представляющих интерес для пользователя. Возможно, что в одном фрагменте присутствуют несколько объектов в случае их одновременного появления.
Возможно применение различных типов видеодетекторов, например, детектор движения, детектор лиц людей, детектор номеров автомобилей, детектор огня и так далее. Рекомендуется применение алгоритмов слежения (трекинга) за объектами с целью завершения формирование фрагмента после исчезновения обнаруженного объекта. Возможно применение правил для автоматического распознавания предопределенных ситуаций, например, пересечения сигнальной линии (tripwire), праздношатания (loitering) и оставленного предмета.
Примерам фрагментов является: а) лицо человека, выделенное из потока видео; б) тревожный кадр с появлением человека в стерильной зоне; в) видеозапись с проездом автомобиля на красный свет.
Целесообразно ограничение размеров фрагмента для снижения времени передачи наиболее приоритетных фрагментов по каналам связи с ограниченной пропускной способностью и более эффективного использования хранилища видео.
Возможны случаи, особенно для оживленных сцен, когда в одном фрагменте содержатся несколько объектов или ситуаций.
Шаг 2. Вычисление признаков фрагментов
Для каждого фрагмента вычисляются признаки, которые влияют на оценку приоритета фрагмента и/или могут быть использованы для последующего поиска фрагментов в хранилище. Примеры признаков, которые могут быть использованы в Изобретении, приведены в Таблице 1.
| Таблица 1 | |
| Группа признаков | Примеры признаков |
| Дата и время | Дата и время начала фрагмента |
| Дата и время конца фрагмента | |
| Длительность фрагмента | |
| Место | Идентификатор и приоритет камеры |
| Идентификатор и приоритет зоны обнаружения объекта | |
| Объекты | Наличие объектов определенных типов (классов) |
| Количество объектов | |
| Оценки точности обнаружения объектов | |
| Ситуации | Выполнение/невыполнение предопределенного правила |
| (Вход в зону, выход из зоны, остановка, праздношатание и др.) | |
| Обнаружение огня или дыма | |
| Потеря сигнала, глобальные изменения в поле зрения камеры | |
| Затемнение изображения, что может камеры быть вызвано отключением освещения или поломкой диафрагмы | |
| Внешние датчики | Состояние дополнительных датчиков, интегрированных с системой видеонаблюдения (аудиодетекторы, датчики открывания двери, сигнализации, газа и т.п.) |
| Запросы пользователей | Число пользователей системы видеонаблюдения, запросивших фрагмент |
| Время/актуальность запросов | |
На рис.1 признаки фрагментов обозначены строчными буквами: а, b, с…
Шаг 3. Оценка приоритета каждого фрагмента
Оценка приоритета каждого фрагмента может производиться автоматически формальными или эмпирическими методами, а также в ручном режиме.
Среди формальных методов оценки приоритетов следуют отметить:
а. Функция регрессии. Предполагается, что приоритет фрагмента и признак фрагмента - зависимые случайные величины. Приоритет фрагмента зависит от признака фрагмента: q=f(x), где, f - функция регрессии, определяющая зависимость приоритета фрагмента q от вектора x, содержащего признаки фрагмента или объекта на фрагменте. Приоритет фрагмента q может принимать непрерывные значения, например, от 0 (самый низкий приоритет) до 1 (самый высокий приоритет). Могут использовать известные методы построения регрессионной функции, например, линейная регрессия или метод опорных векторов (SVM, support vector machine).
б. Статистический классификатор определяет приоритет фрагмента на основе признаков фрагмента: q=С(x), где q - приоритет фрагмента, С - статистический классификатор, x - вектор, содержащий признаки фрагмента или объекта на фрагменте. Классификатор выдает дискретные значения q, например, 1 (низкий приоритет), 2 (средний приоритет) и 3 (высокий приоритет). Могут использовать известные классификаторы, например, метод опорных векторов (SVM), метод ближайших соседей (k-NN) или метод бустинга (boosting).
В описанных формальных подходах, построение функции регрессии или обучение классификатора может производиться: а) на этапе конфигурирования системы видеонаблюдения; и/или б) непрерывно в процессе эксплуатации системы видеонаблюдения для учета статистики возникновения событий и действий пользователя.
На рис.1 приоритеты фрагменты обозначены заглавными буквами: Н (High - высокий), М (Medium - средний), L (Low - низкий).
Среди возможных эмпирических подходов к оценке приоритетов фрагментов следует выделить:
а. Тривиальная оценка по одному признаку: (q=x или q=-x, где x - признак фрагмента, такой как, точность обнаружения объекта, количество обнаруженных объектов, расстояние от объекта до камеры.
б. Таблица приоритетов: q=Q[x], где x - тип ситуации или тип объекта на фрагменте, определенной видеоаналитикой; Q - справочная таблица приоритетов (lookup table), определяющая приоритет фрагмента для каждого типа ситуации или типа объекта. Пример таблицы приоритетов приведен в таблице 2.
В случае, когда на фрагменте присутствует множество объектов или ситуаций, то признаки каждого объекта или ситуации могут быть агрегированы в общую оценку приоритета при помощи таких функций как суммирование или максимум. Например, q=Σipiqi/Σipi или q=maxipiqi, где pi - оценка точности обнаружения (распознавания) i-ого объекта или ситуации на фрагменте видео, qi - приоритет i-ого объекта или ситуации, определяемой по справочной таблице, t=1, 2, … - номер объекта или ситуации. Если алгоритм видеоаналитики не рассчитывает точность, то полагается pi=1.
Пользователь может самостоятельно менять приоритет каждого фрагмента для управления сроком хранения фрагмента видео в архиве или передачей фрагментов по каналам с узкой полосой пропускания.
| Таблица 2 | |
| Значение приоритетов для типовых ситуаций | |
| Примеры ситуаций | Рекомендуемый приоритет qi |
| Обнаружение огня или дыма | 1.0 |
| Преодоление ограждения | 1.0 |
| Движение человека в сторону здания на охраняемой территории вне рабочего времени | 1.0 |
| Потеря сигнала или искажение качества видео, существенные изменения в поле зрения камеры | 1.0 |
| Движение человека от здания на охраняемой территории | 0.5 |
| Праздношатание человека на парковке | 0.5 |
| Оставленный предмет | 0.5 |
| Срабатывание детектора движения | 0.2 |
| Бегущий человек | 0.2 |
| Образование скопления людей | 0.2 |
| Движение человека возле здания в рабочее время | 0.1 |
Возможно так же задание априорных приоритетов для камер или зона обнаружения объектов (ситуаций). В этом случае, формула для определения приоритета будет иметь вид: q=qsf(х), где qs - приоритет источника события (приоритет камеры или зоны наблюдения).
Шаг 4. Ранжирование всех фрагментов по оценкам приоритета
На шаге 4 производится поиск, ранжирование всех фрагментов по оценкам приоритета с целью обработки наиболее приоритетных данных в первую очередь. Ранжированные фрагменты могут поступать в структуру данных, называемых приоритетной очередью. Частным случаем ранжирования является поиск одного фрагмента с наиболее высоким приоритетом.
Например, фрагмент видео с обнаруженным пожаром может иметь более высокий приоритет, чем фрагмент с появлением человека перед дверью. Такой фрагмент передается по каналам связи, предъявляется оператору и записывается в хранилище в первую очередь.
Фрагменты видеоданных с низким приоритетом могут дальше не обрабатываться, но могут записываться в локальное хранилище на случай запроса пользователя. Существенное снижение нагрузки на каналы связи, хранилище и оператора происходит за счет фильтрации фрагментов с низким приоритетом.
По мере поступления новых данных (исходного видео), шаги 1-4 повторяются.
Таким образом, изобретение обеспечивает эффективную передачу не за счет снижения качества видео, как в продуктах-аналогах, а за счет приоритетной передачи наиболее важной для пользователя информации. Приоритет передачи фрагментов видео или части кадра определяется по результатам работы видеоаналитики и/или запросов пользователя.
Лучшие ближайшие аналоги осуществляют видеозапись по детектору движения и передачу видеофрагментов без учета их важности, либо непрерывную передачу видео, что приводит к быстрому исчерпанию дискового пространства в хранилище данных и/или полосы пропускания канала. Так же ближайшее аналоги не позволяют ранжировать данные для представления оператора, что увеличивает требования к числу операторов в центрах мониторинга.
На рис.2 иллюстрирован один из возможных вариантов применения настоящего изобретения. Несжатое видео поступает с сенсора (камеры) на видекодер и модуль видеоаналитики. Видеокодер сжимает видео, например, при помощи алгоритма Н.264. Модуль видеоаналитики формирует метаданные, описывающие объекты и ситуации на видео. Модуль ранжирования данных реализует настоящий Способ ранжирования видеоданных, а именно реализует 4 шага: а) разделяет сжатое видео на фрагменты на основе метаднных видеоаналитики; б) вычисляет признаки каждого фрагмента; в) оценивает приоритеты каждого фрагмента на основе признаков; г) ранжирует (сортирует) все фрагменты по оценкам приоритета. Ранжированные видеоданные поступают пользователям (оператором) и записываются в хранилище.
Изобретение может быть использовано в составе локальной или территориально-распределенной системы видеонаблюдения. Модуль ранжирования видеоданных может быть: а) встроен в передатчик видео (сетевую камеру или сетевой видеосервер); б) находиться на приемнике видео (на сервере); в) распределен между передатчиком и приемником видео.
Способ ранжированной передачи быть реализован в виде программных модулей и интегрирован с такими компонентами системы видеонаблюдения, как сетевая камера, сетевой видеосервер, сетевой видеорегистратор (NVR), система управления видео (VMS) и система онлайн-видеонаблюдения. Кроме того, данные программные модули могут запускаться на рабочих станциях и выделенных серверах, в центре обработке данных (ЦОД) или на хостинге облачного провайдера.
Оценка приоритета фрагмента видеоданных, согласно настоящему Изобретению, может быть использована для выделения цветом (рис.3-4) и ранжирования фрагментов на рабочем месте пользователя (оператора) системы видеонаблюдения с целью представления пользователю наиболее важных фрагментов в приоритетном порядке (рис.4). Например, тревожные кадры видео можно выводить на экран и сортировать в порядке убывания оценки приоритета. Это позволяет существенно повысить продуктивность пользователя (оператора) системы видеонаблюдения за счет фокусировки его внимания на наиболее важных объектах и ситуациях (рис.4).
Оценку приоритета можно отображать не только при помощи цвета, но и при помощи иных графических индикаторов, например, цифрами, столбиками, линиями, кружочками, то есть аналогично тому, как на бытовых устройствах показывают уровень сигнала или заряда аккумуляторной батареи.
Пользовательский интерфейс, отображающий ранжированные видеоданные, может быть реализован при помощи специализированного программного обеспечения или при помощи веб-технологий, таких как HTML5 или Flash.
Так же оценка приоритета фрагмента видеоданных может быть использована для управления хранилищем видео. Для организации циклической записи видео в хранилище возникает задача удаления старых фрагментов. Согласно Изобретению, удаление фрагментов может производиться согласно оценке их приоритетов: в первую очередь будут удаляться наименее приоритетные фрагменты. Время хранения каждого фрагмента видео может определяться по формуле t=t0q, где t0 - базовое (максимальное) время хранения данных в хранилище, например, 30 дней, q - приоритет фрагмента в диапазоне [0,1]. Таким образом, настоящее изобретение повышает эффективность использования памяти хранилища за счет хранения наиболее важной информации.
Изобретение может быть использовано для различных режимов передачи видео: а) непрерывный с фиксированной скоростью (передача максимального количества видеоданных в рамках выделенной полосы пропускания); б) непрерывный с варьируемой скоростью (передача приоритетных видеоданных по мере их поступления); в) пакетный (по запросу пользователя и при установлении соединения между источником и приемником видео).
Изобретение позволяет передать наиболее важные видеоданные после временного разрыва соединения между источником и приемником видео.
Изобретение может быть использовано для ранжированной передачи тревожных кадров с опциональной загрузкой видеоданных, соответствующих тревожному кадру, по запросу пользователя или в отложенном режиме (например, в ночное время, когда загрузка канала связи снижается).
Способ ранжирования видеоданных может быть использован не только на живом (поточном) видео, поступающих с камер в реальном масштабе времени, но на архивном видео, записанном в хранилище (пост-обработка).
Способ ранжирования видеоданных может быть использован в системах видеонаблюдения, построены с применением стандартом и/или рекомендаций Открытого форума интерфейса сетевого видео (Open Network Video Interface Forum, ONVIF, www.onvif.org) или Альянса совместимости физической безопасности (Physical Security Interoperability Alliance, PSIA, psiaalliance.org). В частности, оценка приоритета может передаваться в метаданных, сообщениях и/или событиях в соответствии с рекомендациями ONVIF и/или PSIA. Фрагмент видеоданных может передаваться в соответствии с рекомендациями форума ONVIF и/или PSIA.
Фрагменты видеоданных могут так же передаваться в виде файлов, например, в популярных контейнерах типа TS, M2TS, MKV, OGV, MP4, AVI и др.
Способ ранжирования видеоданных может быть использован для реализации двух стратегий: а) обработка всех видеоданных или событий с заданным уровнем приоритета и выше при минимальном использовании ресурсов (операторов, каналов связи, хранилища); б) обработка максимального объема видеоданных или событий с максимальными приоритетами при заданных ограничениях на ресурсы. На практике часто используется гибридная стратегия, при которой комбинируются вышеуказанные варианты (а) и (б), при этом нагрузка на ресурсы может варьироваться по ходу возникновения тревожных ситуаций в рамках установленных лимитов.
Claims (26)
1. Способ ранжирования видеоданных, включающий получение видеоданных с, по крайней мере, одной видеокамеры или сенсора и передачу отсортированных видеоданных по каналам связи, по крайней мере, одному пользователю и/или, по крайней мере, в одно хранилище, характеризующийся тем, что вначале из полученных исходных видеоданных выделяют фрагменты, соответствующие, по крайней мере, одному объекту и/или событию, затем вычисляют признаки каждого фрагмента, которые влияют на оценку приоритета фрагмента и/или используются при поиске фрагментов в хранилище, далее оценивают приоритет каждого фрагмента с учетом его признаков, потом сортируют фрагменты в соответствии с приоритетом каждого из них и передают по каналам связи, по крайней мере, одному пользователю и/или, по крайней мере, в одно хранилище полученную приоритетную очередь фрагментов или один фрагмент с наибольшим приоритетом.
2. Способ по п.1, характеризующийся тем, что фрагменты выделяют при помощи детектора движения.
3. Способ по п.1, характеризующийся тем, что фрагменты выделяют при помощи видеоаналитики, встроенной в сетевую камеру или в видеосервер.
4. Способ по п.1, характеризующийся тем, что фрагменты выделяют при помощи серверной видеоаналитики.
5. Способ по п.1, характеризующийся тем, что оценку приоритета каждого фрагмента осуществляют при помощи функции регрессии.
6. Способ по п.5, характеризующийся тем, что построение функции регрессии осуществляют на основе статистики запросов пользователя.
7. Способ по п.1, характеризующийся тем, что оценку приоритета каждого фрагмента осуществляют при помощи статистического классификатора.
8. Способ по п.7, характеризующийся тем, что обучение статистического классификатора осуществляют на основе статистики запросов пользователя.
9. Способ по п.1, характеризующийся тем, что оценку приоритета каждого фрагмента осуществляют при помощи правил, задаваемых пользователем.
10. Способ по п.1, характеризующийся тем, что оценку приоритета каждого фрагмента производят с учетом текущих запросов пользователя.
11. Способ по п.1, характеризующийся тем, что оценку приоритета каждого фрагмента пользователь устанавливает вручную.
12. Способ по п.1, характеризующийся тем, что оценку приоритета каждого фрагмента производят на основе приоритета камеры, которая является источником фрагмента видеоданных.
13. Способ по п.1, характеризующийся тем, что для оценки приоритета каждого фрагмента используют один признак, вычисляемый видеоаналитикой, такой как точность обнаружения объекта или ситуации.
14. Способ по п.1, характеризующийся тем, что для оценки приоритета используют значение приоритета, заранее задаваемое пользователем в таблице для каждого типа объектов или ситуаций.
15. Способ по п.1, характеризующийся тем, что для оценки приоритета фрагмента используют сумму или максимум оценок приоритетов отдельных объектов и/или ситуаций, содержавшихся в этом фрагменте.
16. Способ по п.1, характеризующийся тем, что для оценки приоритета используют данные, полученные из внешних датчиков.
17. Способ по п.1, характеризующийся тем, что фрагментом видеоданных является последовательность кадров.
18. Способ по п.1, характеризующийся тем, что фрагментом видеоданных является изображение - тревожный кадр или часть изображения.
19. Способ по п.1, характеризующийся тем, что пользователем является оператор системы видеонаблюдения.
20. Способ по п.1, характеризующийся тем, что время хранения фрагмента, переданного в хранилище, зависит от приоритета фрагмента.
21. Способ по п.1, характеризующийся тем, что при передаче видеоданных по каналам связи с ограниченной пропускной способностью в первую очередь передают фрагменты с наибольшим приоритетом.
22. Способ по п.1, характеризующийся тем, что полученную приоритетную очередь отображают на пользовательском интерфейсе в виде списка полученных фрагментов и списка условных обозначений фрагментов.
23. Способ по п.1, характеризующийся тем, что фрагменты или условные обозначения фрагментов полученной приоритетной очереди отображают на пользовательском интерфейсе, цветом или иным графическим индикатором, зависящим от приоритета фрагмента.
24. Способ по п.1, характеризующийся тем, что в зависимости от полученной оценки приоритета выполняют действия, необходимые для привлечения внимания оператора - подают звуковой сигнал и/или отправляют сообщения SMS.
25. Способ по п.1, характеризующийся тем, что каждый фрагмент приоритетной очереди передают в отдельном файле.
26. Способ по п.1, характеризующийся тем, что приоритетную очередь распределяют между несколькими пользователями.
Priority Applications (4)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2012110783/08A RU2484529C1 (ru) | 2012-03-21 | 2012-03-21 | Способ ранжирования видеоданных |
| US14/369,735 US20150081721A1 (en) | 2012-03-21 | 2012-04-04 | Method for video data ranking |
| GB1415089.0A GB2513800A (en) | 2012-03-21 | 2012-04-04 | Method for video data ranking |
| PCT/RU2012/000250 WO2013141742A1 (en) | 2012-03-21 | 2012-04-04 | Method for video data ranking |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2012110783/08A RU2484529C1 (ru) | 2012-03-21 | 2012-03-21 | Способ ранжирования видеоданных |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2484529C1 true RU2484529C1 (ru) | 2013-06-10 |
Family
ID=48785851
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2012110783/08A RU2484529C1 (ru) | 2012-03-21 | 2012-03-21 | Способ ранжирования видеоданных |
Country Status (4)
| Country | Link |
|---|---|
| US (1) | US20150081721A1 (ru) |
| GB (1) | GB2513800A (ru) |
| RU (1) | RU2484529C1 (ru) |
| WO (1) | WO2013141742A1 (ru) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2672307C2 (ru) * | 2013-07-31 | 2018-11-13 | Общество с ограниченной ответственностью "Камера Биай" (ООО "Камера Биай") | Способ (варианты) систематизации видеоданных производственного процесса и система (варианты) |
| RU2703152C1 (ru) * | 2018-09-20 | 2019-10-15 | Общество с ограниченной ответственностью "Ай Ти Ви групп" | Система и способ отображения схемы перемещения объектов |
| RU2779408C1 (ru) * | 2021-07-29 | 2022-09-06 | Общество С Ограниченной Ответственностью "Визорлабс" | Способ создания комбинированных каскадов нейронных сетей с едиными слоями извлечения признаков и с несколькими выходами, которые обучаются на разных датасетах одновременно |
Families Citing this family (17)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20150055832A1 (en) * | 2013-08-25 | 2015-02-26 | Nikolay Vadimovich PTITSYN | Method for video data ranking |
| US10616465B2 (en) * | 2015-09-16 | 2020-04-07 | Microsoft Technology Licensing, Llc | Bandwidth efficient video surveillance system |
| US11240542B2 (en) * | 2016-01-14 | 2022-02-01 | Avigilon Corporation | System and method for multiple video playback |
| US10347102B2 (en) * | 2016-03-22 | 2019-07-09 | Sensormatic Electronics, LLC | Method and system for surveillance camera arbitration of uplink consumption |
| US11601583B2 (en) | 2016-03-22 | 2023-03-07 | Johnson Controls Tyco IP Holdings LLP | System and method for controlling surveillance cameras |
| US11216847B2 (en) | 2016-03-22 | 2022-01-04 | Sensormatic Electronics, LLC | System and method for retail customer tracking in surveillance camera network |
| US10665071B2 (en) | 2016-03-22 | 2020-05-26 | Sensormatic Electronics, LLC | System and method for deadzone detection in surveillance camera network |
| US9965680B2 (en) | 2016-03-22 | 2018-05-08 | Sensormatic Electronics, LLC | Method and system for conveying data from monitored scene via surveillance cameras |
| US10192414B2 (en) | 2016-03-22 | 2019-01-29 | Sensormatic Electronics, LLC | System and method for overlap detection in surveillance camera network |
| US10764539B2 (en) | 2016-03-22 | 2020-09-01 | Sensormatic Electronics, LLC | System and method for using mobile device of zone and correlated motion detection |
| US10318836B2 (en) | 2016-03-22 | 2019-06-11 | Sensormatic Electronics, LLC | System and method for designating surveillance camera regions of interest |
| US10733231B2 (en) | 2016-03-22 | 2020-08-04 | Sensormatic Electronics, LLC | Method and system for modeling image of interest to users |
| US10475315B2 (en) | 2016-03-22 | 2019-11-12 | Sensormatic Electronics, LLC | System and method for configuring surveillance cameras using mobile computing devices |
| CN106060467A (zh) * | 2016-06-22 | 2016-10-26 | 成都嘉泽兴业科技有限责任公司 | 一种安全监控系统 |
| TWI663861B (zh) * | 2017-06-21 | 2019-06-21 | 友訊科技股份有限公司 | 利用ｏｎｖｉｆ標準傳輸訊息以辨識出網路攝影機並提昇傳輸品質之方法 |
| US11757706B2 (en) * | 2019-07-19 | 2023-09-12 | Razberi Secure Technologies, Llc | Switch monitoring system and method of use |
| CN115914549A (zh) | 2021-08-11 | 2023-04-04 | 富联精密电子(天津)有限公司 | 影像串流处理方法、装置及计算机可读存储介质 |
Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1993007583A1 (en) * | 1991-10-10 | 1993-04-15 | Hewlett Packard Company | Graphics output system with bounded updating |
| US5654771A (en) * | 1995-05-23 | 1997-08-05 | The University Of Rochester | Video compression system using a dense motion vector field and a triangular patch mesh overlay model |
| RU2370817C2 (ru) * | 2004-07-29 | 2009-10-20 | Самсунг Электроникс Ко., Лтд. | Система и способ отслеживания объекта |
| WO2011109935A1 (en) * | 2010-03-09 | 2011-09-15 | Global Advanced Vision Ltd | A surveillance system and method |
Family Cites Families (13)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6535639B1 (en) * | 1999-03-12 | 2003-03-18 | Fuji Xerox Co., Ltd. | Automatic video summarization using a measure of shot importance and a frame-packing method |
| US6411209B1 (en) * | 2000-12-06 | 2002-06-25 | Koninklijke Philips Electronics N.V. | Method and apparatus to select the best video frame to transmit to a remote station for CCTV based residential security monitoring |
| US7275210B2 (en) * | 2003-03-21 | 2007-09-25 | Fuji Xerox Co., Ltd. | Systems and methods for generating video summary image layouts |
| US7746378B2 (en) * | 2004-10-12 | 2010-06-29 | International Business Machines Corporation | Video analysis, archiving and alerting methods and apparatus for a distributed, modular and extensible video surveillance system |
| US8089563B2 (en) * | 2005-06-17 | 2012-01-03 | Fuji Xerox Co., Ltd. | Method and system for analyzing fixed-camera video via the selection, visualization, and interaction with storyboard keyframes |
| US8630497B2 (en) * | 2007-11-27 | 2014-01-14 | Intelliview Technologies Inc. | Analyzing a segment of video |
| US20090136208A1 (en) * | 2007-11-28 | 2009-05-28 | Flora Gilboa-Solomon | Virtual Video Clipping and Ranking Based on Spatio-Temporal Metadata |
| US8204273B2 (en) * | 2007-11-29 | 2012-06-19 | Cernium Corporation | Systems and methods for analysis of video content, event notification, and video content provision |
| US8797404B2 (en) * | 2008-07-14 | 2014-08-05 | Honeywell International Inc. | Managing memory in a surveillance system |
| US8325228B2 (en) * | 2008-07-25 | 2012-12-04 | International Business Machines Corporation | Performing real-time analytics using a network processing solution able to directly ingest IP camera video streams |
| US9141860B2 (en) * | 2008-11-17 | 2015-09-22 | Liveclips Llc | Method and system for segmenting and transmitting on-demand live-action video in real-time |
| US20100208064A1 (en) * | 2009-02-19 | 2010-08-19 | Panasonic Corporation | System and method for managing video storage on a video surveillance system |
| US20150055832A1 (en) * | 2013-08-25 | 2015-02-26 | Nikolay Vadimovich PTITSYN | Method for video data ranking |
-
2012
- 2012-03-21 RU RU2012110783/08A patent/RU2484529C1/ru not_active IP Right Cessation
- 2012-04-04 US US14/369,735 patent/US20150081721A1/en not_active Abandoned
- 2012-04-04 WO PCT/RU2012/000250 patent/WO2013141742A1/en active Application Filing
- 2012-04-04 GB GB1415089.0A patent/GB2513800A/en not_active Withdrawn
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| WO1993007583A1 (en) * | 1991-10-10 | 1993-04-15 | Hewlett Packard Company | Graphics output system with bounded updating |
| US5654771A (en) * | 1995-05-23 | 1997-08-05 | The University Of Rochester | Video compression system using a dense motion vector field and a triangular patch mesh overlay model |
| RU2370817C2 (ru) * | 2004-07-29 | 2009-10-20 | Самсунг Электроникс Ко., Лтд. | Система и способ отслеживания объекта |
| WO2011109935A1 (en) * | 2010-03-09 | 2011-09-15 | Global Advanced Vision Ltd | A surveillance system and method |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| RU2672307C2 (ru) * | 2013-07-31 | 2018-11-13 | Общество с ограниченной ответственностью "Камера Биай" (ООО "Камера Биай") | Способ (варианты) систематизации видеоданных производственного процесса и система (варианты) |
| RU2703152C1 (ru) * | 2018-09-20 | 2019-10-15 | Общество с ограниченной ответственностью "Ай Ти Ви групп" | Система и способ отображения схемы перемещения объектов |
| RU2779408C1 (ru) * | 2021-07-29 | 2022-09-06 | Общество С Ограниченной Ответственностью "Визорлабс" | Способ создания комбинированных каскадов нейронных сетей с едиными слоями извлечения признаков и с несколькими выходами, которые обучаются на разных датасетах одновременно |
Also Published As
| Publication number | Publication date |
|---|---|
| GB201415089D0 (en) | 2014-10-08 |
| US20150081721A1 (en) | 2015-03-19 |
| WO2013141742A1 (en) | 2013-09-26 |
| GB2513800A (en) | 2014-11-05 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| RU2484529C1 (ru) | Способ ранжирования видеоданных | |
| CN110428522B (zh) | 一种智慧新城的智能安防系统 | |
| US9589190B2 (en) | System and method for detection of high-interest events in video data | |
| US10269123B2 (en) | Methods and apparatus for video background subtraction | |
| US20180048894A1 (en) | Methods and systems of performing lighting condition change compensation in video analytics | |
| US20200105111A1 (en) | Video surveillance and object recognition | |
| US10514837B1 (en) | Systems and methods for security data analysis and display | |
| US10152630B2 (en) | Methods and systems of performing blob filtering in video analytics | |
| US20120179742A1 (en) | Integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and/or optimized utilization of various sensory inputs | |
| US20110109742A1 (en) | Broker mediated video analytics method and system | |
| WO2008100359A1 (en) | Threat detection in a distributed multi-camera surveillance system | |
| US20180047173A1 (en) | Methods and systems of performing content-adaptive object tracking in video analytics | |
| WO2012095867A2 (en) | An integrated intelligent server based system and method/systems adapted to facilitate fail-safe integration and /or optimized utilization of various sensory inputs | |
| US10360456B2 (en) | Methods and systems of maintaining lost object trackers in video analytics | |
| WO2018112722A1 (zh) | 一种视频巡检方法及其系统 | |
| US10115005B2 (en) | Methods and systems of updating motion models for object trackers in video analytics | |
| CN111405222B (zh) | 视频告警方法、视频告警系统及告警图片的获取方法 | |
| Gupta et al. | CrowdVAS-Net: A deep-CNN based framework to detect abnormal crowd-motion behavior in videos for predicting crowd disaster | |
| WO2013131189A1 (en) | Cloud-based video analytics with post-processing at the video source-end | |
| CN113378616A (zh) | 视频分析方法、视频分析的管理方法及相关设备 | |
| CN104320625A (zh) | 一种平安乡村智能视频监控方法与系统 | |
| CN103187083B (zh) | 一种基于时域视频融合的存储方法及其系统 | |
| US20150055832A1 (en) | Method for video data ranking | |
| JP5088463B2 (ja) | 監視システム | |
| CN114418388A (zh) | 一种基于图像识别的人员管理方法、装置及存储介质 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| QB4A | Licence on use of patent |
Free format text: LICENCE Effective date: 20150915 |
|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20160322 |