RU2531876C2 - Способ индексирования видеоданных при помощи карты - Google Patents

Способ индексирования видеоданных при помощи карты Download PDF

Info

Publication number
RU2531876C2
RU2531876C2 RU2012119844/08A RU2012119844A RU2531876C2 RU 2531876 C2 RU2531876 C2 RU 2531876C2 RU 2012119844/08 A RU2012119844/08 A RU 2012119844/08A RU 2012119844 A RU2012119844 A RU 2012119844A RU 2531876 C2 RU2531876 C2 RU 2531876C2
Authority
RU
Russia
Prior art keywords
map
clause
location
indexing
video
Prior art date
Application number
RU2012119844/08A
Other languages
English (en)
Other versions
RU2012119844A (ru
Inventor
Николай Вадимович Птицын
Original Assignee
Общество с ограниченной ответственностью "Синезис"
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Общество с ограниченной ответственностью "Синезис" filed Critical Общество с ограниченной ответственностью "Синезис"
Priority to RU2012119844/08A priority Critical patent/RU2531876C2/ru
Priority to PCT/RU2013/000266 priority patent/WO2013172738A1/en
Priority to US14/381,997 priority patent/US20150116487A1/en
Publication of RU2012119844A publication Critical patent/RU2012119844A/ru
Application granted granted Critical
Publication of RU2531876C2 publication Critical patent/RU2531876C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/71—Indexing; Data structures therefor; Storage structures
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • G11B27/322—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier used signal is digitally coded
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/34—Indicating arrangements 
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6811—Motion detection based on the image signal
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/183—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a single remote source

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Изобретение относится к средствам видеонаблюдения. Техническим результатом является исключение дублирующих записей в хранилище данных за счет создания индексирующей записи, устанавливающей взаимосвязь содержащих найденный объект наблюдения видеоданных и его местоположение на карте. В способе получают видеоданные с двух видеокамер, определяют подвижный объект и его местоположение и/или параметры движения в двумерной системе координат кадра, преобразуют полученное местоположение и/или параметры движения найденного объекта из двумерной системы координат кадра в двумерную систему координаты карты, где при обнаружении указанного объекта в зоне видимости, по крайней мере, двух камер объединяют координаты объекта в обобщенную траекторию, создают индексирующую запись, устанавливающую взаимосвязь между видеоданными, содержащими найденный объект, и местоположением и/или параметрами движения найденного объекта на карте, индексирующую запись записывают в базу данных и/или хранилище. 2 н. и 68 з.п. ф-лы, 7 ил.

Description

Изобретение относится к обработке данных, а именно к области охранного телевидения, видеонаблюдения, видеоаналитики, хранения и поиска видеоданных. Изобретение позволяет реализовать эффективный поиск и анализ данных в территориально-распределенных системах видеонаблюдения о перемещениях объектов, таких как людей и транспортных средств, для различных отраслей, включая охрану и безопасность, транспорт и сети розничных продаж, спорт и развлечения, жилищно-коммунальное хозяйство и социальную инфраструктуру. Изобретение может быть использовано в локальных и глобальных сетях, на выделенных или облачных серверах.
Актуальной проблемой развития территориально-распределенных систем видеонаблюдения является значительный объем информации, поступающий с видеокамер. С одной стороны, современные алгоритмы видеоаналитики позволяют вести автоматическое обнаружение (detection), сопровождение (слежение, tracking), классификацию и идентификацию объектов (людей, транспортных средств). С другой стороны, объем данных, формируемый видеоаналитикой о перемещениях объектов (метаданные с местоположением и/или траекториями движения объектов) в поле зрения камеры, является весьма существенным. Поиск и анализ объектов в больших массивах видеоданных является высокозатратным с точки зрения аппаратно-программного обеспечения и времени, расходуемыми пользователями системы видеонаблюдения.
Некоторые существующие системы видеонаблюдения записывают информацию о движении объекта, рассчитанную видеоаналитикой, в базу данных в виде траекторий (последовательности местоположений) в системе координат кадра. Пользователь имеет возможность сделать поиск в базе данных траекторий и найти траекторию, которая удовлетворяет критериям, заданным в пространстве кадра и времени. Данный подход к анализу траекторий движения объектов в рамках одного кадра имеет следующие недостатки.
Во-первых, использование координат кадра для хранения траектории предполагает, что пользователь должен знать камеру, которая зафиксировала искомый объект. В территориально-распределенных сетях видеонаблюдения с большим числом камер данное требование практически невыполнимо. Пользователю сложно ориентироваться в большом количестве камер и учитывать геометрию зон действия камер для задания критериев поиска.
Во-вторых, траектория движения объекта в системе координат кадра неоднородна по своей точности. Объекты на переднем плане камеры сопровождаются с высокой точностью, и возникает избыточная детализация траектории. Объекты на заднем плане камеры сопровождаются с низкой точностью, и возникает недостаточная детализация траектории. Прямой поиск по неоднородным данным с различной детализацией не является эффективным. Необходимо преобразование и/или индексирование координат объектов для получения однородных траекторий.
В третьих, в случае, если две или более видеокамер обнаруживают один объект, то в области перекрытия зон действия этих камер возникает избыточность данных. В результате, расходуется лишняя память базы данных, увеличивается время поиска и анализа данных, так как пользователь получает дублирующие записи.
Из-за описанных недостатков архивы траекторий в системах видеонаблюдений занимают существенный объем дискового пространства, а на поиск в архиве с сотнями тысяч траекторий объекта пользователь может потратить несколько часов или даже дней.
Настоящее изобретение направлено на решение описанных проблем и повышение эффективности поиска данных о перемещениях объектов на территории, контролируемой множеством камер.
Техническим результатом настоящего изобретения является улучшение процедуры доступа к нужной части видеоматериала поскольку увязывает видеоматериал с факторами и ориентирами, которыми человек обычно пользуется как опорными точками, при установлении ассоциативных связей, снижение объема хранимой информации вследствие исключения дублированных записей.
Способ индексирования видеоданных при помощи карты реализуется согласно изобретению следующим образом: вначале получают видеоданные с, по крайней мере, одной видеокамеры, затем по полученным видеоданным находят, по крайней мере, один подвижный объект и определяют его местоположение и/или параметры движения в двумерной системе координат кадра - местоположение на кадре, далее полученное местоположение и/или параметры движения найденного объекта преобразуют из двумерной системы координат кадра в двумерную систему координаты карты - местоположение на карте, затем создают по меньшей мере, одну индексирующую запись, устанавливающую взаимосвязь между видеоданными, содержащими найденный объект, и местоположением и/или параметрами движения найденного объекта на карте, далее индексирующую запись записывают в базу данных и/или хранилище.
Местоположение и/или параметры движения могут быть определены при помощи детектора движения.
Местоположение и/или параметры движения могут быть определены при помощи детектора объектов, в том числе при помощи детектора людей, детектора лица человека или детектора номерного знака автомобиля.
Местоположение и/или параметры движения могут быть определены при помощи видеоаналитики, встроенной в сетевую камеру или в видеосервер.
Местоположение и/или параметры движения могут быть определены при помощи серверной видеоаналитики.
Местоположение и/или параметры движения могут быть уточнены при помощи камеры, фиксирующей различные части спектра, такие как видимые, тепловые, и/или датчиков, отличных по принципу действия от видеокамеры, таких как радары.
Местоположение на кадре или карте может быть визуализировано для пользователя путем отображения условных обозначений объекта поверх карты на экране монитора.
Видеоданные могут быть визуализированы для пользователя путем отображения видеоданных поверх карты на экране монитора.
Найденный объект может быть идентифицирован, причем людей идентифицируют по лицам, а транспортные средства идентифицируют по номерным знакам.
Вместе с индексирующей записью может быть записана в базу данных и/или хранилище временная последовательность местоположений объекта на карте - траектория движения объекта.
Последовательность местоположений на карте может быть сжата перед записью методом сглаживания траектории, или методом кусочно-линейной аппроксимации, или методом построения сплайн-аппроксимации.
Местоположение объекта и/или параметры его движения может быть непрерывно определено по мере движения объекта в реальном масштабе времени.
Индексирование видеоданных может осуществляться, по крайней мере, в двух, измерениях.
Может быть использовано аффинное преобразование для преобразования местоположения из системы координат кадра в систему координат карты.
Преобразование систем координат может быть рассчитано на основании взаимно однозначного отображения между множеством узловых точек на кадре и множеством узловых точек на карте.
Местоположение объекта на карте, определенное по данным одной видеокамеры, может быть уточнено путем сопоставления с данными другой видеокамеры, зафиксировавшей этот же самый объекта, с использованием методов многокамерного слежения.
Сопоставление и/или объединение местоположений могут осуществлять методом корреляции местоположений или методом вычисления квадратов расстояний между местоположениями.
Видеокамера может быть выполнена с возможностью поворота и/или изменения увеличения при помощи моторизированного привода, при этом привязку зоны действия видеокамеры к карте изменяют в зависимости от текущего положения видеокамеры.
Индексирующую запись могут связывать с областью карты, которую вручную задает пользователь системы видеонаблюдения.
Индексирующая запись может быть связана с областью карты, определяемой алгоритмом автоматически, причем алгоритм может разделять карту на области либо равномерно, либо неравномерно с учетом плотности обнаружения объектов в каждой области, при этом области могут перекрываться.
Индексирующую запись может быть связана с направлением движения объекта.
Индексирующая запись может быть связана со скоростью движения объекта.
Индексирующая запись может быть связана с сигнальной линией, которую пересекает объект.
Индексирующие записи могут быть объединены в иерархическую структуру.
Индексирующая запись может быть связана с интервалом времени движения объекта.
Индексирующая запись может быть связана с числом объектов, находящихся в заданной области.
Индексирующая запись может содержать минимальное и/или максимальное расстояние от заданной точки до точек траектории объекта.
Индексирующая запись может содержать минимальный ограничивающий прямоугольник траектории движения объекта.
Индексирующая запись может содержать уникальный идентификатор объекта.
Индексирующая запись может быть связана с типом - классом объекта.
Индексирующая запись может быть связана с типом движения объекта, определенным по траектории движения объекта на карте.
Индексирующая запись может быть связана с текстовыми тегами. Индексирующие записи могут сохранять в реляционной базе данных.
Настоящее изобретение поясняется рис.1-7.
На рис.1 представлена одна из возможных схем индексирования видеоданных согласно настоящему изобретению. На рис.2 представлена схема поиска индексирования видеоданных. На рис.3 изображены примеры кадров, полученных с видеокамер, и рассчитанных траекторий объектов на кадрах. На рис.4 приведен пример карты и проекций траекторий движения объектов, зарегистрированных различными видеокамерами. На рис.5 изображена обобщенная траектория движения объектов, полученная путем объединения траекторий, зарегистрированных различными видеокамерами. На рис.6 приведен пример структуры индекса с записями, устанавливающими взаимосвязь между местоположением и/или параметрами движения найденного объекта на карте и видеоданными. На рис.7 представлен эскиз пользовательского интерфейса для задания областей индексирования и/или формирования запроса поиска видеоданных на карте.
Способ индексирования видеоданных включает следующие шаги, отображенные на рис.1:
Шаг 1. Получение видеоданных с видеокамеры
На шаге 1 получают видеоданные, то есть один или несколько кадров с видеокамеры с сенсором CCD, CMOS или иным типом сенсора, например тепловизионным сенсором. Изображение может быть цветным или черно-белым. Пример кадров, полученных с видеокамеры, представлен на рис.3.
Шаг 2. Обнаружение местоположения объекта на кадре
На шаге 2 по полученным видеоданным находят, по крайней мере, один подвижный объект и определяют местоположение и/или параметры движения найденного объекта в двумерной системе координат кадра (далее - местоположение на кадре). Для обнаружения подвижного объекта может быть использован детектор движения или более сложная видеоаналитика. Например, на рис.3 обнаруженные объекты выделены черными прямоугольными рамками, а последовательность их местоположений (траектория движения) показана белым цветом. В результате анализа временной последовательности местоположений (траекторий) могут быть определены параметры движения, такие как как скорость (включая абсолютное значение скорости и направление) и ускорение.
Шаг 3. Отображение местоположения объекта на карту
На шаге 3 полученное местоположение и/или параметры движения найденного объекта преобразуют из двумерной системы координат кадра в двумерную систему координаты карты (далее - местоположение на карте).
Привязка расположения видеокамер к карте может быть реализована в процессе первоначальной калибровки системы видеонаблюдения. Наиболее оптимально это осуществлять при помощи точечной калибровки (на кадре, отображаемом видеокамерой, выбирается набор точек с известными местоположениями на карте). В процессе этой калибровки для каждой видеокамеры определяется матрицей преобразования А, которая позволяет однозначно осуществлять преобразование местоположение объекта из локального местоположения r на кадре в глобальное местоположение R на карте:
R=A·r или [ X Y 1 ] = [ p 00 p 01 p 02 p 10 p 11 p 12 p 20 p 21 p 22 ] [ x y 1 ]
Figure 00000001
Например, на рис.4 представлены отдельные траектории движения объектов на карте, зарегистрированных различными видеокамерами, и преобразованные в систему координат карты.
На шаге 3 отдельные движения объектов на карте, зарегистрированных различными видеокамерами, могут быть сопоставлены и/или объединены в обобщенную траекторию (например, см. рис.5).
Объединение траекторий на карте позволяет: а) устранить избыточность метаданных с траекториями объектов в области перекрытия зон действия камер, что сократит объем данных и время поиска; б) реализовать многокамерный анализ перемещений объектов, то есть анализировать перемещения объектов от одной видеокамеры к другой; в) вычислить более точное местоположение объекта на карте, например, геодезическими методами с использование известных координат и ориентации камер.
Сопоставление и/или объединение местоположений может производиться, например, методом корреляции местоположений или методом вычисления квадратов расстояний между местоположениями. В случае, если значения корреляционной функции в окрестности близости траекторий больше порогового значения, либо если сумма квадратов между точками различных траектории меньше порогового значения, то считаются, что траектории соответствуют одному объекту и объединяются. В области объединения, обобщенная траектория может содержать координаты местоположения, усредненные по траекториям, зафиксированным отдельными камерами.
Шаг 4. Добавление индексирующей записи в хранилище
На шаге 4 в базу данных или иное хранилище добавляют, по крайней мере, одну индексирующую запись, устанавливающую взаимосвязь между видеоданными, содержащими найденный объект с одной стороны, и местоположением и/или параметрами движения найденного объекта на карте с другой стороны. Таким образом устанавливается взаимосвязь между видеоданными и местоположением (параметрами движения)
На рис.6 приведен пример структуры индекса с записями. Карта (3) разделена на области A1, A2, B1, B2, C1, C2 и связана с видеоданными (1) через индексирующие записи (2). Таким же образом установлена взаимосвязь между параметрами движения (5), включая направления движения (6) и скорости движения (7) с одной стороны и видеоданными (1) с другой стороны. Связь между индексирующей записью и видеоданными может быть реализована путем хранения в индексирующей записи идентификатора кадра, временной метки и/или имени файла с видеоданными. Связь между индексирующей записью и местоположением может быть реализована путем хранения в индексирующей записи либо координатами на карте, либо ссылки на область или другой объект на карте (например, точку или сигнальную линию), относительно которого происходит индексирование. Аналогичным образом может быть реализовать связь между индексирующей записью и параметрами движения.
Множество индексирующих записей будем называть индексом. Индекс может иметь древовидную (иерархическую) структуру, например в R-дерево, KD-дерево и другие В-деревья, для повышения эффективности поиска в пространстве карты.
R-дерево разбивает пространство двумерной карты на множество иерархически вложенных и, возможно, пересекающихся прямоугольников. В случае трехмерной карты это будут прямоугольные параллелепипеды.
Алгоритмы вставки и удаления индексирующей записей в R-дерево используют эти ограничивающие прямоугольники для обеспечения того, чтобы видеоданные, близкорасположенные на карте, были помещены в одну листовую вершину. В частности, ссылка на новые видеоданные попадет в ту листовую вершину, для которой потребуется наименьшее расширение ее ограничивающего прямоугольника. Каждый элемент листовой вершины может хранить два поля данных: ссылку на видеоданные и ограничивающий прямоугольник этого объекта.
Аналогично, алгоритмы поиска (например, пересечение, включение, окрестности) используют ограничивающие прямоугольники для принятия решения о необходимости поиска в дочерней вершине. Таким образом, большинство вершин никогда не затрагиваются в ходе поиска. Это свойство R-деревьев обусловливает их применимость для баз данных, где вершины могут выгружаться на диск по мере необходимости.
Для расщепления переполненных вершин могут применяться различные алгоритмы, что порождает деление R-деревьев на подтипы: квадратичные и линейные.
Могут быть использованы приоритетные R-деревья, которые оптимальны для наихудшего случая распределения видеоданных на карте.
Могут быть использованы другие способы разбиения пространства карты на области для связывания с индексирующими записями с видеоданными, например диаграмма Вороного.
В индексирующую запись могут записываться хеши для быстрого сравнения траектории (последовательности местоположений) объекта и параметров движения (скорости и направления) с запросами пользователя.
Могут быть использованы индексы современных баз данных, в том числе реляционных баз данных.
Шаги 1-4 повторяют по мере поступления новых видеоданных с видеокамер и по мере движения объектов в поле зрения видеокамер.
Поиск индексированных видеоданных может включать следующие шаги (рис.2):
Шаг 1 Формирование запроса пользователя на карте
Пользователь выделяет область поиска объекта на карте. На рис.7 приведен такой пользовательский интерфейс. Например, могут быть использоваться инструменты выделения области: 1) прямоугольная область; 2) сигнальная линия; 3) эллиптическая (круглая) область; 4) область произвольной формы.
Запрос может быть сложным, только содержать несколько критериев для поиска. Например, вместе с областью на карте может быть указано направление и интервал времени движение объекта.
Шаг 2 Поиск видеоданных по индексу
Находят видеоданные, соответствующие запросу пользователя, при помощи индекса, построенного на шаге 4. Индекс позволяет многократно сократить объем данных, которые необходимо сравнить с запросом пользователя, что существенно сокращает временные затраты на поиск и/или требования к аппаратным ресурсам.
Шаг 3 Представление найденных видеоданных пользователю
Найденные видеоданные могут быть отображены пользователю в виде отдельного отчета или непосредственно на карте. Видеоданные могут отображаться либо в виде статических кадров, либо в виде фрагментов видео. Видеоданные могут дополняться текстовой информацией, например о месте и времени обнаружения объектов (событий).
Способ индексирования видеоданных может быть использован не только на живом (поточном) видео, поступающем с камер в реальном масштабе времени, но на архивном видео, записанном в хранилище (постобработка).
Способ индексирования видеоданных может быть использован в системах видеонаблюдения, построен с применением стандартов и/или рекомендаций «Форума по интерфейсу открытого сетевого видео» («Open Network Video Interface Forum», ONVIF, www.onvif.org) или «Общества по физической безопасности совместимости» («Physical Security Interoperability Alliance», PSIA, psiaalliance.org). В частности, координаты объекта и/или его траектория может передаваться в метаданных, сообщениях и/или событиях в соответствии с рекомендациями ONVIF и/или PSIA.

Claims (70)

1. Способ индексирования видеоданных при помощи карты, включающий следующие шаги:
- получают видеоданные с, по крайней мере, двух видеокамер;
- определяют, по крайней мере, один подвижный объект и его местоположение и/или параметры движения в двумерной системе координат кадра - местоположение на кадре;
- преобразуют полученное местоположение и/или параметры движения найденного объекта из двумерной системы координат кадра в двумерную систему координаты карты - местоположение на карте, при этом при обнаружении указанного объекта в зоне видимости, по крайней мере, двух камер объединяют координаты объекта в обобщенную траекторию;
- создают, по меньшей мере, одну индексирующую запись, устанавливающую взаимосвязь между видеоданными, содержащими найденный объект, и местоположением и/или параметрами движения найденного объекта на карте;
- индексирующую запись записывают в базу данных и/или хранилище.
2. Способ по п.1, характеризующийся тем, что местоположение и/или параметры движения определяют при помощи детектора движения.
3. Способ по п.1, характеризующийся тем, что местоположение и/или параметры движения определяют при помощи детектора объектов, в том числе при помощи детектора людей, детектора лица человека или детектора номерного знака автомобиля.
4. Способ по п.1, характеризующийся тем, что местоположение и/или параметры движения определяют при помощи видеоаналитики, встроенной в сетевую камеру или в видеосервер.
5. Способ по п.1, характеризующийся тем, что местоположение и/или параметры движения определяют при помощи серверной видеоаналитики.
6. Способ по п.1, характеризующийся тем, что местоположение и/или параметры движения уточняют при помощи камеры, фиксирующей различные части спектра, такие как видимые, тепловые, и/или датчиков, отличных по принципу действия от видеокамеры, таких как радара.
7. Способ по п.1, характеризующийся тем, что местоположение на кадре или карте визуализируют для пользователя путем отображения условных обозначений объекта поверх карты на экране монитора.
8. Способ по п.1, характеризующийся тем, что видеоданные визуализируют для пользователя путем отображения видеоданных поверх карты на экране монитора.
9. Способ по п.1, характеризующийся тем, что найденный объект идентифицируют, причем людей идентифицируют по лицам, а транспортные средства идентифицируют по номерным знакам.
10. Способ по п.1, характеризующийся тем, что вместе с индексирующей записью записывают в базу данных и/или хранилище временную последовательность местоположений объекта на карте - траекторию движения объекта.
11. Способ по п.10, характеризующийся тем, что последовательность местоположений на карте сжимают перед записью методом сглаживания траектории, или методом кусочно-линейной аппроксимации, или методом построения сплайн-аппроксимации.
12. Способ по п.1, характеризующийся тем, что местоположение объекта и/или параметры его движения непрерывно определяют по мере движения объекта в реальном масштабе времени.
13. Способ по п.1, характеризующийся тем, что индексирование видеоданных осуществляют, по крайней мере, в двух, измерениях.
14. Способ по п.1, характеризующийся тем, что используют аффинное преобразование для преобразования местоположения из системы координат кадра в систему координат карты.
15. Способ по п.1, характеризующийся тем, что преобразование систем координат рассчитывают на основании взаимно однозначного отображения между множеством узловых точек на кадре и множеством узловых точек на карте.
16. Способ по п.1, характеризующийся тем, что местоположение объекта на карте, определенное по данным одной видеокамеры, уточняют путем сопоставления с данными другой видеокамеры, зафиксировавшей этот же самый объекта, с использованием методов многокамерного слежения.
17. Способ по п.16, характеризующийся тем, что сопоставление и/или объединение местоположений осуществляют методом корреляции местоположений или методом вычисления квадратов расстояний между местоположениями.
18. Способ по п.1, характеризующийся тем, что видеокамера выполнена с возможностью поворота и/или изменения увеличения при помощи моторизированного привода, при этом привязку зоны действия видеокамеры к карте изменяют в зависимости от текущего положения видеокамеры.
19. Способ по п.1, характеризующийся тем, что индексирующую запись связывают с областью карты, которую вручную задает пользователь системы видеонаблюдения.
20. Способ по п.1, характеризующийся тем, что индексирующую запись связывают с областью карты, определяемой алгоритмом автоматически, причем алгоритм может разделять карту на области либо равномерно, либо неравномерно с учетом плотности обнаружения объектов в каждой области, при этом области могут перекрываться.
21. Способ по п.1, характеризующийся тем, что индексирующую запись связывают с направлением движения объекта.
22. Способ по п.1, характеризующийся тем, что индексирующую запись связывают со скоростью движения объекта.
23. Способ по п.1, характеризующийся тем, что индексирующую запись связывают с сигнальной линией, которую пересекает объект.
24. Способ по п.1, характеризующийся тем, что индексирующие записи объединяют в иерархическую структуру.
25. Способ по п.1, характеризующийся тем, что индексирующую запись связывают с интервалом времени движения объекта.
26. Способ по п.1, характеризующийся тем, что индексирующую запись связывают с числом объектов, находящихся в заданной области.
27. Способ по п.1, характеризующийся тем, что индексирующая запись содержит минимальное и/или максимальное расстояние от заданной точки до точек траектории объекта.
28. Способ по п.1, характеризующийся тем, что индексирующая запись содержит минимальный ограничивающий прямоугольник траектории движения объекта.
29. Способ по п.1, характеризующийся тем, что индексирующая запись содержит уникальный идентификатор объекта.
30. Способ по п.1, характеризующийся тем, что индексирующую запись связывают с типом - классом объекта.
31. Способ по п.1, характеризующийся тем, что индексирующую запись связывают с типом движения объекта, определенным по траектории движения объекта на карте.
32. Способ по п.1, характеризующийся тем, что индексирующую запись связывают с текстовыми тегами.
33. Способ по п.1, характеризующийся тем, что индексирующие записи сохраняют в реляционной базе данных.
34. Способ поиска индексированных при помощи карты видеоданных, включающий следующие шаги:
- получают видеоданные с, по крайней мере, одной видеокамеры;
- определяют, по крайней мере, один подвижный объект и его местоположение и/или параметры движения в двумерной системе координат кадра - местоположение на кадре;
- преобразуют полученное местоположение и/или параметры движения найденного объекта из двумерной системы координат кадра в двумерную систему координаты карты - местоположение на карте;
- создают, по меньшей мере, одну индексирующую запись, устанавливающую взаимосвязь между видеоданными, содержащими найденный объект, и местоположением и/или параметрами движения найденного объекта на карте;
- индексирующую запись записывают в базу данных и/или хранилище;
- формируют запрос пользователя на карте;
- производят поиск видеоданных по созданным индексирующим записям и отображение видеоданных, соответствующих запросу пользователя.
35. Способ по п.34, характеризующийся тем, что местоположение и/или параметры движения определяют при помощи детектора движения.
36. Способ по п.34, характеризующийся тем, что местоположение и/или параметры движения определяют при помощи детектора объектов, в том числе при помощи детектора людей, детектора лица человека или детектора номерного знака автомобиля.
37. Способ по п.34, характеризующийся тем, что местоположение и/или параметры движения определяют при помощи видеоаналитики, встроенной в сетевую камеру или в видеосервер.
38. Способ по п.34, характеризующийся тем, что местоположение и/или параметры движения определяют при помощи серверной видеоаналитики.
39. Способ по п.34, характеризующийся тем, что местоположение и/или параметры движения уточняют при помощи камеры фиксирующей различные части спектра, такие как видимые, тепловые и/или датчиков отличных по принципу действия от видеокамеры, таких как радара.
40. Способ по п.34, характеризующийся тем, что местоположение на кадре или карте визуализируют для пользователя путем отображения условных обозначений объекта поверх карты на экране монитора.
41. Способ по п.34, характеризующийся тем, что видеоданные визуализируют для пользователя путем отображения видеоданных поверх карты на экране монитора.
42. Способ по п.34, характеризующийся тем, что найденный объект идентифицируют, причем людей идентифицируют по лицам, а транспортные средства идентифицируют по номерным знакам.
43. Способ по п.34, характеризующийся тем, что вместе с индексирующей записью записывают в базу данных и/или хранилище временную последовательность местоположений объекта на карте - траекторию движения объекта.
44. Способ по п.43, характеризующийся тем, что последовательность местоположений на карте сжимают перед записью методом сглаживания траектории, или методом кусочно-линейной аппроксимации, или методом построения сплайн-аппроксимации.
45. Способ по п.34, характеризующийся тем, что местоположение объекта и/или параметры его движения непрерывно определяют по мере движения объекта в реальном масштабе времени.
46. Способ по п.34, характеризующийся тем, что индексирование видеоданных осуществляют, по крайней мере, в двух измерениях.
47. Способ по п.34, характеризующийся тем, что используют аффинное преобразование для преобразования местоположения из системы координат кадра в систему координат карты.
48. Способ по п.34, характеризующийся тем, что преобразование систем координат рассчитывают на основании взаимно однозначного отображения между множеством узловых точек на кадре и множеством узловых точек на карте.
49. Способ по п.34, характеризующийся тем, что местоположение объекта на карте, определенное по данным одной видеокамеры, уточняют путем сопоставления с данными другой видеокамеры, зафиксировавшей этот же самый объекта, с использованием методов многокамерного слежения.
50. Способ по п.49, характеризующийся тем, что сопоставление и/или объединение местоположений осуществляют методом корреляции местоположений или методом вычисления квадратов расстояний между местоположениями.
51. Способ по п.34, характеризующийся тем, что видеокамера выполнена с возможностью поворота и/или изменения увеличения при помощи моторизированного привода, при этом привязку зоны действия видеокамеры к карте изменяют в зависимости от текущего положения видеокамеры.
52. Способ по п.34, характеризующийся тем, что индексирующую запись связывают с областью карты, которую вручную задает пользователь системы видеонаблюдения.
53. Способ по п.34, характеризующийся тем, что индексирующую запись связывают с областью карты, определяемой алгоритмом автоматически, причем алгоритм может разделять карту на области либо равномерно, либо неравномерно с учетом плотности обнаружения объектов в каждой области, при этом области могут перекрываться.
54. Способ по п.34, характеризующийся тем, что индексирующую запись связывают с направлением движения объекта.
55. Способ по п.34, характеризующийся тем, что индексирующую запись связывают со скоростью движения объекта.
56. Способ по п.34, характеризующийся тем, что индексирующую запись связывают с сигнальной линией, которую пересекает объект.
57. Способ по п.34, характеризующийся тем, что индексирующие записи объединяют в иерархическую структуру.
58. Способ по п.34, характеризующийся тем, что индексирующую запись связывают с интервалом времени движения объекта.
59. Способ по п.34, характеризующийся тем, что индексирующую запись связывают с числом объектов, находящихся в заданной области.
60. Способ по п.34, характеризующийся тем, что индексирующая запись содержит минимальное и/или максимальное расстояние от заданной точки до точек траектории объекта.
61. Способ по п.34, характеризующийся тем, что индексирующая запись содержит минимальный ограничивающий прямоугольник траектории движения объекта.
62. Способ по п.34, характеризующийся тем, что индексирующая запись содержит уникальный идентификатор объекта.
63. Способ по п.34, характеризующийся тем, что индексирующую запись связывают с типом - классом объекта.
64. Способ по п.34, характеризующийся тем, что индексирующую запись связывают с типом движения объекта, определенным по траектории движения объекта на карте.
65. Способ по п.34, характеризующийся тем, что индексирующую запись связывают с текстовыми тегами.
66. Способ по п.34, характеризующийся тем, что индексирующие записи сохраняют в реляционной базе данных.
67. Способ по п.34, характеризующийся тем, что запрос пользователя дополнительно содержит критерии поиска.
68. Способ по п.34, характеризующийся тем, что найденные видеоданные, отображаются в виде отчета или непосредственно на карте.
69. Способ по п.34, характеризующийся тем, что найденные видеоданные отображаются в виде статических кадров или фрагментов видео.
70. Способ по п.68 или 69, характеризующийся тем, что видеоданные дополнительно содержат текстовую информацию.
RU2012119844/08A 2012-05-15 2012-05-15 Способ индексирования видеоданных при помощи карты RU2531876C2 (ru)

Priority Applications (3)

Application Number Priority Date Filing Date Title
RU2012119844/08A RU2531876C2 (ru) 2012-05-15 2012-05-15 Способ индексирования видеоданных при помощи карты
PCT/RU2013/000266 WO2013172738A1 (en) 2012-05-15 2013-03-29 Method for video-data indexing using a map
US14/381,997 US20150116487A1 (en) 2012-05-15 2013-03-29 Method for Video-Data Indexing Using a Map

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2012119844/08A RU2531876C2 (ru) 2012-05-15 2012-05-15 Способ индексирования видеоданных при помощи карты

Publications (2)

Publication Number Publication Date
RU2012119844A RU2012119844A (ru) 2013-11-27
RU2531876C2 true RU2531876C2 (ru) 2014-10-27

Family

ID=49584040

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2012119844/08A RU2531876C2 (ru) 2012-05-15 2012-05-15 Способ индексирования видеоданных при помощи карты

Country Status (3)

Country Link
US (1) US20150116487A1 (ru)
RU (1) RU2531876C2 (ru)
WO (1) WO2013172738A1 (ru)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2634225C1 (ru) * 2016-06-20 2017-10-24 Общество с ограниченной ответственностью "САТЕЛЛИТ ИННОВАЦИЯ" (ООО "САТЕЛЛИТ") Способы и системы поиска объекта в видеопотоке
RU2696548C1 (ru) * 2018-08-29 2019-08-02 Александр Владимирович Абрамов Способ построения системы видеонаблюдения для поиска и отслеживания объектов
US20210166011A1 (en) * 2013-11-14 2021-06-03 James Carey Entertainment device safety system and related methods of use
US11734836B2 (en) 2020-01-27 2023-08-22 Pacefactory Inc. Video-based systems and methods for generating compliance-annotated motion trails in a video sequence for assessing rule compliance for moving objects
US12033417B2 (en) 2022-10-26 2024-07-09 James Carey Entertainment device safety system and related methods of use

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104335577B (zh) * 2012-06-08 2018-06-12 索尼公司 信息处理设备、信息处理方法和监视摄像机系统
CN103971359A (zh) * 2013-02-05 2014-08-06 株式会社理光 利用多个立体相机的对象检测结果定位对象的方法和装置
US9911198B2 (en) 2015-12-17 2018-03-06 Canon Kabushiki Kaisha Method, system and apparatus for matching moving targets between camera views
TWI633497B (zh) 2016-10-14 2018-08-21 群暉科技股份有限公司 用來藉助於多個攝影機進行協同式計數之方法與裝置
CN106611043B (zh) * 2016-11-16 2020-07-03 深圳市梦网视讯有限公司 一种视频搜索方法及系统
CN108287924A (zh) * 2018-02-28 2018-07-17 福建师范大学 一种可定位视频数据采集与组织检索方法
CN109947988B (zh) * 2019-03-08 2022-12-13 百度在线网络技术（北京）有限公司 一种信息处理方法、装置、终端设备及服务器
CN112214645B (zh) * 2019-07-11 2023-09-19 杭州海康威视数字技术股份有限公司 一种存储轨迹数据的方法及装置
KR20210020219A (ko) * 2019-08-13 2021-02-24 삼성전자주식회사 대용어(Co-reference)를 이해하는 전자 장치 및 그 제어 방법
US11831947B2 (en) 2019-10-15 2023-11-28 Motorola Solutions, Inc. Video analytics conflict detection and mitigation
US11691728B2 (en) * 2020-04-14 2023-07-04 Alarm.Com Incorporated Security camera coverage test
CN113553468B (zh) * 2020-04-24 2023-07-14 杭州海康威视数字技术股份有限公司 录像索引生成方法以及录像回放检索方法
TWI718981B (zh) * 2020-08-10 2021-02-11 威聯通科技股份有限公司 跨感測器之物體屬性分析方法與系統
CN113868465B (zh) * 2021-09-15 2022-05-17 河南大学 一种基于二维时间格网的可定位视频检索方法

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625815A (en) * 1995-01-23 1997-04-29 Tandem Computers, Incorporated Relational database system and method with high data availability during table data restructuring
US20040210568A1 (en) * 2000-10-09 2004-10-21 Town Compass Llc Organizing and storing hierarchical data in a database having dual structures
US20060007308A1 (en) * 2004-07-12 2006-01-12 Ide Curtis E Environmentally aware, intelligent surveillance device
RU2268497C2 (ru) * 2003-06-23 2006-01-20 Закрытое акционерное общество "ЭЛВИИС" Система и способ автоматизированного видеонаблюдения и распознавания объектов и ситуаций
RU2315252C2 (ru) * 2005-12-19 2008-01-20 Общество с ограниченной ответственностью "Производственно-технологический центр "ПРОМИН" Способ сушки длинномерных изделий из древесины
EP2031824A2 (en) * 2007-07-24 2009-03-04 Honeywell International Inc. Proxy video server for video surveillance
US20110007946A1 (en) * 2000-11-24 2011-01-13 Clever Sys, Inc. Unified system and method for animal behavior characterization with training capabilities
JP2011090047A (ja) * 2009-10-20 2011-05-06 Tokyo Electric Power Co Inc:The 移動軌跡図作成装置およびコンピュータプログラム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6774905B2 (en) * 1999-12-23 2004-08-10 Wespot Ab Image data processing
US6965683B2 (en) * 2000-12-21 2005-11-15 Digimarc Corporation Routing networks for use with watermark systems
US8409024B2 (en) * 2001-09-12 2013-04-02 Pillar Vision, Inc. Trajectory detection and feedback system for golf
US6950123B2 (en) * 2002-03-22 2005-09-27 Intel Corporation Method for simultaneous visual tracking of multiple bodies in a closed structured environment
US20070236508A1 (en) * 2006-03-28 2007-10-11 Microsoft Corporation Management of gridded map data regions
US20080263592A1 (en) * 2007-04-18 2008-10-23 Fuji Xerox Co., Ltd. System for video control by direct manipulation of object trails
US8451333B2 (en) * 2007-08-06 2013-05-28 Frostbyte Video, Inc. Video capture system and method
US8345101B2 (en) * 2008-10-31 2013-01-01 International Business Machines Corporation Automatically calibrating regions of interest for video surveillance
US8553778B2 (en) * 2009-03-19 2013-10-08 International Business Machines Corporation Coding scheme for identifying spatial locations of events within video image data
US20120092492A1 (en) * 2010-10-19 2012-04-19 International Business Machines Corporation Monitoring traffic flow within a customer service area to improve customer experience
US8953039B2 (en) * 2011-07-01 2015-02-10 Utc Fire & Security Corporation System and method for auto-commissioning an intelligent video system
US9230335B2 (en) * 2012-09-26 2016-01-05 Raytheon Company Video-assisted target location

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5625815A (en) * 1995-01-23 1997-04-29 Tandem Computers, Incorporated Relational database system and method with high data availability during table data restructuring
US20040210568A1 (en) * 2000-10-09 2004-10-21 Town Compass Llc Organizing and storing hierarchical data in a database having dual structures
US20110007946A1 (en) * 2000-11-24 2011-01-13 Clever Sys, Inc. Unified system and method for animal behavior characterization with training capabilities
RU2268497C2 (ru) * 2003-06-23 2006-01-20 Закрытое акционерное общество "ЭЛВИИС" Система и способ автоматизированного видеонаблюдения и распознавания объектов и ситуаций
US20060007308A1 (en) * 2004-07-12 2006-01-12 Ide Curtis E Environmentally aware, intelligent surveillance device
RU2315252C2 (ru) * 2005-12-19 2008-01-20 Общество с ограниченной ответственностью "Производственно-технологический центр "ПРОМИН" Способ сушки длинномерных изделий из древесины
EP2031824A2 (en) * 2007-07-24 2009-03-04 Honeywell International Inc. Proxy video server for video surveillance
JP2011090047A (ja) * 2009-10-20 2011-05-06 Tokyo Electric Power Co Inc:The 移動軌跡図作成装置およびコンピュータプログラム

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20210166011A1 (en) * 2013-11-14 2021-06-03 James Carey Entertainment device safety system and related methods of use
US11488409B2 (en) * 2013-11-14 2022-11-01 James Carey Entertainment device safety system and related methods of use
US20230058439A1 (en) * 2013-11-14 2023-02-23 James Carey Entertainment device safety system and related methods of use
RU2634225C1 (ru) * 2016-06-20 2017-10-24 Общество с ограниченной ответственностью "САТЕЛЛИТ ИННОВАЦИЯ" (ООО "САТЕЛЛИТ") Способы и системы поиска объекта в видеопотоке
US10957055B2 (en) 2016-06-20 2021-03-23 Obschestvo S Ogranichennoi Otvetstvennostyu “Satellit Innovatsia” Methods and systems of searching for an object in a video stream
RU2696548C1 (ru) * 2018-08-29 2019-08-02 Александр Владимирович Абрамов Способ построения системы видеонаблюдения для поиска и отслеживания объектов
WO2020046171A1 (ru) * 2018-08-29 2020-03-05 Александр Владимирович АБРАМОВ Способ построения системы видеонаблюдения для поиска и отслеживания объектов
US11734836B2 (en) 2020-01-27 2023-08-22 Pacefactory Inc. Video-based systems and methods for generating compliance-annotated motion trails in a video sequence for assessing rule compliance for moving objects
US12033417B2 (en) 2022-10-26 2024-07-09 James Carey Entertainment device safety system and related methods of use

Also Published As

Publication number Publication date
WO2013172738A1 (en) 2013-11-21
RU2012119844A (ru) 2013-11-27
US20150116487A1 (en) 2015-04-30

Similar Documents

Publication Publication Date Title
RU2531876C2 (ru) Способ индексирования видеоданных при помощи карты
CN110428448B (zh) 目标检测跟踪方法、装置、设备及存储介质
Huitl et al. TUMindoor: An extensive image and point cloud dataset for visual indoor localization and mapping
Majdik et al. Air‐ground matching: Appearance‐based GPS‐denied urban localization of micro aerial vehicles
CN111046752B (zh) 一种室内定位方法、计算机设备和存储介质
Wang et al. Automated road sign inventory system based on stereo vision and tracking
Arslan Ay et al. Relevance ranking in georeferenced video search
GB2482127A (en) Scene object tracking and camera network mapping based on image track start and end points
CN106156199B (zh) 一种视频监控图像存储检索方法
TW201145983A (en) Video processing system providing correlation between objects in different georeferenced video feeds and related methods
WO2012015563A1 (en) Video summarization using video frames from different perspectives
CN112560617B (zh) 基于阵列相机的大场景行人轨迹跟踪方法
CN105554441A (zh) 用于配准图像的设备和方法
van Kreveld et al. A refined definition for groups of moving entities and its computation
TW201142751A (en) Video processing system generating corrected geospatial metadata for a plurality of georeferenced video feeds and related methods
EP1871105A1 (en) Video managing system
Gloudemans et al. So you think you can track?
Kim et al. GeoTree: Using spatial information for georeferenced video search
Cavagna et al. Sparta tracking across occlusions via partitioning of 3d clouds of points
Bazo et al. Baptizo: A sensor fusion based model for tracking the identity of human poses
Lin et al. Moving camera analytics: Emerging scenarios, challenges, and applications
Calderara et al. Multimedia surveillance: content-based retrieval with multicamera people tracking
Aktar et al. Geospatial content summarization of UAV aerial imagery using mosaicking
KR102226372B1 (ko) 다수 카메라와 라이다 센서 융합을 통한 객체 추적 시스템 및 방법
Lee et al. GeoVideoIndex: Indexing for georeferenced videos

Legal Events

Date Code Title Description
QB4A Licence on use of patent

Free format text: LICENCE

Effective date: 20150915

MM4A The patent is invalid due to non-payment of fees

Effective date: 20160516