RU2676029C1 - Способ идентификации объекта в видеопотоке - Google Patents
Способ идентификации объекта в видеопотоке Download PDFInfo
- Publication number
- RU2676029C1 RU2676029C1 RU2018109142A RU2018109142A RU2676029C1 RU 2676029 C1 RU2676029 C1 RU 2676029C1 RU 2018109142 A RU2018109142 A RU 2018109142A RU 2018109142 A RU2018109142 A RU 2018109142A RU 2676029 C1 RU2676029 C1 RU 2676029C1
- Authority
- RU
- Russia
- Prior art keywords
- frame
- pixels
- value
- average brightness
- block
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 11
- 238000004458 analytical method Methods 0.000 abstract description 8
- 239000000126 substance Substances 0.000 abstract 1
- 238000001514 detection method Methods 0.000 description 12
- 230000033001 locomotion Effects 0.000 description 3
- 230000003044 adaptive effect Effects 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 230000007246 mechanism Effects 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 238000009825 accumulation Methods 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 230000000739 chaotic effect Effects 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 230000008569 process Effects 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Bioinformatics & Computational Biology (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Biology (AREA)
- Evolutionary Computation (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Artificial Intelligence (AREA)
- Image Analysis (AREA)
Abstract
Изобретение относится к способам автоматического анализа видеопотока. Технический результат заключается в повышении качества идентификации объекта. Предложен способ анализа видеопотока, состоящий в том, что обеспечивают поток изображений наблюдаемого пространства, содержащий последовательность растровых кадров; получают изображение текущего кадра, на котором выявляют объект и определяют область текущего кадра в виде пространственно-связного множества пикселей, идентифицирующую упомянутый объект; определяют среднее значение яркости пикселей упомянутого текущего кадра; разбивают упомянутый текущий кадр на прямоугольные блоки одинакового размера и определяют среднюю яркость пикселей каждого блока. 3 ил.
Description
Область техники, к которой относится изобретение
Изобретение относится к области обработки растровых изображений, а именно к способам автоматического анализа видеопотока, представленного в виде последовательности растровых изображений (кадров), с целью выявления движущихся объектов.
Уровень техники
Из уровня техники известно большое количество средств анализа видеопотока с целью идентификации объектов.
В качестве наиболее близкого аналога выбран известный способ анализа видеопотока, основанный на разделении кадров на блоки, вычислении интегральных показателей (например, цвета или яркости) блоков и кадра и их последующее сравнение (US 8897512, опубликован 25.11.2014, МПК G06K 9/00). Недостатком данного известного средства является значительная вероятность ложных обнаружений и пропуска объектов, поскольку применяемый алгоритм чувствителен к случайным флуктуациям яркости кадров, к теням и отсветам, к хаотичному перемещению объектов, к их взаимному перекрытию, а также к артефактам сжатия, к задержкам и искажению видеопотока при передаче.
Раскрытие изобретения
Задача, на решение которой направлено настоящее изобретение, состоит в повышении качества сопровождения объектов в видеопотоке.
Технический результат, достигаемый настоящим изобретением, состоит в минимизации ошибок сопровождения в видеопотоке, связанных с потерей объекта при наблюдении за движущимися объектами.
Указанный технический результат достигается тем, что способ анализа видеопотока состоит в том, что:
- обеспечивают поток изображений наблюдаемого пространства, содержащий последовательность растровых кадров;
- получают изображение текущего кадра, на котором выявляют объект и определяют область текущего кадра в виде пространственно-связного множества пикселей, идентифицирующую упомянутый объект;
- определяют среднее значение яркости пикселей упомянутого текущего кадра;
- разбивают упомянутый текущий кадр на прямоугольные блоки одинакового размера и определяют среднюю яркость пикселей каждого блока;
- каждому упомянутому блоку присваивают бинарный признак таким образом, что значение упомянутого бинарного признака принимают равным единице, если значение средней яркости пикселей блока текущего кадра превышает значение средней яркости пикселей этого кадра, значение упомянутого бинарного признака принимают равным нулю, если значение средней яркости пикселей блока текущего кадра не превышает значения средней яркости пикселей этого кадра;
- аппроксимируют область текущего кадра, идентифицирующую объект, упомянутыми блоками;
- формируют вектор бинарных признаков упомянутой области на основе значения бинарных признаков соответствующих блоков;
- получают изображение последующего кадра, на котором выявляют объект и определяют область последующего кадра в виде пространственно-связного множества пикселей, идентифицирующую упомянутый объект;
- определяют среднее значение яркости пикселей упомянутого последующего кадра;
- разбивают упомянутый последующий кадр на прямоугольные блоки одинакового размера и определяют среднюю яркость пикселей каждого блока;
- каждому упомянутому блоку присваивают бинарный признак таким образом, что значение упомянутого бинарного признака принимают равным единице, если значение средней яркости пикселей блока последующего кадра превышает значение средней яркости пикселей этого кадра, значение упомянутого бинарного признака принимают равным нулю, если значение средней яркости пикселей блока последующего кадра не превышает значения средней яркости пикселей этого кадра;
- аппроксимируют область последующего кадра, идентифицирующую объект, упомянутыми блоками;
- формируют вектор бинарных признаков упомянутой области на основе значения бинарных признаков соответствующих блоков;
- сравнивают вектор бинарных признаков упомянутой области на текущем кадре с вектором бинарных признаков упомянутой области на последующем кадре и в случае их совпадения делают вывод об идентичности объекта на текущем и последующем кадрах.
Краткое описание фигур чертежей
На Фиг. 1. показан исходный кадр высокого разрешения.
На Фиг. 2 показан масштабированный кадр низкого разрешения.
На Фиг. 3 показана растровая маска обнаружения на кадре низкого разрешения.
Осуществление изобретения
Современные стационарные системы IP-видеонаблюдения оснащаются подсистемами видеоаналитики для автоматического анализа видеопотока с целью обнаружения объектов. Под объектами подразумеваются связные множества пикселей, сохраняющие сходные характеристики при переходе от кадра к кадру и перемещающиеся (перемещавшиеся в известной истории наблюдений) в системе координат кадра. Движущиеся объекты представляют особый интерес с точки зрения системы видеонаблюдения, поскольку с этим классом объектов связано подавляющее большинство критических ситуаций, требующих реакции системы.
В соответствии с настоящим изобретением задача выявления движущихся объектов алгоритмически разделяется на:
- задачу обнаружения объектов на растровом кадре.
- задачу сопровождения идентифицированного объекта.
В свою очередь задача сопровождения состоит в построении наиболее вероятного соответствия объектов, обнаруженных на текущем кадре, тем объектам, которые были обнаружены на предыдущем кадре.
Задача обнаружения решается методами детектирования движения по яркостной составляющей кадра с использованием одного или нескольких фонов с разными периодами накопления. Алгоритм детектирования движения предполагает разделение каждого кадра на фоновую составляющую (условно статичную в смысле яркости пикселей) и передний план, содержащий пиксели, интенсивно меняющие яркость. Обнаружение объектов выполняется на переднем плане кадра с использованием механизма адаптивного порога. Достоинством метода является невысокая вычислительная сложность.
Сопровождение объекта является частным случаем задачи оптимизации - задачей о назначениях и в общем случае решается методами комбинаторной оптимизации. Обеспечивается поиск наилучшего соответствия между объектами предыдущего кадра и потенциальными объектами текущего кадра. Объекты предыдущего кадра, для которых не найдены аналоги на текущем кадре, помечаются атрибутом «скрытые» и в дальнейшем удаляются из списка объектов. Объекты текущего кадра, для которых не найдены аналоги на предыдущем кадре, считаются новыми и включаются в список. При поиске используется комплексный критерий соответствия объектов предыдущего и текущего кадров.
В соответствии с настоящим изобретением обеспечивают поток изображений наблюдаемого пространства, содержащий последовательность растровых кадров. Затем получают изображение текущего кадра, на котором выявляют объект и определяют область текущего кадра в виде пространственно-связного множества пикселей, идентифицирующую упомянутый объект и определяют среднее значение яркости пикселей упомянутого текущего кадра.
Ошибки алгоритма сопровождения обусловлены ошибками на этапе обнаружения. Визуально схожие с точки зрения человека объекты на соседних кадрах могут отличаться в достаточной степени, чтобы не соответствовать описанному комплексному критерию схожести. Результатом является повышенная вероятность ошибки «потеря объекта», когда обнаруженный на предыдущем кадре объект теряется, вместо него заводится формально новый объект с отличным от предыдущего идентификатором.
Последовательность операций способ включает разбиение упомянутого текущего кадра на прямоугольные блоки одинакового размера и определение средней яркости пикселей каждого блока.
Далее каждому упомянутому блоку присваивают бинарный признак таким образом, что значение упомянутого бинарного признака принимают равным единице, если значение средней яркости пикселей блока текущего кадра превышает значение средней яркости пикселей этого кадра, значение упомянутого бинарного признака принимают равным нулю, если значение средней яркости пикселей блока текущего кадра не превышает значения средней яркости пикселей этого кадра. Аппроксимируют область текущего кадра, идентифицирующую объект, упомянутыми блоками;
После этого формируют вектор бинарных признаков (хэш-дескриптор) упомянутой области на основе значения бинарных признаков соответствующих блоков и получают изображение последующего кадра, на котором выявляют объект и определяют область последующего кадра в виде пространственно-связного множества пикселей, идентифицирующую упомянутый объект.
После этого определяют среднее значение яркости пикселей упомянутого последующего кадра, разбивают упомянутый последующий кадр на прямоугольные блоки одинакового размера и определяют среднюю яркость пикселей каждого блока и каждому упомянутому блоку присваивают бинарный признак таким образом, что значение упомянутого бинарного признака принимают равным единице, если значение средней яркости пикселей блока последующего кадра превышает значение средней яркости пикселей этого кадра, значение упомянутого бинарного признака принимают равным нулю, если значение средней яркости пикселей блока последующего кадра не превышает значения средней яркости пикселей этого кадра. Аналогично описанному выше аппроксимируют область последующего кадра, идентифицирующую объект, упомянутыми блоками, формируют вектор бинарных признаков упомянутой области на основе значения бинарных признаков соответствующих блоков и сравнивают вектор бинарных признаков упомянутой области на текущем кадре с вектором бинарных признаков упомянутой области на последующем кадре и в случае их совпадения делают вывод об идентичности объекта на текущем и последующем кадрах.
Задачу повышение качества сопровождения предлагается решать введением дополнительного механизма текстурного анализа объектов.
Идентификация движущегося объекта в потоке видеоинформации, состоит в следующем.
Захватывают поток растровых кадров высокого разрешения, содержащих изображение наблюдаемого пространства, и приводят пиксели каждого кадра к цветовой модели YUV. Компоненты Y, U, V копируются в отдельные однокомпонентные кадры, которые в дальнейшем обрабатываются независимо.
Далее формируют кадр Y низкого разрешения (Фиг. 2) масштабированием кадра Y исходного высокого разрешения (Фиг. 1). Формируют новый кадр с разрешением равным 25% от исходного по каждому измерению. Для типового разрешения 1920×1080 уменьшенный кадр будет иметь разрешение 480×270 пикселей (см. Фиг. 1 и Фиг. 2). Масштаб нового кадра выбирают исходя из следующего:
- видеонаблюдение работает с крупными объектами, занимающими значительную площадь кадра. На уменьшенном кадре объекты будут представлены достаточно подробно для обнаружения по яркости, а исходное высокое разрешение является избыточным и критически повышает вычислительную сложность процедуры при неочевидном повышении качества;
- каждому пикселю уменьшенного кадра соответствует шестнадцать пикселей исходного кадра. С точки зрения вычислительной эффективности это количество оптимально для обработки на компьютерах 32-64 разрядной архитектуры с использованием векторных команд.
Далее формируют на первом кадре Y или уточненяют на следующих кадрах Y низкого разрешения фоновой составляющей, как предсказания значений яркости в каждом пикселе. Предсказание выполняется приближением к медиане значения яркости каждого пикселя по доступной истории наблюдений за исключением текущего кадра.
Производят обнаружение на текущем кадре Y низкого разрешения потенциальных объектов по фону с помощью алгоритма обнаружения с адаптивным порогом с последующим попиксельным вычислением абсолютной разницы яркости пикселя текущего кадра и яркости пикселя фона и сравнение полученного значения с порогом. При превышении порога пиксель текущего кадра классифицируется как принадлежащий потенциальному объекту и маркируется в растровой маске обнаружения значением 255 (Фиг. 2, 3). В противном случае пиксель текущего кадра классифицируется как принадлежащий фону и маркируется в растровой маске быстрого обнаружения значением 0 (Фиг. 2, 3).
Осуществляют хэш-дескрипцию потенциальных объектов, обнаруженных на текущем кадре Y низкого разрешения. Хэш-дескрипция заключается в построении хэш-дескрипторов каждого пикселя переднего плана кадра Y низкого разрешения, и выполнятся по следующему алгоритму. Для каждого пикселя, отнесенного к потенциальному объекту на растровой маске обнаружения низкого разрешения (Фиг. 2):
- выполняется выборка соответствующего блока 4×4 пикселя ни исходном кадре Y высокого разрешения;
- значение яркости пикселя потенциального объекта на кадре Y низкого разрешения принимается за среднюю яркость пикселей по 4×4 блоку пикселей на исходном кадре Y высокого разрешения;
- строится 16-битный хэш-дескриптор, каждый бит которого принимает значение 1, если яркость соответствующего пикселя в блоке 4×4 превышает среднюю яркость, и 0 в ином случае;
- хэш-дескриптор сохраняется в двумерном массиве, каждый элемент которого соответствует пикселю потенциального объекта на кадре Y низкого разрешения.
После этого обеспечивают сопровождение объектов на текущем кадре Y низкого разрешения по данным предыдущего кадра Y низкого разрешения. С помощью «венгерского алгоритма» производится поиск оптимального назначения объектов, обнаруженных на текущем кадре Y, объектам, обнаруженным на предыдущем кадре Y, и присвоение объектам текущего кадра идентификаторов соответствующих объектов предыдущего кадра. Комплексный критерий сходства, применяемый в алгоритме назначения, представляет собой взвешенную сумму коэффициентов схожести объектов:
- по текстуре компоненты Y (весовой коэффициент 0.5);
- по гистограмме компоненты Y (весовой коэффициент 0.2)
- по размерам (весовой коэффициент 0.15);
- по пропорциям (весовой коэффициент 0.15).
Комплексный критерий принимает значения от 0 (полное различие) до 1 (полное сходство).
Дополнительный текстурный анализ (схожесть по текстуре компоненты Y) выполняется путем расчета обратного расстояния Хэмминга для хэш-дескрипторов пикселей для всех пар объектов на предыдущем и текущем кадрах. Обратное расстояние Хэмминга принимает значение от 0 (полное различие) до 16 (полное сходство) и приводится к диапазону [0, 1] делением на 16. Среднее обратное расстояние Хэмминга вычисляется для каждой пары объектов на предыдущем и текущем кадрах по всему множеству исследованных пикселей. Весовой коэффициент текстурной компоненты комплексного критерия составляет 0.5 и в общем случае является настраиваемым.
Суммарный весовой коэффициент яркостной компоненты комплексного критерия (схожесть по геометрическим размерам и гистограмме) составляет 0.5 и в общем случае также является настраиваемым.
Результат достигается за счет введения дополнительной процедуры текстурного анализа множества пикселей, составляющих объект, путем построения хэш-дескрипторов каждого пикселя. Текстурный анализ производится на этапах работы алгоритма обнаружения и сопровождения объектов.
Claims (15)
- Способ анализа видеопотока, состоящий в том, что
- - обеспечивают поток изображений наблюдаемого пространства, содержащий последовательность растровых кадров;
- - получают изображение текущего кадра, на котором выявляют объект и определяют область текущего кадра в виде пространственно-связного множества пикселей, идентифицирующую упомянутый объект;
- - определяют среднее значение яркости пикселей упомянутого текущего кадра;
- - разбивают упомянутый текущий кадр на прямоугольные блоки одинакового размера и определяют среднюю яркость пикселей каждого блока;
- - каждому упомянутому блоку присваивают бинарный признак таким образом, что значение упомянутого бинарного признака принимают равным единице, если значение средней яркости пикселей блока текущего кадра превышает значение средней яркости пикселей этого кадра, значение упомянутого бинарного признака принимают равным нулю, если значение средней яркости пикселей блока текущего кадра не превышает значения средней яркости пикселей этого кадра;
- - аппроксимируют область текущего кадра, идентифицирующую объект, упомянутыми блоками;
- - формируют вектор бинарных признаков упомянутой области на основе значения бинарных признаков соответствующих блоков;
- - получают изображение последующего кадра, на котором выявляют объект и определяют область последующего кадра в виде пространственно-связного множества пикселей, идентифицирующую упомянутый объект;
- - определяют среднее значение яркости пикселей упомянутого последующего кадра;
- - разбивают упомянутый последующий кадр на прямоугольные блоки одинакового размера и определяют среднюю яркость пикселей каждого блока;
- - каждому упомянутому блоку присваивают бинарный признак таким образом, что значение упомянутого бинарного признака принимают равным единице, если значение средней яркости пикселей блока последующего кадра превышает значение средней яркости пикселей этого кадра, значение упомянутого бинарного признака принимают равным нулю, если значение средней яркости пикселей блока последующего кадра не превышает значения средней яркости пикселей этого кадра;
- - аппроксимируют область последующего кадра, идентифицирующую объект, упомянутыми блоками;
- - формируют вектор бинарных признаков упомянутой области на основе значения бинарных признаков соответствующих блоков;
- - сравнивают вектор бинарных признаков упомянутой области на текущем кадре с вектором бинарных признаков упомянутой области на последующем кадре и в случае их совпадения делают вывод об идентичности объекта на текущем и последующем кадрах.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018109142A RU2676029C1 (ru) | 2018-03-14 | 2018-03-14 | Способ идентификации объекта в видеопотоке |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| RU2018109142A RU2676029C1 (ru) | 2018-03-14 | 2018-03-14 | Способ идентификации объекта в видеопотоке |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| RU2676029C1 true RU2676029C1 (ru) | 2018-12-25 |
Family
ID=64753738
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| RU2018109142A RU2676029C1 (ru) | 2018-03-14 | 2018-03-14 | Способ идентификации объекта в видеопотоке |
Country Status (1)
| Country | Link |
|---|---|
| RU (1) | RU2676029C1 (ru) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8494234B1 (en) * | 2007-03-07 | 2013-07-23 | MotionDSP, Inc. | Video hashing system and method |
| US20140333777A1 (en) * | 2010-05-13 | 2014-11-13 | Honeywell International Inc. | Surveillance system with direct database server storage |
| RU2632473C1 (ru) * | 2016-09-30 | 2017-10-05 | ООО "Ай Ти Ви групп" | Способ обмена данными между ip видеокамерой и сервером (варианты) |
-
2018
- 2018-03-14 RU RU2018109142A patent/RU2676029C1/ru active IP Right Revival
Patent Citations (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US8494234B1 (en) * | 2007-03-07 | 2013-07-23 | MotionDSP, Inc. | Video hashing system and method |
| US8897512B1 (en) * | 2007-03-07 | 2014-11-25 | MotionDSP, Inc. | Video hashing system and method |
| US20140333777A1 (en) * | 2010-05-13 | 2014-11-13 | Honeywell International Inc. | Surveillance system with direct database server storage |
| RU2632473C1 (ru) * | 2016-09-30 | 2017-10-05 | ООО "Ай Ти Ви групп" | Способ обмена данными между ip видеокамерой и сервером (варианты) |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN109035304B (zh) | 目标跟踪方法、介质、计算设备和装置 | |
| US7778445B2 (en) | Method and system for the detection of removed objects in video images | |
| KR100860988B1 (ko) | 시퀀스들에서의 객체 탐지를 위한 방법 및 장치 | |
| CN109308711B (zh) | 目标检测方法、装置及图像处理设备 | |
| CN112669344A (zh) | 一种运动物体的定位方法、装置、电子设备及存储介质 | |
| KR101436369B1 (ko) | 적응적 블록 분할을 이용한 다중 객체 검출 장치 및 방법 | |
| CN110930434B (zh) | 目标对象跟随方法、装置、存储介质和计算机设备 | |
| Mansour et al. | Video background subtraction using semi-supervised robust matrix completion | |
| Ahmed et al. | Human detection using HOG-SVM, mixture of Gaussian and background contours subtraction | |
| TWI729587B (zh) | 物件定位系統及方法 | |
| Angelo | A novel approach on object detection and tracking using adaptive background subtraction method | |
| Mohanty et al. | A survey on moving object detection using background subtraction methods in video | |
| US20200394802A1 (en) | Real-time object detection method for multiple camera images using frame segmentation and intelligent detection pool | |
| CN110704667B (zh) | 一种基于语义信息的快速相似图检测方法 | |
| RU2676029C1 (ru) | Способ идентификации объекта в видеопотоке | |
| US9646386B2 (en) | Method and apparatus for generating temporally consistent superpixels | |
| Ince et al. | Fast video fire detection using luminous smoke and textured flame features | |
| Fatichah et al. | Optical flow feature based for fire detection on video data | |
| JP2001307104A (ja) | 動画像のオブジェクト抽出装置 | |
| RU2676028C1 (ru) | Способ обнаружения оставленного предмета в видеопотоке | |
| KR101588648B1 (ko) | 지능형 영상 감시를 위한 보행자 검출 및 추적 방법 | |
| Pal | Improved background subtraction technique for detecting moving objects | |
| Osborne et al. | Temporally stable feature clusters for maritime object tracking in visible and thermal imagery | |
| Nalabolu et al. | Object Identification in Digital Videos using Color Histogram Bins and Fuzzy C-Means Clustering Techniques | |
| JPH05314391A (ja) | 一連のディジタル影像中の影像の登録方法と登録装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20200315 |
|
| NF4A | Reinstatement of patent |
Effective date: 20210208 |