RU2673966C1 - Способ идентификации кадров в потоке мультимедийных данных - Google Patents

Способ идентификации кадров в потоке мультимедийных данных Download PDF

Info

Publication number
RU2673966C1
RU2673966C1 RU2017137206A RU2017137206A RU2673966C1 RU 2673966 C1 RU2673966 C1 RU 2673966C1 RU 2017137206 A RU2017137206 A RU 2017137206A RU 2017137206 A RU2017137206 A RU 2017137206A RU 2673966 C1 RU2673966 C1 RU 2673966C1
Authority
RU
Russia
Prior art keywords
frames
multimedia data
image
frame
histograms
Prior art date
Application number
RU2017137206A
Other languages
English (en)
Inventor
Андрей Николаевич Орешин
Сергей Юрьевич Андреев
Роман Борисович Трегубов
Николай Алексеевич Орешин
Original Assignee
Федеральное государственное казенное военное образовательное учреждение высшего образования "Академия Федеральной службы охраны Российской Федерации" (Академия ФСО России)
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Федеральное государственное казенное военное образовательное учреждение высшего образования "Академия Федеральной службы охраны Российской Федерации" (Академия ФСО России) filed Critical Федеральное государственное казенное военное образовательное учреждение высшего образования "Академия Федеральной службы охраны Российской Федерации" (Академия ФСО России)
Priority to RU2017137206A priority Critical patent/RU2673966C1/ru
Application granted granted Critical
Publication of RU2673966C1 publication Critical patent/RU2673966C1/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T11/00—2D [Two Dimensional] image generation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/272—Means for inserting a foreground image in a background image, i.e. inlay, outlay

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)

Abstract

Изобретение относится к области вычислительной техники для анализа и обработки данных изображений. Технический результат – уменьшение частоты пропуска кадра-вставки и частоты ложного обнаружения кадра-вставки в потоке мультимедийных данных при оценке классов кадров. Способ идентификации кадров потока мультимедийных данных на основе сравнения коэффициентов полиномов, аппроксимирующих гистограммы изображений кадров, заключается в том, что на основе изображений кадров потока мультимедийных данных формируют последовательность изображений наблюдаемых окон, состоящих из восьми кадров, в которых будет производиться поиск кадров-вставок, для каждого изображения определяют множества интенсивностей основных компонентов цвета пикселей, для каждого изображения вычисляют гистограммы по основным компонентам цвета пикселя, формируют новое окно для идентификации вновь поступающих кадров, причем определяют коэффициенты полиномов, аппроксимирующих гистограммы изображений кадров, принимают решение о принадлежности видеокадра потока мультимедийных данных к одному из классов: кадры видеоизображения или кадры-вставки, по заданному критерию сравнения коэффициентов полиномов, аппроксимирующих гистограммы изображений кадров с динамическим порогом принятия решения. 8 ил.

Description

Изобретение относится к области вычислительной техники, а именно к системам анализа изображений и предназначено для использования в сфере обработки данных изображений.
Толкование терминов, используемых в заявке.
Частота пропуска кадра-вставки - частота возникновения ошибки, при принятии решения, о том, что кадр-вставка не определен в случае, когда он есть (Ерош И.Л., Сергеев М.Б., Соловьев Н.В. Обработка и распознавание изображений в системах превентивной безопасности: учебное пособие. - СПб.: ГУАП, 2005. - 154 с.).
Частота ложного обнаружения кадра-вставки - частота возникновения ошибки, при принятии решения, о том, что кадр-вставка идентифицирован в случае, когда он отсутствует (Ерош И.Л., Сергеев М.Б., Соловьев Н.В. Обработка и распознавание изображений в системах превентивной безопасности: учебное пособие. - СПб.: ГУАП, 2005. - 154 с.)
Гистограмма кадра - это функция, характеризующая частоту встречаемости на изображении пикселей одинаковой яркости (Красильников Н.Н. Цифровая обработка изображений. - М.: Вузовская книга, 2001. - 320 с.).
Кадр-вставка - кадр, добавленный в любое место видеопотока и отличающийся от кадров текущей сюжетной линии (сцены) визуально и статистически (Грузман И.С. и др. Цифровая обработка изображений в информационных системах. - НГТУ. Новосибирск, 2000. - 156 с.).
Класс кадра потока мультимедийных данных - категория, характеризующая соответствие (или несоответствие) качества кадра определенным требованиям, под определением класса кадра будем понимать выяснение факта, обладает ли он набором требуемых свойств, обеспечивающих пригодность его к применению по назначению, и правильность выполнения им своих функций (Потапов А.А., Пахомов А.А., Никитин С.А., Гуляев Ю.В., Новейшие методы обработки изображений. - М.: Физматлит, 2008. - 496 с.).
Мультимедийные данные - это множество информационных сред: звук, анимированная компьютерная графика, видеоряд, каждая из которых имеет свою специфическую форму, соответствующую ее уровню, и различные способы интерактивного взаимодействия (Гонсалес Р. Мир цифровой обработки. Цифровая обработка изображений [Текст] / Р. Гонсалес, Р. Вудс; перевод с англ. Под. ред. П.А. Чочиа. - М.: Техносфера, 2006. - 1072 с.).
Пиксель - наименьший логический элемент двумерного цифрового изображения в растровой графике, или физический элемент матрицы дисплеев, формирующих изображение (ГОСТ 27459-87 Системы обработки информации. Машинная графика. Термины и определения - 46 с.).
Цветовая модель RGB - аддитивная цветовая модель, как правило, описывающая способ синтеза цвета для цветовоспроизведения (Синтез цвета // Фотокинотехника: Энциклопедия / Главный редактор Е.А. Иофис. - М.: Советская энциклопедия, 1981. - 274 с.).
Яркость изображения представляет собой характеристику, определяющую то, насколько сильно цвета пикселей отличаются от черного цвета (Домасев М.В. Цвет, управление цветом, цветовые расчеты и измерения. Санкт-Петербург: Питер, 2009. - 218 с.).
Известно устройство для обработки изображений и способ определения линейного сдвига изображения (патент RU 2138851 С1, опубл. 05.08.1993 г. Авторы: Кристоф Айзенбарт (DE), Ира Финкельштайн (US), Дэннис Мак Ги (US), Эдвард Панофский (US)), которые позволяют обнаруживать несовпадение фактического изображения относительно опорного и обеспечивать их максимальное совпадение. Этот технический результат достигается благодаря тому, что воспринимают два участка фактического изображения, запоминают два аналогичных участка опорного изображения, сравнивают соответствующие участки фактического и опорного изображений и определяют наличие сдвига, причем повторяют сравнение для тех же участков после сдвига фактического изображения на заранее заданное число пикселей по осям X и Y, при этом вычисляют абсолютные значения разностей между соответствующими участками фактического и опорного изображений для каждого сдвига и сохраняют в памяти, как полученные абсолютные значения, так и их сумму.
Недостатком данного аналога является то, что при идентификации видеовставки в процессе сравнения невозможно выделить опорное изображение, участки кадра для сравнения и пороговое значение линейного сдвига, так как оно будет динамически изменяться в результате смены сюжетов в видеопотоке.
Известен также способ идентификации подлинных серий изображений и устройство для его осуществления (патент RU 2216044 С2, опубл. 10.11.2003. Автор Шульце Клаус (DE)), которые позволяют получить технический результат в виде повышения эффективности процедур учета и хронометрирования рекламных сообщений, видеоклипов, политических выступлений.
Этот результат достигается за счет того, что для отдельных изображений из серий изображений определяют признаки яркости, преобразуют их в цифровую форму и сравнивают с эталоном, при этом признаки яркости декоррелируют квазистохастическим отбором по множеству изображений.
Недостатком данного аналога является низкая эффективность определения кадров-вставок в видеопотоке, обусловленная тем, что по одному изображению, определяющему эталонные признаки яркости, невозможно получить полную статистическую информацию, характеризующую яркостные свойства каждой из наблюдаемых динамически меняющихся сцен видеопотока, в силу их значительных отличий по цвету и яркости.
Известен способ идентификации кадров-вставок в потоке мультимедийных данных (патент RU №2506640 от 10.02.2014 г.), заключающийся в определении признаков яркости и сравнении их значений с пороговым, вычислении суммарной дифференциальной яркости каждого кадра-разности и порогового значения яркости трех предыдущих кадров-разностей, сравнении яркостных характеристик кадра-разности с вычисляемым по ходу смены кадров видеопотока пороговым значением суммарной дифференциальной яркости предыдущих трех кадров-разности.
При такой совокупности описанных действий достигается уменьшение количества ошибочных распознаваний, как кадров-вставок, так и кадров отдельных сюжетных линий (сцен) видеопотока.
Недостатком данного способа является низкая частота обнаружения кадров-вставок в потоке мультимедийных данных при анализе последовательности кадров с динамично изменяющимися изображениями и интенсивной сменой яркости.
Наиболее близким по технической сущности и выполняемым функциям аналогом (прототипом) к заявленному является способ идентификации кадров потока мультимедийных данных на основе корреляционного анализа гистограмм изображений кадров (патент RU №2607415 от 27.12.2016 г.), заключающийся в том, что на основе изображений кадров потока мультимедийных данных формируют последовательность изображений наблюдаемых окон, состоящих из восьми кадров, в которых будет производиться поиск одного, двух или трех кадров-вставок, для каждого изображения вычисляют гистограммы по основным компонентам цвета пикселя, для каждого окна по каждой основной компоненте цвета пикселя определяют статистические характеристики интенсивности цвета изображения кадра и девять коэффициентов корреляций, определяют средние значения коэффициентов корреляции групп изображений кадров, по заданному критерию сравнения коэффициентов корреляции принимают решение о принадлежности видеокадра потока мультимедийных данных к одному из классов: кадры видеоизображения или кадры-вставки, формируют новое окно для идентификации вновь поступающих кадров в потоке мультимедийных данных.
Однако недостатком способа-прототипа является большая частота пропуска кадра-вставки и частота ложного обнаружения кадра-вставки при оценке классов кадров в потоке мультимедийных данных, в которых часть изображений статична, а другая часть динамично изменяется.
Задачей изобретения является создание способа идентификации кадров в потоке мультимедийных данных, позволяющего уменьшить частоту пропуска кадра-вставки и частоту ложного обнаружения кадра-вставки в потоке мультимедийных данных при оценке классов кадров, в которых часть изображений статична, а другая часть динамично изменяется.
В заявленном способе эта задача решается тем, что в способе идентификации кадров в потоке мультимедийных данных, заключающемся в том, что на основе изображений кадров потока мультимедийных данных формируют последовательность изображений наблюдаемых окон, состоящих из восьми кадров, в которых будет производиться поиск одного, двух или трех кадров-вставок, для каждого изображения определяют множества интенсивностей основных компонентов цвета пикселей, для каждого изображения вычисляют гистограммы по основным компонентам цвета пикселя, формируют новое окно для идентификации вновь поступающих кадров в потоке мультимедийных данных, отличающийся тем, что определяют коэффициенты полиномов, аппроксимирующих гистограммы изображений кадров, принимают решение о принадлежности видеокадра потока мультимедийных данных к одному из классов кадры видеоизображения или кадры-вставки по заданному критерию сравнения коэффициентов полиномов, аппроксимирующих гистограммы изображений кадров с динамическим порогом принятия решения.
Новая совокупность существенных признаков позволяет достичь указанного технического результата за счет аппроксимации методом интерполирования всех 24 полученных гистограмм, характеризующих изображения всех восьми кадров наблюдаемого окна по основным компонентам цвета пикселя, определения и сравнения коэффициентов полиномов, аппроксимируемых гистограммы изображений кадров с динамическим порогом принятия решения для оценке классов кадров в потоке мультимедийных данных, в которых часть изображений статична, а другая часть динамично изменяется.
Проведенный анализ уровня техники позволил установить, что аналоги, характеризующиеся совокупностью признаков, тождественных всем признакам заявленного способа идентификации кадров в потоке мультимедийных данных, отсутствуют. Следовательно, заявленное изобретение соответствует условию патентоспособности «новизна».
Результаты поиска известных решений в данной и смежных областях техники с целью выявления признаков, совпадающих с отличительными от прототипа признаками заявленного объекта, показали, что они не следуют явным образом из уровня техники. Из уровня техники также не выявлена известность влияния предусматриваемых существенными признаками заявленного изобретения преобразований на достижение указанного технического результата. Следовательно, заявленное изобретение соответствует условию патентоспособности «изобретательский уровень».
Промышленная применимость изобретения обусловлена тем, что устройство, реализующее предложенный способ, может быть осуществлено с помощью современной элементной базы, в качестве которой используются современные высокопроизводительные программируемые логические интегральные схемы (ПЛИС) типа Xilinx Spartan-6 LX45 FPGA или Xilinx Virtex-7 2000T архитектуры FPGA, обеспечивающие быстродействующую обработку потока изображений (Угрюмов Е.П., Программируемые логические матрицы, программируемая матричная логика, базовые матричные кристаллы / Цифровая схемотехника. Учебное пособие для вузов. Изд. 2, БХВ-Петербург, 2004. Глава 7 - 357 с.).
Заявленные способ поясняется чертежами, на которых:
на фиг. 1 - блок-схема способа идентификации кадров в потоке мультимедийных данных;
на фиг. 2 - гистограммы изображения по основным компонентам цвета;
на фиг. 3 - сравнение коэффициентов полиномов, аппроксимирующих гистограммы изображений кадров, при одном кадре-вставки;
на фиг. 4 - сравнение коэффициентов полиномов, аппроксимирующих гистограммы изображений кадров, при двух кадрах-вставок;
на фиг. 5 - сравнение коэффициентов полиномов, аппроксимирующих гистограммы изображений кадров, при трех кадрах-вставок;
на фиг. 6 - идентификации кадра-вставки в потоке мультимедийных данных на основе сравнения коэффициентов полиномов, аппроксимирующих гистограммы изображений кадров с динамическим порогом принятия решения;
на фиг. 7 - идентификации двух кадров-вставок в потоке мультимедийных данных на основе сравнения коэффициентов полиномов, аппроксимирующих гистограммы изображений кадров с динамическим порогом принятия решения;
на фиг. 8 - идентификации трех кадров-вставок в потоке мультимедийных данных на основе сравнения коэффициентов полиномов, аппроксимирующих гистограммы изображений кадров с динамическим порогом принятия решения.
Реализация заявленного способа заключается в следующем (фиг. 1).
Исходными данными, необходимыми для идентификации кадра-вставки, являются следующие величины:
Figure 00000001
- множество изображений кадров в видеопотоке
Figure 00000002
Δ3 - априорно заданная абсолютная погрешность сравнения коэффициентов полиномов, заданная для определения порога принятия решения о классе наблюдаемого кадра.
101. На основе изображений кадров в потоке мультимедийных данных формируют последовательность изображений наблюдаемых окон, состоящих из восьми кадров, в которых будет производиться поиск одного, двух или трех кадров-вставок.
На данном этапе на основе изображений
Figure 00000003
кадров мультимедийного потока
Figure 00000004
осуществляется формирование последовательности изображений окон
Figure 00000005
, в которых будет производиться идентификация кадров.
Формально цифровую обработку изображения на данном этапе представим отображением:
Figure 00000006
Каждое о-тое окно
Figure 00000007
включает восемь изображений подряд поступающих кадров:
Figure 00000008
где ko - текущий номер изображения кадра в о-том окне;
о=k+3 - текущий номер окна;
k - текущий номер кадра в мультимедийном потоке.
102. Для каждого изображения определяют множества интенсивностей основных компонентов цвета пикселей.
На втором этапе для каждого ko-того изображения
Figure 00000009
о-того окна, где
Figure 00000010
, определяются множества интенсивностей:
Figure 00000011
Figure 00000012
основных компонентов цвета пикселей
Figure 00000013
, которые представим в виде соответствующих матриц:
Figure 00000014
Figure 00000015
Figure 00000016
Формально цифровую обработку изображения на данном этапе представим отображением:
Figure 00000017
103. Для каждого изображения вычисляют гистограммы по основным компонентам цвета пикселя (фиг. 2).
На данном этапе для каждого изображения
Figure 00000018
о-того окна находятся гистограммы
Figure 00000019
по интенсивностям ξ ∈ (r,g,b) основных компонентов цвета пикселя:
Figure 00000020
,
Figure 00000021
;
Figure 00000022
,
Figure 00000023
и
Figure 00000024
,
Figure 00000025
.
Формально цифровую обработку изображения на данном этапе представим отображением:
Figure 00000026
где
Figure 00000027
104. Определяют коэффициенты полиномов, аппроксимирующих гистограммы изображений кадров.
На данном этапе, используя дроби Чебышева:
Figure 00000028
где ξ ∈ (r,g,b) - интенсивности основных компонентов цвета пикселя;
М+N=255 - число уравнений.
Аппроксимируем методом интерполирования все 24 полученные на предыдущем этапе гистограммы
Figure 00000029
,
Figure 00000030
, ξ ∈ (r,g,b), характеризующие изображения всех восьми кадров наблюдаемого окна по основным компонентам цвета пикселя.
Руководствуясь принципом метода интерполирования, на данном этапе для каждого ko-того изображения
Figure 00000031
о-того окна по интенсивностям ξ ∈ (r,g,b) всех трех основных компонентов цвета пикселя составляются системы уравнений вида:
Figure 00000032
Методом целочисленного линейного программирования находим все N+M+1=256 неизвестных значений варьируемых параметров дробно рациональных функций
Figure 00000033
.
Формально цифровую обработку изображения на данном этапе представим отображением:
Figure 00000034
где:
Figure 00000035
- множество гистограмм ko-го изображения
Figure 00000036
о-того окна по интенсивностям ξ ∈ (r,g,b) всех трех основных компонентов цвета пикселя;
Figure 00000037
- множество дробно рациональных функций, аппроксимирующих гистограммы ko-того изображения
Figure 00000038
о-того окна по интенсивностям ξ ∈ (r,g,b).
Для каждого наблюдаемого о-того окна значения варьируемых параметров аппроксимирующих функций, найденные в ходе решения систем уравнений вида (11), объединяются в массивы коэффициентов полиномов
Figure 00000039
, которые для каждого изображения
Figure 00000040
представим матрицей:
Figure 00000041
Формально цифровую обработку изображения на данном этапе представим отображением:
Figure 00000042
Для каждого о-того окна определяем разности матриц коэффициентов полиномов:
Figure 00000043
Формально цифровую обработку изображения на данном этапе представим отображением:
Figure 00000044
Для каждого о-того окна определяем точную верхнюю границу (супремум) множества коэффициентов полиномов
Figure 00000045
. Данное действие опишем отображением:
Figure 00000046
105. Принимают решение о принадлежности видеокадра потока мультимедийных данных к одному из классов кадры видеоизображения или кадры-вставки по заданному критерию сравнения коэффициентов полиномов, аппроксимирующих гистограммы изображений кадров с динамическим порогом принятия решения.
Принятие решения о классе кадров осуществляется по критериям:
Figure 00000047
Figure 00000048
Figure 00000049
При выполнении условия (18) принимается решение, что пятый кадр анализируемого окна принадлежит к классу кадров видеопотока, то есть
Figure 00000050
, и происходит формирование нового окна, то есть о=о+1. При невыполнении этого условия делается предположение о возможности нахождения в мультимедийном потоке кадров-вставок или о начале следующего сюжета с кадра
Figure 00000051
.
При не выполнении условия (19) принимается решение, что пятый кадр анализируемого окна принадлежит к классу вставок (фиг. 3), то есть
Figure 00000052
, и происходит формирование нового окна, то есть о=о+1. При выполнении этого условия делается предположение о возможности нахождения в мультимедийном потоке вставки, содержащей более одного кадра.
При невыполнении условия (20) принимается решение, что пятый и шестой кадры анализируемого окна принадлежит к классу вставок (фиг. 4), то есть
Figure 00000053
, и происходит формирование нового окна, то есть o=o+1.
При выполнении этого условия определяется новый порог принятия решения:
Figure 00000054
Принятие решения о классе кадров осуществляется по критериям:
Figure 00000055
При выполнении условия (22) принимается решение, что начался новый сюжет и происходит формирование нового окна, то есть о=о+1. В противном случае принимается решение, что пятый, шестой и седьмой кадры анализируемого окна принадлежит к классу кадров-вставок (фиг. 5), то есть
Figure 00000056
,
Figure 00000057
,
Figure 00000058
и происходит формирование нового окна о=о+1.
106. Формируют новое окно для идентификации вновь поступающих кадров в потоке мультимедийных данных.
Экспериментальная проверка способа идентификации кадров потока мультимедийных данных была выполнена на ЭВМ в среде графического программирования LabVIEW с использованием библиотеки компьютерного зрения OpenCV и дополнительных библиотек функций реализованных в С++ при следующих исходных данных:
1) 100 видеороликов без кадров-вставок длительностью от 1 до 5 минут с различным количеством сюжетных линий;
2) 100 видеороликов с размещенными через каждые 100 кадров кадрами-вставками (количество подряд идущих кадров-вставок от 1 до 3);
3) кадры видеороликов и кадры-вставки не искажены и имеют нормальное качество.
Для примера идентификация кадра-вставки в потоке мультимедийных данных представлена на фиг. 6. Идентификация двух кадров-вставок в потоке мультимедийных данных представлена на фиг. 7. Идентификация трех кадров-вставок в потоке мультимедийных данных представлена на фиг. 8.
Результаты экспериментов показали, что в потоке мультимедийных данных, когда часть изображений статична, а другая часть динамично изменяется, частота пропуска кадра-вставки у способа-прототипа составляет 34%, а у заявленного способа - 24%, при этом частота ложного обнаружения кадра-вставки у способа-прототипа составляет 18%, а у заявленного способа - 13%.
Таким образом, эффективность заявленного способа по сравнению со способом-прототипом лучше на 10% по частоте пропуска кадра-вставки и на 5% по частоте ложного обнаружения кадра-вставки, за счет чего достигается уменьшение частоты пропуска кадра-вставки и частоты ложного обнаружения кадра-вставки при оценке классов кадров в потоке мультимедийных данных, в которых часть изображений статична, а другая часть динамично изменяется.
Заявленный способ идентификации кадров в потоке мультимедийных данных обеспечивает уменьшение частоты пропуска кадра-вставки и частоты ложного обнаружения кадра-вставки при оценке классов кадров в потоке мультимедийных данных, в которых часть изображений статична, а другая часть динамично изменяется за счет аппроксимации методом интерполирования всех 24 полученных гистограмм, характеризующих изображения всех восьми кадров наблюдаемого окна по основным компонентам цвета пикселя, определения и сравнения коэффициентов полиномов, аппроксимируемых гистограммы изображений кадров с динамическим порогом принятия решения для оценке классов кадров в потоке мультимедийных данных, в которых часть изображений статична, а другая часть динамично изменяется.

Claims (1)

  1. Способ идентификации кадров потока мультимедийных данных на основе сравнения коэффициентов полиномов, аппроксимирующих гистограммы изображений кадров, заключающийся в том, что на основе изображений кадров потока мультимедийных данных формируют последовательность изображений наблюдаемых окон, состоящих из восьми кадров, в которых будет производиться поиск одного, двух или трех кадров-вставок, для каждого изображения определяют множества интенсивностей основных компонентов цвета пикселей, для каждого изображения вычисляют гистограммы по основным компонентам цвета пикселя, формируют новое окно для идентификации вновь поступающих кадров в потоке мультимедийных данных, отличающийся тем, что определяют коэффициенты полиномов, аппроксимирующих гистограммы изображений кадров, принимают решение о принадлежности видеокадра потока мультимедийных данных к одному из классов: кадры видеоизображения или кадры-вставки, по заданному критерию сравнения коэффициентов полиномов, аппроксимирующих гистограммы изображений кадров с динамическим порогом принятия решения.
RU2017137206A 2017-10-23 2017-10-23 Способ идентификации кадров в потоке мультимедийных данных RU2673966C1 (ru)

Priority Applications (1)

Application Number Priority Date Filing Date Title
RU2017137206A RU2673966C1 (ru) 2017-10-23 2017-10-23 Способ идентификации кадров в потоке мультимедийных данных

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
RU2017137206A RU2673966C1 (ru) 2017-10-23 2017-10-23 Способ идентификации кадров в потоке мультимедийных данных

Publications (1)

Publication Number Publication Date
RU2673966C1 true RU2673966C1 (ru) 2018-12-03

Family

ID=64603808

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2017137206A RU2673966C1 (ru) 2017-10-23 2017-10-23 Способ идентификации кадров в потоке мультимедийных данных

Country Status (1)

Country Link
RU (1) RU2673966C1 (ru)

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2108005C1 (ru) * 1994-03-14 1998-03-27 Скитекс Америка Корпорейшн Способ имплантации изображения и устройство для его осуществления
RU2138851C1 (ru) * 1992-08-06 1999-09-27 Де ла рю Жиори С.А. Устройство для обработки изображений и способ определения линейного сдвига изображения
US20020037103A1 (en) * 2000-01-06 2002-03-28 Hong Qi He Method of and apparatus for segmenting a pixellated image
RU2216044C2 (ru) * 1998-08-05 2003-11-10 ШУЛЬЦЕ Клаус, др.-инж. Способ идентификации подлинных серий изображений и устройство для его осуществления
RU2495494C2 (ru) * 2011-10-12 2013-10-10 Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "Высшая школа экономики" Способ внесения дополнительной информации в цифровые графические изображения (варианты)
RU2506640C2 (ru) * 2012-03-12 2014-02-10 Государственное казенное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) Способ идентификации кадров-вставок в потоке мультимедийных данных
RU2607415C2 (ru) * 2015-04-21 2017-01-10 Федеральное государственное казенное военное образовательное учреждение высшего образования "Академия Федеральной службы охраны Российской Федерации" (Академия ФСО России) Способ идентификации кадров потока мультимедийных данных на основе корреляционного анализа гистограмм изображений кадров
WO2017083179A1 (en) * 2015-11-13 2017-05-18 Microsoft Technology Licensing, Llc Content file image analysis

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2138851C1 (ru) * 1992-08-06 1999-09-27 Де ла рю Жиори С.А. Устройство для обработки изображений и способ определения линейного сдвига изображения
RU2108005C1 (ru) * 1994-03-14 1998-03-27 Скитекс Америка Корпорейшн Способ имплантации изображения и устройство для его осуществления
RU2216044C2 (ru) * 1998-08-05 2003-11-10 ШУЛЬЦЕ Клаус, др.-инж. Способ идентификации подлинных серий изображений и устройство для его осуществления
US20020037103A1 (en) * 2000-01-06 2002-03-28 Hong Qi He Method of and apparatus for segmenting a pixellated image
RU2495494C2 (ru) * 2011-10-12 2013-10-10 Федеральное государственное автономное образовательное учреждение высшего профессионального образования "Национальный исследовательский университет "Высшая школа экономики" Способ внесения дополнительной информации в цифровые графические изображения (варианты)
RU2506640C2 (ru) * 2012-03-12 2014-02-10 Государственное казенное образовательное учреждение высшего профессионального образования Академия Федеральной службы охраны Российской Федерации (Академия ФСО России) Способ идентификации кадров-вставок в потоке мультимедийных данных
RU2607415C2 (ru) * 2015-04-21 2017-01-10 Федеральное государственное казенное военное образовательное учреждение высшего образования "Академия Федеральной службы охраны Российской Федерации" (Академия ФСО России) Способ идентификации кадров потока мультимедийных данных на основе корреляционного анализа гистограмм изображений кадров
WO2017083179A1 (en) * 2015-11-13 2017-05-18 Microsoft Technology Licensing, Llc Content file image analysis

Similar Documents

Publication Publication Date Title
Mahmoud A new fast skin color detection technique
US8773430B2 (en) Method for distinguishing a 3D image from a 2D image and for identifying the presence of a 3D image format by feature correspondence determination
CN102473291B (zh) 体育视频中的远视场景的检测和自适应视频处理方法
KR20010033552A (ko) 비디오 시퀀스의 변환 검출
US20120242792A1 (en) Method and apparatus for distinguishing a 3d image from a 2d image and for identifying the presence of a 3d image format by image difference determination
Reina et al. Adaptive traffic road sign panels text extraction
KR20180011215A (ko) 이미지를 위한 깊이 맵을 결정하기 위한 방법 및 장치
Wan et al. A new technique for summarizing video sequences through histogram evolution
Yan et al. No reference quality assessment for 3D synthesized views by local structure variation and global naturalness change
CN110830788A (zh) 一种检测黑屏图像的方法及装置
Thapa et al. Moving object detection and segmentation using frame differencing and summing technique
Liu et al. Splicing forgery exposure in digital image by detecting noise discrepancies
RU2673966C1 (ru) Способ идентификации кадров в потоке мультимедийных данных
Nugroho et al. Negative content filtering for video application
CN111160340B (zh) 一种运动目标检测方法、装置、存储介质及终端设备
CN102289795A (zh) 基于融合思想的视频时空联合增强方法
CN109978916B (zh) 基于灰度图像特征匹配的Vibe运动目标检测方法
KR20030027953A (ko) 영상 정보에서의 자동적인 자연 콘텐트 검출
RU2607415C2 (ru) Способ идентификации кадров потока мультимедийных данных на основе корреляционного анализа гистограмм изображений кадров
CN114449362B (zh) 视频封面的选取方法、装置、设备及存储介质
KR102413043B1 (ko) 영상 컨텐츠의 샷 분할 방법 및 장치
RU2506640C2 (ru) Способ идентификации кадров-вставок в потоке мультимедийных данных
Calagari et al. Data driven 2-D-to-3-D video conversion for soccer
CN108737814B (zh) 一种基于动态模式分解的视频镜头检测方法
Tang et al. Colour harmonisation for images and videos via two-level graph cut

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20191024