RU2506640C2 - Способ идентификации кадров-вставок в потоке мультимедийных данных - Google Patents
Способ идентификации кадров-вставок в потоке мультимедийных данных Download PDFInfo
- Publication number
- RU2506640C2 RU2506640C2 RU2012109379/08A RU2012109379A RU2506640C2 RU 2506640 C2 RU2506640 C2 RU 2506640C2 RU 2012109379/08 A RU2012109379/08 A RU 2012109379/08A RU 2012109379 A RU2012109379 A RU 2012109379A RU 2506640 C2 RU2506640 C2 RU 2506640C2
- Authority
- RU
- Russia
- Prior art keywords
- frames
- brightness
- frame
- insert
- video stream
- Prior art date
Links
Images
Landscapes
- Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
- Television Signal Processing For Recording (AREA)
Abstract
Изобретение относится к средствам обработки данных изображений. Техническим результатом является уменьшение количества ошибочных распознаваний кадров-вставок в потоке мультимедийных данных. В способе вычисляют суммарную дифференциальную яркость каждого кадра-разности и пороговое значение яркости трех предыдущих кадров-разностей, сравнивают яркостные характеристики кадра-разности с вычисляемым по ходу смены кадров видеопотока пороговым значением суммарной дифференциальной яркости, идентифицируют первую границу кадра-вставки и идентифицируют кадр-вставку указанного потока. 5 ил.
Description
Изобретение относится к области вычислительной техники, а именно к системам анализа изображений, и предназначено для использования в сфере обработки данных изображений.
Способ идентификации кадров-вставок в потоке мультимедийных данных необходим для предотвращения негативного воздействия на уровень бессознательного восприятия человека с помощью подпороговых стимулов. Указанное воздействие зачастую применяется скрытно в виде дополнительных кадров, вставленных в поток мультимедийных данных.
Под кадрами-вставками понимаются кадры количеством от 1 до 3, добавленные в любое место видеопотока и отличающиеся от кадров текущей сюжетной линии (сцены) визуально и статистически.
Концепция идентификации и сравнения кадров в потоке мультимедийных данных включает в себя ряд методов. Большинство из них в качестве статистического признака для выявления скрытых кадров-вставок в видеопотоке используют величину интегральной яркости кадров, сравнивая ее с некоторым эталонным значением.
Известны устройство для обработки изображений и способ определения линейного сдвига изображения (патент RU 2138851 С1, опубл. 05.08.1993 г. Авторы: Кристоф Айзенбарт (DE), Ира Финкельштайн (US), Дэннис Мак Ги (US), Эдвард Панофский (US)), которые позволяют обнаруживать несовпадение фактического изображения относительно опорного и обеспечивать их максимальное совпадение. Этот технический результат достигается благодаря тому, что воспринимают два участка фактического изображения, запоминают два аналогичных участка опорного изображения, сравнивают соответствующие участки фактического и опорного изображений и определяют наличие сдвига, причем повторяют сравнение для тех же участков после сдвига фактического изображения на заранее заданное число пикселей по осям Х и Y, при этом вычисляют абсолютные значения разностей между соответствующими участками фактического и опорного изображений для каждого сдвига и сохраняют в памяти как полученные абсолютные значения, так и их сумму.
Недостатком данного аналога является то, что при идентификации видеовставки в процессе сравнения невозможно выделить опорное изображение, участки кадра для сравнения и пороговое значение линейного сдвига, так как оно будет динамически изменяться в результате смены сюжетов в видеопотоке.
Наиболее близкими по технической сущности и выполняемым функциям к заявляемому изобретению (прототипом) являются способ идентификации подлинных серий изображений и устройство для его осуществления (патент RU 2216044 С2, опубл. 10.11.2003. Автор Шульце Клаус (DE)), которые позволяют получить технический результат в виде повышения эффективности процедур учета и хронометрирования рекламных сообщений, видеоклипов, политических выступлений.
Этот результат достигается за счет того, что для отдельных изображений из серий изображений определяют признаки яркости, преобразуют их в цифровую форму и сравнивают с эталоном, при этом признаки яркости декоррелируют квазистохастическим отбором по множеству изображений.
Недостатком прототипа является низкая эффективность определения кадров-вставок в видеопотоке, обусловленная тем, что по одному изображению, определяющему эталонные признаки яркости, невозможно получить полную статистическую информацию, характеризующую яркостные свойства каждой из наблюдаемых динамически меняющихся сцен видеопотока в силу их значительных отличий по цвету и яркости.
Задачей изобретения является создание способа идентификации кадров-вставок в потоке мультимедийных данных, позволяющего уменьшить количество ошибочных распознаваний как кадров-вставок, так и кадров отдельных сюжетных линий (сцен).
Эта задача решается тем, что способ идентификации кадров-вставок в потоке мультимедийных данных, включающий в себя операции определения яркости кадров, цифрового сравнения по яркостным составляющим двух кадров, согласно изобретению дополнены операции попиксельного сравнения двух изображений по определению кадра-разности и вычисления суммарной дифференциальной яркости каждого кадра-разности и порогового значения яркости трех предыдущих кадров-разностей, а также операции сравнения яркостных характеристик кадра-разности с вычисляемым по ходу смены кадров видеопотока пороговьм значением суммарной дифференциальной яркости предыдущих трех кадров-разностей.
Результат предлагаемого способа достигается за счет формирования и выполнения математического критерия R:
при ограничениях:
- количество кадров в визуальной вставке не превышает трех;
- первые четыре кадра сюжетной линии не являются вставкой;
- вставка не располагается на границе двух сюжетных линий, где
- Ω={Ω1,Ω2} - множество классов кадров видеопотока, Ω1 - кадр-вставка; Ω2 - обычный кадр сюжетной линии.
Перечисленная новая совокупность операций обеспечивает возможность снижения количества ошибочно идентифицированных кадров-вставок и кадров отдельных сюжетных линий при различной скорости смены сцен в видеопотоке.
Проведенный анализ уровня техники позволил установить, что аналоги, характеризующиеся совокупностью признаков, тождественных всем признакам заявленного технического решения, отсутствуют, что указывает на соответствие заявленного способа условию патентоспособности "новизна".
Результаты поиска известных решений в данной и смежных областях техники с целью выявления признаков, совпадающих с отличительными от прототипа признаками заявленного объекта, показали, что они не следуют явным образом из уровня техники. Из уровня техники также не выявлена известность отличительных существенных признаков, обусловливающих тот же технический результат, который достигнут в заявляемом способе. Следовательно, заявленное изобретение соответствует условию патентоспособности "изобретательский уровень".
Заявленный способ поясняется чертежами, на которых показано:
фиг.1 - общая схема операций, реализующих в совокупности способ идентификации кадров-вставок;
фиг.2 - результат действия логической операции по формированию кадров-разностей;
фиг.3 - алгоритм вычисления порогового значения яркости Lp;
фиг.4 - алгоритм идентификации кадров видеопотока методом сравнения яркостных характеристик кадров-разностей с их пороговым значением Lp;
фиг.5 - принцип работы методики экстремальной суммарной дифференциальной яркости.
Общая схема последовательности операций заявленного способа, представленная на фиг.1, работает следующим образом.
На блок присвоения номеров кадрам видеопотока и сюжетам 2 подается упорядоченная последовательность видеокадров с блока преобразования видеопотока в кадры RGB 1. (Видеокадры из фильма Роберта Родригеса "От заката до рассвета" (From Durk Till Dawn).)
Цифровой кадр в видеопотоке представляет функцию распределения яркости или цвета на двумерной плоскости: f(i,j), где i и j - декартовы координаты, описывающие плоскость кадра. С математической точки зрения кадр представляет собой двумерную матрицу Im[i,j] размера (DimH×DimW), где i=1(1)H - целое число, описывающее номер элемента в строке, а j=1(1)W - номер строки матрицы, в которой расположен элемент. Элемент кадра (пиксель) имеет целочисленное значение, пропорциональное значению функции распределения яркости f(i,j) в данной точке плоскости. Обозначается пиксель кадра р-го сюжета с координатами (i,j) и цветовыми составляющими Red, Green, Blue в виде
, где W - ширина кадра в пикселях, а H - его высота. Значения Н и W экспортируются в блок инициализации 3.
В блоке логической побитовой разности последовательно идущих кадров видеопотока 4 производится операция, которая в пикселях текущего кадра
оставляет единичными только те биты, которые отсутствуют в соответствующих пикселях последующего
, в соответствии со значениями Н и W, поступающими с выхода блока инициализации, по правилу F,:
F - правило построения кадров разностей:
Результат действия данной операции показан на фиг.2. (Визильтер Ю.В., Желтов С.Ю., Князь В.А. и др. Обработка и анализ цифровых изображений с примерами на Lab VIEW IMAQ Vision. - M.: ДМК Пресс, 2007. - 464 с.).
В блоке 4, определяются кадры разности для
и
,
и
,
и
кадров видеопотока
,
,
, поступающие в блок вычисления суммарной дифференциальной яркости каждого кадра разности - 5. В блоке 5 осуществляется вычисление суммарных яркостей
,
,
кадров разностей по выражению
Исследование кадров видеопотока показало, что по одному статическому изображению проблематично получить всю необходимую информацию, характеризующую яркостные свойства наблюдаемых динамически меняющихся сцен, так как у всех они разные. Следовательно, возникает необходимость в определении среднего значения яркости, свойственного каждой сюжетной линии.
В блоке 6 осуществляется вычисление порогового значения яркости Lp p-го сюжета трех предыдущих кадров разностей по выражению
где Δ - абсолютная погрешность дифференциальной яркости, определяемая эмпирически, поступающая из блока инициализации 3.
Схема операции вычисления порогового значения яркости Lp р-го сюжета представлена на фиг.3
После определения порогового значения яркости в блоке 7 происходит сравнение суммарных дифференциальных яркостей последующих кадров-разностей с пороговым значением по следующему правилу:
1. В блоке 4 определяется кадр-разность для
и
кадров видеопотока
, а в блоке 5 вычисляется его суммарная дифференциальная яркость
.
- кадра-вставки;
- подлежащих выделению кадров видеопотока;
- нового p+1 сюжета.
При выполнении условия
исследуется следующий кадр данного сюжета l=l+1 и в блоке 6 вычисляется новое пороговое значения яркости Lp как среднее арифметическое значение суммарных дифференциальных яркостей трех кадров-разностей:
,
и
2. В блоках 4 и 5 определяются кадр-разность для
и
кадров видеопотока
и его суммарная дифференциальная яркость
.
При неравенстве
идентифицируется
, кадр-вставка, поступающий в блок выделения кадров видеопотока 8, а при суммарной яркости
, в блоках 4 и 5 определяются кадр-разность для
и
кадров видеопотока
и его суммарная дифференциальная яркость
.
3. При выполнении условия
выделяются
и
кадры видеопотока, поступающие в блок 8, а при
в блоках 4 и 5 определяются кадр-разность для
и
кадров видеопотока
и суммарная дифференциальная яркость
.
4. При условии
вьщеляются
,
и
кадры видеопотока, поступающие в блок 8, иначе в блоке 2 осуществляется переход на р+1 сюжет и в блоке 6 пересчитывается пороговое значение яркости относительно
,
,
и
кадров видеопотока.
Выделенные кадры из видеопотока хранятся в блоке 9. (Выделенные видеокадры из фильма Роберта Родригеса "От заката до рассвета" (From Durk Till Dawn)).
Алгоритм, поясняющий критерий идентификации видеокадров в мультимедийном потоке информации, отражен на фиг.4.
Принцип работы методики экстремальной суммарной дифференциальной яркости представлен на фиг.5.
Экспериментальная проверка способа идентификации кадров-вставок была выполнена на ЭВМ в пакете прикладной математики Matlab 2008b при следующих исходных данных:
1) 100 видеороликов без кадров-вставок длительностью от 1 до 5 минут с различным количеством сюжетных линий;
2) 100 видеороликов с размещенными через каждые 100 кадров кадрами-вставками (количество подряд идущих кадров-вставок от 1 до 3);
3) кадры видеороликов и кадры-вставки не искажены и имеют высокое качество.
Результаты экспериментов показали, что в условиях отсутствия априорных сведений о наличии в анализируемом видеопотоке кадров-вставок известный способ (прототип) правильно идентифицировал 10% кадров-вставок при ошибочном распознавании сюжетных линий в 67%, а с помощью заявленного способа удалось правильно идентифицировать 89% кадров-вставок при ошибочном распознавании сюжетных линий в 12%. Это подтверждает существенный положительный эффект от внедрения нового способа.
Полученные результаты дают основания для вывода, что заявленный способ идентификации кадров-вставок в потоке мультимедийных данных имеет лучшие характеристики по точности распознавания кадров-вставок по сравнению с прототипом.
Таким образом, при такой совокупности существенных признаков в процессе идентификации кадров-вставок в видеопотоке обеспечивается уменьшение количества ошибочно идентифицированных кадров-вставок и кадров отдельных сюжетных линий в видеопотоке.
Промышленная применимость изобретения обусловлена тем, что устройство, реализующее предложенный способ, может быть осуществлено с помощью современной элементной базы, с достижением указанного в изобретении назначения.
Claims (1)
- Способ идентификации кадров-вставок в потоке мультимедийных данных, заключающийся в определении признаков яркости и сравнении их значений с пороговым, отличающийся тем, что дополнительно вычисляют суммарную дифференциальную яркость каждого кадра-разности и пороговое значение яркости трех предыдущих кадров-разностей, сравнивают яркостные характеристики кадра-разности с вычисляемым по ходу смены кадров видеопотока пороговым значением суммарной дифференциальной яркости, при этом, если суммарная дифференциальная яркость
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2012109379/08A RU2506640C2 (ru) | 2012-03-12 | 2012-03-12 | Способ идентификации кадров-вставок в потоке мультимедийных данных |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
RU2012109379/08A RU2506640C2 (ru) | 2012-03-12 | 2012-03-12 | Способ идентификации кадров-вставок в потоке мультимедийных данных |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2012109379A RU2012109379A (ru) | 2013-09-20 |
RU2506640C2 true RU2506640C2 (ru) | 2014-02-10 |
Family
ID=49182910
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2012109379/08A RU2506640C2 (ru) | 2012-03-12 | 2012-03-12 | Способ идентификации кадров-вставок в потоке мультимедийных данных |
Country Status (1)
Country | Link |
---|---|
RU (1) | RU2506640C2 (ru) |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2652508C2 (ru) * | 2016-09-30 | 2018-04-26 | Общество с ограниченной ответственностью "СТРИМ Лабс" (ООО "СТРИМ Лабс") | Способ и система для идентификации группы кадров цифрового телевещания |
RU2673966C1 (ru) * | 2017-10-23 | 2018-12-03 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Академия Федеральной службы охраны Российской Федерации" (Академия ФСО России) | Способ идентификации кадров в потоке мультимедийных данных |
Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR20000060674A (ko) * | 1999-03-18 | 2000-10-16 | 이준환 | 압축된 뉴스 영상의 장면전환 및 기사 검출방법 |
RU2216044C2 (ru) * | 1998-08-05 | 2003-11-10 | ШУЛЬЦЕ Клаус, др.-инж. | Способ идентификации подлинных серий изображений и устройство для его осуществления |
JP2006155491A (ja) * | 2004-12-01 | 2006-06-15 | Samsung Yokohama Research Institute Co Ltd | シーンチェンジ検出方法 |
CN1984236A (zh) * | 2005-12-14 | 2007-06-20 | 浙江工业大学 | 一种交通流信息视频检测中的特征采集方法 |
WO2012005946A1 (en) * | 2010-07-08 | 2012-01-12 | Spinella Ip Holdings, Inc. | System and method for shot change detection in a video sequence |
-
2012
- 2012-03-12 RU RU2012109379/08A patent/RU2506640C2/ru not_active IP Right Cessation
Patent Citations (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2216044C2 (ru) * | 1998-08-05 | 2003-11-10 | ШУЛЬЦЕ Клаус, др.-инж. | Способ идентификации подлинных серий изображений и устройство для его осуществления |
KR20000060674A (ko) * | 1999-03-18 | 2000-10-16 | 이준환 | 압축된 뉴스 영상의 장면전환 및 기사 검출방법 |
JP2006155491A (ja) * | 2004-12-01 | 2006-06-15 | Samsung Yokohama Research Institute Co Ltd | シーンチェンジ検出方法 |
CN1984236A (zh) * | 2005-12-14 | 2007-06-20 | 浙江工业大学 | 一种交通流信息视频检测中的特征采集方法 |
WO2012005946A1 (en) * | 2010-07-08 | 2012-01-12 | Spinella Ip Holdings, Inc. | System and method for shot change detection in a video sequence |
Cited By (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
RU2652508C2 (ru) * | 2016-09-30 | 2018-04-26 | Общество с ограниченной ответственностью "СТРИМ Лабс" (ООО "СТРИМ Лабс") | Способ и система для идентификации группы кадров цифрового телевещания |
RU2673966C1 (ru) * | 2017-10-23 | 2018-12-03 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Академия Федеральной службы охраны Российской Федерации" (Академия ФСО России) | Способ идентификации кадров в потоке мультимедийных данных |
Also Published As
Publication number | Publication date |
---|---|
RU2012109379A (ru) | 2013-09-20 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN103916603B (zh) | 逆光检测方法及设备 | |
KR101223046B1 (ko) | 정지장면의 연속프레임 영상에 기반한 영상분할장치 및 방법 | |
CN108133215B (zh) | 一种处理单元 | |
WO2018040756A1 (zh) | 一种车身颜色识别的方法及装置 | |
EP3340075B1 (en) | Video abstract using signed foreground extraction and fusion | |
CN102867295B (zh) | 一种彩色图像颜色校正方法 | |
JP2004348674A (ja) | 領域検出方法及びその装置 | |
US20120235996A1 (en) | Method for distinguishing a 3d image from a 2d image and for identifying the presence of a 3d image format by feature correspondence determination | |
CN106651797B (zh) | 一种信号灯有效区域的确定方法和装置 | |
CN109190617B (zh) | 一种图像的矩形检测方法、装置及存储介质 | |
TWI457853B (zh) | 提供深度資訊之影像處理方法及其影像處理系統 | |
US20160180514A1 (en) | Image processing method and electronic device thereof | |
KR100903816B1 (ko) | 정지영상에서의 얼굴추출시스템과 그 방법 | |
CN111539311A (zh) | 基于ir和rgb双摄的活体判别方法、装置及系统 | |
RU2506640C2 (ru) | Способ идентификации кадров-вставок в потоке мультимедийных данных | |
CN113989531A (zh) | 一种图像处理方法、装置、计算机设备和存储介质 | |
CN101873506B (zh) | 提供深度信息的影像处理方法及其影像处理系统 | |
US9936189B2 (en) | Method for predicting stereoscopic depth and apparatus thereof | |
EP2453383A1 (en) | Facial features detection | |
JP7308913B2 (ja) | 敵対的生成ネットワークアルゴリズムを活用した超分光高速カメラ映像生成方法 | |
CN113158818B (zh) | 用于识别伪造视频的方法、装置和设备 | |
EP2330556A3 (en) | Methods of representing and analysing images | |
CN110794599B (zh) | 一种色偏检测方法、电子设备及计算机可读存储介质 | |
RU2607415C2 (ru) | Способ идентификации кадров потока мультимедийных данных на основе корреляционного анализа гистограмм изображений кадров | |
CN111325658A (zh) | 一种彩色图像自适应去色方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20140313 |