RU2505859C2 - Технологии для детектирования видеокопии - Google Patents
Технологии для детектирования видеокопии Download PDFInfo
- Publication number
- RU2505859C2 RU2505859C2 RU2011153258/08A RU2011153258A RU2505859C2 RU 2505859 C2 RU2505859 C2 RU 2505859C2 RU 2011153258/08 A RU2011153258/08 A RU 2011153258/08A RU 2011153258 A RU2011153258 A RU 2011153258A RU 2505859 C2 RU2505859 C2 RU 2505859C2
- Authority
- RU
- Russia
- Prior art keywords
- surf
- features
- request
- video data
- video
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims abstract description 25
- 238000001514 detection method Methods 0.000 claims description 30
- 238000006073 displacement reaction Methods 0.000 claims description 10
- 230000002123 temporal effect Effects 0.000 claims description 6
- 230000003044 adaptive effect Effects 0.000 claims description 3
- 230000015572 biosynthetic process Effects 0.000 claims description 2
- 239000000284 extract Substances 0.000 claims description 2
- 238000000605 extraction Methods 0.000 claims 2
- 238000005516 engineering process Methods 0.000 abstract description 10
- 239000000126 substance Substances 0.000 abstract 1
- 230000009466 transformation Effects 0.000 description 18
- 238000013459 approach Methods 0.000 description 17
- 238000000844 transformation Methods 0.000 description 15
- 230000006870 function Effects 0.000 description 5
- 230000008859 change Effects 0.000 description 4
- 238000006243 chemical reaction Methods 0.000 description 4
- 238000002474 experimental method Methods 0.000 description 4
- 238000009826 distribution Methods 0.000 description 3
- 238000011156 evaluation Methods 0.000 description 3
- 230000008569 process Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000003860 storage Methods 0.000 description 3
- 238000009825 accumulation Methods 0.000 description 2
- 239000003086 colorant Substances 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000007480 spreading Effects 0.000 description 2
- 238000003892 spreading Methods 0.000 description 2
- 238000012360 testing method Methods 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 238000004422 calculation algorithm Methods 0.000 description 1
- 238000004364 calculation method Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000005520 cutting process Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 238000009499 grossing Methods 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 239000000463 material Substances 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000000644 propagated effect Effects 0.000 description 1
- 238000013138 pruning Methods 0.000 description 1
- 238000011160 research Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 238000005070 sampling Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T7/00—Image analysis
- G06T7/97—Determining parameters from multiple pictures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
- G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
- G06F16/783—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
- G06F16/7847—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content
- G06F16/7864—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using low-level visual features of the video content using domain-transform features, e.g. DCT or wavelet transform coefficients
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V20/00—Scenes; Scene-specific elements
- G06V20/40—Scenes; Scene-specific elements in video content
- G06V20/48—Matching video sequences
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T1/00—General purpose image data processing
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
- G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
- G06V40/20—Movements or behaviour, e.g. gesture recognition
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Library & Information Science (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Data Mining & Analysis (AREA)
- General Engineering & Computer Science (AREA)
- Databases & Information Systems (AREA)
- Social Psychology (AREA)
- General Health & Medical Sciences (AREA)
- Psychiatry (AREA)
- Health & Medical Sciences (AREA)
- Human Computer Interaction (AREA)
- Image Analysis (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Television Signal Processing For Recording (AREA)
- Signal Processing For Digital Recording And Reproducing (AREA)
- Image Processing (AREA)
Abstract
Изобретение относится к средствам детектирования копий видеоданных. Техническим результатом является повышение точности детектирования копий видеоданных за счет построения траектории представляющих интерес устойчивых точек. В способе выделяют ускоренные надежные элементы (SURF) из опорных видеоданных; сохраняют точки SURF из опорных видеоданных; определяют траектории точек SURF как пространственно-временные особенности опорных видеоданных на основе точки SURF; сохраняют траектории точек SURF и формируют индексы для траекторий точек SURF. 4 н. и 20 з.п. ф-лы, 7 ил., 1 табл.
Description
Область техники, к которой относится изобретение
Предмет изобретения, раскрытый здесь, относится, в общем, к технологиям для детектирования видеокопий или копий изображений.
Уровень техники
По мере расширения доступности Интернет и персональных видеоданных детектирование видеокопий становится активной областью исследований в области управлении авторским правом, корпоративных, интеллектуальных ресурсов и мониторинга рекламы. Копии видеоданных представляют собой сегмент видеоданных, полученный из других видеоданных, обычно путем различных преобразований, таких как добавление, удаление и модификация, путем сдвига, обрезки, изменения яркости, контраста, записи на камеру (например, изменение отношения ширины/высоты между 16:9 и 4:3) и/или повторной записи. На фиг.1 показаны некоторые примеры видеокопий. В частности, на фиг.1 представлены в верхнем ряду слева направо: первоначальное видеоизображение, версия с уменьшенным/увеличенным масштабом изображения, и обрезанное видеоизображение, и в нижнем ряду слева направо: видеоизображение со сдвигом, контрастное видеоизображение и видеоизображение, записанное на камеру, и повторно кодированное видеоизображение. Повторное кодирование может включать в себя кодирование видеоизображения с использованием другого кодека или другого качества сжатия. Поскольку эти преобразования изменяют аспекты пространственной временной шкалы видеоизображения, детектирование видеокопии становится очень сложной задачей при управлении авторским правом и поиске видеоизображения/изображения.
Существующие работы по детектированию видеокопии могут быть разделены по категориям, основанным на способах кадра и способах клипа. В подходах, основанных на кадре, предполагается, что набор ключевых кадров представляет собой компактное представление видеосодержания. В технологии, описанной в публикации Р.Duygulu, M. Chen, и A. Hauptmann, "Comparison and Combination of Two Novel Commercial Detection Methods," Proc. CIVR'04, (July 2004), набор визуальных свойств (цвет, кромку и свойства масштабированного инвариантного преобразования (SIFT)) выделяют из этих ключевых кадров. Для детектирования клипа видеокопии технология определяет степень схожести видеосегментов с этими ключевыми кадрами. Подходы на основе кадра являются простыми и эффективными, но не достаточно точными, поскольку они теряют пространственно-временную информацию объекта (например, траекторию движения). Кроме того, трудно составить унифицированную схему выбора ключевого кадра для сопоставления двух видеосегментов.
Способы на основе клипа пытаются характеризовать пространственно-временные особенности по последовательности кадров. Технология, описанная в J. Yuan, L. Duan, Q. Tian, и С. Xu, "Fast and Robust Short Video Clip Search Using an Index Structure," Proc. ACM MIR'04 (2004), представляет собой подход, в котором обычную гистограмму структуры и гистограмму распределения кумулятивных цветов выделяют для характеризации пространственно-временной структуры видеоизображения. Хотя в этом подходе используют временную информацию видеокадров, глобальная особенность гистограммы цветов не позволяет детектировать видеокопии с локальными преобразованиями, полученные например, путем вырезания, сдвига и записи на камеру.
В технологии, описанной в публикации J. Law-To, О. Buisson, V. Gouet-Brunet, Nozha Boujemaa, "Robust Voting Algorithm Based on Labels of Behavior for Video Copy Detection," International Conference on Multimedia (2006), пытаются использовать асимметричную технологию для сопоставления особых точек в тестировании видеоизображения с пространственно-временными траекториями точек, представляющих интерес, в базе данных видеоизображения. Такой подход позволяет детектировать множество преобразований видеокопий, таких как сдвиг, яркость и контраст. Однако при этом не дискриминируют ни элемент точки Харриса, ни инвариант масштаба, и его пространственно-временная регистрация не может детектировать соответствующее преобразование масштаба, например, увеличение/уменьшение масштаба изображения и запись на камеру.
Краткое описание чертежей
Варианты осуществления настоящего изобретения представлены в качестве примера, а не для ограничения, на чертежах,на которых одинаковыми номерами ссылочных позиций обозначены аналогичные элементы.
На фиг.1 показаны некоторые примеры видеокопий.
На фиг.2 показана система детектирования видеокопии в соответствии с вариантом осуществления.
На фиг.3 представлен примерный способ формирования базы данных особых точек и траекторий, в соответствии с вариантом осуществления.
На фиг.4 представлен примерный способ определения копирования видеоданных в соответствии с вариантом осуществления.
На фиг.5 показан пример для баллотировки оптимального смещения в случае одномерного бина в соответствии с вариантом осуществления.
На фиг.6 представлен пример детектирования локальных особенностей от нескольких видеокадров запроса в соответствии с вариантом осуществления.
На фиг.7 представлены кривые характеристики операции приема (ROC), которые описывают производительность системы.
Подробное описание изобретения
Ссылка в данном описании на "один вариант осуществления" или "вариант осуществления" означает, что определенное свойство, структура или характеристика, описанная в связи с вариантом осуществления, включена, по меньшей мере, в один вариант осуществления настоящего изобретения. Таким образом, появление фразы "в одном варианте осуществления" или "в варианте осуществления" в различных местах данного описания не обязательно все относятся к одному и тому же варианту осуществления. Кроме того, определенные свойства, структуры или характеристики могут быть скомбинированы в одном или больше вариантах осуществления.
Различные варианты осуществления обеспечивают подход для детектирования видеокопии на основе построения траектории ускоренных устойчивых элементов (SURF), локально чувствительного индексирования хеш-функции (LSH) и регистрации пространственно-временного масштаба на основе баллотировки.
Ускоренные устойчивые элементы (SURF) характеризуют элементы траектории точек, представляющих интерес при детектировании видеокопий. Различные варианты осуществления работают намного лучше, чем подход на основе свойств Харриса, описанный в статье Law-To. Когда частота ложноположительных кадров составляет 10%, частота достоверно положительных кадров в соответствии с подходом Харриса составляет 68%, в то время как различные варианты осуществления могут достигать частоты 90% действительно положительных кадров. Элемент SURF является более дискриминирующим, чем элементы свойств точки Харриса, и выполняют лучшие преобразования, соответствующие масштабу, например, при увеличении/уменьшении масштаба изображения и записи на камеру, по сравнению с результатами, полученными в статье Law-To. Кроме того, выделение элементов SURF выполняется приблизительно в шесть раз быстрее, чем SIFT, но обеспечивает аналогичную скорость, как и при подходе элемента точки Харриса.
Использование локального чувствительного индексирования хеш-функции (LSH) предусматривает быстрый запрос траекторий кандидатов при детектировании видеокопии. В статье Law-To описано использование поиска сходства вероятности, вместо индексирования LSH.
Используя регистрацию пространственно-временной шкалы и распространения и слияния параметров смещения, детектируют соответствующие видеосегменты с максимально накопленной оценкой регистрации. Подход по статье Law-To не позволяет хорошо детектировать преобразования шкалы. Путем использования такой регистрации на основе баллотировки в дискретном пространстве параметров смещения различные варианты осуществления позволяют детектировать как пространственно-временные преобразования, так и преобразования масштаба, например обрезку, увеличение/уменьшение масштаба изображения, шкалу и запись на камеру.
На фиг.2 иллюстрируется система детектирования видеокопии в соответствии с вариантом осуществления. Система детектирования видеокопии включает в себя автономно работающий модуль 210 построения траектории и работающий в режиме онлайн модуль 250 детектирования копии. Любая компьютерная система с процессором и запоминающим устройством, которая соединена с возможностью обмена данными с сетью через кабельные или беспроводные способы соединения, может быть выполнена с возможностью выполнения операций автономно работающего модуля 210 построения траекторий и работающего в режиме онлайн модуля 250 детектирования копии. Например, видеоизображение запроса может быть передано через сеть в компьютерную систему. Например, компьютерная система может выполнять обмен данными, используя технологии в соответствии с версией IEEE 802.3, 802.11 или 802.16, используя кабель или одну или больше антенн. Компьютерная система может отображать видеоизображение, используя устройство дисплея.
Автономно работающий модуль 210 построения траектории выделяет точки SURF из каждого кадра базы видеоданных и сохраняет эти точки SURF в базе 212 данных особенностей. Автономно работающий модуль 210 построения траектории строит базу 214 данных особенностей траекторий, которая включает в себя траектории точек, представляющих интерес. Автономный модуль 210 построения траектории использует LSH для индексации особых точек в базе 212 данных особенностей с траекториями в базе 214 данных особенностей траекторий.
Работающий в режиме онлайн модуль 250 детектирования копии выделяет точки SURF из кадров выборки видеоизображения запроса. Работающий в режиме онлайн модуль 250 детектирования копии запрашивает в базе 212 данных особенностей точки, выделенные SURF для идентификации траекторий-кандидатов с аналогичными локальными особенностями. Траектории-кандидаты из базы 214 данных особенностей траекторий, которые соответствуют аналогичным точкам особенностей, идентифицируют, используя LSH.
Для каждой точки особенностей из запрашиваемых видеоданных, работающий в режиме онлайн модуль 250 детектирования копии использует подход регистрации пространственно-временной шкалы на основе баллотировки для оценки оптимального параметра преобразования пространственно-временной шкалы (то есть смещения) между точками SURF в запрашиваемых видеоданных и траекториях-кандидатах в базе 214 данных особенностей траекторий. Работающий в режиме онлайн модуль 250 детектирования копии распространяет сопоставленные сегменты видеоданных, как в пространственно-временном направлении, так и в направлении масштаба для идентификации видеокопии. Баллотирование представляет собой накопление в пространстве регистрации пространственно-временной шкалы оценок точек, представляющих интерес. Пространство регистрации пространственно-временной шкалы разделяют на кубы, соответствующие сдвигу по x, y, t и параметрам шкалы. Заданные x, y, t и параметры шкалы, количество точек, представляющих интерес, найденных в каждом кубе, подсчитывают как баллы. Куб с наибольшим количеством баллотированных точек, представляющих интерес, рассматривают как копию. Пример подхода регистрации пространственно-временной шкалы на основе баллотировки описан со ссылкой на фиг.6.
Например, для запрашиваемых видеоданных Q, М=100 точек SURF выделяют через каждые Р=20 кадров. Для каждой точки m SURF на выбранном кадре k запрашиваемых видеоданных Q, LSH используют для поиска N=20 ближайших траекторий, в качестве траекторий-кандидатов, в траектории между базой 214 данных особенностей траекторий. На практике M, Р и N можно регулировать как компромисс между скоростью запроса и точностью детектирования копии в режиме онлайн. Каждая из n траекторий кандидатов описана как Rmn=[Id, Tran, Simmn], где Id представляет собой идентификатор видеоданных в базе данных 214 особенностей траекторий, Tran представляет собой элемент траектории, и Simmn представляет степень схожести между точкой SURF в (xm, ym) и особенностью Smean траектории-кандидата.
В соответствии с ассоциированным Id видеоизображения, траектории-кандидаты разделяют на категории по разным поднаборам
. Для каждого Id видеоизображения в базе 214 данных особенностей траекторий и выбранного кадра k запроса используют быстрый и эффективный способ регистрации пространственно- временной шкалы для оценки оптимального параметра регистрации пространственно-временной шкалы: Offset(Id, k). После получения оптимального значения Offset(Id, k), смещение оптимальной пространственно-временной шкалы от потенциально зарегистрированных видеосегментов как в пространственно-временном, так и в пространственных направлениях распространяют для удаления резких смещений и получения конечных результатов детектирования.
Существует множество видов преобразований при детектировании видеокопии. Если видеоданные Q запроса копируют из того же источника, что и видеоданные R в базе данных, будет существовать "постоянное смещение пространственно-временной шкалы" между точками SURF, такими как Q и R. Поэтому в различных вариантах осуществления цель детектирования видеокопии состоит в том, чтобы найти видеосегмент R в базе данных, который имеет приблизительно неизменное смещение с Q.
На фиг.3 представлен примерный процесс для формирования базы данных особых точек и траекторий в соответствии с вариантом осуществления. В некоторых вариантах осуществления автономный модуль 210 построения траектории может выполнять процесс 300. Блок 302 включает в себя выделение ускоренных устойчивых элементов (SURF) из видеоданных. Пример SURF описан в публикации Н. Bay, Т. Tuytelaars, L. Gool, "SURF: Speeded Up Robust Features," ECCV, May, 2006. В различных вариантах осуществления выделенные элементы представляют собой локальные особенности в кадре.
В различных вариантах осуществления, в каждой точке, представляющей интерес, область разделяют равномерно на меньшего размера квадратные подобласти размером 3 на 3. Вейвлет-отклики dx и dy Xaapa суммируют по каждой подобласти, и каждая подобласть имеет четырехмерный вектор дескриптора
. Поэтому, для каждой точки, представляющей интерес, существует 36-мерный элемент SURF.
SURF основан на оценке гессиановой матрицы для построения детектора на основе гессиановой матрицы. В SURF используются интегральные изображения для ускорения времени расчета. Скорость выделения SURF составляет приблизительно в шесть раз выше, чем у SIFT, и предусматривает скорость, аналогичную преобразованию Харриса. Элемент SURF является устойчивым для преобразований видеокопирования, таких как увеличение/уменьшение масштаба изображения и запись на камеру.
Существует множество свойств, используемых при формировании компьютерных изображений и представлении изображений, включающих в себя глобальные особенности, такие как гистограмма цветов, порядковые элементы и локальные особенности, например Харрис и SIFT. Для детектирования видеокопии глобальные свойства, такие как свойства гистограммы цветов во всем кадре изображения, нельзя использовать для детектирования локальных преобразований, например обрезки и преобразования шкалы. В различных вариантах осуществления выделяют локальные особенности из видеоданных, поскольку локальные особенности не меняются при сдвиге, обрезке или изменении масштаба изображения.
Блок 304 включает в себя построение базы данных траекторий и формирование индексов для траекторий в базе видеоданных. После выделения точек SURF в каждом кадре базы видеоданных эти точки SURF отслеживают для построения траекторий, в качестве пространственно-временных особенностей видеоданных. Каждая траектория
Представлена Tran=[xmin, xmax, ymin, ymax, tin, tout, Smean], n=1,2, … N, where [xmin, xmax, ymin, ymax, tin, tout] представляет куб пространственно-временного ограничения, и Smean представляет собой среднее значение элементов SURF на траекторию.
Для быстро движущихся точек в направлениях x, y куб траектории будет слишком большим для дискриминации пространственного положения траектории от других. Поэтому, в различных вариантах осуществления эти траектории разделяют на несколько сегментов с коротким временем, что делает куб траектории достаточно малым в пространственном положении, из-за его короткого времени длительности.
Для быстрого детектирования видеокопии в режиме онлайн используют локально чувствительное хеширование (LSH) для индексации траекторий по их особенностям Smean. Например, запрос особенности Smean может быть подан в траектории индекса. Используя LSH, минимальное изменение пространства особенности приводит к пропорциональному изменению значения хэш-функции, то есть хеш-функция является локально чувствительной. В различных вариантах осуществления используют точное Евклидово LSH (E2LSH) для индексации траектории. E2LSH описано, например, в публикации А. Andoni, P. Indyk, E2LSH0.1 User manual, June 2000.
На фиг.4 представлен пример обработки 400 для определения видеокопирования, в соответствии с вариантом осуществления. В некоторых вариантах осуществления, модуль 250 детектирования копии в режиме онлайн может выполнять процесс 400. Блок 402 включает в себя выполнение регистрации пространственно-временной шкалы на основе баллотировки, которая основана на траекториях, ассоциированных с видеокадром запроса. Регистрация пространственно-временной шкалы на основе баллотировки адаптивно разделяет пространство смещения пространственно-временной шкалы на 3-D кубы с разными шкалами и оценками степени схожести Simmn на соответствующие кубы. Адаптивное разделение включает в себя изменение размеров куба. Каждый куб соответствует возможному параметру пространственно-временного смещения. Для запроса кадра k куб с максимально накопленной оценкой (то есть куб с наибольшим количеством зарегистрированных траекторий в точках, представляющих интерес, в кадре k запроса) соответствует его оптимальному параметру смещения.
Поскольку куб связывания траектории Tran-кандидат представляет собой данные, оценка которых была произведена по интервалу, параметры пространственно-временной шкалы Offset (Id, k) также оценивают по интервалу. В случае, когда параметр шкалы scale=[scalex, scaley],
между траекторией n-кандидатом в Id видеоданных базы данных траектории и точкой m SURF в выбранном кадре k запрашиваемых видеоданных определяется следующим образом:
Например, scalex=scaley∈[0,6, 0,8, 1,0, 1,2, 1,4], для детектирования общего преобразования шкалы, такого как, например, при увеличении/уменьшении масштаба изображения. Могут использоваться другие показатели шкалы. Поскольку преобразование при записи на видеокамеру имеет другие параметры шкалы scalex≠scaley, параметры шкалы x, y устанавливают как [scalex=0,9, scaley=1,1] и [scalex=1,1, scaley=0,9].
Существуют тысячи потенциальных значений смещений
и пространство смещения пространственно-временной шкалы является слишком большим для поиска непосредственно в режиме реального времени. Аналогично использованию преобразования Хафа в параметры баллотировки в дискретном пространстве, в различных вариантах осуществления, используется 3-мерный массив для получения оценки степени схожести Simmn для
в дискретном пространственно-временном пространстве. Учитывая шкалу пространственного параметра, пространственно-временное пространство поиска {x, y, t} адаптивно разделяют на множество кубов, где каждый куб, cubei, представляет собой основной модуль оценки.
В некоторых вариантах осуществления ось Х адаптивно разделена на множество одномерных бинов с разными размерами, всеми начальными точками
и конечными точками
кандидата траектории. Для каждого кандидата траектории Trajn степень накапливают схожести Simmn, если диапазон Offsetmn оценки по интервалу имеет пересечение с cube. Операции адаптивного разделения выполняют также по оси Y и оси t.
На основе этих кубов оптимальный параметр пространственно-временной регистрации Offsetscale (Id, k) между видеоданными Id и кадром k запроса максимизируют накопленное значение сравнимых оценок (m, n, cube) запроса, как в следующем уравнении:
Блок 404 включает в себя распространение и слияние смещений, определенных из множества кадров, для определения оптимального параметра смещения. Описание со ссылкой на фиг.6 представляет пример распространения и слияния смещений, для определения оптимального параметра смещения. После определения параметра Offsetscale(Id, k) пространственно-временной шкалы в разных шкалах выполняют распространение и слияние этих параметров Offsetscale(Id, k) для получения конечного детектирования видеокопирования.
После расширения куба в пространственных направлениях кубы смещения Offset (Id, k) дополнительно распространяют в направлении времени и в направлении шкалы. Поиск осуществляется в [Offsetscale(Id, k-3). Offsetscale(Id, k+3)] для семи выбранных кадров, для накопления пространственного пересечения, и поиск происходит в [scale-0,2, scale+0,2] для трех шкал, для получения надежных результатов, соответствующих разным шкалам. Затем находят оптимальное значение смещения Offset(Id, k), которое имеет максимальное накопленное значение оценки в кубах пересечения этих 3*7 или 21 смещениях. Такой этап распространения сглаживает зазоры между смещениями и удаляет скачкообразные/ошибочные смещения одновременно.
Однако из-за случайных возмущений реальное смещение регистрации может быть расположено в соседних кубах для оценки оптимального значения смещения. Кроме того, траектории, не содержащие движение, вводят определенное смещение для оценки смещения, в связи с тем что интервалы
и
(или интервалы
и
являются очень малыми для их оценки с соседними кубами. Смещение в случаях множества шкал также происходит из-за нарушений под воздействием шумов и дискретных параметров шкалы. В различных вариантах осуществления куб оптимального смещения является несколько расширенным на его соседние кубы в направлениях x, y, если оценки этих кубов превышают простое пороговое значение, и оценку выполняют по распространенному и слитому оптимальному смещению на конечном этапе детектирования видеокопий.
Блок 406 включает в себя идентификацию видеокадра запроса, в качестве видеокопии, на основе частично оптимального смещения. Идентифицированная видеокопия представляет собой последовательность видеокадров из базы данных с локальными особенностями траектории SURF, которые являются аналогичными кадрам в запросе, и каждый из видеокадров из базы данных имеет смещение (t, x, y), аналогичное запрашиваемым видеоданным. Кроме того, может быть предусмотрено смещение по времени, которое идентифицируют временные сегменты видеоданных, которые могли быть потенциально скопированы.
Различные варианты осуществления позволяют детектировать копии неподвижных изображений. Для детектирования копии изображения отсутствует информация траектории и информация движения во временном направлении и, соответственно, не выполняют учет временного смещения. Однако пространственное значение x, y и значение шкалы учитывают аналогично детектированию видеокопии. Например, для детектирования копии изображения, выделяют точки, представляющие интерес SURF, и индексируют их. Подход на основе баллотировки, описанный в отношении детектирования видеокопии, может использоваться для поиска оптимального смещения (x, y, scale) для детектирования копии изображения.
На фиг.5 иллюстрируется простой пример для оценки оптимального смещения в случае одномерного бина, в соответствии с вариантом осуществления. Ось Х адаптивно разделена на семь бинов (кубов) для четырех потенциальных значений смещения. В этом примере диапазон оси Х представляет собой x1min и x4max. В этом примере каждый куб представляет собой диапазон смещений x. Например, куб 1 представляет первый бин, который охватывает значения смещения от x1min до x2min. Бины для других смещений представляют собой смещение по времени и по у (не показаны).
В этом примере, если предположить, что Sinimn каждого потенциального смещения равен единице, наилучшее смещение представляет собой cube4 [x4min, x1max], и максимальная оценка равна четырем. Путем сравнения этих оптимальных значений смещения Offsetscale(Id, k) в разных масштабах получают оценку оптимального параметра Offset (Id, k) регистрации пространственно-временной шкалы с максимальной оценкой по всем шкалам.
На фиг.6 представлен пример детектирования локальных особенностей из нескольких видеокадров запроса, в соответствии с вариантом осуществления. Круги в видеокадрах запроса представляют точки, представляющие интерес. Прямоугольники в кадрах базы данных видеоданных представляют кубы ограничения в измерениях (t, x, y). Куб по фиг.5 представляет одно измерение (то есть, t, x или y). Для оценки параметров преобразования шкалы применяют пространственно-временную регистрацию в 3-D (x, y, t) пространстве оценки для каждого дискретного значения шкалы по отдельности (scalex=scaley∈[0,6, 0,8, 1,0, 1,2, 1,4]), и результаты детектирования комбинируют.
В этом примере выполняют определение, появляются ли локальные особенности из кадров запроса в моменты времени 50, 70 и 90 в кадрах в базы видеоданных. Кадр запроса в момент времени 50 включает в себя локальная особенность A-D. Кадр в момент времени 50 из базы видеоданных включает в себя локальные особенности А и D. В соответствии с этим, две оценки (то есть по одной оценке для каждой локальной особенности) присваивают для кадра 50 из базы видеоданных. Смещение (t, x, y)=(0, 0, 0), поскольку локальные особенности А и D появляются в одно и то же время и, по существу, в аналогичных положениях.
Кадр запроса в момент времени 70 включает в себя локальные особенности F-I. Кадр в момент времени 120 из базы видеоданных включает в себя локальные особенности F-I. В соответствии с этим, четыре балла присваивают кадру 120 из базы видеоданных. Смещение (t, х, y) представляет собой (50 кадров, 100 пикселей, 120 пикселей), поскольку локальные особенности F-I появляются через 50 кадров позже и сдвинуты вниз и вправо.
Кадр запроса в момент времени 90 включает в себя локальные особенности К-М. Кадр в момент времени 140 из базы видеоданных включает в себя локальные особенности К-М. В соответствии с этим, три балла прикрепляют к кадру 140 из базы видеоданных. Смещение (t, х, y) представляет собой (50 кадров, 100 пикселей, 120 пикселей), поскольку локальные особенности К-М появляются через 50 кадров позже и сдвинуты вниз и вправо.
Кадр запроса в момент времени 50 включает в себя локальную особенность D. Кадр в момент времени 160 из базы видеоданных включает в себя локальную особенность D. В соответствии с этим, один балл присваивают кадру 160 из базы видеоданных. Смещение (t, х, y) представляет собой (110 кадров, -50 пикселей, -20 пикселей), поскольку локальная особенность D появляется через 110 кадров позже и со сдвигом вверх и влево.
Кадры 100, 120 и 140 из базы видеоданных имеют аналогичное смещение (t, х, y). Другими словами, со ссылкой на схему, показанную на фиг.5, смещения от кадров 100, 120 и 140 попадают в пределы того же куба. Оптимальное смещение представляет собой смещение, ассоциированное с множеством кадров.
Для оценки характеристик различных вариантов осуществления были проведены всесторонние эксперименты для 200 часов видеоданных MPEG-1, полученных случайным образом из INA (французский Institut National de 1'Audiovisuel) и набора видеоданных TRECVID2007. Базу видеоданных разделили на две части: опорную базу данных и неопорную базу данных. Опорная база данных содержала 70 часов 100 наборов видеоданных. Неопорная база данных содержала 130 часов 150 наборов видеоданных.
Два эксперимента были выполнены для оценки характеристик системы. Работая на Pentium IV 2.0 ГГц с 1G RAM, опорная база видеоданных имела 1465532 записей траекторий SURF, в автономном режиме, фиксированных по LSH. Работающий в режиме онлайн модуль детектирования видеокопии выделял М=100 SURF точек, самое большее в каждом кадре после выборки запрашиваемых видеоданных. Смещение пространственно-временной шкалы рассчитывали для каждых р=20 кадров. Для каждой точки SURF запроса потребовалось приблизительно 150 мс, для поиска N=20 траекторий-кандидатов с помощью LSH. Стоимость регистрации пространственно-временной шкалы составила приблизительно 130 мс, для оценки оптимального смещения по 7 параметрам шкалы.
В эксперименте 1, характеристики детектирования видеокопии сравнивали для разных преобразований, соответственно, для элемента SURF и элемента Харриса. Двадцать видеоклипов запроса случайным образом выделяли непосредственно из опорной базы данных, и длина каждого видеоклипа составила 1000 кадров. Затем каждый видеоклип преобразовали с использованием разных преобразований для формирования запрашиваемых видеоданных, например аспект сдвига, изменение масштаба изображения.
В Таблице 1 представлено сравнение подхода детектирования видеокопирования для различных преобразований, соответственно, элемента SURF и элемента Харриса.
Таблица 1 | |||
Преобразования | Количество запрашиваемых видеоданных/общее количество кадров в запрашиваемых видеоданных | Запрашиваемые видеоданные, детектируемые из опорной базы данных/кадров из запрашиваемых видеоданных, детектированных с помощью технологии Харриса | Запрашиваемые видеоданные, детектированные из опорной базы данных/кадров из видеоданных запроса, детектированных с помощью технологии SURF |
Сдвиг | 20/20000 | 20/10080 | 20/14460 |
Обрезка | 20/20000 | 20/8240 | 20/13640 |
Увеличение масштаба изображения | 20/20000 | 14/4240 | 20/14280 |
Уменьшение масштаба изображения | 20/20000 | 15/2820 | 20/12820 |
Запись на видеокамеру | 20/20000 | 9/1580 | 20/12400 |
Из Таблицы 1 можно видеть, что элемент SURF превосходит элемент Харриса приблизительно на 25-50% для преобразований увеличения/уменьшения масштаба изображения и записи на видеокамеру. Кроме того, элемент SURF имеет рабочие характеристики, аналогичные элементам Харриса по преобразованиям сдвига и обрезки. Кроме того, использование элемента SURF позволяет детектировать приблизительно на 21%-27% большее количество скопированных кадров, чем по элементам Харриса.
Для тестирования более сложных данных на практике подход элемента SURF на основе регистрации пространственно-временной шкалы сравнивали с элементом Харриса на основе подхода детектирования видеокопии, описанного в статье J. Law-To. Видеоклипы запроса состоят из 15 преобразованных опорных видеонаборов и 15 неопорных видеонаборов, в сумме до 100 минут (150 000 кадров). Опорные видеоданные преобразовали с помощью разных преобразований с другими параметрами, чем в эксперименте 1.
На фиг.7 представлены кривые характеристики операции приема (ROC), которые описывают рабочие характеристики системы. Можно видеть, что различные варианты осуществления работают намного лучше, чем подход на основе элементов Харриса, описанный в статье J. Law-To. Когда частота ложноположительных кадров равна 10%, частота действительно положительных кадров при подходе Харриса составляет 68%, в то время как способы различных вариантов осуществления позволяют достичь частоты 90% действительно положительных кадров. В отчете, представленном в статье J. Law-To частоты действительно положительных кадров составляют 82%, в то время, как частота ложноположительных кадров составляет 10%. Однако в статье J. Law-To также упомянуто, что преобразование шкалы ограничено в пределах 0,95-1,05. Более высокие характеристики различных вариантов осуществления способствуют получению устойчивого элемента SURF и эффективной регистрации пространственно-временной шкалы. Кроме того, распространение и объединение также являются очень полезными для распространения детектируемых видеоклипов на как можно дольше и для сглаживания/удаления скачкообразных и ошибочных смещений.
Т ехнологии обработки графических изображений и/или видеоизображений, описанные здесь, могут быть воплощены в различных аппаратных архитектурах. Например, функции графических изображений и/или видеоданных могут быть интегрированы в наборе микросхем. В качестве альтернативы, может использоваться отдельный графический процессор и/или видеопроцессор. В еще одном, другом варианте осуществления, графические и/или видеофункции могут быть воплощены с помощью процессора общего назначения, включающего в себя многоядерный процессор. В дополнительном варианте осуществления функции могут быть воплощены в бытовом электронном устройстве.
Варианты осуществления настоящего изобретения могут быть воплощены как любая из или как комбинация из: одной или больше микросхем или интегральных схем, взаимно соединенных с использованием материнской платы, логических схем, воплощенных в виде аппаратного воплощения логических схем, программного обеспечения, сохраненного в запоминающем устройстве, и выполняемого микропроцессором, встроенного программного обеспечения, специализированных интегральных схем (ASIC) и/или программируемой пользователем вентильной матрицы (FPGA). Термин "логический" может включать в себя, в качестве примера, программное обеспечение или аппаратные средства, и/или комбинации программного обеспечения и аппаратных средств.
Варианты осуществления настоящего изобретения могут быть предусмотрены, например, в виде компьютерного программного продукта, который может включать в себя один или больше считываемых устройством носителей информации, на которых сохранены исполняемые устройством инструкции, которые при выполнении их одним или больше устройствами, такими как компьютер, сеть компьютеров или другие электронные устройства, может привести к выполнению одним или больше устройствами операций в соответствии с вариантами осуществления настоящего изобретения. Считываемый устройством носитель информации может включать в себя, но без ограничений, гибкие диски, оптические диски, CD-ROM (постоянные запоминающие устройства на компакт-дисках) и магнитооптические диски, ROM (постоянное запоминающее устройства), RAM (оперативное запоминающее устройство), EPROM (стираемые программируемые постоянные запоминающие устройства), EEPROM (электрически стираемые программируемые постоянные запоминающие устройства), магнитные или оптические карты, запоминающее устройство типа флэш или другие типы носителя информации/ считываемых устройством носителей информации, пригодных для сохранения исполняемых устройством инструкций.
Чертежи и представленное выше описание представляют собой примеры настоящего изобретения. Хотя они описаны здесь как множество отдельных функциональных пунктов, для специалиста в данной области техники будет понятно, что один или больше таких элементов вполне могут быть скомбинированы в единые функциональные элементы. В качестве альтернативы, определенные элементы могут быть разделены на множество функциональных элементов. Элементы из одного варианта осуществления могут быть добавлены в другой вариант осуществления. Например, порядок обработки, описанный здесь, может изменяться и не ограничен представленным здесь описанием. Кроме того, действия, представленные в любой представленной блок-схеме последовательности операций, не обязательно должны быть воплощены в представленном порядке; и при этом не все из этих действий обязательно должны быть выполнены. Кроме того, те действия, которые не зависят от других действий, могут быть выполнены параллельно с другими действиями. Объем настоящего изобретения, однако, ни коим образом не ограничен этими конкретными примерами. При этом возможны различные изменения, представленные явно в описании или нет, такие как различия в конструкции, в размерах и используемых материалах. Объем изобретения имеет, по меньшей мере, такую протяженность, как указано в следующей формуле изобретения.
Claims (24)
1. Способ детектирования копий видеоданных, воплощенный в компьютере, содержащий:
выделяют ускоренные надежные элементы (SURF) из опорных видеоданных;
сохраняют точки SURF из опорных видеоданных;
определяют траектории точек SURF как пространственно-временные особенности опорных видеоданных на основе точки SURF;
сохраняют траектории точек SURF; и
формируют индексы для траекторий точек SURF.
выделяют ускоренные надежные элементы (SURF) из опорных видеоданных;
сохраняют точки SURF из опорных видеоданных;
определяют траектории точек SURF как пространственно-временные особенности опорных видеоданных на основе точки SURF;
сохраняют траектории точек SURF; и
формируют индексы для траекторий точек SURF.
2. Способ по п. 1, в котором выделенные SURF содержат локальные особенности опорных видеоданных.
3. Способ по п. 1, в котором при формировании индексов применяют локально чувствительную хеш-функцию (LSH), чтобы определить индекс траекторий с помощью особенностей SURF.
4. Способ по п. 1, дополнительно содержащий:
определяют SURF видеоданных запроса;
определяют смещение, ассоциированное с видеокадрами запроса; и
определяют, содержат ли видеокадры запроса копию видеоклипа, основываясь, частично, на определенном смещении.
определяют SURF видеоданных запроса;
определяют смещение, ассоциированное с видеокадрами запроса; и
определяют, содержат ли видеокадры запроса копию видеоклипа, основываясь, частично, на определенном смещении.
5. Способ по п. 4, в котором определение смещения содержит адаптивное разделение пространственно-временного пространства смещения на кубы, в котором каждый куб соответствует возможному пространственно-временному параметру смещения времени, смещению x, или y.
6. Способ по п. 5, в котором определение смещения дополнительно содержит:
определяют траектории опорных видеокадров, ассоциированных с видеокадрами запроса; и
для каждого масштаба пространственно-временного смещения, накапливают множество аналогичных локальных особенностей между видеокадрами запроса и опорными видеокадрами.
определяют траектории опорных видеокадров, ассоциированных с видеокадрами запроса; и
для каждого масштаба пространственно-временного смещения, накапливают множество аналогичных локальных особенностей между видеокадрами запроса и опорными видеокадрами.
7. Способ по п. 4, в котором определение, содержат ли видеокадры запроса копию видеоклипа, содержит:
идентифицируют опорные видеокадры с локальными особенностями, которые аналогичны выделенным SURF из запроса видеоданных, и в котором локальные особенности каждого видеокадра идентифицированных опорных видеокадров имеют аналогичные временные и пространственные смещения от SURF видеоданных запроса.
идентифицируют опорные видеокадры с локальными особенностями, которые аналогичны выделенным SURF из запроса видеоданных, и в котором локальные особенности каждого видеокадра идентифицированных опорных видеокадров имеют аналогичные временные и пространственные смещения от SURF видеоданных запроса.
8. Устройство для детектирования копий видеоданных, содержащее:
базу данных особенностей;
базу данных особенностей траекторий; и
логику построения траектории точек SURF для:
выделения ускоренных устойчивых элементов (SURF) из опорных видеоданных,
сохранения особенностей в базе данных особенностей,
отслеживания точек SURF для формирования траектории пространственно-временных особенностей опорных видеоданных,
сохранения траектории в базе данных особенностей траекторий, и
формирования индексов для базы данных особенностей траекторий.
базу данных особенностей;
базу данных особенностей траекторий; и
логику построения траектории точек SURF для:
выделения ускоренных устойчивых элементов (SURF) из опорных видеоданных,
сохранения особенностей в базе данных особенностей,
отслеживания точек SURF для формирования траектории пространственно-временных особенностей опорных видеоданных,
сохранения траектории в базе данных особенностей траекторий, и
формирования индексов для базы данных особенностей траекторий.
9. Устройство по п. 8, в котором логика построения траектории точек SURF предназначена для:
приема запроса на получение особенностей запрашиваемых видеоданных, и
предоставления траекторий, ассоциированных с особенностями запрашиваемых видеоданных.
приема запроса на получение особенностей запрашиваемых видеоданных, и
предоставления траекторий, ассоциированных с особенностями запрашиваемых видеоданных.
10. Устройство по п. 8, в котором выделенные SURF содержат локальные особенности опорных видеоданных.
11. Устройство по п. 8, в котором для формирования индексов для базы данных особенностей траекторий логика построения траектории точек SURF должна применять локально чувствительную хеш-функцию (LSH) для индексации траектории с помощью особенностей SURF.
12. Устройство по п. 8, дополнительно содержащее:
модуль детектирования копии, предназначенный для:
выделения SURF из запроса видеоданных,
приема траекторий, ассоциированных с особенностями запроса видеоданных из логики построения траектории точек SURF, и
идентификации опорных видеокадров из базы данных особенности, опорные видеокадры, имеющие локальные особенности, которые аналогичны выделенным SURF из видеоданных запроса, и в котором локальные особенности каждого видеокадра идентифицированных опорных видеокадров имеют аналогичные временные и пространственные смещения от SURF из видеоданных запроса.
модуль детектирования копии, предназначенный для:
выделения SURF из запроса видеоданных,
приема траекторий, ассоциированных с особенностями запроса видеоданных из логики построения траектории точек SURF, и
идентификации опорных видеокадров из базы данных особенности, опорные видеокадры, имеющие локальные особенности, которые аналогичны выделенным SURF из видеоданных запроса, и в котором локальные особенности каждого видеокадра идентифицированных опорных видеокадров имеют аналогичные временные и пространственные смещения от SURF из видеоданных запроса.
13. Устройство по п. 12, в котором для идентификации опорных видеокадров модуль детектирования копии выполнен с возможностью:
определять, что смещение ассоциировано с видеокадрами запроса; и
определять, содержат ли видеокадры запроса копию видеоклипа, основываясь, частично, на определенном смещении.
определять, что смещение ассоциировано с видеокадрами запроса; и
определять, содержат ли видеокадры запроса копию видеоклипа, основываясь, частично, на определенном смещении.
14. Устройство по п. 13, в котором для определения смещения модуль детектирования копии должен адаптивно разделять пространственно-временное пространство смещения на кубы, в котором каждый куб соответствует возможному пространственно-временному параметру смещения времени, смещению x или y.
15. Устройство по п. 14, в котором для определения смещения модуль детектирования копии также выполнен с возможностью:
определять, что траектории опорных видеокадров ассоциированы с видеокадрами запроса; и
для каждого масштаба пространственно-временного смещения накапливать множество аналогичных локальных особенностей между видеокадрами запроса и опорными видеокадрами.
определять, что траектории опорных видеокадров ассоциированы с видеокадрами запроса; и
для каждого масштаба пространственно-временного смещения накапливать множество аналогичных локальных особенностей между видеокадрами запроса и опорными видеокадрами.
16. Устройство по п. 13, в котором, чтобы определить, содержат ли видеокадры запроса копию видеоклипа, модуль детектирования копии выполнен с возможностью:
идентифицировать опорные видеокадры с локальными особенностями, которые аналогичны выделенным SURF из видеоданных запроса, и в котором локальные особенности каждого видеокадра идентифицированных опорных видеокадров имеют аналогичные временные и пространственные смещения от SURF видеоданных запроса.
идентифицировать опорные видеокадры с локальными особенностями, которые аналогичны выделенным SURF из видеоданных запроса, и в котором локальные особенности каждого видеокадра идентифицированных опорных видеокадров имеют аналогичные временные и пространственные смещения от SURF видеоданных запроса.
17. Система для детектирования копий видеоданных, содержащая:
устройство дисплея и
компьютерную систему, соединенную с возможностью передачи данных с устройством дисплея, и содержащую:
базу данных особенности;
базу данных особенностей траекторий; и
логику построения траектории точек SURF для:
выделения ускоренных устойчивых элементов (SURF) из опорных видеоданных,
сохранения SURF в базе данных особенности,
определения траектории пространственно-временных особенностей опорных видеоданных на основе точек SURF, и
сохранения траектории в базе данных особенности траекторий; и
логику детектирования копии для:
определения, являются ли кадры видеоданных запроса копиями, и
предоставления видеокадров из опорных видеоданных, которые аналогичны кадрам видеоданных запроса.
устройство дисплея и
компьютерную систему, соединенную с возможностью передачи данных с устройством дисплея, и содержащую:
базу данных особенности;
базу данных особенностей траекторий; и
логику построения траектории точек SURF для:
выделения ускоренных устойчивых элементов (SURF) из опорных видеоданных,
сохранения SURF в базе данных особенности,
определения траектории пространственно-временных особенностей опорных видеоданных на основе точек SURF, и
сохранения траектории в базе данных особенности траекторий; и
логику детектирования копии для:
определения, являются ли кадры видеоданных запроса копиями, и
предоставления видеокадров из опорных видеоданных, которые аналогичны кадрам видеоданных запроса.
18. Система по п. 17, в которой выделенные SURF содержат локальные особенности опорных видеоданных.
19. Система по п. 17, в которой логика построения траектории точек SURF должна также формировать индексы для траекторий, ассоциированных с выделенными SURF, нанося локально чувствительную хеш-функцию (LSH), для индексирования траекторий с помощью выделенных SURF.
20. Система по п. 17, в которой, чтобы определить, являются ли кадры видеоданных запроса копиями, логика детектирования копии выполнена с возможностью:
идентифицировать опорные видеокадры с локальными особенностями, которые аналогичны выделенным SURF из видеоданных запроса, и в которой локальные особенности каждого видеокадра идентифицированных опорных видеокадров имеют аналогичные временное и пространственное смещения от SURF видеоданных запроса.
идентифицировать опорные видеокадры с локальными особенностями, которые аналогичны выделенным SURF из видеоданных запроса, и в которой локальные особенности каждого видеокадра идентифицированных опорных видеокадров имеют аналогичные временное и пространственное смещения от SURF видеоданных запроса.
21. Способ детектирования копий видеоданных, содержащий:
извлекают ускоренные устойчивые элементы (SURF) из опорного изображения;
определяют траектории пространственных особенностей опорных видеоданных на основе точек SURF;
сохраняют траектории; и
формируют индексы для сохраненных траекторий.
извлекают ускоренные устойчивые элементы (SURF) из опорного изображения;
определяют траектории пространственных особенностей опорных видеоданных на основе точек SURF;
сохраняют траектории; и
формируют индексы для сохраненных траекторий.
22. Способ по п. 21, в котором выделенные SURF, содержат локальные особенности опорного изображения.
23. Способ по п. 21, в котором при формировании индексов применяют локально чувствительную хеш-функцию (LSH), для индексирования траектории с помощью особенностей SURF.
24. Способ по п. 21, в котором определение, является ли изображение запроса копией, содержит:
идентифицируют опорные изображения с локальными особенностями, которые аналогичны выделенным SURF из изображения запроса, и в котором локальные особенности каждого идентифицированного опорного изображения имеют аналогичное пространственное смещение от SURF изображения запроса.
идентифицируют опорные изображения с локальными особенностями, которые аналогичны выделенным SURF из изображения запроса, и в котором локальные особенности каждого идентифицированного опорного изображения имеют аналогичное пространственное смещение от SURF изображения запроса.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/CN2009/000716 WO2010148539A1 (en) | 2009-06-26 | 2009-06-26 | Techniques to detect video copies |
Publications (2)
Publication Number | Publication Date |
---|---|
RU2011153258A RU2011153258A (ru) | 2013-07-20 |
RU2505859C2 true RU2505859C2 (ru) | 2014-01-27 |
Family
ID=43385853
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
RU2011153258/08A RU2505859C2 (ru) | 2009-06-26 | 2009-06-26 | Технологии для детектирования видеокопии |
Country Status (7)
Country | Link |
---|---|
US (1) | US20120131010A1 (ru) |
JP (1) | JP2012531130A (ru) |
DE (1) | DE112009005002T5 (ru) |
FI (1) | FI126909B (ru) |
GB (1) | GB2483572A (ru) |
RU (1) | RU2505859C2 (ru) |
WO (1) | WO2010148539A1 (ru) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9495451B2 (en) * | 2013-01-07 | 2016-11-15 | Gracenote, Inc. | Identifying video content via fingerprint matching |
US9323840B2 (en) | 2013-01-07 | 2016-04-26 | Gracenote, Inc. | Video fingerprinting |
WO2014175481A1 (ko) * | 2013-04-24 | 2014-10-30 | 전자부품연구원 | 서술자 생성 방법 및 이를 구현하는 하드웨어 장치 |
US20140373036A1 (en) * | 2013-06-14 | 2014-12-18 | Telefonaktiebolaget L M Ericsson (Publ) | Hybrid video recognition system based on audio and subtitle data |
CN103747254A (zh) * | 2014-01-27 | 2014-04-23 | 深圳大学 | 一种基于时域感知哈希的视频篡改检测方法和装置 |
CN104715057A (zh) * | 2015-03-30 | 2015-06-17 | 江南大学 | 一种基于可变步长关键帧提取的网络视频拷贝检索方法 |
CN105183396A (zh) * | 2015-09-22 | 2015-12-23 | 厦门雅迅网络股份有限公司 | 一种增强车载dvr录像数据可回溯性的存储方法 |
CN105631434B (zh) * | 2016-01-18 | 2018-12-28 | 天津大学 | 一种对基于鲁棒哈希函数的内容识别进行建模的方法 |
US10778707B1 (en) * | 2016-05-12 | 2020-09-15 | Amazon Technologies, Inc. | Outlier detection for streaming data using locality sensitive hashing |
US10997459B2 (en) * | 2019-05-23 | 2021-05-04 | Webkontrol, Inc. | Video content indexing and searching |
Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001013642A1 (en) * | 1999-08-12 | 2001-02-22 | Sarnoff Corporation | Watermarking data streams at multiple distribution stages |
CN1900970A (zh) * | 2006-07-20 | 2007-01-24 | 中山大学 | 一种鲁棒的图像区域复制篡改检测方法 |
CN101308567A (zh) * | 2008-06-21 | 2008-11-19 | 华中科技大学 | 一种基于内容的鲁棒图像拷贝检测方法 |
Family Cites Families (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0520366A (ja) * | 1991-05-08 | 1993-01-29 | Nippon Telegr & Teleph Corp <Ntt> | 動画像照合方法 |
US6587574B1 (en) * | 1999-01-28 | 2003-07-01 | Koninklijke Philips Electronics N.V. | System and method for representing trajectories of moving objects for content-based indexing and retrieval of visual animated data |
JP3330348B2 (ja) * | 1999-05-25 | 2002-09-30 | 日本電信電話株式会社 | 映像検索方法及び装置並びに映像検索プログラムを記録した記録媒体 |
JP4359085B2 (ja) * | 2003-06-30 | 2009-11-04 | 日本放送協会 | コンテンツ特徴量抽出装置 |
EP1817908B1 (en) * | 2004-11-30 | 2010-12-22 | The University Court of the University of St. Andrews | System, method for video fingerprinting |
JP4883649B2 (ja) * | 2006-08-31 | 2012-02-22 | 公立大学法人大阪府立大学 | 画像認識方法、画像認識装置および画像認識プログラム |
AU2008240091A1 (en) * | 2007-04-13 | 2008-10-23 | Ipharro Media, Gmbh | Video detection system and methods |
WO2008134901A1 (en) * | 2007-05-08 | 2008-11-13 | Eidgenössische Technische Zürich | Method and system for image-based information retrieval |
JP4505760B2 (ja) * | 2007-10-24 | 2010-07-21 | ソニー株式会社 | 情報処理装置および方法、プログラム、並びに、記録媒体 |
US9177209B2 (en) * | 2007-12-17 | 2015-11-03 | Sinoeast Concept Limited | Temporal segment based extraction and robust matching of video fingerprints |
-
2009
- 2009-06-26 DE DE112009005002T patent/DE112009005002T5/de not_active Withdrawn
- 2009-06-26 JP JP2012516467A patent/JP2012531130A/ja active Pending
- 2009-06-26 WO PCT/CN2009/000716 patent/WO2010148539A1/en active Application Filing
- 2009-06-26 US US13/379,645 patent/US20120131010A1/en not_active Abandoned
- 2009-06-26 FI FI20116319A patent/FI126909B/fi not_active IP Right Cessation
- 2009-06-26 GB GB1118809.1A patent/GB2483572A/en not_active Withdrawn
- 2009-06-26 RU RU2011153258/08A patent/RU2505859C2/ru not_active IP Right Cessation
Patent Citations (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2001013642A1 (en) * | 1999-08-12 | 2001-02-22 | Sarnoff Corporation | Watermarking data streams at multiple distribution stages |
CN1900970A (zh) * | 2006-07-20 | 2007-01-24 | 中山大学 | 一种鲁棒的图像区域复制篡改检测方法 |
CN101308567A (zh) * | 2008-06-21 | 2008-11-19 | 华中科技大学 | 一种基于内容的鲁棒图像拷贝检测方法 |
Also Published As
Publication number | Publication date |
---|---|
FI20116319L (fi) | 2011-12-23 |
GB2483572A (en) | 2012-03-14 |
FI126909B (fi) | 2017-07-31 |
US20120131010A1 (en) | 2012-05-24 |
WO2010148539A1 (en) | 2010-12-29 |
RU2011153258A (ru) | 2013-07-20 |
GB201118809D0 (en) | 2011-12-14 |
JP2012531130A (ja) | 2012-12-06 |
DE112009005002T5 (de) | 2012-10-25 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
RU2505859C2 (ru) | Технологии для детектирования видеокопии | |
Barrios et al. | Competitive content-based video copy detection using global descriptors | |
Wang et al. | iVAT and aVAT: enhanced visual analysis for cluster tendency assessment | |
JP4139615B2 (ja) | 前景/背景セグメント化を用いた画像のイベント・クラスタリング | |
Pan et al. | Detecting image region duplication using SIFT features | |
US8467611B2 (en) | Video key-frame extraction using bi-level sparsity | |
Varnousfaderani et al. | Weighted color and texture sample selection for image matting | |
US7840081B2 (en) | Methods of representing and analysing images | |
Küçüktunç et al. | Video copy detection using multiple visual cues and MPEG-7 descriptors | |
Nandini et al. | Shot based keyframe extraction using edge-LBP approach | |
Omidyeganeh et al. | Video keyframe analysis using a segment-based statistical metric in a visually sensitive parametric space | |
Zheng et al. | Accelerated RANSAC for accurate image registration in aerial video surveillance | |
Barbu | Novel automatic video cut detection technique using Gabor filtering | |
Kim et al. | GeoTree: Using spatial information for georeferenced video search | |
Wu et al. | Text detection using delaunay triangulation in video sequence | |
EP2325801A2 (en) | Methods of representing and analysing images | |
Guo et al. | A group-based signal filtering approach for trajectory abstraction and restoration | |
El Khattabi et al. | Video Shot Boundary Detection Using The Scale Invariant Feature Transform and RGB Color Channels. | |
Guru et al. | Histogram based split and merge framework for shot boundary detection | |
Zhang et al. | Shot boundary detection based on block-wise principal component analysis | |
Nagthane | Image mining techniques and applications | |
JP2010263327A (ja) | 特徴量算出装置およびプログラム | |
Chen et al. | A spatial-temporal-scale registration approach for video copy detection | |
Zhou et al. | Foreground and background propagation based salient region detection | |
Ouellet et al. | To watch or not to watch: Video summarization with explicit duplicate elimination |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | The patent is invalid due to non-payment of fees |
Effective date: 20180627 |