RU2602792C2 - Сравнение движущихся объектов на основе вектора движения - Google Patents

Сравнение движущихся объектов на основе вектора движения Download PDF

Info

Publication number
RU2602792C2
RU2602792C2 RU2013139872/08A RU2013139872A RU2602792C2 RU 2602792 C2 RU2602792 C2 RU 2602792C2 RU 2013139872/08 A RU2013139872/08 A RU 2013139872/08A RU 2013139872 A RU2013139872 A RU 2013139872A RU 2602792 C2 RU2602792 C2 RU 2602792C2
Authority
RU
Russia
Prior art keywords
video sequence
frames
video
motion vectors
movements
Prior art date
Application number
RU2013139872/08A
Other languages
English (en)
Other versions
RU2013139872A (ru
Inventor
Цайфэн ШАНЬ
Адрианус Маринус Герардус ПЕТЕРС
Original Assignee
Конинклейке Филипс Электроникс Н.В.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Конинклейке Филипс Электроникс Н.В. filed Critical Конинклейке Филипс Электроникс Н.В.
Publication of RU2013139872A publication Critical patent/RU2013139872A/ru
Application granted granted Critical
Publication of RU2602792C2 publication Critical patent/RU2602792C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • H04N5/2625—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects for obtaining an image which is composed of images from a temporal image sequence, e.g. for a stroboscopic effect
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B69/00—Training appliances or apparatus for special sports
    • A63B69/36—Training appliances or apparatus for special sports for golf
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs
    • H04N21/2343—Processing of video elementary streams, e.g. splicing of video streams, manipulating MPEG-4 scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/144—Movement detection
    • H04N5/145—Movement estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/222—Studio circuitry; Studio devices; Studio equipment
    • H04N5/262—Studio circuits, e.g. for mixing, switching-over, change of character of image, other special effects ; Cameras specially adapted for the electronic generation of special effects
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B2220/00—Measuring of physical parameters relating to sporting activity
    • A63B2220/80—Special sensors, transducers or devices therefor
    • A63B2220/806—Video cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
    • H04N21/4316—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for displaying supplemental content in a region of the screen, e.g. an advertisement in a separate window
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0127—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter
    • H04N7/013—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level by changing the field or frame frequency of the incoming video signal, e.g. frame rate converter the incoming video signal comprising different parts having originally different frame rate, e.g. video and graphics
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/01—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level
    • H04N7/0135—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes
    • H04N7/014—Conversion of standards, e.g. involving analogue television standards or digital television standards processed at pixel level involving interpolation processes involving the use of motion vectors

Abstract

Изобретение относится к области сравнения движения в видеопоследовательностях. Технический результат - обеспечение улучшенного анализа и сравнения движения посредством использования векторов движения. Устройство для анализа движений первого и второго объектов, причем первый и второй объекты являются различными объектами или являются одним и тем же объектом, захваченным в различные моменты времени, причем устройство содержит: средство оценки движения для вычисления векторов движения первого и второго объектов на отдельных кадрах первой и второй видеопоследовательностей; средство интерполяции кадров для генерации и вставки промежуточных кадров в первую видеопоследовательность, основываясь на упомянутых вычисляемых векторах движения для первого объекта для повышения частоты кадров первой видеопоследовательности; средство выравнивания кадров для осуществления пространственного и временного выравнивания кадров первой видеопоследовательности с повышенной частотой кадров с кадрами второй видеопоследовательности; визуализатор для визуализации движений первого объекта и второго объекта посредством использования упомянутых вычисляемых векторов движения. 5 н. и 4 з.п. ф-лы, 3 ил.

Description

ОБЛАСТЬ ИЗОБРЕТЕНИЯ
Изобретение относится к устройству и способу и системе для сравнения движения в видеопоследовательностях.
УРОВЕНЬ ТЕХНИКИ
Различные способы улучшения используются для вещания спортивного видео. Улучшение может обеспечить публике лучшее восприятие просмотра. Например, в автомобильных гонках видео можно улучшать с использованием графики, которая идентифицирует водителя автомобиля и отображает информацию, такую как скорость автомобиля (например, полученную с помощью системы глобального позиционирования (GPS)). Первым примером является видеопоследовательность футбольного матча, где линию положения вне игры можно вставлять виртуально, что позволяет зрителям точно видеть, когда и как произошел фол. Другим примером является видеопоследовательность для гольфа, где длина в ярдах, опасные зоны, наклонные фервеи и фальшивые фасады можно идентифицировать и добавлять в видео.
В US 7042493 и WO 01/78050 A2 раскрыты системы анализа движения для генерации стробоскопических последовательностей спортивного события из видео. Такие системы позволяют зрителю видеть движения атлета развернутыми во времени и пространстве, где движущийся объект воспринимается как серия статических изображений вдоль траектории объекта.
Кроме того, в EP 1247255 и WO 01/39130 A1 раскрыты системы обработки изображений, которые из заданных двух видеопоследовательностей могут генерировать составную видеопоследовательность, содержащую визуальные элементы из каждой из заданных последовательностей, соответствующим образом синхронизированные и представленные в выбранной фокусной плоскости. Например, если каждая из двух заданных видеопоследовательностей показывает различных соперников, по отдельности мчащихся по одному и тому же курсу по склону, составная последовательность может содержать элементы из каждой из заданных последовательностей, чтобы показать соперников, как если бы они мчались одновременно.
Дополнительно в WO 2007/006346 A1 раскрыт способ анализа движения атлета посредством определения множества неравномерно распределенных ключевых положений для определенного спорта. Способ извлекает неподвижные изображения, соответствующие ключевым положениям, из входного видео и одновременно отображает на экране извлеченные неподвижные изображения. Извлечение неподвижных изображений можно запускать посредством предварительно определяемого шаблона.
Однако в упомянутых выше известных системах движение атлета анализируется посредством развертки видео в виде последовательности неподвижных изображений/кадров, где предварительно определяемые шаблоны/правила можно использовать для того, чтобы извлекать неподвижные изображения, соответствующие ключевым положениям. Однако зрители все еще не могут видеть, как атлет двигается в каждый отдельный момент/на каждом кадре. Например, различные атлеты могут выходить в одни и те же ключевые положения с различными скоростями и направлениями движения.
В существующих системах при сравнении двух видео учитывается пространственное и временное выравнивание. Однако это выполняется посредством только выравнивания существующих изображений/кадров в видео. В случае двух различных эффективностей (различных субъектов), по причине различных исполнений движений (например, различных скоростей или амплитуд), пространственно-временное выравнивание на основе существующих кадров может быть сложным, что иногда ведет к неточному выравниванию.
В US 7602301 и US 6567536 раскрыты решения для анализа движения, основываясь на нательных датчиках, но это требует дополнительных маркеров и датчиков, которые нужно применять на теле.
В GB 2341997 A раскрыты устройство для манипуляции изображениями и способ улучшения объекта в телевизионном изображении, где объект обнаруживают посредством обнаружения движения, обнаружения границ или обнаружения цвета, чтобы тем самым определить местоположение объекта. Обнаружение положения объекта на последующих изображениях может быть облегчено посредством использования предсказания или экстраполяции траектории. Модуль генерации наложения создает промежуточное изображение с нейтральным фоном и подсвеченными частями в местоположении, соответствующем этому объекту. Модуль интерполяции траектории интерполирует путь между местоположением объекта на предшествующем изображении и местоположением объекта на текущем изображении. Наконец, модуль суперпозиции изображения выполняет суперпозицию промежуточного изображения, интерполированных изображений и цифрового изображения, чтобы создать выходное изображение, где видимость объекта улучшают как в отношении контраста, так и посредством предоставления следа вдоль траектории объекта. Тем самым улучшается отслеживание объекта, который двигается быстро или изображен на низкоконтрастном фоне.
Кроме того, в ЕР 1404130 A1 раскрыто преобразование входного видеосигнала в другое поле или частоту кадров, где дополнительные кадры, подлежащие вставке, генерируются из данных изображения существующих кадров. Однако этот подход ведет к ухудшению изображения в связи с видимой дискретностью в движении объектов. Движение объекта на видеокадрах конвертированного видеосигнала отклоняется от плавного движения объекта в исходной последовательности видеокадров, что вызывает воспринимаемую дискретность движения. Для того чтобы преодолеть этот недостаток, движение объектов на кадрах обнаруживают посредством оценки движения и представляют с помощью векторов движения. Основываясь на обнаруживаемых векторах движения, вычисляют положение объекта на кадре, подлежащем вставке, и данные изображения объекта вставляют соответствующим образом.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Цель настоящего изобретения состоит в том, чтобы предоставить решение для улучшенного анализа движения и сравнения, при сохранении малозаметного сбора данных посредством видео.
Эта цель достигается с помощью устройства по п.1, с помощью способа по п.8 и с помощью компьютерного программного продукта по п.9.
Соответственно, движения объекта какого-либо типа в видеопоследовательностях можно анализировать количественно и автоматически посредством применения способов оценки движения, без какого-либо рисования/указания вручную пользователя и также без использования каких-либо нательных маркеров или датчиков. Результаты оценки движения делают возможным улучшенный анализ и сравнение движения, в частности, в спорте, при этом сохраняя малозаметный сбор данных посредством видео. Используя вычисляемые векторы движения, можно генерировать и вставлять промежуточные кадры для того, чтобы сделать возможным улучшенное выравнивание. Например, при сравнении спринта двух атлетов, промежуточные кадры можно вставлять для более быстро бегущих атлетов. Другое применение состоит в сравнении двух видео, снимаемых камерами с различной частотой кадров. Например, в некоторых случаях одну запись можно выполнять посредством высокоскоростной камеры. Другая запись, выполненная с низкой частотой кадров, требует обогащения промежуточными кадрами для улучшенного сравнения движения.
Согласно первому аспекту визуализатор или этап визуализации может быть предусмотрен для визуализации движения по меньшей мере одного объекта.
Согласно второму аспекту, который можно комбинировать с первым аспектом, видеогенератор или этап генерации видео может быть предусмотрен для генерации третьей видеопоследовательности, содержащей различие движений объектов из первой и второй видеопоследовательностей, обработанных посредством предложенного способа или устройства. Таким образом, основываясь на сравнении двух видеопотоков, также возможно генерировать специальное информационное видео для анализа, в котором выполнена аннотация различий в движении между двумя потоками. Например, можно представлять различия в вытягивании ног между пловцом и идеальной моделью (или предыдущей записью). Таким образом, в дополнение к предоставлению двух выровненных видеопотоков и предоставлению возможности интерпретации пользователем (например, тренером или атлетом), можно генерировать третий поток, который расширен или сокращен до различий в движении, чтобы помочь пользователю увидеть различия.
Согласно третьему аспекту, который можно комбинировать по меньшей мере с одним из первого и второго аспектов, визуализатор или этап визуализации можно адаптировать, чтобы визуализировать движение объекта посредством добавления информации по меньшей мере об одном из направления движения, количества и ускорения движения. В конкретной примерной реализации визуализатор или этап визуализации можно адаптировать для добавления информации в виде цветового кодирования.
Согласно четвертому аспекту, который можно комбинировать по меньшей мере с одним из упомянутых выше аспектов с первого до третьего, визуализатор или этап визуализации можно адаптировать для того, чтобы обнаруживать предварительно определяемые объекты, представляющие интерес (например, части тела) по меньшей мере в одной видеопоследовательности.
Упомянутое выше устройство можно реализовать в схеме аппаратных средств, интегрированной в одну микросхему или набор микросхем или смонтированной на монтажной плате. В качестве альтернативы, по меньшей мере части устройства можно реализовать в виде компьютерной программы или подпрограммы программного обеспечения, которая управляет процессором или компьютерным устройством для того, чтобы осуществлять этапы упомянутого выше способа, когда компьютерную программу запускают на компьютере, управляемом устройством.
Следует понимать, что предпочтительный вариант осуществления изобретения также может представлять собой какую-либо комбинацию зависимых пунктов формулы изобретения с соответствующими независимыми пунктами формулы изобретения.
Эти и другие аспекты изобретения будут видны из и разъяснены со ссылкой на варианты осуществления, описанные далее в настоящем документе.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
На фиг.1 представлена схематичная диаграмма обработки для процедуры или устройства для сравнения движения согласно первому варианту осуществления,
на фиг.2 представлен пример сравнения движения; и
на фиг.3 представлена схематичная диаграмма обработки для процедуры или устройства сравнения движения согласно второму варианту осуществления.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ
Изобретение далее описано на основе вариантов осуществления, где движения атлетов или других объектов количественно анализируют в видеопоследовательности (например, в спортивных видео). Более конкретно, анализ видео расширяют, чтобы извлекать данные о движении. Даже в случаях различных эффективностей (для различных субъектов) при различном исполнении движений (например, различных скоростях и/или направлениях движения) можно достичь выравнивания кадров.
На фиг.1 представлено схематичное изображение последовательности или схемы обработки согласно первому варианту осуществления, где векторы движения на отдельных видеокадрах вычисляют с использованием оценки движения или других способов, которые могут находить соответствия между видеокадрами. Векторы движения, вычисляемые на отдельных видеокадрах, можно использовать для улучшенного сравнения движений. На этапе 110 векторы движения вычисляют для отдельных кадров по меньшей мере двух видеопоследовательностей. Затем вычисляемые векторы движения используют на этапе 120, чтобы генерировать и вставлять промежуточные кадры. В отношении этапа 120 генерация промежуточного кадра может быть основана на методах перемежения из видеообласти, где они используются, например, для повышения от первой частоты кадров до второй (например, от 50 до 200 Гц). Это повышение можно осуществлять с использованием нецелочисленного коэффициента. Для того чтобы сравнивать движения по меньшей мере двух видеопоследовательностей (выполняемые разными людьми или одним человеком в различные моменты времени) или между видеопоследовательностью и эталонной последовательностью, на этапе 130 выполняют как временное, так и пространственное выравнивание двух последовательностей. В связи с отличающимся исполнением движения (например, различные скорости или амплитуды), пространственно-временное выравнивание на основе существующих кадров может быть затруднительным. Однако, используя вычисляемые векторы движения, промежуточные кадры можно генерировать и вставлять, чтобы сделать возможным улучшенное выравнивание. Например, при сравнении спринта двух атлетов, промежуточные изображения можно формировать для более быстро бегущего атлета при выравнивании изображений для покрываемого расстояния.
Также, когда сравнивают полевую запись с основным видео с высокоскоростной камеры, полевая запись может требовать улучшения для оптимизации эффективности сравнения.
Например, в некоторых случаях запись выполняют с помощью высокоскоростных камер. Запись, выполненная с низкой частотой кадров, может требовать улучшения промежуточными кадрами для улучшенного сравнения движения. Наконец, на этапе 140 параметры движения целевых объектов или целевых частей визуализируют для улучшенного сравнения.
Таким образом, векторы движения, вычисляемые на этапе 110, можно использовать для сравнения движения. Например, основываясь на этих векторах движения, промежуточные кадры можно вставлять на этапе 120, чтобы сделать возможным улучшенное пространственное и временное выравнивание на этапе 130, что ведет к улучшенному сравнению движения.
Векторы движения в каждом кадре можно извлекать с помощью способов оценки движения. В литературе представлены различные алгоритмы оценки движения. Один из них представляет собой трехмерное рекурсивное поисковое блочное сопоставление (3DRS). Затем вычисляемые векторы движения используют для улучшения видеопоследовательности. Движение можно визуализировать на этапе 140 различными путями, которые можно выбирать согласно нуждам пользователя или целевой аудитории (например, атлетов, тренеров, болельщиков). В качестве примера, цветовое кодирование можно использовать для того, чтобы визуализировать движение. При сравнении движений на двух видео, с использованием одного в качестве базового уровня/эталона, можно добавлять цвета, чтобы обозначать различные (или одинаковые) движения.
Кроме того, чтобы более точно измерять движения целевого объекта или части объекта, можно учитывать другие признаки. Например, для пловцов, цвет кожи можно использовать, чтобы устранять векторы движения в областях, не относящихся к телу. В некоторых случаях люди заинтересованы в том, чтобы видеть движения конкретных частей тела (например, рука). Тогда способы компьютерного зрения можно применять для автоматического обнаружения части тела, представляющей интерес.
Кроме того, информацию можно получать из оценочных векторов движения и использовать для улучшения видео. Например, можно получать ускорение (т.е. скорость движения).
На фиг.2 представлены примеры движений в гольфе, выполняемых двумя игроками в гольф. В этих примерах определяют ключевой кадр, когда клюшка для гольфа касается мячика для гольфа. Несмотря на то, что оба игрока исполняют это ключевое положение, они могут иметь различающееся движение. Результаты оценки движения на этом ключевом кадре визуализируют для обоих игроков с использованием цветового кодирования, где различные цвета используются, чтобы указывать различные направления движения, тогда как интенсивность цвета указывает количество движения. На фиг.2 цветовое кодирование упрощено с помощью различных шаблонов штриховки C1-C4. Предложенная оценка движения показывает двух игроков, действующих по-разному, т.е. с различными скоростями движения и в различных направлениях. Как можно понять из шаблонов штриховки C1-C4 на фиг.2, движения правой руки двух игроков по существу достаточно различаются.
На фиг.3 представлено схематичное изображение последовательности или схемы обработки согласно второму варианту осуществления, где генерируют видеопоследовательность, содержащую различия в движении между двумя целевыми объектами из двух входных видеопоследовательностей V1 и V2. На этапах 210A и 210B векторы движения вычисляют для отдельных кадров упомянутых входных видеопоследовательностей V1 и V2. На этапе 220 промежуточные кадры композиции промежуточных кадров генерируют и вставляют по меньшей мере в одну из входных видеопоследовательностей V1, V2, основываясь на вычисляемых векторах движения. Затем на этапе 230 две видеопоследовательности V1, V2, из которых по меньшей мере одна улучшена с помощью вставленных промежуточных кадров, выравнивают в пространстве и во времени. Во втором варианте осуществления, основываясь на сравнении двух видеопоследовательностей V1, V2, на этапе 240 для анализа генерируют специальное информационное видео, в которое добавляют различие в движении между двумя видеопоследовательностями V1, V2 или которое упрощено до этого различия. В качестве примера, такие различия могут представлять собой различия в выпрямлении ног у пловца и идеальной модели (или на предыдущей записи). Так, в дополнение к предоставлению двух выровненных видеопоследовательностей и предоставлению пользователю (например, тренеру или атлету) возможности интерпретации, генерируют третью видеопоследовательность, которая является расширенной или сокращенной до различий в движении, чтобы помочь пользователю в идентификации и оценке различия.
Вкратце, настоящее изобретение предлагает анализировать движения объектов в видеопоследовательностях (например, в спортивных видео) посредством осуществления оценки движения, чтобы определять векторы движения в каждом кадре. Используя вычисляемые векторы движения, можно количественно измерять движения объекта(ов) (например, атлета(ов)). Основываясь на этом, движения на двух видео можно сравнивать на каждом отдельном кадре видеопоследовательности. Различные подходы (например, цветовое кодирование) можно использовать, чтобы визуализировать и сравнивать движения. С использованием оценки движения, промежуточные кадры также можно вставлять, чтобы сделать возможным улучшенное сравнение движения на двух заданных видео.
Изобретение можно использовать в качестве улучшения для (спортивного) видеовещания. В качестве обратной связи по эффективности изобретение могут использовать тренеры или атлеты для тренировочных целей. Его также можно использовать в спортивном вещании для улучшения восприятия зрителем. Изобретение можно реализовать в устройствах отображения, таких как телевизоры (TV) или другие дисплеи, в качестве дополнительной функции TV, например, для просмотра спорта. Его также можно реализовать в телестудии для вещания. Другое применение состоит в видеоиграх и азартных играх, как описано в WO 01/26760, например, или надзоре и военном деле, как предложено, например, в US 6567536. В качестве обратной связи по эффективности его также могут использовать тренеры или атлеты для тренировочных целей. Другое применение заключается в видеоиграх или развлечениях, где настоящее изобретение улучшает анализ отличий от золотой эталонной модели или реального человека. Примером может служить игра с поддержкой видео, где камеру используют для того, чтобы регистрировать движения игрока, а затем система предоставляет обратную связь, упомянутую здесь.
Другие вариации раскрытых вариантов осуществления могут быть поняты и осуществлены специалистами в данной области при практической реализации описываемого в заявке изобретения, изучив чертежи, раскрытие и приложенную формулу изобретения.
В формуле изобретения слово «содержит» не исключает другие элементы или этапы, а форма единственного числа не исключает множества.
Один блок или устройство может выполнять функции нескольких элементов, перечисленных в формуле изобретения. Сам факт того, что определенные меры перечислены во взаимно различных зависимых пунктах формулы изобретения, не указывает на то, что комбинация этих мер не может быть использована с пользой.
Этапы на фиг.1 и 3 можно осуществлять посредством одного блока или посредством любого другого количества различных блоков. Вычисления, обработка и/или управление для предложенного анализа и/или сравнения движения могут быть реализованы в виде средств программного кода компьютерной программы и/или в виде специализированного аппаратного обеспечения.
Компьютерную программу можно хранить/распространять на подходящем носителе, таком как оптический запоминающий носитель или твердотельный носитель, поставляемый вместе или как часть других аппаратных средств, а также можно распространять в других формах, например, через интернет или другие проводные или беспроводные телекоммуникационные системы.
Любые ссылочные позиции в формуле изобретения не следует толковать в качестве ограничения объема изобретения.
В настоящем изобретении предлагается анализировать движения объектов в видеопоследовательностях (например, в спортивных видео) посредством осуществления оценки движения, чтобы определять векторы движения в каждом кадре. Используя вычисляемые векторы движения, можно количественно измерять движения объекта(ов) (например, атлета(ов)). Основываясь на этом, движения в двух видео можно сравнивать по каждому отдельному кадру видеопоследовательности. Различные подходы (например, цветовое кодирование) можно использовать, чтобы визуализировать и сравнивать движения. Используя оценку движения, промежуточные кадры также можно вставлять, чтобы сделать возможным улучшенное сравнение движения в двух заданных видео.

Claims (9)

1. Устройство для анализа движений первого объекта, захваченного в первой видеопоследовательности, и второго объекта, захваченного во второй видеопоследовательности, причем упомянутый первый объект и упомянутый второй объект являются различными объектами или являются одним и тем же объектом, захваченным в различные моменты времени, упомянутое устройство содержит:
средство (110; 210А; 210В) оценки движения для вычисления векторов движения упомянутого первого объекта и упомянутого второго объекта на отдельных кадрах упомянутой первой видеопоследовательности и упомянутой второй видеопоследовательности;
средство (120; 220) интерполяции кадров для генерации и вставки промежуточных кадров в упомянутую первую видеопоследовательность, основываясь на упомянутых вычисляемых векторах движения для упомянутого первого объекта для повышения частоты кадров упомянутой первой видеопоследовательности;
средство (130; 230) выравнивания кадров для осуществления пространственного и временного выравнивания кадров упомянутой первой видеопоследовательности с повышенной частотой кадров с кадрами упомянутой второй видеопоследовательности; и
визуализатор (140) для визуализации упомянутых движений упомянутого первого объекта и упомянутого второго объекта посредством использования упомянутых вычисляемых векторов движения.
2. Устройство по п. 1, дополнительно содержащее видеогенератор (240) для генерации третьей видеопоследовательности, содержащей различия в движениях объектов из упомянутых первой и второй видеопоследовательностей, обработанных посредством упомянутого устройства.
3. Устройство по п. 1, в котором упомянутый визуализатор (140) выполнен с возможностью визуализировать упомянутое движение упомянутого объекта посредством добавления информации по меньшей мере об одном из направления движения, количества и ускорения движения.
4. Устройство по п. 3, в котором упомянутый визуализатор (140) выполнен с возможностью добавлять упомянутую информацию в виде цветового кодирования.
5. Устройство по п. 1, в котором упомянутый визуализатор (140) выполнен с возможностью обнаруживать предварительно определяемые объекты, представляющие интерес, в упомянутых первой и второй видеопоследовательностях.
6. Устройство отображения, содержащее устройство по п. 1.
7. Игровое устройство, содержащее устройство отображения по п. 6.
8. Способ анализа движений первого объекта, захваченного в первой видеопоследовательности, и второго объекта, захваченного во второй видеопоследовательности, причем упомянутый первый объект и упомянутый второй объект являются различными объектами или являются одним и тем же объектом, захваченным в различные моменты времени, причем упомянутый способ содержит этапы, на которых:
вычисляют векторы движения упомянутого первого объекта и упомянутого второго объекта на отдельных кадрах упомянутой первой видеопоследовательности и упомянутой второй видеопоследовательности;
генерируют и вставляют промежуточные кадры в упомянутую первую видеопоследовательность, основываясь на упомянутых вычисляемых векторах движения для упомянутого первого объекта для повышения частоты кадров упомянутой первой видеопоследовательности; и
осуществляют пространственное и временное выравнивание кадров упомянутой первой видеопоследовательности с повышенной частотой кадров с кадрами упомянутой второй видеопоследовательности; и
визуализируют упомянутые движения упомянутого первого объекта и упомянутого второго объекта посредством использования упомянутых вычисляемых векторов движения.
9. Носитель, содержащий компьютерную программу для выполнения этапов способа по п. 8, когда она выполняется на вычислительном устройстве.
RU2013139872/08A 2011-01-28 2012-01-16 Сравнение движущихся объектов на основе вектора движения RU2602792C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
EP11152548.1 2011-01-28
EP11152548 2011-01-28
PCT/IB2012/050196 WO2012101542A1 (en) 2011-01-28 2012-01-16 Motion vector based comparison of moving objects

Publications (2)

Publication Number Publication Date
RU2013139872A RU2013139872A (ru) 2015-03-10
RU2602792C2 true RU2602792C2 (ru) 2016-11-20

Family

ID=45558796

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2013139872/08A RU2602792C2 (ru) 2011-01-28 2012-01-16 Сравнение движущихся объектов на основе вектора движения

Country Status (6)

Country Link
US (1) US20130293783A1 (ru)
EP (1) EP2668771A1 (ru)
JP (1) JP6030072B2 (ru)
CN (1) CN103404122B (ru)
RU (1) RU2602792C2 (ru)
WO (1) WO2012101542A1 (ru)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2729705C2 (ru) * 2017-04-21 2020-08-11 Зенимакс Медиа Инк. Системы и способы компенсации движения на основании ввода игрока
RU2737343C2 (ru) * 2019-01-10 2020-11-27 Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации Способ определения характера движения объекта на кадрах видеопоследовательности
RU2786784C1 (ru) * 2022-04-29 2022-12-26 Самсунг Электроникс Ко., Лтд. Способ преобразования частоты кадров, поддерживающий замену интерполяции кадра с компенсацией движения линейной комбинацией кадров, и реализующее его устройство

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014205643A1 (en) * 2013-06-25 2014-12-31 Thomson Licensing Method and system capable of alignment of video frame sequences
KR101946256B1 (ko) 2018-07-09 2019-02-11 이노뎁 주식회사 압축영상에 대한 움직임 벡터의 시각화 표시 처리 방법
CN111294644B (zh) * 2018-12-07 2021-06-25 腾讯科技（深圳）有限公司 视频拼接方法、装置、电子设备及计算机可读存储介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2341997A (en) * 1998-07-20 2000-03-29 Ian Galbraith Hay Object enhancement for viewing sporting images
EP1404130A1 (en) * 2002-09-24 2004-03-31 Matsushita Electric Industrial Co., Ltd. Method and apparatus for processing a video signal mixed with an additional image signal
US7843510B1 (en) * 1998-01-16 2010-11-30 Ecole Polytechnique Federale De Lausanne Method and system for combining video sequences with spatio-temporal alignment
RU2408160C1 (ru) * 2009-08-10 2010-12-27 Зао "Ниир-Ком" Способ нахождения векторов движения деталей в динамических изображениях и устройство для его реализации

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1144059A3 (en) * 1999-10-08 2002-09-04 Inmotion Technologies Ltd. Video training and gaming method for comparing events
CN100349188C (zh) * 1999-11-24 2007-11-14 伊摩信科技有限公司 以时空同步整合视频序列的方法及系统
ATE481695T1 (de) 2000-04-07 2010-10-15 Dartfish Sa Automatisiertes stroboskop-verfahren für videosequenzen
JP2002027315A (ja) * 2000-07-07 2002-01-25 Sony Corp 動き検出装置及び動き検出方法
US6567536B2 (en) * 2001-02-16 2003-05-20 Golftec Enterprises Llc Method and system for physical motion analysis
JP3668168B2 (ja) * 2001-09-14 2005-07-06 株式会社東芝 動画像処理装置
JP2005515675A (ja) * 2001-12-26 2005-05-26 イェダ リサーチ アンド デベロップメント カンパニー リミテッド ビデオの空間または時間解像度を高めるためのシステムおよび方法
US20030202599A1 (en) * 2002-04-29 2003-10-30 Koninklijke Philips Electronics N.V. Scalable wavelet based coding using motion compensated temporal filtering based on multiple reference frames
JP2004164563A (ja) * 2002-09-26 2004-06-10 Toshiba Corp 画像解析方法、画像解析装置、画像解析プログラム
US7752548B2 (en) * 2004-10-29 2010-07-06 Microsoft Corporation Features such as titles, transitions, and/or effects which vary according to positions
WO2006048875A2 (en) * 2004-11-05 2006-05-11 Yissum Research Development Company Of The Hebrew University Of Jerusalem Method and system for spatio-temporal video warping
KR100699261B1 (ko) * 2005-06-24 2007-03-27 삼성전자주식회사 움직임 에러 검출장치와 이를 포함하는 움직임 에러보정장치와 이에 의한 움직임 에러 검출방법 및 움직임에러 보정방법
DE602005010915D1 (de) 2005-07-12 2008-12-18 Dartfish Sa Verfahren zur analyse der bewegung einer person während einer aktivität
US7602301B1 (en) 2006-01-09 2009-10-13 Applied Technology Holdings, Inc. Apparatus, systems, and methods for gathering and processing biometric and biomechanical data
US8340185B2 (en) * 2006-06-27 2012-12-25 Marvell World Trade Ltd. Systems and methods for a motion compensated picture rate converter
JP5190469B2 (ja) * 2007-01-26 2013-04-24 テレフオンアクチーボラゲット エル エム エリクソン（パブル） 画像における境界領域処理
WO2008123217A1 (ja) * 2007-03-29 2008-10-16 Sharp Kabushiki Kaisha 映像送信装置、映像受信装置、映像記録装置、映像再生装置及び映像表示装置
JP5125294B2 (ja) * 2007-07-31 2013-01-23 株式会社ニコン プログラム、画像処理装置、撮像装置および画像処理方法
JP5424852B2 (ja) * 2009-12-17 2014-02-26 キヤノン株式会社 映像情報処理方法及びその装置
US8421847B2 (en) * 2010-05-21 2013-04-16 Mediatek Inc. Apparatus and method for converting two-dimensional video frames to stereoscopic video frames

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7843510B1 (en) * 1998-01-16 2010-11-30 Ecole Polytechnique Federale De Lausanne Method and system for combining video sequences with spatio-temporal alignment
GB2341997A (en) * 1998-07-20 2000-03-29 Ian Galbraith Hay Object enhancement for viewing sporting images
EP1404130A1 (en) * 2002-09-24 2004-03-31 Matsushita Electric Industrial Co., Ltd. Method and apparatus for processing a video signal mixed with an additional image signal
RU2408160C1 (ru) * 2009-08-10 2010-12-27 Зао "Ниир-Ком" Способ нахождения векторов движения деталей в динамических изображениях и устройство для его реализации

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2729705C2 (ru) * 2017-04-21 2020-08-11 Зенимакс Медиа Инк. Системы и способы компенсации движения на основании ввода игрока
US11323740B2 (en) 2017-04-21 2022-05-03 Zenimax Media Inc. Systems and methods for player input motion compensation by anticipating motion vectors and/or caching repetitive motion vectors
US11330291B2 (en) 2017-04-21 2022-05-10 Zenimax Media Inc. Systems and methods for player input motion compensation by anticipating motion vectors and/or caching repetitive motion vectors
US11503332B2 (en) 2017-04-21 2022-11-15 Zenimax Media Inc. Systems and methods for player input motion compensation by anticipating motion vectors and/or caching repetitive motion vectors
US11533504B2 (en) 2017-04-21 2022-12-20 Zenimax Media Inc. Systems and methods for player input motion compensation by anticipating motion vectors and/or caching repetitive motion vectors
US11601670B2 (en) 2017-04-21 2023-03-07 Zenimax Media Inc. Systems and methods for player input motion compensation by anticipating motion vectors and/or caching repetitive motion vectors
US11695951B2 (en) 2017-04-21 2023-07-04 Zenimax Media Inc. Systems and methods for player input motion compensation by anticipating motion vectors and/or caching repetitive motion vectors
RU2813614C2 (ru) * 2017-04-21 2024-02-13 Зенимакс Медиа Инк. Системы и способы компенсации движения на основании ввода игрока
RU2737343C2 (ru) * 2019-01-10 2020-11-27 Федеральное государственное казенное военное образовательное учреждение высшего образования "Военный учебно-научный центр Военно-воздушных сил "Военно-воздушная академия имени профессора Н.Е. Жуковского и Ю.А. Гагарина" (г. Воронеж) Министерства обороны Российской Федерации Способ определения характера движения объекта на кадрах видеопоследовательности
RU2786784C1 (ru) * 2022-04-29 2022-12-26 Самсунг Электроникс Ко., Лтд. Способ преобразования частоты кадров, поддерживающий замену интерполяции кадра с компенсацией движения линейной комбинацией кадров, и реализующее его устройство

Also Published As

Publication number Publication date
US20130293783A1 (en) 2013-11-07
CN103404122A (zh) 2013-11-20
JP6030072B2 (ja) 2016-11-24
JP2014508455A (ja) 2014-04-03
WO2012101542A1 (en) 2012-08-02
RU2013139872A (ru) 2015-03-10
CN103404122B (zh) 2017-03-22
EP2668771A1 (en) 2013-12-04

Similar Documents

Publication Publication Date Title
US7042493B2 (en) Automated stroboscoping of video sequences
US8675021B2 (en) Coordination and combination of video sequences with spatial and temporal normalization
Guéziec Tracking pitches for broadcast television
RU2498404C2 (ru) Способ и устройство для генерирования регистрационной записи события
US20200035019A1 (en) Method and system for generating an image
JP4739520B2 (ja) 時空アラインメント付ビデオシーケンスの合成方法および装置
US10412467B2 (en) Personalized live media content
RU2602792C2 (ru) Сравнение движущихся объектов на основе вектора движения
EP1907076A1 (en) A method for analyzing the motion of a person during an activity
BR102019000927A2 (pt) Projetar uma projeção de raio a partir de uma vista em perspectiva
KR101703316B1 (ko) 영상을 기반으로 속도를 측정하는 방법 및 장치
CN114302234B (zh) 一种空中技巧快速包装方法
Kelly et al. Automatic camera selection for activity monitoring in a multi-camera system for tennis
WO2002104009A1 (en) Method and system for combining video with spatio-temporal alignment
EP4300978A1 (en) Automatic alignment of video streams
US20240144613A1 (en) Augmented reality method for monitoring an event in a space comprising an event field in real time
Koch et al. Evaluation of visual position estimation in beach volleyball.
Martín et al. Automatic players detection and tracking in multi-camera tennis videos
Tanaka Animation generation method for facilitating observation of the flow of game and players’ motion in karate
Pogalin et al. Video-based training registration for swimmers
CN117939196A (zh) 比赛体验方法及装置
JP2022051532A (ja) 仮想環境を介してオブジェクトのパスを生成するための方法、装置、およびコンピュータプログラム製品
Oldham Table tennis event detection and classification
Thomas et al. Introduction to the Use of Computer Vision in Sports

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20180117