RU2617691C2 - Автоматический цифровой сбор и маркировка динамичных видеоизображений - Google Patents

Автоматический цифровой сбор и маркировка динамичных видеоизображений Download PDF

Info

Publication number
RU2617691C2
RU2617691C2 RU2014138631A RU2014138631A RU2617691C2 RU 2617691 C2 RU2617691 C2 RU 2617691C2 RU 2014138631 A RU2014138631 A RU 2014138631A RU 2014138631 A RU2014138631 A RU 2014138631A RU 2617691 C2 RU2617691 C2 RU 2617691C2
Authority
RU
Russia
Prior art keywords
data
video image
video
database
event
Prior art date
Application number
RU2014138631A
Other languages
English (en)
Other versions
RU2014138631A (ru
Inventor
Дэвид Дж. ЛОКШИН
Original Assignee
Элпайн Риплей, Инк.
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Элпайн Риплей, Инк. filed Critical Элпайн Риплей, Инк.
Publication of RU2014138631A publication Critical patent/RU2014138631A/ru
Application granted granted Critical
Publication of RU2617691C2 publication Critical patent/RU2617691C2/ru

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/70—Labelling scene content, e.g. deriving syntactic or semantic representations
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/84—Generation or processing of descriptive data, e.g. content descriptors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H04N5/772—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera the recording apparatus and the television camera being placed in the same enclosure
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/91—Television signal processing therefor
    • H04N5/92—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N5/9201—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback involving the multiplexing of an additional signal and the video signal
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/7867—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using information manually generated, e.g. tags, keywords, comments, title and artist information, manually generated time, location and usage information, user ratings
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70—Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/787—Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using geographical or spatial information, e.g. location
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/41—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items
    • G06V20/42—Higher-level, semantic clustering, classification or understanding of video scenes, e.g. detection, labelling or Markovian modelling of sport events or news items of sport video content
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/02—Editing, e.g. varying the order of information signals recorded on, or reproduced from, record carriers
    • G11B27/031—Electronic editing of digitised analogue information signals, e.g. audio or video signals
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B27/00—Editing; Indexing; Addressing; Timing or synchronising; Monitoring; Measuring tape travel
    • G11B27/10—Indexing; Addressing; Timing or synchronising; Measuring tape travel
    • G11B27/19—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier
    • G11B27/28—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording
    • G11B27/32—Indexing; Addressing; Timing or synchronising; Measuring tape travel by using information detectable on the record carrier by using information signals recorded by the same method as the main recording on separate auxiliary tracks of the same or an auxiliary record carrier
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/42202—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS] environmental sensors, e.g. for detecting temperature, luminosity, pressure, earthquakes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/45—Management operations performed by the client for facilitating the reception of or the interaction with the content or administrating data related to the end-user or to the client device itself, e.g. learning user preferences for recommending movies, resolving scheduling conflicts
    • H04N21/4508—Management of client data or end-user data
    • H04N21/4524—Management of client data or end-user data involving the geographical location of the client
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H04N21/8133—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts specifically related to the content, e.g. biography of the actors in a movie, detailed information about an article seen in a video program
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/90—Arrangement of cameras or camera modules, e.g. multiple cameras in TV studios or sports stadiums
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00—Details of colour television systems
    • H04N9/79—Processing of colour television signals in connection with recording
    • H04N9/80—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback
    • H04N9/82—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only
    • H04N9/8205—Transformation of the television signal for recording, e.g. modulation, frequency changing; Inverse transformation for playback the individual colour picture signal components being recorded simultaneously only involving the multiplexing of an additional signal and the colour video signal
    • G—PHYSICS
    • G11—INFORMATION STORAGE
    • G11B—INFORMATION STORAGE BASED ON RELATIVE MOVEMENT BETWEEN RECORD CARRIER AND TRANSDUCER
    • G11B20/00—Signal processing not specific to the method of recording or reproducing; Circuits therefor
    • G11B20/10—Digital recording or reproducing
    • G11B20/10527—Audio or video recording; Data buffering arrangements
    • G11B2020/10537—Audio or video recording

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Library & Information Science (AREA)
  • Computational Linguistics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Remote Sensing (AREA)
  • Environmental Sciences (AREA)
  • Environmental & Geological Engineering (AREA)
  • Emergency Management (AREA)
  • Ecology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Business, Economics & Management (AREA)
  • Software Systems (AREA)
  • Studio Devices (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

Изобретение относится к области генерирования и обработки описательных данных контента, а именно к автоматическому цифровому сбору, снабжению комментариями и маркировке динамичных видеоизображений. Техническим результатом является обеспечение сопоставления данных видеоизображения и данных о выполнении из разных наборов данных, даже если данные видеоизображения и данные о выполнении записывались независимо и без явных сведений о другом действии. Для этого принимают в системе обработки данные GPS, а в некоторых вариантах осуществления – инерциальные данные, от устройства с датчиками, носимого спортсменом во время спортивного действия. Система обработки обрабатывает данные GPS и инерциальные данные, при их наличии, чтобы идентифицировать по меньшей мере одно событие у спортсмена, и сохраняет данные, идентифицирующие событие у спортсмена, в базе данных о выполнении. Данные видеоизображения от видеокамеры сохраняются в базе данных видеоизображений, причем данные видеоизображения включают в себя информацию о местоположении, времени и направлении, ассоциированную с кадрами видеоизображения. Данные временного кода в базе данных видеоизображений синхронизируются с данными временного кода в базе данных о выполнении, и данные, идентифицирующие событие у спортсмена, используются для автоматического выбора, снабжения комментариями, маркировки или редактирования упомянутых данных видеоизображения. 3 н. и 30 з.п. ф-лы, 5 ил.

Description

[0001] Данная заявка притязает на приоритет Предварительной патентной заявки США с порядковым номером 61/689654, поданной 11 июня 2012 года, озаглавленной "Auto Digital Curation And Tagging Of Action Videos", и заявки на патент США с порядковым номером 13/734818, поданной 4 января 2013 года, озаглавленной "Automatic Digital Curation And Tagging Of Action Videos", которые полностью включаются в этот документ путем отсылки.
[0002] Данная заявка включает в себя материал, который подлежит охране авторского права. Владелец авторских прав не имеет возражений против факсимильного воспроизведения кем-либо раскрытия патента, как он выглядит в файлах или записях Бюро США по патентам и торговым знакам, в противном случае абсолютно все авторские права защищены.
ОБЛАСТЬ ТЕХНИКИ, К КОТОРОЙ ОТНОСИТСЯ ИЗОБРЕТЕНИЕ
[0003] Настоящее изобретение в общем относится к области устройств для записи видеоизображения и в частности к способам и устройствам для автоматического цифрового сбора и маркировки динамичных видеоизображений.
УРОВЕНЬ ТЕХНИКИ
[0004] Широкая доступность портативных камер привела к стремительному росту коротких любительских и профессиональных видеоизображений. Многие из этих видеоизображений, особенно сделанных камерами для динамичной съемки типа POV (от первого лица), относятся к экстремальным видам спорта, таким как горные лыжи, катание на сноуборде, серфинг, катание на горном велосипеде и т.п. Веб-сайт YouTube, например, содержит тысячи таких видеоизображений.
[0005] Вместе с тем очень большое количество и популярность этих видеоизображений создали свою проблему. Во-первых, стало очень трудно отыскать представляющее интерес видеоизображение, когда представляющее интерес событие не ассоциировано явно с видеоизображением его создателями. Во-вторых, поскольку большинство видеоизображений сделано любителями и не редактируется, пользователям приходится смотреть все видеоизображение, даже если они заинтересованы только в его некоторой конкретной части, например когда сноубордист прыгает, или у лыжника очень быстрый участок спуска, или любые другие конкретные события в более крупном видеоизображении.
[0006] В то же время широкая популярность портативных устройств с GPS и другими датчиками делает возможным точное измерение, хранение и классификацию действий в экстремальных видах спорта. Поэтому если бы данные видеоизображения и данные о выполнении можно было синхронизировать во времени и пространстве, то видеоматериалы можно было бы снабжать комментариями, редактировать, выбирать и маркировать на основе матрицы выполнения конкретного действия, которое было снято.
[0007] Человек, ищущий или просматривающий такое видеоизображение, может отыскать конкретное видеоизображение или части видеоизображения. Например, такой человек может захотеть найти видеоизображение, которое показывает прыжки на сноуборде с временем пребывания в воздухе больше одной секунды. Однако это было бы непрактично или невозможно при использовании доступных в настоящее время средств для маркировки видеоизображений, которые обычно используют только семантику и текстовые описания видеоизображений.
[0008] Другая проблема, ассоциированная со многими динамичными видеоизображениями, состоит в том, что они создаются одним человеком, а данные о выполнении для "субъекта" видеоизображения собираются датчиками, совмещенными с субъектом видеоизображения, который является другим человеком.
[0009] Предприняты попытки помечать видеоизображение во время захвата для быстрого выбора. Однако такие решения обычно используют метки, которые основываются на тексте, который создается другими или обнаруживается в видеоизображении.
[0010] Патенты США 7624337 и 7823055 раскрывают решение, которое использует текст, включая текст в видеоизображении, для создания меток и метаданных для последующего использования в поиске видеоизображений.
[0011] Патент США 5832171 (Heist) и др. описывает синхронизацию видеоизображения и текста, где текст создавался для видеоизображения.
[0012] Патент США 4873585 (Blanton) и др. показывает систему, которая допускает выбор изображений конкретных движений из видеоизображения, чтобы предоставить простой доступ к этим изображениям. Однако это требует вмешательства оператора и принятия решений.
[0013] Патент США 7483049 (Aman) и др. раскрывает создание базы данных с видеоизображениями спортивных движений. Однако видеоизображение нужно создавать в сильно управляемой среде с помощью нескольких камер спортсменами с видимыми или невидимыми маркерами, которые можно идентифицировать на видеоизображении.
[0014] Также существует пакет документов по инициированию видеоизображения конкретными событиями, главным образом нарушениями правил движения. Патент США 7986339 (Higgins) описывает систему, допускающую запись и анализ неподвижных изображений и видеоизображений нарушения правил движения. Однако видеозапись инициируется внешним физическим сигналом, который формируется транспортным средством, например лазером или радаром на эффекте Допплера. Патент США 6919823 (Lock) и Патент США 7633433 (Behrens) аналогичны, причем инициирующий сигнал формируется переключением красного света или лазерным лучом, прерываемым после переключения красного света.
[0015] К тому же в вышеупомянутых случаях относительное положение камеры и субъекта видеоизображения известны заранее, и поэтому решение не предоставляет никакого поиска во временной и пространственной области для сопоставления события и видеоматериалов.
СУЩНОСТЬ ИЗОБРЕТЕНИЯ
[0016] В варианте осуществления настоящее раскрытие изобретения предоставляет способ и систему, которые делают возможным синхронизацию видеоизображения и соответствующих данных о выполнении, а затем маркировку и/или редактирование видеоизображения на основе данных о выполнении. Данные видеоизображения и данные о выполнении могут собираться совмещенным устройством (то есть одним и тем же устройством) либо разными устройствами и разными пользователями. Данные видеоизображения и данные о выполнении также могли бы сохраняться на одном устройстве или сохраняться на разных устройствах или базах данных. Изобретение соответственно может обеспечить сопоставление данных видеоизображения и данных о выполнении из разных наборов данных или разных баз данных, а затем автоматическое редактирование, снабжение комментариями и маркировку видеоизображения. Это может выполняться, даже если данные видеоизображения и данные о выполнении записывались независимо и без явных сведений о другом действии.
[0017] Изобретение принимает в системе обработки данные GPS, а в некоторых вариантах осуществления - инерциальные данные от устройства с датчиками, носимого пользователем, который в некоторых вариантах осуществления является спортсменом во время спортивного действия. Данные GPS могут быть данными о положении, или данными о времени, либо данными о положении и времени. Система обработки обрабатывает данные GPS и необязательные данные датчиков, чтобы идентифицировать по меньшей мере одно событие, например спортивное событие, и сохраняет данные, идентифицирующие это событие, в базе данных о выполнении. Данные видеоизображения от видеокамеры сохраняются в базе данных видеоизображений, причем данные видеоизображения включают в себя информацию о местоположении, времени и направлении, ассоциированную с кадрами видеоизображения. Данные временного кода в видеозаписи синхронизируются с данными временного кода в записи выполнения, и данные, идентифицирующие событие, используются для автоматического выбора, снабжения комментариями, маркировки или редактирования упомянутых данных видеоизображения.
КРАТКОЕ ОПИСАНИЕ ЧЕРТЕЖЕЙ
[0018] Вышеупомянутые и другие цели, признаки и преимущества изобретения станут очевидными из нижеследующего, более конкретного описания предпочтительных вариантов осуществления, которые проиллюстрированы на прилагаемых чертежах, на которых номера позиций относятся к одинаковым частям на различных представлениях. Чертежи не обязательно представлены в масштабе, вместо этого сделан акцент на иллюстрацию принципов изобретения.
[0019] Фиг. 1 показывает логическую блок-схему, иллюстрирующую вариант осуществления способа для автоматического выбора нужной части видеоматериалов из динамичного видеоизображения, когда датчики совмещаются с видеокамерой.
[0020] Фиг. 2 показывает трехмерное схематическое изображение, иллюстрирующее сценарий, в котором траектория лыжника пересекает поле зрения камеры A, но не пересекает поле зрения для камеры B.
[0021] Фиг. 3 показывает логическую блок-схему, иллюстрирующую вариант осуществления подходящего алгоритма, который ищет в базе данных активных камер.
[0022] Фиг. 4 показывает блок-схему, иллюстрирующую организацию баз данных видеоизображений и выполнения в соответствии с вариантом осуществления изобретения.
[0023] Фиг. 5 показывает логическую блок-схему, иллюстрирующую процесс для использования метаданных выполнения для упрощения поиска.
ПОДРОБНОЕ ОПИСАНИЕ
[0024] Сейчас будет сделана подробная ссылка на предпочтительные варианты осуществления настоящего изобретения, примеры которых иллюстрируются на прилагаемых чертежах.
[0025] Настоящее изобретение описывается ниже со ссылкой на блок-схемы и функциональные иллюстрации системы и способа для автоматического цифрового сбора и маркировки динамичных видеоизображений. Подразумевается, что каждый блок в блок-схемах или функциональных иллюстрациях и сочетания блоков на блок-схемах или функциональных иллюстрациях могут быть реализованы посредством аналоговых или цифровых аппаратных средств и команд компьютерной программы. Эти команды компьютерной программы могут храниться на машиночитаемых носителях и предоставляться процессору универсального компьютера, специализированного компьютера, ASIC или другого программируемого устройства обработки данных, так что команды, которые исполняются посредством процессора компьютера или другого программируемого устройства обработки данных, реализуют функции/действия, заданные на блок-схемах, или функциональный блок либо блоки. В некоторых дополнительных реализациях функции/действия, упомянутые в блоках, могут совершаться не в порядке, упомянутом на функциональных иллюстрациях. Например, показанные в последовательности два блока на самом деле могут выполняться практически одновременно, или блоки иногда могут выполняться в обратном порядке в зависимости от участвующих функциональных возможностей/действий.
[0026] В варианте осуществления пользователь оснащается устройством с датчиками, которое записывает его/ее движения. Устройство с датчиками может быть, например, портативным устройством, которое включает в себя GPS и инерциальные датчики. Также предоставляется система обработки, которая может быть встроена в устройство с датчиками, может быть обособленным устройством или может быть серверной, которая предусматривает обнаружение таких событий, как прыжки, сальто, вращения, высокая скорость, быстрые повороты и т.п. В результате в базе данных о выполнении создается и сохраняется подробная запись движений с подробной траекторией, скоростью, ускорением, прыжками, трюками и т.п. Также предоставляется видеокамера, для которой информация о местоположении, времени и, при желании, направлении известна для времени, когда снимается видеоизображение. Камера может совмещаться с датчиками или может быть независимым устройством.
[0027] Нижеследующее является неограничивающим примером работы системы и способа в соответствии с вариантом осуществления изобретения. Видеокамера записывает некое спортивное действие, которое происходит между моментом t=Tstart и t=Tend. В этом примере такие же параметры выполнения действия также записаны с использованием набора датчиков. Конкретное представляющее интерес событие, например прыжок, обнаруживается с использованием данных от датчиков в момент t=tk, Tstart<tk<Tend. Затем, если данные от датчиков и видеоизображение синхронизированы по времени, то видеоматериалы представляющего интерес события можно вырезать между моментом tk-T и tk+T, где T - полупериод нужных видеоматериалов. В варианте осуществления, если видеоизображение короче нужного времени 2T, то используется все видеоизображение. Временная синхронизация между данными видеоизображения и данными датчиков может проводиться с использованием временных отметок GPS, либо временных отметок беспроводной сети, либо любого другого способа, известного специалистам в данной области техники.
[0028] Фиг. 1 показывает блок-схему алгоритма, иллюстрирующую вариант осуществления способа для автоматического выбора нужной части видеоматериалов из динамичного видеоизображения, когда датчики совмещаются с видеокамерой. Координация времени и положения позволяет системе автоматически ассоциировать видеоматериалы и спортивное выполнение. Если известны положение, направление и фокусное расстояние камеры, то можно выполнить более сложное составление пар между данными видеоизображения и данными от датчиков. Способ начинается с этапа 101, на котором время синхронизируется между видеозаписями и записями датчиков. На этапе 103 выбирается представляющее интерес событие на основе данных датчиков. Это событие может быть, например, прыжком, сальто, вращением, высокоскоростным участком, поворотом, быстрым поворотом или любой другой ограниченной частью выполнения пользователя, которая может представлять интерес. На этапе 105 устройство обработки автоматически определяет, где происходит представляющее интерес событие в данных датчиков, при t=Tsns. Различные системы и способы для идентификации представляющего интерес события в данных датчиков показаны, например, в заявке на патент США № 13/612470, озаглавленной "Method and Apparatus for Determining Sportsman Jumps Using Fuzzy Logic", поданной 12 сентября 2012 года, все раскрытие которой включается в этот документ путем отсылки.
[0029] Продолжая ссылаться на фиг. 1, на этапе 107 время, определенное на вышеприведенном этапе 105, переносится во временной интервал видеоизображения в базе данных видеоизображений, так что Tv = Sync(Tsns). Затем на этапе 109 выбирается видеоизображение между Tv-T:Tv+T. Данные о выполнении затем внедряются (отображаются, добавляются в комментарии) в данные видеоизображения на этапе 111. Данные видеоизображения можно автоматически маркировать с помощью данных о выполнении на этапе 113. Автоматизированная маркировка может включать в себя имя пользователя, время и местоположение события и ключевые характеристики выполнения, например скорость, значение наклона, время и/или высоту прыжка, угол отклонения, или торговую марку и т.п. В качестве альтернативы или дополнительно видеоизображение затем можно автоматически редактировать, и этап 111 завершен.
[0030] Специалисты в данной области техники поймут, что аналогичная работа может выполняться путем выбора подходящего сегмента выполнения, когда видеоизображение короткое, а запись выполнения охватывает гораздо больший перекрывающийся период времени.
[0031] Фиг. 2 показывает трехмерное схематическое изображение, иллюстрирующее сценарий, в котором траектория лыжника пересекает поле зрения камеры A, но не пересекает поле зрения для камеры B. Если представляющее интерес событие происходит в течение времени, когда функционирует камера A, то можно идентифицировать и выбрать подходящие материалы. Траектория события B не пересекает никакое поле зрения камеры и не может быть синхронизирована. Эта реализация иллюстрирует возможный случай, где несколько автоматически управляемых камер постоянно записывают любое действие в их поле зрения, а затем представляющее интерес видеоизображение автоматически выбирается на основе данных о выполнении, времени и местоположении, которые собираются отдельно.
[0032] Фиг. 3 показывает блок-схему алгоритма, иллюстрирующую вариант осуществления подходящего алгоритма, который ищет в базе данных активных камер. На этапе 301 представляющее интерес событие идентифицируется с использованием данных датчиков. Как отмечалось выше, такое событие может быть прыжком, сальто, вращением, высокоскоростным участком, поворотом, быстрым поворотом или любой другой ограниченной частью выполнения пользователя, которая может представлять интерес. Как только идентифицируется событие, на этапе 303 система обработки определяет географическое положение и продолжительность времени события. На этапе 305 система обработки отыскивает все камеры, которые функционируют в момент Tk (определенный на вышеприведенном этапе 303). Если нет функционирующих камер, как определено на этапе 307, то процесс завершается. В противном случае процесс переходит к этапу 309, на котором данные функционирующих камер или камеры синхронизируются по времени с данными датчиков или датчика. Как только функционирующие камеры или их данные синхронизируются по времени с данными датчиков или датчика, процесс переходит к выбору на этапе 311 подмножества камер, у которых положение события (которое определено выше на этапе 303) находится в их поле зрения. Если нет таких камер, как определено на этапе 313, то процесс завершается. Среди ранее выбранного подмножества камер выбирается дополнительное подмножество камер на этапе 315, причем это дополнительное подмножество является теми данными камер или камеры, которые удовлетворяют другим критериям. Примеры таких других критериев включают в себя, например, камеру, которая обладает наилучшим фокусом. Из дополнительного подмножества камер на этапе 317 выбираются видеоматериалы, записанные в момент Tk-T:Tk+T. На этапе 319 данные о выполнении для представляющего интерес события или для всего выполнения внедряются в данные видеоизображения. В конечном счете данные видеоизображения на этапе 321 маркируются с помощью данных о выполнении, а также с помощью другой информации - времени, местоположения, пользователя.
[0033] Фиг. 4 показывает блок-схему, иллюстрирующую пример организации баз данных видеоизображений и выполнения в соответствии с вариантом осуществления изобретения. Фиг. 5 показывает блок-схему алгоритма, иллюстрирующую процесс для использования метаданных выполнения для упрощения поиска.
[0034] Таким образом, вариант осуществления раскрытых сейчас системы и способа позволяет редактирование, снабжение комментариями и поиск в отдельном видеоизображении или библиотеке видеоизображений по характеристикам выполнения. Выбор субъекта можно дополнительно уточнить путем выбора данных о выполнении от пользователей, которые принадлежат к конкретной подгруппе, например "друзья". Предположим, что несколько пользователей имеют траекторию данных о выполнении, которая соответствует конкретному видеоклипу. Однако только один пользователь среди них принадлежит к подгруппе "друзья" человека, который создал видеоизображение. Тогда данные о выполнении этого "друга" можно выбрать автоматически для синхронизации с видеоизображением. Это разрешает распространенную ситуацию, в которой человек записывает видеоизображение его или ее друзей, и в кадре также записывается действие других людей. Автоматический выбор в соответствии с различными вариантами осуществления изобретения может дополнительно повысить производительность системы и упростить процесс создания видеоизображения.
[0035] Описанные в этом документе этапы обработки могут выполняться на одном или нескольких вычислительных устройствах. Например, этапы могут выполняться на любом сочетании (a) портативного устройства сбора данных, носимого пользователем, (b) портативного вычислительного устройства видеозаписи, носимого наблюдателем на спортивном событии или пользователем, участвующим в событии, или (c) удаленного серверного вычислительного устройства. Примером портативных устройств сбора данных является портативное вычислительное устройство или смартфон с возможностью акселерометра и GPS. Примеры портативного вычислительного устройства видеозаписи включают в себя видеокамеру с возможностью обработки или смартфон с аппаратными средствами и программным обеспечением для видеозаписи. Каждое такое вычислительное устройство может содержать, например, процессор для выполнения команд; машиночитаемые носители, например статическое запоминающее устройство и/или динамическое запоминающее устройство для хранения команд компьютерной программы; средство ввода, например сенсорный экран, клавиатуру, речевой ввод, мышь или т.п.; сетевой интерфейс для взаимодействия по беспроводной и/или проводной сети и интерфейс пользователя, например дисплей, динамик и аппаратные или программируемые кнопки. Портативное устройство сбора данных может дополнительно включать в себя акселерометр, например трехкоординатный акселерометр, а также может включать в себя приемник GPS и способность определять свое положение с его использованием. Удаленное серверное вычислительное устройство может быть устройством, которое удалено от портативного устройства сбора данных. Например, может предоставляться служебный или настольный компьютер, и он может обрабатывать необработанные или предварительно обработанные данные акселерометра от портативного устройства сбора данных. Передача данных от портативного устройства сбора данных к вычислительному устройству или к удаленному серверному вычислительному устройству может выполняться посредством беспроводного и/или проводного сетевого интерфейса, ассоциированного с портативным устройством сбора данных, и беспроводного и/или проводного сетевого интерфейса, ассоциированного с удаленным служебным или удаленным настольным компьютером.
[0036] Вышеприведенные варианты осуществления и предпочтения являются пояснительными для настоящего изобретения. Для данного патента не является необходимым или предполагаемым обрисовывать или задавать каждое возможное сочетание или вариант осуществления. Автор изобретения раскрыл достаточно информации, чтобы позволить специалисту в данной области техники применить на практике по меньшей мере один вариант осуществления изобретения. Вышеприведенное описание и чертежи являются лишь пояснительными для настоящего изобретения, и изменения в компонентах, структуре и процедуре возможны без отклонения от объема настоящего изобретения, который задан в нижеследующей формуле изобретения. Например, элементы и/или этапы, описанные выше и/или в нижеследующей формуле изобретения в конкретном порядке, могут применяться на практике в другом порядке без отклонения от изобретения. Таким образом, хотя изобретение подробно показано и описано со ссылкой на его варианты осуществления, специалисты в данной области техники поймут, что в нем могут быть сделаны различные изменения в форме и деталях без отклонения от сущности и объема изобретения.

Claims (53)

1. Способ автоматического цифрового сбора и маркировки и/или редактирования видеоизображений, содержащий этапы, на которых:
принимают в системе обработки данные GPS от устройства, носимого пользователем или прикрепленного к спортивному инвентарю во время спортивных действий, причем данные GPS содержат по меньшей мере одно из данных о положении и данных о времени;
обрабатывают данные GPS в системе обработки, чтобы идентифицировать по меньшей мере одно событие, в котором участвует пользователь;
сохраняют данные, идентифицирующие это по меньшей мере одно событие, в записи выполнения в качестве данных о выполнении;
сохраняют данные видеоизображения в видеозаписи, причем данные видеоизображения имеют метаданные, содержащие, по меньшей мере, информацию о времени и местоположении, ассоциированную с кадрами видеоизображения;
синхронизируют данные временного кода в видеозаписях с данными временного кода в записях выполнения; и
используют данные о выполнении, чтобы автоматически выбирать, снабжать комментариями или редактировать данные видеоизображения, добавлять по меньшей мере одну метку в данные видеоизображения и внедрять, по меньшей мере, часть данных о выполнении в данные видеоизображения.
2. Способ по п. 1, в котором устройство, носимое пользователем, представляет собой устройство с датчиками, при этом на упомянутом этапе приема принимают инерциальные данные от устройства с датчиками, причем на упомянутом этапе обработки обрабатывают эти инерциальные данные.
3. Способ по п. 1, в котором пользователь является спортсменом, а упомянутое событие является спортивным событием.
4. Способ по п. 1, в котором запись выполнения представляет базу данных о выполнении.
5. Способ по п. 4, в котором видеозапись представляет базу данных видеоизображений.
6. Способ по п. 1, в котором упомянутые метаданные дополнительно содержат информацию о направлении.
7. Способ по п. 1, в котором упомянутый этап, на котором синхронизируют данные временного кода в видеозаписях с данными временного кода в записях выполнения, осуществляется с использованием временных отметок GPS.
8. Способ по п. 1, в котором упомянутый этап, на котором синхронизируют данные временного кода в видеозаписях с данными временного кода в записях выполнения, осуществляется с использованием временных отметок беспроводной сети.
9. Способ по п. 1, в котором упомянутое по меньшей мере одно событие, идентифицированное системой обработки, содержит событие, выбранное из набора, состоящего из: прыжка, сальто, вращения, высокоскоростного участка, поворота и быстрого поворота.
10. Способ по п. 1, в котором упомянутое устройство является портативным устройством, содержащим по меньшей мере один датчик GPS и по меньшей мере один инерциальный датчик.
11. Способ по п. 1, в котором система обработки встраивается в упомянутое устройство.
12. Способ по п. 1, в котором система обработки является обособленным от упомянутого устройства устройством.
13. Способ по п. 1, в котором система обработки является сервером.
14. Способ по п. 4, в котором данные GPS и инерциальные данные сохраняются в базе данных о выполнении.
15. Способ по п. 1, в котором упомянутое устройство совмещается с камерой, которая формирует данные видеоизображения.
16. Способ по п. 1, в котором упомянутое устройство является обособленным и независимым от камеры, которая формирует данные видеоизображения.
17. Способ по п. 5, в котором база данных о выполнении и база данных видеоизображений являются одной и той же базой данных с обособленными записями для данных о выполнении и для данных видеоизображения.
18. Способ по п. 1, дополнительно содержащий этап, на котором используют дополнительные метаданные для ускорения сопоставления данных о выполнении и данных видеоизображения.
19. Способ по п. 16, в котором на упомянутом этапе использования дополнительных метаданных используют имя или ID пользователя для упрощения поиска.
20. Система для автоматического цифрового сбора и маркировки и/или редактирования видеоизображений, содержащая:
устройство, сконфигурированное для ношения пользователем во время спортивных действий, причем данное устройство имеет по меньшей мере один датчик GPS, который формирует данные GPS;
видеокамеру, сконфигурированную для формирования данных видеоизображения; и
систему обработки, сконфигурированную:
(a) обрабатывать данные GPS, чтобы идентифицировать по меньшей мере одно событие, в котором участвует пользователь;
(b) сохранять данные, идентифицирующие это по меньшей мере одно событие, в базе данных о выполнении в качестве данных о выполнении;
(c) осуществлять доступ к данным видеоизображения в базе данных видеоизображений, причем данные видеоизображения содержат информацию о местоположении, времени и направлении, ассоциированную с кадрами видеоизображения;
(d) синхронизировать данные временного кода в базе данных видеоизображений с данными временного кода в базе данных о выполнении; и
(e) использовать данные о выполнении, чтобы автоматически выбирать, снабжать комментариями или редактировать данные видеоизображения, добавлять по меньшей мере одну метку в данные видеоизображения и внедрять, по меньшей мере, часть данных о выполнении в данные видеоизображения.
21. Система по п. 20, в которой упомянутое устройство для ношения пользователем представляет собой устройство с датчиками, при этом от устройства с датчиками принимаются инерциальные данные, причем упомянутая обработка содержит обработку этих инерциальных данных.
22. Система по п. 20, при этом пользователь является спортсменом, а упомянутое событие является спортивным событием.
23. Система по п. 20, в которой упомянутое устройство сконфигурировано для ношения прикрепленным к одежде или инвентарю пользователя.
24. Система по п. 20, в которой упомянутое по меньшей мере одно событие, идентифицированное системой обработки, содержит событие, выбранное из набора, состоящего из: прыжка, сальто, вращения, высокоскоростного участка, поворота и быстрого поворота.
25. Система по п. 20, в которой упомянутое устройство является портативным устройством, содержащим по меньшей мере один датчик GPS и по меньшей мере один инерциальный датчик.
26. Система по п. 21, в которой система обработки является встроенной в упомянутое устройство с датчиками.
27. Система по п. 21, в которой система обработки является обособленной от упомянутого устройства с датчиками устройством.
28. Система по п. 20, в которой система обработки является сервером.
29. Система по п. 21, в которой данные GPS и инерциальные данные сохраняются в базе данных о выполнении.
30. Система по п. 20, в которой упомянутое устройство совмещено с видеокамерой.
31. Система по п. 20, в которой упомянутое устройство является обособленным и независимым от видеокамеры.
32. Система по п. 20, в которой база данных о выполнении и база данных видеоизображений являются одной и той же базой данных с обособленными записями для данных о выполнении и для данных видеоизображения.
33. Долговременный машиночитаемый носитель информации, на котором сохранены машиноисполняемые инструкции, которые при их исполнении системой обработки предписывают системе обработки:
принимать данные GPS от устройства, носимого пользователем во время спортивных действий, причем упомянутые данные GPS содержат по меньшей мере одно из данных о положении и данных о времени;
обрабатывают данные GPS, чтобы идентифицировать по меньшей мере одно событие, в котором участвует пользователь;
сохранять данные, идентифицирующие это по меньшей мере одно событие, в базе данных о выполнении в качестве данных о выполнении;
сохранять данные видеоизображения в базе данных видеоизображений, причем данные видеоизображения содержат информацию о местоположении, времени и направлении, ассоциированную с кадрами видеоизображения;
синхронизировать данные временного кода в базе данных видеоизображений с данными временного кода в базе данных о выполнении; и
использовать данные о выполнении, чтобы автоматически выбирать, снабжать комментариями или редактировать данные видеоизображения, добавлять по меньшей мере одну метку в данные видеоизображения и внедрять, по меньшей мере, часть данных о выполнении в данные видеоизображения.
RU2014138631A 2012-06-11 2013-01-11 Автоматический цифровой сбор и маркировка динамичных видеоизображений RU2617691C2 (ru)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US201261689654P 2012-06-11 2012-06-11
US61/689,654 2012-06-11
US13/734,818 2013-01-04
US13/734,818 US8929709B2 (en) 2012-06-11 2013-01-04 Automatic digital curation and tagging of action videos
PCT/US2013/021122 WO2013187937A1 (en) 2012-06-11 2013-01-11 Automatic digital curation and tagging of action videos

Publications (2)

Publication Number Publication Date
RU2014138631A RU2014138631A (ru) 2016-04-10
RU2617691C2 true RU2617691C2 (ru) 2017-04-26

Family

ID=49715399

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2014138631A RU2617691C2 (ru) 2012-06-11 2013-01-11 Автоматический цифровой сбор и маркировка динамичных видеоизображений

Country Status (7)

Country Link
US (3) US8929709B2 (ru)
EP (1) EP2859734A4 (ru)
JP (1) JP2015523010A (ru)
KR (1) KR20150020526A (ru)
CN (1) CN104335594A (ru)
RU (1) RU2617691C2 (ru)
WO (1) WO2013187937A1 (ru)

Families Citing this family (69)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9406336B2 (en) 2010-08-26 2016-08-02 Blast Motion Inc. Multi-sensor event detection system
US9320957B2 (en) 2010-08-26 2016-04-26 Blast Motion Inc. Wireless and visual hybrid motion capture system
US9401178B2 (en) 2010-08-26 2016-07-26 Blast Motion Inc. Event analysis system
US8941723B2 (en) 2010-08-26 2015-01-27 Blast Motion Inc. Portable wireless mobile device motion capture and analysis system and method
US9039527B2 (en) 2010-08-26 2015-05-26 Blast Motion Inc. Broadcasting method for broadcasting images with augmented motion data
US9247212B2 (en) 2010-08-26 2016-01-26 Blast Motion Inc. Intelligent motion capture element
US9235765B2 (en) 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
US9619891B2 (en) 2010-08-26 2017-04-11 Blast Motion Inc. Event analysis and tagging system
US9261526B2 (en) 2010-08-26 2016-02-16 Blast Motion Inc. Fitting system for sporting equipment
US9626554B2 (en) 2010-08-26 2017-04-18 Blast Motion Inc. Motion capture system that combines sensors with different measurement ranges
US9604142B2 (en) 2010-08-26 2017-03-28 Blast Motion Inc. Portable wireless mobile device motion capture data mining system and method
US9396385B2 (en) 2010-08-26 2016-07-19 Blast Motion Inc. Integrated sensor and video motion analysis method
US9646209B2 (en) 2010-08-26 2017-05-09 Blast Motion Inc. Sensor and media event detection and tagging system
US9076041B2 (en) 2010-08-26 2015-07-07 Blast Motion Inc. Motion event recognition and video synchronization system and method
US9940508B2 (en) 2010-08-26 2018-04-10 Blast Motion Inc. Event detection, confirmation and publication system that integrates sensor data and social media
US9418705B2 (en) 2010-08-26 2016-08-16 Blast Motion Inc. Sensor and media event detection system
US9607652B2 (en) 2010-08-26 2017-03-28 Blast Motion Inc. Multi-sensor event detection and tagging system
US9098611B2 (en) * 2012-11-26 2015-08-04 Intouch Technologies, Inc. Enhanced video interaction for a user interface of a telepresence network
US8929709B2 (en) 2012-06-11 2015-01-06 Alpinereplay, Inc. Automatic digital curation and tagging of action videos
US10548514B2 (en) 2013-03-07 2020-02-04 Alpinereplay, Inc. Systems and methods for identifying and characterizing athletic maneuvers
US10008237B2 (en) 2012-09-12 2018-06-26 Alpinereplay, Inc Systems and methods for creating and enhancing videos
US10408857B2 (en) 2012-09-12 2019-09-10 Alpinereplay, Inc. Use of gyro sensors for identifying athletic maneuvers
US10089633B2 (en) 2013-08-13 2018-10-02 Amazon Technologies, Inc. Remote support of computing devices
CH709324A2 (fr) 2014-01-06 2015-08-28 Cédric Mangaud Dispositif de création de vidéos augmentées.
WO2015109290A1 (en) * 2014-01-20 2015-07-23 H4 Engineering, Inc. Neural network for video editing
US9374477B2 (en) 2014-03-05 2016-06-21 Polar Electro Oy Wrist computer wireless communication and event detection
US9361469B2 (en) 2014-03-26 2016-06-07 Amazon Technologies, Inc. Electronic communication with secure screen sharing of sensitive information
US10445051B1 (en) * 2014-03-27 2019-10-15 Amazon Technologies, Inc. Recording and replay of support sessions for computing devices
FI20145643A (fi) 2014-07-02 2016-01-03 Suunto Oy Menetelmä, järjestelmä, kannettava digitaalinen laite ja tallennuslaite kuvainformaation tallentamisen etäaktivointia varten
US10362263B2 (en) 2014-07-02 2019-07-23 Amer Sports Digital Services Oy System and method for remote activation of a storage operation of pictorial information
US9928878B2 (en) * 2014-08-13 2018-03-27 Intel Corporation Techniques and apparatus for editing video
US10192583B2 (en) * 2014-10-10 2019-01-29 Samsung Electronics Co., Ltd. Video editing using contextual data and content discovery using clusters
EP3216220A4 (en) * 2014-11-07 2018-07-11 H4 Engineering, Inc. Editing systems
WO2016111069A1 (ja) * 2015-01-05 2016-07-14 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
US10918924B2 (en) 2015-02-02 2021-02-16 RLT IP Ltd. Frameworks, devices and methodologies configured to enable delivery of interactive skills training content, including content with multiple selectable expert knowledge variations
WO2016134031A1 (en) 2015-02-17 2016-08-25 Alpinereplay, Inc Systems and methods to control camera operations
US10075623B2 (en) * 2015-03-30 2018-09-11 Myriad Sensors, Inc. Synchronizing wireless sensor data and video
DE102015207415A1 (de) * 2015-04-23 2016-10-27 Adidas Ag Verfahren und Gerät zum Verknüpfen von Bildern in einem Video einer Aktivität einer Person mit einem Ereignis
WO2016174524A2 (en) * 2015-04-29 2016-11-03 Tomtom International B.V. Data processing systems
EP3295324A4 (en) * 2015-05-08 2018-10-24 GN IP Pty Ltd Frameworks, devices and methodologies configured to enable automated categorisation and/or searching of media data based on user performance attributes derived from performance sensor units
CN108028968B (zh) * 2015-06-10 2021-01-01 雷蛇(亚太)私人有限公司 视频编辑器服务器、视频编辑方法、客户端装置及控制客户端装置的方法
US11368540B1 (en) 2015-06-16 2022-06-21 Amazon Technologies, Inc. Remote assistance for a computing device from a trusted device
US10244031B1 (en) 2015-06-16 2019-03-26 Amazon Technologies, Inc. Navigation assistance from a trusted device
US10974121B2 (en) 2015-07-16 2021-04-13 Blast Motion Inc. Swing quality measurement system
US9694267B1 (en) 2016-07-19 2017-07-04 Blast Motion Inc. Swing analysis method using a swing plane reference frame
EP3323084A4 (en) * 2015-07-16 2019-07-10 Blast Motion Inc. SYSTEM FOR MULTISENSOR EVENT RECOGNITION AND MARKING
AU2016293616B2 (en) * 2015-07-16 2020-03-12 Blast Motion Inc. Integrated sensor and video motion analysis method
US11577142B2 (en) 2015-07-16 2023-02-14 Blast Motion Inc. Swing analysis system that calculates a rotational profile
US10124230B2 (en) 2016-07-19 2018-11-13 Blast Motion Inc. Swing analysis method using a sweet spot trajectory
US11565163B2 (en) 2015-07-16 2023-01-31 Blast Motion Inc. Equipment fitting system that compares swing metrics
KR101748036B1 (ko) 2015-10-05 2017-06-15 주식회사 엘지유플러스 영상컨텐츠 제공 시스템, 큐레이션제어서버 및 그 영상컨텐츠 서비스 방법
US10321208B2 (en) 2015-10-26 2019-06-11 Alpinereplay, Inc. System and method for enhanced video image recognition using motion sensors
WO2017096436A1 (en) 2015-12-10 2017-06-15 Guided Knowledge Ip Pty Ltd Frameworks and methodologies configured to enable real-time adaptive delivery of skills training data based on monitoring of user performance via performance monitoring hardware
CN106993209A (zh) * 2016-01-20 2017-07-28 上海慧体网络科技有限公司 一种基于移动端技术进行短视频剪辑的方法
US9602795B1 (en) 2016-02-22 2017-03-21 Gopro, Inc. System and method for presenting and viewing a spherical video segment
US10265602B2 (en) 2016-03-03 2019-04-23 Blast Motion Inc. Aiming feedback system with inertial sensors
CN106569449A (zh) * 2016-06-13 2017-04-19 北京动量科技有限责任公司 一种复合定位的运动实时监控方法及其设备
WO2017218341A1 (en) 2016-06-17 2017-12-21 Axon Enterprise, Inc. Systems and methods for aligning event data
GB2552316A (en) * 2016-07-15 2018-01-24 Sony Corp Information processing apparatus, method and computer program product
US10786728B2 (en) 2017-05-23 2020-09-29 Blast Motion Inc. Motion mirroring system that incorporates virtual environment constraints
JP2019050444A (ja) * 2017-09-07 2019-03-28 オリンパス株式会社 データ編集のためのインターフェイス装置、キャプチャ装置、画像処理装置、データ編集方法及びデータ編集プログラム
CN107734303B (zh) * 2017-10-30 2021-10-26 北京小米移动软件有限公司 视频标识方法及装置
US10545578B2 (en) 2017-12-22 2020-01-28 International Business Machines Corporation Recommending activity sensor usage by image processing
CN108900905A (zh) * 2018-08-08 2018-11-27 北京未来媒体科技股份有限公司 一种视频剪辑方法及装置
CN110187367A (zh) * 2019-05-23 2019-08-30 哈尔滨工业大学 一种越野滑雪运动轨迹跟踪与视频采集方法及系统
WO2021243074A1 (en) * 2020-05-27 2021-12-02 Helios Sports, Inc. Intelligent sports video and data generation from ai recognition events
IT202000025888A1 (it) * 2020-10-30 2022-04-30 Gobee S R L Metodo e sistema per comporre automaticamente un filmato
TWI791402B (zh) * 2022-01-24 2023-02-01 光禾感知科技股份有限公司 自動影片剪輯系統及方法
US20230274549A1 (en) * 2022-02-28 2023-08-31 Samsung Electronics Company, Ltd. Systems and Methods for Video Event Segmentation Derived from Simultaneously Recorded Sensor Data

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007006346A1 (en) * 2005-07-12 2007-01-18 Dartfish Sa A method for analyzing the motion of a person during an activity
US20080246841A1 (en) * 2007-04-03 2008-10-09 Taiming Chen Method and system for automatically generating personalized media collection for participants
RU2007112676A (ru) * 2004-09-10 2008-10-20 Теленор Аса (No) Способ добавления географических названий к изображениям на мобильном коммуникационном терминале
US20090041298A1 (en) * 2007-08-06 2009-02-12 Sandler Michael S Image capture system and method
US20090222432A1 (en) * 2008-02-29 2009-09-03 Novation Science Llc Geo Tagging and Automatic Generation of Metadata for Photos and Videos
WO2010102515A1 (en) * 2009-03-11 2010-09-16 Hong Kong Baptist University Automatic and semi-automatic image classification, annotation and tagging through the use of image acquisition parameters and metadata
US20100268459A1 (en) * 2009-04-15 2010-10-21 Abalta Technologies, Inc. System and method for testing of navigation systems
US20110071792A1 (en) * 2009-08-26 2011-03-24 Cameron Miner Creating and viewing multimedia content from data of an individual's performance in a physical activity
WO2011069291A1 (en) * 2009-12-10 2011-06-16 Nokia Corporation Method, apparatus or system for image processing

Family Cites Families (44)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4873585A (en) 1984-09-07 1989-10-10 Ivex Corporation Method of selectively retrieving video images from a video reproducer for simulating movement
US7386401B2 (en) 1994-11-21 2008-06-10 Phatrat Technology, Llc Helmet that reports impact information, and associated methods
US5832171A (en) 1996-06-05 1998-11-03 Juritech, Inc. System for creating video of an event with a synchronized transcript
US7483049B2 (en) 1998-11-20 2009-01-27 Aman James A Optimizations for live event, real-time, 3D object tracking
US7015950B1 (en) 1999-05-11 2006-03-21 Pryor Timothy R Picture taking method and apparatus
AUPQ281299A0 (en) 1999-09-14 1999-10-07 Locktronic Systems Pty. Ltd. Improvements in image recording apparatus
JP2001317959A (ja) * 2000-05-10 2001-11-16 Sony Corp 情報処理装置および情報処理方法、情報処理システム、並びにプログラム格納媒体
US7782363B2 (en) 2000-06-27 2010-08-24 Front Row Technologies, Llc Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences
JP2003244691A (ja) * 2002-02-20 2003-08-29 Matsushita Electric Ind Co Ltd 記憶支援システム
US7986339B2 (en) 2003-06-12 2011-07-26 Redflex Traffic Systems Pty Ltd Automated traffic violation monitoring and reporting system with combined video and still-image data
JP4121973B2 (ja) * 2004-03-26 2008-07-23 富士フイルム株式会社 シーン抽出システムおよびシーン抽出方法
JP4121974B2 (ja) 2004-03-26 2008-07-23 富士フイルム株式会社 画像撮影システムおよび画像撮影方法
US20050223799A1 (en) 2004-03-31 2005-10-13 Brian Murphy System and method for motion capture and analysis
JP4289326B2 (ja) * 2005-06-09 2009-07-01 ソニー株式会社 情報処理装置および方法、撮影装置、並びにプログラム
JP2009038451A (ja) * 2007-07-31 2009-02-19 Toshiba Corp 動画編集再生システムおよび装置
JP4755156B2 (ja) 2007-09-05 2011-08-24 日本電信電話株式会社 画像提供装置及び画像提供プログラム
ES2393459T3 (es) 2007-10-11 2012-12-21 Jenoptik Robot Gmbh Procedimiento para la detección y documentación de infracciones de tráfico en un semáforo
US8187182B2 (en) * 2008-08-29 2012-05-29 Dp Technologies, Inc. Sensor fusion for activity identification
US9224425B2 (en) * 2008-12-17 2015-12-29 Skyhawke Technologies, Llc Time stamped imagery assembly for course performance video replay
BRPI1014970A2 (pt) 2009-04-16 2017-03-28 Noke Int Ltd sistema de ranqueamento de desempenho atlético.
US8331611B2 (en) 2009-07-13 2012-12-11 Raytheon Company Overlay information over video
US8666993B2 (en) * 2010-02-22 2014-03-04 Onepatont Software Limited System and method for social networking for managing multidimensional life stream related active note(s) and associated multidimensional active resources and actions
US20110208822A1 (en) * 2010-02-22 2011-08-25 Yogesh Chunilal Rathod Method and system for customized, contextual, dynamic and unified communication, zero click advertisement and prospective customers search engine
JP5437928B2 (ja) 2010-06-23 2014-03-12 日本電信電話株式会社 メタデータ付与装置、映像検索装置、方法およびプログラム
US9235765B2 (en) 2010-08-26 2016-01-12 Blast Motion Inc. Video and motion event integration system
US9940508B2 (en) * 2010-08-26 2018-04-10 Blast Motion Inc. Event detection, confirmation and publication system that integrates sensor data and social media
US9286721B2 (en) * 2010-11-08 2016-03-15 Sony Corporation Augmented reality system for product identification and promotion
EP2643972A4 (en) 2010-11-24 2016-03-30 Stergen High Tech Ltd IMPROVED METHOD AND SYSTEM FOR THE CREATION OF THREE-DIMENSIONAL (3D) VISUALIZABLE VIDEO FROM A SINGLE VIDEO STREAM
JP2013130808A (ja) 2011-12-22 2013-07-04 Nikon Corp 電子機器
US9167228B2 (en) * 2012-01-03 2015-10-20 Lawrence Maxwell Monari Instrumented sports paraphernalia system
EP2618566A1 (en) 2012-01-23 2013-07-24 FilmMe Group Oy Controlling controllable device during performance
US20130242105A1 (en) 2012-03-13 2013-09-19 H4 Engineering, Inc. System and method for video recording and webcasting sporting events
JP2013219541A (ja) 2012-04-09 2013-10-24 Seiko Epson Corp 撮影システムおよび撮影方法
US8929709B2 (en) 2012-06-11 2015-01-06 Alpinereplay, Inc. Automatic digital curation and tagging of action videos
US9566021B2 (en) 2012-09-12 2017-02-14 Alpinereplay, Inc. Systems and methods for synchronized display of athletic maneuvers
US10008237B2 (en) 2012-09-12 2018-06-26 Alpinereplay, Inc Systems and methods for creating and enhancing videos
WO2014073454A1 (ja) 2012-11-09 2014-05-15 ソニー株式会社 情報処理装置、情報処理方法及び記録媒体
US9769387B1 (en) 2013-11-05 2017-09-19 Trace Live Network Inc. Action camera system for unmanned aerial vehicle
US9262801B2 (en) 2014-04-01 2016-02-16 Gopro, Inc. Image taping in a multi-camera array
FI20145643A (fi) 2014-07-02 2016-01-03 Suunto Oy Menetelmä, järjestelmä, kannettava digitaalinen laite ja tallennuslaite kuvainformaation tallentamisen etäaktivointia varten
US20160045785A1 (en) 2014-08-12 2016-02-18 Board Tracking Technologies, Llc Action sports tracking system and method
US20160225410A1 (en) 2015-02-03 2016-08-04 Garmin Switzerland Gmbh Action camera content management system
WO2016134031A1 (en) 2015-02-17 2016-08-25 Alpinereplay, Inc Systems and methods to control camera operations
US10321208B2 (en) 2015-10-26 2019-06-11 Alpinereplay, Inc. System and method for enhanced video image recognition using motion sensors

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2007112676A (ru) * 2004-09-10 2008-10-20 Теленор Аса (No) Способ добавления географических названий к изображениям на мобильном коммуникационном терминале
WO2007006346A1 (en) * 2005-07-12 2007-01-18 Dartfish Sa A method for analyzing the motion of a person during an activity
US20080246841A1 (en) * 2007-04-03 2008-10-09 Taiming Chen Method and system for automatically generating personalized media collection for participants
US20090041298A1 (en) * 2007-08-06 2009-02-12 Sandler Michael S Image capture system and method
US20090222432A1 (en) * 2008-02-29 2009-09-03 Novation Science Llc Geo Tagging and Automatic Generation of Metadata for Photos and Videos
WO2010102515A1 (en) * 2009-03-11 2010-09-16 Hong Kong Baptist University Automatic and semi-automatic image classification, annotation and tagging through the use of image acquisition parameters and metadata
US20100268459A1 (en) * 2009-04-15 2010-10-21 Abalta Technologies, Inc. System and method for testing of navigation systems
US20110071792A1 (en) * 2009-08-26 2011-03-24 Cameron Miner Creating and viewing multimedia content from data of an individual's performance in a physical activity
WO2011069291A1 (en) * 2009-12-10 2011-06-16 Nokia Corporation Method, apparatus or system for image processing

Also Published As

Publication number Publication date
CN104335594A (zh) 2015-02-04
JP2015523010A (ja) 2015-08-06
WO2013187937A1 (en) 2013-12-19
US9497407B2 (en) 2016-11-15
US10419715B2 (en) 2019-09-17
US20130330054A1 (en) 2013-12-12
US8929709B2 (en) 2015-01-06
EP2859734A1 (en) 2015-04-15
KR20150020526A (ko) 2015-02-26
US20150098688A1 (en) 2015-04-09
RU2014138631A (ru) 2016-04-10
US20170026608A1 (en) 2017-01-26
EP2859734A4 (en) 2015-12-23

Similar Documents

Publication Publication Date Title
RU2617691C2 (ru) Автоматический цифровой сбор и маркировка динамичных видеоизображений
US11516557B2 (en) System and method for enhanced video image recognition using motion sensors
US9583144B2 (en) System and method for creating a sports video
Del Molino et al. Summarization of egocentric videos: A comprehensive survey
US20160225410A1 (en) Action camera content management system
US20160365124A1 (en) Video editing method using participant sharing
CN107079138A (zh) 使用传感器和参与者与观众标签数据的活动视频的存储和编辑
US20150318020A1 (en) Interactive real-time video editor and recorder
CN105262942B (zh) 分布式自动影像和视频处理
CN102290082A (zh) 视频精彩回放片段的处理方法及装置
WO2017079241A1 (en) Improved highlight-based movie navigation, editing and sharing
ES2914124T3 (es) Focalización multimedia
CN102318341A (zh) 为视频重放路线行为表现对加入时间戳的影像的组合
US20220319173A1 (en) System and method for generating probabilistic play analyses
WO2014179749A1 (en) Interactive real-time video editor and recorder
US10614858B2 (en) Method and apparatus for editing media content
JP2018536212A (ja) 情報捕捉および提示のための方法および装置
JP2017055175A (ja) 画像処理装置
WO2020154425A1 (en) System and method for generating probabilistic play analyses from sports videos
Saini et al. Automated Video Mashups: Research and Challenges

Legal Events

Date Code Title Description
MM4A The patent is invalid due to non-payment of fees

Effective date: 20200112