RU2470353C2 - Синхронизация событий показа слайдов с аудио - Google Patents

Синхронизация событий показа слайдов с аудио Download PDF

Info

Publication number
RU2470353C2
RU2470353C2 RU2010110132/08A RU2010110132A RU2470353C2 RU 2470353 C2 RU2470353 C2 RU 2470353C2 RU 2010110132/08 A RU2010110132/08 A RU 2010110132/08A RU 2010110132 A RU2010110132 A RU 2010110132A RU 2470353 C2 RU2470353 C2 RU 2470353C2
Authority
RU
Russia
Prior art keywords
audio
events
animation
slide show
event
Prior art date
Application number
RU2010110132/08A
Other languages
English (en)
Other versions
RU2010110132A (ru
Inventor
Барн-ван ЛИ
Кай Чун ЛУЙ
Original Assignee
Майкрософт Корпорейшн
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Майкрософт Корпорейшн filed Critical Майкрософт Корпорейшн
Publication of RU2010110132A publication Critical patent/RU2010110132A/ru
Application granted granted Critical
Publication of RU2470353C2 publication Critical patent/RU2470353C2/ru

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/433—Query formulation using audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/447—Temporal browsing, e.g. timeline
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

Изобретение относится к области синхронизации событий показа слайдов с аудио. Техническим результатом является упрощение синхронизации событий анимации в презентации в интересующие временные точки в аудиофайле. Принимаются данные, определяющие одно или более событий анимации, переходы слайдов или визуальные эффекты и аудиофайлы, воспроизводимые во время определенных событий. Аудиофайл обрабатывается для определения аудиособытий, содержащихся в нем. Если определены аудиособытия в аудиофайле, определенные события анимации синхронизируются с определенными аудиособытиями, используя схему аудиосинхронизации, которая включает в себя данные, определяющие, как аудиособытия синхронизируются с событиями анимации. Пользовательский интерфейс может обеспечиваться для предоставления пользователю возможности выбирать схему аудиосинхронизации, применяемую к презентации. Пользовательский интерфейс может также обеспечиваться для предоставления пользователю возможности визуально связывать события анимации с любым аудиособытием, определенным в аудиофайле. 3 н. и 15 з.п. ф-лы, 8 ил.

Description

Уровень техники
Прикладные программы презентаций обеспечивают функцию создания и доставки аудиовизуальных презентаций. Обычно презентации представляются в виде одного или более презентационных слайдов. Каждый презентационный слайд может включать в себя ряд объектов, таких как текст, фотографии, списки, таблицы, карты, формы, клипы, фильмы и другое. Презентационные слайды могут отображаться на экране и управляться командами пользователя для доставки презентации.
Множество прикладных программ презентаций обеспечивают функцию анимации и применения визуальных эффектов к объектам на каждом слайде презентации и для анимации и применения визуальных эффектов к переходам между слайдами презентации. Например, используя функцию, предоставленную обычными прикладными программами презентаций, пользователь может определять путь перемещения для объекта на слайде презентации. Когда слайд презентации отображается, прикладная программа презентации будет побуждать объект анимироваться по определенному пути перемещения. Пользователь может вручную определять другие типы анимации и свойства визуальных эффектов, которые применяются к презентационному объекту аналогичным образом.
Множество прикладных программ презентаций также предоставляют функцию воспроизведения аудиофайлов во время презентации. Однако традиционно пользователю сложно синхронизировать события анимации в презентации в интересующие временные точки в аудиофайле. Например, пользователь может хотеть воспроизводить анимацию текста и графиков в презентации для возникновения в качестве основного ритма аудиофайла. Пользователи ранее достигали этого результата посредством повторного прослушивания аудиофайла для определения интересующих аудиособытий в аудиофайле и затем ручного назначения начального времени событий показов слайдов с определенными вручную аудиособытиями. Это утомительно, и такой процесс, занимающий время, расстраивает пользователей и, во многих случаях, обеспечивает результаты, которые являются менее идеальными.
Описание представляется в отношении этих обсуждений и других, чье раскрытие сделано здесь.
Сущность изобретения
Здесь описываются методы синхронизации событий показа слайдов с аудио. В частности, через использование методов и концепций, представленных здесь, аудиособытия в аудиофайлах могут определяться в автоматическом виде. Например, основной ритм, бесшумные переходы или инструментальные переходы в аудиофайле могут определяться. Определенные аудиособытия затем так же автоматически синхронизируются с событиями показа слайдов, такими как анимации, визуальные эффекты и переходы слайдов. Таким образом, аудиособытия могут легко синхронизироваться с событиями показа слайдов без запрашивания пользователя вручную определять аудиособытия или вручную синхронизировать аудиособытия с событиями показа слайдов.
В соответствии с одним аспектом, представленным здесь, принимаются данные, определяющие одно или более событий анимации, переходов слайдов или визуальных эффектов. Например, пользователь может использовать графический пользовательский интерфейс для определения этих событий. Пользователь может также конкретизировать аудиофайл, воспроизводимый во время представления определенных событий. Аудиофайл обрабатывается для определения аудиособытий, содержащихся в нем. Аудиособытия представляют временную точку, в которой любое важное слышимое событие воспроизводится в аудиофайле, такое как ритм, инструментальные переходы, бесшумные переходы и другие. В соответствии с одним аспектом аудиособытия определяются посредством размещения аудиовступления в аудиофайле. Аудиовступления являются временными точками в аудиофайле, в которых уровень аудиоэнергии при конкретной частоте выше или ниже определенного порога. Расположенные аудиовступления могут фильтроваться для обеспечения соответствующего числа аудиособытий для синхронизации.
Если определены аудиособытия в аудиофайлах, определенные события анимации синхронизируются с определенными аудиособытиями, используя схему синхронизации аудио. Схема синхронизации аудио является «набором параметров», который включает в себя данные, определяющие, как аудиособытия синхронизируются с событиями анимации. Например, в соответствии с вариантами осуществления данные в схеме синхронизации аудио определяют сдвиг между каждым аудиособытием и соответствующим событием анимации. Таким образом, команды могут обеспечиваться для того, чтобы запускать события анимации до того как, в то самое время как или после возникновения аудиособытия.
В других вариантах осуществления данные в схеме аудиосинхронизации определяют, будет ли каждое аудиособытие синхронизироваться с началом или концом соответствующего события анимации. Данные могут также определять, все или поднабор аудиособытий будут синхронизироваться с событиями анимации. Например, использование таких данных каждого четвертого аудиособытия может синхронизироваться с событием анимации. Данные могут также конкретизировать, как выбирается поднабор аудиособытий. Другие типы команд могут также аналогично обеспечиваться в схеме аудиосинхронизации, которая определяет, как аудиособытия синхронизируются с событиями анимации.
Через определение множества схем синхронизации аудио различные «настроения» могут создаваться для синхронизации событий анимации с аудио. В одном варианте осуществления обеспечивается пользовательский интерфейс галереи настроений, который позволяет пользователю выбирать схему аудиосинхронизации, применяемую к презентации. Схемы аудиосинхронизации могут определять названия, которые описывают «настроения», которые они доставляют, когда применяются к презентации. Например, могут определяться схемы аудиосинхронизации, которые доставляют радостное или побуждающее настроение.
В соответствии с другими вариантами осуществления также обеспечивается пользовательский интерфейс, который отображает временную диаграмму аудиофайла на временной шкале. Индикаторы, соответствующие определенным аудиособытиям, также отображаются на временной диаграмме. Пользовательский интерфейс также позволяет пользователю вручную связывать события анимации с аудиособытиями, показанными на временной диаграмме. Например, используя соответствующее пользовательское устройство ввода, пользователь может перемещать объект, соответствующий анимации, по временной шкале. В соответствии с этим начальное и/или конечное время события анимации будет фиксироваться с индикаторами, соответствующими аудиособытиям, показанным на временной диаграмме. Таким образом, пользовательский интерфейс, представленный здесь, позволяет пользователю визуально связывать событие анимации с аудиособытием, определенным в аудиофайле.
Будет очевидно, что хотя признаки, представленные здесь, описываются в контексте прикладной программы презентации, эти признаки могут использоваться с любым типом компьютерных программ, которые предоставляют функциональные возможности для воспроизведения аудиофонограммы, пока анимируются объекты, воспроизводятся визуальные эффекты или отображаются переходы. Будет также очевидно, что описанный выше объект может также реализовываться в качестве машинно-управляемого устройства, компьютерного процесса, компьютерной системы или изделия производства, такого как машиночитаемый носитель. Эти и различные другие признаки будут очевидны из прочтения последующего Подробного описания и просмотра связанных чертежей.
Этот раздел Сущность изобретения обеспечивается для представления выбора концепций в упрощенной форме, которые дополнительно описываются ниже в разделе Подробное описание. Этот раздел Сущность изобретения не предназначен для определения ключевых признаков или существенных признаков заявленного объекта, также не предназначается для того, чтобы этот раздел Сущность изобретения использовался для ограничения объема заявленного объекта. Кроме того, заявленный объект не ограничивается реализациями, которые решают любые или все недостатки, указанные здесь в любой части этого раскрытия.
Краткое описание чертежей
Фиг.1 - блок-схема программной архитектуры, показывающей аспекты прикладной программы презентации, обеспеченной в одной реализации, представленной здесь;
фиг.2 - блок-схема, показывающая иллюстративный алгоритм синхронизации событий показа слайдов в одном варианте осуществления, описанном здесь;
фиг.3 - блок-схема пользовательского интерфейса, показывающая иллюстративную галерею настроений, с помощью которой пользователь может выбирать схему аудиосинхронизации, в одном варианте осуществления, представленном здесь;
фиг.4 - блок-схема, показывающая иллюстративный процесс определения аудиособытий в аудиофайле в соответствии с одним вариантом осуществления, представленным здесь;
фиг.5 - блок-схема программной архитектуры, показывающая аспекты программной архитектуры для определения аудиовступлений в аудиофайле в одном варианте осуществления, представленном здесь;
фиг.6 - блок-схема программной архитектуры, показывающей аспекты детектора вступления, обеспеченного и используемого в одном варианте осуществления, представленном здесь;
фиг.7 - блок-схема пользовательского интерфейса, показывающая иллюстративный пользовательский интерфейс для просмотра аудиособытий в аудиофайле и ручного назначения аудиособытий для событий показа слайдов в документе презентации, в соответствии с одним вариантом осуществления; и
фиг.8 - блок-схема компьютерной архитектуры, показывающая иллюстративную компьютерную аппаратуру и программную архитектуру для компьютерной системы, способной реализовать варианты осуществления, представленные здесь.
Подробное описание
Следующее подробное описание направлено на методы синхронизации событий показа слайдов с аудиособытиями. Посредством использования вариантов осуществления, представленных здесь, аудиособытия в аудиофайле могут автоматически определяться и синхронизироваться с событиями показа слайдов, такими как анимации, визуальные эффекты и переходы слайдов, без необходимости пользователю вручную определять аудиособытия или вручную синхронизировать аудиособытия с событиями показа слайдов. Дополнительные подробности в отношении различных вариантов осуществления, представленных здесь, будут обеспечиваться ниже со ссылкой на фиг.1-8.
Хотя объект, описанный здесь, представляется в общем контексте программных модулей, которые выполняются в связи с выполнением операционной системы и прикладных программ на компьютере, специалисту в уровне техники будет понятно, что другие реализации могут выполняться путем объединения с другими типами программных модулей. Обычно программные модули включают в себя встроенные программы, программы, компоненты, структуры данных и другие типы структур, которые выполняют конкретные задания или реализуют конкретные абстрактные типы данных. Кроме того, специалисту в уровне техники будет очевидно, что объект, описанный здесь, может быть применен с другими конфигурациями компьютерных систем, включая ручные устройства, многопроцессорные системы, микропроцессорные или программируемые пользователем электронные устройства, мини-компьютеры, центральные компьютеры и т.д.
В последующем подробном описании ссылки делаются на сопровождающие чертежи, которые формируют его часть и которые показываются посредством иллюстративных конкретных вариантов осуществления или примеров. Теперь со ссылкой на чертежи, на которых одинаковыми цифровыми позициями представлены одинаковые элементы на нескольких чертежах, будут описаны аспекты компьютерной системы и методология синхронизации событий показа слайдов и аудиособытий.
Теперь, обращаясь к фиг.1, будут предоставлены подробности в отношении одного варианта осуществления, представленного здесь, для синхронизации событий показа слайдов с аудиособытиями. В частности, фиг.1 показывает аспекты программной архитектуры, используемой для синхронизации событий показа слайдов, в соответствии с одним вариантом осуществления, представленным здесь. Как показано на фиг.1, варианты осуществления, представленные здесь, описываются в контексте прикладной программы 102 презентации. Прикладная программа 102 презентации обеспечивает функцию создания и доставки аудиовизуальных презентаций. Обычно презентации представлены в виде одного или более слайдов 106А-106С презентации, содержащихся в документе 104 презентации. Каждый слайд 106А-106С презентации может включать в себя ряд объектов 108А-108С, таких как текст, фотографии, списки, таблицы, карты, формы, иллюстрации и фильмы. Могут использоваться другие типы аудиовизуальных объектов. Слайды 106А-106С презентации могут отображаться на экране компьютерного дисплея и перемещаться по командам пользователя для доставки презентации, определенной в документе 104 презентации.
Прикладная программа 102 презентации также включает в себя функцию анимации и применения визуальных эффектов к объектам 108А-108С и для переходов между слайдами 106А-106С презентации. Например, пользователь может использовать функцию, обеспеченную прикладной программой 102 презентации, для создания событий 107А-107С анимации для объектов 108А-108С. События 107А-107С анимации, показанные на фиг.1, побуждают объекты 108А-108С перемещаться по пути перемещения. Будет очевидно, однако, что другие типы двумерной или трехмерной анимации могут также определяться. Аналогично, визуальные эффекты могут применяться к объектам 108А-108С. Например, визуальные эффекты могут определяться, чтобы побудить объекты 108А-108С плавно нарастать/плавно исчезать или рассеиваться. Эффекты переходов могут также определяться, чтобы побуждать эффекты анимации или визуальные эффекты отображаться во время переключения или перехода между двумя слайдами 106А-106С презентации. События показа слайдов включают в себя события анимации, визуальные эффекты, события перехода и любые другие типы визуального события, которые могут определяться в прикладной программе презентации.
В одном варианте осуществления прикладная программа 102 презентации также включает в себя функцию синхронизации аудиособытий в аудиофайле 114 с определенными событиями показа слайдов. Для обеспечения этой функции прикладная программа 102 презентации включает в себя компонент 112 синхронизации аудио, который выполняет обработку для определения аудиособытий в аудиофайле 114. Этот процесс будет описан ниже со ссылкой на фиг.4-6. Прикладная программа 102 презентации также обеспечивает функцию синхронизации определенных аудиособытий с событиями показа слайдов, определенных в документе 104 презентации. В этой связи прикладная программа 102 презентации также обеспечивает пользовательский интерфейс для предоставления возможности пользователю вручную управлять синхронизацией аудиособытий и событий показа слайдов, сформированных компонентом 112 аудиосинхронизации. Подробности в отношении этого пользовательского интерфейса будут предоставлены ниже со ссылкой на фиг.7.
В соответствии с различными вариантами, представленными здесь, компонент 112 аудиосинхронизации использует схему 110А аудиосинхронизации для определения того, как аудиособытия будут синхронизироваться с событиями показа слайдов. Схема 110А аудиосинхронизации является «набором параметров», который содержит данные, определяющие, как аудиособытия синхронизируются с событиями показа слайдов. Например, в соответствии с вариантами осуществления данные в схеме 110А аудиосинхронизации определяют сдвиг между аудиособытием и соответствующим событием анимации. Таким образом, команды могут обеспечиваться для того, чтобы запускать событие показа слайдов до, одновременно или после возникновения аудиособытия.
В других вариантах осуществления данные в схеме 110А синхронизации аудио определяют, будет ли синхронизироваться каждое аудиособытие с началом или концом соответствующего события анимации. Данные могут также определять, все ли или поднабор аудиособытий будут синхронизироваться с событиями анимации. Например, используя такие данные, каждое четвертое аудиособытие может синхронизироваться с событием анимации. Данные могут также определять, как выбирается поднабор аудиособытий. Другие типы команд могут аналогично предоставляться в схеме 110А синхронизации аудио, которые определяют, как аудиособытия синхронизируются с событиями анимации.
Благодаря определению множества схем 110А-110С синхронизации аудио, различные «настроения» могут создаваться для синхронизации событий анимации с аудио. В одном варианте осуществления предоставляется пользовательский интерфейс галереи настроений, который предоставляет возможность пользователю выбирать одну из схем 110А-110С аудиосинхронизации, применяемую к документу 104 презентации. Схемы 110А-110С аудиосинхронизации могут определять названия, которые описывают «настроения», которые они передают, когда применяются к презентации. Например, схемы аудиосинхронизации могут определяться для того, чтобы передавать радостное или побуждающее настроение. Дополнительные подробности в отношении пользовательского интерфейса галереи предпочтений будут предоставляться ниже со ссылкой на фиг.3.
Теперь со ссылкой на фиг.2 будут предоставляться дополнительные подробности в отношении вариантов осуществления, представленных здесь, для синхронизации событий показа слайдов. В частности, фиг.2 показывает блок-схему, описывающую алгоритм 200 синхронизации событий показа слайдов с аудиособытиями. Будет очевидно, что логические операции, описанные здесь, реализуются (1) как последовательность реализуемых компьютером действий или программных модулей, выполняемых на компьютерной системе, и/или (2) как взаимосвязанные машинные логические схемы или схемные модули в компьютерной системе. Вариант осуществления является предметом выбора в зависимости от исполнения и других требований компьютерной системы. Соответственно, логические операции, описанные здесь, упоминаются по-разному, например как операции, структурные устройства, действия или модули. Эти операции, структурные устройства, действия и модули могут реализовываться программно, встроенной программой, цифровой логикой для специальных целей и любой их комбинацией. Будет также очевидно, что больше или меньше операций может выполняться иначе, чем показано на фигурах и описано здесь. Эти операции могут также выполняться в ином порядке, чем тот, который описан здесь.
Алгоритм 200 начинается на операции 202, где пользователь определяет события показа слайдов в презентации. Например, используя функцию, предоставленную прикладной программой 102 презентации, пользователь может определить события анимации, визуальные эффекты, события переходов или другие типы событий в отношении объектов 108А-108С или слайдов 106А-106С презентации. Если пользователь создал желаемые события показа слайдов, алгоритм 200 переходит от операции 202 к операции 204.
На операции 204 прикладная программа 102 презентации принимает выбор аудиофайла 114. Например, в одном варианте осуществления пользователь может определять аудиофайл 114, воспроизводимый во время презентации событий показа слайдов, определенных в операции 202, указанной выше. Аудиофайл 114 может форматироваться в качестве стандартного WAV аудиофайла, MP3 аудиофайла или может форматироваться, используя другой тип аудиоформата. Будет также очевидно, что аудиофайл 114 может содержаться в другом типе файла. Например, аудиофайл 114 может содержать данные аудио, содержащиеся в видеофайле. В таком варианте осуществления аспекты, представленные здесь, могут использоваться для синхронизации событий показа слайдов с аудиособытиями в видеофайле. Это также позволяет синхронизацию эффектов, переходов и других типов функций, которые применяются к видеофайлу с аудиоданными, содержащимися здесь.
Если пользователь выбрал аудиофайл 114, который синхронизируется с событиями показа слайдов, алгоритм 202 продолжается на операции 206. На операции 206 пользователю предлагается выбрать одну из схем 110А-110С аудиосинхронизации, используемой для синхронизации аудиособытий в аудиофайле 114 с определенными событиями показа слайдов. В соответствии с одним вариантом осуществления пользовательский интерфейс 300 галереи «настроений», показанный на фиг.3, представляется для обеспечения возможности пользователю выбрать желаемую схему 110 синхронизации аудио. Как показано на фиг.3, пользовательский интерфейс 300 галереи «настроений» включает в себя ряд кнопок 302А-302F пользовательского интерфейса, каждая кнопка 302 соответствует конкретной схеме 110 аудиосинхронизации.
В одном варианте осуществления схемы 110А-110С аудиосинхронизации создаются для того, чтобы передавать различные «настроения» для синхронизации событий анимации с аудио. Схемы 110А-110С аудиосинхронизации также определяют названия, которые описывают «настроения», которые они передают, когда применяются к презентации. Эти названия могут отражаться на кнопках 302А-302F, которые соответствуют каждой схеме аудиосинхронизации. Например, кнопка 302А соответствует схеме аудиосинхронизации, которая, когда применяется к презентации, будет побуждать события показа слайдов, определенные здесь, синхронизироваться с аудиособытиями в аудиофайле 114 нужным образом. Пользователь использует соответствующее пользовательское устройство ввода для выбора одной из кнопок 302А-302F и соответствующую схему 110 аудиосинхронизации.
Снова обращаясь к фиг.2, если схема 110 аудиосинхронизации выбрана на операции 206, алгоритм 200 переходит на операцию 208. На операции 208 определяются аудиособытия в выбранном аудиофайле 114. Подробности в отношении одного проиллюстрированного процесса определения интересующих аудиособытий в аудиофайле 114 предоставляются ниже в отношении фиг.4-6. Если определены аудиособытия в аудиофайле 114, алгоритм 200 переходит с операции 210 на операцию 212.
На операции 212 компонент 112 аудиосинхронизации синхронизирует события показа слайдов, определенных выше на операции 202, с аудиособытиями, определенными на операции 208. В частности, в соответствии с одним вариантом осуществления компонент 112 аудиосинхронизации регулирует синхронность определенных событий показа слайдов с соответствующими определенными аудиособытиями. В одном варианте осуществления это выполняется с использованием схемы 110 аудиосинхронизации, выбранной на операции 206, указанной выше. На основе контентов схемы 110 аудиосинхронизации аудиособытия могут синхронизироваться с началом или концом соответствующего события показа слайдов, все или поднабор аудиособытий могут синхронизироваться с событиями показа слайдов, или другие модификации могут делаться для того, как события показа слайдов синхронизируются с аудиособытиями для предоставления желаемого «настроения».
Если события показа слайдов синхронизированы с определенными аудиособытиями, алгоритм 200 переходит на операцию 212, где пользователю предоставляется возможность вручную регулировать синхронизацию, выполняемую компонентом аудиосинхронизации. Например, в одном варианте осуществления предоставляется пользовательский интерфейс, через который пользователь может вручную регулировать синхронизацию между событиями показа слайдов и аудиособытиями. Один иллюстративный пользовательский интерфейс для выполнения этого процесса описывается ниже в отношении фиг.7. Если пользователь сделал какие-либо регулирования, аудиофайл 114 и события показа слайдов могут воспроизводиться синхронно. С операции 212 алгоритм 200 переходит на операцию 214, где он заканчивается.
Фиг.4 показывает в общих чертах один иллюстративный процесс, обеспеченный здесь, для определения одного или более аудиособытий 410 в аудиофайле 114. Как кратко обсуждалось выше, аудиособытия 410 представляют временные точки, в которых располагаются важные аудиособытия в аудиофайле, такие как ритм, инструментальные переходы, бесшумные переходы и другие. Аудиособытия 410 определяются посредством выполнения процесса 404 определения аудиовступления, который размещает аудиовступления 406 в аудиофайле 114. Аудиовступления 406 являются временными точками в аудиофайле, в которые уровень энергии аудио для конкретной частоты выше или ниже определенного порога. Подробности в отношении иллюстративного процесса 404 определения аудиовступления в одном варианте осуществления будут представлены ниже в отношении фиг.5-6.
В одном варианте осуществления процесс 408 фильтрации используется для фильтрации размещенных аудиовступлений 406 для представления соответствующего числа аудиособытий 410 для синхронизации. Причина состоит в том, что моменты необработанных аудиовступлений часто плотно размещаются в популярной музыке. Таким образом, аудиовступления 406, определенные процессом 404 определения аудиовступления, дополнительно обрабатываются процессом 408 фильтрации для выбора соответствующего поднабора аудиовступления 406 для процесса синхронизации. В соответствии с вариантами осуществления процесс 408 фильтрации может использовать средний интервал между аудиовступлениями 406, отклонение от средних интервалов, интенсивность аудиовступлений 406 или другие факторы для фильтрации аудиовступлений 406 в соответствующем количестве аудиособытий 410.
Теперь со ссылкой на фиг.5 будет описываться иллюстративная программная архитектура 502 для выполнения процесса 404 определения аудиовступления, упомянутого выше в отношении фиг.4. В одном варианте осуществления, показанном на фиг.5, аудиофайл 114 загружается и преобразуется в непрерывный поток непосредственных аудиовыборок в WAV аудиоформате. Это выполняется посредством класса 504 MEDIAGRAPH, который использует технологию MICROSOFT DIRECTSHOW для кодирования данных аудио в выборке временной диаграммы.
Выходное значение потока аудиовыборок посредством класса 504 MEDIAGRAPH передается в частотно-временной преобразователь 506, который выполняет Кратковременное Преобразование Фурье («STFT») выборок для получения потока частотного спектра. В одном варианте осуществления частотно-временной преобразователь 506 поддерживает буфер, который действует в качестве скользящего окна над потоком аудиовыборок. Когда буфер полный, частотно-временной преобразователь 506 сначала применяет функцию кадрирования данных для создания данных на обоих концах буфера приблизительно равными нулю. Затем применяется преобразование Фурье к кадрированным данным, используя алгоритм Быстрого Преобразования Фурье («FFT»). Буфер, действующий в качестве скользящего окна, затем сдвигается вперед для приема новых аудиовыборок.
Для компенсации ослабления энергии, в зависимости от прикладной программы функции кадрирования, скользящее окно не выполняет сдвиг вперед на размер полного буфера в одном варианте осуществления. Вместо этого коэффициент перекрытия может определяться для предоставления возможности частичного перемещения окна. В одном варианте осуществления частотно-временной преобразователь 506 использует следующие параметры: размер буфера в 2048 выборок; функцию кадрирования Хемминга; и коэффициент перекрытия, равный 0,5. Этот вариант осуществления также предоставляет возможность легкой настройки этих параметров. Например, функция кадрирования Ханна и коэффициент перекрытия, равный 0,75, могут использоваться взамен. Функции кадрирования Хемминга и Ханна известны специалисту в уровне техники.
Поток частотного спектра из частотно-временного преобразователя 506 преобразуется в потоки значений энергии, соответствующих нескольким поддиапазонам. Это выполняется посредством выравнивания величин ячеек выходных значений FFT, которые соответствуют каждому интервалу частотного поддиапазона, и совместного их суммирования. В варианте осуществления, показанном на фиг.5, имеются четыре поддиапазона: 22 Гц-256 Гц, 256 Гц-2048 Гц, 2048 Гц-8192 Гц и 8192 Гц-22050 Гц (принимая скорость аудиовыборки в 44100 Гц). Будет очевидно, что интервалы поддиапазонов могут изменяться для определения произвольных групп поддиапазонов.
Каждый из потоков значений энергии подается на соответствующий детектор 508А-508D вступлений. Каждый детектор 508А-508D вступлений создает список значений времени, аудиовступлений 406А-406D, в которых резко возникают изменения энергии, вместе с их соответствующими значениями энергии. Аггрегатор 510 аудиовступления объединяет эти вступления 406А-406D поддиапазонов в один набор аудиовступлений 406E. Дополнительные подробности в отношении работы детекторов 508А-508D вступлений предоставляются ниже в отношении фиг.6.
Теперь со ссылкой на фиг.6 дополнительные подробности будут предоставляться в отношении детектора 508 вступления. Как показано на фиг.6, каждый детектор 508 вступления включает в себя фильтр 602 источников. Фильтр 602 источников принимает потоки входных значений и присоединяет указания времени к значениям данных. Каждый детектор 508 вступления также включает в себя медианный фильтр 604. Медианный фильтр 604 принимает синхронизированный поток данных от фильтра 602 источника и вычисляет среднее скользящей медианы входных данных. Размер окна этой скользящей медианы является настраиваемым.
Выходное значение медианного фильтра 604 используется в качестве порогового графика для детектора 606 максимумов. Детектор 606 максимумов принимает выходное значение фильтра 602 источника в качестве его входных данных и выходное значение медианного фильтра 604 в качестве его входного порогового значения. Детектор 606 максимумов определяет максимумы среди данных, которые выше порога. Выходное значение детектора 606 максимума является выходным значением детектора 508 вступления. Должно быть очевидно, что программная архитектура и методология, описанные здесь со ссылкой на фиг.5-6, являются просто иллюстративными и другие технологии могут использоваться для определения аудиособытий 410 в аудиофайле 114.
Теперь со ссылкой на фиг.7 будет описываться иллюстративный пользовательский интерфейс 700 для просмотра аудиособытий в аудиофайле и ручного назначения аудиособытий для событий показа слайдов в документе презентации. Как показано на фиг.7, в одном варианте осуществления пользовательский интерфейс 700 включает в себя ряд полос 702А-702D. Полоса 702А предоставляет графическое представление содержаний аудиофайла 114 в форме временной диаграммы 704. Отображенный в связи с временной диаграммой 704 является одним или более индикаторами 706А-706G, которые соответствуют определенным аудиособытиям 410 в аудиофайле 114. Индикаторы 706А-706G графически представляют местоположения каждого определенного аудиособытия в аудиофайле 114.
Полосы 702B-702D графически представляют синхронизацию любых определенных событий показа слайдов. Например, в примере, показанном на фиг.7, объекты 708А-708C синхронизации событий показа слайдов отображаются в полосах 702А-702D, которые соответствуют трем событиям показа слайдов. Ширина каждого объекта 708А-708С синхронизации событий показа слайдов графически представляет интервал события.
Местоположение каждого объекта 708А-708С синхронизации событий показа слайдов по отношению к временной шкале 710 представляет время, в которое будет выполняться соответствующее событие показа слайдов. В примере, показанном на фиг.7, объект 708А синхронизации событий выравнивается с индикатором 706В, таким образом указывая, что соответствующее событие показа слайдов будет запускаться во время события аудио, соответствующего индикатору 706B. Объект 708B синхронизации события выравнивается с индикатором 706D, таким образом указывая, что соответствующее событие показа слайда будет запускаться во время аудиособытия, соответствующего индикатору 706D. Объект 708С синхронизации события выравнивается с индикатором 706F, таким образом указывая, что соответствующее событие показа слайдов будет запускаться во время аудиособытия, соответствующего индикатору 706F. Будет очевидно поэтому, что пользовательский интерфейс 700 предоставляет графический просмотр того, как аудиособытия синхронизированы с событиями показа слайдов посредством компонента 112 аудиосинхронизации.
В соответствии с одним вариантом осуществления пользовательский интерфейс 700, показанный на фиг.7, также предоставляет функцию для предоставления возможности пользователю вручную регулировать синхронизацию событий показа слайдов с аудиособытиями, представленными на временной диаграмме 704. Например, используя соответствующее пользовательское устройство ввода, пользователь может перемещать один из объектов 708А-708С синхронизации событий по временной шкале 710. В ответ на это начальное время и/или время окончания объекта синхронизации событий будет «фиксироваться» на индикаторах 706А-706G, соответствующих аудиособытиям, показанным на временной диаграмме 704. Таким образом, пользовательский интерфейс 700, предоставленный здесь, позволяет пользователю визуально связывать событие показа слайдов с аудиособытием 410, определенным в аудиофайле 114. Будет очевидно, что пользовательский интерфейс 700, показанный на фиг.7, является только иллюстративным и другие типы реализации пользовательских интерфейсов могут использоваться для обеспечения этой функции.
Фиг.8 показывает иллюстративную компьютерную архитектуру для компьютера 800, способного выполнять программные компоненты, описанные здесь, для синхронизации событий показа слайдов с аудиособытиями таким образом, который представлен выше. Компьютерная архитектура, показанная на фиг.8, показывает обычный настольный компьютер, портативный компьютер или серверный компьютер и может использоваться для выполнения любых аспектов прикладной программы 102 презентации, описанной здесь. Как указано выше, компьютер 800 может также выполнять другие типы прикладных программ, которые реализуют концепции, представленные здесь, для синхронизации событий анимации, визуальных эффектов или переходов с аудиособытиями.
Компьютерная архитектура, показанная на фиг.8, включает в себя центральный процессор 802 («CPU»), системную память 808, включающую в себя оперативную память 814 («RAM») и постоянную память 816 («ROM»), и системную шину 804, которая соединяет память с CPU 802. Система базового ввода/вывода, содержащая основные встроенные программы, которые помогают передавать информацию между элементами в компьютере 800, например, как во время запуска, сохраняется в ROM 816. Компьютер 800, кроме того, включает в себя массовое запоминающее устройство 810 для хранения операционной системы 818, прикладных программ и других программных модулей, которые описаны подробно здесь.
Массовое запоминающее устройство 810 соединяется с CPU 802 через контроллер массового запоминающего устройства (не показан), связанный с шиной 804. Массовое запоминающее устройство 810 и связанный с ним машиночитаемый носитель обеспечивают энергонезависимое запоминающее устройство для компьютера 800. Несмотря на то что описание машиночитаемого носителя, содержащегося здесь, относится к массовому запоминающему устройству, такому как жесткий диск или CD-ROM, будет очевидно специалисту в уровне техники, что машиночитаемый носитель может быть любым доступным машиночитаемым носителем, который может быть доступен компьютеру 800.
В качестве примера и не ограничения, машиночитаемый носитель может включать в себя энергозависимый и энергонезависимый, сменный и постоянный носитель, реализуемый любым способом или технологией для хранения информации, такой как машиночитаемые команды, структуры данных, программные модули или другие данные. Например, машиночитаемый носитель включает в себя, но не ограничивает, RAM, ROM, EPROM, EEPROM, флеш-память или другие технологии твердотельной памяти, CD-ROM, цифровые универсальные диски («DVD»), HD-DVD, BLU-RAY, или другое оптическое запоминающее устройство, магнитные кассеты, магнитную ленту, магнитный диск, или другие магнитные запоминающие устройства, или любые другие носители, которые могут использоваться для хранения желаемой информации и которые могут быть доступны компьютеру 800.
В соответствии с разными вариантами осуществления компьютер 800 может работать в сетевой среде, используя логические соединения с удаленными компьютерами через сеть, такую как сеть 820. Компьютер 800 может соединяться с сетью 820 через блок 806 сетевого интерфейса, связанного с шиной 804. Будет очевидно, что блок 806 сетевого интерфейса может также использоваться для связи с другими типами сетей и удаленными компьютерными системами. Компьютер 800 может также включать в себя контроллер 812 ввода/вывода для приема и обработки входных данных от ряда других устройств, включая клавиатуру, мышь или электронный стилус (не показаны на фиг.8). Аналогично контроллер ввода/вывода может предоставлять выходные данные на экран дисплея, принтер или другие типы выходных устройств (также не показаны на фиг.8).
Как кратко указано выше, ряд программных модулей и файлы данных могут сохраняться в массовом запоминающем устройстве 810 и RAM 814 компьютера 800, включая операционную систему 818, подходящую для управления работой сетевого настольного компьютера, переносного компьютера или серверного компьютера. Массовое запоминающее устройство 810 и RAM 814 могут хранить также один или более программных модулей. В частности, массовое запоминающее устройство 810 и RAM 814 могут хранить прикладную программу 102 презентации, которая предоставляет функцию, описанную здесь, для синхронизации событий показа слайдов с аудиособытиями. Массовое запоминающее устройство 810 и RAM 814 могут также сохранять схемы 110 аудиосинхронизации и документ 104 презентации, оба из которых описаны выше.
На основе вышеупомянутого будет очевидно, что здесь предоставлены методы для синхронизации событий показа слайдов с аудиособытиями. Хотя объект, представленный здесь, описан на языке, определенном для компьютерных структурных признаков, методологических действий и машиночитаемого носителя, будет понятно, что изобретение, определенное в приложенной формуле, не обязательно ограничивается конкретными признаками, действиями или носителями, описанными здесь. Скорее, конкретные признаки, действия и носители описываются как примерные формы реализации формулы.
Объект, описанный выше, предоставляется только посредством иллюстрации, и не следует истолковывать его как ограничение. Различные модификации и изменения могут делаться в объекте, описанном здесь, без следующих примерных вариантов осуществления и показанных и описанных прикладных программ и без отхода от сущности и объема настоящего изобретения, который устанавливается в последующей формуле.

Claims (18)

1. Способ синхронизации одного или более событий анимации с одним или более аудиособытиями, содержащий этапы, на которых:
принимают данные, определяющие события анимации;
принимают выбор аудиофайла;
обрабатывают выбранный аудиофайл для определения аудиособытий;
определяют, должны ли аудиособытия синхронизироваться с событиями анимации;
принимают выбор одной из множества схем синхронизации аудио, причем каждая из схем синхронизации аудио содержит данные, определяющие, как аудиособытия должны синхронизироваться с событиями анимации;
определяют, должно ли каждое аудиособытие синхронизироваться с началом или с концом соответствующего события анимации; и
используют выбранную схему синхронизации для регулирования временных характеристик событий анимации, так чтобы они соответствовали упомянутым определенным аудиособытиям, тем самым синхронизируя события анимации с упомянутыми определенными аудиособытиями.
2. Способ по п.1, в котором при обработке выбранных аудиофайлов для определения аудиособытий обрабатывают аудиофайл для определения одного или более аудиовступлений, содержащихся в нем, и фильтруют аудиовступления для определения аудиособытий, при этом аудиовступления представляют собой моменты времени в аудиофайле, в которые уровень звуковой энергии на конкретной частоте превосходит заданный порог или падает ниже заданного порога.
3. Способ по п.1, в котором каждая из множества схем синхронизации аудио сконфигурирована создавать разное настроение при использовании для синхронизации событий анимации с упомянутыми определенными аудиособытиями.
4. Способ по п.1, в котором каждая из множества схем синхронизации аудио дополнительно содержит данные, определяющие сдвиг между каждым аудиособытием и соответствующим событием анимации.
5. Способ по п.2, дополнительно содержащий этапы, на которых:
отображают графический пользовательский интерфейс, содержащий первую полосу, в которой отображается временная диаграмма, представляющая аудиофайл, и в которой на временной диаграмме отображаются один или более индикаторов, соответствующие упомянутым определенным аудиособытиям; и
отображают одну или более дополнительных полос в графическом пользовательском интерфейсе, причем каждая из этих дополнительных полос соответствует одному из событий анимации и в ней отображается по меньшей мере один объект, соответствующий событию анимации, при это ширина каждого объекта соответствует длительности соответствующего события анимации.
6. Способ синхронизации одного или более событий показа слайдов, определенных в документе презентации, с одним или более аудиособытиями, содержащий этапы, на которых:
принимают пользовательский ввод, определяющий события показа слайдов в прикладной программе презентации;
принимают выбор аудиофайла;
определяют, должны ли аудиособытия синхронизироваться с событиями показа слайдов;
принимают выбор одной из множества схем синхронизации аудио, причем каждая из схем синхронизации аудио содержит данные, определяющие, как аудиособытия должны синхронизироваться с событиями показа слайдов;
определяют, должно ли каждое аудиособытие синхронизироваться с началом или с концом соответствующего события показа слайдов;
принимают запрос синхронизировать события показа слайдов с аудиособытиями в выбранном аудиофайле с использованием выбранной схемы синхронизации аудио;
в ответ на прием запроса обрабатывают выбранный аудиофайл для определения аудиособытий; и
используют выбранную схему синхронизации для регулирования временных характеристик событий показа слайдов, так чтобы они соответствовали упомянутым определенным аудиособытиям, тем самым синхронизируя события показа слайдов с упомянутыми определенными аудиособытиями.
7. Способ по п.6, в котором события показа слайдов содержат события анимации.
8. Способ по п.6, в котором события показа слайдов содержат переходы слайдов.
9. Способ по п.6, в котором события показа слайдов содержат применение визуальных эффектов к объектам в документе презентации.
10. Способ по п.6, дополнительно содержащий этапы, на которых:
отображают пользовательский интерфейс, содержащий временную диаграмму, представляющую аудиофайл; и
отображают на временной диаграмме один или более индикаторов, соответствующих упомянутым определенным аудиособытиям.
11. Способ по п.10, в котором пользовательский интерфейс дополнительно содержит объект времени событий показа слайдов, соответствующий каждому из событий показа слайдов, при этом каждый объект времени событий показа слайдов может быть привязан к индикатору, отображаемому на временной диаграмме.
12. Способ по п.11, в котором временная диаграмма отображается в первой полосе, при этом объекты времени событий показа слайдов отображаются в одной или более других полосах.
13. Способ по п.6, в котором каждая из множества схем синхронизации аудио сконфигурирована создавать разное настроение при использовании для синхронизации событий показа слайдов с упомянутыми определенными аудиособытиями.
14. Способ по п.6, в котором каждая из множества схем синхронизации аудио дополнительно содержит данные, определяющие сдвиг между каждым аудиособытием и соответствующим событием показа слайдов.
15. Машиночитаемый носитель, на котором сохранены машиноисполняемые команды, которые при их исполнении компьютером предписывают компьютеру:
сохранять множество схем синхронизации аудио, причем каждая из схем синхронизации аудио содержит данные, определяющие, как аудиособытия должны синхронизироваться с событиями анимации;
принимать данные, определяющие события анимации;
принимать выбор аудиофайла;
обрабатывать выбранный аудиофайл для определения аудиособытий;
принимать выбор одной из упомянутого множества схем синхронизации аудио;
принимать запрос синхронизировать события анимации с аудиособытиями, определенными в выбранном аудиофайле, с использованием выбранной схемы синхронизации аудио;
определять, должны ли аудиособытия синхронизироваться с событиями анимации;
определять, должно ли каждое аудиособытие синхронизироваться с началом или с концом соответствующего события анимации; и
в ответ на прием запроса использовать данные, хранящиеся в выбранной схеме синхронизации, для регулирования временных характеристик событий анимации, так чтобы они соответствовали упомянутым определенным аудиособытиям, тем самым синхронизируя события анимации с аудиособытиями.
16. Машиночитаемый носитель по п.15, в котором каждая из множества схем синхронизации аудио сконфигурирована создавать разное настроение при использовании для синхронизации событий анимации с упомянутыми определенными аудиособытиями.
17. Машиночитаемый носитель по п.15, в котором каждая из множества схем синхронизации аудио дополнительно содержит данные, определяющие сдвиг между каждым аудиособытием и соответствующим событием анимации.
18. Машиночитаемый носитель по п.15, на котором дополнительно сохранены машиноисполняемые команды, которые при их исполнении компьютером предписывают компьютеру:
отображать графический пользовательский интерфейс, содержащий первую полосу, в которой отображается временная диаграмма, представляющая аудиофайл, и в которой на временной диаграмме отображаются один или более индикаторов, соответствующие упомянутым определенным аудиособытиям; и
отображать одну или более дополнительных полос в графическом пользовательском интерфейсе, причем каждая из этих дополнительных полос соответствует одному из событий анимации и в ней отображается по меньшей мере один объект, соответствующий событию анимации, при этом ширина каждого объекта соответствует длительности соответствующего события анимации.
RU2010110132/08A 2007-09-18 2008-08-25 Синхронизация событий показа слайдов с аудио RU2470353C2 (ru)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/857,431 2007-09-18
US11/857,431 US8381086B2 (en) 2007-09-18 2007-09-18 Synchronizing slide show events with audio
PCT/US2008/074233 WO2009038929A1 (en) 2007-09-18 2008-08-25 Synchronizing slide show events with audio

Publications (2)

Publication Number Publication Date
RU2010110132A RU2010110132A (ru) 2011-09-27
RU2470353C2 true RU2470353C2 (ru) 2012-12-20

Family

ID=40455892

Family Applications (1)

Application Number Title Priority Date Filing Date
RU2010110132/08A RU2470353C2 (ru) 2007-09-18 2008-08-25 Синхронизация событий показа слайдов с аудио

Country Status (12)

Country Link
US (1) US8381086B2 (ru)
EP (1) EP2201478B1 (ru)
JP (1) JP5349482B2 (ru)
KR (1) KR101247000B1 (ru)
CN (1) CN101802816B (ru)
AU (1) AU2008302614B2 (ru)
BR (1) BRPI0815915A2 (ru)
MX (1) MX2010002967A (ru)
MY (1) MY155096A (ru)
RU (1) RU2470353C2 (ru)
TW (1) TWI534648B (ru)
WO (1) WO2009038929A1 (ru)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US7569761B1 (en) * 2007-09-21 2009-08-04 Adobe Systems Inc. Video editing matched to musical beats
US9665965B2 (en) * 2009-01-14 2017-05-30 Innovid Inc. Video-associated objects
JP2010220203A (ja) * 2009-02-17 2010-09-30 Nikon Corp 動画再生装置および動画再生プログラム
US8996538B1 (en) 2009-05-06 2015-03-31 Gracenote, Inc. Systems, methods, and apparatus for generating an audio-visual presentation using characteristics of audio, visual and symbolic media objects
US20100293330A1 (en) * 2009-05-14 2010-11-18 Microsoft Corporation Displaying transition images during a slide transition
US20110154199A1 (en) * 2009-12-17 2011-06-23 Flying Car Ltd. Method of Playing An Enriched Audio File
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
JP5638896B2 (ja) * 2010-09-21 2014-12-10 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
DE102011079086A1 (de) * 2011-06-14 2012-12-20 Rohde & Schwarz Gmbh & Co. Kg Verfahren und Messgerät zur Unterdrückung von Störsignalen
US20130346920A1 (en) * 2012-06-20 2013-12-26 Margaret E. Morris Multi-sensorial emotional expression
US20120290907A1 (en) * 2012-07-19 2012-11-15 Jigsaw Informatics, Inc. Method and system for associating synchronized media by creating a datapod
US20120284426A1 (en) * 2012-07-19 2012-11-08 Jigsaw Informatics, Inc. Method and system for playing a datapod that consists of synchronized, associated media and data
CN103680562B (zh) * 2012-09-03 2017-03-22 腾讯科技（深圳）有限公司 音频文件的布点实现方法和装置
US8913189B1 (en) * 2013-03-08 2014-12-16 Amazon Technologies, Inc. Audio and video processing associated with visual events
CN103246752A (zh) * 2013-05-30 2013-08-14 北京瑞翔恒宇科技有限公司 一种关联ppt文档与音频的系统
US10389671B2 (en) * 2013-09-12 2019-08-20 W.W. Frainger, Inc. System and method for providing personalized messaging
US9286383B1 (en) * 2014-08-28 2016-03-15 Sonic Bloom, LLC System and method for synchronization of data and audio
WO2016042765A1 (ja) * 2014-09-19 2016-03-24 パナソニックＩｐマネジメント株式会社 映像音声処理装置、映像音声処理方法およびプログラム
US10269035B2 (en) * 2015-06-30 2019-04-23 Marketing Technology Limited On-the-fly generation of online presentations
US11130066B1 (en) 2015-08-28 2021-09-28 Sonic Bloom, LLC System and method for synchronization of messages and events with a variable rate timeline undergoing processing delay in environments with inconsistent framerates
US10381041B2 (en) 2016-02-16 2019-08-13 Shimmeo, Inc. System and method for automated video editing
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
CN108241598A (zh) * 2016-12-26 2018-07-03 北京奇虎科技有限公司 一种演示文稿的制作方法和装置
CN108241597A (zh) * 2016-12-26 2018-07-03 北京奇虎科技有限公司 一种演示文稿的制作方法和装置
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN107292941A (zh) * 2017-06-21 2017-10-24 江西服装学院 动画管理方法及其系统
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
US10805665B1 (en) * 2019-12-13 2020-10-13 Bank Of America Corporation Synchronizing text-to-audio with interactive videos in the video framework
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
US11107504B1 (en) * 2020-06-29 2021-08-31 Lightricks Ltd Systems and methods for synchronizing a video signal with an audio signal
KR20220017775A (ko) * 2020-08-05 2022-02-14 삼성전자주식회사 오디오 신호 처리 장치 및 그 동작 방법
CN112102847B (zh) * 2020-09-09 2022-08-09 四川大学 一种音频和幻灯片内容对齐方法
US11417366B1 (en) * 2021-02-19 2022-08-16 William Craig Kenney Method and system for synchronizing presentation slide content with a soundtrack
CN113177126A (zh) * 2021-03-24 2021-07-27 珠海金山办公软件有限公司 一种处理演示文稿的方法、装置、计算机存储介质及终端
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US20220382443A1 (en) * 2021-06-01 2022-12-01 Apple Inc. Aggregated content item user interfaces
EP4298529A1 (en) * 2021-06-01 2024-01-03 Apple Inc. Aggregated content item user interfaces
CN113472942B (zh) * 2021-08-04 2023-06-09 无锡未来镜显示科技有限公司 唱片和视频联动的音箱控制系统及方法
US11880921B2 (en) * 2022-01-27 2024-01-23 Cobalt Inc. System and method for multimedia presentation

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20020193895A1 (en) * 2001-06-18 2002-12-19 Ziqiang Qian Enhanced encoder for synchronizing multimedia files into an audio bit stream
US20040054542A1 (en) * 2002-09-13 2004-03-18 Foote Jonathan T. Automatic generation of multimedia presentation
RU2238614C2 (ru) * 1998-05-08 2004-10-20 Квэлкомм Инкорпорейтед Устройство и способ распространения высококачественных видео-и аудиопрограмм к удаленным местам
RU2257686C2 (ru) * 1999-12-02 2005-07-27 Квэлкомм Инкорпорейтед Устройство и способ декодирования цифровых сигналов изображения и звука

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6484168B1 (en) * 1996-09-13 2002-11-19 Battelle Memorial Institute System for information discovery
US5949410A (en) * 1996-10-18 1999-09-07 Samsung Electronics Company, Ltd. Apparatus and method for synchronizing audio and video frames in an MPEG presentation system
US6181351B1 (en) * 1998-04-13 2001-01-30 Microsoft Corporation Synchronizing the moveable mouths of animated characters with recorded speech
EP1018840A3 (en) * 1998-12-08 2005-12-21 Canon Kabushiki Kaisha Digital receiving apparatus and method
US6892351B2 (en) * 1998-12-17 2005-05-10 Newstakes, Inc. Creating a multimedia presentation from full motion video using significance measures
JP2000206859A (ja) * 1999-01-13 2000-07-28 Kobe Steel Ltd 情報出力装置
US6636888B1 (en) * 1999-06-15 2003-10-21 Microsoft Corporation Scheduling presentation broadcasts in an integrated network environment
JP2001125599A (ja) * 1999-10-25 2001-05-11 Mitsubishi Electric Corp 音声データ同期装置及び音声データ作成装置
US6542869B1 (en) * 2000-05-11 2003-04-01 Fuji Xerox Co., Ltd. Method for automatic analysis of audio including music and speech
WO2003039101A2 (en) * 2001-11-01 2003-05-08 Telecommunications Research Associates, Llc. Computerized interactive learning system and method over a network
US20050188297A1 (en) * 2001-11-01 2005-08-25 Automatic E-Learning, Llc Multi-audio add/drop deterministic animation synchronization
US7194676B2 (en) * 2002-03-01 2007-03-20 Avid Technology, Inc. Performance retiming effects on synchronized data in an editing system
US9628851B2 (en) * 2003-02-14 2017-04-18 Thomson Licensing Automatic synchronization of audio and video based media services of media content
DE10322722B4 (de) * 2003-05-20 2005-11-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Synchronisieren eines Audiossignals mit einem Film
JP4196816B2 (ja) * 2003-12-08 2008-12-17 ソニー株式会社 データ編集装置およびデータ編集方法
EP1553784A1 (en) 2004-01-06 2005-07-13 Deutsche Thomson-Brandt Gmbh Method and apparatus for performing synchronised audio and video presentation
US7500176B2 (en) * 2004-04-01 2009-03-03 Pinnacle Systems, Inc. Method and apparatus for automatically creating a movie
US20070223874A1 (en) * 2004-04-07 2007-09-27 Koninklijke Philips Electronics, N.V. Video-Audio Synchronization
JP2005341206A (ja) * 2004-05-27 2005-12-08 Konica Minolta Photo Imaging Inc 画像再生装置の制御方法
US20050275805A1 (en) * 2004-06-15 2005-12-15 Yu-Ru Lin Slideshow composition method
US7469380B2 (en) * 2004-06-15 2008-12-23 Microsoft Corporation Dynamic document and template previews
US8068107B2 (en) 2004-11-22 2011-11-29 Mario Pirchio Method to synchronize audio and graphics in a multimedia presentation
US7236226B2 (en) * 2005-01-12 2007-06-26 Ulead Systems, Inc. Method for generating a slide show with audio analysis
JP2006217521A (ja) * 2005-02-07 2006-08-17 Seiko Epson Corp 画像表示装置、画像音声再生方法、および、この方法を実行させるコンピュータ読取可能なプログラム
TWI267763B (en) * 2005-02-17 2006-12-01 Ulead Systems Inc Method for synchronizing the slide show with the background music
US7990386B2 (en) * 2005-03-24 2011-08-02 Oracle America, Inc. Method for correlating animation and video in a computer system
JP4595704B2 (ja) * 2005-06-22 2010-12-08 カシオ計算機株式会社 画像処理装置、撮像装置、およびプログラム
US7783971B2 (en) * 2005-09-13 2010-08-24 Microsoft Corporation Graphic object themes
CN100481957C (zh) * 2006-05-22 2009-04-22 天栢宽带网络科技（上海）有限公司 媒体同步方法
US7716572B2 (en) * 2006-07-14 2010-05-11 Muvee Technologies Pte Ltd. Creating a new music video by intercutting user-supplied visual data with a pre-existing music video
US7669132B2 (en) * 2006-10-30 2010-02-23 Hewlett-Packard Development Company, L.P. Matching a slideshow to an audio track
US7569761B1 (en) * 2007-09-21 2009-08-04 Adobe Systems Inc. Video editing matched to musical beats

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2238614C2 (ru) * 1998-05-08 2004-10-20 Квэлкомм Инкорпорейтед Устройство и способ распространения высококачественных видео-и аудиопрограмм к удаленным местам
RU2257686C2 (ru) * 1999-12-02 2005-07-27 Квэлкомм Инкорпорейтед Устройство и способ декодирования цифровых сигналов изображения и звука
US20020193895A1 (en) * 2001-06-18 2002-12-19 Ziqiang Qian Enhanced encoder for synchronizing multimedia files into an audio bit stream
US20040054542A1 (en) * 2002-09-13 2004-03-18 Foote Jonathan T. Automatic generation of multimedia presentation

Also Published As

Publication number Publication date
CN101802816A (zh) 2010-08-11
EP2201478B1 (en) 2020-10-14
CN101802816B (zh) 2012-10-03
US20090077460A1 (en) 2009-03-19
KR20100056505A (ko) 2010-05-27
TW200921447A (en) 2009-05-16
MY155096A (en) 2015-09-15
JP2010539619A (ja) 2010-12-16
EP2201478A1 (en) 2010-06-30
US8381086B2 (en) 2013-02-19
BRPI0815915A2 (pt) 2015-03-03
RU2010110132A (ru) 2011-09-27
KR101247000B1 (ko) 2013-03-25
WO2009038929A1 (en) 2009-03-26
AU2008302614A1 (en) 2009-03-26
TWI534648B (zh) 2016-05-21
EP2201478A4 (en) 2011-03-02
AU2008302614B2 (en) 2012-07-26
JP5349482B2 (ja) 2013-11-20
MX2010002967A (es) 2010-04-01

Similar Documents

Publication Publication Date Title
RU2470353C2 (ru) Синхронизация событий показа слайдов с аудио
US11456017B2 (en) Looping audio-visual file generation based on audio and video analysis
US10681408B2 (en) Systems and methods for creating composite videos
US9420394B2 (en) Panning presets
US9691429B2 (en) Systems and methods for creating music videos synchronized with an audio track
US10679670B2 (en) Systems and methods for modifying videos based on music
US20180295427A1 (en) Systems and methods for creating composite videos
WO2017186015A1 (zh) 一种为视听化数字媒体配音的方法及装置
WO2003026273A9 (en) Dynamic variation of output media signal in response to input media signal
US9087508B1 (en) Presenting representative content portions during content navigation
US9305601B1 (en) System and method for generating a synchronized audiovisual mix
KR20140102656A (ko) 디지털 미디어 콘텐트를 내비게이트하는 방법, 시스템 및 컴퓨터 프로그램 제품
US9639606B2 (en) Musical soundtrack matching
US9176610B1 (en) Audiovisual sampling for percussion-type instrument with crowd-sourced content sourcing and distribution
US20230076959A1 (en) System and method for synchronizing performance effects with musical performance
JP2013114088A (ja) 音響再生装置

Legal Events

Date Code Title Description
PC41 Official registration of the transfer of exclusive right

Effective date: 20150526

MM4A The patent is invalid due to non-payment of fees

Effective date: 20190826