KR20100056505A - 슬라이드 쇼 이벤트들과 오디오의 동기화 - Google Patents

슬라이드 쇼 이벤트들과 오디오의 동기화 Download PDF

Info

Publication number
KR20100056505A
KR20100056505A KR1020107005544A KR20107005544A KR20100056505A KR 20100056505 A KR20100056505 A KR 20100056505A KR 1020107005544 A KR1020107005544 A KR 1020107005544A KR 20107005544 A KR20107005544 A KR 20107005544A KR 20100056505 A KR20100056505 A KR 20100056505A
Authority
KR
South Korea
Prior art keywords
audio
events
animation
slide show
event
Prior art date
Application number
KR1020107005544A
Other languages
English (en)
Other versions
KR101247000B1 (ko
Inventor
반-완 리
카이 청 루이
Original Assignee
마이크로소프트 코포레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 마이크로소프트 코포레이션 filed Critical 마이크로소프트 코포레이션
Publication of KR20100056505A publication Critical patent/KR20100056505A/ko
Application granted granted Critical
Publication of KR101247000B1 publication Critical patent/KR101247000B1/ko

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/433—Query formulation using audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/447—Temporal browsing, e.g. timeline
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)

Abstract

슬라이드 쇼 이벤트들을 오디오와 동기화시키는 기술들이 본원에 설명된다. 정의된 이벤트들 동안에 재생될 오디오 파일과, 하나 이상의 애니메이션 이벤트들, 슬라이드 이행들 또는 시각적 효과들을 정의하는 데이터가 수신된다. 오디오 파일은 포함된 오디오 이벤트들을 식별하도록 처리된다. 오디오 파일 내의 오디오 이벤트들이 식별되면, 오디오 이벤트들이 애니메이션 이벤트들과 어떻게 동기화될 지를 정의하는 데이터를 포함하는 오디오 동기화 스킴을 사용하여, 정의된 애니메이션 이벤트들이 식별된 오디오 이벤트들에 동기화된다. 사용자가 프레젠테이션에 적용될 오디오 동기화 스킴을 선택할 수 있게 하는 사용자 인터페이스가 제공된다. 사용자가 오디오 파일 내에 식별된 임의의 오디오 이벤트와 애니메이션 이벤트를 시각적으로 연관시킬 수 있게 하는 사용자 인터페이스도 제공될 수 있다.

Description

슬라이드 쇼 이벤트들과 오디오의 동기화{SYNCHRONIZING SLIDE SHOW EVENTS WITH AUDIO}
프레젠테이션 애플리케이션 프로그램들은 시청각 프레젠테이션을 생성하고 행하는 기능을 제공한다. 통상적으로, 프레젠테이션들은 하나 이상의 프레젠테이션 슬라이드의 형태를 취한다. 각각의 프레젠테이션 슬라이드는 텍스트, 사진, 리스트, 표, 차트, 형식, 클립 아트, 영화 및 기타와 같은 수많은 개체를 포함할 수 있다. 프레젠테이션 슬라이드들은 프레젠테이션을 하기 위해 화면에 표시되고 사용자의 커맨드를 통해 내비게이션될 수 있다.
많은 프레젠테이션 애플리케이션 프로그램들은 각각의 프레젠테이션 슬라이드 상의 개체들을 애니메이션하고 그에 시각적 효과를 적용하고 프레젠테이션 슬라이드들 간의 이행(transition)들을 애니메이션하고 그에 시각적 효과를 적용하는 기능을 제공한다. 예를 들어, 전형적인 프레젠테이션 애플리케이션 프로그램들에 의해 제공되는 기능을 이용하면, 사용자는 프레젠테이션 슬라이드 상의 개체에 대해 이동 경로를 정의할 수 있다. 프레젠테이션 슬라이드가 디스플레이되는 경우, 프레젠테이션 애플리케이션 프로그램은 개체가 정의된 이동 경로를 따라 애니메이션되게 할 것이다. 사용자는 다른 유형의 애니메이션 및 프레젠테이션 개체에 적용될 시각적 효과 속성들을 유사한 방식으로 수동으로 정의할 수 있다.
많은 프레젠테이션 애플리케이션 프로그램은 또한 프레젠테이션 동안 오디오 파일을 재생하는 기능을 제공한다. 그러나, 사용자가 프레젠테이션 내의 애니메이션 이벤트들을 오디오 파일 내의 관심있는 시간 포인트들과 동기화하는 것은 전통적으로 어렵다. 예를 들어, 사용자는 프레젠테이션 내의 텍스트 및 그래픽의 애니메이션이 오디오 파일의 각각의 주요 비트(beat)가 재생될 때 발생하기를 원할 수 있다. 예전에는 사용자들이 오디오 파일 내의 관심있는 오디오 이벤트들을 식별하기 위해 오디오 파일을 반복적으로 듣고, 그 후 슬라이드 쇼 이벤트들의 시작 시간들을 수동으로 식별된 오디오 이벤트들과 수동으로 정렬함으로써 이러한 결과를 얻었다. 이러한 것은 사용자들이 불만스러워 하는 지루하고 시간 소모적인 프로세스이며, 많은 경우에서 이상적인 것보다 낮은 결과들을 제공한다.
본원에 이루어진 개시물들은 이러한 고려 및 기타와 관련하여 제공된다.
요 약
슬라이드 쇼 이벤트들과 오디오를 동기화하는 기술이 본원에 설명된다. 특히, 본원에 제시되는 기술들 및 개념들을 사용하면, 오디오 파일 내의 오디오 이벤트들이 자동화된 방식으로 식별될 수 있다. 예를 들어, 오디오 파일 내의 주요 비트, 조용한 절(silent passage), 또는 악기에 의한 절(instrumental passage)이 식별될 수 있다. 식별된 오디오 이벤트들은 그 후 애니메이션, 시각적 효과 및 슬라이드 이행과 같은 슬라이드 쇼 이벤트들에 자동화된 방식으로 동기화된다. 이러한 방식으로, 사용자가 오디오 이벤트들을 수동으로 식별하거나 오디오 이벤트들을 슬라이드 쇼 이벤트들에 수동으로 동기화시키지 않고 오디오 이벤트들이 슬라이드 쇼 이벤트들에 용이하게 동기화될 수 있다.
본원에 제시된 일 양상에 따르면, 하나 이상의 애니메이션 이벤트, 슬라이드 이행 또는 시각적 효과를 정의하는 데이터가 수신된다. 예를 들어, 사용자는 이러한 이벤트들을 정의하기 위해 그래픽 사용자 인터페이스를 활용할 수 있다. 사용자는 또한 정의된 이벤트들의 수행 동안 재생될 오디오 파일을 명시할 수 있다. 오디오 파일은 그에 포함된 오디오 이벤트들을 식별하도록 처리된다. 오디오 이벤트들은 비트들, 악기에 의한 절들, 조용한 절들 등과 같은 임의의 중요한 가청 이벤트가 오디오 파일에서 재생되는 시점을 나타낸다. 일 양상에 따르면, 오디오 이벤트들은 오디오 파일 내의 오디오 시작(audio onset)의 위치를 찾음(locate)으로써 식별된다. 오디오 시작들은 특정 주파수의 오디오 에너지 레벨이 특정 임계값 아래 또는 위로 상승하는 오디오 파일 내의 시점들이다. 위치가 찾아진 오디오 시작들은 동기화를 위해 적절한 수의 오디오 이벤트들 제공하도록 필터링될 수 있다.
오디오 파일 내의 오디오 이벤트들이 식별되면, 정의된 애니메이션 이벤트들이 오디오 동기화 스킴(scheme)을 사용하여 식별된 오디오 이벤트들에 동기화된다. 오디오 동기화 스킴은 오디오 이벤트들이 애니메이션 이벤트들에 어떻게 동기화될 지를 정의하는 데이터를 포함하는 "레시피(recipe)"이다. 예를 들어, 실시예들에 따르면, 오디오 동기화 스킴 내의 데이터는 각각의 오디오 이벤트와 대응하는 애니메이션 이벤트 간의 오프셋을 명시한다. 이러한 방식에서, 오디오 이벤트의 발생 전, 그와 동시에, 또는 그 후에 애니메이션 이벤트를 트리거하는 명령들이 제공된다.
다른 실시예들에서, 오디오 동기화 스킴 내의 데이터는 각각의 오디오 이벤트가 대응하는 애니메이션 이벤트의 시작 또는 끝과 동기되어야 할 지 여부를 명시한다. 데이터는 또한 오디오 이벤트들의 모두 또는 서브세트가 애니메이션 이벤트들과 동기되어야 할 지 여부를 명시할 수 있다. 예를 들어, 그러한 데이터를 사용하면 4번째 오디오 이벤트마다 애니메이션 이벤트와 동기화될 수 있다. 데이터는 또한 오디오 이벤트들의 서브세트가 어떻게 선택될 지를 명시할 수 있다. 오디오 이벤트들이 애니메이션 이벤트들에 어떻게 동기화될 지를 정의하는 오디오 동기화 스킴 내에 다른 유형들의 명령들이 유사하게 제공될 수 있다.
다수의 오디오 동기화 스킴의 정의를 통해, 애니메이션 이벤트들을 오디오와 동기화시키기 위한 상이한 "무드(mood)"가 생성될 수 있다. 일 실시예에서, 사용자가 프레젠테이션에 적용될 오디오 동기화 스킴을 선택할 수 있게 하는 무드 갤러리 사용자 인터페이스가 제공된다. 오디오 동기화 스킴들에는, 프레젠테이션에 적용될 때 전달하는 "무드"를 설명하는 명칭들이 제공될 수 있다. 예를 들어, 행복하거나 설득력있는 무드를 전달하는 오디오 동기화 스킴들이 정의될 수 있다.
다른 실시예들에 따르면, 타임라인(timeline)을 따라 오디오 파일의 파형을 디스플레이하는 사용자 인터페이스도 제공된다. 식별된 오디오 이벤트들에 대응하는 표시자들도 파형 상에 디스플레이될 수 있다. 사용자 인터페이스는 또한 사용자로 하여금 파형 상에 도시된 오디오 이벤트들과 애니메이션 이벤트들을 수동으로 연관시키게 할 수 있다. 예를 들어, 적절한 사용자 입력 디바이스를 이용하면, 사용자는 애니메이션에 대응하는 개체를 타임라인을 따라 이동시킬 수 있다. 이에 응답하여, 애니메이션 이벤트의 시작 및/또는 종료 시간이 파형에 도시된 오디오 이벤트들에 대응하는 표시자들에 스냅(snap)될 것이다. 이러한 방식에서, 본원에 제공된 사용자 인터페이스는 사용자가 오디오 파일 내에 식별된 임의의 오디오 이벤트와 애니메이션 이벤트를 시각적으로 연관시키게 할 수 있다.
본원에 제시된 특징들이 프레젠테이션 애플리케이션 프로그램의 맥락에서 설명되었지만, 이러한 특징들은 개체들을 애니메이션하거나, 시각적 효과들을 수행하거나 또는 이행을 디스플레이하면서 오디오 사운드트랙을 재생하는 기능을 제공하는 임의의 유형의 컴퓨터 프로그램을 이용하여 활용될 수 있다는 것을 이해하여야 한다. 상술한 대상은 컴퓨터 제어된 장치, 컴퓨터 프로세스, 컴퓨팅 시스템 또는 컴퓨터 판독가능 매체와 같은 제품으로서 구현될 수도 있다는 것을 이해하여야 한다. 이러한 특징들 및 다양한 다른 특징들은 다음의 상세한 설명을 읽고 연관된 도면을 검토함으로써 명백해 질 것이다.
본 요약은 아래의 상세한 설명에서 더 설명되는 개념들의 선택을 간략한 형태로 소개하도록 제공된다. 본 요약은 청구 대상의 중요한 특징 또는 본질적인 특징들을 식별하기 위한 의도가 아니며, 본 요약이 청구 대상의 범위를 제한하기 위해 사용되는 것을 의도한 것도 아니다. 또한, 청구 대상은 본 개시물의 임의의 부분에 메모된 임의의 또는 모든 문제점들을 해결하는 구현들로 제한되지 않는다.
도 1은 본원에 제시된 하나의 구현에 제공되는 프레젠테이션 애플리케이션의 양상들을 예시하는 소프트웨어 아키텍쳐 도면이다.
도 2는 본원에 설명된 하나의 구현에서 슬라이드 쇼 이벤트들과 오디오 이벤트들을 동기화하기 위한 예시적인 루틴을 나타내는 흐름도이다.
도 3은 본원에 제시된 하나의 구현에서 사용자가 오디오 동기화 스킴을 선택할 수 있는 예시적인 무드 갤러리를 나타내는 사용자 인터페이스 도면이다.
도 4는 본원에 제시된 하나의 구현에 따라 오디오 파일 내의 오디오 이벤트들을 식별하기 위한 예시적인 프로세스를 나타내는 프로세스 도면이다.
도 5는 본원에 제시된 하나의 구현에서 오디오 파일 내의 오디오 시작들을 식별하기 위한 소프트웨어 아키텍쳐의 양상들을 나타내는 소프트웨어 아키텍쳐 도면이다.
도 6은 본원에 제시된 일 실시예에 의해 제공되고 이용되는 시작 검출기(onset detector)의 양상들을 나타내는 소프트웨어 아키텍쳐 도면이다.
도 7은 일 실시예에 따라 오디오 파일 내의 오디오 이벤트들을 보고 프레젠테이션 문서 내에서 오디오 이벤트들을 슬라이드 쇼 이벤트들에 수동으로 할당하는 예시적인 사용자 인터페이스를 나타내는 사용자 인터페이스 도면이다.
도 8은 본원에 제시된 실시예들을 구현할 수 있는 컴퓨팅 시스템에 대한 예시적인 컴퓨터 하드웨어 및 소프트웨어 아키텍쳐를 나타내는 컴퓨터 아키텍쳐 도면이다.
다음의 상세한 설명은 슬라이드 쇼 이벤트들을 오디오 이벤트들과 동기화시키는 기술들에 관한 것이다. 본원에 제시된 실시예들을 사용하면, 사용자가 오디오 이벤트들을 수동으로 식별하거나 또는 오디오 이벤트들을 슬라이드 쇼 이벤트들에 수동으로 동기화시키지 않고, 오디오 파일 내의 오디오 이벤트들이 자동적인 방식으로 식별되고 애니메이션, 시각적 효과, 및 슬라이드 이행과 같은 슬라이드 쇼 이벤트들에 동기화될 수 있다. 본원에 제시된 다양한 실시예들에 대한 추가적인 상세는 도 1 ~ 8을 참조하여 아래에 제공될 것이다.
본원에 설명된 대상이 컴퓨터 시스템 상의 운영 체제 및 애플리케이션 프로그램들의 실행과 함께 실행되는 프로그램 모듈들의 일반적인 맥락에서 제공되었지만, 다른 구현들이 다른 유형들의 프로그램 모듈들과 조합하여 실행될 수 있다는 것을 본 기술분야의 당업자는 인식할 것이다. 일반적으로, 프로그램 모듈들은 루틴들, 프로그램들, 컴포넌트들, 데이터 구조들, 및 특정 태스크들을 수행하거나 특정 추상적 데이터 유형들을 구현하는 다른 유형들의 구조들을 포함한다. 더욱이, 본원에 설명된 대상은, 핸드-헬드 디바이스들, 멀티프로세서 시스템들, 마이크로프로세서-기반 또는 프로그램가능한 소비자 가전기기, 미니컴퓨터들, 메인프레임 컴퓨터들 등을 포함하는 다른 컴퓨터 시스템 구성들을 이용하여 구현될 수 있다는 것을 본 기술분야의 당업자는 이해할 것이다.
다음의 상세한 설명에서, 본 명세서의 일부분을 형성하고 예로서 특정 실시예들 또는 예시들이 도시되는 첨부 도면들을 참조한다. 유사한 참조부호들이 몇몇 도면들에 걸쳐 유사한 요소들을 나타내는 도면들을 참조하면, 슬라이드 쇼 이벤트들과 오디오 이벤트들을 동기화시키는 컴퓨팅 시스템 및 방법의 양상들이 기술될 것이다.
도 1을 참조하여, 슬라이드 쇼 이벤트들을 오디오 이벤트들과 동기화시키기 위해 본원에 제시되는 일 실시예에 대한 상세가 제공될 것이다. 특히, 도 1은 본원에 제시된 일 구현에 따라 슬라이드 쇼 이벤트들을 동기화하는데 이용되는 소프트웨어 아키텍쳐의 양상들을 예시한다. 도 1에 도시된 바와 같이, 본원에 제시된 실시예들은 프레젠테이션 애플리케이션 프로그램(102)의 맥락에서 설명된다. 프레젠테이션 애플리케이션(102)은 시청각 프레젠테이션을 생성하고 행하는 기능을 제공한다. 통상적으로, 프레젠테이션들은 프레젠테이션 문서(104) 내에 포함되는 하나 이상의 프레젠테이션 슬라이드(106A ~ 106C)의 형태를 취한다. 각각의 프레젠테이션 슬라이드(106A ~ 106C)는 텍스트, 사진, 리스트, 표, 챠트, 형식, 클립 아트 및 영화와 같은 많은 개체(108A ~ 108C)을 포함할 수 있다. 다른 유형들의 시청각 개체들도 활용될 수 있다. 프레젠테이션 슬라이드(106A ~ 106C)는 프레젠테이션 문서(104)에 정의된 프레젠테이션을 행하기 위해 컴퓨터 디스플레이 화면 상에 디스플레이되고 사용자의 커맨드를 통해 내비게이션될 수 있다.
프레젠테이션 애플리케이션(102)은 또한 개체들(108A ~ 108C) 및 프레젠테이션 슬라이드들(106A ~ 106C) 간의 이행들을 애니메이션하고 시각적 효과를 적용하는 기능을 포함한다. 예를 들어, 사용자는 개체들(108A ~ 108C)에 대한 애니메이션 이벤트들(107A ~ 107C)을 생성하기 위해 프레젠테이션 애플리케이션(102)에 의해 제공되는 기능을 활용할 수 있다. 도 1에 도시된 애니메이션 이벤트들(107A ~ 107C)는 개체들(108A ~ 108C)로 하여금 이동 경로를 따라 이동할 수 있게 한다. 그러나, 다른 유형들의 2차원 및 3차원 애니메이션들도 정의될 수 있다는 것을 이해하여야 한다. 유사하게, 시각적 효과가 개체들(108A ~ 108C)에 적용될 수 있다. 예를 들어, 개체들(108A ~ 108C)이 점점 또렷해지거나/흐려지거나(fade in/out) 또는 디졸브(dissolve)되게 하는 시각적 효과가 정의될 수 있다. 프레젠테이션 슬라이드들(106A ~ 106C) 중 2개 사이의 스위칭 또는 이행 동안에 애니메이션 효과 또는 시각적 효과가 디스플레이되게 하는 이행 효과(transition effects)도 정의될 수 있다. 슬라이드 쇼 이벤트들은 애니메이션 이벤트들, 시각적 효과들, 이행 이벤트들 및 프레젠테이션 애플리케이션 프로그램 내에 정의될 수 있는 임의의 다른 유형의 시각적 이벤트를 포함한다.
일 실시예에서, 프레젠테이션 애플리케이션(102)은 또한 오디오 파일(114) 내의 오디오 이벤트들을 정의된 슬라이드 쇼 이벤트들에 동기시키기 위한 기능을 포함한다. 이러한 기능을 제공하기 위해, 프레젠테이션 애플리케이션(102)은 오디오 파일(114) 내의 오디오 이벤트들을 식별하는 프로세싱을 수행하는 오디오 동기화 컴포넌트(112)를 포함한다. 이 프로세스는 도 4 ~ 6을 참조하여 아래에 설명될 것이다. 프레젠테이션 애플리케이션(102)은 또한 프레젠테이션 문서(104) 내에 정의된 슬라이드 쇼 이벤트들과 식별된 오디오 이벤트들을 동기화하는 기능을 제공한다. 이와 관련하여, 프레젠테이션 애플리케이션(102)은 사용자가 오디오 동기화 컴포넌트(112)에 의해 생성된 슬라이드 쇼 이벤트들과 오디오 이벤트들의 동기화를 수동으로 조정할 수 있게 하는 사용자 인터페이스도 제공한다. 이러한 사용자 인터페이스에 관한 상세는 도 7을 참조하여 아래에 제공될 것이다.
본원에 제시된 다양한 실시예들에 따르면, 오디오 동기화 컴포넌트(112)는 오디오 동기화 스킴(110A)를 활용하여 오디오 이벤트들이 슬라이드 쇼 이벤트들과 어떻게 동기화되어야 하는지를 결정한다. 오디오 동기화 스킴(110A)은 오디오 이벤트들이 슬라이드 쇼 이벤트들과 동기화되는 방법을 정의하는 데이터를 포함하는 "레시피"이다. 예를 들어, 실시예들에 따르면, 오디오 동기화 스킴(110A)의 데이터는 각각의 오디오 이벤트와 대응하는 애니메이션 이벤트 간의 오프셋을 명시한다. 이러한 방식에서, 오디오 이벤트의 발생 전, 그와 동시에 또는 그 후에 슬라이드 쇼 이벤트를 트리거하는 명령들이 제공된다.
다른 실시예들에서, 오디오 동기화 스킴(110A)의 데이터는 대응하는 애니메이션 이벤트의 시작 또는 끝과 각각의 오디오 이벤트가 동기화되어야 하는지 여부를 명시한다. 그 데이터는 또한 오디오 이벤트들의 전부 또는 서브세트가 애니메이션 이벤트들과 동기화되어야 하는지 여부를 명시할 수 있다. 예를 들어, 그러한 데이터를 이용하면, 4번째 오디오 이벤트마다 애니메이션 이벤트와 동기화될 수 있다. 데이터는 또한 오디오 이벤트들의 서브세트가 선택되는 방법을 명시할 수 있다. 오디오 이벤트들이 애니메이션 이벤트들과 어떻게 동기화되어야 하는 지를 정의하는 오디오 동기화 스킴(110A) 내에 다른 유형들의 명령이 유사하게 제공될 수 있다.
다수의 오디오 동기화 스킴(110A ~ 110C)의 정의를 통해, 애니메이션 이벤트들을 오디오와 동기화하기 위한 상이한 "무드"들이 생성될 수 있다. 일 실시예에서, 사용자가 프레젠테이션 문서(104)에 적용될 오디오 동기화 스킴들(110A ~ 110C) 중 하나를 선택할 수 있게 하는 무드 갤러리 사용자 인터페이스가 제공된다. 오디오 동기화 스킴들(110A ~ 110C)에는, 프레젠테이션에 적용될 때 전달되는 "무드"를 설명하는 명칭들이 주어질 수 있다. 예를 들어, 행복한 무드 또는 설득력있는 무드를 전달하는 오디오 동기화 스킴들이 정의될 수 있다. 무드 갤러리 사용자 인터페이스에 관한 추가적인 상세는 도 3과 관련하여 아래에 제공될 것이다.
도 2를 참조하면, 슬라이드 쇼 이벤트들을 오디오 이벤트들과 동기화하기 위한, 본원에 제시되는 실시예들에 관한 추가적인 상세가 제공될 것이다. 특히 도 2는 슬라이드 쇼 이벤트들을 오디오 이벤트들과 동기화하는 루틴(200)을 설명하는 흐름도를 나타낸다. 본원에 설명되는 논리적인 동작들은 (1) 컴퓨팅 시스템 상에서 동작하는 프로그램 모듈들 또는 일련의 컴퓨터 구현된 액트들(acts) 및/또는 (2) 컴퓨팅 시스템 내의 상호접속된 머신 로직 회로들 또는 회로 모듈들로서 구현된다는 것을 이해하여야 한다. 그 구현은 컴퓨팅 시스템의 성능 및 다른 요구조건에 따른 선택의 문제이다. 따라서, 본원에 설명된 논리적 동작들은 동작들, 구조적 디바이스들, 액트들 또는 모듈들로서 다양하게 지칭된다. 이러한 동작들, 구조적 디바이스들, 액트들 및 모듈들은 소프트웨어, 펌웨어, 특수목적 디지털 로직 및 그들의 임의의 조합으로 구현될 수 있다. 또한, 본원에 설명된 것 및 도면에 도시된 것 보다 많거나 적은 동작들이 수행될 수 있다는 것을 이해하여야 한다. 이러한 동작들은 또한 본원에 설명된 것과는 상이한 순서로 수행될 수 있다.
루틴(200)은 사용자가 프레젠테이션 내의 슬라이드 쇼 이벤트들을 정의하는 동작 202에서 시작한다. 예를 들어, 프레젠테이션 애플리케이션(102)에 의해 제공되는 기능을 활용하면, 사용자는 개체들(108A ~ 108C) 또는 프레젠테이션 슬라이드들(106A ~ 106C)에 대하여 애니메이션 이벤트들, 시각적 효과들, 이행 이벤트들 또는 다른 유형들의 이벤트들을 정의할 수 있다. 사용자가 원하는 슬라이드 쇼 이벤트들을 생성하면, 루틴(200)은 동작 202에서 동작 204로 진행한다.
동작 204에서, 프레젠테이션 애플리케이션(102)은 오디오 파일(114)의 선택을 수신한다. 예를 들어, 일 구현에서, 사용자는 상기 동작 202에서 정의된 슬라이드 쇼 이벤트들의 프레젠테이션 동안에 재생될 오디오 파일(114)을 명시할 수 있다. 오디오 파일(114)은 표준 WAV 오디오 파일, MP3 오디오 파일로서 포맷되거나 또는 다른 유형의 오디오 포맷을 활용하여 포맷될 수 있다. 또한, 오디오 파일(114)이 다른 유형의 파일 내에 포함될 수 있다는 것을 이해하여야 한다. 예를 들어, 오디오 파일(114)은 비디오 파일 내에 포함되는 오디오 데이터를 포함할 수 있다. 이러한 실시예에서, 본원에 제시된 양상들은 비디오 파일 내의 오디오 이벤트들에 대해 슬라이드 쇼 이벤트들을 동기화시키는데 활용될 수 있다. 이는 또한 오디오 데이터를 포함하는 비디오 파일에 적용되는 효과들, 이행들 및 다른 유형들의 기능들의 동기화를 허용한다.
사용자가 슬라이드 쇼 이벤트들과 동기화될 오디오 파일(114)을 선택하면, 루틴(200)은 동작 206으로 계속된다. 동작 206에서, 사용자는 정의된 슬라이드 쇼 이벤트들에 대해 오디오 파일(114) 내의 오디오 이벤트들을 동기화하는데 사용될 오디오 동기화 스킴(110A ~ 110C)들 중 하나를 선택하도록 허용된다. 일 구현에 따르면, 사용자가 원하는 오디오 동기화 스킴(110)을 선택할 수 있도록, 도 3에 도시된 "무드" 갤러리 사용자 인터페이스(300)가 제시된다. 도 3에 도시된 바와 같이, "무드" 갤러리 사용자 인터페이스(300)는 다수의 사용자 인터페이스 버튼(302A ~ 302F)를 포함하며, 각각의 버튼(302)은 특정 오디오 동기화 스킴(110)에 대응한다.
일 구현에서, 애니메이션 이벤트들을 오디오와 동기화시키기 위한 상이한 "무드"를 전달하는 다수의 오디오 동기화 스킴(110A ~ 110C)이 생성된다. 오디오 동기화 스킴(110A ~ 110C)에는 또한 프레젠테이션에 적용될 때 전달하는 "무드"를 설명하는 명칭들이 주어진다. 이러한 명칭들은 각각의 오디오 동기화 스킴에 대응하는 버튼들(302A ~ 302F)에 반영될 수 있다. 예를 들어, 버튼(302A)는, 프레젠테이션에 적용될 때, 정의된 슬라이드 쇼 이벤트들이 오디오 파일(114) 내의 오디오 이벤트들과 적극적인 방식(assertive way)으로 동기화되게 하는 오디오 동기화 스킴에 대응한다. 사용자는 적절한 사용자 입력 디바이스를 사용하여 버튼들(302A ~ 302F)들 중 하나 및 대응하는 오디오 동기화 스킴(110)을 선택한다.
이제 도 2로 돌아가면, 오디오 동기화 스킴(110)이 동작 206에서 선택되면, 루틴(200)은 동작 208로 진행한다. 동작 208에서, 선택된 오디오 파일(114) 내의 오디오 이벤트들이 식별된다. 오디오 파일(114) 내의 관심있는 오디오 이벤트들을 식별하기 위한 하나의 예시적인 프로세스에 관한 상세가 도 4 ~ 6과 관련하여 아래에 제공된다. 오디오 파일(114) 내의 오디오 이벤트들이 식별되면, 루틴(200)은 동작 210에서 동작 212로 진행한다.
동작 212에서, 오디오 동기화 컴포넌트(112)는 동작 202에서 상기와 같이 정의된 슬라이드 쇼 이벤트들을 동작 208에서 식별된 오디오 이벤트들과 동기화시킨다. 특히, 일 구현에 따르면, 오디오 동기화 컴포넌트(112)는 정의된 슬라이드 쇼 이벤트들의 타이밍을 식별된 오디오 이벤트들에 대응하도록 조정한다. 일 구현에서, 이러한 것은 위의 동작 206에서 선택된 오디오 동기화 스킴(110)을 사용하여 행하여진다. 선택된 오디오 동기화 스킴(110)의 콘텐츠에 기초하여, 오디오 이벤트들은 대응하는 슬라이드 쇼 이벤트의 시작 또는 끝과 동기될 수 있거나, 오디오 이벤트들의 전부 또는 서브세트가 슬라이드 쇼 이벤트들과 동기될 수 있거나 또는 슬라이드 쇼 이벤트들이 오디오 이벤트들와 어떻게 동기화되어 원하는 "무드"를 제공하는지에 대한 다른 수정들도 이루어질 수 있다.
슬라이드 쇼 이벤트들이 식별된 오디오 이벤트들과 동기화되었다면, 루틴(200)은, 오디오 동기화 컴포넌트에 의해 수행된 동기화를 수동으로 조정할 기회가 사용자에게 제공되는 동작 212로 계속된다. 예를 들어, 일 구현에서, 사용자가 슬라이드 쇼 이벤트들과 오디오 이벤트들 간의 동기화를 수동으로 조정할 수 있는 사용자 인터페이스가 제공된다. 이러한 프로세스를 수행하는 하나의 예시적인 사용자 인터페이스가 도 7과 관련하여 아래에 설명된다. 사용자가 임의의 조정을 한 경우, 오디오 파일(114) 및 슬라이드 쇼 이벤트들은 동시에 재생될 수 있다. 동작 212로부터, 루틴(200)은 동작 214로 계속되어 그곳에서 종료된다.
도 4는 오디오 파일(114) 내의 하나 이상의 오디오 이벤트들(410)을 식별하기 위해 본원에 제공된 하나의 예시적인 프로세스의 개요를 나타낸다. 위에서 간단히 언급된 바와 같이, 오디오 이벤트들(410)은 비트들, 악기에 의한 절들, 조용한 절들 및 기타들과 같이, 오디오 파일 내의 중요한 가청 이벤트들이 위치하는 시간 포인트들을 나타낸다. 오디오 파일(114) 내의 오디오 시작들(406)의 위치를 찾을 수 있는 오디오 시작 검출 프로세스(404)를 수행함으로써 오디오 이벤트들(410)이 식별된다. 오디오 시작들(406)은 특정 주파수에서의 오디오 에너지 레벨이 특정한 임계값 아래 또는 위로 상승하는 오디오 파일 내의 시간 포인트들이다. 일 실시예에서 이용되는 예시적인 오디오 시작 검출 프로세스(404)에 관한 상세는 도 5 및 6과 관련하여 아래에 제공될 것이다.
일 구현에서, 필터링 프로세스(408)는 위치를 찾은 오디오 시작(406)을 필터링하는데 이용되어 동기화를 위한 적절한 수의 오디오 이벤트들(410)을 제공한다. 이는, 미가공(raw) 오디오 시작 시간들이 유명한 음악 내에서 종종 밀접하게 근접해 있기 때문이다. 따라서, 오디오 시작 검출 프로세스(404)에 의해 식별된 오디오 시작들(406)은 필터링 프로세스(408)에 의해 더 처리되어 동기화를 위한 오디오 시작들(406)의 적절한 서브세트를 선택한다. 실시예들에 따르면, 필터링 프로세스(408)는 오디오 시작들(406) 간의 평균 간격, 평균 간격들로부터의 편차, 오디오 시작들(406)의 세기 또는 다른 인자들을 활용하여 오디오 시작들(406)을 적절한 수의 오디오 이벤트들(410)로 필터링한다.
도 5를 참조하면, 도 4와 관련하여 위에서 간략하게 언급된 오디오 시작 검출 프로세스(404)를 수행하기 위한 예시적인 소프트웨어 아키텍쳐(502)가 설명될 것이다. 도 5에 도시된 구현에서, 오디오 파일(114)이 찾아지고 WAV 오디오 포맷의 미가공 오디오 샘플들의 연속적인 스트림으로 변환된다. 이는, MICROSOFT DIRECTSHOW 기술을 활용하여 오디오 데이터를 파형 샘플들로 디코딩하는 MEDIAGRAPH 클래스(504)에 의해 이루어진다.
MEDIAGRAPH 클래스(504)에 의해 출력된 오디오 샘플 스트림은, 샘플들에 대해 STFT(Short-Time Fourier Transform)을 수행하여 주파수 스펙트럼들의 스트림을 얻는 시간-주파수 변환기(506)로 입력된다. 일 구현에서, 시간-주파수 변환기(506)는 오디오 샘플들의 스트림에 대해 슬라이딩 윈도우로서 역할하는 버퍼를 유지한다. 버퍼가 차면, 시간-주파수 변환기(506)는 먼저 데이터에 대해 윈도윙 함수(windowing function)를 적용하여 버퍼의 양쪽 끝의 데이터가 0에 근접하게 한다. 그 후, FFT(Fast Fourier Transform) 알고리즘을 이용하여 윈도우된 데이터에 푸리에 변환을 적용한다. 슬라이딩 윈도우 역할을 하는 버퍼는 그 후 새로운 오디오 샘플들을 수용하도록 앞쪽으로 이동한다.
윈도잉 함수의 적용에 의한 에너지 감쇠를 보상하기 위해, 일 실시예에서 슬라이딩 윈도우는 전체 버퍼 크기에 대해 전진하지는 않는다. 대신, 부분적인 윈도우 전진을 허용하기 위해 중첩 인자가 명시될 수 있다. 일 구현에서, 시간-주파수 변환기(506)는 다음의 파라미터들; 2048 샘플들의 버퍼 크기; 해밍(Hamming) 윈도잉 함수; 및 0.5의 중첩 인자를 사용한다. 이 구현은 이러한 파라미터들의 용이한 맞춤화(easy customization)을 허용할 수도 있다. 예를 들어, 한(Hann) 윈도잉 함수 및 0.75의 중첩 인자가 대신 이용될 수 있다. 해밍 및 한 윈도잉 함수들은 본 기술 분야의 당업자에게 알려져 있다.
시간-주파수 변환기(506)로부터의 주파수 스펙트럼들의 스트림은 몇몇 서브밴드들에 대응하는 에너지 값들의 스트림들로 변환된다. 이러한 것은, 각각의 서브밴드 주파수 범위에 대응하는 FFT 출력 빈(bin)들의 크기들을 제곱하고(squaring) 그들을 함께 합산함으로써 수행된다. 도 5에 예시된 구현에서, 4개의 서브밴드; 22㎐ ~ 256㎐, 256㎐ ~ 2048㎐, 2048㎐ ~ 8192㎐ 및 8192㎐ ~ 22050㎐ (44100㎐의 오디오 샘플링 레이트를 가정할 경우)가 존재한다. 서브밴드 범위들은 임의의 서브밴드 분할을 명시하도록 수정될 수 있다는 것을 이해하여야 한다.
에너지 값 스트림들의 각각은 대응하는 시작 검출기(508A ~ 508D)로 입력된다. 각각의 시작 검출기(508A ~ 508D)는 시간 값들의 리스트, 오디오 시작들(406A ~ 406D) - 그들의 대응 에너지 값들과 함께 급격한 에너지 변화들이 발생함 - 를 생성한다. 오디오 시작 수집기(audio onset aggregator)(510)는 이러한 서브밴드 시작들(406A ~ 406D)을 한 세트의 오디오 시작들(406E)로 결합시킨다. 시작 검출기들(508A ~ 508D)의 동작에 관한 추가적인 상세는 도 6과 관련하여 아래에 제공된다.
도 6을 참조하여, 시작 검출기(508)에 관한 추가적인 상세가 제공될 것이다. 도 6에 도시된 바와 같이, 각각의 시작 검출기(508)는 소스 필터(602)를 포함한다. 소스 필터(602)는 입력 값 스트림들을 수신하고 데이터 값들에 시간 인덱스들을 부착한다. 각각의 시작 검출기(508)는 또한 메디안 필터(604)를 포함한다. 메디안 필터(604)(median filter)는 소스 필터(602)로부터 타임드(timed) 데이터 스트림을 수신하고 입력 데이터의 이동 메디안 평균(moving median average)을 연산한다. 이러한 이동 메디안의 윈도우 크기는 맞춤화가능하다.
메디안 필터(604)의 출력은 피크 검출기(606)에 대한 임계 곡선으로서 이용된다. 피크 검출기(606)는 소스 필터(602)의 출력을 데이터 입력으로서 수신하고 메디안 필터(604)의 출력을 임계 입력으로서 수신한다. 피크 검출기(606)는 데이터 중에서 임계값 위의 피크들을 식별한다. 피크 검출기(606)의 출력은 시작 검출기(508)의 출력이다. 도 5 ~ 6을 참조하여 설명되는 소프트웨어 아키텍쳐 및 방법은 단순히 예시적인 것이며, 오디오 파일(114) 내의 오디오 이벤트들(410)을 식별하는데 다른 기술들이 이용될 수 있다.
도 7을 참조하여, 오디오 파일 내의 오디오 이벤트들을 볼 수 있고 오디오 이벤트들을 프레젠테이션 문서 내의 슬라이드 쇼 이벤트들에 수동으로 할당하는 예시적인 사용자 인터페이스(700)가 설명될 것이다. 도 7에 도시된 바와 같이, 일 실시예에서, 사용자 인터페이스(700)는 다수의 레인(lane)(702A ~ 702D)을 포함한다. 레인(702A)는 오디오 파일(114)의 컨텐츠의 그래픽 표현을 파형(704) 형태로 제공한다. 오디오 파일(114) 내의 식별된 오디오 이벤트들(410)에 대응하는 하나 이상의 표시자(706A ~ 706G)가 파형(704)과 함께 디스플레이된다. 표시자들(706A ~ 706G)은 오디오 파일(114) 내의 식별된 오디오 이벤트 각각의 위치를 그래픽으로 표현한다.
레인들(702B ~ 702D)는 임의의 정의된 슬라이드 쇼 이벤트들의 타이밍을 그래픽으로 나타낸다. 예를 들어, 도 7에 도시된 예에서, 슬라이드 쇼 이벤트 시간 개체들(708A ~ 708C)는 3개의 슬라이드 쇼 이벤트들에 대응하는 레인들(702A ~ 702D) 내에 디스플레이된다. 슬라이드 쇼 이벤트 시간 개체들(708A ~ 708C)의 각각의 폭은 이벤트의 기간을 그래픽으로 표현한다.
타임라인(710)과 관련한 각각의 슬라이드 쇼 이벤트 시간 개체(708A ~ 708C)의 위치는, 대응하는 슬라이드 쇼 이벤트가 수행될 시간을 나타낸다. 도 7에 도시된 예에서, 이벤트 시간 개체(708A)가 표시자(706B)와 정렬되어, 대응하는 슬라이드 쇼 이벤트가 표시자(706B)에 대응하는 오디오 이벤트의 시간에 트리거될 것이라는 것을 표시한다. 이벤트 시간 개체(708B)가 표시자(706D)와 정렬되어, 대응하는 슬라이드 쇼 이벤트가 표시자(706D)에 대응하는 오디오 이벤트의 시간에 트리거될 것이라는 것을 표시한다. 이벤트 시간 개체(708C)가 표시자(706F)와 정렬되어, 대응하는 슬라이드 쇼 이벤트가 표시자(706F)에 대응하는 오디오 이벤트의 시간에 트리거될 것이라는 것을 표시한다. 그러므로, 사용자 인터페이스(700)가 오디오 이벤트들이 오디오 동기화 컴포넌트(112)에 의해 슬라이드 쇼 이벤트들과 동기화되는 방법에 대한 그래픽 뷰를 제공한다는 것을 이해하여야 한다.
일 실시예에 따르면, 도 7에 도시된 사용자 인터페이스(700)는 또한 사용자가 파형(704) 상에 표현된 오디오 이벤트들과 슬라이드 쇼 이벤트들과의 동기화를 수동으로 조정할 수 있게 하는 기능을 제공한다. 예를 들어, 적절한 사용자 입력 디바이스를 이용하면, 사용자는 이벤트 시간 개체들(708A ~ 708C) 중 하나를 타임라인(710)을 따라 이동시킬 수 있다. 이에 응답하여, 이벤트 시간 개체의 시작 및/또는 종료 시간은 파형(704) 상에 나타난 오디오 이벤트들에 대응하는 표시자들(706A ~ 706G)에 "스냅(snap)"될 것이다. 이러한 방식에서, 본원에 제공된 사용자 인터페이스(700)는 사용자가 오디오 파일(114) 내에 식별된 임의의 오디오 이벤트(410)와 슬라이드 쇼 이벤트를 시각적으로 연관시킬 수 있게 한다. 도 7에 도시된 사용자 인터페이스(700)는 단순히 예시적인 것이며 다른 유형의 사용자 인터페이스 구현들이 이러한 기능을 제공하는데 사용될 수 있다.
도 8은 슬라이드 쇼 이벤트들과 오디오 이벤트들을 앞서 제시한 방식으로 동기화하기 위해 본원에 설명된 소프트웨어 컴포넌트들을 실행할 수 있는 컴퓨터(800)을 위한 예시적인 컴퓨터 아키텍쳐를 나타낸다. 도 8에 도시된 컴퓨터 아키텍쳐는 종래의 데스크톱, 랩톱 또는 서버 컴퓨터를 예시하고 본원에 설명된 프레젠테이션 애플리케이션(102)의 임의의 양상들을 실행하는데 활용될 수 있다. 상술한 바와 같이, 컴퓨터(800)는 또한 애니메이션 효과들, 시각적 효과들 또는 이행들을 오디오 이벤트들과 동기화하기 위한, 본원에 제시된 개념들을 채용하는 다른 유형들의 애플리케이션 프로그램들을 실행할 수 있다.
도 8에 도시된 컴퓨터 아키텍쳐는 중앙처리장치(802)(CPU), RAM(random access memory)(814) 및 ROM(read only memory)(816)를 포함하는 시스템 메모리(808), 및 메모리를 CPU(802)에 연결시키는 시스템 버스(804)를 포함한다. 기동 동안과 같이 컴퓨터(800) 내의 구성요소들 간에 정보를 전달하는데 도움을 주는 기본 루틴들을 포함하는 기본 입력/출력 시스템은 ROM(816)에 저장된다. 컴퓨터(800)는 본원에서 보다 상세하게 설명되는, 운영 체제(818), 애플리케이션 프로그램들 및 다른 프로그램 모듈들을 저장하는 대용량 저장 장치(810)를 더 포함한다.
대용량 저장 장치(810)는 버스(804)에 접속된 대용량 저장장치 제어기(도시 안됨)을 통해 CPU(802)에 접속된다. 대용량 저장 장치(810) 및 그와 연관된 컴퓨터 판독가능한 매체들은 컴퓨터(800)에 대해 비휘발성 저장장치를 제공한다. 본원에 포함된 컴퓨터 판독가능한 매체들의 설명이 하드 디스크 또는 CD-ROM 드라이브와 같은 대용량 저장 장치를 지칭하더라도, 컴퓨터 판독가능한 매체들은 컴퓨터(800)에 의해 액세스될 수 있는 임의의 이용가능한 컴퓨터 저장 매체들일 수 있다는 점을 본 기술분야의 당업자는 이해할 것이다.
한정이 아닌 예로서, 컴퓨터 판독가능한 매체들은, 컴퓨터 판독가능한 명령어들, 데이터 구조들, 프로그램 모듈들 또는 기타 데이터와 같은 정보의 저장을 위한 임의의 방법 또는 기술로 구현되는 휘발성 및 비휘발성, 착탈형 및 비착탈형 매체들을 포함할 수 있다. 예를 들어, 컴퓨터 판독가능한 매체들은 RAM, ROM, EPROM, EEPROM, 플래시 메모리 또는 다른 고상 메모리 기술, CD-ROM, DVD(digital versatile disks), HD-DVD, BLU-RAY, 또는 다른 광학 저장장치, 자기 카세트들, 자기 테이프, 자기 디스크 저장장치 또는 기타 자기 저장 장치들 또는 원하는 정보를 저장하는데 사용되고 컴퓨터(800)에 의해 액세스될 수 있는 임의의 기타 매체를 포함하나, 이에 한정되지 않는다.
다양한 실시예들에 따르면, 컴퓨터(800)는 네트워크(820)와 같은 네트워크를 통해 원격 컴퓨터들로의 논리적 접속들을 이용하는 네트워크화된 환경에서 동작할 수 있다. 컴퓨터(800)는 버스(804)에 접속된 네트워크 인터페이스 유닛(806)을 통해 네트워크(820)에 접속될 수 있다. 네트워크 인터페이스 유닛(806)은 또한 다른 유형들의 네트워크들 및 원격 컴퓨터 시스템들에 접속하는데 활용될 수 있다는 것을 이해하여야 한다. 컴퓨터(800)는 또한 키보드, 마우스 또는 전자 스타일러스(도 8에 도시되지 않음)을 포함하는, 다수의 다른 디바이스들로부터의 입력을 수신하고 처리하기 위한 입력/출력 제어기(812)를 포함할 수 있다. 유사하게, 입력/출력 제어기는 디스플레이 스크린, 프린터 또는 기타 유형의 출력 디바이스(마찬가지로 도 8에 도시 안됨)로의 출력을 제공할 수 있다.
위에서 간략하게 언급된 바와 같이, 네트워크화된 데스크톱, 랩톱 또는 서버 컴퓨터의 동작을 제어하는데 적합한 운영 체제(818)를 포함하는, 다수의 프로그램 모듈 및 데이터 파일들이 컴퓨터(800)의 RAM(814) 및 대용량 저장 장치(810)에 저장될 수 있다. 대용량 저장 장치(810) 및 RAM(814)은 또한 하나 이상의 프로그램 모듈들을 저장할 수 있다. 특히, 대용량 저장 장치(810) 및 RAM(814)은 슬라이드 쇼 이벤트들과 오디오 이벤트들을 동기화하기 위한, 본원에 설명된 기능을 제공하는 프레젠테이션 애플리케이션(102)을 저장할 수 있다. 대용량 저장 장치(810) 및 RAM(814)은 또한 오디오 동기화 스킴들(110) 및 프레젠테이션 문서(104)를 저장할 수 있고, 이들 모두는 위에서 설명되었다.
앞선 설명에 기초하면, 슬라이드 쇼 이벤트들을 오디오 이벤트들과 동기화하는 기술들이 본원에 제공된다는 것을 이해할 것이다. 본원에 제시된 대상이 컴퓨터 구조적 특징들, 방법론적인 액트(act)들, 및 컴퓨터 판독가능한 매체들에 특정한 언어로 설명되었지만, 첨부된 청구범위에 정의된 발명이 본원에 설명된 특정 특징들, 액트들 또는 매체들로 반드시 한정되는 것이 아니라는 것을 이해하여야 한다. 오히려, 특정 특징들, 액트들 및 매체들은 청구범위를 구현하는 예시적인 형태들로 개시된다.
상술한 대상은 단지 예시적인 것이며 한정으로 해석되어서는 안된다. 예시되고 설명된 예시적인 실시예들 및 애플리케이션들을 따르지 않고, 다음의 청구범위에서 제시되는 본원의 진정한 사상 및 범위로부터 벗어나지 않고 본원에 설명된 대상에 대해 다양한 수정들 및 변화들이 이루어질 수 있다.

Claims (20)

  1. 하나 이상의 애니메이션 이벤트들(107)을 하나 이상의 오디오 이벤트들(410)과 동기화하는 방법으로서,
    상기 애니메이션 이벤트들(107)을 정의하는 단계;
    상기 오디오 이벤트들(410)을 식별하기 위해 오디오 파일(114)을 처리하는 단계; 및
    오디오 동기화 스킴(scheme)(110)을 사용하여 상기 애니메이션 이벤트들(107)을 식별된 오디오 이벤트들(410)에 동기화시키는 단계
    를 포함하는 방법.
  2. 제1항에 있어서,
    상기 오디오 이벤트들을 식별하기 위해 오디오 파일을 처리하는 단계는, 포함된 하나 이상의 오디오 시작들(audio onsets)을 식별하기 위해 상기 오디오 파일을 처리하는 단계 및 상기 오디오 이벤트들을 식별하기 위해 상기 오디오 시작들을 필터링하는 단계를 포함하는 방법.
  3. 제1항에 있어서,
    상기 오디오 동기화 스킴은 상기 오디오 이벤트들이 상기 애니메이션 이벤트들과 어떻게 동기화될 것인지를 정의하는 데이터를 포함하는 방법.
  4. 제2항에 있어서,
    상기 데이터는 각각의 오디오 이벤트 및 대응하는 애니메이션 이벤트 간의 오프셋을 명시하는 방법.
  5. 제2항에 있어서,
    상기 데이터는 각각의 오디오 이벤트가 대응하는 애니메이션 이벤트의 시작 또는 끝과 동기화될 지 여부를 명시하는 방법.
  6. 제2항에 있어서,
    상기 데이터는 상기 오디오 이벤트들의 전부 또는 단지 서브세트만이 상기 애니메이션 이벤트들과 동기화할지 여부를 명시하는 방법.
  7. 제6항에 있어서,
    상기 데이터는 상기 오디오 이벤트들의 상기 서브세트가 어떻게 선택되는지를 명시하는 방법.
  8. 컴퓨터에 의해 실행될 때, 제1항의 방법을 컴퓨터가 수행하게 하는 컴퓨터 판독가능한 명령어들이 저장된 컴퓨터 판독가능한 매체.
  9. 프레젠테이션 문서(106) 내에 정의된 하나 이상의 슬라이드 쇼 이벤트들(107)을 하나 이상의 오디오 이벤트들(410)과 동기화시키는 방법으로서,
    프레젠테이션 애플리케이션 프로그램(102) 내의 상기 슬라이드 쇼 이벤트들(107)을 정의하는 사용자 입력을 수신하는 단계;
    오디오 파일(114)을 수신하는 단계;
    상기 슬라이드 쇼 이벤트들(107)을 상기 오디오 파일(114) 내의 오디오 이벤트들(410)과 동기화시키는 요청 및 상기 슬라이드 쇼 이벤트들(107)을 상기 오디오 이벤트들(410)과 동기화시키는데 사용하기 위한 오디오 동기화 스킴(110)의 식별을 수신하는 단계;
    상기 요청에 응답하여, 상기 오디오 이벤트들(410)을 식별하기 위해 상기 오디오 파일(114)을 처리하는 단계; 및
    식별된 오디오 동기화 스킴(110)을 사용하여, 상기 슬라이드 쇼 이벤트들(107)을 식별된 오디오 이벤트들(410)에 동기화시키는 단계
    를 포함하는 방법.
  10. 제9항에 있어서,
    상기 슬라이드 쇼 이벤트들은 애니메이션 이벤트들을 포함하는 방법.
  11. 제9항에 있어서,
    상기 슬라이드 쇼 이벤트들은 슬라이드 이행들(slide transitions)을 포함하는 방법.
  12. 제9항에 있어서,
    상기 슬라이드 쇼 이벤트들은 상기 프레젠테이션 문서 내의 개체에 대한 시각적 효과들의 적용을 포함하는 방법.
  13. 제9항에 있어서,
    상기 오디오 파일을 표현하는 파형을 포함하는 사용자 인터페이스를 디스플레이하는 단계; 및
    식별된 오디오 이벤트들에 대응하는 하나 이상의 표시자들을 상기 파형 상에 디스플레이하는 단계
    를 더 포함하는 방법.
  14. 제13항에 있어서,
    상기 사용자 인터페이스는 상기 슬라이드 쇼 이벤트들 각각에 대응하는 슬라이드 쇼 이벤트 시간 개체를 더 포함하고, 각각의 슬라이드 쇼 이벤트 시간 개체는 상기 파형 상에 디스플레이된 표시자에 스냅(snap)될 수 있는 방법.
  15. 컴퓨터에 의해 실행될 때, 제9항의 방법을 컴퓨터가 수행하게 하는 컴퓨터 판독가능한 명령어들이 저장된 컴퓨터 판독가능한 매체.
  16. 제1항에 있어서,
    상기 오디오 동기화 스킴은 상기 오디오 이벤트들이 상기 애니메이션 이벤트들과 어떻게 동기화될 것인지를 정의하는 데이터를 포함하는 방법.
  17. 하나 이상의 애니메이션 이벤트들(107)을 하나 이상의 오디오 이벤트들(410)과 동기화시키는 데 사용하기 위한 데이터 구조(110)를 저장하는 컴퓨터 판독가능한 매체로서,
    상기 데이터 구조(110)는,
    상기 오디오 이벤트들(410)이 상기 애니메이션 이벤트들(107)에 어떻게 동기화될 지를 정의하는 데이터를 저장하는 제1 데이터 필드
    를 포함하고,
    상기 제1 데이터 필드에 저장된 데이터는 상기 애니메이션 이벤트들(107)이 상기 오디오 이벤트들(410)과 어떻게 동기화될 지를 결정하기 위해 프레젠테이션 애플리이션(102)에 의해 소비되는 컴퓨터 판독가능한 매체.
  18. 제17항에 있어서,
    상기 데이터 구조는 각각의 오디오 이벤트와 대응하는 애니메이션 이벤트 간의 오프셋을 명시하는 데이터를 저장하는 제2 데이터 필드를 더 포함하는 컴퓨터 판독가능한 매체.
  19. 제18항에 있어서,
    상기 데이터 구조는 각각의 오디오 이벤트가 대응하는 애니메이션 이벤트의 시작 또는 끝과 동기화되어야 할 지 여부를 명시하는 데이터를 저장하는 제3 데이터 필드를 더 포함하는 컴퓨터 판독가능한 매체.
  20. 제19항에 있어서,
    상기 데이터 구조는 상기 오디오 이벤트들의 전부 또는 서브세트만이 상기 애니메이션 이벤트들과 동기화되어야 할 지 여부 및 상기 오디오 이벤트들의 서브세트가 어떻게 선택되는지를 명시하는 데이터를 저장하는 제4 데이터 필드를 더 포함하는 컴퓨터 판독가능한 매체.
KR1020107005544A 2007-09-18 2008-08-25 슬라이드 쇼 이벤트들과 오디오의 동기화 KR101247000B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US11/857,431 2007-09-18
US11/857,431 US8381086B2 (en) 2007-09-18 2007-09-18 Synchronizing slide show events with audio
PCT/US2008/074233 WO2009038929A1 (en) 2007-09-18 2008-08-25 Synchronizing slide show events with audio

Publications (2)

Publication Number Publication Date
KR20100056505A true KR20100056505A (ko) 2010-05-27
KR101247000B1 KR101247000B1 (ko) 2013-03-25

Family

ID=40455892

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020107005544A KR101247000B1 (ko) 2007-09-18 2008-08-25 슬라이드 쇼 이벤트들과 오디오의 동기화

Country Status (12)

Country Link
US (1) US8381086B2 (ko)
EP (1) EP2201478B1 (ko)
JP (1) JP5349482B2 (ko)
KR (1) KR101247000B1 (ko)
CN (1) CN101802816B (ko)
AU (1) AU2008302614B2 (ko)
BR (1) BRPI0815915A2 (ko)
MX (1) MX2010002967A (ko)
MY (1) MY155096A (ko)
RU (1) RU2470353C2 (ko)
TW (1) TWI534648B (ko)
WO (1) WO2009038929A1 (ko)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US7569761B1 (en) * 2007-09-21 2009-08-04 Adobe Systems Inc. Video editing matched to musical beats
US9665965B2 (en) * 2009-01-14 2017-05-30 Innovid Inc. Video-associated objects
JP2010220203A (ja) * 2009-02-17 2010-09-30 Nikon Corp 動画再生装置および動画再生プログラム
US8996538B1 (en) 2009-05-06 2015-03-31 Gracenote, Inc. Systems, methods, and apparatus for generating an audio-visual presentation using characteristics of audio, visual and symbolic media objects
US20100293330A1 (en) * 2009-05-14 2010-11-18 Microsoft Corporation Displaying transition images during a slide transition
US20110154199A1 (en) * 2009-12-17 2011-06-23 Flying Car Ltd. Method of Playing An Enriched Audio File
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
JP5638896B2 (ja) * 2010-09-21 2014-12-10 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
DE102011079086A1 (de) * 2011-06-14 2012-12-20 Rohde & Schwarz Gmbh & Co. Kg Verfahren und Messgerät zur Unterdrückung von Störsignalen
US20130346920A1 (en) * 2012-06-20 2013-12-26 Margaret E. Morris Multi-sensorial emotional expression
US20120290907A1 (en) * 2012-07-19 2012-11-15 Jigsaw Informatics, Inc. Method and system for associating synchronized media by creating a datapod
US20120284426A1 (en) * 2012-07-19 2012-11-08 Jigsaw Informatics, Inc. Method and system for playing a datapod that consists of synchronized, associated media and data
CN103680562B (zh) * 2012-09-03 2017-03-22 腾讯科技（深圳）有限公司 音频文件的布点实现方法和装置
US8913189B1 (en) * 2013-03-08 2014-12-16 Amazon Technologies, Inc. Audio and video processing associated with visual events
CN103246752A (zh) * 2013-05-30 2013-08-14 北京瑞翔恒宇科技有限公司 一种关联ppt文档与音频的系统
US10389671B2 (en) * 2013-09-12 2019-08-20 W.W. Frainger, Inc. System and method for providing personalized messaging
US9286383B1 (en) * 2014-08-28 2016-03-15 Sonic Bloom, LLC System and method for synchronization of data and audio
WO2016042765A1 (ja) * 2014-09-19 2016-03-24 パナソニックＩｐマネジメント株式会社 映像音声処理装置、映像音声処理方法およびプログラム
US10269035B2 (en) * 2015-06-30 2019-04-23 Marketing Technology Limited On-the-fly generation of online presentations
US11130066B1 (en) 2015-08-28 2021-09-28 Sonic Bloom, LLC System and method for synchronization of messages and events with a variable rate timeline undergoing processing delay in environments with inconsistent framerates
US10381041B2 (en) 2016-02-16 2019-08-13 Shimmeo, Inc. System and method for automated video editing
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
CN108241598A (zh) * 2016-12-26 2018-07-03 北京奇虎科技有限公司 一种演示文稿的制作方法和装置
CN108241597A (zh) * 2016-12-26 2018-07-03 北京奇虎科技有限公司 一种演示文稿的制作方法和装置
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN107292941A (zh) * 2017-06-21 2017-10-24 江西服装学院 动画管理方法及其系统
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
US10805665B1 (en) * 2019-12-13 2020-10-13 Bank Of America Corporation Synchronizing text-to-audio with interactive videos in the video framework
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
US11107504B1 (en) * 2020-06-29 2021-08-31 Lightricks Ltd Systems and methods for synchronizing a video signal with an audio signal
KR20220017775A (ko) * 2020-08-05 2022-02-14 삼성전자주식회사 오디오 신호 처리 장치 및 그 동작 방법
CN112102847B (zh) * 2020-09-09 2022-08-09 四川大学 一种音频和幻灯片内容对齐方法
US11417366B1 (en) * 2021-02-19 2022-08-16 William Craig Kenney Method and system for synchronizing presentation slide content with a soundtrack
CN113177126A (zh) * 2021-03-24 2021-07-27 珠海金山办公软件有限公司 一种处理演示文稿的方法、装置、计算机存储介质及终端
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US20220382443A1 (en) * 2021-06-01 2022-12-01 Apple Inc. Aggregated content item user interfaces
EP4298529A1 (en) * 2021-06-01 2024-01-03 Apple Inc. Aggregated content item user interfaces
CN113472942B (zh) * 2021-08-04 2023-06-09 无锡未来镜显示科技有限公司 唱片和视频联动的音箱控制系统及方法
US11880921B2 (en) * 2022-01-27 2024-01-23 Cobalt Inc. System and method for multimedia presentation

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6484168B1 (en) * 1996-09-13 2002-11-19 Battelle Memorial Institute System for information discovery
US5949410A (en) * 1996-10-18 1999-09-07 Samsung Electronics Company, Ltd. Apparatus and method for synchronizing audio and video frames in an MPEG presentation system
US6181351B1 (en) * 1998-04-13 2001-01-30 Microsoft Corporation Synchronizing the moveable mouths of animated characters with recorded speech
RU2238614C2 (ru) * 1998-05-08 2004-10-20 Квэлкомм Инкорпорейтед Устройство и способ распространения высококачественных видео-и аудиопрограмм к удаленным местам
EP1018840A3 (en) * 1998-12-08 2005-12-21 Canon Kabushiki Kaisha Digital receiving apparatus and method
US6892351B2 (en) * 1998-12-17 2005-05-10 Newstakes, Inc. Creating a multimedia presentation from full motion video using significance measures
JP2000206859A (ja) * 1999-01-13 2000-07-28 Kobe Steel Ltd 情報出力装置
US6636888B1 (en) * 1999-06-15 2003-10-21 Microsoft Corporation Scheduling presentation broadcasts in an integrated network environment
JP2001125599A (ja) * 1999-10-25 2001-05-11 Mitsubishi Electric Corp 音声データ同期装置及び音声データ作成装置
RU2257686C2 (ru) * 1999-12-02 2005-07-27 Квэлкомм Инкорпорейтед Устройство и способ декодирования цифровых сигналов изображения и звука
US6542869B1 (en) * 2000-05-11 2003-04-01 Fuji Xerox Co., Ltd. Method for automatic analysis of audio including music and speech
AU2002306173A1 (en) * 2001-06-18 2003-01-02 First International Digital, Inc Enhanced encoder for synchronizing multimedia files into an audio bit stream
WO2003039101A2 (en) * 2001-11-01 2003-05-08 Telecommunications Research Associates, Llc. Computerized interactive learning system and method over a network
US20050188297A1 (en) * 2001-11-01 2005-08-25 Automatic E-Learning, Llc Multi-audio add/drop deterministic animation synchronization
US7194676B2 (en) * 2002-03-01 2007-03-20 Avid Technology, Inc. Performance retiming effects on synchronized data in an editing system
US7383509B2 (en) * 2002-09-13 2008-06-03 Fuji Xerox Co., Ltd. Automatic generation of multimedia presentation
US9628851B2 (en) * 2003-02-14 2017-04-18 Thomson Licensing Automatic synchronization of audio and video based media services of media content
DE10322722B4 (de) * 2003-05-20 2005-11-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Synchronisieren eines Audiossignals mit einem Film
JP4196816B2 (ja) * 2003-12-08 2008-12-17 ソニー株式会社 データ編集装置およびデータ編集方法
EP1553784A1 (en) 2004-01-06 2005-07-13 Deutsche Thomson-Brandt Gmbh Method and apparatus for performing synchronised audio and video presentation
US7500176B2 (en) * 2004-04-01 2009-03-03 Pinnacle Systems, Inc. Method and apparatus for automatically creating a movie
US20070223874A1 (en) * 2004-04-07 2007-09-27 Koninklijke Philips Electronics, N.V. Video-Audio Synchronization
JP2005341206A (ja) * 2004-05-27 2005-12-08 Konica Minolta Photo Imaging Inc 画像再生装置の制御方法
US20050275805A1 (en) * 2004-06-15 2005-12-15 Yu-Ru Lin Slideshow composition method
US7469380B2 (en) * 2004-06-15 2008-12-23 Microsoft Corporation Dynamic document and template previews
US8068107B2 (en) 2004-11-22 2011-11-29 Mario Pirchio Method to synchronize audio and graphics in a multimedia presentation
US7236226B2 (en) * 2005-01-12 2007-06-26 Ulead Systems, Inc. Method for generating a slide show with audio analysis
JP2006217521A (ja) * 2005-02-07 2006-08-17 Seiko Epson Corp 画像表示装置、画像音声再生方法、および、この方法を実行させるコンピュータ読取可能なプログラム
TWI267763B (en) * 2005-02-17 2006-12-01 Ulead Systems Inc Method for synchronizing the slide show with the background music
US7990386B2 (en) * 2005-03-24 2011-08-02 Oracle America, Inc. Method for correlating animation and video in a computer system
JP4595704B2 (ja) * 2005-06-22 2010-12-08 カシオ計算機株式会社 画像処理装置、撮像装置、およびプログラム
US7783971B2 (en) * 2005-09-13 2010-08-24 Microsoft Corporation Graphic object themes
CN100481957C (zh) * 2006-05-22 2009-04-22 天栢宽带网络科技（上海）有限公司 媒体同步方法
US7716572B2 (en) * 2006-07-14 2010-05-11 Muvee Technologies Pte Ltd. Creating a new music video by intercutting user-supplied visual data with a pre-existing music video
US7669132B2 (en) * 2006-10-30 2010-02-23 Hewlett-Packard Development Company, L.P. Matching a slideshow to an audio track
US7569761B1 (en) * 2007-09-21 2009-08-04 Adobe Systems Inc. Video editing matched to musical beats

Also Published As

Publication number Publication date
CN101802816A (zh) 2010-08-11
EP2201478B1 (en) 2020-10-14
CN101802816B (zh) 2012-10-03
US20090077460A1 (en) 2009-03-19
TW200921447A (en) 2009-05-16
MY155096A (en) 2015-09-15
JP2010539619A (ja) 2010-12-16
EP2201478A1 (en) 2010-06-30
US8381086B2 (en) 2013-02-19
BRPI0815915A2 (pt) 2015-03-03
RU2010110132A (ru) 2011-09-27
KR101247000B1 (ko) 2013-03-25
WO2009038929A1 (en) 2009-03-26
AU2008302614A1 (en) 2009-03-26
TWI534648B (zh) 2016-05-21
EP2201478A4 (en) 2011-03-02
AU2008302614B2 (en) 2012-07-26
JP5349482B2 (ja) 2013-11-20
MX2010002967A (es) 2010-04-01
RU2470353C2 (ru) 2012-12-20

Similar Documents

Publication Publication Date Title
KR101247000B1 (ko) 슬라이드 쇼 이벤트들과 오디오의 동기화
US11456017B2 (en) Looping audio-visual file generation based on audio and video analysis
US9420394B2 (en) Panning presets
US9997196B2 (en) Retiming media presentations
US20130073964A1 (en) Outputting media presentations using roles assigned to content
US9536564B2 (en) Role-facilitated editing operations
WO2017186015A1 (zh) 一种为视听化数字媒体配音的方法及装置
US20100281381A1 (en) Graphical User Interface for a Media-Editing Application With a Segmented Timeline
US8392004B2 (en) Automatic audio adjustment
US20130073961A1 (en) Media Editing Application for Assigning Roles to Media Content
EP2579169A1 (en) Information processing apparatus, information processing method, and computer readable medium
US9087508B1 (en) Presenting representative content portions during content navigation
US20130073962A1 (en) Modifying roles assigned to media content
US9817829B2 (en) Systems and methods for prioritizing textual metadata
US9639606B2 (en) Musical soundtrack matching
Lee et al. DiMaß: A technique for audio scrubbing and skimming using direct manipulation
Seigel et al. Towards a unified system for digital film production
WO2004109498A1 (en) Control scheduler apparatus and method for synchronously outputting presentation data for multimedia presentations
US20200159762A1 (en) Interest-based and bibliographical data-based multimedia content exploration, curation and organization
JP2011076434A (ja) 表示制御装置、表示制御方法、表示制御プログラム、及び表示制御プログラムを記録した記録媒体
Lee et al. Improving Interfaces for Navigating Continuous Audio Timelines
JP2009503981A (ja) マルチメディアマテリアルの即時的なレビューを提供するための方法及び装置

Legal Events

Date Code Title Description
A201 Request for examination
E701 Decision to grant or registration of patent right
GRNT Written decision to grant
FPAY Annual fee payment

Payment date: 20160218

Year of fee payment: 4

FPAY Annual fee payment

Payment date: 20170220

Year of fee payment: 5

FPAY Annual fee payment

Payment date: 20180219

Year of fee payment: 6

FPAY Annual fee payment

Payment date: 20200218

Year of fee payment: 8