TWI534648B - 將幻燈片事件與音訊同步化之方法 - Google Patents

將幻燈片事件與音訊同步化之方法 Download PDF

Info

Publication number
TWI534648B
TWI534648B TW097135188A TW97135188A TWI534648B TW I534648 B TWI534648 B TW I534648B TW 097135188 A TW097135188 A TW 097135188A TW 97135188 A TW97135188 A TW 97135188A TW I534648 B TWI534648 B TW I534648B
Authority
TW
Taiwan
Prior art keywords
audio
event
events
animation
slide
Prior art date
Application number
TW097135188A
Other languages
English (en)
Other versions
TW200921447A (en
Inventor
李邦萬
呂凱志
Original Assignee
微軟技術授權有限責任公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 微軟技術授權有限責任公司 filed Critical 微軟技術授權有限責任公司
Publication of TW200921447A publication Critical patent/TW200921447A/zh
Application granted granted Critical
Publication of TWI534648B publication Critical patent/TWI534648B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
    • H04N21/4341—Demultiplexing of audio and video streams
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/432—Query formulation
    • G06F16/433—Query formulation using audio data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/438—Presentation of query results
    • G06F16/4387—Presentation of query results by the use of playlists
    • G06F16/4393—Multimedia presentations, e.g. slide shows, multimedia albums
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/44—Browsing; Visualisation therefor
    • G06F16/447—Temporal browsing, e.g. timeline
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
    • H04N21/2368—Multiplexing of audio and video streams
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
    • H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
    • H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/44—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs
    • H04N21/44012—Processing of video elementary streams, e.g. splicing a video clip retrieved from local storage with an incoming video stream or rendering scenes according to encoded video stream scene graphs involving rendering scenes according to scene graphs, e.g. MPEG-4 scene graphs
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/472—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/47205—End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for manipulating displayed content, e.g. interacting with MPEG-4 objects, editing locally
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/482—End-user interface for program selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47—End-user applications
    • H04N21/485—End-user interface for client configuration
    • H04N21/4858—End-user interface for client configuration for modifying screen layout parameters, e.g. fonts, size of the windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8106—Monomedia components thereof involving special audio data, e.g. different tracks for different languages

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Mathematical Physics (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)
  • Television Signal Processing For Recording (AREA)

Description

將幻燈片事件與音訊同步化之方法
本發明係關於將幻燈片事件與音訊同步化。
簡報應用程式提供建立並展現具備聲光效果簡報的功能性。一般而言，簡報採用一或多張簡報幻燈片的形式。每一簡報幻燈片都可包含許多物件，像是文字、相片、清單、表格、圖表、形狀、美工圖片、電影與其他。簡報幻燈片可透過一使用者命令而顯示在螢幕上並導覽，以便展現出簡報。
許多簡報應用程式提供動畫製作與應用視覺效果於每一簡報幻燈片上物件，以及動畫製作與應用視覺效果給簡報幻燈片之間轉場的功能性。例如：運用典型的簡報應用程式所提供的功能性，一使用者可定義一簡報幻燈片上一物件的動作路徑。當該簡報幻燈片已播放，該簡報應用程式將導致該物件沿著該預定動作路徑產生動畫。一使用者可用一類似方式手動定義其他種要應用至一簡報物件的動畫與視覺效果特性。
許多簡報應用程式也提供在一簡報期間播放一音訊檔案的功能性。不過，傳統上難以讓一使用者將一簡報內動畫事件與一音訊檔案內相關時間點同步。例如：一使用者可能要隨著一音訊檔案每一主節拍播放而發生一簡報內的文字與圖形動畫。使用者先前利用重覆聆聽該音訊檔案識別該音訊檔案內相關音訊事件，然後手動將該等幻燈片事件開始時間與手動識別的音訊事件對準，來達成此結果。這是一項會讓使用者受挫的冗長乏味並且耗時之處理，並且在許多案例中，產生低於理想狀態的結果。
在此呈現出與此處所公佈是項有關的考量與其他項目。
此處所說明的技術用來將幻燈片事件與音訊同步化。重要的是，透過運用此處所呈現的技術與概念，可自動識別一音訊檔案內的音訊事件。例如：可識別一音訊檔案內的主要節拍、休止音節或樂器音節。然後也用自動方式將已識別的音訊事件與幻燈片事件同步、視覺效果以及幻燈片轉場同步。在此方式中，音訊事件可輕鬆地與幻燈片事件同步，而不需要一使用者手動識別該等音訊事件或手動將該等音訊事件與幻燈片事件同步。
根據此處說明的一個態樣，接收定義一或多個動畫事件、幻燈片轉場或視覺效果的資料。例如：一使用者可利用一圖形使用者介面來定義這些事件。該使用者也可指定所定義事件執行期間要播放的音訊檔案。該音訊檔案經過處理後可識別其中內含的音訊事件。音訊事件呈現出可讓任何重要音訊事件在該音訊檔案內播放的時間點，像是節拍、樂器音節、休止音節等等。根據一個態樣，找出該音訊檔案內音訊開始點位置就可識別音訊事件。音訊開始點為該音訊檔案內的時間點，其上一特定頻率上的音訊能量位階高於或低於一指定臨界。該定位的音訊開始點可經過濾，提供適當數量音訊事件來進行同步。
一旦已經識別該音訊檔案內的音訊事件，則使用一音訊同步法則將已定義的動畫事件與已定義的音訊事件同步。一音訊同步法則為包含定義音訊事件如何與動畫事件同步的資料之「秘訣」，例如：根據具體實施例，該音訊同步法則內的資料指定每一音訊事件與一對應動畫事件之間的偏差。在此方式中，提供可在音訊事件發生之前、當時或之後觸發動畫事件的指令。
在其他具體實施例內，該音訊同步法則內的資料指定每一音訊事件是否應該與一對應動畫事件開頭或結束同步。該資料也指定該等音訊事件的全部或一子集是否應該與動畫事件同步。例如：每四個音訊事件所使用的這種資料可與一動畫事件同步。資料也可指定如何選擇該等音訊事件的子集。在定義該等音訊事件如何與該等動畫事件同步的音訊同步法則內可提供其他種指令。
透過多個音訊同步法則的定義，可建立不同的「情緒」來將動畫事件與音訊同步。在一個具體實施例內，提供一情緒廊道使用者介面讓一使用者選擇要應用至一簡報的音訊同步法則。該等音訊同步法則可為給定名稱，說明應用至一簡報時所表現出來的「情緒」。例如：可定義展現出快樂或有說服力情緒的音訊同步法則。
根據其他具體實施例，一使用者介面也提供以沿著一時間線顯示該音訊檔案的波形。在該波形上也可顯示對應至已識別音訊事件的指示符。該使用者介面也允許一使用者手動將動畫事件與該波形上顯示的音訊事件相關聯。例如：使用一適當的使用者輸入裝置，一使用者可沿著該時間線移動對應至一動畫的物件。在回應方面，該動畫事件的開始與/或結束時間將依附至該等指示符，這些指示符對應至該波形上顯示的音訊事件。在此方式中，此處提供的使用者介面允許一使用者在視覺上將一動畫事件與一音訊檔案內識別的任何音訊事件相關聯。
應該瞭解到，雖然在一簡報應用程式的範圍內說明此處呈現的特色，這些特色可運用提供播放一音訊音軌功能性同時將物件賦予動畫、執行視覺效果或播放轉場的任何一種電腦程式。吾人也應該瞭解，上述標的也可實施成一電腦控制設備、一電腦處理、一電腦系統或像是一電腦可讀取媒體這類產製品。閱讀下列「實施方式」與附圖的相關說明將對這些與許多其他特色有所瞭解。
本「發明內容」用於以簡單形式導入選擇的概念，在底下實施方式中有進一步說明。本「發明內容」並不在於識別所主張標的的關鍵特色或基本特色，也不用來限制所主張標的的範疇。更進一步，所主張的標的並不受限於解決本揭示任何部分內所提的任何或全部缺點之實施。
下列詳細說明係關於將幻燈片事件與音訊同步化之技術。透過使用此處所呈現的具體實施例，可用自動方式識別一音訊檔案內的音訊事件，並與幻燈片事件(像是動畫、視覺效果與幻燈片轉場)同步，而不需要一使用者手動找出該等音訊事件或手動將該等音訊事件與幻燈片事件同步。底下將參閱第1圖至第8圖來提供有關此處所呈現許多具體實施例的額外細節。
雖然此處所說明的標的呈現在結合一作業系統與一電腦系統上應用程式的執行之程式模組一般範圍內，不過精通此技施的人士將會瞭解，本發明也可與其他種程式模組結合實施。一般而言，程式模組包含例式、程式、成分、資料結構以及執行特定工作或實施特定摘要資料類型的其他結構類型。再者，這些精通此技術的人士將會瞭解到，可用其他電腦系統組態來實現此處所述的主張，這些組態包含手持裝置、多處理器系統、微處理器型或可程式消費型電子產品、迷你電腦、主機電腦等等。
在下列詳細說明中，將參照其零件附圖並且其中說明特定具體實施例或範例。請參閱圖式，在許多圖式之中相同的編號代表相同的元件，並且將說明一運算系統以及將幻燈片事件與音訊事件同步化的方式之態樣。
此時請參閱第1圖，在此將提供有關此處所呈現用於將幻燈片事件與音訊事件同步化的一個實施之詳細資料。尤其是，第1圖說明根據此處所呈現一個實施用於將幻燈片事件同步的軟體架構之態樣。如第1圖內所示，以一簡報應用程式102的範圍來說明此處所呈現的具體實施例。簡報應用程式102提供建立並展現具備聲光效果簡報的功能性。一般而言，簡報採用簡報文件104內一或多張簡報幻燈片106A至106C的形式。每一簡報幻燈片106A至106C都可包含許多物件108A至108C，像是文字、相片、清單、表格、圖表、形狀、美工圖片和電影。在此也可運用其他種聲光物件。簡報幻燈片106A至106C可通過一使用者命令而顯示在一電腦顯示器螢幕上並導覽，以便展現出簡報文件104內定義的簡報。
簡報應用程式102也包含將視覺效果加上動畫並應用至物件108A至108C和簡報幻燈片106A至106C之間轉場的功能性。例如：一使用者可利用簡報應用程式102提供的功能性來建立用於物件108A至108C的動畫事件107A至107C。第1圖內所示的動畫事件107A至107C導致物件108A至108C沿著一動作路徑移動。不過吾人應該瞭解，也可定義其他種二維或三維動畫。類似地，視覺效果可應用至物件108A至108C。例如：視覺效果可定義來導致物件108A至108C淡入/淡出或消失。轉場效果也可定義來導致在兩個簡報幻燈片106A至106C之間切換或轉場期間播放動畫效果或視覺效果。幻燈片事件包含動畫事件、視覺效果、轉場事件以及可在一簡報應用程式內定義的其他種視覺效果。
在一個具體實施例內，簡報應用程式102也包含將音訊檔案114內音訊事件與已定義幻燈片事件同步化的功能性。為了提供此功能性，簡報應用程式102包含音訊同步成分112，其執行識別音訊檔案114內該等音訊事件的處理。底下將參照第4圖至第6圖來說明本處理。簡報應用程式102也提供將已識別音訊事件與簡報文件104內所定義幻燈片事件同步化之功能性。在此方面，簡報應用程式102也提供一使用者介面，讓一使用者手動調整由音訊同步成分112所產生的音訊事件與幻燈片事件同步化。底下第7圖將提供有關此使用者介面的詳細資訊。
根據此處所呈現的許多具體實施例，音訊同步成分112運用一音訊同步法則110A來決定該等音訊事件如何與該等幻燈片事件同步。音訊同步法則110A為包含定義該等音訊事件如何與幻燈片事件同步的資料之「秘訣」，例如：根據具體實施例，音訊同步法則110A內的資料指定每一音訊事件與一對應動畫事件之間的偏差。在此方式中，提供可在一音訊事件發生之前、之時或之後觸發一幻燈片事件的指令。
在其他具體實施例內，音訊同步法則110A內的資料指定每一音訊事件是否應該與一對應動畫事件開頭或結束同步。該資料也指定該等音訊事件的全部或子集是否應該與動畫事件同步。例如：每四個音訊事件所使用的這種資料可與一動畫事件同步。資料也可指定如何選擇該等音訊事件的子集。在定義音訊事件如何與該等動畫事件同步的音訊同步法則110A內可提供其他種指令。
透過多個音訊同步法則110A至110C的定義，可建立不同的「情緒」來將動畫事件與音訊同步。在一個具體實施例內，提供一情緒廊道使用者介面讓一使用者選擇要應用至簡報文件104的音訊同步法則110A至110C。音訊同步法110A至110C則可為給定名稱，說明應用至一簡報時所表現出來的「情緒」。例如：可定義展現出一快樂或一有說服力情緒的音訊同步法則。底下第3圖將提供有關該情緒廊道使用者介面的額外詳細資訊。
此時請參閱第2圖，在此將提供有關此處所呈現用於將幻燈片事件與音訊事件同步化的一個實施之詳細資料。尤其是，第2圖顯示一說明用於將幻燈片事件語音訊事件同步化的例式200之流程圖。應該瞭解到，此處說明的邏輯操作實施(1)為在一運算系統上執行的電腦實施步驟順序或程式模組以及/或(2)為該運算系統內的互連機器邏輯電路或電路模組。此實施取決於實施該運算系統之效能與其他需求。因此，此處所說明的邏輯操作可稱為操作、結構裝置、動作或模組。這些操作、結構裝置、動作與模組可在軟體、韌體、特定用途數位邏輯以及這些任意組合之內實施。吾人也應該瞭解，可執行彼此處所說明和圖式內所示更多或更少操作。這些操作也可用與此處所說明不同的順序來執行。
例式200開始於操作202，在此一使用者定義一簡報內的幻燈片事件。例如：運用簡報應用程式102所提供的功能性，一使用者可定義動畫事件、視覺效果、轉場效果或其他種關於物件108A至108C或簡報幻燈片106A至106C的事件。一旦該使用者已經建立所要的幻燈片事件，則例式200從操作202前往操作204。
在操作204上，簡報應用程式102接收音訊檔案114的選擇。例如在一個實施當中，一使用者可指定在上面操作202上定義的幻燈片事件呈現期間要播放之音訊檔案114。音訊檔案114可以格式化成為一標準WAV音訊檔案、一MP3音訊檔案或可用其他種音訊格式進行格式化。吾人應該瞭解，音訊檔案114可包含在其他種檔案內。例如：音訊檔案114可包含一視訊檔案內含的音訊資料。在這種具體實施例內，此處所呈現的態樣可用來將幻燈片事件與一視訊檔案內音訊事件同步。這也允許將效果、轉場與其他種應用至視訊檔案的功能與其內含音訊檔案同步。
一旦該使用者已經選擇要與該等幻燈片事件同步的音訊檔案114，則例式200繼續操作206。在操作206上，允許該使用者選擇在將音訊檔案114內音訊事件與已定義幻燈片事件同步當中要使用的音訊同步法則110A至110C。根據一個實施，呈現第3圖內顯示的廊道使用者介面，讓該使用者選擇所要的音訊同步法則110。如第3圖內所示，廊道使用者介面300包含一些使用者介面按鈕302A至302F，每一按鈕302都對應至一特定音訊同步法則110。
在一個實施當中，已建立多個音訊同步法則110A至110C。音訊同步法110A至110C也可為給定名稱。這些名稱可反映在對應至每一音訊同步法則的按鈕302A至302F上，例如：按鈕302A對應至一音訊同步法則，這在應用至一簡報時，將導致其中所定義的幻燈片事件以特定的方 式與音訊檔案114內音訊事件同步。該使用者運用一適當使用者輸入裝置來選擇一個按鈕302A至302F以及對應的音訊同步法則110。
此時請回到第2圖，一旦已經在操作206上選擇音訊同步法則110，則例式200前往操作208。在操作208上，定義所選音訊檔案114內的音訊事件。底下第4圖至第6圖內提供有關識別音訊檔案114內相關音訊事件的一個說明處理之詳細資訊。一旦已經識別音訊檔案114內的音訊事件，則例式200從操作210前往操作212。
在操作212上，音訊同步成分112將操作202上定義的幻燈片事件與操作208上識別的音訊事件同步。尤其是，根據一個實施，音訊同步成分112調整已定義幻燈片事件的時間來對應至該等已識別的音訊事件。在一個實施當中，使用上面操作206上選擇的音訊同步法則110可達成。根據所選音訊同步法則110的內容，音訊事件可與一對應幻燈片事件的開頭或結尾同步、該等音訊事件的全部或子集可與幻燈片事件同步或可對該等幻燈片事件如何與該等音訊檔案同步進行其他修改。
一旦該等幻燈片事件已經與該等已識別的音訊事件同步，例式200繼續操作212，在此提供機會給該使用者手動調整音訊同步成分所執行的同步化。例如在一個實施當中，提供一使用者介面，一使用者透過此介面可手動調整幻燈片事件與音訊事件之間的同步。底下第7圖說明用於執行此處理的一例示性使用者介面。一旦該使用者已經做 出任何調整，則音訊檔案114和該等幻燈片事件可同步播放。從操作212上，例式200繼續操作214來結束處理。
第4圖顯示此處所提供用於識別音訊檔案114內一或多個音訊事件410的一個說明處理簡介。如上面的簡要說明，音訊事件410呈現出可定位音訊檔案內重要音訊事件，像是節拍、樂器音節、休止音節等等的時間點。利用執行聲音開始點偵測處理404識別音訊事件410，來定位音訊檔案114內的音訊開始點406。音訊開始點406為該音訊檔案內的時間點，其上一特定頻率上的音訊能量位階高於或低於指定臨界。底下第5圖至第6圖將提供有關一個實施內所運用一說明音訊開始點偵測處理404之詳細資訊。
在一個實施當中，運用一過濾處理408來過濾已定位的音訊開始點406，來提供用於同步的適當數量音訊事件410。這是因為該等原始音訊開始點時間在流行音樂內通常比較密集。如此，由音訊開始點偵測處理404所識別的音訊開始點406由過濾處理408進一步處理，來選擇用於同步的適當音訊開始點406的子集。根據具體實施例，過濾處理408可運用音訊開始點406之間的間隔、與平均間隔的偏差、音訊開始點406的密度或其他因素，將音訊開始點406過濾至適當的音訊事件410數量。
此時請參閱第5圖，將說明用於執行上面關於第4圖簡單提及的音訊開始點偵測處理404之一例示性軟體架構502。在第5圖內顯示的實施當中，載入音訊檔案114並轉 換成WAV音訊格式的原始音訊樣本之連續串流。這可由MEDIAGRAPH類別504來達成，其運用MICROSOFT DIRECTSHOW技術將音訊資料解碼成波形樣本。
由MEDIAGRAPH類別504輸出的音訊樣本串流將饋送入時間頻率轉換器506，其在該等樣本上執行一「短時間傅立葉轉換(STFT,“Short-Time Fourier Transform”)」來獲得頻率頻譜的串流。在一個實施當中，時間頻率轉換器506維護當成音訊樣本串流上滑動視窗的緩衝區。當該緩衝區已滿，則時間頻率轉換器506先將一視窗功能應用在資料上，讓該緩衝區兩端上的資料趨近於零。然後，使用一「快速傅立葉轉換(FFT,“Fast Fourier Transform”)」演算法將一傅立葉轉換應用至該視窗資料。然後將當成滑動視窗的緩衝區往前移動以接受新音訊樣本。
若要補償因為應用該視窗功能造成的能量衰減，則在一個具體實施例內該滑動視窗不會往前移動一完整緩衝區大小。取而代之，可指定一重疊係數來允許部分視窗前進。在一具體實施例當中，時間頻率轉換器506使用下列參數：2048個樣本的緩衝區大小、一Hamming視窗函數以及0.5的重疊係數。此實施也允許自訂這些參數。例如：可使用一Hann視窗函數與0.75的重疊係數來取代。其中該等Hamming和Hann視窗係數都為精通此技術的人士所熟知。
來自時間頻率轉換器506的頻率頻譜串流會轉換成對應至許多子頻帶的能量值串流。這可用將對應至每一子頻 帶頻率範圍的FFT輸出bin之振幅平方，並加總來執行。在第5圖內說明的實施當中，總共有四個子頻帶：22Hz-256Hz、256Hz-2048Hz、2048Hz-8192Hz以及8192Hz-22050Hz(假設音訊取樣率為44100Hz)。吾人應該瞭解，該等子頻帶範圍可經過修改來指定專屬子頻帶區分。
每一能量值串流都饋送入一對應的開始點偵測器508A至508D。每一開始點偵測器508A至508D都產生時間值的清單，其上發生突然能量變化的音訊開始點406A至406D則搭配其對應的能量值。音訊開始點集合器510將這些子頻帶開始點406A至406D集合成一個音訊開始點集合406E。底下第6圖將提供有關此開始點偵測器508A至508D的額外詳細資訊。
此時請參閱第6圖，將提供有關開始點偵測器508的額外詳細資料。如第6圖內所示，每一開始點偵測器508都包含一來源過濾器602。來源過濾器602接收輸入值串流，並將時間索引附加至該資料值。每一開始點偵測器508也包含一中間值過濾器604。中間值過濾器604接收來自來源過濾器602的時間資料串流，並計算該輸入資料的移動中間值平均。此移動中間值的視窗大小可自訂。
中間值過濾器604的輸出用來當成峰值偵測器606的臨界曲線。峰值偵測器606接收來源過濾器602的輸出當成其資料輸入，並且中間值過濾器604的輸出當成其臨界輸入。峰值偵測器606識別資料之間超出一臨界的峰值。峰值偵測器606的輸出就是開始點偵測器508的輸出。吾 人應該瞭解，關於第5圖至第6圖所說明的軟體架構與方法僅具例示性，並且可運用其他技術來找出音訊檔案114內的音訊事件410。
此時請參閱第7圖，將說明用於檢視一音訊檔案內音訊事件並手動指定該等音訊事件至一簡報文件內幻燈片事件之一例示性使用者介面700。如第7圖內所示，在一個具體實施例內，使用者介面700包含一些列(lane)702A至702D。列702A提供一波形704形式的音訊檔案114內容之圖形表示。與波形704一起顯示的為一或多個指示符706A至706G，其對應至音訊檔案114內的已識別音訊事件410。指示符706A至706G圖形上代表音訊檔案114內每一已識別音訊事件之位置。
列702B至702D以圖形方式說明任何已定義幻燈片事件的時間。例如在第7圖內所示範例中，幻燈片事件時間物件708A至708C顯示在列702A至702D內，對應至三個幻燈片事件。每一幻燈片事件時間物件708A至708C的寬度圖形上代表事件的期間。
每一幻燈片事件時間物件708A至708C關於時間線710的位置代表其上將執行對應幻燈片事件的時間。在第7圖內所示的範例中，事件時間物件708A與指示符706B對齊，藉此指示對應的幻燈片事件將在對應至指示符706B的音訊事件時間上觸發。事件時間物件708B與指示符706D對齊，藉此指示對應的幻燈片事件將在對應至指示符706D的音訊事件時間上觸發。事件時間物件708C與指示 符706F對齊，藉此指示對應的幻燈片事件將在對應至指示符706F的音訊事件時間上觸發。因此吾人應該瞭解，使用者介面700提供音訊同步成分112如何將該等音訊事件與幻燈片事件同步的圖形檢視。
根據一個具體實施例，第7圖內所示的使用者介面700也提供功能性，讓一使用者可手動調整幻燈片事件與波形704上所呈現音訊事件之同步。例如：使用一適當使用者輸入裝置，一使用者可沿著時間線710移動一個事件時間物件708A至708C。在回應方面，該事件時間物件的開始與/或結束時間將「依附」至指示符706A至706G，這些指示符對應至波形704上顯示的音訊事件。在此方式中，此處提供的使用者介面700允許一使用者在視覺上將一動畫事件與音訊檔案114內識別的音訊事件410相關聯。吾人應該瞭解，第7圖內所示的使用者介面700僅供例示，並且可運用其他種使用者介面實施來提供此功能性。
第8圖顯示可執行此處所述軟體成分來以上述方式將幻燈片事件與音訊事件同步化的電腦800之電腦架構。第8圖內所示的電腦架構說明一傳統桌上型、膝上型或伺服器電腦，並且可運來執行此處所說明的任何簡報應用程式102之範圍。如上述，電腦800也可執行具體實施此處所呈現概念來將動畫事件、視覺效果或轉場與音訊事件同步化之其他種應用程式。
第8圖內所示的電腦架構包含一中央處理單元802(CPU,“central process unit”)、一系統記憶體808，其中包 含一隨機存取記憶體814(RAM,“random access memory”)和一唯讀記憶體(ROM,“read only memory”)816，以及一系統匯流排804，其將該記憶體耦合至CPU 802。一基本輸入/輸出系統包含有助於在電腦800內元件之間(像是啟動時)傳輸資訊的基本例式，其儲存在ROM 816內。電腦800進一步包含一大量儲存裝置810，用於儲存一作業系統818、應用程式以及其他程式模組，稍後將會有詳細說明。
大量儲存裝置810透過一連接至匯流排804的大量儲存控制器(未顯示)，來連接至CPU 802。大量儲存裝置810及其伴隨的電腦可讀取媒體提供非揮發性儲存空間給電腦800。雖然此處所含的電腦可讀取媒體說明就是一大量儲存裝置，像是一硬碟或CD-ROM光碟機，精通此技術的人士應該瞭解，電腦可讀取媒體可為電腦800可存取的任何可用媒體。
藉由範例並且並非限制，電腦可讀取媒體可包含在任何方法或技術內實施的揮發與非揮發性、可移除與不可移除媒體，用於儲存像是電腦可讀取指令、資料結構、程式模組或其他資料等資訊。例如，電腦可讀取媒體包括但不受限於RAM、ROM、EPROM、EEPROM、快閃記憶體或其他固態記憶體技術、CD-ROM、數位多用途光碟(DVD,“digital versatile disk”)、HD-DVD、BLU-RAY或其他光學碟片儲存、磁帶、磁匣、磁片儲存或其他磁性儲存裝置，或其他任何可用於儲存所要資訊並且可由電腦800存取的媒體。
根據許多具體實施例，電腦800可在透過像是網路820的網路，使用邏輯連接至遠端電腦的網路環境內操作。電腦800可透過與匯流排804相連的網路介面單元806連接至網路820。吾人應該瞭解，該網路介面單元806也可用於連接至其他種網路與遠端電腦系統。電腦800也可包含一輸入/輸出控制器812，用於接收並處理來自許多其他裝置的輸入，這些裝置包含一鍵盤、滑鼠或電子觸控筆(第8圖內未顯示)。類似地，一輸入/輸出控制器可提供輸出至一顯示器螢幕、一印表機或其他種輸出裝置(第8圖內也未顯示)。
如上面簡單提及的，許多程式模組與資料檔案可儲存在電腦800的大量儲存裝置810與RAM 814內，包含適合用於控制一網路桌上型、膝上型或伺服器電腦操作的作業系統818。該大量儲存裝置810和RAM 814也可儲存一或多個程式模組。尤其是，大量儲存裝置810和RAM 814可儲存簡報應用程式102，該程式提供此處所述功能性來將幻燈片事件與音訊事件同步化。大量儲存裝置810和RAM 814也儲存音訊同步法則110和簡報文件104，這兩者都在上面討論過。
根據前述，吾人應該瞭解此處所提供將幻燈片事件與音訊事件同步化之技術。雖然以特定電腦結構特色語言、方法邏輯動作和電腦可讀取媒體來說明標的，吾人可瞭解，申請專利範圍內所定義的本發明並不必然受限於此處的特定特色、動作或媒體。而此處的特定特色、動作和媒 體僅當成用於實施申請專利範圍之範例型式。
只藉由說明提供上述標的，並且不應該視為限制。在不遵照所說明與描述的範例具體實施例與應用程式，以及不悖離本發明精神與範疇之下，可對此處所描述的標的進行修改與變更，這揭示在下列申請專利範圍之內。
102‧‧‧簡報應用程式
104‧‧‧簡報文件
106A-106C‧‧‧簡報幻燈片
107A-107C‧‧‧動畫事件
108A-108C‧‧‧物件
110‧‧‧音訊同步法則
110A-110C‧‧‧音訊同步法則
112‧‧‧音訊同步成分
114‧‧‧音訊檔案
300‧‧‧「情緒」廊道使用者介面
302A-302F‧‧‧使用者介面按鈕
404‧‧‧音訊開始點偵測處理
406‧‧‧音訊開始點
406A-406E‧‧‧音訊開始點
408‧‧‧過濾處理
410‧‧‧音訊事件
502‧‧‧軟體架構
504‧‧‧MEDIAGRAPH類別
506‧‧‧時間頻率轉換器
508‧‧‧開始點偵測器
508A-508D‧‧‧開始點偵測器
510‧‧‧音訊開始點集合器
602‧‧‧來源過濾器
604‧‧‧中間值過濾器
606‧‧‧峰值過濾器
700‧‧‧使用者介面
702A-702D‧‧‧列
704‧‧‧波形
706A-706G‧‧‧指示符
708A-708C‧‧‧幻燈片事件時 間物件
710‧‧‧時間線
800‧‧‧電腦
802‧‧‧中央處理器
804‧‧‧系統匯流排
806‧‧‧網路介面單元
808‧‧‧系統記憶體
810‧‧‧大量儲存裝置
812‧‧‧輸入/輸出控制器
814‧‧‧隨機存取記憶體
816‧‧‧唯讀記憶體
818‧‧‧作業系統
820‧‧‧網路
第1圖為一說明此處所呈現的一個實施當中所提供一簡報應用程式態樣之軟體架構圖；第2圖為一顯示用於在此處所述一個實施當中將幻燈片事件與音訊事件同步的說明例式之流程圖；第3圖為一顯示說明情緒廊道的使用者介面圖，一使用者可透過此情緒廊道選擇此處所呈現的一個實施當中之音訊同步法則；第4圖為一顯示用於根據此處所呈現的一個實施當中識別一音訊檔案內音訊事件之說明處理的處理圖；第5圖為一顯示用於根據此處所呈現的一個實施當中識別一音訊檔案內音訊事件之軟體架構態樣的軟體架構圖；第6圖為一顯示此處所呈現的一個具體實施例當中所提供與運用的開始點偵測器態樣之軟體架構圖；第7圖為一顯示用於檢視一音訊檔案內音訊事件並根據一個具體實施例手動指定該等音訊事件至一簡報文件內幻燈片事件之例示性使用者介面的使用者介面圖；以及 第8圖為一顯示可實施此處所呈現具體實施例的計算系統之例示性電腦硬體與軟體架構的電腦架構圖。
102．．．簡報應用程式
104．．．簡報文件
106A-106C．．．簡報幻燈片
107A-107C．．．動畫事件
108A-108C．．．物件
110．．．音訊同步法則
110A-110C．．．音訊同步法則
112．．．音訊同步成分
114．．．音訊檔案

Claims (14)

  1. 一種將一或更多動畫事件與一或更多音訊事件同步化之方法，該方法包含以下步驟：接收定義該等動畫事件的資料；接收一音訊檔案的一選擇；處理該所選擇的音訊檔案，來識別該等音訊事件；接收複數個音訊同步法則之一者的一選擇，該等音訊同步法則之每一者包含：定義該等音訊事件將如何與該等動畫事件同步化的資料；基於該所選擇的音訊同步法則，決定每一音訊事件是否應該與一對應動畫事件的一開頭或一結尾同步化；基於該所選擇的音訊同步法則，決定該等音訊事件的全部或一子級是否應該與該等動畫事件同步；以及使用該所選擇的音訊同步法則，以調整該等動畫事件的一時間來對應至該等經識別的音訊事件，從而將該等動畫事件與該等經識別的音訊事件同步化，其中該等複數個音訊同步法則之每一者進一步包含：指定一偏差的資料，該偏差係在一特定音訊事件與對應於該特定音訊事件的一動畫事件之間，其中在該特定音訊事件發生時、該特定音訊事件發生前或者該特定音訊事件發生後，該偏差觸發該對應的動畫事件發生。
  2. 如申請專利範圍第1項所述之方法，其中處理該所選擇的音訊檔案來識別該等音訊事件的步驟包含以下 步驟：處理該音訊檔案來識別該音訊檔案內含的一或更多音訊開始點，並過濾該等音訊開始點來識別該等音訊事件，該等音訊開始點包含：該音訊檔案中的時間點，在該等時間點上，一特定頻率上的一音訊能量位階高於或低於一指定臨界。
  3. 如申請專利範圍第1項所述之方法，進一步包含以下步驟：顯示包含一第一列(lane)的一使用者介面，該第一列具有顯示於該第一列中的一波形，且具有顯示於該波形上的一或更多指示符，該波形代表該音訊檔案，該一或更多指示符對應於該等經識別的音訊事件；以及在該使用者介面中顯示一或更多額外列，該等額外列之每一者對應於該等動畫事件之一者，並具有顯示於該等額外列之該每一者中的至少一個物件，該至少一個物件對應於一動畫事件，每一動畫事件的寬度對應於一對應動畫事件的一期間。
  4. 一種其上儲存電腦可執行指令的電腦可讀取媒體，當由一電腦執行該等指令時，會導致該電腦執行如申請專利範圍第1項所述之方法。
  5. 一種將一簡報文件內定義的一或更多幻燈片事件與一或更多音訊事件同步化之方法，該方法包含以下步 驟：接收定義一簡報應用程式內之該等幻燈片事件的使用者輸入；接收一音訊檔案的一選擇；接收複數個音訊同步法則之一者的一選擇，該等音訊同步法則之每一者包含：定義該等音訊事件將如何與該等幻燈片事件同步化的資料；基於該所選擇的音訊同步法則，決定每一音訊事件是否應該與一對應幻燈片事件的一開頭或一結尾同步化；基於該所選擇的音訊同步法則，決定該等音訊事件的全部或一子級是否應該與該等幻燈片事件同步；以及接收使用該所選擇的音訊同步法則，以將該等幻燈片事件與該所選擇的音訊檔案內之音訊事件同步化的一請求；回應於接收該請求，處理該所選擇的音訊檔案來識別該等音訊事件；以及使用該所選擇的音訊同步法則，以調整該等幻燈片事件的一時間來對應至該等經識別的音訊事件，從而使用該所選擇的音訊同步法則，以將該等幻燈片事件與該等經識別的音訊事件同步化，其中該等複數個音訊同步法則之每一者進一步包含：指定一偏差的資料，該偏差係在一特定音訊事件與對應於該特定音訊事件的一動畫事件之間，其中在該特定音訊事件發生時、該特定音訊事件發生前或者該特定音訊事 件發生後，該偏差觸發該對應的動畫事件發生。
  6. 如申請專利範圍第5項所述之方法，其中該等幻燈片事件包含：動畫事件。
  7. 如申請專利範圍第5項所述之方法，其中該等幻燈片事件包含：幻燈片轉場(transition)。
  8. 如申請專利範圍第5項所述之方法，其中該等幻燈片事件包含：應用視覺效果至該簡報文件內之一物件。
  9. 如申請專利範圍第5項所述之方法，進一步包含以下步驟：顯示包含表示該音訊檔案之一波形的一使用者介面；以及在該波形上顯示對應至該等經識別的音訊事件的一或更多指示符。
  10. 如申請專利範圍第9項所述之方法，其中該使用者介面進一步包含：對應至該等幻燈片事件之每一者的一幻燈片事件時間物件，並且其中每一幻燈片事件時間物件都可依附至該波形上顯示的一指示符。
  11. 如申請專利範圍第10項所述之方法，其中該波 形顯示在一第一列(lane)中，且其中該等幻燈片事件時間物件顯示在一或更多其他列中。
  12. 一種其上儲存電腦可執行指令的電腦可讀取媒體，當一電腦執行該等指令時，會導致該電腦執行如申請專利範圍第5項所述之方法。
  13. 一種其上儲存電腦可執行指令的電腦可讀取媒體，當一電腦執行該等指令時，該等指令導致該電腦：儲存複數個音訊同步法則，該等音訊同步法則之每一者包含：資料，該資料定義音訊事件將如何與動畫事件同步化，接收定義該等動畫事件的資料；接收一音訊檔案的一選擇；處理該所選擇的音訊檔案，來識別該等音訊事件；接收該等複數個音訊同步法則之一者的一選擇接收使用該所選擇的音訊同步法則，以將該等動畫事件與該所選擇的音訊檔案內所識別之音訊事件同步化的一請求；基於該所選擇的音訊同步法則，決定每一音訊事件的全部或一子級是否應該與一對應動畫事件的一開頭或一結尾同步化；基於該所選擇的音訊同步法則，決定該等音訊事件是否應該與該等動畫事件同步；以及 回應於接收該請求，使用該所選擇的音訊同步法則中所儲存的該資料，以調整該等動畫事件的一時間來對應至該等經識別的音訊事件，從而將該等動畫事件與該等音訊事件同步化，其中該等複數個音訊同步法則之每一者進一步包含：指定一偏差的資料，該偏差係在一特定音訊事件與對應於該特定音訊事件的一動畫事件之間，其中在該特定音訊事件發生時、該特定音訊事件發生前或者該特定音訊事件發生後，該偏差觸發該對應的動畫事件發生。
  14. 如申請專利範圍第13項所述之電腦可讀取媒體，還具有儲存於其上的電腦可執行指令，當由該電腦執行該等指令時，該等指令導致該電腦：顯示包含一第一列(lane)的一使用者介面，該第一列具有顯示於該第一列中的一波形，且具有顯示於該波形上的一或更多指示符，該波形代表該音訊檔案，該一或更多指示符對應於該等經識別的音訊事件；以及在該使用者介面中顯示一或更多額外列，該等額外列之每一者對應於該等動畫事件之一者，並具有顯示於該等額外列之該每一者中的至少一個物件，該至少一個物件對應於一動畫事件，每一動畫事件的寬度對應於一對應動畫事件的一期間。
TW097135188A 2007-09-18 2008-09-12 將幻燈片事件與音訊同步化之方法 TWI534648B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US11/857,431 US8381086B2 (en) 2007-09-18 2007-09-18 Synchronizing slide show events with audio

Publications (2)

Publication Number Publication Date
TW200921447A TW200921447A (en) 2009-05-16
TWI534648B true TWI534648B (zh) 2016-05-21

Family

ID=40455892

Family Applications (1)

Application Number Title Priority Date Filing Date
TW097135188A TWI534648B (zh) 2007-09-18 2008-09-12 將幻燈片事件與音訊同步化之方法

Country Status (12)

Country Link
US (1) US8381086B2 (zh)
EP (1) EP2201478B1 (zh)
JP (1) JP5349482B2 (zh)
KR (1) KR101247000B1 (zh)
CN (1) CN101802816B (zh)
AU (1) AU2008302614B2 (zh)
BR (1) BRPI0815915A2 (zh)
MX (1) MX2010002967A (zh)
MY (1) MY155096A (zh)
RU (1) RU2470353C2 (zh)
TW (1) TWI534648B (zh)
WO (1) WO2009038929A1 (zh)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8106856B2 (en) 2006-09-06 2012-01-31 Apple Inc. Portable electronic device for photo management
US7569761B1 (en) * 2007-09-21 2009-08-04 Adobe Systems Inc. Video editing matched to musical beats
WO2010082199A1 (en) * 2009-01-14 2010-07-22 Innovid Inc. Video-associated objects
JP2010220203A (ja) * 2009-02-17 2010-09-30 Nikon Corp 動画再生装置および動画再生プログラム
US8996538B1 (en) 2009-05-06 2015-03-31 Gracenote, Inc. Systems, methods, and apparatus for generating an audio-visual presentation using characteristics of audio, visual and symbolic media objects
US20100293330A1 (en) * 2009-05-14 2010-11-18 Microsoft Corporation Displaying transition images during a slide transition
US20110154199A1 (en) * 2009-12-17 2011-06-23 Flying Car Ltd. Method of Playing An Enriched Audio File
US8698762B2 (en) 2010-01-06 2014-04-15 Apple Inc. Device, method, and graphical user interface for navigating and displaying content in context
JP5638896B2 (ja) * 2010-09-21 2014-12-10 任天堂株式会社 表示制御プログラム、表示制御装置、表示制御システム、および表示制御方法
DE102011079086A1 (de) * 2011-06-14 2012-12-20 Rohde & Schwarz Gmbh & Co. Kg Verfahren und Messgerät zur Unterdrückung von Störsignalen
US20130346920A1 (en) * 2012-06-20 2013-12-26 Margaret E. Morris Multi-sensorial emotional expression
US20120284426A1 (en) * 2012-07-19 2012-11-08 Jigsaw Informatics, Inc. Method and system for playing a datapod that consists of synchronized, associated media and data
US20120290907A1 (en) * 2012-07-19 2012-11-15 Jigsaw Informatics, Inc. Method and system for associating synchronized media by creating a datapod
CN103680562B (zh) * 2012-09-03 2017-03-22 腾讯科技（深圳）有限公司 音频文件的布点实现方法和装置
US8913189B1 (en) * 2013-03-08 2014-12-16 Amazon Technologies, Inc. Audio and video processing associated with visual events
CN103246752A (zh) * 2013-05-30 2013-08-14 北京瑞翔恒宇科技有限公司 一种关联ppt文档与音频的系统
US10389671B2 (en) * 2013-09-12 2019-08-20 W.W. Frainger, Inc. System and method for providing personalized messaging
US9286383B1 (en) * 2014-08-28 2016-03-15 Sonic Bloom, LLC System and method for synchronization of data and audio
JP6609795B2 (ja) * 2014-09-19 2019-11-27 パナソニックＩｐマネジメント株式会社 映像音声処理装置、映像音声処理方法およびプログラム
US10269035B2 (en) * 2015-06-30 2019-04-23 Marketing Technology Limited On-the-fly generation of online presentations
US11130066B1 (en) 2015-08-28 2021-09-28 Sonic Bloom, LLC System and method for synchronization of messages and events with a variable rate timeline undergoing processing delay in environments with inconsistent framerates
US10381041B2 (en) 2016-02-16 2019-08-13 Shimmeo, Inc. System and method for automated video editing
AU2017100670C4 (en) 2016-06-12 2019-11-21 Apple Inc. User interfaces for retrieving contextually relevant media content
US9912860B2 (en) 2016-06-12 2018-03-06 Apple Inc. User interface for camera effects
CN108241598A (zh) * 2016-12-26 2018-07-03 北京奇虎科技有限公司 一种演示文稿的制作方法和装置
CN108241597A (zh) * 2016-12-26 2018-07-03 北京奇虎科技有限公司 一种演示文稿的制作方法和装置
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
CN107292941A (zh) * 2017-06-21 2017-10-24 江西服装学院 动画管理方法及其系统
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
DK180171B1 (en) 2018-05-07 2020-07-14 Apple Inc USER INTERFACES FOR SHARING CONTEXTUALLY RELEVANT MEDIA CONTENT
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
DK201970535A1 (en) 2019-05-06 2020-12-21 Apple Inc Media browsing user interface with intelligently selected representative media items
US10805665B1 (en) * 2019-12-13 2020-10-13 Bank Of America Corporation Synchronizing text-to-audio with interactive videos in the video framework
US11039074B1 (en) 2020-06-01 2021-06-15 Apple Inc. User interfaces for managing media
US11107504B1 (en) * 2020-06-29 2021-08-31 Lightricks Ltd Systems and methods for synchronizing a video signal with an audio signal
KR20220017775A (ko) * 2020-08-05 2022-02-14 삼성전자주식회사 오디오 신호 처리 장치 및 그 동작 방법
CN112102847B (zh) * 2020-09-09 2022-08-09 四川大学 一种音频和幻灯片内容对齐方法
US11417366B1 (en) * 2021-02-19 2022-08-16 William Craig Kenney Method and system for synchronizing presentation slide content with a soundtrack
CN113177126A (zh) * 2021-03-24 2021-07-27 珠海金山办公软件有限公司 一种处理演示文稿的方法、装置、计算机存储介质及终端
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
KR20230150875A (ko) * 2021-06-01 2023-10-31 애플 인크. 집합 콘텐츠 항목 사용자 인터페이스
US20220382443A1 (en) * 2021-06-01 2022-12-01 Apple Inc. Aggregated content item user interfaces
CN113472942B (zh) * 2021-08-04 2023-06-09 无锡未来镜显示科技有限公司 唱片和视频联动的音箱控制系统及方法
US11880921B2 (en) * 2022-01-27 2024-01-23 Cobalt Inc. System and method for multimedia presentation

Family Cites Families (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6484168B1 (en) * 1996-09-13 2002-11-19 Battelle Memorial Institute System for information discovery
US5949410A (en) 1996-10-18 1999-09-07 Samsung Electronics Company, Ltd. Apparatus and method for synchronizing audio and video frames in an MPEG presentation system
US6181351B1 (en) 1998-04-13 2001-01-30 Microsoft Corporation Synchronizing the moveable mouths of animated characters with recorded speech
IL139412A0 (en) * 1998-05-08 2001-11-25 Qualcomm Inc Apparatus and method for distribution of high quality image and audio programs to remote locations
EP1018840A3 (en) * 1998-12-08 2005-12-21 Canon Kabushiki Kaisha Digital receiving apparatus and method
US6892351B2 (en) 1998-12-17 2005-05-10 Newstakes, Inc. Creating a multimedia presentation from full motion video using significance measures
JP2000206859A (ja) * 1999-01-13 2000-07-28 Kobe Steel Ltd 情報出力装置
US6636888B1 (en) 1999-06-15 2003-10-21 Microsoft Corporation Scheduling presentation broadcasts in an integrated network environment
JP2001125599A (ja) * 1999-10-25 2001-05-11 Mitsubishi Electric Corp 音声データ同期装置及び音声データ作成装置
IL149949A0 (en) * 1999-12-02 2002-11-10 Qualcomm Inc Apparatus and method for decoding digital image and audio signals
US6542869B1 (en) * 2000-05-11 2003-04-01 Fuji Xerox Co., Ltd. Method for automatic analysis of audio including music and speech
WO2002103484A2 (en) * 2001-06-18 2002-12-27 First International Digital, Inc Enhanced encoder for synchronizing multimedia files into an audio bit stream
US20050188297A1 (en) 2001-11-01 2005-08-25 Automatic E-Learning, Llc Multi-audio add/drop deterministic animation synchronization
US20030211447A1 (en) * 2001-11-01 2003-11-13 Telecommunications Research Associates Computerized learning system
US7194676B2 (en) 2002-03-01 2007-03-20 Avid Technology, Inc. Performance retiming effects on synchronized data in an editing system
US7383509B2 (en) * 2002-09-13 2008-06-03 Fuji Xerox Co., Ltd. Automatic generation of multimedia presentation
EP1593272B1 (en) * 2003-02-14 2017-08-30 Thomson Licensing DTV Automatic synchronization of audio and video based media services of media content
DE10322722B4 (de) * 2003-05-20 2005-11-24 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Vorrichtung und Verfahren zum Synchronisieren eines Audiossignals mit einem Film
JP4196816B2 (ja) * 2003-12-08 2008-12-17 ソニー株式会社 データ編集装置およびデータ編集方法
EP1553784A1 (en) 2004-01-06 2005-07-13 Deutsche Thomson-Brandt Gmbh Method and apparatus for performing synchronised audio and video presentation
US7500176B2 (en) * 2004-04-01 2009-03-03 Pinnacle Systems, Inc. Method and apparatus for automatically creating a movie
US20070223874A1 (en) 2004-04-07 2007-09-27 Koninklijke Philips Electronics, N.V. Video-Audio Synchronization
JP2005341206A (ja) * 2004-05-27 2005-12-08 Konica Minolta Photo Imaging Inc 画像再生装置の制御方法
US20050275805A1 (en) * 2004-06-15 2005-12-15 Yu-Ru Lin Slideshow composition method
US7469380B2 (en) * 2004-06-15 2008-12-23 Microsoft Corporation Dynamic document and template previews
US8068107B2 (en) 2004-11-22 2011-11-29 Mario Pirchio Method to synchronize audio and graphics in a multimedia presentation
US7236226B2 (en) * 2005-01-12 2007-06-26 Ulead Systems, Inc. Method for generating a slide show with audio analysis
JP2006217521A (ja) * 2005-02-07 2006-08-17 Seiko Epson Corp 画像表示装置、画像音声再生方法、および、この方法を実行させるコンピュータ読取可能なプログラム
TWI267763B (en) 2005-02-17 2006-12-01 Ulead Systems Inc Method for synchronizing the slide show with the background music
US7990386B2 (en) * 2005-03-24 2011-08-02 Oracle America, Inc. Method for correlating animation and video in a computer system
JP4595704B2 (ja) * 2005-06-22 2010-12-08 カシオ計算機株式会社 画像処理装置、撮像装置、およびプログラム
US7783971B2 (en) * 2005-09-13 2010-08-24 Microsoft Corporation Graphic object themes
CN100481957C (zh) * 2006-05-22 2009-04-22 天栢宽带网络科技（上海）有限公司 媒体同步方法
US7716572B2 (en) * 2006-07-14 2010-05-11 Muvee Technologies Pte Ltd. Creating a new music video by intercutting user-supplied visual data with a pre-existing music video
US7669132B2 (en) * 2006-10-30 2010-02-23 Hewlett-Packard Development Company, L.P. Matching a slideshow to an audio track
US7569761B1 (en) * 2007-09-21 2009-08-04 Adobe Systems Inc. Video editing matched to musical beats

Also Published As

Publication number Publication date
MY155096A (en) 2015-09-15
EP2201478B1 (en) 2020-10-14
MX2010002967A (es) 2010-04-01
US20090077460A1 (en) 2009-03-19
RU2470353C2 (ru) 2012-12-20
JP5349482B2 (ja) 2013-11-20
CN101802816A (zh) 2010-08-11
JP2010539619A (ja) 2010-12-16
US8381086B2 (en) 2013-02-19
EP2201478A1 (en) 2010-06-30
KR101247000B1 (ko) 2013-03-25
AU2008302614A1 (en) 2009-03-26
AU2008302614B2 (en) 2012-07-26
TW200921447A (en) 2009-05-16
CN101802816B (zh) 2012-10-03
BRPI0815915A2 (pt) 2015-03-03
KR20100056505A (ko) 2010-05-27
WO2009038929A1 (en) 2009-03-26
RU2010110132A (ru) 2011-09-27
EP2201478A4 (en) 2011-03-02

Similar Documents

Publication Publication Date Title
TWI534648B (zh) 將幻燈片事件與音訊同步化之方法
US11456017B2 (en) Looping audio-visual file generation based on audio and video analysis
US8626322B2 (en) Multimedia display based on audio and visual complexity
US8392004B2 (en) Automatic audio adjustment
TWI606384B (zh) 透過自由形式描繪之吸引人的顯示
WO2017186015A1 (zh) 一种为视听化数字媒体配音的方法及装置
JP2010165343A (ja) 表示情報制御装置および方法
WO2010123738A2 (en) Media timeline interaction
US20160267700A1 (en) Generating Motion Data Stories
US20090079744A1 (en) Animating objects using a declarative animation scheme
EP3059973A1 (en) System and method for multi-track playback of media content
US9639606B2 (en) Musical soundtrack matching
US10204080B2 (en) Rich formatting for a data label associated with a data point
US20150046957A1 (en) Tvod song playing method and player therefor
US10564924B1 (en) Navigating metadata in long form content
EP4134947A1 (en) Music customization user interface
JPH08160989A (ja) サウンドデータリンク編集方法
Lee et al. DiMaß: A technique for audio scrubbing and skimming using direct manipulation
Seigel et al. Towards a unified system for digital film production

Legal Events

Date Code Title Description
MM4A Annulment or lapse of patent due to non-payment of fees