TW200416600A - System and method for annotating multi-modal characteristics in multimedia documents - Google Patents

Description

200416600 玖、發明說明： 【發明所屬之技術領域] 本發明係關於多媒體檔案之電腦處理。更明確地說， 本發明係關於發生於多媒體檔案中的多形態事件、物件、 場景、與音訊之手動註解。 【先前技術】

在全球資訊網以及本機電腦中，多媒體内容皆越來越 常見。 隨著多媒體内容的增加，在内容中進行功能的索引也 變得越來越重要。同時觀察音訊以及視訊，同時註解此一 觀察會得到較大的信賴水準。 現有多媒體工具提供了分別註解音訊或視訊其中一種 的能力，但不能同時註解全部。（一種僅能註解視訊之工 具的實施例為IBM MPEG7註解工具，發明人J· Smith et a 1. ， 網 址 為

[http://lwww.alphaworks.ibm.com/tech/videoannex 〇 在 Park et al·， "iMEDI A-C AT” Intelligent Media Content

Annotation Tool’’， Proc. International Conference on

Inductive Modeling (ICIM) 200 1，South Korea，November， 2001 ;以及 Minka et al·，"Interactive Learning using a Society of Models, Pattern Recognition, Vol. 30，pp. 565, 1997, TR #3 49中，描述了其他傳統配置法。 長久以來已經確認’分別註解視訊或音訊特徵會造成 3 200416600 該特徵之識別的一較低信賴度。 由前文可知，本領域已意識到需要一種改良之系統與 方法，可用於觀察並註解多媒體檔案中之多型態事件、物 件、場景、以及音訊。 【發明内容】 根據本發明之至少一種較佳具體實施例，已有許多多 媒體註解系統與方法允許使用者單獨觀察視訊、視訊加音 訊、單獨觀察音訊、或音訊加視訊，並可註解該觀察。 在一具體實施例中，提供了一 .種電腦系統，其具有儲 存於一工作記憶體中之一或多種多媒體檔案。該多型態註 解處理程序顯示一種使用者所選擇之多媒體檔案，允許該 一種型態或多種型態之選項可觀察該檔案内容、拄解該觀 察；並將該註解儲存於一工作記憶體（例如一種MPEG-7 XML檔案）中。 簡而言之，本發明之一態樣提供了一種設備可管理多 媒體内容，該設備至少包含一種可供應多媒體内容之配 置；一種輸入界面，其能允許與多媒體内容相關聯之至少 一種下列型態的選擇，以便用於觀察：一種包括視訊之音 訊部份；以及一種包括音訊之視訊部份；以及可用於註解 一所選型態之觀察的配置。 本發明之進一步的態樣提供一種管理多媒體内容之方 法，該方法至少包含如下步驟：供應多媒體内容；允許與 多媒體内容相關聯之至少一種下列型態的選擇，以便用於 4 200416600 觀察：一種包括視訊之音訊部份；以及一種包括 訊部份；以及可用於註解一所選型態之觀察的配 此外，本發明之一種額外的態樣提供了一種 取之程式儲存裝置，將該機器可執行之一種程式 化，以便進行管理多媒體内容之方法步驟，該方 含下列步驟：供應多媒體内容；允許與多媒體内 之至少一種下列型態的選擇，以便用於觀察：一 訊之音訊部份；以及一種包括音訊之視訊部份； 於註解一所選型態之觀察的配置。 為了更加了解本發明以及本發明進一步的其 優點，在下列說明中加入參照，並對照附隨之圖 所附申請專利範圍中指出本發明之範圍。 【實施方式】 第1圖為根據本發明之一種多型態註解系統 佳具體實施例的一區塊圖。該多媒體内容與先前 儲存於該儲存媒體100上。當一使用者130利用 媒體100之註解工具來選擇一種多媒體檔案時， 案載入至工作記憶體11 0中，且將其一部份顯示 具120中。當一多型態檔案由儲存媒體100載入 憶體1 1 0中時，使用者1 3 0亦可隨時要求先前儲 目前多型態檔案相關聯的註解。使用者1 3 0藉由 工具1 20做出要求，來檢視該多媒體資料。之後使 可註解其觀察，且註解工具120可將這些註解儲 音訊之視 置。 機器可讀 指令具體 法至少包 容相關聯 種包括視 以及可用 他特徵與 示，且在 的一種較 之註解係 來自儲存 會將該檔 於註解工 至工作記 存且與該 透過註解 用者130 存於工作 °己隐體1 1 0中。使用者可隨時要求註解工具丨2 0將該註解 儲存於儲存媒體100上。 第2圖為一種可註解視訊場景、物件、與事件之系統 的圖不。（須同時參照第1圖）已經將多媒體資料自儲存 媒體1 0 0載入工作記憶體1 1 0中。已選擇一種視訊資料表 290 °利用場景轉換偵測，已將該多媒體視訊區段化成為 鏡景。一鏡景清單列視窗200顯示該多媒體中之一部份鏡 景。在此處’使用者130已選擇一鏡景210，且在鏡景清 單列視窗2 0 0中標示出該所選之鏡景。較佳的情形中會顯 不一關鍵影格220 ’其為一鏡景之影格中具代表性的鏡 景。此外，可利用播放控制240在視訊視窗230中檢視該 鏡景之影格。隨著是否選擇靜音按鈕250，檢視該視訊時 可以出現音訊或沒有音訊。使用者130可按一下事件260、 靜態場景2 7 0、或關鍵物件2 8 0中之核取方塊，來選擇此 一鏡景之註解。任何沒有包含於該核取方塊中的重要觀 察’可以記錄於一關鍵字文字方塊300中。 第3圖為一種可註解音訊加視訊之系統的圖示。（須 同時參照第1圖）已經將多媒體資料自儲存媒體丨00載入 工作記憶體110中。已選擇一種音訊加視訊資料表370。 利用場景轉換偵測，已將該多媒體視訊區段化成為鏡景。 鏡景清單列視窗200顯示該多媒體中之一部份鏡景。在鏡 景清單列視窗2 0 0中標示出與目前音訊位置相關聯之鏡景 210。在視窗390中顯示該音訊資料。分隔音訊340之一 區段以便進行註解；亦即已固定後續將進行註解之音訊的 6 200416600 範圍或邊界。在2 3 0中顯示與該音訊相關聯之視訊。當使 用者1 30使用播放控制360，可更新音訊資料顯示390， 並顯示目前音訊資料，且視訊視窗2 3 0會改變以反映目前 視訊影格。因此，使用者1 3 0在進行音訊註解時，可觀察 該視訊並同時聽到音訊。較佳的情形下，使用者1 3 0利用 按鈕3 5 0來分隔音訊區段。可核取對應於前景音效（3 20 ) (該區段中最明顯的音效）以及背景音效（3 3 0 )(呈現出 的音效，但相較於其他音效較為次要）之核取方塊，以便 指示在該音訊區段340中可聽見的音效。任何沒有包含於 該核取方塊中的重要觀察，可以記錄於一關鍵字文字方塊 300 中。 第4圖為一種可註解音訊不含視訊之系統的圖示。（須 同時參照第1圖）已經將多媒體資料自儲存媒體1 00載入 工作記憶體11 0中。已選擇一種音訊不含視訊資料表400。 在視窗390中顯示該音訊資料。分隔音訊340之一區段以 便進行註解。當使用者130使用播放控制360，可更新音 訊資料顯示390，並顯示目前音訊資料。因此，使用者130 在進行音訊註解時，僅能聽到音訊。使用者1 3 0利用按鈕 350來分隔音訊區段。可核取對應於前景音效320以及背 景音效3 3 0之核取方塊，以便指示在該音訊區段340中可 聽見的音效。任何沒有包含於該核取方塊中的重要觀察， 可以記錄於一關鍵字文字方塊3 0 0中。 必須了解，根據至少一種現有較佳具體實施例，本發 明包括一種可供應多媒體内容之配置；一種輸入界面，其 7 200416600 能允許與多媒體内容相關聯之至少一種下列型態的選擇， 以便用於觀察：一種包括視訊之音訊部份；以及一種包括 音訊之視訊部份；以及可用於註解一所選型態之觀察的配 置。這些元件可一起在一執行適當軟體程式的一般用途電 腦中實作。亦可在至少一種積體電路或至少一種積體電路 之一部份中實作。因此，必須了解本發明可在硬體、軟體、 或兩者之組合中實作。 若本處未另行指明，本說明書假定此處所提及之所有 專利、專利應用、專利發表、以及其他發表（包括網路發 表），皆以參考文獻方式提及，如同將之全文轉錄於此處 一般。 雖然已經參照附隨的圖示敘述本發明之說明性具體實 施例，必須了解本發明不限於這些精確的具體實施例，且 一習之技藝人士可在不悖離本發明之範圍或精神的情形 下，對其進行多種其他改變與修飾。 【圖式簡單說明】 第1圖為一種區塊圖，說明一種多型態註解系統。 第2圖為一種註解視訊場景、物件、與事件之系統的圖示。 第3圖為一種註解音訊加視訊之系統的圖示。 第4圖為一種註解音訊不含視訊之系統的圖示。 【元件代表符號簡單說明】 儲存媒體1〇〇 工作記憶體110 200416600 註 鏡 關 播 事 關 關 背 按 音 音 解工具120 景清單列200 鍵影格220 放控制240 件260 鍵物件2 8 0 键字文字方塊300 景音效330 鈕350 訊加視訊資料表3 7 0 訊不含視訊資料表400 使用者1 3 0 鏡景210 視訊視窗2 3 0 靜音按鈕250 靜態場景270 視訊資料表290 前景音效3 2 0 音訊區段3 4 0 播放控制360 音訊資料顯示390

Claims (1)

1. 200416600 拾、申請專利範圍： 1. 一種可用於管理多媒體内容之設備，該設備至少包含： 一種可供應多媒體内容之配置； 一種輸入界面，其能允許選擇與多媒體内容相關聯之 至少一種下列型態，以便用於觀察：一種包括視訊之音訊 部份，以及一種包括音訊之視訊部份；以及 一種可用於註解一所選型態之觀察的配置。

   2.如申請專利範圍第1項所述之設備，其中該輸入界面 允許選擇與多媒體内容相關聯之下列二種型態，以便用於 觀察：一種包括視訊之音訊部份，以及一種包括音訊之視 訊部份。

   3.如申請專利範圍第1項所述之設備，其中該輸入界面 額外地僅允許選擇多媒體内容之一視訊部份，以便用於觀 察。 4. 如申請專利範圍第1項所述之設備，其中該輸入界面 額外地僅允許選擇多媒體内容之一音訊部份，以便用於觀 察。 5. 如申請專利範圍第1項所述之設備，其中該可供應多 媒體内容之配置至少包含一種可儲存多媒體檔案之工作記 10 200416600 憶體。 6. 如申請專利範圍第1項所述之設備，其中該輸入 經改變可：首先允許選擇一種多媒體檔案，且之後許 擇至少下列一種：一音訊部份且同時加上視訊，以及 訊部份且同時加上音訊。 7. 如申請專利範圍第1項所述之設備，至少更包含 工作記憶體，其可儲存一所選擇型態經註解之觀察。 8. 如申請專利範圍第1項所述之設備，其中該輸入 經改變可允許下列與該多媒體内容相關聯之至少下 態，以便進行觀察：一包括音訊之視訊部份。 9. 如申請專利範圍第8項所述之設備，其中該輸入 至少包含： 一種配置，其能允許選擇多媒體内容之一種視訊型 以便進行觀察；以及 一種配置，其能選擇性地將音訊加入欲觀察之視 態中。 10. —種管理多媒體内容之方法，該方法至少包含下 驟： 界面 可選 一視 -種籲 界面 列型 界面

   態， 訊型 列步 11 200416600 供應多媒體内容； 允許選擇與多媒體内容相關聯之至少一種下列多種型 態，以便用於觀察：一種包括視訊之音訊部份，以及一種 包括音訊之視訊部份；以及 註解一所選型態之觀察。 11. 如申請專利範圍第1 0項所述之方法，其中該允許選 擇之步驟至少包含允許選擇與多媒體内容相關聯之下列二 種型態，以便用於觀察：一種包括視訊之音訊部份，以及 一種包括音訊之視訊部份。 12. 如申請專利範圍第1 0項所述之方法，其中該允許選 擇之步驟額外地至少包含僅允許選擇多媒體内容之一視訊 部份，以便用於觀察 13. 如申請專利範圍第10項所述之方法，其中該允許選 擇之步驟至少包含僅允許選擇多媒體内容之一音訊部份， 以便用於觀察。 14. 如申請專利範圍第1 0項所述之方法，其中該供應多 媒體内容之步驟至少包含提供一種可儲存多媒體檔案之工 作記憶體。 12 200416600 15. 如申請專利範圍第10項所述之方法，其中該允許選 擇之步驟至少包含：首先允許選擇一種多媒體檔案，且之 後許可選擇至少下列一種：一音訊部份且同時加上視訊， 以及一視訊部份且同時加上音訊。 16. 如申請專利範圍第10項所述之方法，至少更包含提 供一種工作記憶體，以便儲存一所選擇型態經註解之觀察 的步驟。 17. 如申請專利範圍第10項所述之方法，其中該允許選 擇之步驟至少包含允許選擇與該多媒體内容相關聯之至少 下列型態，以便進行觀察：一包括音訊之視訊部份。 1 8.如申請專利範圍第1 7項所述之方法，其中該允許選 擇之步驟至少包含： 允許選擇多媒體内容之一種視訊型態，以便進行觀 察；以及 能於其後將音訊加入欲觀察之視訊型態中。 19. 一種機器可讀取之程式儲存裝置，將該機器可執行之 一程式指令具體化以便進行管理多媒體内容之方法步驟， 該方法至少包含下列步驟： 供應多媒體内容； 13 200416600 允許選擇與多媒體内容相關聯之至少一種下列型態， 以便用於觀察：一種包括視訊之音訊部份，以及一種包括 音訊之視訊部份；以及 註解一所選型態之觀察。

   14