TW477937B - Apparatus and method for optimizing keyframe and blob retrieval and storage - Google Patents

Description

477937 五、發明說明α) ' 一~-- 從多媒體或超媒體文件或網頁所摘錄視頻或二 物件中擷取出來的關鍵框，被儲存以便最佳化由—疋大型 的記憶裝置之擷取。 相對慢 發明背景 α 在視頻的索引處理中，視覺描述—視頻的關鍵 頻切割偵測和關鍵框過濾摘錄出來，如在審查」从現 號08/867, U0號”視覺索引系統的重要場景债測盘框^序 "，和美國序號0 8/ 8 67,丨45號"視頻索引系統,，的專^ ^ 案中所描述’當中的發明人，有本發明的發明人，叫 一索引。在視頻切割偵測和關鍵框過濾中，關鍵 生 可能的框（通常，每一秒的視頻3 〇個框）中選擇出 後多 在關鍵框過濾處理之後，關鍵框的數目是相當:。甚至 約每錄影帶2 5 0個關鍵框。通常’如果關鍵框"被Ζ的’大 1 6 0x 1 2 0的解析度並壓縮到JPEG袼式中，則索’、小到 ί 1 ^ ^ ^ ^ ^ Λ ^ ^50 夕。在适樣的大小，關鍵框的擷取可能花相當 j更 ::果操取是在慢速通道上執行’例如高延遲網路(：，尤 來況，網際網路，企業内部網路等）或線性 三 如VHS錄影帶。邢狀媒脰例 同樣地，對網站而言，包含二位

:體或超媒體文件被提出。含有視頻(或影像)::J J 件或=可能需要大量記憶體，彳能是十的次方的百：： 二：1如此的多媒體文件或軟體所需要的時間對-血型 的28. 8 kb/sec數據機可能相當可觀。 ’、主 五、發明說明（2) 網站可能 用者難以操 二位元大型 文，超文件 媒體文件和 用者有興趣 |或靜態的階 I立來提供使 I頻，視頻， 以使用者 最佳化，索 雖然暫時的 Takaf umi y[ 會議多媒體 自動場景分 法，本發明 線性多媒體 中的儲存通 化。舉例來 理，例如資 佳化。也可 標準著重於 在負料庫 理系統通常 包括大量的可能網頁，多媒體文件和可能讓使 縱的連結。每份多媒體文件，或網頁可以包括 Ϊ t 、一位兀大型物件可包括音頻’視頻，本 —、、"或到其他文件的連結。一個網站網頁或多 匕們各別的二位元大型物件的擷取，尤其是使 的 口為一位凡大型物件通常被儲存在暫時的 層#構，而可能花相當時間。多媒體文件可建 用者基於使用者偏好或其他預先設定標準有音 本文和連結的網頁。 | 友好的方式將關鍵框或二位元大型物件的擷取‘ 引或多媒體文件以階層式的架構表示法建立。 階層架構已經在例如Ueda，Hir〇tada和 iyatake的著作中使用。第四屆ACM國際多媒體 ( 1 9 9 6年十一月18 —22日）：4〇5 —4〇6，，視頻編輯的 離和樹狀結構GUI”，做為關鍵框的概念表示 在S呌的階層架構之外建立一線性索引結構或 =件結構，以允許擷取的最佳化。目前資料庫 二不，擷取最佳化，而是，對交易處理最佳 =，貝料庫系統對系統_資料庫中的交易處 枓編輯（也就h插人’更新和删除資料），最Y 二做查詢的最佳化；#而，資料庫系統的測量 仏可能使平行請求的資料變更快速。 2，事先並不知道擷取的次序，因為資料庫管 、所儲存的資料内容或將會被請求何種查詢並

第6頁 477937 五、發明說明（3) ! | 不瞭解。 在一數位高密度卡帶（DCC )格式中，索引系統描述了哪 些磁執在特定的磁帶上；然而，在不同的磁軌之間並不存 在優先權；因此，内容的擷取不可能最佳化。 對於網頁或另一相似類型的多媒體文件，資訊依提供者 預先設定的格式，而非以使用者儲存的偏好，提供給使用 者。 發明概要 需要一系統將一索引或多媒體文件的存取最佳化。本發 明聚集節點中的關鍵框與二位元大型物件，並將它們以階《I 層的方式儲存。階層架構依照預先設定的使用者偏好，包 括為父或子的節點與二位元大型物件。在一節點中的關鍵 框（影像）的數目與在一父節點下之子節點的數目是任意 的。 圖式概述 圖1說明一範例視覺索引階層架構； 圖2A — 2B說明本發明的視覺階層架構； 圖3說明一範例標頭檔案； 圖4A-4B說明有群體標頭的階層架構； φ 圖5說明階層架構的一線性表示法； 圖6 A - 6 E說明階層架構的詳細表示法；和 圖7A-7B是本發明的系統。 較佳實施例描述 本發明在一階層架構中包括關鍵框的節點或二位元大型 477937 五、發明說明（4) 物件與連結，如圖1所說明。雖然在描述中稱為關鍵框， 但是該描述也適用於二位元大型物件。 在本發明中，如圖2 A所示，六個關鍵框在一節點中，且 在一父節點之下最多三十六個子節點（每一父關鍵框六個 子關鍵框）。很清楚地，習於該項技藝人士能夠修改節點 的數目或在父節點之下子節點的數目。 供作參考，節點的頂層（在此例中，一個節點有六個關 鍵框）是階層A，有標示為1，2... X的關鍵框。節點的第二 層是階層B，且包括六個節點。關鍵框被標示為1 1，1 2， 13···16，21，22，23···26，31，32，33··.36，…，而# 在第三層，階層C，上的關鍵框被標示為11 1， 1 1 2 ... 1 1 6，1 2 1，1 2 2 ... 1 2 6，...。關鍵框被編號，僅是 為了容易參考和說明，以指出它們的階層和在階層中的次 序。階層架構的各不同層相當於其下所對應顯示有關的視 頻細節，在此例中，視頻整體的減少表示法。舉例來說， 在階層Α的關鍵框是視頻六個最具代表性的框，而階層Β上 的關鍵框是次一代表性，與階層C上，為次一代表性。

階層架構的一個範例在圖2A中提出，為一六個小時長且 區分為X時段的視頻。在這個例子中，在階層A上（只顯示 一個節點）的頂端節點，每個有代表整個視頻的六個父關 鍵框，每個父關鍵框有六個子關鍵框。六個關鍵框的每一 個可對應於整個視頻的一小時，如此區分視頻至相等的小 時區塊中，或可依照視頻的結構對應於時間的區段。 階層B上的關鍵框提供其父關鍵框所代表之錄影帶部分

第8頁 477937 五、發明說明（5) 一一~* 有關的更多細節。更明確地，在關鍵框丨之下的關鍵框 11，12，13...16提供有關關鍵框1所代表時間的第一區塊 ^更多細節。每個關鍵框代表視頻的一部分。對此範例而 a ’_/、個關鍵框被選為代表整個視頻的父關鍵框（階層a )，三十六個關鍵框被選為代表整個視頻的子關鍵框（階層 β) ’而—百十六個關鍵框被選為代表整個視頻的孫子關鍵 層C)。每一下一階層的節點包含父節點的視頻部分 具代表性的關鍵框。 舉例來說，節點1有六個關ΜΜ ^ 部分@ m t έ… 個關鍵框（1 ―6)所代表視頻的第一 夂二1皆層上’舉例來說關鍵框1，更 舉例‘ t ;;鍵*11; ί Γ16詳細描述。在下一階層上， 牛π水况關鍵框1 1 ，更進一步由丄 詳細描述。 /由/、個孫子關鍵框1Π-116 所建立的階層架構不必麸I 一 鍵=可與關鍵框Η和騎框衡的樹。另外，關 暫時的階層架構可使用許多 如磁碟或磁帶上。在个j的Μ構儲存在記憶裝置 藉由在標頭檔案中描述‘構並將：：架:扁平化π，以 =，儲存在電腦可讀的媒體:‘此^集在獨立的節點 關鍵框的樓案名稱代：相2:工，胃-個” 貝矾。 十分之一秒的時間 ㈣頭槽』Γ見：：Ϊ:::: J :描：性的資訊也可包含 二個階層的屬性值對表示:磁帶，節點：樞樓 477937 五、發明說明（6) 磁帶分類或框 性值對可自由插入新的屬性，舉例來說’ 面物體的階層。

Doc 2 些音頻，視 連結 同樣地，本發明可用來提供及/或擷取多媒體文件或超 媒體文件，例如網頁。使用者可以有特定的興趣，以允許 由一伺服器建立使用者描述或使用者偏好資訊，然後它^ 動態地包裹資訊。舉例來說，如圖2 B所示，文件丨A可t含 音頻，視頻（影像），本文及/或到其他文件（DQel Doc3等）11A的連結。使用者可成只對包含在 頻，本文或其他文件中的資訊有興趣，舉例來說D〇c2和 Doc3，而對其他的D〇cl則否。每個進一步的文件， Docl-D〇c3，可包括本文，音頻，及/或視頻並進一步 到更進一步的多媒體文件11 1 A。 所建立的階層架構不一定要表示使用者希望要如何# 資訊（音頻，視頻，本文，及/或連結）或與使用者的偏好 有任何關聯。可對資訊依照一預先設定的使用者描述執一 分析，且資訊可重新安排到一暫時的階層架構中，藉由订 重新安排的階層架構’’扁平化’’到具體實現在電腦可讀的將 體上一使用者檔案之内。 '媒 圖3說明一範例標頭檔案。標頭可包括資訊，例如.錄& 帶ID，視頻的標題5視頻的分類，錄製的曰期，索弓|日％ 期，磁帶長度，視覺索引的版本，影像的解析度，階層、 數目，子節點的數目，和視覺索引中關鍵框的數目。曰的 — 資 訊編碼框號碼和貧訊，並依照被編碼的框號碼和資訊，、 計算出錄放影機應該定位在儲存體上，也就是錄影帶 可

477937 五、發明說明（7) — ~ — ~~---- =^的那個位置。有可能想要限制被儲存在標頭檔案中的 貧訊/避免資料毁壞並減少儲存體。另外，標頭檔案可儲 存在儲存媒體上的幾個地方以避免資料毀壞。 、在此範例中，視覺索引包含一標頭檔案（視頻標頭）4 1 0 或416與關鍵框或關鍵框影像412&4 14或41 8和42 0。在此範 例中，、當關鍵框影像佔了 844 KB的時候，21 6個關鍵框影 像的視覺索引有一4 KB的標頭檔案。雖然在本範例中，對 特定或通用的視頻使用一標頭檔案，階層或群體標頭（422 和424或426和42 8 )可被加入以描述特定階層的節點，、如圖 4A和4B所顯示，如同可以有其他類型的標頭。 圖4A說明儲存階層式的階層方向關鍵框叢集，而 明父-子方向關鍵框的叢集。 回 况 圖5說明扁平化並線性表示階層架構的視覺索引結 在檔案處理中，此結構建立在一暫時的裝置如磁碟° ° 電腦可讀媒體上，並整體寫到線性媒體，如一磁帶1〕 一網路上。在本發明中，標頭標案是允許對儲存=土， 引中的資訊容易存取的第一個檔t。關鍵框影 二： 的安排是依據階層式暫時的結構的描述而定。 ‘·、'ΰ棺木 因使用者介面而定’關鍵框的節點依所選擇的钟 並儲存。可能有幾個不同的結構，如圖6Α —Ε所示、'、° f安排 地，圖6A說明一階層式由上而下的安排，圖6β =明=明確 右安排，而圖6C說明階層安排。圖⑽說明除去 餘儲存之階層安排。更明確地’如先前所提到，^、夕 1 ’η，和m可能代表相同影像，因而，儲存所=個 477937 五、發明說明（8) 是多餘的。因此，只有關鍵框1，舉例來說，被儲存。 圖6 E說明一多媒體文件的安排，它除去，使用者已經指 示無興趣的，到其他文件，本文，音頻，或視頻的連結， 以提供一使用者檐案。圖6E提供在圖2B中描述的例子之一 範例安為h。 在所有的女排中，一節點標頭，如果使用了 ，可包括資 訊例如ID，特定階層關鍵框的數目，和每個關鍵框的丨D，、 註解，位置，子節點的數目和框調號。 一節點影像也可被包括在内。對每個關鍵框 貧料的資訊可被包括在内。 布〜保 為了要擷取所除儲存的關鍵框，標頭柃安 然後階層A的第一個關鍵柜赤- 、木I先被項取， 存在一暫時的裝置如磁磾大型物件被讀取並儲 要將視覺帝引或他電腦可讀媒體上。為了 媒體文件被回存^ f文件的擷取最佳化，視覺索引或多 貝汛能被顯示給使用者。因此 片奴被碩取之後， 索引或多媒體文件載，_ 不必等待整個視覺 或區域。使用者 · ^經被載入的有興趣的階層 元大型物件並進二:：趣的關鍵框或二位 入。在使用者介面的關鍵框二俊；!：索或網頁分別地被載 讀取的時候，它 ^ 4〜像即點或二位元大型物件被 使用者。最後，^個史由其上影像等可被顯示給 預先設定的次序载入。〖、’ 11影像或二位元大型物件被依 圖 7 A 和 7 B 1 sb i 本發明的範例系統。特別地，在圖7A中， 477937 五、發明說明（9) 儲存體70 2有選定數目的最具代 索引系統或其他自動或手動裝置所接的供關鍵框，如一視頻 ，的關鍵框給一第—處理器丄“、它儲存體醫 選定數目的階層中，每個階層包括預Ά建柩^排到 表性關鍵框，而每個後續的階層二疋數目的最具代 框。一第二處理器7 〇 5 ,可以是—八 刖階層的多個關鍵 第一處理器7 0 4的一部份，佑=M刀開的第二處理器7 0 5或 框的資訊，至少建立-個標頭樓y見頻的最具代表性關鍵 標頭槽案與關鍵框具體實規力二 案中，記憶體7。6可以是二在二憶體706中的-索引標 —部份。單元70 8可以是一八&的=憶體或是儲存體70 2的 ，，或電視且可有—使用者刀介電腦’錄放影 例來說，出現在一服伺器中 同樣地，圖7”的範例Π/;::;鍵框。 β “储存體71〇，其可，舉 几大型物件安排到選定數目的階声处理器71 2會將二位 括本文’視頻’音頻和到其他多‘:每個階層將至少包 中的一種。每個接續的階層將至小勺或超媒體文件的連結 和每一其他多媒體或超媒體文件^括本文，視頻，音頻 種。 遵一步的連結中的一 一第二處理器713，可以是一 器m的一部份，將會依據使用^處理器或第一處理 物件組織到一使用者檔案中。第好貧訊把二位元大型 料庫或依據植入的資訊分析二位^ ^理器713將能夠對資 大型物件或連結，以決 477937 五、發明說明（10) ' ____ 定二位元大型物件或連結是否落在 興趣的區域中。然後第二處理哭π —使用者預先設定的有 型物件和連結，以呈現在使二々據此分析組織二位元大 端的那些二位元大型物件血束处 °又 最有興趣區域頂 一記憶體7 1 4，可以是—八門如圖6F中所顯示。 部份，將會儲存組織過的二位元存體或儲存體m的-使用者檔案中。單元71¾，例如電，物件和連結，實現在 案，並在擷取每個二位元大】4岛將會掏取使用者檔 來。 “勿件和連結時將其呈現出 現在能毫不遲疑地贊賞，本發 一 型物件的儲存’以便將來自相‘地或二位元大 佳化。本發明可包含在任又、σ己隐裝置的擷取最 子系統。習於該項技藝人士可m或可以是-分開·的 點’關鍵框’二位元大型；^也使=不同數目的節 像。習於該項技藝人士 不頭，郎點標頭和節點影 丄☆ j輕易地加以修衿 樂等”顏色或視頻特H剪頻（聲音’演講，音 ^ ^^^ ^f ^ 以绩佔去志名=子一錄影帶’檔案等的隼人土 讓使用者查看可能包括特蓉口之主索引， 之貧訊的主索引。 飞 月奴荨破儲存在哪裡 丨荆鞭柩也月b约破分把 用者偏好或各種不同業者，依據預先設定的標準如子 中所示。這將可允方法來重新組織，如圖4A和4 斗儲存體㈣些被^為有車交高優先本

Claims (1)

1. 477937 _案號88100176 ^f〇年9月ίϋ曰 修正_L 六、申請專利範圍 1 . 一種儲存視頻的關鍵框於電腦可讀媒體中以最佳化擷 取的方法，該方法包含步驟： 由電腦可讀媒體中擷取選定數目的最具代表性的關鍵 框，並將關鍵框安排到選定數目的階層中，每個階層包括 預先決定數目的最具代表性關鍵框，且每個後續的階層包 括更多代表視頻的關鍵框；以及 以階層儲存關鍵框在電腦可讀媒體中。 2 ·如申請專利範圍第1項中之儲存關鍵框的方法，進一 步包含下列步驟： 依據視頻的最具代表性關鍵框的有關資訊建立至少一標 頭檔案；以及 儲存該至少一標頭檔案在電腦可讀媒體中。 3 . —種呈現視頻的關鍵框的方法，該方法包含下列步 驟： 擷取視頻選定數目的最具代表性的關鍵框，並將所擷取 的關鍵框安排到選定數目的階層之内，每個階層包括一預 先決定數目的最具代表性的關鍵框，且每個後續的階層包 括一預先決定1目降低視頻代表性的關鍵框； 將關鍵框以階層儲存到實施在一電腦可讀媒體中一索引 檔案内； 擷取索引檔案；以及 在每個階層被擷取時呈現關鍵框。 4. 一種將視頻的關鍵框儲存到記憶體中的系統，該系統 包含：

   O:\56\56693.ptc 第1頁 2001.09.05.017 477937 _案號88100176 年1月P日 修正__ 六、申請專利範圍 具有選定數目之視頻最具代表性關鍵框的儲存體； 一第一處理器，將關鍵框安排到選定數目的階層之内， 每個階層包括預先決定數目的最具代表性關鍵框，且每個 接續的階層包括先前階層的多個關鍵框； 一第二處理器，依據視頻的最具代表性關鍵框有關的資 訊建立至少一個標頭檔案； 記憶體，以階層儲存標頭檔案和關鍵框，並實施在一索 引檔案中；和 一單元，以擷取索引檔案並，在每個階層被擷取時，呈 現每個階層的關鍵框。 5 . —種將多媒體文件的二位元大型物件儲存在電腦可讀 媒體中，以使擷取最佳化或個人化的方法，該方法包含步 驟： 依據預先設定的資訊建立一使用者偏好檔案； 擷取特定多媒體文件的二位元大型物件，並將二位元大 型物件安排到選定數目的階層之内，每個階層至少包括， 特定多媒體文件的二位元大型物件和到其他多媒體文件的 連結中的一者_，且每個接續的階層包括其他多媒體文件的 二位元大型物件；和 依據實施到一使用者檔案内的使用者偏好檔案儲存特定 二位元大型物件和連結，以供使用者擷取。 6. —種呈現多媒體文件的二位元大型物件和連結的方 法，該方法包含步驟： 擷取被選取的至少二位元大型物件和連結中的一個，並

   O:\56\56693.ptc 第2頁 2001.09.05.018 477937 _案號88100176 ^?〇 年1月0日 修正_二 六、申請專利範圍 將被選取的二位元大型物件和連結安排到選定數目的階層 之内，每個階層至少包括音頻，視頻，本文和到其他多媒 體文件的連結中的一種； 依據使用者偏好資訊建立一使用者檔案，該使用者檔案 實現二位元大型物件和連結； 擷取使用者檔案；和 在被擷取時呈現二位元大型物件和連結。 7 . —種儲存多媒體文件的二位元大型物件之系統，該系 統包含： 有每個多媒體文件的二位元大型物件之儲存體； 一第一處理器，將一被選取多媒體文件的二位元大型物 件安排到選定數目的階層之内，每個階層包括至少本文， 視頻，音頻和到其他多媒體文件的連結中的一種，每個後 續的階層包括至少本文，視頻，音頻和到其他每個多媒體 文件的再進一步多媒體文件的連結中的一種； 一第二處理器，以依據使用者偏好資訊組織二位元大型 物件和連結； 記憶體，儲名實現在一使用者檔案中被組織的二位元大 型物件；和 一單元，以在被擷取時，擷取使用者檔案並呈現二位元 大型物件和連結。 8 · —種電腦可讀取之媒體，其用以實施一資料結構以代 表一視訊，該媒體包括： 第一階層的關鍵框，該關鍵框為該視訊之最具代表性的

   O:\56\56693.ptc 第3頁 2001.09.05.019 477937 _案號88100176 夕。年1 月7P曰 修正_1 六、申請專利範圍 關鍵框； 第二階層的關鍵框，該關鍵框為該視訊之下一個最具代 表性的關鍵框；以及 在預定次序中之額外關鍵框，該等關鍵框逐漸減少該視 訊之代表性。 9. 一種實現一資料結構的電腦可讀媒體，包含： 至少一依據使用者偏好檔案中的次序之一第一多媒體文 件的二位元大型物件，和到其他多媒體文件的連結中的一 種； 至少一依據使用者偏好檔案中的次序之其他多媒體文件 的二位元大型物件，和到再進一步多媒體文件的連結中的 一種；和 依據使用者偏好檔案中的次序之進一步多媒體文件的進 一步二位元大型物件和連結。

   O:\56\56693.ptc 第4頁 2001.09.05.020