TW201211799A - Keyword automation of video content - Google Patents

Keyword automation of video content Download PDF

Info

Publication number
TW201211799A
TW201211799A TW100106767A TW100106767A TW201211799A TW 201211799 A TW201211799 A TW 201211799A TW 100106767 A TW100106767 A TW 100106767A TW 100106767 A TW100106767 A TW 100106767A TW 201211799 A TW201211799 A TW 201211799A
Authority
TW
Taiwan
Prior art keywords
image
pattern
font
type
weight
Prior art date
Application number
TW100106767A
Other languages
English (en)
Inventor
Christopher E Holladay
William P Shaouy
Original Assignee
Ibm
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Ibm filed Critical Ibm
Publication of TW201211799A publication Critical patent/TW201211799A/zh

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7837Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using objects detected or recognised in the video content
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Library & Information Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

201211799 六、發明說明: 【發明所屬之技術領域】 本發明揭示一種用於自動產生及關聯針對視訊内容之搜 尋關鍵字的系統及相關方法。 【先前技術】 在習知方法中,手動產生針對視訊内容之搜尋關鍵字且 將其}曰派給S亥視訊内容,從而使在網站中登錄該視訊内容 的效率低下。又,因為手動產生之搜尋關鍵字與該視訊内 容任意相關聯,所以習知方法令之搜尋關鍵字並不有助於 使用者搜尋該視訊内容。 【發明内容】 根據本發明之一實施例,一種用於自動處理針對視訊内 容之關鍵字的方法包含:藉由一電腦系統之一處理器載入 該視訊内容,該視訊内容包含至少一影像圖框及一音訊串 流,自該至少一影像圖框產生一影像型樣表,其中該影像 型樣表之一項目包含影像型樣識別符、影像型樣名稱、影 像型樣計數及影像型樣權重屬性,其中該影像型樣識別符 識別該至少-影像圖框中之一影像型樣,其中該影像型樣 名稱為表示該影像型樣之一文數字式(alphanumeric)文字 (text) ’其中該影像型樣計數表示該至少—影像圖框中之 該影像型樣的出現次數,且其中該影像型樣權重表示該至 少-影像圖框内《該影像型樣之一相對頻帛;自該音訊串 流產生-字型樣表,其中該字型樣表之一項目包含字型樣 識別符、字型樣名稱、字型樣計數及字型樣權重屬性,其 154433.doc 201211799 中5亥子型樣識別符識別該音訊串流中之一字型樣,其中該 子型樣名稱為表示該字型樣之一文數字式文字,其中該字 型樣計數表示該音訊串流中之該字型樣的出現次數,且其 中邊字型樣權重表#該音m串流内之言亥字型樣的—相對頻 率;針對該影像型樣表及該字型樣表中之所有項目 (entries)來什算該各別權重,其中該各別權重選自由該影 像型樣權重及該字型樣權重組成之群組;基於該計算出之 權重自該影像型樣表及該字型樣表產生一關鍵字清單,其 中該關鍵字清單之一項目選自由該影像型樣表之項目及該 子型樣表之項目組成之群組,且其中該關鍵字清單之該項 目包含泛型(generic)型樣識別符、泛型型樣名稱、泛型型 樣計數及泛型型樣權重等屬性;及將該所產生之關鍵字清 單整合於與該視訊内容相關聯之一網頁的元資料 (metadata)中,以使得在使用該元資料進行的web搜尋中利 用該關鍵字清單。 根據本發明之一實施例,一種電腦程式產品包含體現一 電腦可讀程式碼之一電腦可讀記憶體單元。該電腦可讀程 式碼含有在由一電腦系統之一處理器執行時實施一種用於 自動處理針對視訊内容之關鍵字的方法之指令。 根據本發明之一實施例,一種電腦系統包含一處理器及 编接至該處理器之一電腦可讀記憶體單元,其中該電腦可 讀記憶體單元含有在由該處理器執行時實施一種用於自動 處理針對視訊内容之關鍵字的方法之指令。 根據本發明之一實施例,一種用於支援電腦架構之程 序’該程序包含提供針對以下操作中之至少一者的至少一 154433.doc 201211799 支援服務:在一計算系統中產生、整合、主控'維護及部 署電月®可讀程式碼’其中該程式碼結合該計算系統能夠執 行一種用於自動處理針對視訊内容之關鍵字的方法。 【實施方式】 圖1說明根據本發明之實施例之用於自動產生及關聯針 對視訊内容之搜尋關鍵字的系統丨〇。 系統ίο包含一web伺服器n及一資料庫3〇。web伺服器η 為執行一影像辨識工具12、一話語辨識工具13、一搜尋引 擎14及一關鍵字自動化程序2〇之一電腦系統。資料庫3〇包 含至少一視訊内容及分別與該至少一視訊内容之視訊内容 3 1相關聯之一關鍵字清單40。視訊内容3丨包含至少一影像 圖框及一音訊串流。資料庫30亦儲存與已由web伺服器J i 產生之視訊内容3 1相關聯之一影像型樣表3 2及一字型樣表 33 »影像型樣表32包含影像型樣識別符、影像型樣名稱、 影像型樣計數及影像型樣權重四(4)個屬性。影像型樣表32 追縱視訊内容3 1之每一影像型樣的頻率。字型樣表33亦包 含字型樣識別符、字型樣名稱、字型樣計數及字型樣權重 四(4)個屬性。字型樣表33追蹤視訊内容31之每一字型樣的 頻率。 關鍵字自動化程序20採用視訊内容3丨作為輸入且藉由使 用影像型樣表32及字型樣表33來產生與視訊内容31相關聯 之關鍵字清單40。關鍵字自動化程序2〇調用影像辨識工具 12且產生針對視訊内容31之影像型樣表32。關鍵字自動化 程序20调用活έ吾辨識工具13且產生針對視訊内容η之字型 154433.doc 201211799 樣表33。因為關鍵字清單4〇係藉由將影像型樣表32及字型 樣表33 s併而產生’所以關鍵字清單包含泛型型樣識別 符、泛型型樣名稱、泛型型樣計數及泛型型樣權重四⑷個 屬性。取決於—項目選自哪—型樣表,該泛型型樣識別符 才木用該影像型樣識別符或該字型樣識別符之值❶將所選擇 項目中之相應屬性複製至關鍵字清單4〇之項目中。舉例而 言’若選擇將影像型樣表32中之一項目合併至關鍵字清單 4〇中,則该泛型型樣識別符、該泛型型樣名稱、該泛型型 樣計數及該泛型型樣權重分別複製影像型樣表32之所選擇 項目的这影像型樣識別符、該影像型樣名稱、該影像型樣 計數及該影像型樣權重。若選擇將字型樣表33之項目合併 至關鍵字清單4G中,則該泛型型樣識別符、該泛型型樣名 稱、該泛型型樣計數及該泛型型樣權重分別複製字型樣表 33之所選擇項目的該字型樣識別符、該字型樣名稱、該字 型樣計數及該字型樣權重。web伺服器丨i之管理員判定在 關鍵字清單40中將保留多少項目1鍵字自動化程序職 習知視訊内容處置方法之手動關鍵字產生及指派自動化。 搜尋引擎14存取關鍵字清單40以服務於針對視訊内容” 之搜尋凊求。該搜尋請求係自想要藉由在關鍵字清單4〇 中作為’乏型型樣名稱所列出&一關鍵字來搜尋視訊内容3工 的終端使用者接收到。 圖2及圖2A為描繪根據本發明之實施例之用於自動產生 及關聯針對視訊内容之搜尋關鍵字的方法之流程圖。 在步驟100中,關鍵字自動化程序自資料庫擷取視訊内 I54433.doc 201211799 容。接著’關鍵字自動化程序繼續進行步驟2〇〇。 在步驟200中,關鍵字自動化程序藉由執行一影像型樣 表產生程式來產生針對所擷取之視訊内容的影像圖框之一 影像型樣表。參見以下針對由該影像型樣表產生程式執行 之步驟的圖3之描述❶該影像型樣表產生程式為關鍵字自 動化程序之子概念但未必為關鍵字自動化程序之單獨的子 模組。接著,關鍵字自動化程序繼續進行步驟3 〇〇。 在步驟300中,關鍵字自動化程序藉由執行一字型樣表 產生程式來產生針對所擷取之視訊内容的音訊争流之一字 型樣表。參見以下針對由該字型樣表產生程式執行之步驟 的圖4之描$。接著,關鍵字自動化程序繼續進行步驟 400 〇 如在圓2Α中所展示,可同時執行步驟2〇〇及步驟3〇〇。因 為該影像型樣表產生程式及該字型樣表產生程式在產生該 衫像型樣表及該字型樣表的過程中僅共用書亥視訊内容作為 輸入但彼此不具有任何循序相依性,所以同時執行步驟 2〇〇及步驟遍產生㈣像型樣表及字型樣表之集合與循序 地執行步驟200及步驟300時產生的集合相同。 在步驟彻巾,騎字自純程序藉由執行_型樣權重 計算程式來計算每—影像型樣及字型樣之一相對權重。每 影像型樣及字型樣之該相對權重表示—特定型樣相對於 影像型樣或字型樣之總數目的出現頻率。參見以下針對由 -亥型樣權重計算程式執行之步驟的圖5之描述。接著,關 鍵字自動化程序繼續進行步驟5〇〇。 J54433.doc 201211799 在步驟500中,關鍵字自動化程序藉由執行一關鍵字清 單產生程式來產生一關鍵字清單。參見以下針對由該關鍵 字清單產生程式執行之步驟的圖6之描述。接著,關鍵字 自動化程序繼續進行步驟600。 在步驟600中’關鍵字自動化程序更新與該視訊内容相 關聯之一網頁的元資料以整合該所產生之關鍵字清單,以 使得在使用該元資料服務於至web伺服器之針對視訊内容 之web搜尋請求的過程中利用該關鍵字清單。接著,關鍵 字自動化程序結束。 圖3為描繪根據本發明之實施例之以上圖2的用於產生針 對視訊内容之影像型樣表之方法的流程圖,該方法由影像 型樣表產生程式執行。 該影像型樣表產生程式針對㈣鍵字自動化程序已在以 上圖2之步驟100中接收到之視訊内容中之每一影像圖框反 覆步驟2G5至步驟225。當該影像型樣表產生程式完成處理 在該視訊内容令之所有影像圖框時,該影像型樣表產生程 式終止且該關鍵字自動化程序重新開始操作。 在步驟205中,影像型樣表產 —1 ®别聆1豕圓榧 獒父至影像辨識工具。回應於步驟2〇5,影像辨識工具產 生對應於該當前影像圖框之一當前影像圖框名稱且將” 前影像圖框名稱發送至影像型樣表產生程式。接著,= 型樣表產生程式繼續進行步驟2〗〇。 " 154433.doc 201211799 像型樣表產生程式繼續進行步驟2丨5 β 在步驟215中,影像型樣表產生程式判定該當前影像型 樣名稱是否為新的。若影像型樣表產生程式判定該當前影 像型樣名稱為新的,則影像型樣表產生程式繼續進行步驟 220。若影像型樣表產生程式判定該當前影像型樣名稱已 存在於影像型樣表中,則影像型樣表產生程式繼續進行步 驟 225 〇 在步驟220中,影像型樣表產生程式在影像型樣表中針 對忒當則影像型樣名稱登錄一新項目且初始化該新項目之 所有屬性。影像型樣表產生程式將唯一的整數值指派給該 新項目之影像型樣識別符IDj。影像型樣表產生程式將該 新衫像型樣名稱指派給該新項目之影像型樣名稱。影像型 樣表產生程式將該新項目之影像型樣計數c〇unt(id_i)及 該新項目之影像型樣權重㈣GHT(ID一I)分別初始化為零 ()接著,影像型樣表產生程式繼續進行步驟225。 步驟225中,影像型樣表產生程式增加在該影像型樣 表中的對應於該當前影像圖框之一項目之影像型樣計數, =項目為在步驟215中判定之已存在之項目或在步驟22〇中 A錄之新項目。接著’影像型樣表迴圈回至步驟205來處 理來自該視訊内容之下一影像圖框。 圖為描繪根據本發明之實施例之以上圖2的用於產生針 對視訊内容之字型樣表之方法的流程圖該方法由字型樣 表產生程式執行。 在步驟305中,字型樣表產生程式接收由於對該視訊内 154433.doc 201211799 容之一音訊串流執行該話語辨識工具而產生之字型樣。字 型樣表產生程式繼續進行步驟31〇。 該字型樣表產生程式針對該關鍵字自動化程序已在以上 圖2之步驟1〇〇中接收到之該視訊内容之該音訊串流中之每 一子型樣反覆步驟310至步驟325。當該字型樣表產生程式 完成處理在該視訊内容之該音訊串流中之所有字型樣時, s亥字型樣表產生程式終止且該關鍵字自動化程序重新開始 操作。 在步驟310中,字型樣表產生程式接收由話語辨識工具 產生之一當别子型樣名稱。接著,字型樣表產生程式繼續 進行步驟3 1 5。 在步驟3 15中,子型樣表產生程式判定該當前字型樣名 稱是否為新的。若字型樣表產生程式判定該當前字型樣名 稱為新的,則字型樣表產生程式繼續進行步驟32〇。若字 型樣表產生程式判定該當前字型樣名稱已存在於該字型樣 表中,則字型樣表產生程式繼續進行步驟3 2 5。 在步驟320中,字型樣表產生程式在該字型樣表中針對 6亥當刖字型樣名稱登錄一新項目且初始化該新項目之所有 屬性。字型樣表產生程式將唯一的整數值指派給該新項目 之字型樣識別符ID_W。字型樣表產生程式將該新字型樣 名稱指派給該新項目之字型樣名稱。字型樣表產生程式將 該新項目之字型樣計數COUNT(ID_W)及該新項目之字型 樣權重WEIGHT(ID_W)分別初始化為零(〇) 〇接著,字型樣 表產生程式繼續進行步驟325。 154433.doc 201211799 在步驟325中’予型樣表產生程式增加在該字型樣表中 的對應於該當前字_讀之-項目之字型樣計數,該項 目為在步驟315中判之已存在之項目或在步驟32g中登錄 之新項目n,字型樣表迴圈回至步驟31〇來處理該視 訊内容之該音訊串流之下一字型樣名稱。 圖5及圖5A為描繪根據本發明之實施例之用於計算影像 型樣表的影像型樣名稱之相對權重及字型樣表的字型樣名 稱之相對權重的方法之流㈣’該方法由型樣權重計算程 式執行。 在步驟4G5中’型樣權重計算程式自資料庫擷取影像型 樣表及字型樣表。接著,型樣權重計算程式繼續進行步驟 410。 在步驟410中,型樣權重計算程式計算且儲存針對在該 影像型樣表中的所有影像型樣之影像型樣計數的一總和 SUM j »接著,型樣權重計算程式繼續進行步驟* 1 $。 型樣權重計算程式針對由該影像型樣表之每一影像型樣 識別符IDj所唯一識別之所有影像型樣項目執行步驟 415。 在步驟415中,型樣權重計算程式將一當前影像型樣項 目之權重計算為該當前f彡㈣樣項目之影像型樣計數除以 來自步驟410的影像型樣計數之總和,亦即, WEIGHT(ID一I)=C0UNT(ID_I)/SUM—j。在針對在該影像型 樣表中之所有影像型樣項目完成步驟41 $之後,型樣權重 計算程式繼續進行步驟42〇。 154433.doc 12 201211799 、在步驟42G中,型樣權重計算程式計算且儲存針對在該 字型樣表令的所有字型樣項目之字型樣計數的一總和 SUM_W。接著,型樣權重計算程式繼續進行步驟425。 型樣權重計算程式針對由該字型樣表之字型樣識別符 ID—W所唯一識別之所有字型樣項目執行步驟425 ^ ,步驟425中’型樣權重計算程式將—當前字型樣項目 之子型樣權重計算為該當前字型樣項目之字型樣計數除以 來自步驟420的字型樣計數之總和SUM—W ,亦即, WEIGHTED一W)=C0UNT(ID_W)/SUM W。纟針對在該字 型樣表中之所有字型樣項目完成步驟425之後,型樣權重 計算程式終止1上圖2及圖2A之關鍵字自動化程序在步 驟500中繼續進行關鍵字清單產生程式。 在圖5A中所描繪之實施例中,因為影像型樣表與字型樣 表彼此獨立,所以型樣權重計算程式同時執行包含步驟 410及步驟415之第-分支及包含步驟42〇及步驟似之第二 分支。 一 圖6為描繪根據本發明之實施例之以上圖2的用於產生針 對視訊内容之關鍵字清單之方法的流程圖,該方法由關鍵 字清單產生程式執行。 在步驟505中,關鍵字清單產生程式將影像型樣表與字 型樣表聯結。結果,關鍵字清單產生程式產生包含來自影 像型樣表及字型樣表之所有項目的一已聯結表。該已聯結 表之每一項目具有泛型型樣識別符、泛型型樣名稱、泛型 型樣計數及泛型型樣權重四個屬性。根據影像型樣表之影 154433.doc 13 201211799 象3L樣識別符ID—Ι或字型樣表之字型樣識別符ID—w來指 派每一項目之泛型型樣識別符ID。根據影像型樣表之影像 3L樣名稱或予型樣表之字型樣名稱(亦即,NAMEyDj)或 name(id_w))來指派每一項目之泛型型樣名稱name。根 據影像型樣表之影像型樣計數或字型樣表之字型樣計數 (亦即’ C〇UNT(ID_I)或COUNT(ID_W))來指派每—項目之 ’乏尘!樣计數COUNT。根據影像型樣表之影像型樣權重 或字型樣表之字型樣權重(亦即,WEIGHT(ID_I)或 WEIGHT(ID_w))來指派每一項目之泛型型樣權重 EIGHT。接著,關鍵字清單產生程式繼續進行步驟 510 〇 在步驟510中,關鍵字清單產生程式將來自步驟5〇5的該 已聯、,。表之項目按該等項目之泛型型樣權重WEIGHT的值 進行排序。接著,關鍵字清單產生程式繼續進行步驟 515。 在步驟515中,關鍵字清單產生程式根據一使用者輸入 或一基於權重值範圍之預定義值等來判定在該關鍵字清單 中的記錄之一數目NUM_K。接著,關鍵字清單產生程式 繼續進行步驟520。 在步驟520中,關鍵字清單產生程式自步驟5〇5之該已聯 、、、》表選擇具有最大權重值之NUM—K個項目且將該 個所選擇項目添加至該關鍵字清單。接著,該關鍵字清單 產生程式終止且該關鍵字自動化程序繼續進行以上圖2及 圖2A之步驟6〇〇。 154433.doc •14· 201211799 圖7說明根據本發明之實施例之用於自動化針對視訊内 容之關鍵字的電腦系統。 電腦系統90包含一處理器91、耦接至處理器91之一輸入 器件92、耦接至處理器91之一輸出器件93及包含記憶體器 件94及95的電腦可讀記憶體單元,記憶體器件94及%各自 柄接至處理器91。其中輸入器件92可為鍵盤、滑鼠、小鍵 盤、觸控式螢幕、語音辨識器件、感測器、網路介面卡 (NIC)、網際網路語音/視訊通訊協定(v〇Ip)配接器、無線 配接器、電話配接器、專用電路配接器等。其中輸出器件 93可為印表機、繪圖機、電腦螢幕、磁帶、可抽換式硬 碟、軟碟、NIC、VOIP配接器、無線配接器、電話配接 器、專用電路配接器、音訊及/或視覺信號產生器、發光 二極體(LED)等。其中記憶體器件94及95可為快取記憶 體、動態隨機存取記憶體(DRAM)、唯讀記憶體(rom)、 硬碟、軟碟、磁帶、諸如光碟(CD)或數位視訊光碟(DVD) 之光學儲存器等。記憶體器件95包括電腦程式碼97,電腦 程式碼97為包含電腦可執行指令之電腦程式碼。其中電腦 程式碼97包括根據本發明之用於自動化針對才見訊内容之關 鍵子的演算法。處理器91執行電腦程式碼97。記憶體器件 94包括輸入資料96。輸入資料96包括電腦程式碼”所需要 之輸入。輸出器件93顯示來自電腦程式碼97之輸出。可使 用記憶體器件94及95t之任-者或兩者(或圖7中未展示之 -或多個額外記憶體器件)作為—電腦可讀儲存媒體(或電 腦可用儲存媒體或㈣儲存时),該電腦可讀儲存媒體 154433.doc •15- 201211799 具有體現於其中之電腦可讀程式碼及/或具有儲存於其中 的其他資料,其中該電腦可讀程式碼包含電腦程式碼97。 -般而"T,電腦系統90之電腦帛式產品(或者製造物件)可 包含該電腦可讀儲存媒體(或該程式儲存器件 可由一服務提供者部署、管理、服務(等)本發明之組件 中之任一者,該服務提供者試圖關於本發明之用於針對每 種資料收集規則㈣態構建web介面之一程序而部署或整 合計算架構。因而,本發明揭示用於支援電腦架構之一程 序-亥程序包含在一計算系統(例如,計算系統列)中整 合、主控、維護及部署電腦可讀程式碼,其中該程式碼結 合該計算系統能夠執行用於自動化針對視訊内容之關鍵字 的一方法。 在另一實施射,本發明提供一&於訂用、廣告及/或 付費來執行本發明之程序步驟的商業方法。亦即,一服務 提供者(諸如解決方案整合者)可試圖產生、維護、支援 (等)本發明之用於自動化針對視訊内容之關鍵字的一程 序。在此狀況下,該服務提供者可產生、維護、支援(等) 針對-或多個客戶而執行本發明之程序步驟的電腦架構。 作為回報,該服務提供者可按照訂用及/或付費協議自客 戶收取付款,及/或該服務提供者可自出售廣告内容給一 或多個第三方收取付款。 儘管圖7將電腦系統90展示為硬體及軟體之特定組態, 但可利用一般熟習此項技術者所熟知之硬體及軟體之任何 組態來達成以上結合圖7之特定電腦系統9 〇所陳述之目 154433.doc -16 - 201211799 的。舉例而言,記憶體器件94及95可為單一記憶體器件之 部分而非單獨的記憶體器件。 如熟習此項技術者應瞭解,本發明可體現為系統、方法 或電腦程式產品。相應地,本發明可採用完全硬體實施 例、完全軟體實施例(包括韌體、常駐軟體、微碼等)或組 合軟體與硬體態樣之實施例的形式,該等實施例在本文中 均可通稱為「電路」'「模組」或「系統另外,本發明 可採用體現於任何有形表達媒體中之電腦程式產品的形 式,該有形表達媒體具有體現於該媒體中之電腦可用程式 碼。 可利用一或多個電腦可用或電腦可讀媒體9 4、9 5之任何 組合。術語「電腦可用媒體」或「電腦可讀媒體」共同指 代電腦可用/可讀儲存媒體94、95。電腦可用或電腦可讀 媒體94、95可為(舉例而言但不限於):電子、磁性、光 學、電磁、紅外線或半導體系統、裝置、器件,或前述各 者之任何適宜組合。電腦可讀媒體94、95之更特定實例 =:·單)包括以下各者:具有一或多條導線之電連 $電腦碟片、硬碟、隨機存取記憶體(ram)、唯 璜目己憶體(ROM)、i & A j ,.3 ^ 未除式可程式化唯讀記憶體(EPROM或 光風2體)、光纖、攜帶型光碟唯讀記憶體(CD-ROM)、 二 :!器件、磁性儲存器件或前述各者之任何適宜組 電腦可讀媒體94、95甚至可為列印 對^/張或另―適宜媒體,此係因為可經由(舉例而 。)對錢光學掃描來以電子方式操取該 154433.doc 201211799 程式’接著編譯、解譯或以適宜方式另外處理該程式(若 有必要),且接著將該程式儲存於電腦記憶體中。在本文 件之上下文中,電腦可用或電腦可讀媒體94、%可為可含 有或儲存供—執行指令之系統、裝置或器件使用或結合: 系統、裝置或器件而使用之程式的任何媒體。 可以一或多種程式化語言之任何組合撰寫用於執行本發 明之操作的電腦程式碼97,該一或多種程式化語言包括諸 如Java、SmaUtalk、c++或其類似者之物件導向式程式化 語言及諸如「C」程式化語言或類似程式化語言之習知程 序性程式化語言。電腦程式碼97可完全在使用者電腦上執 行,部分在使用者電腦上執行,作為獨立套裝軟體執行, 部分在使用者電腦上執行及部分在遠端電腦上執行或完全 在遠端電腦或伺服器上執行。在完全在遠端電腦或伺服器 上執行的情形中,遠端電腦可經由任何類型之網路(包括 區域網路(LAN)或廣域網路(WAN))連接至使用者電腦,或 可連接至外部電腦(舉例而言,使用網際網路服務提供 者’經由網際網路)。 參考根據本發明之實施例之方法、裝置(系統)及電腦程 式產品之流程圖說明及/或方塊圖來描述本發明。應理 解’可藉由電腦程式指令來實施該等流程圖說明及/或方 塊圖之每一方塊及該等流程圖說明及/或方塊圖_之方塊 的組合。在本說明書中,術語「電腦程式指令」可與術語 「電腦程式碼97」互換。可將此等電腦程式指令提供至通 用電腦、專用電腦或其他可程式化資料處理裝置之一處理 154433.doc 201211799 盗以產生-機器,以使得經由該電腦或其他可程式化 處理裴置之該處理器而執行之1 ’、 哲 亥料令產生用於實施在該 或違等w程圖及/或方塊圖方塊中 _力塊f所扣疋之功能/動作的 件0 亦可將此等電腦程式指令儲存於電腦可讀媒體%、% 中,電腦可讀媒體94、95可命令電腦或其他可程式化資料 處理裝置以特定方式發揮作用,以使得在該電腦可讀媒體 中儲存之該等指令產生—製造物件,該製造物件包括實施 在該或該等流程圖及/或方塊圖方塊中所指定之功能/動作 的指令構件。 亦可將該等電腦程式指令載人至電腦或其他可程式化資 料裝置上’以使一系列操作步驟執行於該電腦或其他可程 式化裝置上以產生-電腦實施程序,以使得在該電腦或其 他可程式化裝置上執行之指令提供用於實施在該或該等流 程圖及/或方塊圖方塊中所指定之功能/動作的程序。 諸圖中之流程圖及方塊圖說明根據本發明之各種實施例 之系統、方法及電腦程式產品的可能實施之架構、功能性 及操作。就此而言,流程圖或方塊圖中之每一方塊可表示 程式碼之一模組、區段或部分,其包含用於實施所指定之 邏輯功能的一或多個可執行指令。亦應注意,在一些替代 實施中,方塊中所述之功能可不按圖中所述之次序發生。 舉例而言,實際上,取決於所涉及之功能性,連續展示之 兩個方塊可大體上同時執行,或有時可按相反次序執行。 亦應注意,可藉由執行所指定之功能或動作之基於專用硬 154433.doc •19- 201211799 體的系統或專用硬體與電腦指令之組合來實施方塊圖及/ 或流程圖說明之每一方塊及方塊圖及/或流程圖說明中之 方塊的組合。 在申請專利範圍中之所有構件或步驟附加功能元件之相 應結構、材料、動作及等效物意欲包括用於結合如具體主 張的其他所主張元件而執行功能之任何結構、材料或動 作。為達成說明及描述之目的而呈現本發明之描述,但該 描述並不意欲為詳盡的或受限於所揭示之形式的本發明。 在不背離本發明之範疇及精神的情況下,一般熟習此項技 術者將顯而易見許多修改及變化。選擇且描述該實施例以 便.最佳地解釋本發明之原理及實際應用,且使得其他一 般熟習此項技術者能夠理解本發明之具有適合於所涵蓋之 特定用途的各種修改之各種實施例。 【圖式簡單說明】 圖1說明根據本發明之實施例之用於自動產生及關聯針 對視訊内容之搜尋關鍵字的系統10。 圖2及圖2 A為描繪根據本發明之實施例之用於自動產生 及關聯針對視訊内容之搜尋關鍵字的方法之流程圖。 圖3為描繪根據本發明之實施例之圖2的用於產生針對視 Λ内谷之衫像型樣表之方法的流程圖,該方法由影像型樣 表產生程式執行。 圖4為描繪根據本發明之實施例之圖2的用於產生針對視 訊内容之字型樣表之方法的流程圖,該方法由字型樣表產 生程式執行。 154433.doc 201211799 圖5及圖5A為描繪根據本發明之實施例之用於計算影像 里樣表及字型樣表之型樣名稱的各別權重之方法的流程 圖,該方法由型樣權重計算程式執行。 圖6為爲繪根據本發明之實施例之圖2的用於產生針對視 訊内容的關鍵字清單之方㈣流程圖,該方法㈣鍵字清 單產生程式執行。 —圖7說明根據本發明之實施例之用於自動化針對視訊内 容之關鍵字的電腦系統。 【主要元件符號說明】 10 系統 11 web伺服器 12 影像辨識工具 13 話語辨識工具 14 搜尋引擎 20 關鍵字自動化程序 30 資料庫 32 影像型樣表 33 字型樣表 40 關鍵字清單 90 電腦系統/計算系統 91 處理器 92 輸入器件 93 輸出器件 94 記憶體器件 154433.doc 21 201211799 95 記憶體器件 96 輸入資料 97 電腦程式碼 100 自資料庫擷取視訊内容 200 影像型樣表產生程式 300 字型樣表產生程式 400 型樣權重計算程式 500 關鍵字清單產生程式 600 藉由關鍵字清單更新視訊内容元資料 154433.doc -22-

Claims (1)

  1. 201211799 七、申請專利範圍: 内谷之關鍵字的方法,該方 i · 一種用於自動處理針對視訊 法包含: 一電腦系統之一虛採哭 器載入5亥視訊内容,該視訊内容 包含至少一影像圖框及一音訊串流; 該處理器自該至少—影像圖框產生一影像型樣表,其 中垓衫像型樣表之一項目包含影像型樣識別符、影 像型樣名稱、影像型樣計數⑽NT(ID」)及影像型樣權 重WEIGHT(ID—I)屬性,其中該影像型樣識別符⑴」識別 該至少—影像圖框中之—影像型樣,其中該影像型樣名 稱為表示該影像型樣之-文數字式文字,其中該影像型 樣計數COUNT(ID_I)表㈣至少-影像圖財之該影像 罜樣的出現次數,且其中該影像型樣權重 WEIGHT(ID—I)表示該至少一影像圖框内之該影像型樣之 一相對頻率; 該處理器自該音訊串流產生一字型樣表,其中該字型 樣表之一項目包含字型樣識別符ID—W、字型樣名稱、字 型樣計數COUNT(ID一W)及字型樣權重WEIGHT(ID—w)屬 性,其中該字型樣識別符ID一W識別該音訊串流中之一字 型樣’其中該字型樣名稱為表示該字型樣之一文數字式 文字’其中該字型樣計數C0IJNT(ID—W)表示該音訊串流 中之該字型樣的一出現次數’且其中該字型樣權重 WEIGHT(ID_W)表示該音訊串流内之該字型樣的一相對 頻率; 154433.doc 201211799 該處理器針對該影像型樣表及該字型樣表中之所有項 目來汁算該各別權重,其中該各別權重選自由該影像型 樣權重WEIGHT(ID—I)及該字型樣權重WEIGHT(ID_w)組 成之群組; 遠處理$基於該計算出之權重自該影像型樣表及該字 型樣表產生-關鍵字清單,其中該關鍵字清單之一項目 選自由該影像型樣表之項目及該字型樣表之項目組成之 群組’且其t該關鍵字清單之該項目包含泛型型樣識別 符泛5L型樣名稱、泛型型樣計數及泛型型樣權重等屑 性;及 該處理器將該所產生之關鍵字清單整合於與該視訊内 容相關聯之-網頁的元資料中,以使得在使用該元資料 進行之web搜尋中利用該關鍵字清單。 2.如請求項1之方法,該產生該影像型樣表包含: 產生唯一地識別該視訊内容的每一影像圖框之該影像 型樣識別符ID_I ;及 指派該影像型樣名稱,該影像型樣名稱已由一影像辨 識工具由於分析該視訊内容的該至少一影像圖框中之每 一影像圖框而提供,其中該影像辨識工具將具有一相同 影像型樣名稱之相似影像型樣予以邏輯分組。 3·如請求項1之方法,該產生該字型樣表包含: 產生唯一地識別在該視訊内容之該音訊串流中的每一 字型樣之該字型樣識別符ID_W ;及 指派該字型樣名稱,該字型樣名稱已由一話語辨識工 154433.doc -2- 201211799 具由於分析該音訊串流之每一字型樣而提供,其中該話 5吾辨識工具將具有一相同字型樣名稱之相似字型樣予以 邏輯分組。 4 ·如睛求項1之方法,該計算該各別權重包含: 經由 WEIGHT(ID_I)=COUNT(ID_I)/SUM」針對該影像 型樣表中的每一項目來計算該影像型樣權重 WEIGHT(ID_I) ’其中SUM一I為該影像型樣表中之所有影 像型樣計數之總和;及 經由 WEIGHT(ID一W)=COUNT(ID—W)/SUM_W 針對該 字型樣表中的每一項目來計算該字型樣權重 WEIGHT(ID一W),其中SUM—W為該字型樣表中之所有字 型樣計數之總和。 5.如請求項4之方法,該產生該關鍵字清單包含: 藉由針對該影像型樣表中之每一項目而將該影像型樣 表中之該每一項目之該影像型樣識別符、該影像型樣名 稱、該影像型樣計數及該影像型樣權重屬性分別映射至 該關鍵字清單中之-相應項目之該泛型型樣識別符、該 泛型型樣名稱、該泛型型樣計數及該泛型型樣權重屬 性,及藉由針對該字型樣表中之每一項目而將該字型樣 表中之該每一項目之該字型樣識別符、該字型樣名稱、 =字型樣計數及該字型樣權重屬性分別映射至該關鍵字 清早中之另一相應項目之該泛型型樣識別符、該泛型型 樣名稱、該泛型型樣計數及該泛型型樣權重屬性,將該 影像型樣表與該字型樣表聯結成該關鍵字清單; 154433.doc 201211799 選擇該關鍵字清單之具有該泛型型樣權重的最大值之 κ個項目,其中κ為一正整數;及 將所選擇的K個項目之泛型型樣名稱作為該關鍵字清 單儲存至一耦接至該處理器之電腦可讀儲存媒體。 一種電腦程式產品,其包含: 一電腦可讀儲存媒體,其具有體現於其中之一電腦可 讀程式碼,該電腦可讀程式碼含有指令,當藉由用於自 動處理針對視訊内容之關鍵字的一電腦系統之一處理器 執行該等指令時,該等指令執行如請求項1至5中任— 的方法。 一口 π α M久柄设主該處理器之一 8· 電腦可讀記憶體單元,該電腦可讀記憶體單元含有 ,處理器執行時實施如請求項⑴中任—項的用於 處理針對視訊内容之關鍵字的方法之指令。 -種用於支援電腦架構之程序,: 下操作中之至少一, 供針對以 卞中之至夕者的至少—支援服務 器之-計算系統中產生、整人…〜處理 了 4程式碼’其中該程式碼結 电月句 請求項1至5中任―項的 ° #系統能夠執行如 鍵字的方法。 :处理針對視訊内容之關 I54433.doc
TW100106767A 2010-03-05 2011-03-01 Keyword automation of video content TW201211799A (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US12/717,988 US20110218994A1 (en) 2010-03-05 2010-03-05 Keyword automation of video content

Publications (1)

Publication Number Publication Date
TW201211799A true TW201211799A (en) 2012-03-16

Family

ID=44144884

Family Applications (1)

Application Number Title Priority Date Filing Date
TW100106767A TW201211799A (en) 2010-03-05 2011-03-01 Keyword automation of video content

Country Status (3)

Country Link
US (1) US20110218994A1 (zh)
TW (1) TW201211799A (zh)
WO (1) WO2011107526A1 (zh)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8547480B1 (en) * 2012-06-25 2013-10-01 Google Inc. Coordinating distributed graphics rendering in a multi-window display
CN103699549B (zh) 2012-09-27 2016-11-23 阿里巴巴集团控股有限公司 一种图形码库更新、查询方法及相关装置
CN104699696B (zh) * 2013-12-05 2018-12-28 深圳市腾讯计算机系统有限公司 文件推荐方法和装置
CN103744872B (zh) * 2013-12-18 2017-07-28 天脉聚源(北京)传媒科技有限公司 一种提供搜索结果的方法、装置及浏览器
KR102345625B1 (ko) * 2019-02-01 2021-12-31 삼성전자주식회사 자막 생성 방법 및 이를 수행하는 장치
US20220292160A1 (en) * 2021-03-11 2022-09-15 Jatin V. Mehta Automated system and method for creating structured data objects for a media-based electronic document

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11146325A (ja) * 1997-11-10 1999-05-28 Hitachi Ltd 映像検索方法および装置並びに映像情報作成方法およびその処理プログラムを格納した記憶媒体
US6404856B1 (en) * 1998-04-10 2002-06-11 Fuji Xerox Co., Ltd. System for recording, annotating and indexing audio data
US6937766B1 (en) * 1999-04-15 2005-08-30 MATE—Media Access Technologies Ltd. Method of indexing and searching images of text in video
KR100326400B1 (ko) * 1999-05-19 2002-03-12 김광수 자막지향 탐색정보 생성 및 탐색방법과, 이를 사용하는 재생장치
US7444660B2 (en) * 2000-11-16 2008-10-28 Meevee, Inc. System and method for generating metadata for video programming events
US20040111432A1 (en) * 2002-12-10 2004-06-10 International Business Machines Corporation Apparatus and methods for semantic representation and retrieval of multimedia content
US20060212897A1 (en) * 2005-03-18 2006-09-21 Microsoft Corporation System and method for utilizing the content of audio/video files to select advertising content for display
US8130285B2 (en) * 2005-04-05 2012-03-06 3Vr Security, Inc. Automated searching for probable matches in a video surveillance system
FR2888460B1 (fr) 2005-07-08 2010-12-24 Valeo Vision Dispositif d'eclairage et/ou de signalisation pour vehicule, associe a une electronique de haut niveau d'integration
US20070100806A1 (en) * 2005-11-01 2007-05-03 Jorey Ramer Client libraries for mobile content
US20070118873A1 (en) * 2005-11-09 2007-05-24 Bbnt Solutions Llc Methods and apparatus for merging media content
US20070185857A1 (en) * 2006-01-23 2007-08-09 International Business Machines Corporation System and method for extracting salient keywords for videos
US7421455B2 (en) * 2006-02-27 2008-09-02 Microsoft Corporation Video search and services
US7921116B2 (en) * 2006-06-16 2011-04-05 Microsoft Corporation Highly meaningful multimedia metadata creation and associations
US7620551B2 (en) * 2006-07-20 2009-11-17 Mspot, Inc. Method and apparatus for providing search capability and targeted advertising for audio, image, and video content over the internet
US9311394B2 (en) * 2006-10-31 2016-04-12 Sony Corporation Speech recognition for internet video search and navigation
US20080154889A1 (en) * 2006-12-22 2008-06-26 Pfeiffer Silvia Video searching engine and methods
US20080267504A1 (en) * 2007-04-24 2008-10-30 Nokia Corporation Method, device and computer program product for integrating code-based and optical character recognition technologies into a mobile visual search
US20080270344A1 (en) * 2007-04-30 2008-10-30 Yurick Steven J Rich media content search engine
US20080282186A1 (en) * 2007-05-11 2008-11-13 Clikpal, Inc. Keyword generation system and method for online activity
US20080300872A1 (en) * 2007-05-31 2008-12-04 Microsoft Corporation Scalable summaries of audio or visual content
US20090113475A1 (en) * 2007-08-21 2009-04-30 Yi Li Systems and methods for integrating search capability in interactive video
US20090119283A1 (en) * 2007-11-06 2009-05-07 Muehlbauer Donald J System and Method of Improving and Enhancing Electronic File Searching
US8352479B2 (en) * 2007-12-10 2013-01-08 At&T Intellectual Property I, L.P. Systems,methods and computer products for content-derived metadata
US20090198732A1 (en) * 2008-01-31 2009-08-06 Realnetworks, Inc. Method and system for deep metadata population of media content
US20090204630A1 (en) * 2008-02-13 2009-08-13 Yung-Hsiao Lai Digital video apparatus and related method for generating index information
US20110047163A1 (en) * 2009-08-24 2011-02-24 Google Inc. Relevance-Based Image Selection

Also Published As

Publication number Publication date
US20110218994A1 (en) 2011-09-08
WO2011107526A1 (en) 2011-09-09

Similar Documents

Publication Publication Date Title
JP6451907B2 (ja) 情報処理装置
CN104142964B (zh) 信息匹配的方法及装置
US11899681B2 (en) Knowledge graph building method, electronic apparatus and non-transitory computer readable storage medium
JP6894534B2 (ja) 情報処理方法及び端末、コンピュータ記憶媒体
CN104854583B (zh) 搜索结果排名和呈现
JP5671557B2 (ja) クライアント・コンピューティング・デバイスを含むシステム、メディア・オブジェクトにタグ付けする方法、および音声タグ付きメディア・オブジェクトを含むデジタル・データベースをサーチする方法
TWI524193B (zh) 用於搜尋結果之語義目錄的電腦可讀取媒體及電腦實現方法
TW201211799A (en) Keyword automation of video content
US9734213B2 (en) Determination of a service description most closely matching a specified service name
CN106096050A (zh) 一种视频内容搜索的方法和装置
WO2014186483A1 (en) Associating classifications with images
US10108698B2 (en) Common data repository for improving transactional efficiencies of user interactions with a computing device
JP2016532942A (ja) イベント知識データベースの構築方法および装置
CN106462349B (zh) 一种电子照片显示方法、装置和移动设备
US11093529B2 (en) Method for displaying landmark data
US20130346442A1 (en) Service oriented architecture (soa) service registry system with enhanced search capability
Gao et al. Genius: generic user modeling library for the social semantic web
KR20210091125A (ko) 사용자 참여를 사용하는 엔티티 기반 검색 시스템
CN103810191B (zh) 一种用于向用户提供呈现信息的方法和设备
US20200042940A1 (en) Interactive apparatus, control apparatus, interactive system, interactive method, and control method
CN106462629A (zh) 搜索中的直接答案触发
CN106095435B (zh) 一种信息处理方法及电子设备
WO2020070906A1 (ja) ワークショップ支援システム及びワークショップ支援方法
JP2018081403A (ja) インシデント管理システム、インシデント管理方法およびコンピュータプログラム
CN115774797A (zh) 视频内容检索方法、装置、设备和计算机可读存储介质