TWI527442B - 資訊萃取方法及設備以及其電腦可讀取的媒體 - Google Patents

Description

資訊萃取方法及設備以及其電腦可讀取的媒體

本發明係大致有關具有基於處理器的裝置之設備。

可經由網際網路或自廣播來源提供電視。一般而言，電視節目相當於數位視訊流。可由一系列的視訊框構成該流。

傳統上，由一接收裝置接收該視訊流，該接收裝置然後處理視訊以供顯示。該視訊處理可包括解壓縮及解碼。該視訊處理亦可包括對加密視訊之解密。

在許多情況下，電視接收機包含運算能力。例如，基於處理器的電視接收機可包括機上盒或具有處理能力的其他消費電子裝置。因此，相同的視訊接收機可負責將其他的服務提供給使用者。

可自動地萃取與電子媒體的情境有關之資訊。然後可將該被萃取的資訊用來選擇使用者可能感興趣的輔助服務或應用。可自與該媒體相關聯之諸如中介資料或電子節目表等的輔助資訊產生該情境資訊。亦可自其中包括影像單元、音訊單元、或該媒體內之其他被描述特徵之身分等的該媒體本身萃取該情境資訊，以便得到與正在被顯示的內容有關之資訊。

請參閱第1圖，一基於處理器的裝置10可傳送及/或接收媒體。該媒體可以是視訊、音訊、電子形式之諸如文件或電子郵件等的檔案或文字，其中包括例如來自網際網路或廣播來源之電視。該廣播來源可以是電視廣播、有線電視傳輸、或衛星廣播，以上只舉幾個常見的例子。基於處理器的裝置10可以是任何消費電子裝置，其中包括係為電視的一部分之專用電視接收機、電腦、機上盒、行動網際網路裝置、或細胞式電話。

在某些實施例中，裝置10可被耦合到網際網路12。裝置10可包含情境知覺(context aware)應用及服務14。應用及服務14可以是使用被接收或傳送的媒體的情境之任何應用或服務。在本說明書的用法中，"情境"("context")包括與基於處理器的裝置傳送或接收的媒體有關之任何資訊。

下文中之說明係有關媒體是電視之一實施例。然而，本發明不限於特定類型的媒體。

消費電子情境引擎16可包含一情境產生器20，該情境產生器20被耦合到一電視直播情境產生器22及一電子節目表語意萃取器24。該語意萃取器可包含一自然語言翻譯器及解譯器，用以將該節目表資訊轉換為一基於處理器的系統可使用之一格式。可自各種感測器接收其他情境輸入26。情境引擎16可包含能夠執行一般運算工作且能夠執行其他應用及服務14之一處理器或控制器。

情境引擎16可被耦合到一電視信號處理裝置18。裝置18可包含一解多工器28，用以接收其中包括串流或機上盒(Over The Top；簡稱OTT)視訊、有線電視、衛星及廣播視訊之各種形式的電視信號。然後將被解多工的視訊提供給一節目資訊來源30。

該節目資訊來源可自任何媒體萃取與該媒體有關的資訊(亦即，"情境")。例如，該節目資訊來源可自伴隨著視訊流的電子節目表萃取與演員、類型(genre)、名稱(title)、節目描述、頻道、時間、或評分(rating)等的因素有關的資訊。

此外，將該被解多工的視訊提供給一被編碼的媒體流32。媒體流32包含一場景資訊萃取器34。萃取器34可識別該媒體流內之影像、音訊、或文字單元。該萃取器可將與該媒體流以及該媒體流中之特定框相關聯的中介資料或輔助資料解碼，而執行該識別。該萃取器亦可辨識該媒體流內且尤其是特定視訊框中之影像、音訊、或文字單元，而執行該識別。

例如，可將影像辨識軟體用來識別構成該媒體流的各框內之特定人物或物件。可配合裝置10上的可用視訊檔案之關鍵字搜尋或網際網路上的可取得資訊而使用影像辨識軟體。例如，可搜尋一影像，而藉由識別與類似影像相關聯的文字資訊以找出該等類似影像，以便識別一媒體流的一框內之一特定影像特徵。

然後將來自該媒體流32的資訊提供給一視訊解碼器36及一音訊解碼器38。一音訊/視訊同步器40被耦合到解碼器36及38。同步器40可負責縮放及呈現視訊，且負責執行其他傳統的視訊處理工作。然後將被處理的視訊提供給一視訊顯示器42，而該視訊顯示器42在一實施例中可以是一傳統的電視顯示器。

因此，在某些實施例中，裝置10可萃取兩種類型的情境資訊。裝置可萃取諸如電視頻道之名稱、節目名稱、持續時間、在電視實施例的情形中之主題等的媒體層級資訊。可自網際網路取得該資訊，且亦可自以該媒體流的一部分的方式提供之電子節目表取得該資訊。此外，該場景資訊萃取器可萃取一組更詳細的媒體情境資訊。例如，萃取器34可提供可描述目前場景、可被看到的目前談話者、以及目前氣氛等的視訊例子中之資訊之即時動態資訊。

情境產生器20可將該媒體情境與裝置10感測到的其他情況資訊結合，以便形成一總體傳送情境。然後可將該傳送情境提供給作為一平台服務的一較高階應用。該較高階應用可將該情境用來把個人化且適合情況的體驗傳送到使用者。

例如，在沒有限制之情形下，裝置10可決定有一廣告目前正在被顯示作為該電視節目的一部分。在該例子中，該情境是：該廣告正在被顯示作為該節目的一部分。裝置10可回應該情境決定，而將諸如在該廣告期間可玩的一遊戲等的一額外之應用或服務14提供給該使用者。當該使用者正在玩該遊戲時，裝置10可監視該節目，以便決定該廣告何時結束，且可在該廣告結束之後使該使用者回到該進行中之節目。如果該使用者更喜歡繼續玩該遊戲，則裝置10可諸如使用一錄影機等的方式經由一應用或服務14而自動記錄該進行中之電視節目，以供未來在該使用者結束玩該遊戲之後可播放該電視節目。在某些實施例中，裝置10可根據當天的時間以及誰正在觀賞該裝置上的節目而自動選擇該遊戲。

裝置10可藉由識別與(例如使用感測器)目前正在觀賞裝置10上的節目的使用者有關之情境資訊而能夠選擇最適合那些使用者的遊戲。可根據使用者的特徵或使用者提交的偏好(舉兩個例子)而選擇該遊戲。可進行使用者登入或以感測器實施對使用者的識別，其中該等感測器感測指紋，識別聲音，識別影像，或使用適於識別目前觀賞者的其他資訊。當天的時間可以是自與裝置10相關聯的的一時鐘收集的額外之情境資訊。

舉另一個例子，裝置10可決定形式為目前正被觀賞的內容的本質之情境，然後可訪問一相關的網站。例如，如果正在觀賞一排球賽，則可訪問即時提供與正在進行的排球賽有關的統計資料之一網站，因而使用者可連同該電視節目而選擇性地閱覽該網站。熟悉此項技術者將可得知許多其他的例子。

舉另一個例子，可萃取一電視節目之情境。然後可顯示疊加在電視上的一邊欄，該邊欄係與該電視節目的被描述物件框相關聯。在一實施例中，該邊欄可以是接近一被描述物件之一使用者選擇的圖標。當使用者選擇該圖標時，可將取得更多資訊之機會或甚至購買該電視節目內識別的物件之機會提供給該使用者。

場景資訊萃取器34可執行物件識別，其中該場景資訊萃取器34可持續地嘗試識別媒體流內之物件。場景資訊萃取器34可使用諸如與該媒體流相關聯的中介資料或輔助資料以識別物件、影像辨識軟體、網際網路搜尋、對相關聯的音訊之監視、或任何其他技術。

因此，場景資訊萃取器34可將與每一場景內識別的物件有關之資訊提供給電視直播情境產生器22。電視直播情境產生器22然後可嘗試將與萃取器34自該等場景萃取的資訊有關之資訊與萃取器24收集的節目表資訊結合，以便將該被結合的資訊提供給情境產生器20。情境產生器20亦可收集感測器輸入26。可使情境產生器20適於將與該媒體流內識別的物件有關之資訊饋送到在產生器20中登錄的感興趣之應用及服務14。在某些實施例中，產生器20可以只串流與係為目前正被接收或傳輸的媒體的主題之被描述物件有關之資訊。在其他例子中，產生器20可只提供該等應用及服務特別要求的資訊。

因此，例如，配合使用者被詢問該使用者是否想要購買被描述物件之一實施例，一服務14可能只有興趣知道何時在該媒體中顯示一汽車，然後該服務可能只想要知道與該服務14目前正售出的那些汽車。

在某些例子中，情境產生器20可根據各種準則而召用場景資訊萃取器34萃取的資訊。例如，可以只萃取裝置10的目前使用者可能感興趣之資訊。可使用被耦合到情境輸入26的該等感測器識別目前正在使用裝置10之使用者。可根據諸如該使用者的歷史性選擇及所宣稱的偏好而以與該使用者有關之方式識別資訊。

請注意，被耦合到該等輸入26之該等感測器可以是硬體或軟體感測器。軟體感測器將意指可自可取得的來源探勘資訊之軟體。例如，一軟體感測器可根據使用者在裝置10上該使用者的活動而決定與該使用者有關的資訊。例如，可探勘該使用者觀賞的節目、該使用者訪問的網站、以及該使用者接收及產生的資訊，以便找出與該使用者的興趣有關之資訊。

其他的感測器可以是諸如相機、麥克風、以及輸入/輸出裝置等的硬體感測器。此外，一偵測器可偵測在附近有哪些無線裝置，以便取得與該使用者有關的更多資訊。例如，如果該使用者正在使用一個人數位助理或細胞式電話等的一無線裝置，則只要該無線裝置出現在裝置10的附近，亦可使用被傳送進出該無線裝置之資訊。

因此，請參閱第2圖，可將該情境知覺服務50實施為硬體、軟體、或韌體。在軟體實施例中，可在一實施例中由情境引擎16執行該情境知覺服務50。在該軟體實施例中，可由一基於處理器的裝置執行一系列的指令。該等指令可被儲存在諸如一磁性、半導體、或光學記憶體等的一適當之電腦可讀取的媒體，其中該記憶體在一實施例中可以是情境引擎16的一部分。

開始時，如方塊52所示，服務50收集與目前被觀賞的特定場景有關之情境資訊。該步驟可包括：識別該場景內之特定影像單元；自視訊流提取用來描述與該場景有關的資訊之中介資料；或訪問相關聯的網站，以便識別與該媒體流有關的資訊。情境資訊的收集亦可包括用來識別特定物件之影像辨識軟體及搜尋服務。

此外，如方塊54所示，可收集與觀實者及其偏好有關的資訊。在一實施例中，仍然可使用使用者輸入的與其偏好及特徵有關的預先儲存之資訊。裝置10亦可根據使用者對電視節目及其他服務之選擇而產生或學習使用者偏好。

然後，如方塊56所示，可收集與特定電視節目有關的資訊。該步驟可包括：存取可自其中包括節目的專門網站、電視節目表網站、或其他網站之網際網路取得的與節目有關之電子節目表資訊及其他資訊。

然後，如方塊58所示，可收集時間資訊。在一實施例中，可自與情境引擎16相關聯的一時鐘萃取目前時間。

然後，可在方塊60中實施相關應用之搜尋。在一實施例中，該等相關應用可以是情境知覺應用及服務14的一部分。對相關應用之識別可基於關鍵字。例如，可在方塊52-56中收集一些字詞或標題。然後，這些相同的關鍵字可建構這些情境知覺應用及服務中之中介資料。在某些實施例中，藉由將方塊52-56中識別的該等關鍵字比對與該等應用及服務14相關聯的中介資料或關鍵字，即可識別匹配者。

最後，在方塊62中，可將該等相關應用即時提供給使用者。舉例而言，可提供一螢幕重疊(screen overlay)而執行該步驟。該重疊可指示相關服務及應用的可取得性。可以與現有顯示結合的一重疊之方式提供那些服務，或在另一實施例中，可暫停現有的顯示，可提供該等服務，然後自動繼續該顯示。例如，可自動執行一錄影功能，而記錄進行中之視訊顯示以供稍後在提供了該等替代服務之後才播放。

在本說明書中提及本發明的"一個實施例"或"一實施例"時，意指參照該實施例而述及的一特定特徵、結構、或特性被包含在本發明內所包含的至少一實施例中。因此，出現詞語"一實施例"或"在一實施例中"時，不必然都參照到相同的實施例。此外，可以所示特定實施例以外的其他適當形式實施該等特定特徵、結構、或特性，且所有此類形式可被包含在本申請案的申請專利範圍內。

雖然已參照有限數目的實施例而說明了本發明，但是熟悉此項技術者應可了解本發明的許多修改及變化。最後的申請專利範圍將涵蓋在本發明的真實精神及範圍內之所有此類修改及變化。

10．．．基於處理器的裝置

12．．．網際網路

14．．．應用及服務

16．．．情境引擎

20．．．情境產生器

22．．．電視直播情境產生器

24．．．電子節目表語意萃取器

26．．．其他情境輸入

18．．．電視信號處理裝置

28．．．解多工器

30．．．節目資訊來源

32．．．被編碼的媒體流

34．．．場景資訊萃取器

36．．．視訊解碼器

38．．．音訊解碼器

40．．．音訊/視訊同步器

42．．．視訊顯示器

50．．．情境知覺服務

第1圖是本發明的一實施例之一示意圖；以及

第2圖是一實施例之一流程圖。

10．．．基於處理器的裝置

12．．．網際網路

14．．．應用及服務

16．．．情境引擎

18．．．電視信號處理裝置

20．．．情境產生器

22．．．電視直播情境產生器

24．．．電子節目表語意萃取器

26．．．其他情境輸入

28．．．解多工器

30．．．節目資訊來源

32．．．被編碼的媒體流

34．．．場景資訊萃取器

36．．．視訊解碼器

38．．．音訊解碼器

40．．．音訊/視訊同步器

42．．．視訊顯示器

Claims (20)

1. 一種資訊萃取方法，包含下列步驟：自動地以電子方式從電子媒體萃取場景資訊；分析該場景資訊以得到一及時的結果，且用該及時的結果識別將傳送的服務；以及將該場景資訊用來提供一額外的服務。
2. 如申請專利範圍第1項之方法，包含下列步驟：自動地自電視萃取情境資訊。
3. 如申請專利範圍第2項之方法，包含下列步驟：自一電子節目表自動地萃取情境資訊。
4. 如申請專利範圍第1項之方法，包含下列步驟：自視訊媒體自動地萃取情境資訊。
5. 如申請專利範圍第1項之方法，包含下列步驟：自伴隨該媒體的輔助資訊自動地萃取情境資訊。
6. 如申請專利範圍第1項之方法，包含下列步驟：自伴隨該媒體的中介資料自動地萃取資訊。
7. 如申請專利範圍第1項之方法，包含下列步驟：將與一電子裝置的一使用者有關之資訊與該裝置上的媒體有關之情境資訊結合。
8. 如申請專利範圍第7項之方法，包含下列步驟：將該被結合的資訊用來提供該額外的服務。
9. 一種儲存了指令之電腦可讀取的媒體，該等指令被一電腦執行時將執行下列步驟：自電子媒體萃取場景資訊； 分析該場景資訊以得到一及時的結果，且用該及時的結果識別將傳送的服務；以及將該場景資訊用來提供一使用者服務。
10. 如申請專利範圍第9項之媒體，進一步儲存了用來執行下列步驟之指令：自一電視信號萃取情境資訊。
11. 如申請專利範圍第10項之媒體，進一步儲存了用來執行下列步驟之指令：自一電子節目表萃取情境資訊。
12. 如申請專利範圍第9項之媒體，進一步儲存了用來執行下列步驟之指令：自視訊萃取情境資訊。
13. 如申請專利範圍第12項之媒體，進一步儲存了用來執行下列步驟之指令：識別一視訊框中之被描述的一物件。
14. 如申請專利範圍第10項之媒體，進一步儲存了用來執行下列步驟之指令：將與該使用者有關的資訊與該媒體有關的情境資訊結合。
15. 如申請專利範圍第14項之媒體，進一步儲存了用來執行下列步驟之指令：將該被結合的資訊用來提供該使用者服務。
16. 一種資訊萃取設備，包含：一媒體介面；以及用來分析來自該介面的媒體且自該媒體萃取場景資訊，分析該場景資訊以得到一及時的結果，用該及時的結果識別將傳送的服務，且將該場景資訊用來提供一服務之裝置。
17. 如申請專利範圍第16項之設備，其中該設備是一消費電子裝置。
18. 如申請專利範圍第16項之設備，其中該設備是一電視接收機。
19. 如申請專利範圍第16項之設備，其中該裝置自一電子節目表萃取情境資訊。
20. 如申請專利範圍第16項之設備，其中該裝置將與該設備的一使用者有關之資訊與情境資訊結合，且將該被結合之資訊用來提供該服務。