TWI483613B - 視訊播放裝置及其操作方法 - Google Patents

Description

視訊播放裝置及其操作方法

本發明是有關於一種視訊裝置，且特別是有關於一種視訊播放裝置及其操作方法。

在觀賞電視節目時，常發現觀眾討論節目中的對話、場景、人物、商品。對於「誰是誰」的關聯性以及對應關係，即使現有節目後製都很貼心地為觀眾上字幕、上圖片，觀眾還是會有疑問「他是誰?」這個問號除了來自於對聲音、影像的疑問之外，更想得知再進一步的了解。

本發明提供一種視訊播放裝置及其操作方法，基於影像辨識與聲音辨識的交集結果進行多媒體操作。

本發明實施例提出一種視訊播放裝置，包括影音辨識單元以及物件選擇單元。影音辨識單元對一影像信號進行影像辨識以獲得一影像辨識結果，對一聲音信號進行聲音辨識以獲得一聲音辨識結果，以及獲得該影像辨識結果與該聲音辨識結果的一交集結果。物件選擇單元耦接至該影音辨識單元。該物件選擇單元從該交集結果選擇至少一物件，以及依據所述至少一物件進行一多媒體操作。

本發明實施例提出一種視訊播放裝置的操作方法，包括：對影像信號進行影像辨識，以獲得影像辨識結果；對聲音信號進行聲音辨識，以獲得聲音辨識結果；交集該影像辨識結果與該聲音辨識結果，以獲得交集結果；從該交集結果選擇至少一物件；以及依據所述至少一物件進行多媒體操作。

在本發明之一實施例中，上述之影音辨識單元包括聲音分析器、影像辨識器以及比較器。聲音分析器接收聲音信號並進行所述聲音辨識，以獲得聲音辨識結果。影像辨識器接收影像信號並進行所述影像辨識，以獲得影像辨識結果。比較器耦接至該聲音分析器與該影像辨識器。比較器比較該聲音辨識結果與該影像辨識結果，以獲得該交集結果，以及將該交集結果輸出給該物件選擇單元。

在本發明之一實施例中，上述之影音辨識單元包括聲音分析器以及影像辨識器。聲音分析器接收聲音信號並進行所述聲音辨識，以獲得聲音辨識結果。影像辨識器接收影像信號並進行所述影像辨識，以獲得影像辨識結果。影像辨識器耦接至該聲音分析器，以接收該聲音辨識結果。該影像辨識器依據該聲音辨識結果過濾該影像辨識結果，以獲得該交集結果，以及將該交集結果輸出給物件選擇單元。

在本發明之一實施例中，上述之影音辨識單元包括聲音分析器以及影像辨識器。影像辨識器接收影像信號並進行所述影像辨識，以獲得影像辨識結果。聲音分析器接收聲音信號並進行所述聲音辨識，以獲得聲音辨識結果。聲音分析器耦接至該影像辨識器，以接收該影像辨識結果。該聲音分析器依據該影像辨識結果過濾該聲音辨識結果，以獲得該交集結果，以及將該交集結果輸出給物件選擇單元。

在本發明之一實施例中，上述之多媒體操作包括儲存影像或儲存所述至少一物件。

在本發明之一實施例中，上述之視訊播放裝置更包括網路介面。此網路介面耦接至物件選擇單元。其中，該物件選擇單元依據所述至少一物件透過網路介面對通訊網路進行多媒體操作。例如，該多媒體操作包括上傳、下載、搜尋、連結或訂閱。

在本發明之一實施例中，上述之視訊播放裝置更包括影音同步單元。影音同步單元耦接至影音辨識單元。影音同步單元依據該交集結果使影像信號與聲音信號二者同步。

在本發明之一實施例中，上述之影音同步單元包括同步控制器、影像延遲器以及聲音延遲器。同步控制器耦接至影音辨識單元。同步控制器依據該交集結果檢查影像信號與聲音信號二者之時間誤差，以及對應輸出第一控制信號與第二控制信號。影像延遲器受控於第一控制信號而決定影像信號的延遲量。聲音延遲器受控於第二控制信號而決定聲音信號的延遲量。

基於上述，本發明實施例揭示一種視訊播放裝置及其操作方法，基於影像辨識與聲音辨識的交集結果進行物件選取與多媒體操作。例如，幫助觀眾了解誰是誰的關聯性，或做更深入的探討、認識與資料檢索。

為讓本發明之上述特徵和優點能更明顯易懂，下文特舉實施例，並配合所附圖式作詳細說明如下。

圖1是依照本發明實施例說明一種視訊播放裝置100的功能方塊示意圖。視訊播放裝置100包括影音辨識單元110、物件選擇單元120、顯示單元130以及聲音單元140。顯示單元130接收影像信號Sv，以及依據影像信號Sv顯示對應的影像畫面。聲音單元140接收聲音信號Sa，以及依據聲音信號Sa驅動揚聲器(speaker)發出對應的聲音。上述影像信號Sv與聲音信號Sa可以是電視、影音光碟(video compact disk,VCD)、數位多功能光碟(digital versatile disc,DVD)、藍光光碟(Blue-Ray disk)、網際網路(internet)等影音來源的影音串流。例如，使用者可以透過顯示單元130以及聲音單元140觀賞電視節目。

圖2是依照本發明實施例說明圖1所示視訊播放裝置100的操作方法流程示意圖。請參照圖1與圖2。影音辨識單元110對影像信號Sv進行影像辨識，以獲得影像辨識結果(步驟S210)。此影像辨識可以是任何一種辨識技術。例如利用模板配對技術進行影像辨識，意指利用標準樣本(模板)資料庫進行影像辨識。於此資料庫中具有多個物件樣本，例如標準臉部樣本。此臉部樣本往往是以預先定義或參數化的函數來描述。在輸入影像信號Sv與標準模版之間的比對方式，大多採用臉部輪廓、眼、鼻或嘴唇等部位分別給分的方式為之，而這些給分的加總稱為「關聯值(correction values)」。例如，對影像信號Sv的某一個幀(frame)進行影像辨識後獲得的影像辨識結果包含「小虎隊」與「小豬」等多個物件影像。

影音辨識單元110亦可對聲音信號Sa進行聲音辨識，以獲得聲音辨識結果(步驟S210)。當聲音藉由類比到數位的轉換裝置輸入影音辨識單元110內部，並以數值方式儲存後，影音辨識單元110便開始比對事先儲存的聲音樣本與輸入的聲音信號Sa，並對聲音辨識結果給予相似度最高的「聲音樣本序號」。例如，假設聲音信號Sa中有一段語音為「...有在學小虎隊的貨櫃車...」，則辨識此段語音可以得到兩組有效聲音樣本序號A1011(小虎隊)與B2022(貨櫃車)。

影音辨識單元110交集該影像辨識結果與該聲音辨識結果，以獲得一交集結果(步驟S220)。例如上述之舉例，對影像信號Sv進行影像辨識而獲得的影像辨識結果包含「小虎隊」與「小豬」等，而對聲音信號Sa進行聲音辨識所獲得聲音辨識結果包含「小虎隊」與「貨櫃車」等，則所述交集結果包含「小虎隊」。聲音信號Sa可以是任何聲音、語音的資訊源，例如包括多媒體內容、網路影片、類比電視(Analog Television,ATV)、數位電視(Digital Television,DTV)串流(stream)、字幕(Subtitle)、個人錄影機(Personal Video Recorder,PVR)、音樂曲名、行動下載的音樂歌詞…等。經由聲音擷取分析結果、解析資料之音義，加上影像辨識出的畫面，過濾後即為交集之重點(Filter & Intersection)。

物件選擇單元120耦接至影音辨識單元110。物件選擇單元120從影音辨識單元110所輸出的交集結果選擇至少一物件(步驟S230)，以及依據所述至少一物件進行多媒體操作(步驟S240)。例如，此多媒體操作包括儲存所述至少一物件，或是儲存所述物件所對應的影像。物件選擇單元120可以依據使用者的操作而從影音辨識單元110所輸出的交集結果中選擇至少一物件(例如「小虎隊」)，然後將此物件、所對應的影像以及此次播放的相關資訊紀錄於資料庫中。日後當使用者欲查詢感興趣之物件(例如「小虎隊」)時，物件選擇單元120可以從資料庫中檢索出此物件的相關畫面、聲音及/或相關播放歷史紀錄。

上述實施例之物件選擇單元120是依據使用者的操作而從所述交集結果中選擇物件，然而實施方式不限於此。在其他實施例中，物件選擇單元120可以依據預設類別(例如歌星、電子產品等類別)，而自動地從所述交集結果中選擇出符合所述預設類別的物件。

圖3是依照本發明另一實施例說明一種視訊播放裝置300的功能方塊示意圖。視訊播放裝置300包括影音辨識單元110、物件選擇單元120、顯示單元130、聲音單元140以及網路介面350。視訊播放裝置300的實施細節可以參照圖1所示視訊播放裝置100的相關說明。請參照圖3，網路介面350耦接至物件選擇單元120。透過網路介面350，物件選擇單元120依據被選擇的所述物件對通訊網路30進行多媒體操作。上述之通訊網路30可以是WiFi無線網路、非對稱性數位用戶回路(Asymmetric Digital Subscriber Line,ADSL)網路、電纜數據機(Cable MODEM)網路、全球微波互通(Worldwide Interoperability for Microwave Access,WiMAX)網路或長期進化(Long Term Evolution,LTE)網路或是其他通訊網路。上述多媒體操作包括上傳、下載、搜尋、連結或訂閱等操作。

例如上述之舉例，物件選擇單元120所選擇的物件是「小虎隊」，則物件選擇單元120可以透過網路介面350將目前所播放的「小虎隊」影像上傳至通訊網路30(相簿、社群網站…等)。或者，將影像畫面或單一圖類似快照(snapshot)方式，於顯示單元130的顯示畫面開啟。或是，將目前所播放的「小虎隊」影像藉由網路介面350與通訊網路30傳送顯示至其他裝置。或是，物件選擇單元120將「小虎隊」圖片或影像位置加入對應網址，供使用者點選後即可超連結至對應網站，然後將對應網站的網頁顯示於顯示單元130的顯示畫面。或是，將目前所播放的「小虎隊」影像加入最愛清單或同步分享、推薦給指定使用者觀賞、為節目內容做排版、幻燈片等線上互動功能。或是，以「小虎隊」圖片做影像搜索，利用通訊網路30找出此圖的相關資訊，然後將相關資訊顯示於顯示單元130的顯示畫面。或是，以影像得到的資訊(影像、文字…等)展開此資訊可獲得內容蒐集，或透過通訊網路30訂閱與「小虎隊」圖片有關的文章、影片，然後將訂閱內容顯示於顯示單元130的顯示畫面。

圖1與圖3所示影音辨識單元110可以任何方式實現之。例如，圖4是依照本發明實施例說明影音辨識單元110的功能方塊示意圖。影音辨識單元110包括聲音分析器410、影像辨識器420以及比較器430。聲音分析器410接收聲音信號Sa並進行所述聲音辨識，以獲得聲音辨識結果。影像辨識器420接收影像信號Sv並進行所述影像辨識，以獲得影像辨識結果。比較器430耦接至聲音分析器410與影像辨識器420。比較器430比較聲音分析器410的聲音辨識結果與影像辨識器420的影像辨識結果，以獲得二者的交集結果，以及將該交集結果輸出給物件選擇單元120。例如，藉由標準模板資料庫之比對後，影像辨識器420辨識出影像之關聯值備用，同時聲音分析器410對語音分析出聲音辨識結果。當比較器430判斷聲音樣本序號與影像關聯值吻合，即於交集結果傳送給物件選擇單元120。

圖5是依照本發明另一實施例說明影音辨識單元110的功能方塊示意圖。影音辨識單元110包括聲音分析器410以及影像辨識器520。聲音分析器410接收聲音信號Sa並進行所述聲音辨識，以獲得聲音辨識結果。影像辨識器520耦接至聲音分析器410。影像辨識器520接收影像信號Sv與聲音分析器410的聲音辨識結果。影像辨識器520對影像信號Sv進行所述影像辨識，以獲得影像辨識結果。依據聲音分析器410的聲音辨識結果，影像辨識器520過濾該影像辨識結果以獲得該交集結果，以及將該交集結果輸出給物件選擇單元120。也就是說，語音資料進來後，聲音分析器410先進行語音的分析，影像辨識器520再以聲音序號(聲音辨識結果)去撈取影像資料辨識出來的已確認影像，即可於交集結果傳送給物件選擇單元120。

圖6是依照本發明又一實施例說明影音辨識單元110的功能方塊示意圖。影音辨識單元110包括影像辨識器420以及聲音分析器610。影像辨識器420接收影像信號Sv並進行所述影像辨識，以獲得影像辨識結果。聲音分析器610耦接至影像辨識器420。聲音分析器610接收聲音信號Sa與影像辨識器420的影像辨識結果。聲音分析器610對該聲音信號Sa進行所述聲音辨識以獲得聲音辨識結果。依據影像辨識器420的影像辨識結果，聲音分析器610過濾該聲音辨識結果以獲得該交集結果，以及將該交集結果輸出給物件選擇單元120。也就是說，影像資料進來後，影像辨識器420進行影像辨識，可能影像辨識結果會含有多個物件，因此聲音分析器610再以聲音分析序號找尋影像結果，確認配對，即可於交集結果傳送給物件選擇單元120。

圖7是依照本發明又一實施例說明一種視訊播放裝置700的功能方塊示意圖。視訊播放裝置700包括影音辨識單元110、物件選擇單元120、顯示單元130、聲音單元140、網路介面350以及影音同步單元760。視訊播放裝置700的實施細節可以參照圖1所示視訊播放裝置100與圖3所示視訊播放裝置300的相關說明。請參照圖7，影音同步單元760耦接至影音辨識單元110。影音同步單元760依據影音辨識單元110的交集結果而使影像信號Sv與聲音信號Sa二者同步。例如，若影音同步單元760依據影音辨識單元110的交集結果而判斷影像信號Sv比聲音信號Sa慢，則影音同步單元760輸出不延遲的影像信號Sv(即圖7所示影像信號Sv’)給顯示單元130，以及輸出被延遲的聲音信號Sa(即圖7所示聲音信號Sa’)給聲音單元140。因此，顯示單元130所顯示的影像與聲音單元140發出的聲音可以同步化。

圖8是依照本發明實施例說明一種影音同步單元760的功能方塊示意圖。影音同步單元760包括同步控制器810、影像延遲器820以及聲音延遲器830。同步控制器810耦接至影音辨識單元110。同步控制器810依據影音辨識單元110的交集結果檢查影像信號Sv與聲音信號Sa二者之時間誤差，以及對應輸出第一控制信號C1與第二控制信號C2。影像延遲器820受控於第一控制信號C1而決定影像信號Sv的延遲量。影像延遲器820延遲影像信號Sv而輸出影像信號Sv’給顯示單元130。聲音延遲器830受控於第二控制信號C2而決定聲音信號Sa的延遲量。聲音延遲器830延遲聲音信號Sa而輸出聲音信號Sa’給聲音單元140。

例如，請參照圖7與圖8，影音辨識單元110在聲音信號Sa中辨識出「有在學小虎隊的貨櫃車」此段語音，進而得到兩組有效聲音樣本序號A1011(小虎隊)與B2022(貨櫃車)。影音辨識單元110在對影像信號Sv進行影像辨識同時擷取畫面的所有人臉，至模板資料庫進行比對，找到「小虎隊」與「小豬」等影像。影音辨識單元110再將聲音樣本序號與影像交集疊合得到聲音樣本序號A1011與「小虎隊」影像的關聯值較吻合。假設此時影音訊號不同步，例如聲音信號Sa正常，影像信號Sv卻比聲音信號Sa遲了5秒，則同步控制器810即可控制聲音延遲器830使聲音信號Sa延遲5秒緩衝後再同步呈現。

綜上所述，本發明實施例基於影像辨識與聲音辨識的交集結果進行物件選取與多媒體操作，例如自動上網查找畫面中被選擇物件的相關資料。隨著網際網路資料量大幅激增，所提供的多媒體影音圖文皆可成為資訊源，同一畫面(不論網頁或連網電視)擁有過多的外部連結或連結後爆增新視窗，造成使用者困擾及系統不堪負荷。當來源資料經由過濾、整理再提供有效率的結果並應用，即為上述實施例的最大效用。

雖然本發明已以實施例揭露如上，然其並非用以限定本發明，任何所屬技術領域中具有通常知識者，在不脫離本發明之精神和範圍內，當可作些許之更動與潤飾，故本發明之保護範圍當視後附之申請專利範圍所界定者為準。

30．．．通訊網路

100、300、700．．．視訊播放裝置

110．．．影音辨識單元

120．．．物件選擇單元

130．．．顯示單元

140．．．聲音單元

350．．．網路介面

410、610．．．聲音分析器

420、520．．．影像辨識器

430．．．比較器

760．．．影音同步單元

810．．．同步控制器

820．．．影像延遲器

830．．．聲音延遲器

C1．．．第一控制信號

C2．．．第二控制信號

S210~S240．．．步驟

Sa、Sa’．．．聲音信號

Sv、Sv’．．．影像信號

圖1是依照本發明實施例說明一種視訊播放裝置的功能方塊示意圖。

圖2是依照本發明實施例說明圖1所示視訊播放裝置的操作方法流程示意圖。

圖3是依照本發明另一實施例說明一種視訊播放裝置的功能方塊示意圖。

圖4是依照本發明實施例說明影音辨識單元的功能方塊示意圖。

圖5是依照本發明另一實施例說明影音辨識單元的功能方塊示意圖。

圖6是依照本發明又一實施例說明影音辨識單元的功能方塊示意圖。

圖7是依照本發明又一實施例說明一種視訊播放裝置的功能方塊示意圖。

圖8是依照本發明實施例說明一種影音同步單元的功能方塊示意圖。

30．．．通訊網路

110．．．影音辨識單元

120．．．物件選擇單元

130．．．顯示單元

140．．．聲音單元

350．．．網路介面

700．．．視訊播放裝置

760．．．影音同步單元

Sa、Sa’．．．聲音信號

Sv、Sv’．．．影像信號

Claims (18)

1. 一種視訊播放裝置，包括：一影音辨識單元，對一影像信號進行一影像辨識以獲得一影像辨識結果，對一聲音信號進行一聲音辨識以獲得一聲音辨識結果，以及獲得該影像辨識結果與該聲音辨識結果的一交集結果；以及一物件選擇單元，耦接至該影音辨識單元，該物件選擇單元從該交集結果選擇至少一物件，以及依據所述至少一物件進行一多媒體操作。
2. 如申請專利範圍第1項所述之視訊播放裝置，其中該影音辨識單元包括：一聲音分析器，接收該聲音信號並進行所述聲音辨識，以獲得該聲音辨識結果；一影像辨識器，接收該影像信號並進行所述影像辨識，以獲得該影像辨識結果；以及一比較器，耦接至該聲音分析器與該影像辨識器，該比較器比較該聲音辨識結果與該影像辨識結果以獲得該交集結果，以及將該交集結果輸出給該物件選擇單元。
3. 如申請專利範圍第1項所述之視訊播放裝置，其中該影音辨識單元包括：一聲音分析器，接收該聲音信號並進行所述聲音辨識，以獲得該聲音辨識結果；以及一影像辨識器，耦接至該聲音分析器，其中該影像辨識器接收該影像信號與該聲音辨識結果，對該影像信號進行所述影像辨識以獲得該影像辨識結果，依據該聲音辨識結果過濾該影像辨識結果以獲得該交集結果，以及將該交集結果輸出給該物件選擇單元。
4. 如申請專利範圍第1項所述之視訊播放裝置，其中該影音辨識單元包括：一影像辨識器，接收該影像信號並進行所述影像辨識，以獲得該影像辨識結果；以及一聲音分析器，耦接至該影像辨識器，其中該聲音分析器接收該聲音信號與該影像辨識結果，對該聲音信號進行所述聲音辨識以獲得該聲音辨識結果，依據該影像辨識結果過濾該聲音辨識結果以獲得該交集結果，以及將該交集結果輸出給該物件選擇單元。
5. 如申請專利範圍第1項所述之視訊播放裝置，其中該多媒體操作包括儲存影像或儲存所述至少一物件。
6. 如申請專利範圍第1項所述之視訊播放裝置，更包括：一網路介面，耦接至該物件選擇單元；其中該物件選擇單元依據所述至少一物件透過該網路介面對一通訊網路進行該多媒體操作。
7. 如申請專利範圍第6項所述之視訊播放裝置，其中該多媒體操作包括上傳、下載、搜尋、連結或訂閱。
8. 如申請專利範圍第1項所述之視訊播放裝置，更包括：一影音同步單元，耦接至該影音辨識單元，該影音同步單元依據該交集結果使該影像信號與該聲音信號二者同步。
9. 如申請專利範圍第8項所述之視訊播放裝置，其中該影音同步單元包括：一同步控制器，耦接至該影音辨識單元，該同步控制器依據該交集結果檢查該影像信號與該聲音信號二者之時間誤差，以及對應輸出一第一控制信號與一第二控制信號；一影像延遲器，受控於該第一控制信號而決定該影像信號的延遲量；以及一聲音延遲器，受控於該第二控制信號而決定該聲音信號的延遲量。
10. 一種視訊播放裝置的操作方法，包括：對一影像信號進行一影像辨識，以獲得一影像辨識結果；對一聲音信號進行一聲音辨識，以獲得一聲音辨識結果；交集該影像辨識結果與該聲音辨識結果，以獲得一交集結果；從該交集結果選擇至少一物件；以及依據所述至少一物件進行一多媒體操作。
11. 如申請專利範圍第10項所述視訊播放裝置的操作方法，其中所述交集該影像辨識結果與該聲音辨識結果之步驟包括：比較該聲音辨識結果與該影像辨識結果，以獲得該交集結果。
12. 如申請專利範圍第10項所述視訊播放裝置的操作方法，其中所述交集該影像辨識結果與該聲音辨識結果之步驟包括：依據該聲音辨識結果過濾該影像辨識結果，以獲得該交集結果。
13. 如申請專利範圍第10項所述視訊播放裝置的操作方法，其中所述交集該影像辨識結果與該聲音辨識結果之步驟包括：依據該影像辨識結果過濾該聲音辨識結果，以獲得該交集結果。
14. 如申請專利範圍第10項所述視訊播放裝置的操作方法，其中該多媒體操作包括儲存影像或儲存所述至少一物件。
15. 如申請專利範圍第10項所述視訊播放裝置的操作方法，更包括：依據所述至少一物件透過一網路介面對一通訊網路進行該多媒體操作。
16. 如申請專利範圍第15項所述視訊播放裝置的操作方法，其中該多媒體操作包括上傳、下載、搜尋、連結或訂閱。
17. 如申請專利範圍第10項所述視訊播放裝置的操作方法，更包括：依據該交集結果，同步該影像信號與該聲音信號。
18. 如申請專利範圍第17項所述視訊播放裝置的操作方法，其中所述同步該影像信號與該聲音信號之步驟包括：依據該交集結果檢查該影像信號與該聲音信號二者之時間誤差，對應產生一第一控制信號與一第二控制信號；依據該第一控制信號，決定該影像信號的延遲量；以及依據該第二控制信號，決定該聲音信號的延遲量。