TW201352001A

TW201352001A - 多媒體互動系統及方法

Info

Publication number: TW201352001A
Application number: TW101120857A
Authority: TW
Inventors: Kang-Wen Lin
Original assignee: Quanta Comp Inc
Priority date: 2012-06-11
Filing date: 2012-06-11
Publication date: 2013-12-16
Also published as: US20130332832A1; CN103491067A

Abstract

一種由顯示裝置與處理模組所組成之多媒體互動系統。顯示裝置係用以接收並顯示第一使用者與第二使用者之間所進行之視訊之畫面。處理模組係用以從視訊之畫面辨識出第三使用者，以及在視訊中進行與第三使用者相關之互動操作。

Description

多媒體互動系統及方法

本發明主要關於操作介面設計，特別係有關於一種多媒體互動系統及方法，能夠針對視訊情境提供與第三方人士進行互動之操作。

近年來，隨著網路普及與頻寬提升，甚至是在行動智慧裝置的推波助瀾之下，即時的多媒體應用越來越受到歡迎，包括：視訊通話、視訊會議、隨選視訊、高畫質電視、線上學習課程等等。對企業用戶而言，得以透過上述應用施行遠端管理以提升企業的整體運作效率並降低成本。對個人用戶而言，則可透過上述應用拉近人與人之間的距離，或增加多媒體生活的便利性。

然而，目前針對視訊情境所提供的操作介面通常只限於使用者對事先選定的對象進行視訊，而缺乏對第三方人士進行互動的彈性。以一對一視訊通話為例，使用者A在與使用者B進行視訊的過程中，如果臨時想要與使用者C進行互動，則使用者A必須先中斷與使用者B的視訊，再另外發起與使用者C的視訊，或者，使用者A必須先切換操作介面才能向使用者C發送訊息。

因此，亟需有一種多媒體互動方法，能夠針對視訊情境提供與第三方人士進行互動之彈性操作。

本發明之一實施例提供了一種多媒體互動系統，包括一顯示裝置、以及一處理模組。上述顯示裝置係用以接收並顯示一第一使用者與一第二使用者之間所進行之一視訊之畫面。上述處理模組係用以從上述視訊之畫面辨識出一第三使用者，以及在上述視訊中進行與上述第三使用者相關之互動操作。

本發明之另一實施例提供了一種多媒體互動方法，包括以下步驟：在一顯示裝置上顯示一第一使用者與一第二使用者之間所進行之一視訊之畫面；從上述視訊之畫面辨識出一第三使用者；以及在上述視訊中進行與上述第三使用者相關之互動操作。

關於本發明其他附加的特徵與優點，此領域之熟習技術人士，在不脫離本發明之精神和範圍內，當可根據本案實施方法中所揭露之多媒體互動系統及方法做些許的更動與潤飾而得到。

本章節所敘述的是實施本發明之最佳方式，目的在於說明本發明之精神而非用以限定本發明之保護範圍，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

第1圖係根據本發明一實施例所述之多媒體互動系統之示意圖。在多媒體互動系統100中，多媒體使用者裝置10、20、30係透過多媒體伺服器40進行互動，包括：進行視訊、傳送語音或文字訊息、傳送電子郵件、以及分享檔案等等。多媒體使用者裝置10、20、30可為智慧型手機、平板電腦、筆記型電腦、桌上型電腦、或其它具備連網功能之多媒體裝置，且多媒體使用者裝置10、20、30可透過有線或無線的方式連接至網際網路。多媒體伺服器40可為架設於網路上的電腦主機，用以提供視訊串流服務。

第2圖係根據本發明一實施例所述之多媒體使用者裝置之架構示意圖。顯示裝置210可包括螢幕、面板、或觸控面板等具備顯示功能之裝置。輸入輸出模組220可包括視訊鏡頭、麥克風、以及喇叭，或者還可再包括鍵盤、滑鼠、觸控板等內建或外接元件。儲存模組230可為揮發性記憶體，例如：隨機存取記憶體(Random Access Memory，RAM)，或非揮發性記憶體，例如：快閃記憶體(Flash Memory)，或硬碟、光碟，或上述媒體之任意組合。網路模組240係用以提供有線或無線網路連線，例如：乙太網(Ethernet)、無線區網(WiFi)、或其它網路技術。處理模組250可為通用處理器或微控制單元(Micro-Control Unit，MCU)，用以執行電腦可執行之指令，以控制顯示裝置210、輸入輸出模組220、儲存模組230、以及網路模組240之運作，並執行本發明之多媒體互動方法。

第3圖係根據本發明一實施例所述之多媒體伺服器之架構示意圖。網路模組310係用以提供有線或無線網路連線，儲存模組320係用以儲存電腦可執行之程式碼，並包括儲存多媒體使用者裝置10、20、30之相關資訊，處理模組330係用以載入並執行儲存模組320中的程式碼，以執行本發明之多媒體互動方法。

值得注意的是，在另一實施例中，多媒體使用者裝置可與多媒體伺服器整合在一起，也就是說，每個多媒體使用者裝置皆具備有提供視訊串流服務之能力，所以多媒體使用者裝置之間所進行之視訊就不需再經由另一獨立之多媒體伺服器來協調/處理，因此，本發明不限於第1圖所示之架構。

第4圖係根據本發明一實施例所述在多媒體使用者裝置端所呈現之多媒體互動介面之示意圖。在此實施例，多媒體使用者裝置10、20、30係分別由使用者A、B、C所擁有，且以使用者A的使用經驗為所示範例，意即以多媒體使用者裝置10之操作為主，其餘為輔。首先，在步驟S4-1，多媒體使用者裝置10係透過多媒體伺服器40與多媒體使用者裝置20進行視訊，所以在多媒體使用者裝置10的顯示裝置上所顯示的是在使用者B端的視訊畫面p。特別是，除了使用者B之外，視訊畫面p中亦可見到使用者C的存在(例如：在視訊進行之時，使用者B正好與使用者C在一起)。當使用者A從視訊畫面p中看到使用者C時，便可進一步以多模(multimodal)的方式(例如：語音(speech)、觸控事件(touch event)、手勢(gesture)、以及滑鼠事件(mouse event)之任意組合)產生輸入指令以與使用者C進行互動，而不需再經由任何圖形使用者介面或與使用者C重新建立一視訊連結而進行互動。明確來說，在步驟S4-2，使用者A可在多媒體使用者裝置10的顯示裝置上觸碰使用者C的對應位置，同時以語音方式敘述欲進行之互動操作：「加入好友清單」。根據該觸碰事件，多媒體伺服器40先從視訊畫面p辨識出使用者C，然後使用自然語言處理(Natural Language Processing，NLP)技術將上述語音輸入轉換為交友請求並傳送該請求給多媒體使用者裝置30。所以在步驟S4-3，多媒體使用者裝置30的顯示裝置上所顯示的是使用者A所發出的交友請求。

於一具體實施例中，當使用者A觸碰使用者C的對應位置，多媒體伺服器40即會判斷使用者C是否已在使用者A的好友清單中，若否，則使用者A無需以語音方式敘述欲進行之互動操作：「加入好友清單」，多媒體伺服器40即直接將交友請求傳送該請求給多媒體使用者裝置30。

於一具體實施例中，使用者A與使用者C進行互動時，原來使用者A與使用者B之間的視訊可先暫停(paused)，之後，使用者A可再輸入另一指令以結束與使用者C的互動並繼續(resume)與使用者B的視訊，例如，語音：「返回與使用者B的視訊」、在視訊畫面p上非對應於使用者C的位置發起一觸控事件、或在視訊畫面p上使用者B的對應位置發起一觸控事件。或者，可於使用者A與使用者C之間的互動結束時，自動繼續使用者A與使用者B之間的視訊。

第5圖係根據本發明另一實施例所述在多媒體使用者裝置端所呈現之多媒體互動介面之示意圖。類似於第4圖之實施例，在步驟S5-2，使用者A可在多媒體使用者裝置10的顯示裝置上觸碰使用者C的對應位置，同時以語音方式敘述欲進行之互動操作：「進行視訊」，而原來使用者A與使用者B之間的視訊可先暫停。根據該觸碰事件，多媒體伺服器40先從視訊畫面p辨識出使用者C，然後使用自然語言處理技術將上述語音輸入轉換為視訊請求並建立多媒體使用者裝置10與30之間的視訊串流。所以在步驟S5-3，多媒體使用者裝置30的顯示裝置上所顯示的是使用者A端的視訊畫面。在另一實施例，使用者A與使用者C之間的互動可以預約的方式進行，例如，在步驟S5-2中，使用者A可改以語音敘述：「十分鐘後與他進行視訊」，多媒體伺服器40則等待十分鐘後才建立多媒體使用者裝置10與30之間的視訊串流。

於一具體實施例中，當使用者A觸碰使用者C的對應位置，多媒體伺服器40即會判斷使用者C是否已在使用者A的好友清單中，若是，則使用者A無需以語音方式敘述欲進行之互動操作：「進行視訊」，多媒體伺服器40即直接將視訊請求傳送該請求給多媒體使用者裝置30。

第6圖係根據本發明又一實施例所述在多媒體使用者裝置端所呈現之多媒體互動介面之示意圖。類似於第4圖之實施例，在步驟S6-2，使用者A可在多媒體使用者裝置10的顯示裝置上將一欲分享檔案的圖像(icon)拖曳到使用者C的對應位置，同時以語音方式敘述欲進行之互動操作：「檔案分享」。根據該觸碰事件，多媒體伺服器40先從視訊畫面p辨識出使用者C，然後使用自然語言處理技術將上述語音輸入轉換為檔案分享請求並傳送該請求給多媒體使用者裝置30。所以在步驟S6-3，多媒體使用者裝置30的顯示裝置上所顯示的是使用者A所發出的檔案分享請求。

於一具體實施例中，當使用者A將一欲分享檔案的圖像(icon)拖曳到使用者C的對應位置時，多媒體伺服器40即自動將此行為轉換成檔案分享請求，而無需使用者A以語音方式敘述欲進行之互動操作：「檔案分享」。

於一具體實施例中，多媒體伺服器40係可執行一社群網路程式，該社群網路可接受使用者之註冊並提供使用者之相關資訊，例如姓名、行動電話、電子郵件帳號、照片、好友清單、喜好運動、藝人、影音等。因此，多媒體伺服器40可根據使用者的社群網路帳號而得知使用者的相關資訊，並可根據使用者所建立的好友清單，進一步連結至好友的社群網路帳號，並根據使用者及其好友所公開的照片或影像，而建立使用者及其好友之影像資料庫或影像特徵等等。進一步地，使用者可提供其他社群網路之帳號，例如臉書或google+等，如此一來，多媒體伺服器40便可從其他的社群網路更精確地蒐集使用者的相關資訊。於一具體實施例中，多媒體伺服器40係根據每一使用者分別建立影像資料庫或影像特徵。

在第4~6圖的實施例中，多媒體伺服器40可在視訊進行之前根據使用者A的社群網路帳號預先蒐集相關影像資料，並分析影像資料之特徵以建立一影像資料庫。之後，在從視訊畫面p辨識出使用者C的步驟中，多媒體伺服器40可使用臉部辨識(face detection)技術在視訊畫面p找出使用者C的外貌特徵，然後根據使用者C的外貌特徵去比對影像資料庫，進而判斷使用者C是誰，是否屬於使用者A的好友等等。

在第4~6圖的實施例中，多媒體伺服器40可在視訊進行之前根據使用者A的社群網路帳號預先蒐集其好友資訊，包括：姓名、行動電話、以及電子郵件帳號等等。接著，使用者B可在視訊的過程中在視訊畫面p上為使用者C標記使用者標籤(user tag)。之後，在從視訊畫面p辨識出使用者C的步驟中，多媒體伺服器40可再根據使用者B所設定的使用者標籤辨識出使用者B及其相關資訊。

需注意的是，除了第4~6圖所示的實施例之外，使用者A與使用者C進行的互動還可包括傳送語音或文字訊息、傳送電子郵件、以及傳送會議邀請等等，且本發明不再此限。

關於上述多模的輸入指令，在其它實施例，使用者A可運用預先定義好的手勢來產生輸入指令，例如：在使用者C的對應位置上畫圈則表示要將使用者C放入電話黑名單(block list)或社群網站黑名單。

第7圖係根據本發明一實施例所述之多媒體互動方法之簡要流程圖。在此實施例中，多媒體互動方法可適用於第1圖所示的多媒體使用者裝置10~30以及多媒體伺服器 40之協同運作，或者，亦可適用於多媒體使用者裝置與多媒體伺服器之一整合裝置所單獨運作。首先，在一顯示裝置上顯示一第一使用者與一第二使用者之間所進行之一視訊之畫面(步驟S710)，然後從上述視訊之畫面辨識出一第三使用者(步驟S720)。之後，在上述視訊中進行與上述第三使用者相關之互動操作(步驟S730)。互動操作可包括：將上述第三使用者加入一朋友清單、與上述第三使用者進行視訊或話訊、傳送語音或文字訊息給上述第三使用者、傳送電子郵件給上述第三使用者、傳送會議邀請給上述第三使用者、以及分享檔案給上述第三使用者。特別是，步驟S730中與上述第三使用者相關之互動操作係根據一輸入指令所進行，而上述輸入指令可以多模的方式，例如：語音、觸控事件、手勢、以及滑鼠事件之任意組合所產生的，且無需切斷第一使用者與第二使用者之間所進行之視訊畫面。

第8A~8C圖係根據本發明一實施例所述之多媒體互動方法之細部流程圖。在此實施例中，多媒體互動方法可適用於第1圖所示的多媒體使用者裝置10~30以及多媒體伺服器40之協同運作。首先，在使用者A與使用者B進行視訊之前，多媒體伺服器40根據使用者A的社群網路帳號預先蒐集相關影像資料(步驟S800-1~S800-2)，並分析影像資料之特徵以建立一影像資料庫(步驟S800-3)；並預先蒐集使用者A的相關資訊，如好友清單等。當使用者B發起與使用者A之視訊時，多媒體使用者裝置20透過視訊鏡頭擷取使用者B的影像(步驟S801)，將擷取之影像進行編碼(步驟S802)，然後套用即時串流協定(Real Time Streaming Protocol，RTSP)或即時傳送協定(Real-time Transport Protocol，RTP)將編碼影像傳送給多媒體伺服器40(步驟S803)，由多媒體伺服器40建立與使用者A之間的視訊串流(步驟S804)。多媒體使用者裝置10針對接收到的串流資料進行解碼(步驟S805)，接著交由顯示裝置呈現使用者B端的影像(步驟S806)。雖未繪示，但使用者A端的影像亦可經由相同步驟(步驟S801~S806)透過多媒體伺服器40串流至多媒體使用者裝置20，以供使用者B觀看。

若使用者A看到視訊畫面中除了使用者B之外還有使用者C(若使用者B看到視訊畫面中除了使用者A之外還有使用者D)，決定與使用者C進行互動(步驟S807)，於是使用者A在多媒體使用者裝置10的顯示裝置上觸碰使用者C的對應位置(步驟S808)。根據該觸控事件，多媒體伺服器40開始對視訊畫面進行處理(步驟S809)，擷取對應至該觸控事件之影像資訊，也就是使用者C之影像資訊(步驟S810)，然後再分析取得使用者C之外貌特徵(步驟S811)，接著根據使用者C之外貌特徵去比對前置步驟所建立之影像資料庫(步驟S812)，如此一來，便可決定使用者A欲另外發起互動之對象為使用者C以及使用者C之相關資訊。

使用者A在發起觸控事件之後，可將原來與使用者B 所進行之視訊暫停或靜音(步驟S813)，然後以多模的方式產生輸入指令(步驟S814)。需注意的是，在其它實施例，原來使用者A與使用者B之間的視訊可繼續進行而不需暫停或靜音。之後，由多媒體伺服器40使用自然語言處理技術處理該輸入指令(步驟S815)，再對處理結果進行語意分析(步驟S816)，以將輸入指令轉換電腦可執行之具體命令(步驟S817)。根據轉換後的命令以及決定之互動對象，多媒體伺服器40再將互動請求傳送給多媒體使用者裝置30(步驟S818)。

在使用者C端，多媒體使用者裝置30先判斷互動請求之類別(步驟S819)，再據以進行相關處理。明確來說，如果互動請求是要進行話訊，則建立與使用者A的語音通話(步驟S820)；如果互動請求是要進行視訊，則建立與使用者A的視訊通話(步驟S821)；如果互動請求是要傳遞多媒體簡訊，則接收使用者A所發送的多媒體簡訊(步驟S822)。多媒體簡訊例如文字通訊，交友請求或檔案傳送等。

於一具體實施例中，步驟S814(以多模的方式產生輸入指令)係可適應性地根據使用者A的相關資訊而省略或設定預定之指令。例如，若多媒體伺服器40發現使用者C並非使用者A之好友，則預定之指令係為請求加入好友，則無需步驟S814之行為；若多媒體發現使用者C係使用者A之好友，則預定之指令係為語音通話，則無需步驟S814之行為，若使用者A係使用視訊通話或多媒體簡訊等，此時才需步驟S814之行為以告知多媒體伺服器40。

本發明雖以各種實施例揭露如上，然而其僅為範例參考而非用以限定本發明的範圍，任何熟習此項技藝者，在不脫離本發明之精神和範圍內，當可做些許的更動與潤飾。因此上述實施例並非用以限定本發明之範圍，本發明之保護範圍當視後附之申請專利範圍所界定者為準。

100‧‧‧多媒體互動系統

10、20、30‧‧‧多媒體使用者裝置

40‧‧‧多媒體伺服器

210‧‧‧顯示裝置

220‧‧‧輸入輸出模組

230、320‧‧‧儲存模組

240、310‧‧‧網路模組

250、330‧‧‧處理模組

p‧‧‧視訊畫面

第1圖係根據本發明一實施例所述之多媒體互動系統之示意圖。

第2圖係根據本發明一實施例所述之多媒體使用者裝置之架構示意圖。

第3圖係根據本發明一實施例所述之多媒體伺服器之架構示意圖。

第4圖係根據本發明一實施例所述在多媒體使用者裝置端所呈現之多媒體互動介面之示意圖。

第5圖係根據本發明另一實施例所述在多媒體使用者裝置端所呈現之多媒體互動介面之示意圖。

第6圖係根據本發明又一實施例所述在多媒體使用者裝置端所呈現之多媒體互動介面之示意圖。

第7圖係根據本發明一實施例所述之多媒體互動方法之簡要流程圖。

第8A~8C圖係根據本發明一實施例所述之多媒體互動方法之細部流程圖。

100‧‧‧多媒體互動系統

10、20、30‧‧‧多媒體使用者裝置

40‧‧‧多媒體伺服器

Claims

一種多媒體互動系統，包括：一顯示裝置，用以接收並顯示一第一使用者與一第二使用者之間所進行之一視訊之畫面；以及一處理模組，用以從上述視訊之畫面辨識出一第三使用者，以及在上述視訊中進行與上述第三使用者相關之互動操作。
如申請專利範圍第1項所述之多媒體互動系統，其中上述處理模組更用以分析每一使用者之一社群網路帳號之相關影像資料以建立一影像資料庫。
如申請專利範圍第2項所述之多媒體互動系統，其中上述辨識步驟包括：在上述視訊之畫面找出上述第三使用者之外貌特徵，以及比對上述影像資料庫。
如申請專利範圍第1項所述之多媒體互動系統，其中上述互動操作包括以下之任意組合：將上述第三使用者加入一朋友清單；與上述第三使用者進行視訊或話訊；傳送語音或文字訊息給上述第三使用者；傳送電子郵件給上述第三使用者；傳送會議邀請給上述第三使用者；以及分享檔案給上述第三使用者。
如申請專利範圍第1項所述之多媒體互動系統，其中上述處理模組根據一輸入指令進行與上述第三使用者相關之互動操作，上述輸入指令係透過以下方式之任意組合所產生：語音(speech)；觸控事件(touch event)；手勢(gesture)；以及滑鼠事件(mouse event)。
一種多媒體互動方法，包括：在一顯示裝置上顯示一第一使用者與一第二使用者之間所進行之一視訊之畫面；從上述視訊之畫面辨識出一第三使用者；以及在上述視訊中進行與上述第三使用者相關之互動操作。
如申請專利範圍第6項所述之多媒體互動方法，更包括：分析每一使用者之一社群網路帳號之相關影像資料以建立一影像資料庫。
如申請專利範圍第7項所述之多媒體互動方法，其中上述辨識步驟包括：在上述視訊之畫面找出上述第三使用者之外貌特徵，以及比對上述影像資料庫。
如申請專利範圍第6項所述之多媒體互動方法，其中上述互動操作包括以下之任意組合：將上述第三使用者加入一朋友清單；與上述第三使用者進行視訊或話訊；傳送語音或文字訊息給上述第三使用者；傳送電子郵件給上述第三使用者；傳送會議邀請給上述第三使用者；以及分享檔案給上述第三使用者。
如申請專利範圍第6項所述之多媒體互動方法，其中與上述第三使用者相關之互動操作步驟係根據一輸入指令所進行，且上述輸入指令係透過以下方式之任意組合所產生：語音(speech)；觸控事件(touch event)；手勢(gesture)；以及滑鼠事件(mouse event)。