TWI530191B - 管理多媒體會議事件之媒體內容的技術 - Google Patents
管理多媒體會議事件之媒體內容的技術 Download PDFInfo
- Publication number
- TWI530191B TWI530191B TW098108487A TW98108487A TWI530191B TW I530191 B TWI530191 B TW I530191B TW 098108487 A TW098108487 A TW 098108487A TW 98108487 A TW98108487 A TW 98108487A TW I530191 B TWI530191 B TW I530191B
- Authority
- TW
- Taiwan
- Prior art keywords
- activity
- media
- media stream
- module
- conference
- Prior art date
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
- H04N21/4312—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations
- H04N21/4314—Generation of visual interfaces for content selection or interaction; Content or additional data rendering involving specific graphical features, e.g. screen layout, special fonts or colors, blinking icons, highlights or animations for fitting data in a restricted space on the screen, e.g. EPG data in a rectangular grid
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/147—Communication arrangements, e.g. identifying the communication as a video-communication, intermediate storage of the signals
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
本發明係關於管理多媒體會議事件之媒體內容的技術。
一多媒體會議系統通常允許多位參與者在一合作即時會議中經由一網路傳遞及共享不同類型之媒體內容。該多媒體會議系統可使用各種不同的圖形使用者介面(GUI)視窗或視圖,以顯示不同類型的媒體內容。舉例而言,一圖形使用者介面視圖可包括參與者之視訊影像,另一圖形使用者介面視圖可包括簡報幻燈片,而再另一圖形使用者介面視圖可包括參與者之間的文字訊息等等。採用此種方式,分散於各種不同地理位置之參與者可以在一虛擬會議環境中互動及傳遞資訊,該環境類似於所有參與者均處於同一會議室內之實體會議環境。
但是在一虛擬會議環境中,可能難以顯示會議之所有不同參與者。隨此會議參與者人數之增加,此問題通常亦會增加,係因為一些參與者可能正在發言,但其未被顯示,反之亦然,因而可能在參與者之間導致混淆及尷尬。此外,還可能難以在任意既定時刻及時識別一特定發言者,特別是當多位參與者正在同時發言或者快速依次發言時,尤為如此。因此,本發明提出旨在改良一虛擬會議環境中之顯示技術的方法,可以增進使用者之體驗及便利性。
各種具體實施例一般係針對多媒體會議系統。一些具體實施例係特別針對一多媒體會議事件產生一視覺合成的技術。該多媒體會議事件可包括多位參與者,其中一部分聚集於一會議室內,而其他參與者則在一遠端位置參與該多媒體會議事件。
舉例而言在一具體實施例中,一裝置例如會議控制台,其可包括一顯示器及一媒體內容管理器組件。該媒體內容管理器組件係可操作於產生一多媒體會議事件之一視覺合成,以呈現在該顯示器上。該媒體內容管理器組件可包括一視訊解碼器模組,其係可操作於解碼一多媒體會議事件之多種媒體串流,該組件中還包括其他元件。該媒體內容管理器組件可包括一媒體串流管理器模組,其與該視訊解碼器模組通信耦接,該媒體串流管理器模組係可操作於判定解碼媒體串流之一總數大於一視覺合成中之可用顯示訊框之一總數。該媒體內容管理器組件可包括一媒體選擇模組,其與該媒體串流管理器模組通信耦接,該媒體選擇模組係可操作於根據一發言活動,從該解碼媒體串流總數中選擇一解碼媒體串流活動群組,以映射至該可用顯示訊框。本發明描述並主張了其他具體實施例。
提供此發明內容係針對被更進一步描述於下面的實施方式利用一簡化形式做選擇性的概念介紹。此發明內容無意於識別申請標的之關鍵特徵或必要特徵,且無意於用來限制所請求標的之範圍。
各種具體實施例包括實體或邏輯結構,其經配置用以執行特定操作、功能或服務。該結構可包括實體結構、邏輯結構或兩者之組合。使用硬體元件、軟體元件或兩者之組合來實施該等實體或邏輯結構。但是參考特定硬體或軟體元件對具體實施例之描述,其僅作為實例而非限制。決定使用硬體元件或軟體元件來實際地實現一具體實施例,取決於許多外部因素例如一期望運算速率、功率位準、耐熱性、處理周期預算、輸入資料速率、輸出資料速率、記憶體資源、資料匯流排速度,以及其他設計或效能條件限制。此外,該實體或邏輯結構可具有相對應實體或邏輯連接,以採用電子訊號或訊息之方式在該結構之間傳遞資訊。該連接可包括適合於資訊或特定結構之有線及/或無線連接。值得注意的是在提及「一具體實施例」時,意指所描述關於該具體實施例之一特定特徵、結構或特性包含於至少一具體實施例中。在本說明書各不同位置所出現之「在一具體實施例中」一詞,並不一定均指相同具體實施例。
各種具體實施例一般可針對多媒體會議系統,其經配置用於透過一網路提供多位參與者會議及合作服務。一些多媒體會議系統可被設計為使用於各種封包式的網路,例如網際網路或全球資訊網(“web”),以提供基於全球資訊網之會議服務。這些實施例有時被稱為全球資訊網會議系統。一全球資訊網會議系統之實例可包括MICROSOFTOFFICE LIVE MEETING,其由華盛頓雷蒙德之微軟公司製作。其他多媒體會議系統可被設計為操作於一私有網路、公司、組織或企業運轉,且可使用一多媒體會議伺服器,例如由華盛頓雷蒙德之微軟公司製作的MICROSOFT OFFICE COMMUNICATIONS SERVER。但可認知到的是實施方式並不只侷限於這些實例。
一多媒體會議系統可包括一多媒體會議伺服器或者其他處理裝置,其經配置用於提供全球資訊網會議服務,該系統還包括其他網路元件。舉例而言,一多媒體會議伺服器可包括一伺服器會議組件,其係可操作於針對一會議及合作事件(例如一全球資訊網會議)控制及混合不同類型之媒體內容,該伺服器還可包括其他伺服器元件。一會議及合作事件可指任意多媒體會議事件,其在一即時或實況線上環境中,提供各種類型之多媒體資訊,有時被簡稱為「會議事件」、「多媒體事件」或「多媒體會議事件」。
在一具體實施例中,該多媒體會議系統可進一步包括一或多個實施為會議控制台之運算裝置。每一會議控制台經配置可藉由連接至該多媒體會議伺服器以參與一多媒體事件。在該多媒體事件進行期間,該多媒體會議伺服器可接收來自各種會議控制台之不同類型媒體資訊,其又依次地將該媒體資訊分發至部分或所有參與該多媒體事件之其他會議控制台。如此,任意既定會議控制台可具有一顯示器,其具有多個媒體內容視圖,用於顯示不同類型之媒體內容。採用此種方式,分散於各種不同地理位置之參與者可以在一虛擬會議環境中互動及傳遞資訊,該環境類似於所有參與者均處於同一會議室內之實體會議環境。
通常使用一參與者名冊,在一圖形使用者介面視圖中,列出一多媒體會議事件中之參與者。該參與者名冊可具有每一參與者之某些識別資訊,包括姓名、位置、影像、職稱等等。該參與者名冊中之該參與者及識別資訊,其通常係從一加入該多媒體會議事件之會議控制台獲得。例如一參與者通常使用一會議控制台,以加入一多媒體會議事件之虛擬會議室。在加入虛擬會議室之前,該參與者提供各種類型之識別資訊,以便該多媒體會議伺服器進行認證操作。一旦該多媒體會議伺服器認證該參與者之後,該參與者被允許進入該虛擬會議室,該多媒體會議伺服器將該識別資訊新增至該參與者名冊中。
但是在一虛擬會議環境中,可能難以顯示一會議之所有不同參與者。例如該顯示器可能沒有足夠顯示區域,以呈現所有會議參與者的圖形使用者介面視圖。此可能係由於在該會議控制台、該多媒體會議伺服器或該兩者存在之通信或運算資源方面的技術條件限制。此亦可能係由於一顯示器沒有足夠顯示區域,而無法以一種便於檢視者辨別之方式來呈現所有會議參與者的圖形使用者介面視圖。舉例而言,外型較小之電子裝置例如一手持式電腦或行動電話,其顯示區域可能較小,因而在實體或邏輯上無法呈現所需要之圖形使用者介面視圖。對於具有較大顯示器之電子裝置例如筆記型電腦或桌面電腦,由於會議參與者之數目而必需使用小尺寸之圖形使用者介面視圖,因而使個別會議參與者難以檢視。即便對於一些電子裝置,其能夠使用顯示器而沒有實際顯示區域限制,例如具有全尺寸螢幕之桌上型電腦,會議參與者之數目也會導致相對應數目之圖形使用者介面視圖同時被顯示時,可能產生一種令人混淆及擁擠之視覺合成。當擔任會議領導人角色之會議參與者「固定(pin)」特定會議參與者之特定圖形使用者介面視圖時,此問題可能會因此而被進一步惡化。當此種情況發生時,無論該圖形使用者介面視圖上所顯現會議參與者之發言行為如何,該等會議控制台均顯示被固定的圖形使用者介面視圖。結果可用圖形使用者介面視圖之數目,其被進一步縮小至該會議領導人所固定之部分圖形使用者介面視圖的程度。
為解決這些及其他問題,該等具體實施例一般係針對一多媒體會議事件產生視覺合成之相關技術。更進一步說明之,某些具體實施例係產生一視覺合成之技術,其可提供給該會議參與者在該數位域內更為自然之視覺呈現。該視覺合成整合及彙集不同類型之多媒體內容,該內容係與一多媒體會議事件中之每一參與者相關,其包括視訊內容、音訊內容、識別資訊等等。該視覺合成採用一方式呈現該經整合及彙集之資訊,該方式允許有效顯示一數量之圖形使用者介面視圖,該數量小於會議參與者之數目。
在各種具體實施例中,一媒體內容管理器組件,其可在任意既定時刻選擇性地即時顯示這些圖形使用者介面視圖,該等視圖中具有正在發言或可能要發言之參與者。當一目前未被顯示之會議參與者正從事發言活動時,該媒體內容管理器組件可選擇性地以該新會議參與者,取代一既定圖形使用者介面視圖目前所顯示之現有會議參與者。例如,可藉由利用一種選擇演算法來完成此操作,該演算法被調整用以根據一組媒體內容選擇準則,以一智慧型方式取代一現有會議參與者。相對於傳統顯示技術,該媒體內容管理器組件採用此種方式可能提供幾種優勢,例如減少媒體內容之重複次數,限制一既定圖形使用者介面視圖所顯示媒體內容之間的轉換,以及向檢視者提供某種彈性,使其能夠在任意既定時間選擇一特定媒體內容集。結果,經改良的顯示技術於一虛擬會議環境中,其可以增進使用者之體驗及便利性。
第1圖顯示一多媒體會議系統100之一方塊圖。多媒體會議系統100可代表一適用於實施各種具體實施例之一般系統架構。多媒體會議系統100可包括多個元件。一元件可包括任意經配置以執行某些操作之實體或邏輯結構。每一元件可被實施為硬體、軟體或其任意組合,以滿足一組既定設計參數集或效能條件限件之需要。硬體元件之實例可包括裝置、組件、處理器、微處理器、電路、電路元件(例如電晶體、電阻器、電容器、電感器等等)、積體電路、特定應用積體電路(ASIC)、可程式邏輯裝置(PLD)、數位訊號處理器(DSP)、場可程式邏輯閘陣列(FPGA)、記憶體單元、邏輯閘、暫存器、半導體器件、晶片、微晶片及晶片組等等。軟體之實例可包括任意軟體組件、程式、應用、電腦程式、應用程式、系統程式、機器程式、作業系統軟體、中間軟體、韌體、軟體模組、常式、副常式、函數、方法、介面、軟體介面、應用程式介面(API)、指令集、計算程式碼、電腦程式碼、程式碼片段、電腦程式碼片段、字元、值、符號或其任意組合。雖然在一特定拓撲結構中,第1圖所示多媒體會議系統100具有一有限數目個元件,但應認知到的是在其他拓撲結構中,多媒體會議系統100可根據一既定實施例之需要包含更多或更少元件。該等具體實施例在本文中不受限制。
在各種具體實施例中,該多媒體會議系統100可包括一有線通信系統、一無線通信系統或兩者之組合,或者由其構成該系統之一部分。舉例而言,該多媒體會議系統100可包括一或多個元件,其經配置用於經由一或多種類型之有線通信鏈路傳遞資訊。一有線通信鏈路之實例可包括(但不限於)有線、纜線、匯流排、印刷電路板(PCB)、乙太網路連接、點對點(P2P)連接、底板、交換機、半導體材料、雙絞線、同軸電纜及光纖連接等等。該多媒體會議系統100亦可包括一或多個元件,其經配置用於經由一或多種類型之無線通信鏈路傳遞資訊。無線通信鏈路之實例可包括(但不限於)無線電通道、紅外線通道、射頻(RF)通道、無線保真(WiFi)通道、射頻頻譜之一部分,及/或一或多個授權或無須授權之頻帶。
在各種具體實施例中,該多媒體會議系統100可經配置用於傳遞、管理或處理不同類型之資訊,例如媒體資訊及控制資訊。媒體資訊之實例一般可包括任意代表一使用者之內容的資料,例如語音資訊、視訊資訊、音訊資訊、影像資訊、文字資訊、數值資訊、應用資訊、文數字符號、圖形等等。媒體資訊有時也可被稱為「媒體內容」。控制資訊可指任意代表以下內容之資料:一自動化系統之命令、指令或控制字元。舉例而言,控制資訊可被用以經由一系統路由媒體資訊,以在裝置之間建立一連接,指示一裝置以一預定方式處理該媒體資訊等等。
在各種具體實施例中,多媒體會議系統100可包括一多媒體會議伺服器130。該多媒體會議伺服器130可包括任意邏輯或實際實體,其經配置用以經由一網路120在會議控制台110-1-m之間建立、管理或控制一多媒體會議呼叫。舉例而言,網路120可包括封包交換網路、電路交換網路或其組合。在各種具體實施例中,該多媒體會議伺服器130可包括或被實施為任意處理或運算裝置,例如一電腦、一伺服器、一伺服器陣列或伺服器群、一工作站、一小型電腦、一主機電腦及一超級電腦等等。該多媒體會議伺服器130可包括或實施一通用或特定運算架構,其適用於傳遞及處理多媒體資訊。在一具體實施例中,例如可以使用參考第5圖所描述之運算架構,實施該多媒體會議伺服器130。該多媒體會議伺服器130之實例可包括(但不限於)MICROSOFT OFFICE COMMUNICATIONS SERVER及MICROSOFT OFFICE LIVE MEETING伺服器等等。
該多媒體會議伺服器130之一特定實施例,其可根據該多媒體會議伺服器130所使用之通信協定集或標準集而相應變化。在一實例中,該多媒體會議伺服器130可根據以下標準實施:網際網路工程任務小組(Internet Engineering Task Force,IETF)、多方多媒體會談控制(Multiparty Multimedia Session Control,MMUSIC)及工作群組會談啟始協定(Working Group Session Initiation Protocol,SIP)標準系列及/或其變體。會議啟始協定係一種建議標準,用於啟始、修改及終止包含多媒體元素之互動使用者會談,該等多媒體元素例如為視訊、音訊、即時訊息、網路遊戲及虛擬實境。在另一實例中,該多媒體會議伺服器130可根據國際電信聯盟(International Telecommunication Union,ITU)H.323標準系列及/或其變體而實施。H.323標準定義一種多點控制單元(MCU),以協調會議呼叫操作。具體而言,該多點控制單元包括:一多點控制器(MC),其為處理H.245的信號;以及一或多個多點處理器(MP),其為混合及處理該等資料串流。會談啟始協定及H.323標準,皆均為用於網際網路語音(VoIP)或封包語音(VOP)多媒體會議呼叫操作之發訊通訊協定。但應認知到的是其他發訊通訊協定也能在該多媒體會議伺服器130上實施,然而其亦屬於該等具體實施例之範圍。
在一般操作中,多媒體會議系統100可被用於多媒體會議呼叫。多媒體會議呼叫通常包含在多個端點之間傳遞語音、視訊及/或資料資訊。舉例而言,一公共或私有封包網路120可被用於音訊會議呼叫、視訊會議呼叫、音訊/視訊會議呼叫、合作式的文件共享及編輯等等。該封包網路120亦可經由一或多個適當網際網路語音閘道器,連接至一公眾交換電話網路(PSTN),該等閘道經配置用於在電路交換資訊與封包資訊之間進行轉換。
欲在該封包網路120建立一多媒體會議呼叫,每一會議控制台110-1-m可使用各種不同類型之有線或無線通信鏈路,以不同連接速度或頻寬,經由該封包網路120連接至多媒體會議伺服器130,該等通信鏈路例如為較低頻寬公眾交換電話網路之電話連接、中等頻寬DSL數據機連接或纜線數據機連接,以及經由區域網路(LAN)之較高頻寬企業內部網路連接。
在各種具體實施例中,該多媒體會議伺服器130可在會議控制台110-1-m之間建立、管理及控制一多媒體會議呼叫。在一些具體實施例中,該多媒體會議呼叫可包括一實況網頁式之會議呼叫,其使用一種提供完全合作功能之網頁式會議應用程式。該多媒體會議伺服器130作為一中央伺服器,其在該會議中控制及分配媒體資訊。該多媒體會議伺服器,其自各種會議控制台110-1-m接收媒體資訊,對多種類型之媒體資訊執行混合操作,且將該媒體資訊傳遞至部份或所有其他參與者。一或多個會議控制台110-1-m,其可藉由連接至該多媒體會議伺服器130而加入一會議。該多媒體會議伺服器130可實施各種管理控制技術,而以一種安全、可控制的方式認證及新增會議控制台110-1-m。
在各種具體實施例中,該多媒體會議系統100可包括一或多個運算裝置,其被實施為會議控制台110-1-m,以經由網路120之一或多個通信連接,連接至該多媒體會議伺服器130。舉例而言,一運算裝置可實施一用戶端應用程式,其可同時主控多個會議控制台,其每一者代表一獨立會議。類似地,該用戶端應用程式可接收多個音訊、視訊及資料串流。舉例而言,來自全部或部分參與者之視訊串流,可在該參與者之顯示器上顯示為一鑲嵌結構,該顯示器具有一頂部視窗,其中顯示目前發言者之視訊,而在其他視窗中顯示其他參與者之一全景視圖。
該等會議控制台110-1-m可包括任意邏輯或實際實體,其經配置以參與或進入由該多媒體會議伺服器130管理之多媒體會議呼叫。該等會議控制台110-1-m可被實施成任意裝置,在其最基本形式中為一處理系統(該系統包括一處理器及記憶體)、一或多個多媒體輸入/輸出(I/O)組件以及一無線及/或有線網路連接。多媒體I/O組件之實例可包括音訊I/O組件(例如麥克風、揚聲器)、視訊I/O組件(例如攝影機、顯示器)、觸覺(I/O)組件(例如震動器)及使用者資料(I/O)組件(例如鍵盤、拇指板、小鍵盤、觸控式螢幕)等等。該等會議控制台110-1-m之實例可包括電話、網際網路語音或封包語音電話、設計為操作於PSTN上之封包電話、網際網路電話、視訊電話、行動電話、個人數位助理(PDA)、行動電話與個人數位助理之組合、行動運算裝置、智慧型電話、單向傳呼機、雙向傳呼機、訊息發送裝置、電腦、個人電腦(PC)、桌上型電腦、膝上型電腦、筆記型電腦、手持電腦及網路裝置等等。在一些具體實施例中,該等會議控制台110-1-m可透過使用一通用或特定運算架構來加以實施,該架構類似於參考第5圖所描述之運算結構。
該等會議控制台110-1-m可包括或實施個別用戶端會議組件112-1-n。該等用戶端會議組件112-1-n,其可被設計為與該多媒體會議伺服器130之伺服器會議組件132相互操作,以建立、管理或控制一多媒體會議事件。舉例而言,該等用戶端會議組件112-1-n,其可包括或實施該等適當應用程式及使用者介面控制項,以允許該等個別會議控制台110-1-m參與由該多媒體會議伺服器130進行之一網站會議。其可包括輸入設備(例如攝影機、麥克風、鍵盤、滑鼠及控制器等等),以擷取由一會議控制台110-1-m之操作者所提供之媒體資訊,還可包括輸出設備(例如顯示器、揚聲器等等),以由其他會議控制台110-1-m之操作者重製媒體資訊。用戶端會議組件112-1-n之實例可包括(但不限於)一MICROSOFT OFFICE COMMUNICATOR或基於Windows會議控制台的MICROSOFT OFFICE LIVE MEETING等等。
如第1圖所描述之具體實施例中所示,該多媒體會議系統100可包括一會議室150。一企業或公司通常利用會議室舉行會議。此等會議包括多媒體會議事件,其既有位於該會議室150內部之參與者,還有會議室150外部之遠端參與者。該會議室150可具有各種可用運算及通信資源,以支援多媒體會議事件,且在一或多個遠端會議控制台110-2-m與本地端會議控制台110-1之間提供多媒體資訊。舉例而言,該會議室150可包括位於該會議室150內部之一本地端會議控制台110-1。
該本地端會議控制台110-1可被連接至各種多媒體輸入裝置及/或多媒體輸出裝置,其能夠擷取、傳遞或重製多媒體資訊。該多媒體輸入裝置可包括任意邏輯或實體裝置,其經配置用於擷取或接收來自該會議室150內之操作者的輸入多媒體資訊,該等裝置包括音訊輸入裝置、視訊輸入裝置、影像輸入裝置、文字輸入裝置,或者其他多媒體輸入設備。多媒體輸入裝置之實例可包括(但不限於)攝影機、麥克風、麥克風陣列、會議電話、白板、互動白板、語音轉文字組件、文字轉語音組件、語音識別系統、指向裝置、鍵盤、觸控式螢幕、平板電腦及手寫識別裝置等等。一攝影機之實例可包括一全景數位相機(ringcam),例如由華盛頓雷蒙德之微軟公司製作的MICROSOFT ROUNDTABLE。該MICROSOFT ROUNDTABLE係一種具有360度攝影機之視訊會議裝置,其向遠端會議參與者提供每位坐在會議桌旁邊之人員的全景視訊。該多媒體輸出裝置可包括任意邏輯或實體裝置,其經配置用於重製或顯示來自該遠端會議控制台110-2-m之操作者的輸出多媒體資訊,該等裝置包含音訊輸出裝置、視訊輸出裝置、影像輸出裝置、文字輸入裝置,或者其他多媒體輸出設備。多媒體輸出裝置之實例可包括(但不限於)電子顯示器、視訊投影機、揚聲器、振動單元、印表機及傳真機等等。
該會議室150中之本地端會議控制台110-1可包括各種多媒體輸入裝置,其經配置用以擷取來自該會議室150之媒體內容,其中該會議室內包含參與者154-1-p,且將該媒體內容串流至多媒體會議伺服器130。在第1圖所示之具體實施例中,該本地端會議控制台110-1包括一攝影機106及一麥克風陣列104-1-r。該攝影機106可擷取視訊內容,其包括該會議室150內之參與者154-1-p之視訊內容,且經由該本地端會議控制台110-1將該等視訊內容串流至該多媒體會議伺服器130。類似地,該麥克風陣列104-1-r可擷取音訊內容,其包括該會議室150內之參與者154-1-p之音訊內容,且經由該本地會議控制台110-1將該等音訊內容串流至該多媒體會議伺服器130。該本地端會議控制台亦可包括各種媒體輸出裝置,例如一顯示器116或視訊投影機,以顯示一或多個圖形使用者介面視圖,其中包含來自所有參與者之視訊內容或音訊內容,該等內容係經由該多媒體會議伺服器130使用該等會議控制台110-1-m接收。
該等會議控制台110-1-m及該多媒體會議伺服器130可利用針對一既定多媒體會議事件所建立之各種媒體連接,傳遞媒體資訊及控制資訊。該等媒體連接可使用各種網際網路語音發訊通訊協定來建立,例如該等會談啟始協定系列。該等會議啟始協定系列係應用層控制(發訊)通訊協定,其用於創建、修改及終止與一或多位參與者進行之會談。此等會談包括網際網路多媒體會議、網際網路電話呼叫及多媒體分配。一會談中之成員可以經由多播或經由單播關係網,或經由此等兩者之組合進行通訊。會議啟始協定被設計為整體IETF多媒體資料及控制架構之一部分,該架構目前整合諸如以下通訊協定:資源預留協定(RSVP)(IEEE RFC 2205),用於預留網路資源;即時傳送協定(RTP)(IEEE RFC 1889),用於傳送即時資料及提供服務品質(QOS)回饋;即時資料流通訊協定(RTSP)(IEEE RFC 2326),用於控制串流媒體之傳送;會談宣告協定(SAP),用於經由多播宣告多媒體會談;會談描述協定(SDP)(IEEE RFC 2327),用於描述多媒體會談;以及其他協定。舉例而言,該等會議控制台110-1-m可使用會談啟始協定作為一發訊通道,以建立該等媒體連接,與可使用即時傳送協定作為一媒體通道,以經由該等媒體連接傳送媒體資訊。
在一般操作中,一排程裝置108可被用於針對該多媒體會議系統100產生一多媒體會議事件預約。該排程裝置108可包括例如一運算裝置,其具有適當硬體及軟體,其用於排程多媒體會議事件。舉例而言,該排程裝置108可包括一電腦,其使用由華盛頓雷蒙德之微軟公司製作之MICROSOFT OFFICE OUTLOOK應用程式軟體。該MICROSOFT OFFICE OUTLOOK應用程式軟體包括訊息發送及合作用戶端軟體,其可用於排程一多媒體會議事件。一操作者可使用MICROSOFT OFFICE OUTLOOK轉換一排程請求至一MICROSOFT OFFICE LIVE MEETING事件,該事件被發送至一會議受邀者清單。該排程請求可包括一超鏈結,其鏈結至進行一多媒體會議事件之虛擬房間。一受邀者可按一下該超鏈結,而該會議控制台110-1-m則會啟動一網頁瀏覽器,連接至該多媒體會議伺服器130,並且加入該虛擬房間。一旦加入之後,該參與者可在內建式白板及其他工具上呈現一幻燈片簡報、注釋文件或進行集體腦力激盪。
一操作者可使用該排程裝置108針對一多媒體會議事件,產生一多媒體會議事件預約。該多媒體會議事件預約可包括該多媒體會議事件之會議受邀者清單。該會議受邀者清單可包括受邀參加一多媒體會議事件之個人清單。在一些情況中,該會議受邀者清單可以僅包含針對該多媒體事件受到邀請並接受之個人。一用戶端應用程式,例如Microsoft Outlook之郵件用戶端,將該預約請求傳遞至該多媒體會議伺服器130。該多媒體會議伺服器130可接收該多媒體會議事件預約,且可自一網路裝置(例如一企業資源目錄160)擷取該會議受邀者清單及該會議受邀者之相關資訊。
該企業資源目錄160可包括一網路裝置,其公佈操作者及/或網路資源之一公共目錄。該企業資源目錄160所公佈網路資源之一常見實例包括網路印表機。例如在一具體實施例中,該企業資源目錄160可被實施為MICROSOFT ACTIVE DIRECTORY。Active Directory係輕量級目錄存取協定(LDAP)目錄服務之一實施例,其用於為網路電腦提供集中驗證及授權服務。Active Directory亦允許管理人員為一組織指定策略、部署軟體及進行重大更新。Active Directory在一中央資料庫中儲存資訊及設定。Active Directory網路可以從具有數百個物件之小型裝置至具有數百萬個物件之大型裝置。
在各種具體實施例中,該企業資源目錄160可包括該等各種會議受邀人員參與一多媒體會議事件之識別資訊。該識別資訊可包括能夠獨一無二地識別出每位會議受邀者之任意類型資訊。舉例而言,該識別資訊可包括(但不限於)姓名、位置、連絡資訊、帳戶號碼、職業資訊、組織資訊(例如職稱)、個人資訊、連接資訊、出席資訊、網路位址、媒體存取控制(MAC)位址、網際網路協定(IP)位址、電話號碼、電子郵件地址、通信協定地址(例如會談啟始協定地址)、設備識別符號、硬體組態、軟體組態、有線介面、無線介面、可支援的協定,以及其他需要資訊。
該多媒體會議伺服器130可接收該多媒體會議事件預約,其包括會議受邀者清單,與可從該企業資源目錄160擷取相對應識別資訊。該多媒體會議伺服器130可利用該會議受邀者清單及相應識別資訊,以輔助識別一多媒體會議事件之參與者。舉例而言,該多媒體會議伺服器130可向該等會議控制台110-1-m傳遞該會議受邀者清單及相對應識別資訊,以用於在該多媒體會議事件中識別一視覺合成108中之參與者。
再次參考該等會議控制台110-1-m,該等會議控制台110-1-m之每一者可包括或實施個別媒體內容管理器組件114-1-t。該等媒體內容管理器組件114-1-t一般可操作用於在一顯示器116上,針對一多媒體會議事件產生、管理及顯示一視覺合成108。儘管藉由實例而非限制性方式,可將該視覺合成108及該顯示器116顯示為該會議控制台110-1之一部分,但可認知到的是該等會議控制台110-1-m之每一者,其可包括類似於該顯示器116之電子顯示器,且能夠為該等會議控制台110-1-m之每一操作者呈現該視覺合成108。
在一具體實施例中,例如該本地端會議控制台110-1可包括該顯示器116及該媒體內容管理器組件114-1,其係可操作於針對一多媒體會議事件產生一視覺合成108。該媒體內容管理器組件114-1可包括各種硬體元件及/或軟體元件,其經配置用於產生該視覺合成108,該視覺合成108在該數位域內提供會議參與者(例如154-1-p)更為自然的視覺呈現。該視覺合成108整合及彙集不同類型之多媒體內容,該等內容與一多媒體會議事件中之每一參與者相關,其包括視訊內容、音訊內容及識別資訊等等。
一媒體內容管理器組件114-1-t可選擇性地顯示該視覺合成108之各種圖形使用者介面視圖。該視覺合成108可包括多個圖形使用者介面視圖,其中每一圖形使用者介面視圖具有一或多位會議參與者。當一目前未在該視覺合成108之圖形使用者介面視圖顯示之會議參與者從事發言活動時,該媒體內容管理器組件114-1-t可選擇性地以該新會議參與者,取代一既定圖形使用者介面視圖目前所顯示之現有會議參與者。例如可利用一種選擇演算法來完成此操作,該演算法被調整用以根據一組媒體內容選擇準則,以智慧型方式替換一現有會議參與者。下面將參考第2圖,其更詳盡地描述一般意義之該會議控制台110-1-m與具特定意義之該媒體內容管理器組件114-1-t。
第2圖說明一方塊圖,其顯示出來自該媒體內容管理器組件114-1-t之舉例性媒體內容管理器組件114。該媒體內容管理器組件114可包括多個模組。該等模組可以使用硬體元件、軟體元件或者硬體元件與軟體元件之組合來實施。儘管在一特定拓撲結構中,第2圖所示之該媒體內容管理器組件114具有有限數目個元件,但可認知到的是在其他拓撲結構中,該媒體內容管理器組件114可根據一既定實施例之需要,包含更多或更少元件。在本文中該等具體實施例不受限制。
在第2圖所示之具體實施例中,該媒體內容管理器組件114包括一視訊解碼器模組210。該視訊解碼器模組210,其通常可對經由該多媒體會議伺服器130,從各會議控制台110-1-m接收之媒體串流進行解碼。舉例而言,在一具體實施例中,該視訊解碼器模組可經配置用於從參與一多媒體會議事件之各種會議控制台110-1-m中,接收輸入媒體串流202-1-f。該視訊解碼器模組210可將該等輸入媒體串流202-1-f,解碼為適用於顯示器116顯示之數位或類比視訊內容。此外,該視訊解碼器模組210可將該等輸入媒體串流202-1-f,解碼為各種空間解析度及時間空間解析度,其適合用於該顯示器116及該視覺合成108所使用之顯示訊框。
該媒體內容管理器組件114-1可包括一目前發言者偵測器(ASD)模組220,其以通信方式耦接至該視訊解碼器模組210。該目前發言者偵測器模組220一般可偵測該等被解碼媒體串流202-1-f中之任意參與者,其是否為目前發言者,或者其是否參與可被偵測語音活動。可針對該目前發言者偵測器模組220實施各種目前發言者偵測技術。在一具體實施例中,例如該目前發言者偵測器模組220可偵測及量測一被解碼媒體串流中之語音能量,根據最高語言能量至最低語言能量,對該等量測值進行排序,然後選擇具有最高語音能量之被解碼媒體串流,以代表該目前發言者。然而亦可使用其他目前發言者偵測器技術,該等具體實施例在本文中不受限制。
然而在一些實例中,一輸入媒體串流202-1-f可能包含多於一位參與者,例如來自位於該會議室150中之本地端會議控制台110-1的輸入媒體串流202-1。在此例中,該目前發言者偵測器模組220可經配置用於利用音訊(語音來源定位)及視訊(行動及空間型樣)特徵,以偵測出位於該會議室150之參與者154-1-p中的主導者或目前發言者。當多人同時談話時,該目前發言者偵測器模組220可偵測出該會議室150中之主導發言者。其亦補償背景雜訊及反射聲音之硬表面。舉例而言,該目前發言者偵測器模組220可自六個不同麥克風104-1-r中接收輸入,且經由稱為「波束成形」程序之處理以區分不同聲音及隔離出主導者。該等麥克風104-1-r之每一者被內嵌於該會議控制台110-1之不同部分。不考量聲音之速度,該等麥克風104-1-r可在相互不同的時間間隔,接收來自該等參與者154-1-p之語音資訊。該目前發言者偵測器模組220可使用此時間差,以識別該語音資訊之來源。一旦識別出該語音資訊之來源,則該本地端會議控制台110-1之控制器可利用來自該攝影機106-1-p之視覺線索,以固定、放大及強調出該主導發言者之面容。採用此種方式,該本地端會議控制台110-1之目前發言者偵測器模組220,其將來自該會議室150中之單一參與者154-1-p,隔離出為該傳送端之目前發言者。
該媒體內容管理器組件114-1,其可包括一媒體串流管理器(MSM)模組230,其係以通信方式耦接至該目前發言者偵測器模組220。該媒體串流管理器模組230一般可將經解碼媒體串流,映射至各顯示訊框上。舉例而言,在一具體實施例中,該媒體串流管理器模組230可經配置用以決定該解碼輸入媒體串流202-1-f之一總數。例如此資訊可自該視訊解碼器模組210接收。該媒體串流管理器模組230,其亦可決定該視覺合成108中之可用顯示訊框之一總數。該可用顯示訊框之總數可以根據技術條件限制(例如運算資源或通信資源)、視圖條件限制(例如顯示區域或期望圖形使用者介面視圖大小)或其他設計條件限制來計算得到。該媒體串流管理器模組230可比較該等總數,以判定該解碼媒體串流之總數是否大於該視覺合成108中之該可用顯示訊框之總數,因而有必要實施一媒體內容選擇演算法,以利用該等可用顯示訊框顯示,以選擇將被顯示的解碼媒體串流。該媒體內容選擇演算法可使用一媒體選擇模組260加以實施。
藉由實例之方式,假設L表示由該視訊解碼器模組210所解碼之解碼媒體串流之一數目,而A代表該視覺合成108之可用顯示訊框之一數目。進一步假設A=x+y,其中x表示用於呈現固定解碼媒體串流之顯示訊框之一數目,而y表示用於呈現解碼媒體串流活動群組中之解碼媒體串流的顯示訊框之一數目。
當該解碼媒體串流總數不大於該視覺合成108中之顯示訊框總數時(例如L<=A),則該媒體串流管理器模組230可將該等解碼媒體串流,映射至該等可用顯示訊框上。在此例中,該視覺合成108可具有一足夠數目之可用顯示訊框,針對一既定多媒體會議事件,顯示該等解碼媒體串流中之所有參與者154-1-p。
然而當該解碼媒體串流總數大於該視覺合成108中之顯示訊框總數時(例如L>A),則該媒體串流管理器模組230,其可能需要將該等解碼媒體串流總數之一子集,映射至該等可用顯示訊框上。在此例中,該視覺合成108可能無需具有足夠數目之可用顯示訊框,針對一既定多媒體會議事件,顯示該等解碼媒體串流中之所有參與者154-1-p。該解碼媒體串流之特定子集可由該媒體選擇模組260選擇,其中該解碼媒體串流是用該等可用顯示訊框加以呈現。
該媒體選擇模組260可經配置以根據發言活動,從該等解碼媒體串流總數中選擇一解碼媒體串流活動群組,以映射至該等可用顯示訊框上。該解碼媒體串流活動群組,其指的是目前被映射至一可用顯示訊框之解碼媒體串流。藉由對比之方式,目前未被映射至一可用顯示訊框之解碼媒體串流,其可被稱為解碼媒體串流之非活動群組。通常非活動群組中之成員,無法藉由來自一解碼媒體串流之視訊內容看見影像,但可經由該解碼媒體串流之音訊內容,以聽到該等成員的聲音。
在一媒體會議事件初始化或開始時,該媒體選擇模組260可以採用任意不同的方式,起始地選擇解碼媒體串流之該活動群組。舉例而言,該媒體選擇模組260可以隨機或任意方式,以選擇該活動群組。在另一實例中,該媒體選擇模組260可根據一組選擇準則,以選擇該活動群組,例如根據該等參與者154-1-p加入該多媒體會議事件時之順序來進行選擇。在一些情況中,該媒體選擇模組260可根據某些啟發式的方法(heuristics),以選擇該活動群組,該等啟發式的方法被設計用於預測出更可能從事發言活動之參與者154-1-p。舉例而言,特定參與者154-1-p可被指定為一多媒體會議事件之報告者,而其他參與者154-1-p可被指定為該多媒體會議事件之出席者。由於報告者在一多媒體會議事件進行期間之發言通常多於出席者,因此在開始時可以將被指定為報告者之參與者154-1-p,選擇為活動群組。在任意事件中,該媒體選擇模組260可起始地選擇該活動群組,且將所選擇的該活動群組,傳送至該媒體串流管理器模組230,以映射至一可用顯示訊框。
在一多媒體會議事件進行期間之某些時刻,該媒體串流管理器模組230可能必須定期重新組態該活動群組,以顯示不同於該媒體選擇模組260起始選擇之參與者154-1-p。例如在一具體實施例中,該媒體選擇模組260可根據發言活動,以選擇解碼媒體串流非活動群組中之一成員,作為一非活動替代候選人,以取代解碼媒體串流活動群組之一成員。在一多媒體會議事件進行期間,該解碼媒體串流非活動群組中之一參與者154-1-p,其可能從事發言活動,例如一出席者向一報告者提出問題。該目前發言者偵測器模組220監視該等解碼媒體串流,以偵測何時發生發言活動。當該目前發言者偵測器模組220,其偵測到一非活動群組中之一成員從事發言活動時,該目前發言者偵測器模組220,其可向該媒體串流管理器模組230發送通知。
該媒體串流管理器模組230,其可能根據該目前發言者偵測器模組220偵測之發言活動,以重新組態該活動群組。如果該媒體串流管理器模組230,其擁有目前未被映射至該活動群組之解碼媒體串流的可用顯示訊框時,該媒體串流管理器模組230,其將該非活動群組之成員映射至該可用顯示訊框。但是如果沒有可用顯示訊框,則該媒體串流管理器模組230,其可向該媒體選擇模組260發送一控制指令,以選擇該活動群組中之一成員,使其由該非活動群組中之發言成員來替代。
該媒體選擇模組260可經配置用於根據一活動分數,以選擇解碼媒體串流活動群組中之一成員,作為將由解碼媒體串流非活動群組中一成員取代之活動取代候選人。該活動取代候選人可能為一參與者154-1-p,其將降低以下可能性:該使用者在被置於該非活動群組之後,於很短時間內進行後續發言活動,而被切換回活動群組。換言之,在理想情況下,該活動取代候選人應為該活動群組中具有以下特性之一成員,其在被放置於該非活動群組之後,若在短時間內再次發言,能在短時間內再次將其切換回活動群組。
在一些情況中,可使用一活動分數選擇該活動取代候選人。該媒體內容管理器組件114可包括一活動分數產生(ASG)模組250,其以通信方式耦接至該目前發言者偵測器模組220及該媒體選擇模組260。該活動分數產生模組250,其可自該目前發言者偵測器模組220接收發言活動資訊。該活動分數產生模組250可從輸入中使用該發言活動資訊,針對該等參與者154-1-p產生活動分數。該等活動分數可代表該等參與者154-1-p中每一者之發言活動的不同級別。該等活動分數可被輸出至該媒體選擇模組260,以用於選擇該活動群組。
舉例而言,在一具體實施例中,該活動分數產生模組250可產生一活動分數,以代表該等解碼媒體串流中之參與者154-1-p之發言活動特性。該活動分數產生模組250可實施各種分數產生演算法,其根據發言活動之不同特徵產生活動分數,該等特徵在一定程度上預示該活動群組中一成員將在何時再次發言。可以為該等不同特徵定義各種度量,且用於產生統計資訊或分析資訊,此等資訊可用作將來發言活動之預測器。該媒體選擇模組260可使用該等活動分數,以從該活動群組中選擇一活動取代候選人,其在短時間內再次發言之可能性較低,因而減少了該活動群組與該非活動群組之間的成員轉換。一般而言,一較高活動分數表示一較高發言活動級別,而一較低活動分數表示一較低發言活動級別,當然該等具體實施例並不受限於此實例。可對該等活動分數進行相關性排序及/或評級,以便於選擇操作。
舉例而言,在一具體實施例中,該活動分數產生模組250可產生一活動分數,以代表一參與者154-1-p最近發言活動之時間。該目前發言者偵測器模組220可監視該等解碼媒體串流,且記錄一既定解碼媒體串流之發言活動何時發生。可為該等解碼媒體串流之每一參與者154-1-p儲存一時間戳記。該時間戳記可擁有一日期及/或時間,其代表一參與者154-1-p從事發言活動之最近時間,例如詢問一問題或呈現資訊。該活動分數產生模組250可分析所有參與者154-1-p之時間戳記,且針對最近時間之時間戳記產生一較高活動分數,從而說明為最近發言活動,而針對較晚時間之時間戳記產生一較低活動分數,從而說明為較晚發言活動。該較高活動分數可能表示一最近發言之參與者154-1-p很可能參與該多媒體會議事件之主題,因而更可能在近期再次發言。該較低活動分數可能表示:先前在該多媒體會議事件中發言之參與者154-1-p較不可能參與該多媒體會議事件之目前主題,因此在近期再次發言的可能性較低,因此可以作為該活動群組中之合適取代候選人。
舉例而言,在一具體實施例中,該活動分數產生模組250可產生一活動分數,以代表發言活動對非發言活動之比值。該目前發言者偵測器模組220可監視該等解碼媒體串流,且記錄一既定解碼媒體串流之發言活動何時發生。可為該等解碼媒體串流之每一參與者154-1-p儲存多個時間戳記。該等時間戳記可擁有一日期及/或時間,其代表一參與者154-1-p每次從事發言活動之時間,以及該發言活動之持續時間。該活動分數產生模組250可分析所有參與者154-1-p之時間戳記,以決定發言活動對非發言活動之一比值。如果比值顯示發言活動數量相對於非發言活動數量較大,則該活動分數產生模組250可為此等比值產生一較高活動分數,如果比值顯示發言活動數量相對於非發言活動數量較小,則為此等比值產生一較低活動分數。該較高活動分數可預示:一經常發言以及/或者發言時間較長之參與者154-1-p更可能在近期再次發言。該較低活動分數可預示:一發言次數較少以及/或者發言時間較短之參與者154-1-p在近期再次發言之可能性較低,因而可以作為該活動群組中之合適取代候選人。
舉例而言,在一具體實施例中,該活動分數產生模組250可產生一活動分數,以代表一參與者發言活動之一次數值。不像前一實例那樣使用一比值代表發言持續時間及/或頻率,該活動分數產生模組250可為每一參與者154-1-p實施一計數器,且在該參與者154-1-p每次從事發言活動時進行計數。與該比值類似,可向較高計數指定一較高活動分數,可向較低計數指定一較低活動分數。該較高活動分數可預示:一經常發言之參與者154-1-p更可能在近期再次發言。該較低活動分數可預示:一發言次數較少參與者154-1-p在近期再次發言之可能性較低,因而可以作為該活動群組中之合適取代候選人。
舉例而言,在一具體實施例中,該活動分數產生模組250可產生一活動分數,以代表一參與者發言活動之一長度值。該目前發言者偵測器模組220可監視該等解碼媒體串流,且記錄一既定解碼媒體串流之發言活動何時發生。可為該等解碼媒體串流之每一參與者154-1-p儲存多個時間戳記。該等時間戳記可擁有一日期及/或時間,其代表一參與者154-1-p每次從事發言活動之時間,以及該發言活動之持續時間。該活動分數產生模組250可能分析所有參與者154-1-p之時間戳記,以決定每一參與者154-1-p之發言活動的一平均長度。對於此等顯示為較長發言活動持續時間之平均長度值,該活動分數產生模組250可產生一較高活動分數,而對於顯示為較短發言活動持續時間之平均長度值,產生一較低活動分數。該較高活動分數可預示:一發言時間較長之參與者154-1-p很可能在近期再次發言。該較低活動分數可預示:一發言時間較短之參與者154-1-p在近期再次發言之可能性較低,因而可以作為該活動群組中之合適取代候選人。
一旦該活動分數產生模組250針對該等參與者154-1-p產生該等活動分數,該活動分數產生模組250,其可向該媒體選擇模組260輸出該等活動分數。該媒體選擇模組260可使用該等活動分數,以選擇該活動取代候選人,且將該活動取代候選人,輸出至該媒體串流管理器模組230。該媒體串流管理器模組230於是可使用一非活動群組中之非活動取代候選人,以替代該活動群組之活動取代候選人。舉例而言,該媒體串流管理器模組230,其可以從該可用顯示訊框,取消指派該活動取代候選人,且將該非活動取代候選人,映射至新被釋放之可用顯示訊框。採用此種方式,該等可用顯示訊框可用於顯示更多活動發言者,同時減少該等可用顯示訊框所顯示媒體內容之間的轉換。
該媒體內容管理器組件114-1可包括一視覺合成產生器(VCG)模組240,其以通信方式耦接至該串流媒體管理器模組230。該視覺合成產生器模組240一般可呈現或產生該視覺合成108。舉例而言,在一具體實施例中,該視覺合成產生器模組240,其可經配置用於產生具有一參與者名冊之視覺合成108,其具有採用靜態或動態方式放置之可用顯示訊框。該視覺合成產生器模組240,其可經由一既定會議控制台110-1-m之作業系統之視訊圖形控制器及/或圖形使用者介面模組,向該顯示器116輸出視覺合成訊號206-1-g。
第3a圖、第3b圖顯示出該視覺合成108之一更詳盡說明。該視覺合成108可包括各種顯示訊框330-1-a,其以一特定鑲嵌結構或顯示型樣配置,以向一檢視者例如一會議控制台110-1-m之操作者呈現。每一顯示訊框330-1-a被設計用於呈現或顯示來自該等媒體串流202-1-f之多媒體內容,例如來自相對應媒體串流202-1-f之視訊內容及/或音訊內容,而該媒體串流202-1-f被該媒體串流管理器模組230,映射至一顯示訊框330-1-a。
舉例而言,在第3a圖、第3b圖所示之具體實施例中,該視覺合成108可包括一顯示訊框330-6,其包含一主檢視區域,以顯示應用程式資料,例如來自簡報應用程式軟體之簡報幻燈片304。此外,該視覺合成108可包括一參與者名冊306,其包括顯示訊框330-1至330-5。該參與者名冊306可代表一活動群組340。該活動群組340可包括目前被映射至一顯示訊框330-1-s之參與者302-1至302-5。一非活動群組350可包括目前未被映射至一顯示訊框330-1-s之參與者302-6至302-8。但應認知到的是根據一既定實施例之需要,該視覺合成108可包括更多或更少不同尺寸的顯示訊框330-1-s,且亦可採用其它替代配置方式。
該參與者名冊306可包括多個顯示訊框330-1至330-5。該等顯示訊框330-1至330-5,其可提供該等參與者302-1-b之視訊內容及/或音訊內容,該等內容係來自該等會議控制台110-1-m所傳送之各種媒體串流202-1-f。該參與者名冊306之該等各種顯示訊框330-1,其可按照依視覺合成108頂部至視覺合成108底部之既定順序放置,例如該顯示訊框330-1放置於接近頂部之第一位置,該顯示訊框330-2放置於一第二位置,該顯示訊框330-3放置於一第三位置,該顯示訊框330-4放置於一第四位置,及該顯示訊框330-5放置於接近底部之一第五位置。由該等顯示訊框330-1至330-5顯示之參與者302-1-b之視訊內容,其可用以各種不同格式呈現,例如「頭與肩」設計剪貼方式(例如附有背景或不附有背景)、可與其他物件重疊之透明物件、可透視的之矩形區域、及全景視圖等等。
該參與者名冊306之顯示訊框330-1-b之順序不全然為靜態的。舉例而言,在一些具體實施例中,該順序可因為多種原因而變化。舉例而言,一操作者可根據個人喜好設定手動組態部分或全部順序。在另一實例中,該媒體內容管理器組件114-1-t,其可根據以下因素自動修改該順序:參與者加入或離開一既定多媒體會議事件、該等顯示訊框330-1-a顯示大小之改變、該等顯示訊框330-1-a所呈現視訊內容之空間或時間解析度變化、該等顯示訊框330-1-a視訊內容內所顯示參與者302-1-b之數目、不同多媒體會議事件等等。
在一些情況中,該操作者或檢視者可以選擇一顯示訊框330-1-a,以顯示一特定參與者302-1-s,或反之亦然。在接收一操作者命令後,該視覺合成產生器模組240,其可將該選定顯示訊框330-1-a,暫時或永久地指派給該選定參與者302-1-s,以作為回應。舉例而言,一操作者或檢視者可能希望將該參與者名冊306之顯示訊框330-3,指派給第三參與者302-3。一視覺指標項(例如該固定圖示308)可表示該顯示訊框330-3被指派給該第三參與者302-3,且在釋放之前將保持被映射至該第三參與者302-3。
該媒體串流管理器模組230可將經解碼之媒體串流,映射至各顯示訊框。繼續前一實例,當該解碼媒體串流總數不大於該視覺合成108中之顯示訊框總數時(例如L<=A),則該媒體串流管理器模組230可將該等解碼媒體串流,映射至該等可用顯示訊框。在此例中,該視覺合成108可具有足夠數目之可用顯示訊框,針對一既定多媒體會議事件顯示該等解碼媒體串流中之所有參與者154-1-p。舉例而言,如果有五個可用顯示訊框330-1至330-5,且有五個具有參與者302-1至302-5(a-c)之解碼媒體串流,則該視覺合成108可顯示該視覺合成108中之所有五個解碼媒體串流。
但是當該解碼媒體串流總數大於該視覺合成108中之顯示訊框總數時(例如L>A),則該煤體串流管理器模組230,其可能需要將該等解碼媒體串流總數之一子集,映射至該等可用顯示訊框上。在一媒體會議事件初始化或開始時,該媒體選擇模組260可以採用如前所述任意種不同方式,以選擇該解碼媒體串流活動群組。舉例而言,在第3a圖中所示之具體實施例中,該等參與者302-1至302-5,其被映射至該等相對應顯示訊框330-1至330-5,以構成該活動群組340,而該等參與者302-6至302-8並未被映射至一相對應顯示訊框330-1-s,因此其包括該非活動群組350之成員。
該媒體選擇模組260可根據發言活動,以選擇解碼媒體串流非活動群組350中之一成員,作為一非活動替代候選人,以取代解碼媒體串流活動群組340之一成員。在該多媒體會議事件進行期間,假設該參與者302-7從事一發言活動。該目前發言者偵測器模組220監視該等解碼媒體串流,以偵測何時發生發言活動。當該目前發言者偵測器模組220偵測到該參與者302-7之發言活動時,該目前發言者偵測器模組220,其可向該媒體串流管理器模組230發送通知。但是由於沒有可用顯示訊框330-1-s,則該媒體串流管理器模組230,其可向該媒體選擇模組260發送一控制指令,以選擇該活動群組340中之一成員,使其由該非活動群組350中之發言成員所替代。該媒體選擇模組260,其可根據該參與者302-7之活動分數,選擇解碼媒體串流活動群組340中之一成員,作為將由解碼媒體串流非活動群組中參與者302-7所取代之活動取代候選人。假設該媒體選擇模組260選定該參與者302-4,作為該活動群組340之所有參與者302-1至302-5中之最低活動分數者,從而將該參與者302-4指定為該活動取代候選人。舉例而言,該最低活動分數可表示該參與者302-4,其為所有該等參與者302-1至302-5中近來發言最少之參與者。但是值得注意,該媒體選擇模組260在評估活動分數時,將排除該參與者302-3,此係因為該操作者將該參與者302-3,固定至該顯示訊框330-3,如該固定圖示308所示。該媒體選擇模組260,其向該媒體串流管理器230,輸出參與者302-4之選擇,以作為該活動替代候選人。該媒體串流管理器模組230於是可以使用來自該非活動群組350之非活動取代候選人,取代該活動群組340中之參與者302-4,在此例中,該非活動取代候選人為參與者302-7。舉例而言,如第3b圖所示,該媒體串流管理器模組230,其可從該顯示訊框330-4中,取消指派具有該參與者302-4之解碼媒體串流,且將該參與者302-7映射至新釋放之顯示訊框330-4。該活動群組340現在包括參與者302-1、302-3、302-3、302-5(a-c)及302-7。該非活動群組350現在包括參與者302-4、302-6及302-8。
將參考一或多個邏輯流程,進一步描述上述具體實施例之操作。但可認知到的是除非另行指明,該等代表性的邏輯流程不全然必須依所示順序或任意特定順序執行。此外可以採用串列或並列方式,執行參考該等邏輯流程所描述之各種行為。根據一組既定設計及效能限制之需要,該等邏輯流程可使用該等所述具體實施例之一或多個硬體元件及/或軟體元件或替代元件加以實施。舉例而言,該等邏輯流程可被實施為邏輯(例如電腦程式指令),供一邏輯裝置(例如一通用或專用電腦)執行。
第4圖說明一邏輯流程400之一具體實施例。邏輯流程400可代表由本文所述之一或多個具體實施例所執行之部分或全部操作。
如第4圖所示,該邏輯流程400可在方塊402中,解碼一多媒體會議事件之多個媒體串流。舉例而言,該視訊解碼器模組210可解碼一多媒體會議事件之多個輸入媒體串流202-1-f,以形成該等解碼媒體串流。
該邏輯流程400可在方塊404中,判定解碼媒體串流之一總數大於一視覺合成中可用顯示訊框之一總數。舉例而言,該媒體串流管理器模組230可判定解碼媒體串流之一總數大於一視覺合成中可用顯示訊框之一總數(例如L>A)。
該邏輯流程400可在方塊406中根據發言活動,以從該等解碼媒體串流總數中,選擇一解碼媒體串流活動群組,以映射至該等可用顯示訊框上。舉例而言,該媒體選擇模組260可根據發言活動,以從該等解碼媒體串流總數中,選擇一解碼媒體串流活動群組,以映射至該等可用顯示訊框330-1-s上。該發言活動可由使用不同評分演算法,其所產生之各種活動分數來加以表示。
第5圖進一步說明運算架構510之一更詳盡方塊圖,該架構適合於實施該等會議控制台110-1-m或該多媒體會議伺服器130。在一基本組態中,運算架構510通常包含至少一處理單元532及記憶體534。記憶體534可使用任意能夠儲存資料之機器可讀或電腦可讀媒體來加以實施,其包括揮發性記憶體和非揮發性記憶體。舉例而言,記憶體534可包括唯讀記憶體(ROM)、隨機存取記憶體(RAM)、動態隨機存取記憶體(DRAM)、雙資料率動態隨機存取記憶體(DDRAM)、同步動態隨機存取記憶體(SDRAM)、靜態隨機存取記憶體(SRAM)、可程式化唯讀記憶體(PROM)、可抹除可程式化唯讀記憶體(EPROM)、電子可抹除可程式化唯讀記憶體(EEPROM)、快閃記憶體、聚合物記憶體(例如鐵電聚合物記憶體)、雙向記憶體、相變或鐵電記憶體、矽氧化氮氧化矽(SONOS)記憶體、磁卡或光學卡,或者其他任意類型適合儲存資訊之媒體。如第5圖中所示,記憶體534可儲存各種軟體程式,例如一或多個應用程式536-1-t及相關資料。根據該實施例,應用程式536-1-t之實例可包括伺服器會議組件132、用戶端會議組件112-1-n或媒體內容管理器組件114。
除其基本組態之外,運算架構510亦可具有額外特徵及/或功能。舉例而言,運算架構510可包括可移除儲存器538及不可移除儲存器540,其可包括如前所述之各種機器可讀或電腦可讀媒體。運算架構510亦可具有一或多個輸入裝置544,例如鍵盤、滑鼠、筆、聲音輸入裝置、觸控輸入裝置、量測裝置、及感測器等等。運算架構510亦可包括一或多個輸出裝置542,例如顯示器、揚聲器、及印表機等等。
運算架構510可進一步包括一或多個通信連接546,其允許運算架構510與其他裝置通信。通信連接546可包括各種類型之標準通信元件,例如一或多個通信介面、網路介面、網路介面卡(NIC)、無線電、無線傳輸器/接收器(收發器)、有線及/或無線通信媒體、及實體連接器等等。通信媒體通常實現一已調變資料訊號(例如一載波或其他傳輸機制)之電腦可讀指令、資料結構、程式模組或其他資料,且包括任意資訊傳送媒體。「已調變資料訊號」一詞意指一訊號具有一或多個特徵,該特徵是以某種方式例如將資訊編碼到該訊號中來加以設定或變化。藉由實例而非限制性方式,通信媒體包括有線通信媒體及無線通信媒體。有線通信媒體之實例可包括電線、纜線、金屬導線、印刷電路板(PCB)、底板、交換機、半導體材料、雙絞線、同軸電纜、光纖連接及傳播訊號等等。無線通信媒體之實例可包括聲學、射頻(RF)頻譜、紅外線或其他無線媒體。本文所用之「機器可讀媒體」及「電腦可讀媒體」等名詞旨在包括儲存媒體及通信媒體兩種。
第6圖說明一製品600之圖,其適用於儲存各種具體實施例之邏輯,其包括該邏輯流程400。如圖所示,該製品600可包括一儲存媒體602用以儲存邏輯604。儲存媒體602之實例可包括一或多種類型能夠儲存電子資料之電腦可讀儲存媒體,其包括揮發性記憶體或非揮發性記憶體、可移除或不可移除記憶體、可抹除或不可抹除記憶體、可寫入或不可寫入記憶體等等。邏輯604之實例可以包括各種軟體元件,例如軟體組件、程式、應用、電腦程式、應用程式、系統程式、機器程式、作業系統軟體、中間軟體、韌體、軟體模組、常式、副常式、函數、方法、程序、軟體介面、應用程式介面(API)、指令集、計算程式碼、電腦程式碼、程式碼片段、電腦程式碼片段、字元、值、符號或其任意組合。
舉例而言,在一具體實施例中,該製品600及/或電腦可讀儲存媒體602可儲存邏輯604,其包括可執行電腦程式指令,在由一電腦執行該等指令時,根據該等所述具體實施例所示,使該電腦執行多種方法及/或操作。該等可執行電腦程式指令,其可包括任意適當類型之代碼,例如源程式碼、已編譯碼、已解譯碼、可執行碼、靜態碼、及動態碼等等。該等可執行電腦程式指令可根據一預定電腦語言、方式或語法實施,其用於指引一電腦執行一特定功能。該等指令可使用任意適當類型之高階、低階、物件導向、視覺化、已編譯及/或已解譯程式設計語言實施,例如C、C++、Java、BASIC、Perl、Matlab、Pascal、Visual BASIC、組合語言,及其他語言。
各種具體實施例可使用硬體元件、軟體元件或兩者之組合來實施。硬體元件之實例可包括任一前例所提供於一邏輯裝置的元件,其進一步包括微處理器、電路、電路元件(例如電晶體、電阻器、電容器、及電感器等等)、積體電路、邏輯閘、暫存器、半導體裝置、晶片、微晶片、及晶片組等等。軟體元件之實例可包括任意軟體組件、程式、應用、電腦程式、應用程式、系統程式、機器程式、作業系統軟體、中間軟體、韌體、軟體模組、常式、副常式、函數、方法、程序、軟體介面、應用程式介面(API)、指令集、計算程式碼、電腦程式碼、程式碼片段、電腦程式碼片段、字元、值、符號或其任意組合。判定一具體實施例是否可使用硬體元件及/或軟體元件來加以實施應考慮下列因素,例如期望計算速率、功率位準、耐熱性、處理周期預算、輸入資料速率、輸出資料速率、記憶體資源、資料匯流排速度及其他設計或效能限制,如同一既定實施之所需。
可以使用「耦接」和「連接」及其衍生字之類的表達方式描述一些具體實施例。該等詞語不一定相互為同義字。例如可以使用「被連接到」及/或「被耦接到」等詞語來表示兩或多個元件相互直接實體連接或電氣連接,從而描述一些具體實施例。然而「被耦接到」一詞也可表示該等兩或多個元件不是直接相互連接,但是其仍然相互協作或互動。
應當強調的是提供「發明摘要」以遵守37 C.F.R.第1.72(b)節,其要求一發明摘要,從而使讀者能夠快速掌握本技術揭露之本質。應理解到的是提供本揭示案並無意於解釋或限制該等申請專利範圍之範疇或意義。此外在上述「實施方式」中,為了便於描述本揭示案,各種特徵被一起群集於單一具體實施例中。本揭示案之方法不應被解釋為反映一種意圖,即申請專利之具體實施例需要之特徵多於在每一請求項中所明確表示之特徵。相反地如以下請求項所反映,本發明標的所依賴之特徵少於單一被揭示具體實施例之全部特徵。因此以下請求項被整合於「實施方式」中,每一申請項本身可表示為一獨立具體實施例。在隨附申請專利範圍內,「包括」及「其中」較通俗等詞分別與「包含」和「在其中」等價。此外,「第一」、「第二」、「第三」等詞語僅被用於標記,而無意於對該等物件設計編號要求。
雖然已藉由特定的結構特徵及/或方法操作的語言描述了所請求標的,但應了解該隨附申請專利範圍中之標的不需受限於前述之特定特徵或操作。反之,前述之特定特徵及操作僅被揭露為實施該申請專利範圍的示範形式。
100...多媒體會議系統
104-1-r...麥克風陣列
106...攝影機
108...排程裝置(視覺合成)
110-1,110-1-m...會議控制台
110-2-m...遠端會議控制台
112-1,112-1-n,112-2-n...用戶端會議組件
114,114-1,114-1-t,114-2-t...媒體內容管理器組件
116...顯示器
120...網路
130...多媒體會議伺服器
132...伺服器會議組件
150...會議室
154-1,154-2,154-p...參與者
160...企業資源目錄
202-1-f...輸入媒體串流
206-1-g...輸出視覺合成訊號
210...視訊解碼器模組
220...目前發言者偵測器模組
230...媒體串流管理器模組
240...視覺合成產生器模組
250...活動分數產生模組
260...媒體選擇模組
302-1,302-2,302-3,302-4,302-5,302-6,302-7,302-8...參與者
304...簡報幻燈片
306...參與者名冊
308...固定圖示
312...捲軸
330-1,330-2,330-3,330-4,330-5,330-6...顯示訊框
340...活動群組
350...非活動群組
510...運算架構
532...處理單元
534...記憶體單元
536...應用程式
538...可移除儲存器
540...不可移除儲存器
542...輸出裝置
544...輸入裝置
546...通信連接
548...資料存儲器
600...製品
602...儲存媒體
604...邏輯
第1圖說明一多媒體會議系統之一具體實施例。
第2圖說明一媒體內容管理器組件之一具體實施例。
第3a圖說明一第一視覺合成之一具體實施例。
第3b圖說明一第二視覺合成之一具體實施例。
第4圖說明一邏輯流程之一具體實施例。
第5圖說明一運算架構之具體實施例。
第6圖說明一製品之一具體實施例。
100...多媒體會議系統
104-1-r...麥克風陣列
106...攝影機
108...排程裝置(視覺合成)
110-1...會議控制台
110-2-m...遠端會議控制台
112-1,112-2-n...用戶端會議組件
114-1,114-2-t...媒體內容管理器組件
116...顯示器
120...網路
130...多媒體會議伺服器
132...伺服器會議組件
150...會議室
154-1,154-2,154-p...參與者
160...企業資源目錄
Claims (11)
- 一種用於管理多媒體會議事件之媒體內容之方法,該方法包括以下步驟:在一網路上接收用於一多媒體會議事件之多個媒體串流;解碼該多個媒體串流;至少基於該網路之技術條件限制及一顯示器之視圖條件限制而計算一視覺合成中之可用顯示訊框之一總數;判定所解碼媒體串流之一總數大於該視覺合成中之可用顯示訊框之該總數;根據發言活動,從所解碼媒體串流之該總數中,選擇一所解碼媒體串流活動群組,以映射至該等可用顯示訊框;產生一第一活動分數以代表發言活動對非發言活動之一比值、一第二活動分數以代表一參與者發言活動之一長度值及一第三活動分數以代表一參與者發言活動之一最近時間;及根據該第一活動分數、該第二活動分數或該第三活動分數,選擇該所解碼媒體串流活動群組中之一成員,作為將由所解碼媒體串流非活動群組中之一成員取代之一活動取代候選人。
- 如申請專利範圍第1項所述之方法,該方法包括以下步驟:根據發言活動,選擇一所解碼媒體串流非活動群組中之一成員,作為一非活動取代候選人,以取代該所解碼媒體串流活動群組中之一成員。
- 如申請專利範圍第1項所述之方法,該方法包括以下步驟:使 用一非活動群組中之一非活動取代候選人取代該活動群組中之一活動取代候選人。
- 如申請專利範圍第1項所述之方法,該方法包括以下步驟:根據該等活動分數將該所解碼媒體串流活動群組映射至該等可用顯示訊框,其中該活動群組係所解碼媒體串流之該總數之一子集。
- 一種包含一儲存媒體之製品,其中該儲存媒體非一信號,該儲存媒體包含一些指令,若執行該等指令則能使一系統執行以下步驟:在一網路上接收用於一多媒體會議事件之多個媒體串流;解碼該多個媒體串流;至少基於該網路之技術條件限制及一顯示器之視圖條件限制而計算一視覺合成中之可用顯示訊框之一總數;判定所解碼媒體串流之一總數大於該視覺合成中之該可用顯示訊框之該總數;根據發言活動,從解碼媒體串流之該總數中,選擇一所解碼媒體串流活動群組,以映射至該等可用顯示訊框;產生一第一活動分數以代表發言活動對非發言活動之一比值、一第二活動分數以代表一參與者發言活動之一長度值及一第三活動分數以代表一參與者發言活動之一最近時間;及根據該第一活動分數、該第二活動分數或該第三活動分數,選擇該所解碼媒體串流活動群組中之一成員,作為將由所解碼媒體串流非活動群組中之一成員取代之一活動取代候選人。
- 如申請專利範圍第5項所述之製品,該製品進一歩包括一些指 令,若執行該等指令,則能使該系統根據發言活動,選擇一所解碼媒體串流非活動群組中之一成員,作為一非活動取代候選人,以取代該所解碼媒體串流活動群組中之一成員。
- 如申請專利範圍第5項所述之製品,該製品進一步包括一些指令,若執行該等指令,則能使該系統以一非活動群組中之一非活動取代候選人,取代來自該活動群組中之一活動取代候選人。
- 一種用於管理多媒體會議事件之媒體內容之設備,該設備包括:一顯示器;一媒體內容管理器組件,該媒體內容管理器組件通信耦接至該顯示器及該媒體內容管理器組件係可操作於產生一多媒體會議事件的一視覺合成,該媒體內容管理器組件包括:一視訊解碼器模組,該視訊解碼器模組係可操作於解碼一多媒體會議事件之多個媒體串流;一媒體串流管理器模組,該媒體串流管理器模組通信耦接至該視訊解碼器模組,該媒體串流管理器模組係可操作於至少基於該網路之技術條件限制及該顯示器之視圖條件限制而計算一視覺合成中之可用顯示訊框之一總數,及該媒體串流管理器模組係可操作於判定所解碼媒體串流之一總數大於該視覺合成中之可用顯示訊框之該總數;一活動分數產生模組,該活動分數產生模組通信耦接至目前發言者偵測器模組,該活動分數產生模組係可操作於產生一第一活動分數以代表發言活動對非發言活動之一比值、一第二活動分數以代表一參與者發言活動之一長度值及一第三活動分數以代 表一參與者發言活動之一最近時間;及一媒體選擇模組,該媒體選擇模組通信耦接至該媒體串流管理器模組,該媒體選擇模組係可操作於根據發言活動,從所解碼媒體串流之該總數中,選擇一所解碼媒體串流活動群組,以映射至該等可用顯示訊框上,及該媒體選擇模組係可操作於根據該第一活動分數、該第二活動分數或該第三活動分數,選擇該所解碼媒體串流活動群組中之一成員,作為將由所解碼媒體串流非活動群組中之一成員取代之一活動取代候選人。
- 如申請專利範圍第8項所述之設備,該設備包括一目前發言者偵測器模組,該目前發言者偵測器模組通信耦接至該視訊解碼器模組,該目前發言者偵測器模組係可操作於偵測該等所解碼媒體串流中該等參與者之發言活動。
- 如申請專利範圍第8項所述之設備,該媒體選擇模組係可操作於根據發言活動,選擇一所解碼媒體串流非活動群組中之一成員,作為一非活動取代候選人,以取代該所解碼媒體串流活動群組中之一成員。
- 如申請專利範圍第8項所述之設備,該媒體串流管理器模組係可操作於使用一非活動群組中之一非活動取代候選人,以取代該活動群組之一活動取代候選人。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/115,556 US8316089B2 (en) | 2008-05-06 | 2008-05-06 | Techniques to manage media content for a multimedia conference event |
Publications (2)
Publication Number | Publication Date |
---|---|
TW200948069A TW200948069A (en) | 2009-11-16 |
TWI530191B true TWI530191B (zh) | 2016-04-11 |
Family
ID=41265288
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
TW098108487A TWI530191B (zh) | 2008-05-06 | 2009-03-16 | 管理多媒體會議事件之媒體內容的技術 |
Country Status (10)
Country | Link |
---|---|
US (1) | US8316089B2 (zh) |
EP (1) | EP2274913B1 (zh) |
JP (1) | JP5639041B2 (zh) |
KR (1) | KR101532463B1 (zh) |
CN (1) | CN102138324B (zh) |
BR (1) | BRPI0910586A2 (zh) |
CA (1) | CA2723368C (zh) |
RU (1) | RU2518423C2 (zh) |
TW (1) | TWI530191B (zh) |
WO (1) | WO2009137260A2 (zh) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI675581B (zh) * | 2018-08-28 | 2019-10-21 | 立新 陳 | 分散架構進行電話會議之方法 |
Families Citing this family (68)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP1917798A4 (en) * | 2005-08-25 | 2010-01-06 | Nokia Corp | METHOD AND DEVICE FOR EMBEDDING AN EVENT IMPORT IN MULTIMEDIA CONTENTS |
US8402391B1 (en) | 2008-09-25 | 2013-03-19 | Apple, Inc. | Collaboration system |
US20100302346A1 (en) * | 2009-05-27 | 2010-12-02 | Tingxue Huang | System for processing and synchronizing large scale video conferencing and document sharing |
US8310520B2 (en) * | 2009-08-19 | 2012-11-13 | Avaya Inc. | Flexible decomposition and recomposition of multimedia conferencing streams using real-time control information |
US9277021B2 (en) * | 2009-08-21 | 2016-03-01 | Avaya Inc. | Sending a user associated telecommunication address |
US8718246B2 (en) * | 2009-11-22 | 2014-05-06 | Avaya Inc. | Providing a roster and other information before joining a participant into an existing call |
US8411599B2 (en) * | 2009-12-15 | 2013-04-02 | At&T Intellectual Property I, L.P. | Methods and apparatus for timeslot teleconferencing |
US20110157298A1 (en) * | 2009-12-31 | 2011-06-30 | Tingxue Huang | System for processing and synchronizing large scale video conferencing and document sharing |
US20110196928A1 (en) * | 2010-02-09 | 2011-08-11 | Inxpo, Inc. | System and method for providing dynamic and interactive web content and managing attendees during webcasting events |
US8818175B2 (en) | 2010-03-08 | 2014-08-26 | Vumanity Media, Inc. | Generation of composited video programming |
WO2011112640A2 (en) * | 2010-03-08 | 2011-09-15 | Vumanity Media Llc | Generation of composited video programming |
TWI468014B (zh) | 2010-03-30 | 2015-01-01 | Ibm | 互動式傳輸一媒體資源 |
CN101877643B (zh) * | 2010-06-29 | 2014-12-10 | 中兴通讯股份有限公司 | 多点混音远景呈现方法、装置及系统 |
US20120169835A1 (en) * | 2011-01-05 | 2012-07-05 | Thomas Woo | Multi-party audio/video conference systems and methods supporting heterogeneous endpoints and progressive personalization |
US8774955B2 (en) * | 2011-04-13 | 2014-07-08 | Google Inc. | Audio control of multimedia objects |
US8774168B2 (en) * | 2011-04-14 | 2014-07-08 | Skype | Communication system and method |
US9338396B2 (en) | 2011-09-09 | 2016-05-10 | Cisco Technology, Inc. | System and method for affinity based switching |
US20130063542A1 (en) * | 2011-09-14 | 2013-03-14 | Cisco Technology, Inc. | System and method for configuring video data |
US9143728B2 (en) | 2011-09-19 | 2015-09-22 | Telefonaktiebolaget L M Ericsson (Publ) | User interface control in a multimedia conference system |
US9368028B2 (en) | 2011-12-01 | 2016-06-14 | Microsoft Technology Licensing, Llc | Determining threats based on information from road-based devices in a transportation-related context |
US9053096B2 (en) | 2011-12-01 | 2015-06-09 | Elwha Llc | Language translation based on speaker-related information |
US9064152B2 (en) | 2011-12-01 | 2015-06-23 | Elwha Llc | Vehicular threat detection based on image analysis |
US20130144619A1 (en) * | 2011-12-01 | 2013-06-06 | Richard T. Lord | Enhanced voice conferencing |
US10875525B2 (en) | 2011-12-01 | 2020-12-29 | Microsoft Technology Licensing Llc | Ability enhancement |
US9159236B2 (en) | 2011-12-01 | 2015-10-13 | Elwha Llc | Presentation of shared threat information in a transportation-related context |
US9245254B2 (en) | 2011-12-01 | 2016-01-26 | Elwha Llc | Enhanced voice conferencing with history, language translation and identification |
US8934652B2 (en) | 2011-12-01 | 2015-01-13 | Elwha Llc | Visual presentation of speaker-related information |
US9107012B2 (en) | 2011-12-01 | 2015-08-11 | Elwha Llc | Vehicular threat detection based on audio signals |
US8811638B2 (en) | 2011-12-01 | 2014-08-19 | Elwha Llc | Audible assistance |
US20130169742A1 (en) * | 2011-12-28 | 2013-07-04 | Google Inc. | Video conferencing with unlimited dynamic active participants |
TWI488503B (zh) * | 2012-01-03 | 2015-06-11 | 國際洋行股份有限公司 | 會議攝錄裝置及其方法 |
CN102664820A (zh) * | 2012-04-10 | 2012-09-12 | 苏州阔地网络科技有限公司 | 一种视频会议的来宾邀请方法及系统 |
US20140026070A1 (en) * | 2012-07-17 | 2014-01-23 | Microsoft Corporation | Dynamic focus for conversation visualization environments |
US10237082B2 (en) * | 2012-08-31 | 2019-03-19 | Avaya Inc. | System and method for multimodal interaction aids |
US9094524B2 (en) * | 2012-09-04 | 2015-07-28 | Avaya Inc. | Enhancing conferencing user experience via components |
US20140114664A1 (en) * | 2012-10-20 | 2014-04-24 | Microsoft Corporation | Active Participant History in a Video Conferencing System |
US9710219B2 (en) * | 2013-06-10 | 2017-07-18 | Panasonic Intellectual Property Corporation Of America | Speaker identification method, speaker identification device, and speaker identification system |
US8982177B2 (en) * | 2013-07-08 | 2015-03-17 | Avaya Inc. | System and method for whiteboard collaboration |
US20150049162A1 (en) * | 2013-08-15 | 2015-02-19 | Futurewei Technologies, Inc. | Panoramic Meeting Room Video Conferencing With Automatic Directionless Heuristic Point Of Interest Activity Detection And Management |
US20150156458A1 (en) * | 2013-12-03 | 2015-06-04 | Avaya Inc. | Method and system for relative activity factor continuous presence video layout and associated bandwidth optimizations |
KR101559364B1 (ko) * | 2014-04-17 | 2015-10-12 | 한국과학기술원 | 페이스 투 페이스 인터랙션 모니터링을 수행하는 모바일 장치, 이를 이용하는 인터랙션 모니터링 방법, 이를 포함하는 인터랙션 모니터링 시스템 및 이에 의해 수행되는 인터랙션 모니터링 모바일 애플리케이션 |
US9070409B1 (en) * | 2014-08-04 | 2015-06-30 | Nathan Robert Yntema | System and method for visually representing a recorded audio meeting |
CN105450976B (zh) * | 2014-08-28 | 2018-08-07 | 南宁富桂精密工业有限公司 | 视频会议处理方法及系统 |
TWI562640B (en) * | 2014-08-28 | 2016-12-11 | Hon Hai Prec Ind Co Ltd | Method and system for processing video conference |
US9456181B2 (en) * | 2015-02-04 | 2016-09-27 | Citrix Systems, Inc. | Smart selection of video feeds during an online meeting |
RU2602667C1 (ru) * | 2015-04-21 | 2016-11-20 | Федеральное государственное казенное военное образовательное учреждение высшего образования "Академия Федеральной службы охраны Российской Федерации" (Академия ФСО России) | Способ мультимедийного вывода |
US10607152B2 (en) | 2015-05-26 | 2020-03-31 | Textio, Inc. | Using machine learning to predict outcomes for documents |
US10409550B2 (en) * | 2016-03-04 | 2019-09-10 | Ricoh Company, Ltd. | Voice control of interactive whiteboard appliances |
US9681094B1 (en) * | 2016-05-27 | 2017-06-13 | Microsoft Technology Licensing, Llc | Media communication |
US10176808B1 (en) * | 2017-06-20 | 2019-01-08 | Microsoft Technology Licensing, Llc | Utilizing spoken cues to influence response rendering for virtual assistants |
JP2019191824A (ja) * | 2018-04-23 | 2019-10-31 | 富士ゼロックス株式会社 | 情報処理装置及び情報処理プログラム |
EP4398582A3 (en) * | 2019-03-21 | 2024-08-07 | DivX, LLC | Systems and methods for multimedia swarms |
WO2020219490A1 (en) * | 2019-04-23 | 2020-10-29 | Textio, Inc. | Passively suggesting text in an electronic document |
US11444988B2 (en) | 2020-03-17 | 2022-09-13 | Qualcomm Incorporated | Signaling of scene description for multimedia conferencing |
US11249715B2 (en) | 2020-06-23 | 2022-02-15 | Switchboard Visual Technologies, Inc. | Collaborative remote interactive platform |
US11190557B1 (en) * | 2020-06-23 | 2021-11-30 | Monarch Visual Technologies, Inc. | Collaborative remote interactive platform |
US11595447B2 (en) | 2020-08-05 | 2023-02-28 | Toucan Events Inc. | Alteration of event user interfaces of an online conferencing service |
US11749079B2 (en) | 2020-12-16 | 2023-09-05 | Rovi Guides, Inc. | Systems and methods to automatically perform actions based on media content |
US11595278B2 (en) | 2020-12-16 | 2023-02-28 | Rovi Guides, Inc. | Systems and methods to automatically perform actions based on media content |
US11290684B1 (en) * | 2020-12-16 | 2022-03-29 | Rovi Guides, Inc. | Systems and methods to automatically perform actions based on media content |
US11606465B2 (en) | 2020-12-16 | 2023-03-14 | Rovi Guides, Inc. | Systems and methods to automatically perform actions based on media content |
US11349889B1 (en) | 2020-12-21 | 2022-05-31 | Switchboard Visual Technologies, Inc. | Collaborative remote interactive platform |
CN115220829A (zh) * | 2021-04-20 | 2022-10-21 | 华为技术有限公司 | 界面显示的方法、相关装置、设备以及可读存储介质 |
US11894938B2 (en) | 2021-06-21 | 2024-02-06 | Toucan Events Inc. | Executing scripting for events of an online conferencing service |
US11689666B2 (en) * | 2021-06-23 | 2023-06-27 | Cisco Technology, Inc. | Proactive audio optimization for conferences |
CN113596384B (zh) * | 2021-07-30 | 2023-05-26 | 北京字跳网络技术有限公司 | 一种多媒体会议自动布局方法、装置及设备 |
US11770425B2 (en) * | 2021-12-29 | 2023-09-26 | Microsoft Technology Licensing, Llc | Dynamic management of presenters of a communication session |
US11461480B1 (en) | 2022-05-24 | 2022-10-04 | Switchboard Visual Technologies, Inc. | Synchronizing private data with reduced trust |
Family Cites Families (31)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5473367A (en) | 1993-06-30 | 1995-12-05 | At&T Corp. | Video view selection by a chairperson |
US7185054B1 (en) | 1993-10-01 | 2007-02-27 | Collaboration Properties, Inc. | Participant display and selection in video conference calls |
US5767897A (en) | 1994-10-31 | 1998-06-16 | Picturetel Corporation | Video conferencing system |
JP2827932B2 (ja) * | 1994-11-25 | 1998-11-25 | 日本電気株式会社 | 多地点テレビ会議における合成画面表示制御方式 |
RU2144283C1 (ru) * | 1995-06-02 | 2000-01-10 | Интел Корпорейшн | Способ и устройство для управления вводом участников в систему конференц-связи |
WO1997018663A1 (fr) * | 1995-11-15 | 1997-05-22 | Sony Corporation | Systeme de video-conference |
JPH09149396A (ja) * | 1995-11-27 | 1997-06-06 | Fujitsu Ltd | 多地点テレビ会議システム |
JPH09307869A (ja) * | 1996-05-15 | 1997-11-28 | Nec Corp | ビデオ会議システム |
US6128649A (en) * | 1997-06-02 | 2000-10-03 | Nortel Networks Limited | Dynamic selection of media streams for display |
JP3684525B2 (ja) * | 1998-02-19 | 2005-08-17 | 富士通株式会社 | 多画面合成方法及び多画面合成装置 |
US7081915B1 (en) * | 1998-06-17 | 2006-07-25 | Intel Corporation | Control of video conferencing using activity detection |
US6414707B1 (en) * | 1998-10-16 | 2002-07-02 | At&T Corp. | Apparatus and method for incorporating virtual video conferencing environments |
US6628767B1 (en) * | 1999-05-05 | 2003-09-30 | Spiderphone.Com, Inc. | Active talker display for web-based control of conference calls |
US6795106B1 (en) * | 1999-05-18 | 2004-09-21 | Intel Corporation | Method and apparatus for controlling a video camera in a video conferencing system |
US7242421B2 (en) * | 2000-11-10 | 2007-07-10 | Perceptive Network Technologies, Inc. | Methods of establishing a communications link using perceptual sensing of a user's presence |
US6894714B2 (en) * | 2000-12-05 | 2005-05-17 | Koninklijke Philips Electronics N.V. | Method and apparatus for predicting events in video conferencing and other applications |
US6577333B2 (en) * | 2000-12-12 | 2003-06-10 | Intel Corporation | Automatic multi-camera video composition |
US6922718B2 (en) * | 2002-02-01 | 2005-07-26 | Dell Products L.P. | Method and system for participating locations in a multi-point video conference |
US7454460B2 (en) * | 2003-05-16 | 2008-11-18 | Seiko Epson Corporation | Method and system for delivering produced content to passive participants of a videoconference |
US8081205B2 (en) | 2003-10-08 | 2011-12-20 | Cisco Technology, Inc. | Dynamically switched and static multiple video streams for a multimedia conference |
US8659636B2 (en) * | 2003-10-08 | 2014-02-25 | Cisco Technology, Inc. | System and method for performing distributed video conferencing |
US20050099492A1 (en) * | 2003-10-30 | 2005-05-12 | Ati Technologies Inc. | Activity controlled multimedia conferencing |
JP2005303736A (ja) * | 2004-04-13 | 2005-10-27 | Ntt Communications Kk | ビデオ会議システムにおける映像表示方法、ビデオ会議システムに用いられる利用者端末、及びビデオ会議システムに用いられる利用者端末用プログラム |
US7362350B2 (en) * | 2004-04-30 | 2008-04-22 | Microsoft Corporation | System and process for adding high frame-rate current speaker data to a low frame-rate video |
US7898600B2 (en) | 2005-08-05 | 2011-03-01 | Samsung Electronics Co., Ltd. | Apparatus for providing multiple screens and method of dynamically configuring multiple screens |
JP2007147762A (ja) * | 2005-11-24 | 2007-06-14 | Fuji Xerox Co Ltd | 発話者予測装置および発話者予測方法 |
US20070140465A1 (en) * | 2005-12-16 | 2007-06-21 | Avaya Technology Llc | Dynamic content stream delivery to a telecommunications terminal based on the excecution state of the terminal |
US8760485B2 (en) | 2006-03-02 | 2014-06-24 | Cisco Technology, Inc. | System and method for displaying participants in a videoconference between locations |
US7797383B2 (en) | 2006-06-21 | 2010-09-14 | Cisco Technology, Inc. | Techniques for managing multi-window video conference displays |
US7577246B2 (en) * | 2006-12-20 | 2009-08-18 | Nice Systems Ltd. | Method and system for automatic quality evaluation |
CN101080000A (zh) * | 2007-07-17 | 2007-11-28 | 华为技术有限公司 | 视频会议中显示发言人的方法、系统、服务器和终端 |
-
2008
- 2008-05-06 US US12/115,556 patent/US8316089B2/en active Active
-
2009
- 2009-03-16 TW TW098108487A patent/TWI530191B/zh not_active IP Right Cessation
- 2009-04-17 RU RU2010145110/07A patent/RU2518423C2/ru not_active IP Right Cessation
- 2009-04-17 EP EP09743247.0A patent/EP2274913B1/en active Active
- 2009-04-17 CA CA2723368A patent/CA2723368C/en active Active
- 2009-04-17 BR BRPI0910586A patent/BRPI0910586A2/pt not_active IP Right Cessation
- 2009-04-17 CN CN2009801168613A patent/CN102138324B/zh active Active
- 2009-04-17 JP JP2011508541A patent/JP5639041B2/ja active Active
- 2009-04-17 KR KR1020107024746A patent/KR101532463B1/ko active IP Right Grant
- 2009-04-17 WO PCT/US2009/040926 patent/WO2009137260A2/en active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
TWI675581B (zh) * | 2018-08-28 | 2019-10-21 | 立新 陳 | 分散架構進行電話會議之方法 |
Also Published As
Publication number | Publication date |
---|---|
EP2274913B1 (en) | 2019-03-06 |
KR101532463B1 (ko) | 2015-06-29 |
BRPI0910586A2 (pt) | 2015-09-22 |
CA2723368C (en) | 2016-03-29 |
CN102138324B (zh) | 2013-11-20 |
RU2518423C2 (ru) | 2014-06-10 |
JP2011520387A (ja) | 2011-07-14 |
JP5639041B2 (ja) | 2014-12-10 |
EP2274913A4 (en) | 2014-03-05 |
CN102138324A (zh) | 2011-07-27 |
WO2009137260A3 (en) | 2010-02-18 |
US8316089B2 (en) | 2012-11-20 |
TW200948069A (en) | 2009-11-16 |
KR20110021748A (ko) | 2011-03-04 |
RU2010145110A (ru) | 2012-05-10 |
EP2274913A2 (en) | 2011-01-19 |
CA2723368A1 (en) | 2009-11-12 |
US20090282103A1 (en) | 2009-11-12 |
WO2009137260A2 (en) | 2009-11-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
TWI530191B (zh) | 管理多媒體會議事件之媒體內容的技術 | |
TWI549518B (zh) | 產生一多媒體會議事件之一視覺組合的技術 | |
RU2488227C2 (ru) | Способы для автоматической идентификации участников для события мультимедийной конференц-связи | |
US9705691B2 (en) | Techniques to manage recordings for multimedia conference events | |
US8692862B2 (en) | System and method for selection of video data in a video conference environment | |
US8781841B1 (en) | Name recognition of virtual meeting participants | |
US20090319916A1 (en) | Techniques to auto-attend multimedia conference events | |
TWI533706B (zh) | 基於統一通訊之多螢幕視訊系統 | |
US8713440B2 (en) | Techniques to manage communications resources for a multimedia conference event | |
US11956290B2 (en) | Multi-media collaboration cursor/annotation control | |
Patrick | The human factors of MBone videoconferences: Recommendations for improving sessions and software | |
Booth | VoIP in professional communication, collaboration, and development |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
MM4A | Annulment or lapse of patent due to non-payment of fees |