TWI479840B - 使用多位元率串流之視訊會議訂閱 - Google Patents

Description

使用多位元率串流之視訊會議訂閱

本發明係關於使用多位元率串流之視訊會議訂閱之技術。

視訊會議訂閱允許用戶端選擇他們想看到的參與者。視訊會議通話呼叫可用互動的通信技術，其允許兩個或更多的地點通過雙向音訊及視頻的同時播送互動。視訊會議可使用音訊及視頻的通信技術彙集不同地點的人開會。此可為在私人辦公室間(點對點)兩個人的對話，及/或可涉及多個地點(多點)與多個人於不同場所的大房間。除了音訊及視頻傳輸會議活動，視訊會議可用於共用文件、顯示電腦的資訊及白板等。音訊/視頻傳輸可使用一稱為編碼的過程來擷取、記錄及數位化，透過通訊媒體例如一電腦網路連至另一地點，且被另一視訊會議參與者接收、解碼並顯示。許多編碼/解碼標準都與此過程相容。

視訊會議的一傳統策略為路由從一參與者至另一名的一視頻串流路線，而非混合視頻內容(解碼所有傳入的視頻串流、組合在一起、且重新編碼一個單一串流，及將重新編碼的串流發送到各參與者)。因此，某些系統僅可切換至並顯示於視訊會議通話呼叫中正在進行對話者，而非顯示所有參加者的視頻或允許一使用者選擇查看任何他們想看之參與者。此外，傳統系統可能不允許用戶端訂閱特定串流，而非靜態的混合串流，用戶端亦因頻寬限制而無法接收之如此多的串流。

在此提供使用多位元率串流之視訊會議訂閱。此發明內容提供介紹簡單形式的一概念選擇，其將會進一步敘述於詳細說明中。此發明內容並非意欲指明所保護標的關鍵功能或重要特徵。此發明內容亦非意欲用於限制所保護標的範疇。

在此提供視訊會議訂閱。一視訊會議的伺服器可從視訊會議中的各用戶端接收多個不同的位元率之視頻串流，並可接收來自各用戶端的請求訂閱。訂閱請求可包含請求看到在給定的解析度及/或視框率的特定其他用戶端的視頻串流。視訊會議伺服器可將所接收的視頻串流與訂閱的請求匹配，以便發送該訂閱的用戶端他們所需的視頻串流。該伺服器也可從參與者請求不同版本的視頻串流(例如不同的解析度)及/或為了更加符合訂閱請求而改變視頻串流。

上述的一般描述及以下的詳細說明都提供了示例並僅供說明。因此，上述的一般描述及以下的詳細說明不應作為限制。另外，除了在此的那些說明，可進一步提供各種功能及變化。舉例而言，實施例可關於以下詳細說明中所述的多變化功能組合及副組合。

接下來的詳細說明與隨附的圖示對照。只要有可能的情況下，用於圖示及以下說明中相同的參考編號代表相同或類似的物件。本發明之實施例盡可能的描述、修改、適應、及其他實行。例如可對圖示中的物件進行替換、添加或修改，且可修改所述方法進行替換、重新排序或添加步驟至所述方法。因此，以下的詳細的說明並不限制發明。相反地，本發明之適當範疇定義於所附加之專利申請範圍。

在此提供視訊會議中的訂閱。根據本發明之實施例為，一多位元率(MBR)結構可用於串流資料至用戶端，與該等用戶端的請求訂閱至其他參與該視訊會議的用戶端之視頻串流一致。舉例而言，一用戶端希望看到從各其他參與視訊會議之用戶端的視頻來源串流，同時另一用戶端只希望看到另一用戶端之串流。

第1圖為一視訊會議環境100的方塊圖。視訊會議環境100可包含透過一內部網路連接115連接的一內部網路用戶端110及視訊會議伺服器120。視訊會議環境100可進一步包含一第一網路用戶端130、一第二網路用戶端140及一第三網路用戶端150。各網路用戶端可透過該網路160連接到視訊會議伺服器120。根據本發明之實施例為，視訊會議伺服器120、內部網路用戶端110、第一網路用戶端130、第二網路用戶端140及第三網路用戶端150之各者，可包含一計算設備600，如下第6圖中有更詳細的敘述。

當多個用戶端想要相互之間共用視頻串流時，可使用視訊會議環境100。各用戶端可連接到視訊會議伺服器120。視訊會議伺服器120可保有一清單，該清單列著所連接的用戶及各用戶端的能力。根據本發明之實施例為，視訊會議伺服器120可負責決定哪些用戶端可對發送視頻串流至視訊會議伺服器120負責。視訊會議伺服器120可發送從其他外部連結的用戶端所接收的視頻串流。一視頻串流可進行編碼成為一系列的視訊視框，其中各視框包含一單一圖像。各視框可由資料位元代表。視頻串流可進行編碼，以使得並非每個視框內的每個資料位元均需為了代表該視頻串流之來源而經發送。不同的視框類型可用於編碼及/或壓縮該視頻串流。

各用戶端可編碼至少一個視頻串流而發送至視訊會議伺服器120。舉例而言，各用戶端可擁有一音訊/視頻輸入，例如一網路攝影機及/或連接到用戶端的麥克風。該輸入可用於產生一視頻串流(可包含音訊)，且該用戶端可於發送至視訊會議伺服器120之前編碼視頻串流。視訊會議伺服器120可接收各用戶端編碼的串流，並決定哪些串流傳播至各用戶端。舉例而言，內部網路用戶端110可編碼一視頻串流作為包含一人當前說話的一系列視頻視框。視訊會議伺服器120可將顯示著當前對話者的編碼串流，從內部網路用戶端110發送至第一網路用戶端130、第二網路用戶端140及第三網路用戶端150。視訊會議伺服器120可將一編碼來源串流從第一網路用戶端130、第二網路用戶端140及第三網路用戶端150之各者發送至內部網路用戶端110顯示予觀眾成員們。

第2圖是一圖解說明於視訊會議環境100中多變化的視訊訂閱結構。第一網路用戶端130可發送一第一來源視頻串流230到視訊會議伺服器120。第二網路用戶端140可發送第二來源視頻串流240到視訊會議伺服器120。第三網路用戶端150可發送第三來源視頻串流250到視訊會議伺服器120。內部網路用戶端110可發送第四來源視頻串流210到視訊會議伺服器120。

各來源視頻串流可包含之特性包括一解析度及一視框率。舉例而言，來源視頻串流可包含以每秒30視框(fps)高清晰度(1280 x 720畫素)編碼之視頻，以每秒30視框VGA(640 x 480)的解析度，及/或以每秒15視框CIF(320x240)解析度。

各用戶端可發送一訂閱請求至視訊會議伺服器120。訂閱請求可包含請求參數，例如一來源用戶端、一解析度及/或一視框率。舉例而言，內部網路用戶端110可從第一網路用戶端130請求一視頻串流的一訂閱。視訊會議伺服器120可決定與訂閱請求相匹配的一視頻串流是否可使用，例如第一來源視頻串流230。根據本發明之實施例為，視訊會議伺服器120可決定第一來源視頻串流230是否包含任何及/或所有其他訂閱請求參數。舉例而言，該訂閱請求可包含從第一網路用戶端130以每秒30視框VGA解析度編碼的視頻串流的請求。如果第一來源視頻串流230符合這些參數，也就是說如果第一來源視頻串流230以每秒30視框VGA解析度編碼，視訊會議伺服器120可傳播第一來源視頻串流230至內部網路用戶端110。

如果第一來源視頻串流230與這些參數不相匹配，視訊會議伺服器可指示第一網路用戶端編碼一額外來源視頻串流，包含一不同版本的第一來源視頻串流230，其中該不同版本包含與第一網路用戶端130的訂閱請求之參數盡可能相近的編碼。舉例而言，第一網路用戶端130可能無法以每秒30視框VGA解析度編碼一來源視頻串流，但可有能力以每秒15視框VGA解析度編碼一來源視頻串流。因此，第一網路用戶端130可以每秒15視框VGA解析度編碼該額外的來源視頻串流，且發送該額外的來源視頻串流至視訊會議伺服器120。視訊會議伺服器120可傳播該額外的來源視頻串流至內部網路用戶端110，以回應內部網路用戶端110的訂閱請求。

根據本發明之實施例為，一視訊會議用戶端可發送一訂閱請求至視訊會議伺服器120的多個視頻串流。舉例而言，第一網路用戶端130可向來源視頻串流從各參與視訊會議上的其他用戶端請求一訂閱。視訊會議伺服器120可傳播第二來源視頻串流240、第三來源視頻串流250及第四來源視頻串流210至第一網路用戶端130。

進一步根據本發明之實施例為，一用戶端可能希望看到視訊會議中的所有參與用戶端的來源視頻串流。舉例而言，第二網路用戶端140可參加一具有四個用戶端之視訊會議，並請求訂閱一2×2複合視頻串流以顯示所有四個參與用戶端。視訊會議伺服器可利用一數位信號處理結合第一來源視頻串流230、第二來源視頻串流240、第三來源視頻串流250及第四來源視頻串流210至一單視頻串流。安排該四個來源至一2×2的網格中，且發送該單複合視頻串流至第二網路用戶端240。

進一步根據本發明之實施例為，一用戶端可能希望訂閱多個視頻來源串流但可能沒有足夠的頻寬以接收原始版本的該所請求的串流。舉例而言，第三網路用戶端150可從內部網路用戶端110及第一網路用戶端130請求視頻串流的一訂閱。該訂閱可包含一參數請求兩個串流以每秒15視框VGA解析度發送2×1的矩陣。如果第一來源視頻串流230及第四來源視頻串流210正以每秒30視框VGA解析度發送至視訊會議伺服器120，視訊會議伺服器120可改變第一來源視頻串流230及第四來源視頻串流210，例如利用先刪除每隔一個的視框，接著複合兩個視頻串流至一個新的視頻串流而發送至第三網路用戶端150。

第3圖是說明多位元速率(MBR)編碼的圖解。正如上述第1圖，視訊會議系統100可包含內部網路用戶端110、視訊會議伺服器120、第一網路用戶端130，及第二網路用戶端140。根據本發明之實施例為，內部網路用戶端110可基於其他用戶端的訂閱請求120，發送一高解析度版本310的來源視頻串流及低解析度版本320的來源視頻串流至視訊會議伺服器。舉例而言，第一網路用戶端可發送一訂閱請求305至視訊會議伺服器120，從內部網路用戶端110請求一高解析度視頻串流，且視訊會議伺服器120可由傳播高解析度版本310的來源視頻串流至第一網路用戶端130來回應。

第二網路用戶端140可從內部網路用戶端110發送低解析度視頻串流的訂閱請求340，該請求由內部網路用戶端110提供一不同於低解析度版本320的視頻來源串流之視框率。視訊會議伺服器120可改變低解析度版本320，以與所請求的視框率相匹配，並發送視頻來源串流的修改版本350至第二網路用戶端140。

根據本發明之實施例為，訂閱請求可包含一模式參數。舉例而言，用戶端可訂閱至視頻串流的所有其他參與者，但接收當前對話者高解析度的串流。用戶端因此可發送包含一語音模式參數的訂閱請求。當各來源視頻串流指示其正播送當前對話者時，視訊會議伺服器120可為用戶端訂閱切換視頻串流，且當該用戶端為當前對話者時，當前的正在對話中的用戶端可加一額外的、高解析度視頻串流。另一可能形式為一支配對話用戶端及許多觀眾用戶端。當觀眾用戶端可能只想看到該對話者及/或一用戶端於一問答時間的提問時，該對話者可能想看到許多及/或所有該觀眾用戶端的視頻串流。視訊會議伺服器120可允許對話用戶端請求低解析度的串流訂閱所有觀眾用戶端。若所有較低解析度串流的總頻寬大於對話用戶端所能處理，視訊會議伺服器120可改變該串流以降低視框率。根據本發明之實施例為，對話用戶端可切換看到一觀眾用戶端或多個觀眾用戶端。觀眾用戶端可發送更高解析度視頻串流至視訊會議伺服器120，若舉例而言，觀眾用戶端的數量不超過一可配置的臨界值。

第4圖是一流程圖，其提出一般階段所涉及的一方法400用於視訊會議的訂閱，根據本發明之實施例。方法400可用運算裝置600執行，於下列第6圖作更詳細的敘述。如何落實方法400階段將會於下面有更詳細的描述。根據本發明之實施例為，任何及/或所有方法400階段可執行於視訊會議伺服器120及/或任何多個視訊會議用戶端。

方法400始於開始方塊410然後繼續至階段420，其運算裝置600可註冊至少一個用戶端。舉例而言，該至少一個用戶端可透過網路連接與運算裝置600連接，且可請求參與由運算裝置600主辦的一視訊會議通話。

作為註冊流程的一部分，運算裝置600可決定該至少一用戶端的能力，包含運算能力及編碼/解碼系統的功能，並可請求該至少一個用戶端提供多個視訊流於多個不同位元率中。根據本發明之實施例為，運算裝置600可請求該至少一個用戶端提供數個串流，如果該用戶端擁有能力，但如果用戶端只有低運算能力、處理單元週期、記憶體及/或可用頻寬，可請求用戶端提供一個串流。

當運算裝置600可自該至少一個用戶端接收至少一個編碼的視頻串流時，方法400可從階段420進行至階段430。多個用戶端可參與該視訊會議且各用戶端可發送至少一個視頻串流。舉例而言，運算裝置600可能從至少一個用戶端接收以每秒30視框VGA解析度編碼的一音訊及視頻串流。根據本發明之實施例為，運算裝置600可從至少一個用戶端接收多個串流。舉例而言，一用戶端可發送三個版本的視頻串流：一個以每秒30視框高解析度編碼，一個以每秒30視框VGA解析度編碼，且一個以每秒15視框CIF解析度編碼。

當運算裝置600可從視訊會議中至少一個用戶端接收一訂閱請求時，方法400可從階段430進行至階段440。舉例而言，運算裝置600可從一個用戶端接收VGA編碼的訂閱請求，從第二用戶端接收每秒30視框的串流。根據本發明之實施例為，運算裝置600可從任何/所有參與視訊會議的用戶端接收多個訂閱請求。舉例而言，一個用戶端可請求比所有其他用戶端較的低解析度版本；另一用戶端可在任何用戶端於視訊會議中指定一當前對話者請求一較高的解析度版本，且在某些或所有其他用戶端被指定為低解析度版本。

當運算裝置600可找到與訂閱請求相匹配的視頻串流以發送到至少一個用戶端時，方法400可從階段440進行至子程式450。舉例而言，運算裝置600可決定該第二用戶端已發送一個以每秒30視框VGA編碼的視頻串流至運算裝置600，因此運算裝置600可決定此視頻串流與該訂閱請求相匹配。有關子程式450的進一步詳情將於下列第5圖介紹。

當運算裝置600可發送相匹配的串流到用戶端時，方法400從子程式450可進行至階段460。舉例而言，運算裝置600可傳播相匹配的視頻串流，將第二用戶端所接收的視頻串流，透過網路連接發送至訂閱請求之用戶端。

當運算裝置600可決定是否已接收任何更多的訂閱請求時，方法400可從階段460進行至階段470。訂閱請求可包含更改一現有訂閱的請求，例如一用戶端請求該用戶端正在接收的串流之較低解析度的版本。舉例而言，此請求可應映可用頻寬的減少。訂閱請求亦可包含從已接收至少一視頻串流的一用戶端的一視頻串流請求，從一額外的用戶端或請求來自其他視訊會議中的用戶端。

若運算裝置600決定所接收的另一個訂閱請求，方法400可返回子程式450並嘗試查找相匹配的視頻串流。如果接收不到任何附加的訂閱請求，運算裝置600可繼續等其他請求直到視訊會議結束，同時方法400結束於階段480。

第5圖是一流程圖，其說明一用於第4圖中方法的請求，來選擇與一訂閱請求相匹配之一視頻串流。於子程式450中，運算裝置600可分析與訂閱請求相關聯的屬性，例如該所請求的視頻串流之一來源用戶端。子程式450可始於開始階段510，其運算裝置600可決定與所請求的來源用戶端相關聯的一視頻串流是否可用。此決定步驟可包含決定來源用戶端是否連接至該視訊會議，來源用戶端是否當前正將視頻串流發送至運算裝置600，及/或來源用戶端是否有能力發送視頻串流，如果由運算裝置600及/或視訊會議中的另一用戶端提出請求，如果於階段510中運算裝置600決定所請求的來源用戶端無法提供所請求的視頻串流，則子程式450可進行至階段515，其運算裝置600可根據預定義的邏輯選擇一備用來源用戶端。舉例而言，運算裝置600可選擇一用戶端指定為一當前對話者。根據本發明之實施例為，運算裝置600可返回一錯誤至進行請求的用戶端通知該用戶端所請求的訂閱不可行。運算裝置600可繼續進行定期的決定，如所請求的來源用戶端是否可用在視訊會議。如果在階段515選擇了一個備用來源用戶端，子程式450可返回階段510，決定是否有可供新選擇的來源用戶端。

如果於階段510，運算裝置600決定所請求的來源用戶端可用且/或能夠提供一視頻串流，則子程式450可進行至階段520，其運算裝置600可決定與訂閱請求相關聯的來源用戶端是否當前正在發送以與訂閱請求相關聯的解析度的視頻串流。舉例而言，用戶端可請求一訂閱具有VGA(640 x 480)解析度之來源用戶端的視頻串流。運算裝置600可決定來源用戶端是否提供VGA解析度版本之視頻串流。否則子程式450可進行至階段525，其在運算裝置600可決定來源用戶端是否能夠提供正確的解析度視頻串流。

如果於階段525，運算裝置600決定來源用戶端能夠提供所請求的解析度視頻串流，則子程式450可進行至階段530，其運算裝置600可請求來源用戶端開始發送所請求的解析度視頻串流。如果來源用戶端決定不能夠提供所請求的解析度視頻串流，則子程式450可進行至階段535，其在運算裝置600可選擇使用另一個版本的來源用戶端之視頻串流為最相近的可解決方案。舉例而言，來源用戶端可提供一個CIF解析度視頻串流而非VGA解析度視頻串流。

一旦由運算裝置600選擇了一視頻串流解析度，則子程式450可進行至階段540，其運算裝置600可決定該視頻串流是否可用與訂閱請求相關聯的視框率。如果所選擇的串流在階段520與所請求的視框率不匹配，則子程式450可進行至階段545，其中運算裝置600可改變該視頻串流，例如透過刪除備用的視框以降低視框率。舉例而言，運算裝置600可接收以每秒15視框VGA解析度視頻串流之訂閱請求，但來源用戶端所提供的視頻串流可以每秒30視框編碼。運算裝置600可，例如，刪除來自該視頻串流之視框以減低該視框率。根據本發明之實施例為，運算裝置600可決定來源用戶端是否能夠進行編碼並於該所請求的視框率發送一視頻串流，就解決方式而論類似於階段525的過程，且可請求該來源用戶端發送一相匹配的串流至運算裝置600。於階段540及/或階段545，子程式450可返回至方法400的階段460中。

根據本發明之實施例為，訂閱請求可提供另外可接受的值，其具有例如來源用戶端、解析度及視框率的屬性。舉例而言，一訂閱請求可包含來自第一用戶端視頻串流的請求，且可表明從一第二用戶端的一視頻串流也是可接受的。同樣地，一訂閱請求可按優先順序處理所請求的解析度，例如在允許的情況下寧願選擇一高清晰度視頻串流，表明的VGA解析度流也可被接受，但請求運算設備600不發送視頻串流以回應如果只有CIF解析度串流可用的訂閱請求。

與本發明一致的一實施例可包含為多個用戶端提供資料的一種系統。該系統可包含一記憶體儲存與耦合至該記憶體儲存的處理單元。處理單元可運作以接收來自至少一個第一用戶端的至少一個視頻串流，接收來自至少一個第二用戶端的一視頻訂閱請求，決定至少一個第一用戶端所接收的至少一個視頻串流與來自該至少一個第二用戶端的該視頻訂閱請求是否相匹配，且回應決定該至少一個第一用戶端所接收的該至少一個視頻串流與該至少一個第二用戶端的視頻訂閱請求相匹配，發送該至少一個第一用戶端所接收的該至少一個視頻串流到該至少一個第二用戶端。該視頻訂閱請求可包含一所請求的解析度及/或一所請求的視框率。如果該至少一個第一用戶端所接收的該至少一個視頻串流與該至少一個第二用戶端的該視頻訂閱請求不匹配，該處理單元可運作以發送一指令到該至少一個第一用戶端，阻止編碼及發送該至少一個視頻串流。

根據本發明之實施例為，處理單元可運作以註冊參與一視訊會議的多個用戶端，從該多個用戶端之各者接收至少一個視頻串流，從該等已註冊用戶端之各者接收至少一個視頻訂閱請求，決定來自該等已註冊用戶端之各者的該至少一個視頻訂閱請求與來自該多個用戶端的該等視頻串流的至少一個是否相匹配，且發送與所接收的該等視頻串流的至少一個相匹配者到該多個用戶端之各者。決定一訂閱請求及一所接收的視頻串流之間的一匹配，可包含決定該等視頻串流是否匹配訂閱請求的一所請求的來源用戶端、一請求解析度及/或一所請求的視框率。

如果一所接收的視頻串流與該等訂閱請求的至少一個不匹配，處理單元可運作以決定是否可改變至少一個所接收的視頻串流，使之與該至少一個視頻訂閱請求匹配，改變該視頻串流，且發送該所改變的視頻串流到該進行請求的用戶端。改變該視頻串流的步驟可包含以一不同解析度重新編碼該視頻串流、從該視頻串流中刪除至少一個視框、及/或結合至少兩組該等所接收的視頻串流到一單一的視頻串流。進一步根據本發明之實施例為，處理單元可運作以決定與該訂閱請求相關聯的一視頻串流來源用戶端是否有能力編碼一視頻串流以滿足該訂閱請求。如果該來源用戶端有此能力，該處理單元可發送一指令到該視頻串流來源用戶端，以編碼一相匹配的視頻串流且發送該相匹配的視頻串流結果到該進行請求的至少一個已註冊的用戶端。被運作以決定一來源用戶端是否有能力發送一匹配視頻串流的步驟可包含被運作以決定該視頻串流來源用戶端是否有能力編碼兩種不同版本的視頻串流，其兩種版本的差異在於解析度及/或視框率。

如果處理單元決定所接收的視頻串流無法滿足至少一個訂閱請求及/或無任何用戶端可提供所請求的視頻串流，處理單元可運作以計算該等所接收的視頻串流中之何者與該至少一個視頻訂閱請求最匹配，並發送與該至少一個視頻訂閱請求最密切匹配的該視頻串流到該進行請求的該等已註冊的用戶端之至少一個。舉例而言，處理單元可決定該等視頻串流之至少一個與該訂閱請求相關聯的一視頻串流來源用戶端是否相匹配；與該訂閱請求相關聯且與該視頻串流來源用戶端相匹配的該等視頻串流之該至少一個，與該訂閱請求相關聯的一解析度是否相匹配；及/或與該訂閱請求相關聯且與該視頻串流來源用戶端及該解析度相匹配的該等視頻串流之該至少一個，與該訂閱請求相關聯的一視框率是否相匹配。處理單元可發送該等視頻串流的至少一個到進行請求的用戶端。

如果處理單元決定該等視頻串流的至少一個與該訂閱請求關聯的一視頻串流來源用戶端不相匹配，處理單元可運作從該多個用戶端中除了與該訂閱請求相關聯的該視頻串流來源用戶端以外選擇一第二視頻串流來源用戶端，且發送從所選擇的該第二視頻串流來源用戶端所接收的至少一個從視頻串流到該進行請求的用戶端。從該多個用戶端中除了與該訂閱請求相關聯的該視頻串流來源用戶端以外選擇一第二視頻串流來源用戶端的步驟，包含選擇含有一當前對話者正發送一視頻串流的該第二視頻串流來源用戶端。

與本發明一致的另一實施例可包含提供給多個用戶端視頻串流的系統。該系統可包含記憶體儲存及耦合至記憶體儲存的處理單元。該處理單元可運作以註冊多個視訊會議的用戶端，接受來自該多個視訊會議的用戶端之各者的至少一個來源視頻串流，接收來自至少一個的該多個視訊會議的用戶端之至少一個視頻串流訂閱請求，決定從該多個視訊會議的用戶端之各者所接收的至少一個視頻串流訂閱請求與該至少一個視頻串流訂閱請求是否相匹配，且回應決定從該多個視訊會議的用戶端之各者所接收的至少一個視頻串流訂閱請求與該至少一個視頻串流訂閱請求相匹配，發送該與該等來源視頻串流的至少一個第一串流相匹配者到該進行請求的該多個視訊會議的用戶端之至少一者。該處理單元另外可運作從至少一個的該多個視訊會議的用戶端之該至少一個接收至少一個第二視頻串流訂閱請求，決定從該多個視訊會議的用戶端之各者接收的該等來源視頻串流的至少一個第二串流與該至少一個第二視頻串流訂閱請求是否相匹配，且回應決定從該多個視訊會議的用戶端之各者接收的該等來源視頻串流的至少一個第二串流與該至少一個第二視頻串流訂閱請求相匹配，發送該等來源視頻串流的至少一個第二串流相匹配者到進行請求的該多個視訊會議的用戶端的至少一者。

根據本發明之實施例為，被運作以發送該等來源視頻串流的至少一個第二串流相匹配者到進行請求的該多個視訊會議的用戶端的至少一者之步驟，可包含運作處理單元以從該等來源視頻串流的至少一個第一串流相匹配者以及該等來源視頻串流的至少一個第二串流相匹配者創造一複合視頻串流，且發送該複合視頻串流到進行請求的該多個視訊會議用戶端的至少一者。

處理單元可進一步運作從該多個視訊會議的用戶端的至少一個接收至少一個第二來源視頻串流，其中該至少一個第二來源視頻串流包含該至少一個來源視頻串流的一不同版本。該不同的版本可包含該至少一個的第一視頻來源串流的一低解析度版本。

處理單元可運作從至少一個第一視訊會議用戶端接收至少一個第一視頻來源串流，從至少一個第二視訊會議用戶端接收至少一個第二視頻來源串流，從至少一個第三視訊會議用戶端，接收來自至少一個第一視訊會議用戶端及至少一個第二視訊會議用戶端的一來源視訊流的訂閱請求，且從第一視頻來源串流及第二視頻來源串流創造一複合視訊流。被運作以創造的複合視訊流可包含被運作以改變至少一個視訊來源串流的視框率及結合已改變的串流到一單一視訊流。

仍為與本發明一致的另一實施例，可包含一系統用於提供視訊會議中的速率匹配。該系統可包含一記憶體儲存及與記憶體儲存耦合的一處理單元。該處理單元可運作以接收來自多個視訊會議用戶端的多個視頻串流，從多個視訊會議用戶端的至少一個接收至少一個訂閱請求，且決定該多個視頻串流的該所請求的至少一個視頻串流，是否以所請求的解析度及所請求的視框率從一來源用戶端所接收，其中該來源用戶端係用於該多個視頻串流的該所請求的至少一個視頻串流。如果無任何該多個視訊流與該所請求的解析度及/或視框率相匹配，該處理單元可運作以決定該來源用戶端是否有能力發送一相匹配視頻串流，請求該來源用戶端如此執行，且發送該相匹配的視頻串流到進行請求的用戶端。該訂閱請求可包含為至少一個的該多個視頻串流的一請求、一請求解析度及/或一請求視框率。各用戶端可發送至少一個的該多個視頻串流。

第6圖是一系統的方塊圖，其包含運算裝置600。根據本發明之實施例為，上述記憶體儲存及處理單元可於計算設備中執行，例如第6圖的運算裝置600。任何適當的硬體、軟體或韌體的組合可被用於執行記憶體儲存及處理單元。舉例而言，記憶體儲存及處理單元可執行運算裝置600或任何其它運算裝置618，與運算裝置600結合。上述系統、設備及處理器僅為範例，且其他系統、設備及處理器可包含上述記憶體儲存及處理單元，根據本發明之實施例。此外，運算裝置600可包含一操作環境用於上面所述的系統100。系統100可於其他環境中運作且並不限於運算裝置600。

對第6圖而言，與本發明之實施例一致的一系統可包含一個計算設備，如運算裝置600。於一基本配置內，運算裝置600可包含至少一個處理單元602及一系統記憶體604。取決於配置及計算設備的類型，系統記憶體604可包含但不限於揮發性(例如，隨機存取記憶體(RAM))、非揮發性(例如，唯讀記憶體(ROM))、快閃記憶體或任何組合。系統記憶體604可包含作業系統605、一或多個程式設計模組606及可包含一程式資料607。舉例而言，作業系統605適合控制運算裝置600的運行。舉例而言於一實施例中，程式設計模組606可包含資料分析模組及/或視訊會議伺服器620。此外，本發明之實施例可與一圖形庫、其他的作業系統或任何其他應用程式結合實行，且並不限於任何特定的應用程式或系統。這種基本配置於第6圖虛線608中的這些元件說明。

運算裝置600可具有額外的功能或特性。舉例而言，運算裝置600亦可包含其他資料存放裝置(可卸除或不可卸除)例如：磁片、光學的磁片或磁帶。這種額外的儲存表示於第6圖的一卸除式儲存609及不可卸除式儲存610。電腦儲存媒體可包含揮發性及非揮發性、可卸除及不可卸除媒體執行於任何方法或技術，以儲存資訊，例如電腦可讀指令、資料結構、程式的模組或其他資料。系統記憶體604、卸除式儲存609及不可卸除式儲存610是所有電腦儲存媒體的範例(即記憶體儲存)。電腦儲存媒體可包含，但不限於RAM、ROM、電可擦除唯讀記憶體(EEPROM)、快閃記憶體或其他記憶體技術、CD-ROM、數位通用磁片(DVD)或其他光儲存、磁盒、磁帶、磁片儲存或其他的磁性存放裝置或任何其他媒體，可用於儲存資訊並可被運算裝置600存取。任何此類電腦儲存媒體可為裝置600的一部分。運算裝置600亦可具有輸入裝置612例如鍵盤、滑鼠、筆、聲音輸入裝置、觸摸輸入的設備。也可包含輸出裝置614例如一顯示器、喇叭、印表機等等。上述的設備僅為範例且可使用其他裝置。

運算裝置600亦可包含一個通訊連接616以允許裝置600與其他計算設備618溝通，例如分散式運算環境中透過一網路，舉例而言，一內部網路或網際網路。通訊連接616是溝通媒介的一範例。溝通媒體可典型地安裝於一調變資料信號中的電腦可讀指令、資料結構、程式模組或其他資料，例如一個載波或其它的傳輸機制且包含任何資訊傳遞媒體。「調變資料信號」一詞可說明了具有一或多種特性的一信號在這種方式設置或更改以編碼資訊於該信號。此範例的方式且非限制，溝通媒體可包含有線媒體例如有線網路或直接有線連接，及無線媒體例如聲、無線射頻(RF)、紅外及其它無線媒體。此處所用的電腦可讀媒體一詞可包含儲存媒體及溝通媒體兩種。

正如上文所述，一數量的程式模組及資料檔案可儲存在系統記憶體604，包含作業系統605。當執行處理單元602、程式設計模組606(例如視訊會議伺服器620)可執行程序包含，舉例而言，一個或多個上述方法400的階段。上述過程為一範例，且處理單元602可執行其他程式。其他程式設計的模組依照本發明之實施例可包含電子郵件及連絡應用程式、文書處理應用程式、試算表應用程式、資料庫應用程式、幻燈片呈現應用程式、圖形或電腦協助應用程式等。

通常，根據本發明之實施例為，程式模組可包含程序、程式、元件、資料結構及其他類型的結構以執行特定任務或可執行特定的抽象資料類型。此外，本發明之實施例可與其他電腦系統組態實行，包含掌上型設備、多處理單元系統、微處理機或可程式設計的消費型電子產品微電腦、大型主機電腦及類似等。本發明之實施例亦可實行於分散式運算環境，其中任務由通訊網路連結的遠端處理設備執行。程式模組可位於本地及遠端存放記憶體。

此外，本發明之實施例可實行於一電路包含離散電子元素、包含邏輯閘包裝或結合的電子晶片、一利用電路的微處理器、或於單一晶片上包含的電子元件或微處理器。本發明之實施例亦可實行使用其他有能力執行邏輯運作的技術，例如：AND、OR、及NOT，包含但不限於機械、光、流體及量子技術。此外，本發明之實施例可實行於一般功能的電腦或任何其他電路或系統中。

本發明之實施例舉例而言，可執行一個電腦程序(方法)、一計算系統或製造的一物件，例如一電腦程式產品或電腦可讀媒體。電腦程式產品可為電腦儲存媒體可讀於電腦系統及編碼一電腦程式的指令以執行電腦程序。電腦程式產品亦可為一傳播信號位於載體可讀於電腦系統及編碼一電腦程式的指令以執行電腦程序。因此，本發明可用於硬體及/或軟體(包含韌體、常駐軟體、微代碼等)。換言之，本發明之實施例可為電腦程式產品的形式於電腦可用或電腦可讀的儲存媒體具有電腦可用或電腦可讀的程式碼灌於媒體中以供使用或與指令執行系統連接。電腦可用或電腦可讀的語言可為任何媒體，其可為包含、儲存、通訊、傳播或傳輸的應用程式可供使用或連接於指令執行系統、裝置或設備。

舉例而言，電腦可用或電腦可讀媒體，可包含但不限於一電子、磁性、光學、電磁、紅外線或半導體系統、裝置、設備，或傳播媒介。更具體的電腦可讀範例(不完全的清單)，電腦可讀的媒體可包含以下：一電子連結具有一或多條線、可擕式電腦軟碟、隨機存取記憶體(RAM)、唯讀記憶體(ROM)、可擦除可程式設計唯讀記憶體(EPROM或Flash記憶體)、光纖、可攜式光碟唯讀記憶體(CD-ROM)。需要注意的是電腦可用或電腦可讀媒體甚至包含紙或其他程式列印的合適媒體，即程式可利用電子方式捕獲，透過，舉例而言，光掃描的紙或其他介質，接著編譯、解釋或以其它方式處理的合適的方式，如有需要，然後將其存至電腦記憶體中。

本發明之實施例，舉例而言，根據本發明之實施例描述以上方塊圖及/或操作說明的方法、系統及電腦程式產品。功能/步驟描述於方塊中可不依所表示於任何流程圖的順序發生。舉例而言，一連串的兩方塊可實際上執行於大致上同一時間，或有時以相反的順序執行，取決於所涉及的功能/步驟。

雖然已描述某些本發明之實施例，其他實施例可能存在。此外，雖然本發明之實施例已被描述為與資料儲存在記憶體及其他的儲存介質，資料可也儲存在或可讀於其他類型的電腦可讀媒體，如硬碟、軟碟磁片或CD-ROM、一載波的網路，或其他形式的RAM或ROM。進一步，所揭示方法的階段可修改為任何的方式，包含透過重新排序階段及/或插入或刪除分階段，無法與本發明分離。

所有權利包含程式碼的著作權已既定賦予申請人的財產。申請人保留包含程式碼的所有權利，且授予許可來再製造物質僅限於授與專利的再製造且無其他目的。

此說明書包含範例，本發明的範疇指明於以下的專利申請範圍。此外，此說明書已被描為語言特定指結構的功能及/或方法步驟，申請範圍並不局限上文所述的功能或步驟。更確切的說，特定的功能與以上所述的步驟僅為本發明之實施例的範例。

100．．．視訊會議環境

110．．．內部網路用戶端

115．．．內部網路連接

120．．．視訊會議伺服器

125．．．網路連結

130．．．第一網路用戶端

140．．．第二網路用戶端

150．．．第三網路用戶端

160．．．網路

210．．．第四來源視頻串流

230．．．第一來源視頻串流

240．．．第二來源視頻串流

250．．．第三來源視頻串流

305．．．訂閱請求

310．．．高解析度版本

320．．．低解析度版本

340．．．訂閱請求

600．．．運算裝置

602．．．處理單元

604．．．系統記憶體

605．．．作業系統

606．．．程式設計模組

607．．．程式資料

608．．．虛線

609．．．卸除式儲存

610．．．不可卸除式儲存

612．．．輸入裝置

614．．．輸出裝置

616．．．通訊連接

618．．．其他計算設備

620．．．視訊會議伺服器

隨附的圖式，其構成此說明的一部分，說明本發明之多變化的實施例。在圖式中：

第1圖是一視訊會議環境之一方塊圖；

第2圖是一圖示說明多變化的視頻訂閱結構；

第3圖視一圖示說明多位元率(MBR)編碼；

第4圖是一流程圖說明於一視訊會議提供訂閱之方法

第5圖是一流程圖說明用於第4圖之方法的一子程式來選擇與一訂閱請求匹配之視頻串流；及

第6圖是一系統之方塊圖包含一運算裝置。

100．．．視訊會議環境

110．．．內部網路用戶端

115．．．內部網路連接

120．．．視訊會議伺服器

125．．．網路連結

130．．．第一網路用戶端

140．．．第二網路用戶端

150．．．第三網路用戶端

160．．．網路

Claims (20)

1. 一種提供視頻串流訂閱的方法，該方法包含以下步驟：從至少一個第一用戶端，接收至少一個視頻串流；從至少一個第二用戶端，接收一視頻訂閱請求，該視頻訂閱請求包含將從該第一用戶端接收的一所請求解析度，該所請求解析度指定了範圍可從一低解析度至一高解析度的一視頻串流之一解析度；決定從該至少一個第一用戶端所接收之該至少一個視頻串流與從該至少一個第二用戶端所接收之該視頻訂閱請求是否相匹配；回應於決定從該至少一個第一用戶端所接收之至少一個視頻串流與從該至少一個第二用戶端所接收之該視頻訂閱請求不匹配之步驟，而從該至少一個第一用戶端請求一不同的視頻串流，該不同的視頻串流係與來自該至少一個第二用戶端之該視頻訂閱請求相匹配；及回應於決定從該至少一個第一用戶端所接收之至少一個視頻串流與從該至少一個第二用戶端所接收之該視頻訂閱請求相匹配之步驟，發送從該至少一個第一用戶端所接收之該至少一個視頻串流到該至少一個第二用戶端。
2. 如申請範圍第1項之方法，其中該視頻訂閱請求進一步包含一所請求的視框率。
3. 如申請範圍第1項之方法，進一步包含以下步驟：回應於決定從該至少一個第一用戶端所接收之該至少一個視頻串流與從該至少一個第二用戶端所接收之該視頻訂閱請求不相匹配之步驟，而發送一指令到該至少一個第一用戶端以停止編碼且發送該至少一個視頻串流。
4. 如申請範圍第1項之方法，進一步包含以下步驟：註冊多個用戶端；從該多個用戶端之各者，接收至少一個視頻串流；從該等經註冊用戶端之各者，接收至少一個視頻訂閱請求；決定從該等經註冊用戶端之各者所接收之該至少一個視頻訂閱請求與從該多個用戶端所接收之該等視頻串流之至少一者是否相匹配；及回應於決定從該等經註冊用戶端之各者所接收之該至少一個視頻訂閱請求與從該多個用戶端所接收之該等視頻串流的至少一者相匹配之步驟，而發送與該等所接收的視頻串流至少一個該相匹配者到該多個用戶端的各者。
5. 如申請範圍第4項之方法，其中決定從該等經註冊用戶端之各者所接收之該至少一個視頻訂閱請求與從該多個用戶端所接收之該等視頻串流之至少一個是否相匹配之步驟包含以 下步驟：決定該等所接收的視頻串流的至少一個是否包含以下至少一者：從該等經註冊用戶端各者所接收之該訂閱請求的一所請求來源用戶端、一所請求解析度及一所請求視框率。
6. 如申請範圍第4項之方法，進一步包含以下步驟：回應於決定從該多個用戶端所接收之該等視頻串流的至少一個無法滿足從該等經註冊用戶端之至少一個所接收之至少一個視頻訂閱請求之步驟，而決定至少一個所接收的視頻串流是否可被改變以與該至少一個視頻訂閱請求相匹配；回應於決定至少一個所接收的視頻串流可被改變以與該至少一個視頻訂閱請求相匹配之步驟，而改變該所接收的視頻串流；且發送該經改變的視頻串流到該等經註冊用戶端的至少一個該進行請求者。
7. 如申請範圍第6項之方法，其中改變該視頻串流的步驟包含至少一個以下步驟：再編碼一不同解析度的該視頻串流、刪除來自該視頻串流之至少一個視框、及結合該等所接收之視頻串流之至少二個為一單一視頻串流。
8. 如申請範圍第4項之方法，進一步包含以下步驟：回應於決定從該多個用戶端所接收之該等視頻串流的至少一個無法滿足從該等經註冊用戶端之至之一者所接收之該 至少一個視頻訂閱請求之步驟，而決定關聯於該訂閱請求的一視頻串流來源用戶端是否有能力編碼一相匹配的視頻串流；回應於決定關聯於該訂閱請求的一視頻串流來源用戶端有能力編碼一相匹配的視頻串流之步驟，而發送一指令到該視頻串流來源用戶端以編碼一相匹配的視頻串流；及發送該相匹配的視頻串流至該等經註冊用戶端的至少一個該進行請求者。
9. 如申請範圍第8項之方法，其中決定關聯於該訂閱請求的一視頻串流來源用戶端是否有能力發送一相匹配的視頻串流之步驟包含以下步驟：決定該視頻串流來源用戶端是否有能力編碼包括以下至少一者的至少兩個視頻串流：一不同解析度及一不同視框率。
10. 如申請範圍第4項之方法，進一步包含以下步驟：回應於決定從該多個用戶端所接收之該等視頻串流的至少一個無法滿足從該等經註冊用戶端的至少一個所接收之至少一個視頻訂閱請求之步驟，而計算該等視頻串流之何者與該至少一個視頻訂閱請求最匹配；且發送與該至少一個視頻訂閱請求最匹配的該視頻串流到該等經註冊用戶端的至少一個該進行請求者。
11. 如申請範圍第10項之方法，其中計算該等視頻串流之何者與該至少一個視頻訂閱請求最匹配之步驟包含以下步驟：決定該等視頻串流的至少一個與關聯於該訂閱請求的一視頻串流來源用戶端是否相匹配；決定與該視頻串流來源用戶端相匹配的該等視頻串流的該至少一個與關聯於該訂閱請求的一解析度是否相匹配，該視頻串流來源用戶端關聯於該訂閱請求；決定與該視頻串流來源用戶端相匹配之該等視頻串流的該至少一個及關聯於該訂閱請求的該解析度與關聯於該訂閱請求的一視框率是否相匹配；及回應於決定該等視頻串流的該至少一個與該視頻串流來源用戶端及關聯於該訂閱請求的該解析度相匹配但與關聯於該訂閱請求的該視框率不相匹配之步驟，而發送該等視頻串流的該至少一個到該進行請求的用戶端。
12. 如申請範圍第11項之方法，進一步包含以下步驟：回應決定該等視頻串流的至少一個與關聯於該訂閱請求的一視頻串流來源用戶端不相匹配之步驟：從除了關聯於該訂閱請求的該視頻串流來源用戶端之外的該多個用戶端之中，選擇一第二視頻串流來源用戶端；及發送從該所選擇的第二視頻串流所接收之至少一個視頻串流到該進行請求的用戶端。
13. 如申請範圍第12項之方法，其中從除了關聯於該訂閱請求的該視頻串流來源用戶端之外的該多個用戶端之中，選擇一第二視頻串流來源用戶端之步驟包含以下步驟：選擇該第二視頻串流來源用戶端為正在發送包含一當前對話者的一視頻串流。
14. 一種電腦可讀儲存媒體，其中儲存一組指令，當執行該組指令時執行提供視頻串流訂閱的一方法，由該組指令執行的該方法包含以下步驟：註冊多個視訊會議用戶端；從該多個視訊會議用戶端的各者，接收至少一個來源視頻串流；從該多個視訊會議用戶端的至少一個，接收至少一個視頻串流訂閱請求，該視頻串流訂閱請求包含範圍可從一低解析度至一高解析度的一所請求解析度；決定從該多個視訊會議用戶端的各者所接收之該等來源視頻串流的至少一個第一串流與該至少一個視頻串流訂閱請求是否相匹配；回應於決定從該多個視訊會議用戶端之每一個所接收之該等來源視頻串流之至少一個第一串流與該視頻串流訂閱請求不匹配之步驟，而請求一不同的來源視頻串流，該不同的來源視頻串流係與該視頻串流訂閱請求相匹配；及 回應於決定從該多個視訊會議用戶端之各者所接收之該等來源視頻串流的至少一個第一串流與該至少一個視頻串流訂閱請求相匹配之步驟，而發送該等來源視頻串流的該相匹配的至少一個第一串流到該多個視訊會議用戶端的至少一個該進行請求者。
15. 如申請範圍第14項之該電腦可讀儲存媒體，進一步包含以下步驟：從該多個視訊會議用戶端之該至少一個接收至少一個第二視頻串流訂閱請求；決定從該多個視訊會議用戶端的各者所接收之該等來源視頻串流的至少一個第二串流與該至少一個第二視頻串流訂閱請求是否相匹配；及回應於決定從該多個視訊會議用戶端之各者所接收之該等來源視頻串流的至少一個第二串流與於該至少一個第二視頻串流訂閱請求相匹配之步驟，而發送該等來源視頻串流的該相匹配的至少一個第二串流到該多個視訊會議用戶端的至少一個該進行請求者。
16. 如申請範圍第15項之該電腦可讀儲存媒體，其中發送該等來源視頻串流的該相匹配的至少一個第二串流到該多個視訊會議用戶端的至少一個該進行請求者之步驟包含以下步驟： 創造一複合視頻串流，其係該等來源視頻串流之該相匹配的至少一個第一串流及該等來源視頻串流之該相匹配的至少一個第二串流；發送該複合視頻串流到該多個視訊會議用戶端的至少一個該進行請求者。
17. 如申請範圍第14項之該電腦可讀儲存媒體，進一步包含以下步驟：從該多個視訊會議用戶端之至少一個，接收至少一個第二來源視頻串流，其中該至少一個第二來源視頻串流包含該至少一個來源視頻串流的一不同版本。
18. 如申請範圍第14項之該電腦可讀儲存媒體，進一步包含以下步驟：從至少一個第一視訊會議用戶端，接收至少一個第一視頻來源串流及至少一個第二視頻來源串流，其中該至少一個第二視頻來源串流包含比該至少一個第一視頻來源串流之一較低解析度版本；從至少一個第二視訊會議用戶端，接收至少一個第一視頻來源串流及至少一個第二視頻來源串流，其中該至少一個第二視頻來源串流包含該至少一個第一視頻來源串流之一較低解析度版本；從至少一個第三視訊會議用戶端，接收一來源視頻串流的一訂閱請求，該來源視頻串流係來自該至少一個第一視訊會 議用戶端及該至少一個第二視訊會議用戶端；創造一複合視頻串流，其係該至少一個第一視訊會議用戶端之該至少一個第二視頻來源串流，及該至少一個第二視訊會議用戶端之該至少一個第二視頻來源串流；及發送該複合視頻串流到該至少一個第三視訊會議用戶端。
19. 如申請範圍第14項之該電腦可讀儲存媒體，進一步包含以下步驟：從至少一個第一視訊會議用戶端，接收至少一個第一視頻來源串流；從至少一個第二視訊會議用戶端，接收至少一個第二視頻來源串流；從至少一個第三視訊會議用戶端，接收一來源視頻串流的一訂閱請求，該來源視頻串流係來自該至少一個第一視訊會議用戶端及該至少一個第二視訊會議用戶端；從該至少一個第一視頻來源串流及該至少一個第二視頻來源串流創造一複合視頻串流，其中創造該複合視頻串流之步驟包含以下步驟：改變該至少一個第一視頻來源串流之視框率；改變該至少一個第二視頻來源串流之視框率；及結合該經改變的第一視頻來源串流及該經改變的第二視頻來源串流為一單一視頻串流；及 發送該複合視頻串流到該至少一個第三視訊會議用戶端。
20. 一種在一視訊會議中提供訂閱的系統，該系統包含：一記憶體儲存；及一處理單元耦合至該記憶體儲存，其中該處理單元運作以：從多個視訊會議用戶端，接收多個視頻串流，其中各用戶端發送該多個視頻串流的至少一個；從該多個視訊會議用戶端的至少一個，接收至少一個訂閱請求，其中該訂閱請求包含對該多個視頻串流之至少一個的一請求、範圍可從一低解析度至一高解析度的一所請求的解析度及一所請求的視框率；決定該多個視頻串流的該所請求的至少一個視頻串流，是否以所請求的解析度從一來源用戶端所接收，其中該來源用戶端係用於該多個視頻串流的該所請求的至少一個視頻串流；決定該多個視頻串流的該所請求的至少一個視頻串流，是否以所請求的視框率從一來源用戶端所接收，其中該來源用戶端係用於該多個視頻串流的該所請求的至少一個視頻串流；回應於決定該多個視頻串流的該所請求的至少一個視頻串流係以所請求的解析度但並非以所請求的視框率從一來源 用戶端所接收之步驟，以該所請求的解析度但不為所請求的該視框率發送該多個視頻串流的該所請求之至少一個視頻串流至發送該訂閱請求的該多個視頻會議用戶端之至少一者，其中該來源用戶端係用於該多個視頻串流的該所請求的至少一個視頻串流。