TW201313019A - 在連續呈現會議中之視訊串流之間切換之方法及系統 - Google Patents

在連續呈現會議中之視訊串流之間切換之方法及系統 Download PDF

Info

Publication number
TW201313019A
TW201313019A TW101129108A TW101129108A TW201313019A TW 201313019 A TW201313019 A TW 201313019A TW 101129108 A TW101129108 A TW 101129108A TW 101129108 A TW101129108 A TW 101129108A TW 201313019 A TW201313019 A TW 201313019A
Authority
TW
Taiwan
Prior art keywords
frame
mre
stream
video
relay
Prior art date
Application number
TW101129108A
Other languages
English (en)
Other versions
TWI491218B (zh
Inventor
Avishay Halavy
Ery Efrat Be
Erez Harel
Original Assignee
Polycom Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US13/487,703 external-priority patent/US8760492B2/en
Application filed by Polycom Inc filed Critical Polycom Inc
Publication of TW201313019A publication Critical patent/TW201313019A/zh
Application granted granted Critical
Publication of TWI491218B publication Critical patent/TWI491218B/zh

Links

Landscapes

  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

本發明描述一種媒體中繼會議(MRC)系統,其包含以一有效方式處置框內圖框之需要之一媒體中繼多點控制單元(MRM)及一媒體中繼端點(MRE),改良會議體驗,且藉由在需要框內圖框時減少框內圖框之數目並降低框內圖框之影響而減小與MRC視訊會議相關聯之資源負載。在一些實施例中,當一需求MRE請求用於自一呈現MRE所接收之一視訊串流之一框內圖框時,一MRM可藉由請求該呈現MRE發送一暫時視訊串流朝向該需求MRE同時並行發送一正常串流朝向其餘MRE而作出回應。

Description

在連續呈現會議中之視訊串流之間切換之方法及系統
本發明係關於視訊通信且更特定言之關於多點視訊會議之領域。
本申請案係2009年8月17日申請之標題為「METHOD AND SYSTEM FOR CONDUCTING CONTINUOUS PRESENCE CONFERENCE」之美國專利申請案第12/542,450號之一接續部分,其主張2009年1月30日申請之標題為「METHOD AND SYSTEM FOR CONDUCTING CONTINUOUS PRESENCE CONFERENCES」之美國臨時申請案第61/148,772號之申請日期之權利,該兩案之全文以引用的方式併入本文中。本申請案亦主張2011年8月11日申請之標題為「METHOD AND SYSTEM FOR SWITCHING BETWEEN STREAMS IN A CONTINUOUS PRESENCE CONFERENCE」之美國臨時申請案第61/522,474號之優先權,該案之全文以引用的方式併入本文中。
由於網際網路協定(IP)網路上之訊務隨著各種視訊會議設備之增長而繼續其快速增長,故越來越多的人將視訊會議用作為其等通信工具。三個或三個以上參與者之間的一多點會議需要一多點控制單元(MCU)。一MCU為通常定位在一網路之一節點中或在自數個端點接收若干頻道之一終端機中之一會議控制實體。根據特定準則,該MCU處理音訊及視覺信號並將其等散佈至一組連接頻道。MCU之實例 包含MGC-100、RMX® 2000,其兩者可購自Polycom公司(RMX 2000為Polycom公司之一註冊商標)。一終端機(其可稱作一端點)為該網路上之一實體,終端機能夠提供與其他終端機或與該MCU之即時雙向音訊及/或音訊視覺通信。可在國際電信聯盟(「ITU」)標準(諸如可在ITU網站:www.itu.int中找到之H.320、H.324及H.323標準)中找到一端點及一MCU之一更詳盡定義。
一MCU可包含複數個音訊及視訊解碼器、編碼器及橋接器。該MCU可使用大量處理能力來處置可變數目個參與者(端點)之間的音訊及視訊通信。該通信可基於多種通信協定及壓縮標準且可自不同端點接收。該MCU可需要(分別)合成複數個輸入音訊或視訊串流成為音訊或視訊之至少一單個輸出串流,該輸出串流可與該輸出串流所發送至之至少一參加會議者(端點)之性質相容。自該等端點所接收之壓縮音訊串流被解碼且可經分析以判定將選擇哪個音訊串流用於混合成該參加會議者之單個音訊串流。為了本揭示內容之目的,術語解碼及解壓縮可互換著使用。
一會議可具有一或多個視訊輸出串流,其中各輸出串流與一版面配置(layout)相關聯。一版面配置定義在接收該串流之一或多個參加會議者之一顯示器上一會議之出現。一版面配置可分成一或多個片段(segment),其中各片段可與由一參加會議者(端點)所發送之一視訊輸入串流相關聯。各輸出串流可由若干輸入串流構成,從而導致一連續呈現(CP)會議。在一CP會議中,一遠端終端機處之一使用 者可同時觀察到該會議中之若干其他參與者。可在該版面配置之一片段中顯示各參與者,其中各片段可大小相同或大小不同。所顯示且與該版面配置之片段相關聯之選擇可在參與相同議程之不同參加會議者當中有所改變。
一MCU可能需要:將各輸入視訊串流解碼成一全圖框之未壓縮視訊;管理與會議相關聯之複數個未壓縮視訊串流;及合成及/或管理複數個輸出串流,各輸出串流可能與一參加會議者或一特定版面配置相關聯。可由該MCU之一視訊輸出埠產生該輸出串流。一視訊輸出埠可包括一版面配置建置器及一編碼器。該版面配置建置器可收集來自選定參加會議者之不同未壓縮視訊圖框並將該等不同未壓縮視訊圖框按比例調整成其等最終大小且將其等置於該版面配置之其等片段中。此後,該合成視訊圖框之視訊係由該編碼器來編碼並發送至適當端點。因此,處理及管理複數個視訊會議需要極大且昂貴的計算資源,且因此一MCU通常為一昂貴且非複雜的產品。在若干專利及專利申請案(例如,美國專利第6,300,973號、第6,496,216號、第5,600,646號或第5,838,664號)中揭示一MCU,該等案之內容以引用的方式併入本文中。此等專利揭示在可用於產生一CP會議之視訊輸出串流之一MCU中之一視訊單元之操作。
使用視訊會議之增長趨勢引發需要將實現進行具有合成CP視訊影像之複數個會議議程之低成本MCU。
存在以少於一習知MCU之資源合成壓縮視訊串流成為一 CP視訊影像之既有技術。一些技術揭示使用一種合成複數個四分之一通用中間格式(QCIF)編碼影像成為一CIF影像之影像處理設備。在使用H.261標準來壓縮複數個編碼影像時此等技術不需要解碼該等影像。QCIF為一視訊會議格式,其指定含有144條線且每條線有176個像素(其為通用中間格式(CIF)之解析度之四分之一)之一視訊圖框。一些國際電信聯盟(ITU)視訊會議標準需要QCIF支援。
克服大小及版面配置之QCIF限制之其他技術使用一子編碼方法。在美國專利第7,139,015號中揭示此類子編碼方法,該案之全文為了所有目的而併入本文中。
其他視訊會議系統使用媒體中繼會議(MRC)。在MRC中,一媒體中繼MCU(MRM)自各參與之媒體中繼端點(MRE)接收一或多個串流(在本文中可稱作中繼RTP壓縮視訊串流或中繼串流)。該MRM將自會議中之其他端點所接收之一組多個視訊串流中繼至各參與端點,該多個視訊串流可在本文中稱作中繼RTP壓縮視訊串流或中繼串流。各接收端點使用該多個串流以根據一版面配置而產生CP視訊影像。對MRE之使用者呈現該CP視訊影像。一MRE可為議程中之一參加會議者之一終端機,有能力根據來自一MRM之指令而自一MRM接收中繼媒體並遞送經壓縮媒體。在美國專利申請案第2010/0194847號中更詳細描述MRM,該案之全文為了所有目的而併入本文中。為了本揭示內容之目的,可互換著使用術語端點及MRE。
在一些MRC系統中,一傳輸MRE在兩個或兩個以上串流 中發送其視訊影像,各串流與不同品質等級相關聯。此一系統可使用複數個串流,以在版面配置中提供不同視窗大小,由各接收端點所使用之不同解析度等。此外,該複數個串流可用於克服封包遺失。該等品質可在圖框速率、解析度及/或信雜比(SNR)等方面有所不同。
視訊串流傳輸變得越來越流行。此外,視訊串流傳輸及視訊會議系統之越來越多的來源並行遞送複數個串流,其中該等串流在壓縮視訊之品質方面彼此有所不同。可用域數目(諸如時域(例如,每秒圖框數目)、空間域(例如,高清晰度(high definition;HD)或CIF))及/或品質(例如,鮮明度(sharpness))表達品質。用於視訊串流傳輸及多品質串流之視訊壓縮標準包含H.264 AVC、H.264 annex G、MPEG-4等。可在ITU網站www.itu.int處或在www.mpeg.org處找到壓縮標準(諸如H.264)之更多資訊。
有時,在一會議議程期間,一接收MRE需要來自數個MRE之一者之一框內圖框(Intra frame)。可歸因於丟失封包、在該接收MRE中所呈現之版面配置之變更、加入一正在進行之視訊會議議程之一參與者等而請求該框內圖框。在一些情況中,僅由該等接收MRE之一者(且非由參與該議程並獲得相同品質等級串流之其他MRE)請求該框內圖框。一框內圖框為關於僅在相同圖框內含有之資訊且非關於視訊序列中之任何其他圖框所壓縮之一視訊圖框。一框間圖框(Inter frame)為關於在相同圖框內含有之資訊且亦關於視訊序列中之一或多個其他圖框(參考圖框)所壓縮之 一視訊圖框。一框間圖框可包含一預測圖框(一P圖框),及/或一雙向預測圖框(一B圖框)。在視訊會議中,B圖框通常因為其等引進延時而不被使用。在下文描述中,術語P圖框用作為一框間圖框之一代表性術語。
視訊串流傳輸可能涉及遺失之封包,向前跳躍同時播放視訊或在不同品質之串流之間切換。為了支援該等能力,視訊壓縮標準提供沿著該等串流週期性地放置之特殊圖框類型。第一類型之特殊圖框為一切換P圖框(SP)。一SP圖框相似於一P圖框(使用相似的巨集區塊模式及運動補償預測)。然而,SP圖框允許甚至在使用不同參考圖框來預測相同圖框時重建該等相同圖框。第二特殊圖框類型稱作一次要SP圖框(SSP)。該SSP圖框使用特殊編碼。不管係哪個參考圖框、巨集區塊或運動向量用於編碼該SSP圖框,解碼將始終重建相同圖片。第三類型之特殊圖框為切換框內圖框(SI)。SI圖框可被視為相同地重建一SP圖框之一框內圖框。在本揭示內容中,術語編碼及壓縮可互換著使用。
SP圖框、SSP圖框及SI圖框及此等圖框用於在不同串流之間切換或封包遺失之恢復在視訊串流傳輸之技術中為人所熟知且將不進一步討論。希望得知更多關於該等圖框及該等圖框之使用之一讀者被要求閱讀H.264 AVC標準以及Michael Walter之畢業論文(2004年11月26日)「Advanced Bitstream Switching for Wireless Video Streaming」。另一論文為由Marta Karczewics等人書寫且在IEEE第13冊第7號(2003年7月)公佈之「The SP- and SI-frames Design for H.264/AVC」。
回應於自一需求MRE接收目標為至一相關MRE之一框內圖框請求(Intra request),一MRM將該請求中繼至該相關MRE。作為回應,該相關MRE可發送一框內圖框朝向將該框內圖框中繼至當前自該相關MRE接收視訊串流之各MRE(包含無需且不要求一框內圖框之MRE)之MRE。框內圖框編碼效率低於框間圖框編碼效率,從而相同品質需要更高頻寬。此外,一框內圖框之編碼/解碼比一框間圖框之編碼/解碼花更長時間且需要更多計算能力。因此,將該等框內圖框發送至所有MRE對通信鏈路產生不必要的負載且亦增大接收MRE及傳輸MRE中之計算負載。因此,為了維持頻寬限制,可以較低品質編碼該框內圖框。替代地,圖框速率可能在轉變週期期間暫時減小。因此,大體言之,框內圖框使在該時間週期中參加會議者之體驗降級。
揭示一種在數個MRE之一者需要一框內圖框時減小對與MRC議程相關聯之資源之影響且增強使用者體驗之新穎方法及系統。
根據各項實施例,當一MRE(一需求MRE)請求用於自另一MRE(一呈現MRE)所接收之一視訊串流之一框內圖框時,一MRM可藉由請求該呈現MRE發送待朝向該需求MRE中繼之一暫時串流同時並行發送待中繼至數個MRE之其餘者之正常串流而作出回應。在詳細描述中揭示新穎技 術之額外實施例。
併入本說明書中並構成本說明書之一部分之隨附圖式圖解說明與本發明一致之設備及方法之一實施方案,且連同詳細描述用於說明與本發明一致之優點及原理。
上文所述之媒體中繼會議之缺陷不以任何方式限制本揭示內容之發明概念之範疇。僅為了闡釋而呈現該等缺陷。
在下文描述中,為了說明目的,陳述眾多特定細節以提供本發明之一詳盡瞭解。然而,將明白熟習此項技術者可在無此等特定細節之情況中實踐本發明。在其他例項中,以方塊圖形式展示結構及裝置以避免使本發明變得模糊。無下標或字尾之數字之參考被瞭解為參考對應於該參考數字之下標及字尾之所有例項。此外,在本揭示內容中所使用之語言主要已被選定用於可讀性及指示目的,且未被選定用於描繪或限制本發明之標的,必要時訴諸於申請專利範圍以判定本發明之標的。在本說明書中參考「一項實施例」或「一實施例」意指在本發明之至少一實施例中包含結合實施例所述之一特定特徵、結構或特性,且多次參考「一項實施例」或「一實施例」不應被瞭解為必需所有皆參考相同實施例。
儘管關於軟體或韌體明確撰寫下文描述之一些,但是數項實施例可實施本文在如所要之軟體、韌體或硬體中所述之特徵及功能性,包含軟體、韌體及硬體之任何組合。在下文描述中,字彙「單元」、「元件」、「模組」及「邏輯模 組」可互換著使用。指定為一單元或模組之任何裝置可為一單獨單元或一特殊化或整合式模組。一單元或模組可係模組化的或具有允許其容易被移除或用另一相似單元或模組取代之模組化態樣。各單元或模組可為軟體、硬體及/或韌體之任何一者或任何組合,從而最後導致經程式化以執行歸於該單元或模組之功能性之一或多個處理器。此外,可由一單個處理器實施相同或不同類型之多個模組。可在一電腦可讀取媒體(諸如一讀取/寫入硬碟、CDROM、快閃記憶體、ROM或者其他記憶體或儲存裝置等)上具體實施一邏輯模組之軟體。為了執行一特定任務,一軟體程式可按需要載入至一適當處理器。在本揭示內容中,術語任務、方法、程序可互換著使用。
圖1圖解說明根據本揭示內容之一實施例之一新穎多媒體會議系統100。系統100可包含一網路110、一或多個媒體中繼MCU(MRM)120及複數個媒體中繼端點(MRE)130。網路110可為任何所要網路,包含一封包交換網路、一電路交換網路、一IP網路或其任何組合。該網路上之多媒體通信可基於通信協定,諸如H.320、H.323及SIP,且可使用媒體壓縮標準(諸如音訊壓縮標準G.711及G.719)及/或用於視訊串流傳輸及多品質串流之視訊壓縮標準,諸如H.264 AVC、H.264 annex G、MPEG-4等。
在與一端點建置連接後,MRM 120可指示該端點遞送壓縮音訊。MRM 120可判定各音訊串流之音訊能量,且據此選擇待中繼至一或多個端點之一或多個音訊串流,其中該 一或多個音訊串流可被解碼及被混合並發送至端點揚聲器。
以一相似方式,MRM 120可指示端點遞送以匹配一版面配置中(其中將呈現一壓縮視訊影像)之片段大小之一特定大小之該視訊影像。例如,可由在各方向上像素之數目定義大小(高度及寬度)。此外,MRM 120可將數個端點之一者委派為當前發言人端點且可請求該當前發言人端點遞送以將擬合相關版面配置中之發言人片段之一較大影像大小之其視訊影像。在一些實施例中,端點可經調適以遞送以兩個或兩個以上不同大小之壓縮視訊影像,其中各視訊影像大小可擬合一不同片段大小(解析度)。在此實施例中,一先前發言人端點可遞送其壓縮視訊影像之兩個大小:(i)待在一常規參加會議者之片段版面配置上顯示之一常規大小;及(ii)待在分配至當前發言人之版面配置片段中所呈現之一發言人大小(一較大影像)。
在其他實施例中,在一整個MRC議程期間,一端點可在複數個串流中發送其視訊影像朝向MRM 120。各串流載送不同品質之壓縮視訊影像。該等品質可在空間解析度(影像大小)、圖框速率、位元速率、鮮明度等方面有所不同。此外,MRM 120可判定哪個串流待中繼至其他一或多個端點。
例如,一會議議程之一當前發言人可為其音訊能量最高之參加會議者。在一替代實施例中,一發言人可為在一給定時間週期期間最活躍的參加會議者。例如,該最活躍的 參加會議者可定義為其音訊能量最高達該週期之一特定百分比(諸如60%或60%以上)之一參加會議者。
各MRE 130能夠將即時雙向音訊及/或視覺通信提供給另一MRE 130或MRM 120。一MRE可為在議程中一參加會議者之一終端機,其有能力自一MRM接收中繼壓縮媒體且根據來自該MRM之指令而將中繼壓縮音訊及視訊資料厚塊(data chunk)遞送給該MRM。該壓縮媒體可發送為即時協定(RTP)資料厚塊。可在www.ietf.org處之網際網路工程任務編組(IETF)網站處找到RTP之資訊。各MRE 130可以(數個)適當的所要位元速率及所要壓縮標準發送中繼RTP壓縮視訊資料厚塊。相似地,各MRE 130可以(數個)適當的所要大小、位元速率或圖框速率及所要壓縮標準發送中繼RTP壓縮視訊資料厚塊。在一實施例中,各MRE 130可經調適以藉由將其音訊能量之一指示嵌入於標頭中之一欄位中或中繼RTP壓縮音訊資料厚塊之一延伸標頭中而發送該音訊能量指示。術語資料厚塊及封包在本文中可互換著使用。
在一MRC議程開始時,MRM 120可處理會議之需求,包含參與者之數目、版面配置之數目、在各版面配置中呈現之參加會議者之數目及不同參加會議者之影像之大小。一呈現之參加會議者為在至少一其他參加會議者、一接收參加會議者之一CP視訊影像中呈現其視訊影像之一參加會議者。對數個參加會議者之一者之一呈現之參加會議者可為對另一參加會議者之一接收參加會議者。基於一議程之需 求,MRM 120可與數個端點之各者協商以建置用於在該議程期間該端點可發送或接收之數個串流之各者之一連接。
各MRE 130可與一識別符(ID)相關聯,可在媒體資料之一中繼RTP壓縮厚塊之一RTP標頭中載送該識別符以識別一經接收之壓縮音訊或視訊封包之來源。在一實施例中,該ID可在驗證其唯一性後由一MRE 130隨機選擇且可能由MRM 120確認。在另一實施例中,該ID可由MRM 120分配且運送至相關MRE 130。MRE 130可將該ID寫入各中繼壓縮媒體資料厚塊之RTP標頭中之同步來源(SSRC)欄位中。在另一實施例中,該ID可寫入該RTP標頭之貢獻來源(CSRS)欄位中。在一替代實施例中,該ID可寫入各中繼RTP壓縮媒體資料厚塊之延伸標頭中。該ID可使MRM 120能識別一經接收之中繼RTP壓縮音訊及/或視訊封包之來源。各壓縮音訊或視訊串流可與其自身ID相關聯。在一些實施例中,相同MRE 130之中繼RTP壓縮音訊資料厚塊及中繼RTP壓縮視訊資料厚塊可具有相同ID。在一替代實施例中,相同MRE 130之中繼RTP壓縮音訊資料厚塊及中繼RTP壓縮視訊資料厚塊可具有不同ID。在一些實施例中,若一MRE 130將不同品質之複數個串流中之其視訊影像發送至MRM 120,則各串流可被指派一不同ID。在一些實施例中,一顯示版面配置中之各片段可與一ID相關聯,且MRM 120可負責根據不同參數(舉例而言,諸如音訊能量)而將該片段之ID散佈至議程中之各MRE 130。在另一實施例中,各接收MRE 130可判定在其版面配置中各片段之一 片段ID且將該等片段ID與相關聯資訊傳送至MRM 120。各片段ID之資訊可包含該片段所要之視訊參數,諸如解析度、圖框速率等。在本文中,術語RTP標頭可包括共同RTP標頭且亦包括添加至該RTP標頭之延伸標頭。
在一些實施例中,ID為一數字;在其他實施例中,ID可為可提供MRE 130或特定串流之唯一識別之任何其他值。在其他實施例中,在MRM 120上接收中繼RTP壓縮音訊及/或視訊資料厚塊之IP位址及IP埠可用於識別而非作為一ID號碼。
在一實施例中,根據各參加會議者(MRE 130)之經接收之音訊能量,MRM 120可判定將在議程之一特定週期中在一CP影像中呈現哪個參加會議者。例如,具有最高音訊能量之MRE 130可被選定、被呈現及被獲悉達一未來的給定時間週期。MRM 120可進一步判定將在版面配置中之發言人片段中顯示該等顯示之參加會議者之哪者。在一替代實施例中,各MRE 130可判定將在其顯示之版面配置中呈現哪些參加會議者且將在發言人片段中顯示哪個參加會議者(MRE 130)。在此等實施例中,MRE 130使用者可使用在美國專利公開案第20030174202號中所揭示之一點選及視圖選項,該案之內容以引用的方式併入本文中。MRM 120亦可將適當接收之串流投送至適當的MRE 130。
基於議程之性質,各端點可建置自身之CP視訊影像。根據議程之版面配置,一端點可組織兩個或兩個以上壓縮視訊片段記憶體(CVSM)中之壓縮視訊之經接收之有效負載 封包,其中各CVSM與該版面配置中之一片段相關聯。各CVSM可與將在該片段中呈現之一壓縮視訊影像串流之一ID號碼相關聯。將經接收之壓縮視訊資料儲存在適當的CVSM中可基於嵌入於載送該經接收之壓縮視訊之封包之RTP標頭內之ID號碼。可根據在該議程中發生之活動而動態變更一CVSM與該ID號碼之間的關聯。例如,可藉由來自MRM 120之一命令基於該議程中之一變更(諸如一端點加入或離開該議程)或發言人之一變更而變更該關聯。一端點可具有使一端點ID與一版面配置中之一片段相關聯之一交叉索引表。可在該議程期間更新該交叉索引表,反映出該議程之動態。例如,組織一CVSM中之資料可係基於封包之序列號或嵌入於RTP標頭內之圖框之時間戳記。
在一實施例中,端點可經調適以藉由將其等音訊能量之一指示嵌入於RTP標頭中之一欄位中或RTP封包之延伸標頭中而發送該音訊能量指示。在此實施例中,MRM 120可剖析載送音訊資料之RTP之標頭,以判定各端點之音訊能量且據此選擇發言人參加會議者及/或呈現之參加會議者。在替代實施例中,MRM 120可指示該等端點在一發信號或控制連接上發送該等端點之音訊能量之一指示,或替代地MRM 120可解碼經接收之音訊串流並判定該等音訊串流之能量。
在音訊壓縮遵守(例如)壓縮標準G.7221.C或G.719之其他實施例中,端點之音訊編解碼器可經組態以將音訊能量之一指示添加至音訊標頭。在此實施例中,MRM 120可經調 適以搜尋音訊有效負載之標頭且擷取該音訊能量之欄位。在其他實施例中,該音訊能量之指示可經由一專用的頻帶外狀態及控制連接而自該等端點發送至MRM 120。
此外,一端點可經調適以解碼自數個CVSM之各者所獲得之經儲存之壓縮視訊。該解碼視訊可儲存在一片段圖框記憶體(FM)模組中。一片段FM將待在CP中呈現之解碼視訊資料儲存在相關片段處。在一些實施例中,一比例調整器可添加在解碼器與其相關聯之片段FM之間且可用於調整至該相關聯片段之經接收之影像之大小。且在其他實施例中,該解碼視訊可儲存在一CP影像之一FM中與相關CVSM中之一片段相關聯之一區段(section)中。
在一實施例中,一CVSM可與一整個議程之一特定ID相關聯。在此一實施例中,MRM 120可使代表一CVSM(一版面配置中之一片段)之一ID與將在相關片段中顯示之壓縮視訊資料動態地相關聯。在此一實施例中,無需對一接收端點通知該版面配置中之變更。MRM 120可藉由使一片段之相關ID與自一參加會議者發送且將在該相關片段中呈現之相關壓縮視訊資料相關聯而管理該等變更。在一些實施例中,代表一版面配置中之一片段之ID可添加至來源ID或該來源ID可被片段ID取代。
一MRM 120可決定數個接收MRE 130之一者(稱作需求MRE 130)需要來自數個呈現MRE 130之一者之一框內圖框。該決定可基於自需求MRE 130所接收之一框內圖框請求。例如,可回應於封包遺失或需求MRE 130之參加會議 者希望將呈現MRE 130之視訊影像添加至需求MRE 130版面配置而發送該請求。在一些情況中,MRM 120可判定來自一呈現之參加會議者之一框內圖框需要發送至一需求MRE 130。例如,當需求MRE 130加入一正在進行之MRC議程時,MRE 130接著需要自該等呈現之參加會議者之各者獲得一框內圖框。在習知視訊會議系統中,在該等情況中,該框內圖框將發送至接收視訊串流之所有端點,即使該等端點無需該框內圖框。所揭示之技術避免將框內圖框傳輸至無需該框內圖框之MRE 130。
在一實施例中,一MRM 120在判定一需求MRE 130需要來自一呈現MRE 130之一框內圖框時可進一步驗證需求MRE 130之解碼器是否具有由該解碼器在處理來自呈現MRE 130之先前接收之視訊圖框時所解壓縮之一或多個參考圖框。在此項技術中熟知,H.264、MPEG-4以及相似編碼器及解碼器可彙總及使用複數個參考圖框,例如最多16個圖框。該編碼器在處理一當前視訊影像時判定該等參考圖框之哪者用於編碼該當前視訊影像。此外,該編碼器將指定哪個參考圖框用於編碼該當前壓縮視訊圖框之一指示添加至該當前壓縮視訊影像之標頭。由接收MRE之解碼器使用此指示,以使該經接收之當前壓縮視訊影像之解碼程序與編碼程序同步。
在MRC視訊議程開始時,一MRM 120可指示參與之MRE 130儲存待在編碼/解碼程序中所使用之數個參考圖框。該數個參考圖框可為最後兩個圖框、最後四個圖框、最後八 個圖框等。在正在進行之議程期間,MRM 120可需要知道需求MRE 130之解碼器具有來自呈現MRE 130之哪些參考圖框。在一實施例中,需求MRE 130可用信號發送附有對應於最後儲存之參考圖框之圖框號碼之對框內圖框取代之一請求。
在其他實施例中,MRM 120可將自數個MRE 130之各者所發送之最後少數圖框之圖框號碼保存在一表或其他習知資料結構中。基於此表、自一需求MRE 130接收對框內圖框之請求之時序及在MRM 120處自呈現MRE 130接收一圖框之事件與歸因於不在需求MRE 130處接收及解碼此圖框而獲得一框內圖框請求之事件之間的估計延時,MRM 120可估計在需求MRE 130中存在哪個參考圖框。
若MRM 120判定需求MRE 130之解碼器具有一先前參考圖框(此圖框可稱作一既有先前參考圖框),則MRM 120可指示呈現之端點之相關串流之編碼器基於該既有先前參考圖框而將下一視訊圖框壓縮為一框間圖框且刪除其先前儲存之參考圖框。在此一情況中,所有接收MRE 130獲得基於一較舊的先前圖框所壓縮之一框間圖框且致此所有接收MRE 130再次與呈現MRE同步。
若MRM 120判定需求MRE 130之解碼器需要來自呈現MRE 130之一框內圖框,則MRM 120可開始同步化所有接收MRE 130(包含需求MRE 130)之解碼器之參考圖框之一程序,而不會將一框內圖框發送至所有接收MRE 130。在一呈現MRE 130發送一或多個串流之情況中,術語呈現 MRE 10之正常串流可指代發送至接收需求MRE 130之相同品質等級之其他MRE 130之一串流。
在一些實施例中,可能在同步程序中涉及多個連貫圖框。伸展跨多個圖框之程序之一個原因係為了避免在呈現MRE 130處之計算資源中以及在呈現MRE 130與MRM 120之間的網路資源及在MRM 120與需求MRE 130之間的網路資源之消耗中發生一跳躍。在一些時間點,當呈現MRE 130發送例如圖框號碼M-1時,MRM 120可指示呈現MRE 130並行於正常串流而發送一額外串流(一暫時串流)。該暫時串流藉由編碼一正常串流之參考圖框記憶體而產生該暫時串流,而不是自攝影機所接收之視訊影像產生該暫時串流。該暫時串流之第一編碼圖框為一框內圖框。例如,該框內圖框具有與該正常串流相同之空間解析度但是以較低品質、較小影像鮮明化、較低圖框速率予以壓縮。
當由呈現MRE 130接收MRM 120指令時,例如來自呈現MRE 130之攝影機之圖框M可以一或多個品質等級壓縮為一框間圖框且發送至MRM 120。此外,一暫時串流藉由將關於圖框M之正常串流之參考圖框壓縮成一低品質之框間圖框(TIm)而開始且發送至MRM 120,MRM 120繼而將該暫時串流中繼至需求MRE 130。
需求MRE 130解碼該TIm且低品質之解碼影像置於CP影像中並對參加會議者呈現該解碼影像。解碼器並行產生關於呈現MRE 130之正常串流之圖框M之參考之一參考圖框。
呈現MRE 130之編碼器藉由將關於M+1、M+2等(最多圖框N)之正常串流之參考記憶體編碼為框間圖框而繼續編碼暫時串流。圖框之數目可在零個圖框與最多預定數目個圖框(例如10個圖框)之間的範圍中。該等圖框可稱作品質增強型圖框,此係因為各框間圖框之壓縮品質高於先前者。自視訊攝影機所接收之圖框N壓縮為一SP圖框。該SP圖框在正常串流中作為一P圖框發送至其他接收端點。此圖框可稱作SPn。在編碼該SPn圖框時產生之在呈現MRE 130之編碼器處之參考圖框壓縮為一SSPn。該SSPn圖框作為暫時串流之最後圖框發送至需求MRE 130。
需求MRE 130解碼經接收之SSPn,從而產生關於圖框N之一參考圖框。解碼影像置於CP視訊影像中且呈現為圖框N。在該時間點,歸因於解碼SSPn而產生之參考圖框相同於在具有相同品質等級之其他接收MRE 130處所產生之參考圖框記憶體以及呈現MRE 130中之正常串流之參考記憶體。接下來之圖框N+1及其以上圖框被編碼一次且作為一正常串流發送至需求MRE 130及具有相同品質等級之其他接收MRE 130。
在另一實施例中,可從自攝影機所接收之視訊影像產生暫時串流,而非自如在上文實例中之正常串流之編碼器之參考圖框產生暫時串流。在此一實施例中,從自該攝影機所接收之相同視訊影像產生SP圖框及SSP圖框。在一些時間點,例如在呈現MRE 130發送圖框號碼M-1時,MRM 120可指示呈現MRE 130並行於該正常串流而發送一額外 串流(一暫時串流)。藉由在編碼該正常串流時編碼自該視訊攝影機所接收之視訊圖框而產生該暫時串流。該暫時串流之第一編碼圖框為圖框M之一框內圖框(TIm)。該框內圖框具有與該正常串流相同之空間解析度但是以較低品質、較小影像鮮明化、較低圖框速率等壓縮。
需求MRE 130解碼TIm且低品質之解碼影像置於CP影像中並對參加會議者呈現該解碼影像。解碼器並行產生關於來自呈現MRE 130之圖框M之一參考圖框。呈現MRE 130之編碼器藉由將自視訊攝影機所接收之接下來之視訊圖框編碼為框間圖框而繼續編碼暫時串流。該等框間圖框係關於圖框M+1、M+2等(最多圖框N)。圖框數目可在零個圖框與最多預定數目個圖框(例如10個圖框)之間的範圍中。該等圖框可稱作品質增強型圖框,此係因為各框間圖框之壓縮品質高於先前者。
不同地壓縮正常串流之圖框N與其他框間圖框。圖框N壓縮為一SP圖框。在此時間點,需求MRE 130具有與至少一其他接收MRE 130相似之品質。然而,需求MRE 130之參考圖框記憶體可能與其他接收MRE 130不相似。
因此,MRM 120可使需求MRE 130之參考圖框與具有相同品質串流之其他接收MRE 130同步。為了使需求MRE 130之參考圖框與其他接收MRE 130同步,MRM 120可指示呈現MRE 130之編碼器將暫時串流之圖框N編碼為一SSPn圖框,且該SSPn圖框作為該暫時串流之最後圖框發送至需求MRE 130。
需求MRE 130解碼經接收之SSPn,從而產生關於圖框N之一參考圖框。解碼影像置於CP視訊影像中且呈現為圖框N。在此點,自解碼SSPn所產生之參考圖框記憶體相同於在具有相同品質等級之其他接收MRE 130所產生之參考圖框記憶體以及呈現MRE 130中之正常串流之參考記憶體。接下來之圖框N+1及其以上圖框被編碼一次且作為一正常串流發送至需求MRE 130及具有相同品質等級之其他接收MRE 130。
在使用複數個先前編碼參考圖框之另一實施例中,一無損壓縮可用於例如在呈現MRE 130發送圖框號碼M-1時,傳送具有一所要參數集之一先前參考圖框朝向需求MRE 130且接著基於該先前參考圖框而編碼下一圖框。MRM 120可指示呈現MRE 130並行於一或多個正常串流而發送一額外串流(一暫時串流)。藉由在編碼該正常串流之圖框M-1時產生之參考圖框之無損壓縮而產生該暫時串流。可在經由MRM 120而自呈現MRE 130至需求MRE 130之一IP連接上在頻帶外發送圖框M-1之無損壓縮參考圖框(LLCRF)。該暫時串流亦可載送該所要參數集,諸如「圖片參數集」、「序列參數集」等。可在諸如H.264之壓縮標準中找到關於該所要參數集之資訊。
在另一實施例中,呈現MRE 130可直接發送暫時串流朝向需求MRE 130。發送LLCRF及該所要參數集可以少數封包完成且可採取一或多個圖框間隔。無損壓縮方法可為任何無損方法,諸如ZIP、Lempel-Ziv=Welch(LZW)、無損 JPEG 2000等。
在又另一實施例中,一需求MRE 130可能已以一第一解析度自一呈現MRE 130接收中繼RTP壓縮視訊資料厚塊之一串流,同時其他MRE 130可以一第二解析度自呈現MRE 130接收中繼RTP壓縮視訊資料厚塊之一串流。以該第二解析度之串流可稱作正常串流。在一特定時間,需求MRE 130可能需要使該經接收之串流解析度自該第一解析度變更成該第二解析度。在此一實施例中,呈現MRE 130可分配一暫時編碼器。該暫時編碼器可載入有該第一解析度之一轉變參考圖框。接著,該載入之轉變參考圖框之解析度可自該第一解析度變更成該第二解析度。與呈現MRE 130處之轉變參考圖框等效之需求MRE 130之一參考圖框之解析度可並行地以在呈現MRE 130上完成之方式相似之一方式而自該第一解析度變更成該第二解析度。因此,在此點,呈現MRE 130處之暫時編碼器及需求MRE 130處之解碼器具有相同參考圖框。
自呈現MRE 130之視訊攝影機所接收之緊接在後的一或多個視訊影像可由暫時編碼器以第二解析度壓縮且並行於發送至其他接收端點之正常串流而傳輸至需求MRE 130。在一或多個視訊圖框後,常規編碼器可將自視訊攝影機所接收之下一視訊影像壓縮為一SP圖框且在該正常串流上朝向一或多個接收MRE 130予以發送,同時該暫時編碼器可將該相同視訊影像編碼為一SSP圖框且朝向需求MRE 130予以發送。在傳輸該SP圖框及該SSP圖框後,呈現MRE 130可釋放該暫時編碼器且需求MRE 130可如其他一或多個接收MRE 130般接收該正常串流。在又另一實施例中,可使用轉變參考圖框來產生該SP圖框及該SSP圖框並發送該SP圖框及該SSP圖框。
需求MRE 130使用無損演算法來解壓縮獲得之LLCRF及該所要參數集。接著,需求MRE 130之解碼器載入有解壓縮參考圖框及該所要參數集。因此,解碼器具有與參考圖框M-1相同之參考圖框及其他接收MRE 130之相同所要參數集。呈現MRE 130之編碼器可基於該參考圖框M-1而編碼下一攝影機圖框且將所得框間圖框發送至數個接收MRE 130(包含需求MRE 130)。此外,需求MRE 130之編碼器可刪除所有先前參考圖框。
另一實施例可使用上文所揭示之技術之一組合。此一實施例可使用以與正常串流相同之解析度但是以較低品質開始於一框內圖框之暫時串流,接著係少數品質增強型圖框。在一典型視訊會議議程中,連貫圖框之間的變更係最小的,因此在少數品質增強型圖框後,暫時串流之編碼器之輸入處之下一未壓縮圖框相當相似於在編碼先前圖框後所產生之參考圖框。在此實施例中,呈現MRE 130可使用一無損壓縮技術來壓縮正常串流之參考圖框與暫時串流之參考圖框之間的差且將該等壓縮差發送至需求MRE 130。需求MRE 130可解壓縮該等差且據此校正其解碼器參考圖框。
由正常串流與暫時串流兩者之編碼器使用一無損壓縮技 術來壓縮相同圖框將使在該兩個串流之編碼器及解碼器中產生相同參考圖框,因此可由正常編碼器壓縮下一圖框,且正常串流可傳輸至需求MRE 130以及其他接收MRE 130。
在一實施例中,如上文所揭示,MRM 120藉由指示呈現MRE 130而控制與暫時串流相關聯之活動。在其他實施例中,MRM 120可僅藉由分配用於在呈現MRE 130與MRM 120之間載送暫時串流之一頻道而起始程序。自此點,MRE 130經組態以自動執行開始於一低品質框內圖框並結束於SSPn、接著關閉用於該暫時串流之額外頻道之整個程序。在一替代實施例中,MRM 120可開始該程序但是呈現MRE 130及需求MRE 130可協商順著該暫時串流何時自一程序移動至其他程序。
在一些實施例中,分配用於產生暫時串流之編碼器可為與正常串流之編碼器分開之一編碼器。該分開編碼器可存取該正常串流編碼器之參考記憶體。此外,該分開編碼器可在轉變週期期間引導該正常編碼器且指示該正常編碼器何時以變更次序在該編碼器之動作之間執行特殊編碼。在其他實施例中,一單個編碼器可經組態以產生正常串流與暫時串流兩者。
MRE 130可解碼自選定參加會議者所接收之視訊影像之資料厚塊之經接收之中繼RTP壓縮視訊串流且在適當的版面配置片段中顯示各影像。MRE 130可解碼音訊資料厚塊之經接收之中繼RTP壓縮音訊串流、混合不同解碼音訊串 流且將該混合音訊傳送至MRE 130揚聲器。在其他方面,MRE 130可根據來自MRM 120之指令而遞送中繼RTP壓縮音訊及視訊資料厚塊。
除一MRE 130之上文功能性外,將待中繼至兩個或兩個以上接收MRE 130之壓縮視訊之一正常串流發送至MRM 120之一呈現MRE 130可以一新穎方式回應於關於一需求MRE 130之一框內圖框請求。在編碼器及解碼器儲存及使用複數個先前參考圖框之一實施例中,呈現MRE 130可藉由將一框間圖框提供給所有涉及之MRE 130而作出回應,而非接著編碼一框內圖框並作為待中繼至兩個或兩個以上涉及之MRE 130之正常串流中之一下一圖框將該框內圖框發送至MRM 120。基於在涉及壓縮視訊之串流之所有MRE 130中存在之一相同參考圖框(IRF)而編碼該提供之框間圖框。發送該編碼框間圖框朝向涉及之MRE 130且接著編碼器釋放所有先前儲存之參考圖框。需求MRE 130及其他接收MRE 130之解碼器可基於該IRF之先前儲存之複本而解碼該提供之編碼框間圖框。
在編碼器及解碼器使用用於編碼/解碼一當前圖框之複數個先前參考圖框之一MRE 130之一實施例中,呈現MRE 130之編碼器可被通知在需求MRE 130之解碼器中存在一先前參考圖框。該編碼器可將此參考圖框用作為一IRF,該參考圖框與在其他接收MRE 130中亦存在之一參考圖框相同。自呈現MRE 130之攝影機所接收之下一視訊影像可基於該IRF而壓縮為一框間圖框,且可釋放呈現MRE 130 之編碼器之先前參考圖框之其餘者。
在一些實施例中,一呈現MRE 130可與MRM 120建置一暫時連接以用於並行於正常串流而載送壓縮視訊之一新穎的暫時串流。該暫時串流可被MRM 120中繼至需求MRE 130。該暫時串流用於使該需求MRE之解碼器準備接收及解碼屬於該正常串流且亦發送至其他接收MRE 130之一未來框間圖框。該暫時串流及該正常串流具有相同解析度。然而,該暫時串流可開始於一低品質框內圖框,且可在自一框間圖框至接下來之框間圖框改良該品質。
為了自暫時串流切換至正常串流,呈現MRE 130可將自攝影機所接收之一下一視訊影像編碼為該正常串流之一SP圖框,且將該暫時串流之對應圖框編碼為一SSP圖框。解碼該SP圖框及該SSP圖框之結果係可分別在其他接收MRE 130及需求MRE 130之解碼器中產生一IRF。正常編碼器之參考圖框亦與該IRF相同。因此,自該攝影機所接收之下一視訊影像可基於該IRF而編碼且在該正常串流上發送至所有涉及之MRE 130,包含需求MRE 130。在一實施例中,可自編碼該正常串流之參考圖框而產生該暫時串流之圖框。在又另一實施例中,可自編碼自呈現MRE之視訊攝影機所接收之視訊影像而產生正常串流與暫時串流兩者。
所揭示系統之又另一實施例可藉由建置用於並行於一或多個正常串流而載送一暫時串流之一暫時連接而回應於一框內圖框之一需要。可藉由在編碼該正常串流之一新近圖框時產生之一參考圖框之一無損壓縮而產生該暫時串流。 例如,可在經由MRM 120而自呈現MRE 130至需求MRE 130之一IP連接上在頻帶外開啟該暫時連接。發送無損壓縮參考圖框(LLCRF)可以少數封包完成且可採取一或多個圖框間隔。無損壓縮方法可為ZIP、Lempel-Ziv-Welch(LZW)、無損JPEG 2000等。除發送該LLCRF外,呈現MRE 130亦可發送用於解碼之所要參數,諸如如在H.264壓縮標準中所揭示之一「圖片參數集」或一「序列參數集」。
一實施例可使用上文所揭示之方法之一組合。在此一實施例中,呈現MRE 130可使暫時串流以與正常串流相同之解析度但是以較低品質開始於一框內圖框,接著係一些品質增強型圖框。在一些品質增強型圖框後,暫時串流之編碼器處之參考圖框相似於正常串流之編碼器處之參考圖框。在此時間點,可計算兩個編碼器之參考圖框之間的差且以一無損壓縮方法壓縮該差。該壓縮差可傳輸至需求MRE 130。在需求MRE 130處,該無損壓縮差可被無損解壓縮且添加至需求MRE 130之解碼器處之參考圖框,從而在需求MRE 130之解碼器以及其他接收MRE 130之解碼器處產生一IRF。在此時間點,可終止該暫時串流且亦可傳輸該正常串流朝向需求MRE 130。
另一實施例可使用上文所揭示之方法之一組合。在此一實施例中,呈現MRE 130可使一暫時串流以與正常串流相同之解析度但是以較低品質開始於一框內圖框,接著係少數品質增強型圖框。在少數品質增強型圖框後,在該暫時 串流之編碼器之輸入處自呈現MRE 130之攝影機所接收之下一未壓縮圖框相當相似於在編碼先前圖框後所產生之參考圖框。在此一實施例中,該正常串流之編碼器及該暫時串流之編碼器可以一無損壓縮方法壓縮該下一圖框與該參考圖框之間的差。
由呈現MRE 130處之正常串流與暫時串流兩者之編碼器以一無損壓縮方法壓縮相同圖框將在該兩個串流之編碼器及解碼器中產生相同參考圖框,因此可由呈現MRE 130之正常編碼器壓縮下一圖框,且可傳輸一單個串流(該正常串流)朝向將其散佈至需求MRE 130以及其他接收MRE 130之MRM 120。該正常串流及該暫時串流之無損壓縮可藉由旁通編碼器及解碼器兩者中之量化器模組而完成。下文結合圖11B揭示MRE 130之更詳細資訊。
在另一實施例中,新穎MRM 120可經組態以起始由一需求MRE 130處置對來自一呈現MRE 130之一框內圖框之請求之程序,且可由呈現MRE 130及需求MRE 130管理其餘活動。
在使用多播之又另一實施例中,只要使用暫時串流,MRM 120即可指示一需求MRE 130聽取一新多播位址且接著聽取與正常串流相關聯之多播位址。MRM 120可並行指示呈現MRE 130開始產生該暫時串流且並行於將該正常串流發送至與該正常串流相關聯之多播位址而將該暫時串流發送至該新多播位址。下文結合圖2、圖3、圖4、圖8A及圖8B揭示MRM 120之更詳細資訊。
圖2繪示具有根據一實施例之一MRM 120之相關元件之一方塊圖。例如,MRM 120可包含一網路介面模組(NI)220、一或多個議程壓縮音訊RTP處理器(SCARP)230、一發信號及控制模組(SCM)240及一或多個議程壓縮視訊RTP處理器(SCVRP)250。在一替代實施例中,MRM 120可包含每議程有一或多個SCM 240。
一網路介面模組(NI)220可經由網路110而與複數個視訊會議裝置(諸如MRE 130)通信。網路介面220可根據一或多個通信標準(諸如H.323及SIP)而剖析該通信。此外,網路介面模組(NI)220可處理該經接收之通信之實體層、資料鏈路層、網路層及輸送層(UDP/TCP層)。NI 220可接收及傳輸往返於MRM 120及MRE 130或其他節點(在圖式中未展示)之控制及資料資訊。
NI 220多工/解多工在MRE 130與MRM 120之間傳達之不同信號及串流。可經由NI 220而往返於MRE 120及SCARP 230傳送壓縮音訊之RTP厚塊。各SCARP 230可與一特定議程相關聯。NI 220可根據MRE 130封包之來源及/或目的地IP埠及IP位址及/或ID而判定一MRE 130參加哪個議程,因此使NI 220能判定哪個SCARP 230應接收自一特定MRE 130所接收之壓縮音訊之RTP厚塊。在其他方面,自SCARP 230所接收之壓縮音訊之RTP厚塊可被NI 220轉換成IP封包且傳送朝向適當的MRE 130或其他節點。
經由NI 220而往返於MRE 130及SCVRP 250傳送視訊資料之RTP壓縮厚塊。各SCVRP 250可與一視訊會議議程相 關聯。NI 220可根據MRE 130封包之來源及/或目的地IP埠及IP位址及/或來源ID而判定一MRE 130參加哪個議程,因此使NI 220能判定哪個SCVRP 250應接收自一特定MRE 130所接收之封包。在其他方面,自SCVRP 250所接收之壓縮視訊之RTP厚塊可被NI 220轉換成IP封包且傳送朝向適當的MRE 130或其他節點。
NI 220亦可往返於SCM 240及MRE 130而傳輸及接收發信號及控制資料。NI 220亦可處置回應於對自一呈現MRE 130發送至一需求MRE 130之一框內圖框之需要之程序之發信號及控制。
對於由MRM 120所處置之各會議議程,一SCARP 230可經分配用於處置議程音訊。一SCARP 230可經由NI 220而自參加該議程之MRE 130接收音訊資料之中繼RTP壓縮厚塊(標頭及有效負載)。SCARP 230可管理複數個MRE循序記憶體,一MRE循序記憶體用於參加該議程之各MRE 130。SCARP 230可剖析來自一MRE 130之一經接收之中繼RTP壓縮音訊厚塊之RTP標頭且將該厚塊儲存在適當的MRE循序記憶體中。SCARP 230亦可根據嵌入於該中繼RTP標頭中之一序列號或一時間戳記而判定適當次序,以將該等中繼RTP壓縮音訊厚塊儲存在該MRE循序記憶體中。
SCARP 230可收集各MRE 130之音訊能量之資訊。在一實施例中,可藉由剖析各經接收之中繼RTP壓縮音訊厚塊之中繼RTP標頭中之適當欄位而獲得該音訊能量。在又另 一實施例中,可藉由取樣經接收之中繼RTP壓縮音訊厚塊之音訊能量位準而獲得該音訊能量。
SCARP 230可週期性地(通常各數十毫秒)選擇待獲悉且因此傳輸至MRE 130之音訊厚塊之中繼RTP壓縮串流之一群組。該選擇可基於比較與該等經接收之串流相關聯之音訊能量。選定中繼RTP壓縮串流之數目取決於MRE 130之音訊混合能力。SCARP 230亦可選擇哪個MRE 130為主要發言人(例如,將在最大版面配置片段中顯示之發言人)且據此將發信號及控制資訊轉遞至SCM 240。該主要發言人可為具有最大音訊能量達一時間週期範圍內之獲悉-串流-選擇間隔之一特定百分比之發言人。
在又另一替代實施例中,SCARP 230可將MRE 130之音訊能量之資訊轉遞至SCM 240。SCM 240將選擇MRE 130之主要發言人及將獲悉(混合)之音訊資料之RTP壓縮串流之群組,且將發信號及控制資料發送至適當的SCARP 230及SCVRP 250。在一些實施例中,參加會議者之選定群組及/或主要發言人之資訊亦可傳送至MRE 130。根據自SCM 240所發送之發信號及控制資料,SCARP 230可配置該選定群組之中繼RTP壓縮音訊厚塊並經由NI 220而將其等作為中繼壓縮音訊資料厚塊而中繼至適當的MRE 130。下文結合圖3揭示關於SCARP 230之更多資訊。
對於MRM 120所處置之各視訊會議議程分配一SCVRP 250。一SCVRP 250可經由NI 220而自參加議程之MRE 130接收中繼RTP壓縮視訊厚塊(標頭及有效負載)之串流。 SCVRP 250可管理複數個MRE循序記憶體,一MRE循序記憶體用於參加該議程之各MRE 130。SCVRP 250可剖析該等經接收之中繼RTP壓縮視訊厚塊之標頭並根據該標頭之圖框號碼或時間戳記而將該標頭儲存在適當的MRE循序記憶體中。有時,取決於由該議程所使用之圖框速率,根據自SCM 240所接收之信號及控制資訊,SCVRP 250可存取一或多個MRE循序記憶體之一群組且經由NI 220而中繼選定MRE 130之該群組之資料朝向適當的MRE 130。
在一轉變週期期間,SCVRP 250除進行其正常操作外亦可分配一額外循序記憶體。該額外循序記憶體可用於儲存自一呈現MRE 130所接收之暫時串流並目標係並行於自呈現MRE 130所接收之常規的一或多個串流而朝向一需求MRE 130。此外,此暫時記憶體可被汲取朝向需求MRE 130,而非具有相似品質等級之數個常規串流之一者。下文結合圖4揭示關於SCVRP 250之更多資訊。
SCM 240控制一議程之操作。SCM 240可起始會議議程(保留的或即興的)、設定與端點之連接、判定會議性質且據此設定EP傳輸及接收媒體。SCM 240可進一步分配資源、分配ID、指示端點之編碼器使用複數個參考圖框等。有時,該SCM可基於待連同發言人參加會議者之一指示而發送至各端點之音訊能量及視訊來源而選擇一新發言人。該新選擇可據此傳送至SCARP 230及SCVRP 250。SCM 240可根據版面配置中之變更而指示EP發送適當的視訊參數。
SCM 240可判定視訊資料之哪個RTP壓縮串流中繼至哪個MRE 130且在哪個版面配置片段中呈現視訊影像。基於自SCM 240所接收之指令,SCVRP 250將適當串流中繼至MRE 130且可指示MRE 130在哪個版面配置片段中呈現該等視訊影像之各者。在一實施例中,SCVRP 250可藉由變更其發送之中繼RTP壓縮視訊資料厚塊之RTP標頭中之ID而對MRE 130通知在呈現參加會議者中發生之變更。該標頭中之變更ID可用作為用於接收MRE 130指定應在CP影像中之哪個片段中顯示該等中繼RTP壓縮視訊資料厚塊之一指示。在一替代實施例中,SCM 240可經由NI 220藉由發信號及控制資料而對MRE 130通知該等變更。在又另一實施例中,SCVRP 250可藉由設定其發送之中繼RTP壓縮視訊資料厚塊之RTP標頭中之一預定義欄位而對MRE 130通知該等變更。該RTP標頭中之預定義欄位可用於指示MRE 130應在哪個片段中顯示該等中繼RTP壓縮視訊資料厚塊。
除以上活動外,SCM 240亦可處置轉變及切換週期。SCM 240可回應於來自數個接收MRE 130中之一MRE 130之一框內圖框請求。SCM 240可判定該請求之原因,例如對一框內圖框之請求是否歸因於版面配置中之變更或歸因於加入會議之一新參與者。SCM 240管理用於自呈現MRE 130載送唯一串流之暫時連接。一MRM 120之一些實施例可如下般回應一框內圖框請求:該SCM僅起始該轉變週期,且呈現MRE 130及需求MRE 130管理暫時的低品質圖框之數目及何時切換回至常規串流。下文結合圖3、圖4、 圖8及圖11揭示MRM 120之更多資訊。
圖3圖解說明具有實施各項實施例之技術及元件之一SCARP 230之相關元件之一簡化方塊圖。SCARP 230可包含一RTP音訊輸入緩衝器310、一音訊RTP標頭剖析器及組織器320、複數個MRE循序音訊記憶體330、可為一內部匯流排或一共用記憶體之一匯流排340、複數個RTP壓縮音訊串流建置器350及一音訊能量處理器360。SCARP 230可經由例如可為一內部匯流排或一共用記憶體之一控制匯流排365而受SCM 240控制。SCARP 230之輸入及輸出可經由一壓縮RTP音訊資料介面(CRADI)305而連接至NI 220以用於接收及傳輸壓縮音訊資料厚塊。CRADI 305可為一內部匯流排或一共用記憶體。
可指派各SCARP 230用於處置由MRM 120所處置之一會議議程之音訊。一SCARP 230之RTP音訊輸入緩衝器310可自CRADI 305獲得中繼RTP壓縮音訊資料厚塊。自參與該議程之MRE 130接收該等中繼RTP壓縮音訊資料厚塊。在一實施例中,RTP音訊輸入緩衝器310可藉由使用中繼RTP標頭中之ID號碼而判定自CRADI 305獲得哪個中繼RTP壓縮音訊資料厚塊。在一替代實施例中,RTP音訊輸入緩衝器310可基於經接收之相關封包之來源及/或目的地IP位址及埠號碼而自NI 220接收該中繼RTP壓縮音訊資料厚塊。
一音訊RTP標頭剖析器及組織器320可自RTP音訊輸入緩衝器320擷取中繼RTP壓縮音訊資料厚塊,且剖析該等中繼RTP壓縮音訊資料厚塊之標頭以用於擷取相關資訊,諸 如:該等厚塊之ID、序列號及/或時間戳記,及音訊能量(若其存在)。在一些實施例中,可剖析該音訊標頭以擷取音訊能量資訊。例如基於該ID,音訊RTP標頭剖析器及組織器320可將該經剖析之中繼RTP壓縮音訊資料厚塊傳送至適當的MRE循序音訊記憶體且將該音訊能量傳送至音訊能量處理器360。
各MRE循序音訊記憶體330可與一MRE 130(圖1)相關聯。來自該相關聯MRE之經接收之中繼RTP壓縮音訊資料厚塊可根據其等序列號及/或時間戳記而儲存在MRE循序音訊記憶體330中。可經由匯流排340而存取各MRE循序音訊記憶體330,匯流排340連接所有MRE循序音訊記憶體330與數個RTP壓縮音訊串流建置器350之一或多者。
各RTP壓縮音訊串流建置器350可指派給一或多個MRE 130。一RTP壓縮音訊串流建置器350可包括一MRE多工器定序器352以及一MRE RTP音訊輸出緩衝器354。RTP壓縮串流建置器350可藉由存取一或多個MRE循序音訊記憶體330而選擇壓縮音訊中繼資料厚塊之一或多個來源之一群組。該群組選擇可係基於不同參數,諸如自音訊能量處理器360所接收之控制信號、獨立於其能之一特定來源之使用者規範或目的地MRE 130之音訊混合能力。通常,該等選定來源之群組不包含自目的地MRE 130所接收之音訊串流。在一替代實施例中,RTP壓縮串流建置器350可自目的地MRE 10接收關於選擇哪些MRE 130之控制信號。此外,有時RTP壓縮音訊串流建置器350可根據會議中之即時變更 而變更其輸入選擇。
一MRE多工器定序器352可自匯流排340選擇一或多個輸入中繼RTP壓縮音訊資料厚塊串流。該等選定中繼RTP壓縮音訊資料厚塊串流可多工至一中繼RTP壓縮音訊資料厚塊串流中,該中繼RTP壓縮音訊資料厚塊串流發送至MRE RTP音訊輸出FIFO 354且經由CRADI 305及NI 220而自MRE RTP音訊輸出FIFO 354傳輸該中繼RTP壓縮音訊資料厚塊串流朝向適當的MRE 130。
RTP壓縮音訊串流建置器350之一替代實施例(在圖式中未展示)可包含選擇器之一群組。各選擇器連接至匯流排340且可選擇數個MRE循序音訊記憶體330之一者之輸出。該選擇器之其他埠可經由FIFO而連接至CRADI 305。在此一實施例中,選定音訊串流作為複數個中繼RTP壓縮音訊資料厚塊串流而發送朝向MRE 130。
在一替代實施例中,一RTP壓縮音訊串流建置器350可用於伺服參與一會議議程之參加會議者之一群組,其中所有相關MRE 130將接收相同之中繼RTP壓縮音訊資料厚塊串流。
一音訊能量處理器360可接收與各中繼RTP壓縮音訊資料厚塊相關聯之音訊能量,且音訊能量處理器360基於此資訊判定在下一時間週期中將選擇哪個MRE 130來混合且該選擇傳送至適當的RTP壓縮音訊串流建置器350之MRE多工器定序器352。此外,音訊能量處理器360可判定哪個端點應呈現為主要發言人,如上文所述。指定一新的活躍發 言人之此資訊可經由控制匯流排365而遞送至SCM 240。
圖4係具有實施各項實施例之技術及元件之一SCVRP 250之相關元件之一簡化方塊圖。一SCVRP 250可包括一RTP視訊輸入緩衝器410、一視訊RTP標頭剖析器及組織器420、一或多個MRE循序視訊記憶體430、例如可為一內部匯流排或一共用記憶體之一匯流排440以及一或多個RTP壓縮視訊串流建置器450。SCVRP 250可經由例如可為一內部匯流排或一共用記憶體之一控制匯流排465而自一SCM 240接收控制。可經由一壓縮RTP視訊資料介面(CRVDI)405(例如其可為一內部匯流排或一共用記憶體)而在SCVRP 250與NI 220之間傳達壓縮輸入及輸出視訊資料厚塊。
各SCVRP 250管理一會議議程之視訊。一RTP視訊輸入緩衝器410可經由CRVDI 405而自NI 220獲得自參與該議程之MRE 130所接收之中繼RTP壓縮視訊資料厚塊。在一實施例中,例如,RTP視訊輸入緩衝器410可判定藉由嵌入於RTP標頭中之ID號碼來處置哪個中繼RTP壓縮視訊資料厚塊。在一替代實施例中,RTP視訊輸入緩衝器410基於與相關封包相關聯之來源及/或目的地IP位址及埠號碼而自NI 220接收視訊厚塊。
視訊RTP標頭剖析器及組織器420可自RTP視訊輸入緩衝器410擷取中繼RTP壓縮視訊資料厚塊且剖析該等中繼RTP壓縮視訊資料厚塊之標頭以用於擷取相關資訊,諸如:ID、序列號及/或時間戳記及/或具有與各視訊厚塊相關聯之第一巨集區塊位址(MBA)之圖框號碼。基於該經擷取之 資訊,視訊RTP標頭剖析器及組織器420可將該相關中繼RTP壓縮視訊資料厚塊儲存在適當的MRE循序視訊記憶體430中。
各MRE循序視訊記憶體430與自參與議程之一MRE 130所接收之一串流相關聯。自一MRE 130所接收之各串流可載送一不同品質等級及/或解析度之壓縮視訊。MRE循序視訊記憶體430之各輸出鏈接至匯流排440,匯流排440連接所有MRE循序視訊記憶體430與數個RTP壓縮視訊串流建置器450之一或多者。
在一轉變週期期間,一SCM 240可分配將指派給將自呈現MRE 130發送之暫時串流之一額外的暫時MRE循序視訊記憶體430。此外,視訊RTP標頭剖析器及組織器420、RTP視訊輸入緩衝器410及NI 220可被通知具有該暫時串流之ID,以將該ID投送至暫時MRE循序視訊記憶體430。
各RTP壓縮視訊串流建置器450可指派給一或多個接收MRE 130以用於選擇待中繼至MRE 130之適當的中繼壓縮視訊資料串流之一群組。一RTP壓縮視訊串流建置器450可包括一MRE多工器定序器452及一MRE RTP視訊輸出緩衝器454。各RTP壓縮視訊串流建置器450可選擇中繼RTP壓縮視訊資料厚塊之一或多個來源(MRE 130)之一群組及一或多個MRE循序視訊記憶體430之一群組。此選擇可基於經由控制匯流排465而自SCM 240所接收之控制信號且可因議程中之變更而變更。在一替代實施例中,RTP壓縮視訊串流建置器450可經由SCM 240及控制匯流排465而自指 派之MRE 130自身接收關於指派之MRE 130將看見哪個MRE 130之控制信號。
一MRE視訊多工器定序器452可自匯流排440獲得輸入中繼RTP壓縮視訊資料厚塊之選定串流,且將串流之群組多工至中繼RTP壓縮視訊資料厚塊之一串流中,該串流儲存在MRE RTP視訊輸出FIFO 454中且經由CRVDI 405及NI 220而自MRE RTP視訊輸出FIFO 454傳輸該串流朝向指派之接收MRE 130。在一些會議議程中,一RTP壓縮視訊串流建置器450可用於該議程之所有MRE 130,因此所有MRE 130將接收相同之中繼RTP壓縮視訊資料厚塊串流。
RTP壓縮視訊串流建置器450之一替代實施例(在圖式中未展示)可包括選擇器之一群組。各選擇器連接至匯流排440且可選擇數個MRE循序視訊記憶體430之一者之輸出。該選擇器之其他埠可經由FIFO而連接至CRVDI 405。在此一實施例中,該等選定視訊串流作為複數個中繼RTP壓縮視訊資料厚塊串流而發送朝向MRE。
在又另一實施例中,一例示性MRE循序視訊記憶體430可能不根據經接收之中繼RTP壓縮視訊資料厚塊之序列號而組織該等經接收之中繼RTP壓縮視訊資料厚塊。而是,根據接收該等經接收之中繼RTP壓縮視訊資料厚塊之次序而組織該等經接收之中繼RTP壓縮視訊資料厚塊。
在一ID號碼指派給一版面配置中之各片段之一實施例中,MRE RTP視訊輸出FIFO模組454可經調適以將適當的片段ID添加至各處置之壓縮視訊資料厚塊。在此一實施例 中,可經由憑藉匯流排465所接收之控制信號而維持一片段ID與來源MRE 130之一相關ID之間的關聯。該片段ID可取代與該厚塊相關聯之來源ID或該片段ID可儲存在RTP標頭中之另一欄位中。
在一轉變週期期間,一SCM 240可指示指派給需求MRE 130之RTP壓縮視訊串流建置器450自指派給暫時串流之暫時MRE循序視訊記憶體430獲得壓縮視訊資料厚塊,而非自指派給自呈現MRE 130所發送之串流之MRE循序視訊記憶體430獲得壓縮視訊資料厚塊。指派給數個接收MRE之其餘者之RTP壓縮視訊串流建置器450可繼續汲取指派給自該呈現MRE所發送之串流之MRE循序視訊記憶體430。
圖5繪示具有一MRE 130之一實施例之相關元件之一簡化方塊圖。MRE 130可包含一MRE網路介面模組(MRENI)520、一MRE音訊模組(MREAM)530、一MRE控制模組(MRECM)540及一MRE視訊模組(MREVM)550。
一MRE 130可經由MRENI 520而與MRM 120通信或經由網路110而與另一MRE 130通信。一MRENI 520可根據一或多個通信標準(諸如H.323、SIP或相似標準)及壓縮標準(諸如H.264、MPEG等)而處理該通信。此外,網路MRENI 520可執行實體層、資料鏈路層、網路層及輸送層(UDP/TCP層)往返於MRE 130之通信。
MRENI 520可多工及/或解多工在MRE 130與MRM 120之間傳達之信號及控制以及媒體串流。可分別經由MRENI 520而往返於MRM 120以及MREAM 530及MREVM 550傳送 音訊及視訊之RTP壓縮資料厚塊(標頭及有效負載)。MRENI 520亦可在MRECM 540與MRM 120之間傳輸及接收發信號及控制。
一MREAM 530可經由MRENI 520而自MRM 120接收複數個中繼RTP壓縮音訊資料厚塊(標頭及有效負載)之一群組,且剖析該等中繼RTP壓縮音訊資料厚塊之RTP標頭以判定諸如來源ID、時間戳記及序列號之參數。MREAM 530亦可根據該等經接收之中繼RTP壓縮音訊資料厚塊之ID、時間戳記及/或序列號而配置該等經接收之中繼RTP壓縮音訊資料厚塊,且接著解碼、混合及放大該等音訊資料厚塊。MREAM 530可將該混合音訊傳送至MRE 130之一或多個揚聲器。
在其他方面,MREAM 530可自MRE 130之麥克風收集音訊信號且將該等信號自類比信號轉換成數位信號、計算音訊能量,並根據適當的壓縮標準而將該音訊編碼/壓縮成RTP壓縮音訊資料厚塊。所使用之壓縮標準可包含G.711、G.719或G.722.1C。
MREAM 530可在壓縮音訊資料厚塊之RTP標頭之適當欄位中嵌入經計算之音訊能量、由MRM 120指派給MRE 130之音訊串流之ID、時間戳記及之序列號。在另一實施例中,MREAM 530可經由一MRECM 540而發送音訊信號能量之指示。下文結合圖7揭示關於MREAM 530之更多資訊。
一MREVM 550可經由MRENI 520而自MRM 120接收中 繼RTP壓縮視訊資料厚塊(標頭及有效負載)之一群組,且剖析該等經接收之中繼RTP壓縮視訊資料厚塊之RTP標頭,以判定諸如來源ID、片段ID、時間戳記及序列號之參數。在一轉變週期期間,一ID號碼可分配至暫時串流。MREVM 550可根據該等經接收之中繼RTP壓縮視訊資料厚塊之時間戳記及/或序列號而配置該等經接收之中繼RTP壓縮視訊資料厚塊、解碼該等中繼RTP壓縮視訊資料厚塊,並基於該ID號碼而將其等組織成一適當的片段FM(圖框記憶體)。對於版面配置中之各片段,可存在一片段FM且各片段及/或來源ID可與該版面配置中之一特定片段FM相關聯。在一替代實施例中,來源及/或目的地IP位址及埠號碼可與該版面配置中之一片段相關聯。取決於由MRE 130所使用之圖框速率,MREVM 550可將不同片段FM組合成一合成FM(CP FM)並發送待在MRE 130之一或多個顯示器上顯示之完整CP FM。
在一替代實施例中,MREVM 550可根據經接收之中繼RTP壓縮視訊資料厚塊之時間戳記及/或序列號而配置該等經接收之中繼RTP壓縮視訊資料厚塊、解碼該等視訊資料厚塊,並將其等組織成覆蓋整個版面配置之一CP FM。在另一實施例中,MREVM 550亦可自MRECM 540接收關於會議之主要發言人之變更、待呈現之參加會議者數目之變更、該等參加會議者之一些之變更等之資訊。
在一些實施例中,解碼經接收之中繼RTP壓縮視訊資料厚塊之MREVM 550之解碼器可經組態以在轉變週期期間 處置解碼程序。在一實施例中,該解碼器可儲存及使用複數個先前參考圖框。在此一實施例中,該解碼器可發送具有最後儲存之先前參考圖框之一指示之一框內圖框取代請求(Intra replacement request)。在其他實施例中,該解碼器可處理唯一圖框,諸如SP圖框及SSP圖框。在又其他實施例中,該解碼器可經調適以解碼一無損壓縮圖框,以將該無損壓縮圖框載入為接下來之框間圖框之一參考圖框等。
在其他方面,MREVM 550可自MRE 130之攝影機收集視訊影像、將該等視訊影像按比例調整成一或多個所要大小/品質,並根據適當的壓縮標準而將該等視訊影像編碼/壓縮成RTP壓縮視訊資料厚塊。該壓縮標準可包含H.264、MPEG 4等。可經由一MRECM 540而自MRM 120接收關於所要大小及壓縮標準之資訊。MREVM 550可將不同參數(諸如來源ID、時間戳記、序列號、圖框號碼等)嵌入於RTP標頭中之適當欄位中。根據圖框速率,可經由MRENI 520而將中繼RTP壓縮視訊資料厚塊傳送至一MRM 120。
在一些實施例中,編碼/壓縮中繼RTP壓縮視訊資料厚塊之MREVM 550之編碼器可經組態以在轉變週期期間處置編碼程序。在一實施例中,一接收MRE 130之解碼器可儲存及使用複數個先前參考圖框。在此實施例中,該編碼器可自一需求解碼器接收一框內圖框取代請求,該框內圖框取代請求具有該解碼器所具有之最後儲存之先前參考圖框之一指示。接著,該編碼器可藉由基於所指示最後儲存之 先前參考圖框而將來自攝影機之接下來之視訊影像壓縮為一框間圖框而作出回應。在其他實施例中,該編碼器可編碼SP圖框及SSP圖框。在又其他實施例中,該編碼器可經調適以根據一無損壓縮方法而將其參考圖框編碼成一無損壓縮圖框,以作為接下來之框間圖框之一參考圖框而載入於需求MRE 130之解碼器中。
一MRE控制模組(MRECM)540可控制MRE 130之操作。MRECM 540可與MRM 120建置連接且傳達關於將在MRE 130中顯示之在版面配置中之參加會議者數目、影像大小、壓縮標準、主要發言人、ID資訊等之參數。ID資訊可包含自MRE 130所發送之不同音訊或視訊資料厚塊之ID資訊、關於一轉變週期之通信等。關於該轉變週期之資訊可包括開始及終止該轉變週期之一指示、暫時串流之一ID、關於該轉變週期之發信號及控制等。
MRECM 540可根據議程中之選定參加會議者之數目、所要版面配置、所要FM之數目等而分配音訊及視訊資源。MRECM 540可指示MREVM 550如何建構待在MRE 130之一或多個顯示器上顯示之版面配置。MRECM 540亦可使MREAM 530更新待參與之參加會議者之數目等。在一些實施例中,可在MRE 130與MRM 120之間建置將使MRE 130及MRM 120傳達該議程中之動態變更之一頻帶外連接。
在MRE 130之一些實施例中,MRECM 540及MREVM 550可經調適以將資訊添加至顯示之CP影像。該資訊可指 示當前發言人及/或當前在數個片段之各者中呈現之一參加會議者之名稱。在此一實施例中,MRECM 540可經調適以自MRM 120接收該資訊。該資訊可傳送至MREVM 550,MREVM 550包含用於轉換待在端點處顯示之狀態資訊之一文字及圖形產生器。在其他方面,MREVM 550及MRECM 540可經調適以顯示來自該端點之一選單,其中該選單可用於控制MRM 120。
在轉變週期期間,MRECM 540可經調適以分配(分別)在MREVM 550及MRENI 520中之視訊及網路資源以用於處置暫時串流,在一些實施例中,呈現MRE 130及需求MRE 130之MRECM 540可經組態以管理處置該轉變週期之程序。MRM 120可起始該轉變週期但是要在起始該轉變週期後,需求MRE 130及/或呈現MRE 130之MRECM 540可管理該轉變週期之連續及終止。下文結合圖6、圖7、圖9A及圖9B揭示MRE 130之更多資訊。
圖6繪示具有根據一實施例之一MREVM 550之一部分之相關元件之一簡化方塊圖。MREVM 550可具有兩個主要區段:(i)一輸入區段,其可處置經接收之中繼RTP壓縮視訊資料厚塊之群組;及(ii)一輸出區段,其可處置由一MRE 130攝影機所捕捉之視訊資料。例如,根據一實施例之一輸入區段可包括以下模組,諸如一RTP視訊輸入緩衝器610、一視訊RTP標頭剖析器及組織器620、一或多個壓縮視訊片段記憶體(CVSM)630(版面配置中之各片段有一個壓縮視訊片段記憶體(CVSM)630)、一或多個MRE視訊 解碼器640(該版面配置中之各片段有一個MRE視訊解碼器640)、一或多個片段FM 650(該版面配置中之各片段有一個片段FM 650)、一MRE CP影像建置器660、一MRE CP圖框記憶體模組670及一背景FM 655。例如,該輸出區段可包括一或多個比例調整器及FM 680、一或多個視訊編碼器685、一暫時編碼器687及一MRE視訊RTP處理器(MREVRTP)690。編碼器685及解碼器640能夠使用諸如H.264 AVC、H264 annex G、MPEG-4等之壓縮標準。
各CVSM 630與待在該片段中呈現之一視訊串流之一ID相關聯。在一實施例中,與一ID之一CVSM之關聯可在一議程期間改變。在其他實施例中,對於一整個議程,CVSM與ID之關聯係固定的。
MREVM 550之輸入區段之一RTP視訊輸入緩衝器610可自MRENI 520獲得中繼RTP壓縮視訊資料厚塊。視訊RTP標頭剖析器及組織器620可存取輸入緩衝器610並剖析RTP標頭以用於判定該經接收之中繼RTP壓縮視訊資料之不同參數。該等參數可包含但不限於序列號、圖框號碼、來源ID及/或片段ID、時間戳記等。例如,RTP標頭剖析器及組織器620亦可具有使來源ID與顯示之版面配置中之片段相關聯之一索引表。在該片段ID與一經接收之資料厚塊不相關聯之一實施例中,例如,各CVSM 630可與該顯示之版面配置中之一特定片段相關聯。因此,例如,RTP標頭剖析器及組織器620可根據來源ID而將一適當之中繼RTP壓縮視訊資料厚塊串流傳送至一CVSM 630。RTP標頭剖析器 及組織器620亦可根據序列號或時間戳記或圖框號碼及經接收之資料厚塊之第一MB之位址而組織CVSM 630中之RTP壓縮視訊資料厚塊。
各CVSM 630之輸出可與一MRE視訊解碼器640相關聯,且各MRE視訊解碼器640之輸出可與一片段FM 650相關聯。因此,MRE視訊解碼器640可存取適當的CVSM 630、解碼RTP壓縮視訊資料厚塊並將該解碼視訊儲存在適當的片段FM 650中。在一替代實施例中,一比例調整器可添加在一解碼器640與一片段FM 650之間。MRE CP影像建置器660可將不同片段FM 650之內容傳送至MRE CP圖框記憶體模組670中以建置一CP影像。可自MRE CP圖框記憶體模組670傳送待在MRE顯示單元上顯示之一CP影像之一完整圖框。有時,可基於不同參數(諸如背景色彩、不同片段之間的邊界線、邊界線之色彩、圖案及參加會議者之名稱)而載入背景FM 655。可在一議程開始時產生背景FM 655,但是可在該議程期間之任何時間變更背景FM 655。在一MRE 130之一實施例中,可由MRECM 540產生該背景。在建置CP影像時,MRE CP影像建置器660可自背景FM 650模組收集資料,如同其自片段FM 650收集資料。
在一轉變週期期間,一需求MRE 130之一MREVM 550之輸入區段可與在正常操作中不同地起作用。在該轉變週期期間,RTP視訊輸入緩衝器610亦可經組態以自MRENI 520獲得關於自相關呈現MRE 130所接收之暫時串流之中繼RTP壓縮視訊資料厚塊。視訊RTP標頭剖析器及組織器620 可經組態以獲得該暫時串流之中繼RTP壓縮視訊資料厚塊並在待在需求MRE 130之顯示器上顯示之CP影像中組織在與分配至呈現MRE 130之片段相關聯之CVSM 630中之該等中繼RTP壓縮視訊資料厚塊。
在一實施例中,與分配至呈現MRE 130之片段相關聯之MRE視訊解碼器640可經組態以使用複數個儲存之先前參考圖框。在此實施例中,該解碼器可經組態以發送一框內圖框取代請求連同一儲存之先前參考圖框之序列號。作為回應,呈現MRE 130之相關編碼器可發送基於該所指示儲存之先前圖框所壓縮之一框間圖框。可在正常串流上發送該框間圖框。
在正常串流上使用一SP圖框及在暫時串流上使用一SSP圖框之另一實施例中,相關串流640之解碼器可經組態以處置該SP圖框及/或該SSP圖框,以分別用於一接收MRE 130或一需求MRE 130。
還有,在藉由呈現MRE 130之編碼器使用一無損壓縮演算法而在暫時串流上傳送一參考圖框之一替代實施例中,相關解碼器640可能夠解碼用於編碼該參考圖框之無損壓縮演算法,並將該無損壓縮演算法載入於其參考圖框中,以能夠解碼將基於該參考圖框編碼之正常串流之接下來之圖框。
可由相關解碼器640與呈現MRE 130之編碼器來完成管理轉變週期。但是在其他實施例中,可由SCM 240來處置該管理。在其他實施例中,可由SCM 240在開始該轉變週 期時起始解碼器/編碼器之轉變週期活動,且接著解碼器640及呈現MRE 130之編碼器自發地繼續該轉變週期活動。
MREVM 550之輸出區段自MRE 130攝影機接收視訊影像並將該等影像儲存在一或多個比例調整器及FM 680中。例如,各比例調整器及FM 680可將該視訊影像按比例調整成一不同大小(解析度)並儲存該視訊影像。各比例調整器及FM 680之輸出區段與一視訊編碼器685相關聯,視訊編碼器685可以導致壓縮視訊資料厚塊之一不同速率及/或品質來編碼資料。視訊編碼器685接著將該等壓縮視訊資料厚塊傳送至一MREVRTP 690,MREVRTP 690可將一來源ID、時間戳記、序列號或其他參數嵌入於RTP壓縮視訊資料厚塊之標頭中。接著,MREVRTP 690將該等中繼RTP壓縮視訊資料厚塊輸出至MRENI 520。
在一轉變週期期間,一呈現MRE 130之一MREVM 550之輸出區段可與在正常操作中不同地起作用。在該轉變週期期間,與按比例調整至與需求MRE 130相關聯之大小之比例調整器相關聯之視訊編碼器685之一實施例可經組態以使用複數個儲存之先前使用之參考圖框。在此一實施例中,當該編碼器自一需求MRE 130接收附有一儲存之先前參考圖框之序列號之一框內圖框取代請求時,該編碼器可藉由基於該先前使用之參考圖框而將來自相關比例調整器及FM 680之下一接收之攝影機圖框編碼為一框間圖框而作出回應。經由MREVRTP 690而在正常串流上發送基於該先 前圖框壓縮之框間圖框。在發送該框間圖框後,該編碼器可刪除所有其他儲存之先前參考圖框。
在正常串流上使用一SP圖框且在暫時串流上使用一SSP圖框之另一實施例中,一暫時編碼器687可經分配用於產生該暫時串流。此外,MREVRTP 690可經調適以處置該暫時串流之壓縮厚塊。暫時編碼器687可自相關比例調整器及FM 680獲得分配至該正常串流之編碼器685之相同按比例調整之圖框。該暫時串流之第一壓縮圖框可編碼為相同大小但是低於該正常串流之品質之一框內圖框。可在自一框間圖框至其他框間圖框改良該暫時串流之品質。在一些框間圖框(例如,3個圖框至15個圖框)後,暫時編碼器687可傳輸一SSP圖框,同時正常編碼器685可傳輸一SP圖框。下一攝影機圖框將被相關視訊編碼器685編碼為一正常圖框,且在正常串流上如發送至所有其他接收MRE 130般發送朝向需求MRE 130。
在藉由呈現MRE 130之編碼器685使用一無損壓縮演算法而在暫時串流上傳送一參考圖框之一替代實施例中,暫時編碼器687可能夠自正常串流之編碼器685獲得一參考圖框。可由暫時編碼器687使用一無損壓縮演算法來壓縮該經獲得之參考圖框。可經由MREVRTP 690而在一暫時串流上或在頻帶外IP連接上發送該無損壓縮圖框朝向需求MRE 130。在使用頻帶外連接之一實施例中,該無損壓縮參考圖框可自暫時編碼器687直接傳送至MRENI 520。一無損演算法可為ZIP、Lempel-Ziv-Welch(LZW)、無損JPEG 2000等。
圖7繪示具有MREAM 530之一實施例之相關元件之一簡化方塊圖。例如,MREAM 530可具有兩個區段:(i)MREAM輸入區段,其可處置MREAM 530之經接收之輸入中繼RTP壓縮音訊資料厚塊之群組;及(ii)MREAM輸出區段,其可處置將自MRE 130朝向MRM 120輸出之音訊資料。一MREAM輸入區段可包括以下模組,諸如一RTP音訊輸入緩衝器710、一音訊RTP標頭剖析器及組織器720、一或多個MRE循序音訊記憶體(MRESAM)730、一或多個MRE音訊解碼器740及一音訊混合器750。例如,該MREAM輸出區段可包括一編碼器760及一MRE音訊RTP處理器770。在兩個接收MRE 130使用不同音訊壓縮標準之一些實施例中,例如,該輸出區段可包括:兩組或兩組以上之一編碼器760及一MRE音訊RTP處理器770,各組可與基於與其他組不同之壓縮標準之一壓縮音訊串流相關聯。
一RTP音訊輸入緩衝器710可經由MRENI 520而自MRM 120獲得中繼RTP壓縮音訊資料厚塊之群組。音訊RTP標頭剖析器及組織器720可存取輸入緩衝器710,且剖析RTP標頭以用於判定諸如序列號、來源ID、時間戳記等之參數。例如,各MRESAM 730可與參加議程且被選擇獲悉之一特定來源MRE 130相關聯。例如,RTP標頭剖析器及組織器720可根據資料厚塊ID而將中繼RTP壓縮音訊資料厚塊之一適當串流傳送至MRESAM 730。在一替代實施例中,例如,RTP標頭剖析器及組織器720可根據來源IP位址及埠而 將中繼RTP壓縮音訊資料厚塊之一適當串流傳送至MRESAM 730。RTP標頭剖析器及組織器720亦可根據數個MRESAM 730之各者中之RTP壓縮音訊資料厚塊之序列號或時間戳記而組織該等資料厚塊。各MRESAM 730輸出與一MRE音訊解碼器740相關聯,MRE音訊解碼器740存取MRESAM 730且解碼該等RTP壓縮音訊資料厚塊。由該解碼器所使用之壓縮標準可為諸如但不限於G.719、G.7221.C等。音訊混合器750可接收所有MRE音訊解碼器740之輸出、混合該等輸出,並將該混合音訊輸出至MRE 130之揚聲器。
MREAM 530之一輸出區段可自MRE 130之麥克風接收音訊。編碼器760可收集該經接收之輸入音訊、判定該輸入音訊能量,且將該輸入音訊編碼成壓縮音訊資料厚塊。該壓縮可基於諸如G.719、G.7221.C等之壓縮標準。接著,該等壓縮音訊資料厚塊傳送至MRE音訊RTP處理器770。該音訊能量之指示亦可傳送至MRE音訊RTP處理器770,MRE音訊RTP處理器770可將不同參數嵌入於RTP音訊資料厚塊之標頭中。該等參數可包含序列號、來源ID、時間戳記、音訊能量指示等。接著,MRE音訊RTP處理器770將該等中繼RTP壓縮音訊資料厚塊輸出至MRENI 520且自MRENI 520輸出至MRM 120。在一替代實施例中,該音訊能量指示可儲存在該壓縮音訊資料厚塊之標頭中。在又另一實施例中,可經由MRECM 540及MRENI 520而在一發信號及控制連接上傳送該音訊能量朝向MRM 120。
圖8A係圖解說明由一SCM 240之一實施例所實施之一會議設置方法800之相關程序之一流程圖。在動作810中,由MRM控制模組會議設置程序起始方法800。在動作815處,收集會議參數,諸如參加會議者(MRE 130)之數目、位元速率、音訊及視訊壓縮標準以及可用於視訊編碼/解碼之先前參考圖框之數目、CP版面配置等。接著,在動作820處,方法800分配各種會議資源,諸如NI 220來源、一相關聯SCARP 230、一相關聯SCVRP 250、頻寬等。接著,對於參加該會議之各MRE 130執行動作830與動作840之間的一迴圈。在動作832處,定義來自MRE 130之一或多個可能的輸出影像大小(品質)及MRE 130之相關聯ID。在一實施例中,方法800可將來自MRE 130之各串流之IP位址及埠用作為該ID。動作836使MRE 130與MRM 120之內部模組(諸如SCARP 230及SCVRP 250)相關聯。
在動作836處,MRE 130鏈接至MRM 120之SCARP 230中之數個MRE循序音訊記憶體330之一者、鏈接至數個RTP壓縮音訊串流建置器350之一者、鏈接至該MRM之SCVRP 250中之數個MRE循序視訊記憶體430之一者,且鏈接至數個RTP壓縮視訊串流建置器450之一者等。接著,在動作838中設定與相關MRE 130相關聯之資源之各種連接參數(外部及內部)。外部連接參數可包含MRE 130之一ID、一遠端IP位址及埠以及一本端IP位址及埠。內部連接參數可包含MRM 120自身中之模組之內部連接,諸如SCARP 230及SCVRP 250內部之模組之內部連接等。
接著,在動作840中作出是否存在待處置之更多MRE 130之一決定。若是,則方法800返回至動作830以管理下一MRE 130之設置。若否,則方法800進行至動作845,動作845涉及對於會議中之各MRE 130定義起始CP版面配置。方法800進行至動作850,其中對於該會議中之各MRE 130開始另一迴圈。在動作851處,方法800可將相關MRE 130需要發送之一或多個影像大小、MRE 130需要發送之一或多個壓縮音訊串流及MRE 130將需要使其添加在各串流之音訊及視訊RTP標頭中之一或多個ID等載入至MRE 130。在動作852處,指派給MRE 130之CP版面配置之參數可經計算並載入至MREVM 550。參數可包含該版面配置中片段之數目、與各片段相關聯之ID或IP位址及埠、將呈現之MRE 130、當前發言人等。在其他實施例中,各MRE 130可定義待在自身顯示單元上顯示之其自身版面配置並對MRM 120通知該等參數。
在動作852處,亦可指示MRE 130之MREVM 550定義片段圖框記憶體650及CP圖框記憶體670之參數。可以一相似方式設定MREAM 530之內部模組,舉例而言,諸如音訊RTP標頭剖析器及組織器模組720及音訊混合器750。此動作之一結果可為將MRE 130之不同模組連接至相關串流ID之一映射。
接著,方法800設定MRM 120之內部模組(諸如SCARP 230及SCVRP 250)中之相關參數。在動作854處,設定SCVRP 250之內部模組之不同參數及連接。參數及連接可 包含MRE循序視訊記憶體430與MRE 130之一ID位址及/或一IP位址及埠之關聯及用於選擇MRE 130之視訊之相關MRE視訊多工器定序器452之設定。在動作856處,設定SCARP 230之內部模組之不同參數及連接。參數及連接可包含MRE循序音訊記憶體與MRE 130之一ID位址及/或一IP位址及埠之關聯及用於選擇MRE 130之音訊之相關MRE多工器定序器352之設定。
在動作858處,MRM 120請求來自相關MRM 130之一框內圖框並進行至動作860。在動作860處,作出是否更多MRE 130需要設定之一決定。若是,則方法800返回至動作850。若否,則方法800結束。每當一主要發言人變更或加入一新參加會議者或一新參加會議者離開該議程時可執行與方法800相似之一方法。
圖8B係圖解說明根據一實施例之由一MRM 120之一SCM 240所實施之一轉變任務8000之相關動作之一流程圖。當一需求MRE 130需要來自一呈現MRE 130之一框內圖框、同時在正常串流上接收相同視訊影像之其他接收MRE無需一框內圖框時,可在動作8010中起始任務8000。此一情況可能發生於:當需求MRE 130為希望加入一正在進行之議程之一新參與者時;當發生由需求MRE 130所使用之一版面配置中之一變更(在其他接收MRE 130中不發生該變更)時;或當丟失傳輸至需求MRE 130之串流之一或多個封包時等。
在起始8010後,在區塊820中,SCM 240可驗證需求 MRE 130是否具有與來自呈現MRE 130之相關串流(以相關大小)相關聯之一光前使用之參考圖框。該驗證可藉由與框內圖框取代指示相關聯之來自需求MRE 130之發信號而完成。替代地,SCM 240可管理儲存新近在一正常串流上自呈現MRE 130發送至數個MRE 130之各者之一些圖框(例如,最後16個圖框)之序列號之一歷史表。基於該請求及該歷史表之時序,在動作820中,SCM 240可推斷在需求MRE 130之解碼器中是否存在一先前參考圖框。若SCM 240變更需求MRE 130之版面配置,則SCM 240可斷定該先前參考圖框是否匹配該新版面配置等。
若在動作8020中在需求MRE 130之解碼器中存在一先前使用之參考圖框,則在動作8026中,SCM 240可基於該既有先前考圖框而指示呈現MRE 130處之相關串流之編碼器將下一圖框編碼為一框間圖框,且在正常串流上將該框間圖框發送至需求MRE 130以及數個接收MRE 130之其餘者。此外,可指示該編碼器重設所有其他先前參考圖框。SCM 240可並行地重設該相關串流之歷史表。接著,方法8000可終止。在其他實施例中,自需求MRE 130所接收之框內圖框取代請求可中繼至呈現MRE 130中之相關串流之編碼器,該編碼器經組態以藉由基於該先前使用之參考圖框而將下一圖框編碼為一框間圖框而作出回應。
若在動作8020中在需求MRE 130之解碼器中不存在一先前使用之參考圖框,則在動作8022中SCM 240可分配用於暫時串流之一通信頻道以及SCVRP 250及呈現MRE 130之 MREVM 550之輸出區段中之額外資源,且調整需求MRE 130之MREVM 550之輸入區段以處置該暫時串流。SCVRP 250中之經分配資源可包括額外MRE循序視訊記憶體430及額外RTP壓縮視訊串流建置器450。呈現MRE 130之MREVM 550中之經分配資源可包括暫時編碼器687。
在分配資源及頻寬後,在動作8022中,可指示呈現MRE 130根據一定義序列並行於相同大小(解析度)之正常串流而開始產生一暫時串流。該暫時串流之定義序列可開始於以低品質但是以相同解析度之一框內圖框,接著係最多在該兩個串流(該正常串流及該暫時串流)中達到一相似品質之少數增強型框間圖框。在該序列結束時,呈現MRE 130之數個編碼器之各者編碼並發送一唯一圖框。該正常串流之編碼器685編碼一SP圖框並在該正常串流上發送該SP圖框朝向其他接收MRE,同時暫時編碼器687可編碼一SSP圖框並在該暫時串流上發送該SSP圖框。
在指示呈現MRE 130開始發送暫時串流後,任務8000可在動作8024中等待自呈現MRE 130接收唯一圖框(SP及SSP)。當在動作8030中接收該等唯一圖框時,在動作8032中,SP圖框及SSP圖框分別中繼至其他接收MRE 130及需求MRE 130。接著可終止該暫時串流,可在動作8032中釋放MRM 120、呈現MRE 130及該需求MRE中之經分配資源,且可終止任務8000。
圖9A係圖解說明由一MRECM 540之一實施例所實施之一MRE會議設置方法900之相關動作之一流程圖。可在動 作910處起始方法900。在動作912處,建置與MRM 120之一連接且MRECM 540可接收設置指令。設置指令可包含:將與自此MRE 130所發送之媒體串流相關聯之一或多個ID;MRE 130將需要傳輸之影像之大小;待在MER 130上獲悉及顯示之參加會議者之數目;及版面配置資訊。方法900可接著據此在動作914中分配資源,包含:MRENI 520、MREVM 550、MREAM 530中之資源;頻寬等。
接著,方法900進行至動作920,其中設定MREVM 550之不同內部模組。該等設定可包含:基於在動作912處所接收之ID而指示視訊RTP標頭剖析器及組織器620;確立哪些中繼壓縮視訊RTP資料厚塊待儲存在哪個CVSM 630中;根據議程之版面配置之各片段FM 650及MRE CP FM模組670之設定參數;指示CP建置器660如何自片段FM 650建置CP;更新背景FM 655;設定比例調整器及FM 680以遞送正確大小;指示MREVRTP 690將ID添加在RTP標頭中等。在動作920中,指示CP建置器660如何建置CP影像。該指示可定義該CP影像中之各列中之第一及最後的MB之MBA(巨集區塊位址)、該CP影像中之各片段中之第一MBA及該片段之最後的MBA等。
在MRECM 540及MREVM 550經調適以將資訊添加至顯示之CP影像之MRE 130之一些實施例中,動作920可經調適以遞送此資訊。該資訊可指示當前發言人、當前在數個片段之各者中呈現之參加會議者之名稱等。在此等實施例中,CP建置器660可經調適以將該資訊轉換成視訊資料並 將其添加至待在端點上顯示之CP影像。
接著,在動作922處,設定MREAM 530之不同內部模組。設定可包含:根據壓縮標準而設定音訊編碼器760;指示MRE音訊RTP將ID及音訊能量指示添加在RTP標頭中;指示音訊RTP剖析器720將哪個ID儲存在哪個MRESAM 730中;設定MRE音訊解碼器740等。在動作922後,該方法完成且相關MRE 130準備發送一框內圖框。每當一主要發言人變更或一新參加會議者加入或離開等時,可執行與方法900相似之一方法。
圖9B係圖解說明由一MRE 130之一MRECM 540所實施之一轉變任務9000之相關動作之一流程圖。圖解說明之方法9000包括待由一呈現MRE 130所處置之動作及待由一需求MRE 130所處置之動作。當一需求MRE 130需要來自一呈現MRE 130之一框內圖框、同時在一正常串流上接收相同品質/大小視訊影像之其他接收MRE 130無需一框內圖框時,可在動作9010中起始任務9000。此一情況可能發生於:當該需求MRE為希望加入一正在進行之議程之一新參與者時;或當需求MRE 130需要一版面配置中之一變更、同時其他接收MRE 130無需該變更時;或當需求MRE 130希望自一品質/大小串流切換至另一品質/大小串流時等。此外,當丟失傳輸至需求MRE 130之串流中之一或多個封包時等,該需求MRE可能需要一框內圖框且其他接收MRE 130無需該框內圖框。
可由經指派用於解碼自呈現MRE 130所接收之壓縮串流 之需求MRE解碼器640(圖6)完成任務9000之起始9010。當該解碼器在接收及解碼來自呈現MRE 130之複數個先前框間圖框後需要一框內圖框時,可起始任務9000。例如,此一框內圖框之需要可歸因於封包遺失。替代地,可由MRM 120之SCM 240在判定一特定串流之一框內圖框時起始該任務,自呈現MRE 130所發送之正常串流需要發送至需求MRE 130。
可在編碼器/解碼器經組態以儲存複數個先前參考圖框並使用一框內圖框取代請求(而非一框內圖框請求)之實施例中實施方法9000。該框內圖框取代請求為對基於一先前參考圖框之一框間圖框之一請求。指示數個儲存之先前參考圖框之一者之請求自需求MRE 130發送至呈現MRE 130。在此一實施例中,可在動作9010中由需求MRE解碼器640起始任務9000,需求MRE解碼器640判定(9012)該解碼器擁有之數個先前參考圖框之哪者可用於解碼來自呈現MRE 130之下一接收之編碼圖框。該決定可基於該等參考圖框之時間戳記。接著,在動作9110中,一框內圖框取代請求連同選定先前參考圖框之序列號或時間戳記可經由MRECM 540而自需求MRE 130之解碼器發送至MRM 120之SCM 240。
在動作9110中,MRM 120之SCM 240繼而將框內圖框取代請求連同先前參考圖框之序列號或時間戳記傳送至呈現MRE 130之MRECM 540。在呈現MRE 130之MRECM 540處,當在動作9110中自SCM 240獲得該框內圖框取代請求 時,在動作9130中將該框內圖框取代請求傳送至呈現MRE 130之視訊編碼器685,視訊編碼器685經指派用於發送至需求MRE 130之相關串流(品質/大小)。在動作9130中,指示視訊編碼器685基於先前參考圖框將經由相關聯比例調整器680而自攝影機所接收之下一按比例調整之圖框壓縮為一框間圖框,並在正常串流上作為下一框間圖框將該框間圖框發送至所有接收MRE 130(包含需求MRE 1300。此外,指示編碼器685釋放所有其他先前參考圖框,且方法9000終止。在MRM 120之SCM 240變更自呈現MRE 130所接收之中繼圖框之序列號同時作為中繼圖框將其等發送至接收MRE 130之實施例中,SCM 240可將自該需求MRE所接收之序列號轉換成已自呈現MRE 130發送至MRM 120之適當序列號。
若在動作9012中判定無法使用一先前參考圖框,則任務9000可繼續至動作9210且與MRM 120之SCM 240通信。在與SCM 240之通信中,可指示呈現MRE 130之MRECM 540開啟用於並行於正常串流之暫時串流之一新連接,一ID可分配至該暫時串流,該暫時串流之編碼影像之大小(解析度)定義為與該正常串流相同,可定義該暫時串流中之品質增強型圖框之數目等。
若暫時串流為自呈現MRE 130所發送之一新串流,則在區塊9210中需求MRE 130之MRECM 540可自SCM 240獲得新中繼串流之一或多個ID及關於此串流之視訊參數,諸如視訊影像之大小(解析度)、CP版面配置中之相關聯片段之 位置等,如上文在圖9A及圖8A之描述中所揭示。若該暫時串流不是自呈現MRE 130所發送之一新串流,則需求MRE 130之MRECM 540可僅被通知自呈現MRE 130所接收之串流之接下來之圖框屬於該暫時串流。
在動作9210中自SCM 240、呈現MRE 130及需求MRE 130之MRECM 540獲得關於轉變週期之相關資訊後,方法9000可在動作9230中開始分配所要資源以在該兩個MRE 130中處置該轉變週期。該等資源可為MRENI 520中之通信及頻寬資源、MRENI 520與MREVM 550之間的內部通信資源以及MRENI 520與MRM 120中之NI 220之間的外部通信資源。額外分配之資源可為MREVM 550中之視訊資源等。
在動作9240處,組織經分配之資源以處置暫時串流。在呈現MRE 130之MREVM 550處,暫時編碼器687之輸入與正常串流之編碼器相關聯。在一實施例中,例如,該關聯係用於自相關聯之比例調整器680獲得相同按比例調整之視訊影像以及用於獲得常規框間圖框以及SP圖框及SSP圖框之適當量化參數集。在其他實施例中,該關聯係用於獲得該正常串流之編碼器之參考圖框並將其用作為由暫時編碼器687所編碼之一輸入視訊影像。此外,呈現MRE 130之暫時編碼器687之輸出可與MREVRTP 690相關聯以與適當的ID號碼以及一時間戳記相關聯。
在正常串流上使用SP圖框且在暫時串流上使用SSP圖框之一實施例中,需求MRE 130之視訊解碼器640將接收低 品質之一壓縮框內圖框,接著接收少數增強型品質框間圖框,接著接收該SSP圖框。此序列遵守壓縮標準。將繼該SSP圖框後之圖框將為來自正常串流之框間圖框。
此外,若暫時串流為經由MRM 120而自呈現MRE 130所發送之一新串流,則在動作9240中可組織需求MRE 130之MRECM 540以處置該新串流,且RTP視訊輸入緩衝器610及視訊RTP剖析器620可被通知該新串流之ID且與一CVSM 630相關聯。MRE視訊編碼器640可與該CVSM相關聯等。
還有,在暫時串流上壓縮(以無損壓縮)及傳輸正常編碼器之參考圖框(除如上文所述之一些實施例之相關活動外)之另一實施例中,需求MRE 130之相關MRE視訊解碼器640在動作9240中被通知何時將壓縮標準自該正常壓縮變更成用於壓縮參考圖框之唯一壓縮(無損壓縮),且反之亦然。
在動作9240中組織呈現MRE 130及需求MRE 130之MREVM 550後,可由呈現MRE 130及需求MRE 130之MREVM 550以及MRM 120之SCVRP 250進一步自發地執行轉變週期。因此,方法9000可終止。
圖10A及圖10B圖解說明使用經由一MRM 120而自MRE 1(呈現MRE 130)所產生且傳輸至MRE 2及MRE 3(分別為接收MRE 130及需求MRE 130)之一視訊串流之唯一圖框之一實施例中之一轉變週期之時序圖。圖10A及圖10B僅用於圖解說明目的且並非按比例繪製。
圖10A具有兩個區段,上區段圖解說明關於呈現MRE 130(MRE 1)之正常串流且下區段圖解說明關於呈現MRE 130(MRE 1)之暫時串流。由五列及適用於該兩個區段之一時間軸圖解說明該兩個區段。第一列圖解說明在由比例調整器及FM 680按比例調整後自MRE 1之視訊攝影機所接收之按比例調整之攝影機視訊影像(CF1至CFn+1)之一串流。第二列圖解說明在MRE 1之正常編碼器之輸出處之編碼視訊圖框(IF1至EFn+1)之一串流。編碼圖框之此串流作為一正常串流傳輸至管理MRC議程之一MRM 120。第三列圖解說明因編碼自該攝影機所接收之相關按比例調整之視訊圖框而儲存在MRE 1之編碼器中之參考圖框(RFm-1至RFn)之一串流。第三列為上區段之最後一列。
圖10A之下區段圖解說明開始於第四列之暫時串流,第四列圖解說明在MRE 1之一暫時編碼器之輸出處之編碼視訊圖框(TIm至Tm+2及SSTn)之一串流。編碼圖框之此串流作為一暫時串流傳輸朝向MRM 120。最後一列圖解說明儲存在MRE 1之暫時編碼器687中之參考圖框(RTm至RTm+2及RTFn)之一串流。
在此實例中,如由第三列與第四列之間的箭頭所圖解說明,可藉由編碼正常編碼器685之參考圖框而產生暫時串流。第一圖框(TIm)編碼為相同大小(解析度)但是較低品質之一框內圖框。緊接在後的兩個圖框為增強型框間圖框。各圖框改良品質且減小儲存在正常串流之編碼器中之參考圖框與儲存在暫時編碼器687中之相關參考圖框之間的差。在其他實施例中,增強型框間圖框之數目可為除兩個 圖框外之任何數目,舉例而言諸如一個圖框與15個圖框之間的任何數目。暫時串流之最後圖框SSTn為以參考圖框RTFn具有與正常編碼器之參考圖框RFn相同之值從而使參考圖框RTFn與參考圖框RFn同步之一方式壓縮之一唯一圖框。在一實施例中,可以無損壓縮來壓縮該暫時編碼器之輸入處之RFn與儲存在暫時編碼器687中之參考圖框RTm+2之間的差以產生該SSTn圖框,且因此該RTFn中之各像素之值相同於該RFn中之對應像素之值。
在按比例調整後自MRE 1之攝影機接收視訊圖框CF1後於T1起始來自MRE 1之正常串流。該正常串流之編碼器將該視訊圖框CF1壓縮為一框內圖框IF1。接下來之按比例調整之攝影機圖框編碼為框間圖框。壓縮標準可為H.264 AVC、H.264 annex G、MPEG-4等。
在T2時,MRE 3請求加入正常串流之接收MRE。因此,在T2時,自MRE 3發送請求來自MRE 1之一框內圖框之一框內圖框請求。呈現MRE 130可起始在圖10A之下區段中所圖解說明之一暫時串流,而非藉由將一框內圖框發送至該正常串流之數個接收MRE 130(MRE 1)之所有者而回應於該請求。
基於在壓縮先前圖框RFm-1時所產生之參考圖框而壓縮繼框內圖框請求後來自攝影機之第一圖框CFm。在圖10A之實施例中,藉由將正常串流上之CFm壓縮為一框間圖框TIm所產生之參考圖框RFm壓縮為暫時串流之一框內圖框TIm。該框內圖框TIm作為該暫時串流上之第一圖框發送 朝向MRE 3。該暫時串流之壓縮藉由使用在該正常串流之編碼器中所使用之相同壓縮標準而完成,但是該框內圖框之品質可能低於該正常串流之品質。該品質可在位元速率、鮮明度等方面有所不同。
正常串流之編碼器之接下來之少數參考圖框RFm+1、RFm+2被暫時編碼器編碼為增強型品質框間圖框,以產生接下來之框間圖框Tm+1及Tm+2。例如,增強型品質框內圖框之數目可為1與15之間的任何數目。可在建置暫時串流期間定義增強型品質圖框之數目。
在T3時,當假定正常串流與暫時串流兩者之品質相似時,接下來之按比例調整之攝影機圖框CFn壓縮為一框間圖框EFn。可由暫時編碼器687以無損壓縮來壓縮在壓縮CFn時所產生之參考圖框RFn,以產生唯一圖框SSTn。例如,利用事實上與正常視訊影像相比,在視訊會議中兩個連貫圖框之間的差較小,可對RFn與暫時串流之參考圖框RTm+2之間的差執行該無損壓縮。無損壓縮之實例可為ZIP、Lempel-Ziv-Welch(LZW)、無損JPEG 2000等。因此,暫時編碼器687處產生之參考圖框RTFn具有與RFn相同之值,使參考圖框RTFn與參考圖框RFn同步。此外,在MRE 3之解碼器處解碼唯一圖框將產生具有RFn及RTFn之相同值之一參考圖框。因此,如在圖10B中圖解說明,在此時間點,可終止該暫時串流,且該正常串流可被MRM 120切換至需求MRE 3。
在需求MRE 3處,可按無損編碼之逆運算完成編碼差之 解碼。結果將添加至與RTm+2相似之先前解碼器參考圖框之值。添加該等解碼差之結果可作為參考圖框RTFn儲存在MRE 3之解碼器中且可顯示在MRE 3上。在T4時,可終止該暫時串流。
觀看圖10B處MRM 120之另一側,在T1時,呈現MRE 1之正常串流之第一圖框(框內圖框IF1)發送朝向MRE 2,接著係複數個框間圖框。該正常串流可中繼至等同於MRE 2之複數個接收MRE 130(在圖中未展示)。在T2時,MRE 3請求接收該正常串流並請求一框內圖框。作為回應,MRM 120開始發送暫時串流之圖框朝向需求MRE 3。該第一圖框為框內圖框TIm,接著係少數增強型品質框間圖框(Tm+1及Tm+2)。接著,在T3時,唯一圖框SSTn發送為該暫時串流之最後圖框。在T4時,亦中繼框間圖框Fn+1、Fn+2及來自該正常串流之接下來之圖框朝向MRE 3。
圖11A及圖11B係圖解說明使用SP圖框及SSP圖框以自一串流移動至另一串流之另一實施例中之一轉變週期之時序圖。自具有相同大小(解析度)之相同視訊攝影機產生該兩個串流。由MRE 1(呈現MRE 130)產生該等視訊串流,且經由一MRM 120而將該等視訊串流傳輸至MRE 2及MRE 3(分別為接收MRE 130及需求MRE 130)。圖11A及圖11B僅用於圖解說明目的且並非按比例繪製。
與圖10A相似,圖11A亦具有兩個區段,上區段圖解說明關於來自MRE 1之正常串流且下區段圖解說明關於來自MRE 1之暫時串流。由五列及適用於該兩個區段之一時間 軸圖解說明該兩個區段。第一列圖解說明在由比例調整器及FM 680按比例調整後自MRE 1之視訊攝影機所接收之按比例調整之攝影機視訊影像(CF1至CFn+1)之一串流。第二列圖解說明在MRE 1之正常編碼器之輸出處之編碼視訊圖框(IF1至EFn+1,包含SPn)之一串流。編碼圖框之此串流作為一正常串流傳輸至管理MRC議程之一MRM 120。第三列圖解說明因編碼自該攝影機所接收之相關按比例調整之視訊圖框而儲存在MRE 1之正常編碼器685中之參考圖框(RFm-1至RFm+2及RSPn)之一串流。第三列為上區段之最後一列。
圖11A之下區段圖解說明開始於第四列之暫時串流,第四列圖解說明在MRE 1之一暫時編碼器687之輸出處之編碼視訊圖框(TIm至Tm+2及SSPn)之一串流。編碼圖框之此串流作為一暫時串流傳輸朝向MRM 120。最後一列圖解說明儲存在MRE 1之暫時編碼器687中之參考圖框(RTm至RTm+2及RSSPn)之一串流。
在此實例中,如由壓縮圖框TIm至SSPn之頂部處之箭頭所圖解說明,可藉由編碼與正常編碼器685相關聯之在比例調整器及FM 680之輸出處之相同按比例調整之視訊圖框而產生暫時串流。因此,兩個編碼器(正常編碼器685及暫時編碼器687)編碼相同輸入圖框。第一圖框(TIm)編碼為相同大小(解析度)但是較低品質之一框內圖框。緊接在後的兩個圖框為增強型框間圖框。各圖框改良品質且減小暫時編碼器687之輸入處之按比例調整之圖框與儲存在暫時 編碼器687中之相關參考圖框之間的差。在其他實施例中,增強型框間圖框之數目可為除兩個圖框外之任何數目,舉例而言諸如一個圖框與15個圖框之間的任何數目。暫時串流之最後圖框為按比例調整之攝影機圖框CFn,其壓縮為一常規SSP圖框且產生為SSPn圖框。該相同按比例調整之攝影機圖框CFn被正常編碼器685按比例調整為一常規SP圖框。SP編碼及SSP編碼之結果在於正常串流之參考圖框RSPn及暫時串流之參考圖框RSSPn具有相同值,使參考圖框RSPn與參考圖框RSSPn同步。由於該正常串流之解碼器之參考圖框及該暫時串流之解碼器之參考圖框具有相同值,故可終止該暫時串流,且MRM 120可將該正常串流之接下來之圖框中繼至需求MRE 3。
在按比例調整後自MRE 1之攝影機接收按比例調整之視訊圖框CF1後於T1起始來自MRE 1之正常串流。該正常串流之編碼器685將該視訊圖框CF1壓縮為一框內圖框IF1。接下來之按比例調整之攝影機圖框編碼為框間圖框。壓縮標準可為能夠處理SP圖框及SSP圖框之任何標準,諸如H.264 AVC、H.264 annex G、MPEG-4等。
在T2時,MRE 3請求加入正常串流之接收MRE 130。因此,在T2時,自MRE 3發送請求來自MRE 1之一框內圖框之一框內圖框請求。在一實施例中,呈現MRE 130可起始如在圖11A之下區段中所圖解說明之一暫時串流,而非藉由將一框內圖框發送至該正常串流之數個接收MRE 130(MRE 1)之所有者而回應於該請求。
基於在壓縮先前圖框RFm-1時所產生之參考圖框而壓縮繼框內圖框請求後在按比例調整後來自攝影機之第一圖框CFm。在圖11A之實施例中,相同按比例調整之攝影機圖框CFm壓縮為暫時串流之一框內圖框TIm。該框內圖框TIm作為該暫時串流上之第一圖框而發送朝向MRE 3。該暫時串流之壓縮藉由使用在正常串流之編碼器685中所使用之相同壓縮標準而完成,但是該框內圖框之品質可能低於該正常串流之品質。該品質可在位元速率、鮮明度等方面有所不同。
接下來之少數按比例調整之參考圖框CFm+1、CFm+2被暫時編碼器687編碼為增強型品質框間圖框,以產生接下來之框間圖框Tm+1及Tm+2。例如,增強型品質框間圖框之數目可為1與15之間的任何數目。
在T3時,當假定正常串流與暫時串流兩者之品質相似時,接下來之按比例調整之攝影機圖框CFn被正常編碼器壓縮為一常規SP圖框SPn且在正常串流上發送。相同按比例調整之攝影機圖框CFn被暫時編碼器687壓縮為一常規SSP圖框SSPn,且發送為暫時串流上之最後圖框。因此,該暫時編碼器處產生之參考圖框RSSPn具有與正常編碼器之參考圖框RSPn相同之值。此外,在MRE 2之解碼器處解碼SPn圖框將產生具有與RSPn相同之值之一參考圖框。此外,在MRE 3之解碼器處解碼SSPn圖框將產生具有與RSSPn相同之值之一參考圖框。由於RSSPn及RSPn具有相同值,故編碼器/解碼器包括相同參考圖框。因此,如在 圖11B中圖解說明,在此時間點,在T4時可終止該暫時串流,且該正常串流可被MRM 120切換至需求MRE 3。
觀看圖11B中MRM 120之輸出側,在T1時,呈現MRE 1之正常串流之第一圖框(框內圖框IF1)發送朝向MRE 2,接著係複數個框間圖框。該正常串流可中繼至等同於MRE 2之複數個接收MRE 130(在圖中未展示)。在T2時,MRE 3請求接收該正常串流並請求一框內圖框。作為回應,MRM 120開始中繼暫時串流之圖框朝向需求MRE 3。該第一圖框為框內圖框TIm,接著係少數增強型品質框間圖框Tm+1及Tm+2。接著,在T3時,唯一圖框SSPn發送為該暫時串流之最後圖框。在T4時,亦中繼框間圖框Fn+1、Fn+2及來自該正常串流之接下來之圖框朝向MRE 3。
上文描述意欲於闡釋性且非限制性。例如,上文所述之實施例可組合彼此而使用。一般技術者在檢查上文描述時將明白許多其他實施例。因此,應參考隨附申請專利範圍連同此等請求項給予其權利之等效物之完整範疇而判定本發明之範疇。在隨附申請專利範圍中,術語「包含」及「其中」用作為各自術語「包括」及「其中」之簡明英語等效物。
1‧‧‧媒體中繼端點(MRE)
2‧‧‧媒體中繼端點(MRE)
3‧‧‧媒體中繼端點(MRE)
100‧‧‧多媒體會議系統
110‧‧‧網路
120‧‧‧媒體中繼多點控制單元(MRM)
130‧‧‧媒體中繼端點
220‧‧‧網路介面模組
230‧‧‧議程壓縮音訊即時協定(RTP)處理器
240‧‧‧發信號及控制模組
250‧‧‧議程壓縮視訊即時協定(RTP)處理器
305‧‧‧壓縮即時協定(RTP)音訊資料介面
310‧‧‧即時協定(RTP)音訊輸入緩衝器
320‧‧‧音訊即時協定(RTP)標頭剖析器及組織器
330‧‧‧媒體中繼端點(MRE)循序音訊記憶體
340‧‧‧匯流排
350‧‧‧即時協定(RTP)壓縮音訊串流建置器
352‧‧‧媒體中繼端點(MRE)多工器定序器
354‧‧‧媒體中繼端點(MRE)即時協定(RTP)音訊輸出緩衝器
360‧‧‧音訊能量處理器
365‧‧‧控制匯流排
405‧‧‧壓縮即時協定(RTP)視訊資料介面
410‧‧‧即時協定(RTP)視訊輸入緩衝器
420‧‧‧視訊即時協定(RTP)標頭剖析器及組織器
430‧‧‧媒體中繼端點(MRE)循序視訊記憶體
440‧‧‧匯流排
450‧‧‧即時協定(RTP)壓縮視訊串流建置器
452‧‧‧媒體中繼端點(MRE)多工器定序器/視訊媒體中繼端點(MRE)多工器定序器
454‧‧‧媒體中繼端點(MRE)即時協定(RTP)視訊輸出緩衝器
465‧‧‧控制匯流排
520‧‧‧媒體中繼端點(MRE)網路介面模組
530‧‧‧媒體中繼端點(MRE)音訊模組
540‧‧‧媒體中繼端點(MRE)控制模組
550‧‧‧媒體中繼端點(MRE)視訊模組
610‧‧‧RTP視訊輸入緩衝器
620‧‧‧視訊即時協定(RTP)標頭剖析器及組織器
630‧‧‧壓縮視訊片段記憶體
640‧‧‧媒體中繼端點(MRE)視訊解碼器
650‧‧‧片段圖框記憶體(FM)
655‧‧‧背景圖框記憶體
660‧‧‧媒體中繼端點(MRE)連續呈現(CP)影像建置器
670‧‧‧媒體中繼端點(MRE)連續呈現(CP)圖框記憶體模組
680‧‧‧比例調整器及圖框記憶體(FM)
685‧‧‧視訊編碼器
687‧‧‧暫時編碼器
690‧‧‧媒體中繼端點(MRE)視訊即時協定(RTP)處理器
710‧‧‧即時協定(RTP)音訊輸入緩衝器
720‧‧‧音訊即時協定(RTP)標頭剖析器及組織器
730‧‧‧媒體中繼端點(MRE)循序音訊記憶體
740‧‧‧媒體中繼端點(MRE)音訊解碼器
750‧‧‧音訊混合器
760‧‧‧編碼器
770‧‧‧媒體中繼端點(MRE)音訊即時協定(RTP)處理器
圖1係圖解說明根據一實施例之包括多種新穎電子視訊會議系統之一多媒體會議系統之一方塊圖。
圖2係具有根據一實施例之一媒體中繼MCU(MRM)之相關元件之一方塊圖。
圖3係具有根據一實施例之一議程壓縮音訊RTP處理器之相關元件之一簡化方塊圖。
圖4係具有根據一實施例之一議程壓縮視訊RTP處理器之相關元件之一簡化方塊圖。
圖5係具有根據一實施例之一媒體中繼端點(MRE)之相關元件之一簡化方塊圖。
圖6係具有根據一實施例之一MRE視訊模組(MREVM)之一部分之相關元件之一簡化方塊圖。
圖7係圖解說明根據一實施例之一MRE音訊模組(MREAM)之一部分之相關元件之一方塊圖。
圖8A係圖解說明根據一實施例之一會議設置方法之相關動作之一流程圖。
圖8B係圖解說明根據一實施例之由一MRM之一發信號及控制模組所實施之一轉變技術之相關動作之一流程圖。
圖9(包括圖9A及圖9B)係圖解說明根據一實施例之一MRE控制模組會議設置技術之相關動作之一流程圖。
圖10A及圖10B係圖解說明根據一實施例之使用經由一MRM而自一MRE產生且傳輸至兩個其他MRE之一視訊串流之特殊圖框之一轉變週期之時序圖。
圖11A及圖11B係圖解說明根據一實施例之使用經由一MRM而自一EP產生且傳輸至兩個其他MRE之一視訊串流之特殊圖框之一轉變週期之時序圖。
120‧‧‧媒體中繼多點控制單元(MRM)
220‧‧‧網路介面模組
230‧‧‧議程壓縮音訊即時協定(RTP)處理器
240‧‧‧發信號及控制模組
250‧‧‧議程壓縮視訊即時協定(RTP)處理器

Claims (22)

  1. 一種方法,其包括:自一第一媒體中繼端點發送待朝向一第二媒體中繼端點傳送之一第一壓縮視訊串流;由該第一媒體中繼端點產生待朝向一第三媒體中繼端點傳送之一第二壓縮視訊串流,包括:使該第一媒體中繼端點之一第一編碼器中之一第一參考圖框與該第一媒體中繼端點之一第二編碼器中之一第二參考圖框同步;自該第一參考圖框發送由該第一編碼器所編碼之在該第一壓縮視訊串流中之一第一壓縮視訊圖框;及自該第二參考圖框發送由該第二編碼器所編碼之在該第二壓縮視訊串流中之一第二壓縮視訊圖框。
  2. 如請求項1之方法,其進一步包括:接收對待朝向該第三媒體中繼端點發送之一框內圖框之一請求,其中由該第一媒體中繼端點產生待朝向該第三媒體中繼端點傳送之該第二壓縮視訊串流之動作係回應於對一框內圖框之該請求而執行。
  3. 如請求項1之方法,其中使該第一媒體中繼端點之一第一編碼器中之一第一參考圖框與該第一媒體中繼端點之一第二編碼器中之一第二參考圖框同步之動作包括:藉由由該第一編碼器編碼該第一視訊串流中之一第一序列視訊圖框而在該第一編碼器中產生一第一序列參考 圖框;及藉由由該第二編碼器編碼該第二視訊串流中之一第二序列視訊圖框而在該第二編碼器中產生一第二序列參考圖框,基於該第一序列參考圖框而編碼該第二序列視訊圖框,其中該第二序列參考圖框相繼與該第一序列參考圖框更同步,且其中該第二序列參考圖框之一最後參考圖框與該第一序列參考圖框之一最後參考圖框同步。
  4. 如請求項3之方法,其中該第二序列視訊圖框包括:品質低於該第一視訊串流之一視訊圖框之一框內圖框;及品質遞增之一序列框間圖框。
  5. 如請求項3之方法,其中該第二序列視訊圖框之一最後視訊圖框為一唯一壓縮圖框。
  6. 如請求項3之方法,其中無損壓縮該第一序列參考圖框之一當前圖框與該第二序列參考圖框之一緊接參考圖框之間的一差以產生該第二序列視訊圖框之該最後圖框。
  7. 如請求項6之方法,其中使用ZIP來無損壓縮該差。
  8. 如請求項3之方法,其中該第一序列視訊圖框為一序列框間圖框。
  9. 如請求項1之方法,其中該第一壓縮視訊串流及該第二壓縮視訊串流遵守H.264。
  10. 如請求項1之方法,其進一步包括: 終止該第二視訊串流;及發送待朝向該第二媒體中繼端點及該第三媒體中繼端點傳送之該第一視訊串流。
  11. 如請求項1之方法,其中發送用於朝向複數個媒體中繼端點中繼之該第一視訊串流。
  12. 如請求項1之方法,其中使該第一媒體中繼端點之一第一編碼器中之一第一參考圖框與該第一媒體中繼端點之一第二編碼器中之一第二參考圖框同步之該動作包括:在編碼該第一壓縮視訊串流時在該第一編碼器中產生一第一序列參考圖框;及在編碼該第二壓縮視訊串流時在該第二編碼器中產生一第二序列參考圖框,其中自一相同序列按比例調整之視訊影像編碼該第一壓縮視訊串流及該第二壓縮視訊串流。
  13. 如請求項12之方法,其中該第二壓縮視訊串流包括:品質低於該第一壓縮視訊串流之一視訊圖框之一框內圖框;及品質遞增之一序列框間圖框。
  14. 如請求項13之方法,其中該第一壓縮視訊串流包括框間圖框之一串流。
  15. 如請求項12之方法,其中該相同序列按比例調整之視訊影像之一當前視訊圖框被該第一編碼器編碼為一切換預測(SP)圖框且被該第二編碼器編碼為一次要切換預測(SSP)圖框。
  16. 如請求項15之方法,其進一步包括在發送該SSP圖框後終止該第二壓縮視訊串流,其中該第二壓縮視訊串流之一視訊圖框為一SSP圖框。
  17. 一種用於在一第一媒體中繼端點與複數個媒體中繼端點之間的一多點視訊會議期間在該第一媒體中繼端點處提供一連續呈現版面配置之媒體中繼多點控制單元,該連續呈現版面配置包括複數個片段,各片段顯示來自該複數個媒體中繼端點之一選定媒體中繼端點之視訊,該媒體中繼多點控制單元包括:一網路介面,其自該複數個媒體中繼端點接收中繼壓縮視訊資料厚塊並將中繼壓縮視訊資料厚塊發送至該第一媒體中繼端點;一發信號及控制模組,其自該複數個媒體中繼端點選擇兩個或兩個以上媒體中繼端點;及一壓縮視訊處理器,其剖析該等經接收之中繼壓縮視訊資料厚塊;將自該選定之兩個或兩個以上媒體中繼端點所接收之該等經剖析之中繼壓縮視訊資料厚塊組織成中繼壓縮視訊資料厚塊之兩個或兩個以上串流之一群組;及經由該網路介面而傳送中繼壓縮視訊資料厚塊之兩個或兩個以上串流之該群組朝向該第一媒體中繼端點,其中該壓縮視訊處理器回應於自該發信號及控制模組接收由來自該選定之兩個或兩個以上媒體中繼端點 之一呈現媒體中繼端點之一需求媒體端點請求一框內圖框的指令而進行以下步驟:並行於自該呈現媒體中繼端點獲得中繼壓縮視訊資料厚塊之一正常串流而自該呈現媒體中繼端點獲得中繼壓縮視訊資料厚塊之一暫時串流;剖析該暫時串流上之該經獲得之中繼壓縮視訊資料厚塊;將該經剖析之中繼壓縮視訊資料厚塊組織成中繼壓縮視訊資料厚塊之一暫時串流;及經由該網路介面而傳送中繼壓縮視訊資料厚塊之該暫時串流朝向該需求媒體中繼端點。
  18. 如請求項17之媒體中繼多點控制單元,其中該壓縮視訊處理器進一步經組態以回應於自該發信號及控制模組所接收之指令而藉由中繼自該呈現媒體中繼端點所獲得之正常中繼壓縮視訊資料厚塊朝向該需求媒體中繼端點而終止該暫時串流。
  19. 一種媒體中繼端點,其包括:一視訊處理器,其包括:一第一編碼器;及一暫時編碼器,其中該視訊處理器經組態以:發送由該第一編碼器壓縮用於朝向一第二媒體中繼端點中繼之一第一視訊串流;在接收一第三媒體中繼端點需要一框內圖框之一指 示時,發送由該暫時編碼器壓縮用於朝向該第三媒體中繼端點中繼之一暫時視訊串流;使該第一編碼器中之一第一參考圖框與該暫時編碼器中之一第二參考圖框同步;及終止該暫時視訊串流。
  20. 如請求項19之媒體中繼端點,其中該指示為自該第三媒體中繼端點所接收之一框內圖框請求。
  21. 如請求項19之媒體中繼端點,其中該視訊處理器使由該第一編碼器產生一切換預測(SP)圖框與由該暫時編碼器產生一次要切換預測(SSP)圖框同步。
  22. 一種媒體中繼端點(MRE),其包括:一MRE視訊處理器,其:接收源於選定MRE之一群組之中繼壓縮視訊資料厚塊之串流之一群組;將該等經接收之中繼壓縮視訊資料厚塊組織成複數個群組,各群組對應於選定MRE之該群組之一MRE;解碼該經組織接收之中繼壓縮視訊資料厚塊之各群組;及自該等經解碼組織接收之中繼壓縮視訊資料厚塊組譯一連續呈現版面配置,其中該MRE視訊處理器經組態以:獲得自一第一MRE所發送之中繼壓縮視訊資料厚塊之一暫時串流;組織、解碼及組譯來自該版面配置中之該暫時串流 之視訊;同步化分配用於解碼自該第一MRE所接收之一共同視訊串流之一解碼器中之一參考圖框;及組織、解碼及組譯來自該版面配置中之該共同串流之視訊。
TW101129108A 2011-08-11 2012-08-10 媒體中繼視訊通信 TWI491218B (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161522474P 2011-08-11 2011-08-11
US13/487,703 US8760492B2 (en) 2009-01-30 2012-06-04 Method and system for switching between video streams in a continuous presence conference

Publications (2)

Publication Number Publication Date
TW201313019A true TW201313019A (zh) 2013-03-16
TWI491218B TWI491218B (zh) 2015-07-01

Family

ID=47766060

Family Applications (1)

Application Number Title Priority Date Filing Date
TW101129108A TWI491218B (zh) 2011-08-11 2012-08-10 媒體中繼視訊通信

Country Status (2)

Country Link
CN (1) CN102957893B (zh)
TW (1) TWI491218B (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104519014B (zh) * 2013-09-27 2019-01-08 华为技术有限公司 一种实时传输协议会话处理方法及设备
CN109561318A (zh) * 2017-09-26 2019-04-02 阿里巴巴集团控股有限公司 一种视频播放的方法和装置
CN112601097B (zh) * 2021-03-02 2021-04-30 中国传媒大学 双编码云导播方法及系统

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002305733A (ja) * 2001-04-06 2002-10-18 Matsushita Electric Ind Co Ltd マルチキャスト会議装置、及びマルチキャスト会議プログラム
US7133362B2 (en) * 2001-11-14 2006-11-07 Microsoft Corporation Intelligent buffering process for network conference video
NO318911B1 (no) * 2003-11-14 2005-05-23 Tandberg Telecom As Distribuert sammensetting av sanntids-media
US7139015B2 (en) * 2004-01-20 2006-11-21 Polycom, Inc. Method and apparatus for mixing compressed video
US8446963B2 (en) * 2006-07-12 2013-05-21 Mediatek Inc. Method and system for synchronizing audio and video data signals
TWI334568B (en) * 2006-12-20 2010-12-11 Asustek Comp Inc Apparatus for operating multimedia streaming and method for transmitting multimedia streaming
TWI335178B (en) * 2006-12-20 2010-12-21 Asustek Comp Inc Apparatus, system and method for remotely opearting multimedia streaming
US8228363B2 (en) * 2009-01-30 2012-07-24 Polycom, Inc. Method and system for conducting continuous presence conferences

Also Published As

Publication number Publication date
TWI491218B (zh) 2015-07-01
CN102957893A (zh) 2013-03-06
CN102957893B (zh) 2016-02-24

Similar Documents

Publication Publication Date Title
US9215416B2 (en) Method and system for switching between video streams in a continuous presence conference
US11503250B2 (en) Method and system for conducting video conferences of diverse participating devices
JP5345081B2 (ja) 常駐会議を行うための方法およびシステム
KR101365882B1 (ko) 멀티미디어 회의 호에 대한 시각적 구성의 관리 기법
JP4921488B2 (ja) スケーラブルなビデオ符号化を用いて、またスケーラブルなテレビ会議サーバを複合してテレビ会議を行うためのシステムおよび方法
US7720157B2 (en) Arrangement and method for generating CP images
WO2011116611A1 (zh) 用于电视会议的视频播放方法
JP2008131143A (ja) 符号化処理装置および符号化処理方法
CN114600468A (zh) 将复合视频流中的视频流与元数据组合
EP2557780A2 (en) Method and system for switching between video streams in a continuous presence conference
TWI491218B (zh) 媒體中繼視訊通信
JP2015192230A (ja) 会議システム、会議サーバ、会議方法及び会議プログラム
WO2010027082A1 (ja) カンファレンスサーバとビデオカンファレンスシステムと方法並びプログラム
JP2004007461A (ja) データ処理装置及びデータ処理方法
Seo et al. HD Video Remote Collaboration Application