TW201433129A - 用於在媒體中繼會談中同步化音訊及視訊串流之方法及系統 - Google Patents

用於在媒體中繼會談中同步化音訊及視訊串流之方法及系統 Download PDF

Info

Publication number
TW201433129A
TW201433129A TW102139616A TW102139616A TW201433129A TW 201433129 A TW201433129 A TW 201433129A TW 102139616 A TW102139616 A TW 102139616A TW 102139616 A TW102139616 A TW 102139616A TW 201433129 A TW201433129 A TW 201433129A
Authority
TW
Taiwan
Prior art keywords
stream
audio
streams
input
media relay
Prior art date
Application number
TW102139616A
Other languages
English (en)
Other versions
TWI568230B (zh
Inventor
Avishay Halavy
Amir Yassur
Original Assignee
Polycom Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Polycom Inc filed Critical Polycom Inc
Publication of TW201433129A publication Critical patent/TW201433129A/zh
Application granted granted Critical
Publication of TWI568230B publication Critical patent/TWI568230B/zh

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/70—Media network packetisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60—Network streaming of media packets
    • H04L65/75—Media network packet handling
    • H04L65/765—Media network packet handling intermediate
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/80—Responding to QoS

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

一種新穎技術允許同步化在一接收媒體中繼端點處經由一中間節點(諸如一媒體中繼多點控制單元)接收之複數個音訊及視訊串流。該等經接收串流係藉由複數個傳輸媒體中繼端點產生且經由該中間節點中繼至該複數個接收媒體中繼端點，但被看作為在經過時間及經操縱時戳方面使用一單一時域而同時保持正確擷取時間。

Description

用於在媒體中繼會談中同步化音訊及視訊串流之方法及系統
本發明係關於音訊/視訊通信且更特定言之係關於多點音訊/視訊會談之領域。
當經由網際網路協定(IP)網路之訊務隨著各種多媒體會談設備之增長而持續其快速增長時，愈來愈多人使用多媒體會談作為其等之通信工具。現今可經由兩個類型之通信方法(舊型多媒體會談方法及新技術之媒體中繼會談方法)進行多媒體會談通信。在本發明中，術語多媒體會議、視訊會議及音訊會議可交換使用且術語視訊會議可用作其等之一代表性術語。
三個或三個以上參與者之間之舊型多點會議需要一多點控制單元(MCU)。一MCU係通常定位於一網路之一節點中或自端點接收若干頻道之一終端機中之一會議控制實體。根據一些準則，MCU處理音訊及視覺信號且將其等分佈至一組經連接頻道。MCU之實例包含MGC-100、RMX 2000，其等可購自Polycom,Inc.(RMX-2000係Polycom,Inc.之一註冊商標)。可稱為一舊型端點(LEP)之一終端機係網路上能夠提供與另一LEP或與MCU之即時雙向音訊及/或音訊視覺通信之一實體。一LEP及一MCU之一更透徹定義可在國際電信聯盟(「ITU」)標準中找到，諸如(但不限於)H.320、H.324及H.323標準， 該等標準可在ITU網站www.itu.int找到。
一共同MCU(亦稱為一舊型MCU)可包含複數個音訊及視訊解碼器、編碼器及媒體組合器(音訊混合器及/或視訊影像建立器)。該MCU可使用大量處理能力以處置可變數目個參與者(LEP)之間之音訊及視訊通信。該通信可基於各種通信協定及壓縮標準且可涉及不同類型之LEP。該MCU可需要將複數個輸入音訊或視訊串流分別組合成至少一單一輸出音訊或視訊串流，該單一輸出音訊或視訊串流與將該輸出串流發送至之至少一與會者之LEP之性質相容。解碼自端點接收之經壓縮音訊串流且可分析其等以判定將選擇哪些音訊串流以混合成會議之單一音訊串流。在本發明中，術語解碼及解壓縮可交換使用。
一會議可具有其中各輸出串流係與一佈局相關聯之一或多個視訊輸出串流。一佈局定義在接收串流之一或多個與會者之一顯示器上之一會議之外觀。一佈局可劃分成一或多個片段，其中各片段可與藉由一與會者(端點)發送之一視訊輸入串流相關聯。各輸出串流可由若干輸入串流構成，導致一連續存在(CP)會議。在一CP會議中，在一遠程終端機處之一使用者可同時觀察該會議中之若干其他參與者。各參與者可顯示於該佈局之一片段中，其中各片段可具有相同尺寸或一不同尺寸。經顯示且與佈局之片段相關聯之參與者之選擇可在參與相同工作階段之不同與會者當中變化。
使用視訊會談之增長趨勢提高對將使人們能夠進行具有經組成之CP視訊影像之複數個會談工作階段之低成本MCU之需要。此需要導致新技術之媒體中繼會談(MRC)。
在MRC中，一媒體中繼MCU(MRM)自各參與媒體中繼端點(MRE)接收一或多個輸入串流。MRM將自會議中之其他端點接收之一組多個媒體輸出串流中繼至各參與端點。各接收端點根據一佈局使用該多個串流以產生該會議之視訊CP影像以及混合音訊。該CP視訊影 像及該混合音訊係對MRE之使用者播放。一MRE可為工作階段中一與會者之具有根據來自一MRM之指令自一MRM接收經中繼之媒體及遞送經壓縮媒體之能力之一終端機。邀請希望瞭解更多關於一MRC、MRM或MRE之一實例之一讀者讀取相關美國專利第8,228,363號及美國公開專利第2012-023611號，該等專利以引用的方式併入本文中。在本發明中，術語端點可係指一MRE或一LEP。
在一些MRC系統中，一傳輸MRE以兩個或兩個以上串流發送其視訊影像；各串流可與不同品質位準相關聯。該等品質可在訊框速率、解析度及/或信雜比(SNR)等方面不同。以一類似方式，各傳輸MRE可以可藉由(例如)壓縮位元率而彼此不同之兩個或兩個以上串流發送其音訊。此一系統可使用該複數個串流以提供藉由各接收端點使用之佈局中之不同片段尺寸及不同解析度等。此外，該複數個串流可用於克服封包損耗。
現今，MRC變得愈來愈流行。許多視訊會談系統在一或多個串流內並行遞送品質位準。例如，對於視訊，可以域之數目表示品質，諸如時域(例如，每秒之訊框)、空間域(例如，HD對CIF)及/或品質方面(例如，清晰度)。可用於多品質串流之視訊壓縮標準係H.264AVC、H.264 annex G(SVC)、MPEG-4等。關於壓縮標準(諸如H.264)之更多資訊可在ITU網站www.itu.int或www.mpeg.org找到。
邀請希望瞭解更多關於MRM或MRE之一讀者讀取美國專利第8,228,363號及美國專利申請案第13/487,703號，該等專利以引用的方式併入本文中。
為達成良好使用者體驗需要在經播放視訊與音訊之間同步化。一共同音訊及視訊即時傳輸協定(RTP)包括一音訊視訊同步化機構。包含一音訊視訊同步化機構之RTP之一實例係描述於RFC 3550中，其之內容以引用的方式併入。該機構在媒體封包之RTP標頭及即時傳輸 協定控制(RTCP)發送者報告(SR)以及接收者報告(RR)中使用時戳。該SR可包含相等於可能已包含在一RR內之接收報告之接收報告區塊。本發明係指RR亦用於其中接收報告係包含在SR內且至於SR僅針對該SR內之發送者報告部分之情況。關於RTP之更多資訊可在網際網路工程任務編組(IETF)網站www.ietf.org中找到。
為在音訊串流與視訊串流之間同步化，傳輸MRE或LEP將時戳插入至其發送之音訊及視訊即時傳輸協定(RTP)封包之標頭中。該等時戳分別反映藉由麥克風之音訊之擷取時間(音訊時戳，TSa)及/或藉由相機之視訊之擷取時間(視訊時戳，TSv)。該等時戳對於各類型之串流(音訊或視訊)起始於一隨機值且基於音訊及視訊編解碼器之一不同時脈速率(例如，對於音訊8KHz及對於視訊90KHz)而進展。
週期性地，傳輸端點MRE或LEP針對各輸出串流(音訊或視訊)發送一RTP控制(RTCP)發送者報告(SR)。該發送者報告可包含在發送訊息時引用一相關聯經過時間。可使用(例如)網路時間協定(NTP)之時間格式呈現該經過時間(絕對日期及時間)。此外，對各串流之RTCP發送者報告亦包含在發送該發送者報告時之相關聯時戳(分別為TSa或TSv)，該相關聯時戳反映若在產生RTCP訊息時傳輸一音訊/視訊RTP封包則已(分別)放置於該音訊/視訊RTP封包中之時戳。兩個連續RTCP發送者報告之間之時間間隔可為幾秒(例如5秒)。
此機構使接收端點能夠在接收端點之經過時間與傳輸端點之經過時間之間關聯。每當接收一RTCP發送者報告時可調整此相關性。接收端點可使用各自發送者報告中之經過時間及時戳以藉由調整經接收音訊播放時間至經接收視訊之播放時間或反之亦然而同步化經接收音訊及視訊串流。RTP及RTCP已為此項技術所熟知且描述於數種RFC中。邀請希望瞭解更多關於RTP及RTCP之一讀者讀取可在網際網路工程任務編組(IETF)網站www.ietf.org找到之RFC 3550、4585、4586 及許多其他RFC，該等RFC之內容以引用的方式併入本文中。
在一舊型CP轉碼視訊會談中，一舊型MCU在自複數個傳輸舊型端點獲得經壓縮音訊及視訊串流時作為一接收實體。此外，一舊型MCU在傳輸會議CP視訊影像之經壓縮混合之音訊串流及經壓縮組成之視訊串流朝向複數個接收舊型端點時作為一傳輸實體。在上行鏈路方向中，藉由端點提供至MCU之RTP時戳及RTCP報告使MCU能夠同步化自多個源接收之音訊及視訊RTP串流。在下行鏈路方向中，MCU產生一視訊佈局及一匹配經同步化音訊混合。MCU將該音訊混合及視訊佈局發送至接收端點，各在一單一RTP串流中，串流中之各封包分別具有伴隨RTCP報告之其音訊時戳或視訊時戳。然而，在MRC之一些實施例中，在音訊與視訊之間同步化係更複雜的，此係因為在接收MRE(RMRE)混合音訊及組成CP視訊影像時一MRM僅中繼媒體串流，該等媒體串流係藉由各具有其自身經過時間及時戳域之複數個傳輸MRE(TMRE)產生。將該經混合音訊及該經組成之CP視訊影像呈現於使用RMRE之一與會者。
相關美國專利第8,228,363號及美國專利申請案第13/487,703號中揭示同步化一MRC中之不同串流之一實例。替代性地，實體(MRE以及MRM)之各者可藉由使用網路時間協定(NTP)伺服器同步化其等之時脈。MRM之其他實施例可僅中繼來自TMRE之經接收之RTCP訊息朝向RMRE。上文所揭示之用於同步化一MRC工作階段中之音訊及視訊之方法消耗MRM處之計算資源及/或MRM與RMRE之間之頻寬資源。
在MRC之其他實施例中，歸因於接收端點處理能力、缺乏音訊中繼編解碼器之支援或頻寬限制，可將包含來自最主動發言者之多個音訊串流之一混合之一單一音訊串流發送至一接收端點，而將選定MRE之視訊串流個別發送至將該等串流組成一CP視訊影像之接收 MRE。在此一情境中，經接收之視訊串流不能同步化至經接收之音訊混合。
上文所描述之在一MRC工作階段中之音訊與視訊之間之同步化程序之缺點並不意指以任何方式限制本發明之發明概念之範疇。僅為圖解目的提出該等缺點。本發明指向在一RMRE處達成一視訊影像(其藉由一經呈現之MRE起始)與相關聯音訊信號(其藉由相同經呈現之MRE起始)之間之語音同步之一新穎技術。在MRC之一些實施例中，可藉由RMRE完成音訊混合。在其他實施例中，可藉由一MRM混合藉由TMRE起始之一或多個音訊串流而完成音訊混合。繼MRM中之音訊混合之後，可發送攜載一經壓縮混合音訊之一單一串流朝向RMRE。至於視訊，經由一中間節點(舉例而言，諸如MRM)將藉由複數個TMRE產生之視訊串流中繼至複數個RMRE。該所揭示之新穎技術應用於兩個類型之MRC音訊混合實施例。
MRM之一實施例可將各經接收音訊或視訊封包之時戳(TSa或TSv)操縱成一經操縱時戳(MTSa或MTSv)。可藉由自嵌入於經接收RTP封包之標頭中之時戳之值減去一差量值(分別為△TSa或△TSv)而完成該操縱。在MRE連接至工作階段之後，可對各MRE計算△TSa及△TSv。在另一實施例中，可對在MRM處接收之各媒體串流計算△TSa及△TSv。△TSa及△TSv之該等所計算值可保持持續整個工作階段。在MRM之一些實施例中，可不時(例如，每幾十秒至幾十分鐘)重新估算△TSa及△TSv。在當前描述中，一MRM可用作定位於複數個MRE之間之一中間網路器件。
可藉由自MRM發送一相關SR之(音訊或視訊)朝向一MRE且等待自該MRE獲得一RR及SR而起始對一音訊串流計算△TSa或對一視訊串流計算△TSv。在一些實施例中，可將RR及SR組合至一RTCP訊息。基 於RR，可計算MRM與MRE之間之相關往返時間(RTT)。基於經計算之相關RTT之值、相關SR中之經過時間欄位及在自MRE接收RR時MRM之經過時間，可估計MRM及MRE之相關經過時間之間之差異(WC_DIFF)。可取決於經估計之RTT及/或SR之到達時間對音訊或視訊計算一共同WC_DIFF。
最後，可分別依據SR中之經過時間之值、共同WC_DIFF、音訊及/或視訊之時脈速率及MRM TSa/v參考與分別嵌入於相關SR中之時戳音訊或視訊之間之差異來計算△TSa或△TSv。對各MRE或對與工作階段相關聯之各串流之共同WC_DIFF之經計算之值(△TSa及△TSv)可儲存於工作階段RTP處理器處之一表中。可不時更新此表。
對於來自一TMRE攜載經壓縮媒體(音訊或視訊)之各經接收封包，工作階段RTP處理器可擷取適當△TSa或△TSv之值且相應地將該TSa或TSv(分別)操縱成MTSa或MTSv。該MTSa或MTSv可分別代替經接收之TSa或TSv放置於經中繼之RTP封包之標頭處。嵌入於自MRM朝向一RMRE中繼之封包中之經操縱時戳將媒體之擷取時間轉換成MRM之時序域。因此，MTSa/v表示在MRM時域中媒體之擷取時間。歸因於對時戳之操縱，對於各媒體類型(一者針對音訊且一者針對視訊)可藉由MRM將一單一發送者報告發送至各RMRE，其中該發送者報告可應用於該媒體類型之全部串流。因此，來自複數個TMRE之經接收串流之各者之各封包之MTSa或MTSv看似自來自中間節點(例如，MRM)之一單一實體接收。
因此，自MRM接收複數個選定經中繼之音訊及視訊串流之一RMRE在混合該音訊或組成一CP視訊影像之前可藉由使用各經中繼串流內之MTSa及MTSv連同來自自MRM接收之發送者報告之資訊同步化該等音訊及視訊串流。該新穎技術使RMRE能夠在不需要MRM處之複雜同步化或取決於接收TMRE之各者之發送者報告之情況下同步化 音訊及視訊。因此，此技術降低端至端延時且節省在MRM及RMRE兩者處之計算資源以及降低MRM與RMRE之間之頻寬消耗。
在其中藉由MRM完成音訊混合之一MRC實施例中，(例如)可增加額外調適。該等額外調適使一RMRE能夠同步化源自一TMRE之一經呈現之視訊串流與源自相同TMRE之音訊資料(若其存在於音訊混合中)。此一系統之一實施例可包括增加新的欄位至攜載一經壓縮音訊混合之各封包之一RTP延伸標頭。在新的欄位中，一MRM可指示其等之音訊串流係包含在音訊混合中之端點及其等之各自經操縱時戳(MTSa)。
此一系統之另一實施例可包括在混合音訊串流之封包之前根據其等之擷取時間在MRM處對準該等音訊串流之封包。此外，新的欄位可增加至攜載一經壓縮音訊混合之各封包之一RTP延伸標頭，其中MRM可指示其等之音訊係包含在音訊混合中之一或多個端點。該等音訊封包之RTP時戳係在MRM之時序域中現表示用於對準包含於混合中之音訊源之擷取時間之經調整時戳。
貫穿本發明，一MRC系統係描述為將多個音訊及/或視訊串流中繼至一接收端點。又，本發明類似地應用於其中MRC系統僅將一單一音訊及/或一單一視訊中繼至接收端點之情況。吾人使用多個串流情況僅作為一實例。
鑒於附圖及詳細描述將明白本發明之此等及其他態樣。前述概要並不意指概述本發明之各潛在實施例或每一態樣，且在讀取實施例之以下詳細描述與附圖及隨附技術方案之後將明白本發明之其他特徵及優點。
此外，儘管詳細描述特定實施例以對熟習此項技術者繪示發明概念，然此等實施例易於以各種修改及替代形式呈現。因此，圖式及書面描述並不意指以任何方式限制發明概念之範疇。
100‧‧‧新穎多媒體中繼會談系統
110‧‧‧網路
120‧‧‧媒體中繼多點控制單元(MCU)(MRM)
130‧‧‧媒體中繼端點(MRE)/接收媒體中繼端點(RMRE)
200‧‧‧媒體中繼多點控制單元(MCU)(MRM)
220‧‧‧網路介面模組(NI)
230‧‧‧工作階段壓縮音訊即時傳輸協定(RTP)處理器(SCARP)
240‧‧‧發信號及控制模組(SCM)
250‧‧‧工作階段壓縮視訊即時傳輸協定(RTP)處理器(SCVRP)
300A‧‧‧工作階段壓縮媒體即時傳輸協定(RTP)處理器(SCMRP)
300B‧‧‧工作階段壓縮音訊及視訊即時傳輸協定(RTP)處理器(SCAVRP)
305‧‧‧經壓縮即時傳輸協定(RTP)媒體資料共同介面(CRMDCI)
310‧‧‧即時傳輸協定(RTP)輸入緩衝器
312‧‧‧即時傳輸協定(RTP)輸入緩衝器
320‧‧‧即時傳輸協定(RTP)標頭剖析器及組織器
322‧‧‧即時傳輸協定(RTP)標頭剖析器及組織器
330A‧‧‧傳輸媒體中繼端點(TMRE)時戳操縱器(TMTM)
330B‧‧‧視訊傳輸媒體中繼端點(TMRE)時戳操縱器(VTMTM)
340‧‧‧匯流排
350‧‧‧即時傳輸協定(RTP)處理器/接收媒體中繼端點(RMRE)即時傳輸協定(RTP)處理器
352‧‧‧多工器/選擇器
354‧‧‧即時傳輸協定(RTP)媒體輸出FIFO
360A‧‧‧即時傳輸協定(RTP)控制(RTCP)工作階段管理者(RTCPSM)
360B‧‧‧即時傳輸協定(RTP)控制(RTCP)工作階段管理者(RTCPSM)
365‧‧‧控制匯流排
370‧‧‧音訊傳輸媒體中繼端點(TMRE)時戳操縱器(ATMTM)
372‧‧‧舊型音訊處理器
374‧‧‧接收媒體中繼端點(RMRE)音訊即時傳輸協定(RTP)輸出處理器(RAROP)
400‧‧‧新串流調適程序/方法
402‧‧‧方塊
404‧‧‧方塊
410‧‧‧方塊
412‧‧‧方塊
420‧‧‧方塊
422‧‧‧方塊
424‧‧‧方塊
426‧‧‧方塊
併入且構成本說明書之一部分之附圖繪示與本發明一致之裝置及方法之一實施方案且連同詳細描述一起用以闡釋與本發明一致之優點及原理。在圖式中， 圖1繪示根據一項實施例之包括各種電子視訊會談系統之一多媒體中繼會談系統。
圖2描繪具有根據一項實施例之一MRM之相關元件之一方塊圖。
圖3A係具有實施其中藉由RMRE完成音訊混合之例示性技術及元件之一工作階段壓縮媒體RTP處理器之相關元件之一簡化方塊圖。
圖3B係具有實施其中藉由MRM完成音訊混合之例示性技術及元件之一工作階段壓縮音訊及視訊RTP處理器之相關元件之一簡化方塊圖。
圖4係繪示用於製備用於將一串流之各經接收封包之時戳轉換成MRM時域之參數之一方法之相關動作之一流程圖。
在以下描述中，出於解釋目的，闡述數種特定細節以提供對本發明之一透徹理解。然而，熟習此項技術者將明白，可在沒有此等特定細節之情況下實踐本發明。在其他例項中，以方塊圖形式展示結構及器件以避免模糊本發明。對沒有下標或尾綴之數字之引用應理解為引用對應於經引用數字之下標及尾綴之全部例項。
如本文中所使用，術語「一電腦系統」可係指一單一電腦或一起運作以執行描述為在一電腦系統上執行或藉由一電腦系統執行之功能之複數個電腦。
現轉至其中相同數字在若干視圖中始終表示相同元件之圖式，描述本發明之實施例。為方便起見，僅相同群組之一些元件可用數字標記。圖式之目的係描述實施例且非為了製造。因此，僅為呈現之方 便及清晰起見選取圖式中所展示之特徵。此外，本發明中所使用之語言已經選擇主要用於可讀性及指導目的且並非經選擇以描繪或限制本發明標的，訴諸於決定本發明標的所需之申請專利範圍。
本說明書中對「一項實施例」或「一實施例」之引用意謂結合該等實施例描述之一特定特徵、結構或特性係包含在本發明之至少一項實施例中且對「一項實施例」或「一實施例」之多個引用不應理解為必然全部係指相同實施例。
儘管一些以下描述係寫關於軟體或韌體之方面，然實施例可實施視需要在本文中描述於包含軟體、韌體及硬體之任何組合之軟體、韌體或硬體中之特徵及功能性。在以下描述中，文字「單元」、「元件」、「模組」及「邏輯模組」可交換使用。指定為一單元或模組之任何事物可為一獨立單元或一專用或整合式模組。一單元或一模組可為模組化的或具有允許易於將其移除且用另一類似單元或模組取代其之模組化態樣。各單元或模組可為軟體、硬體及/或韌體之任一者或任何組合，最終導致經程式化以執行歸因於該單元或模組之功能性之一或多個處理器。此外，可藉由一單一處理器實施相同或不同類型之多個模組。一邏輯模組之軟體可體現於一電腦可讀媒體(諸如一讀取/寫入硬碟、CD-ROM、快閃記憶體、ROM或其他記憶體或儲存器等)上。為執行一任務，一軟體程式可視需要載入至一適當處理器。在本發明中，術語任務、方法、程序可交換使用。
圖1繪示根據一項實施例之包括各種新穎電子視訊會談系統之一新穎多媒體中繼會談系統100。系統100可包含一網路110、一或多個中間節點(諸如媒體中繼MCU(MRM)120)及複數個媒體中繼端點(MRE)130。網路110可為(但不限於)：一封包交換網路、一電路交換網路、一IP網路或其等之任何組合。經由網路之多媒體通信可基於通信協定(舉例而言，諸如但不限於H.323或工作階段起始協定(SIP))且 可使用媒體壓縮標準(諸如但不限於：H.263、H.264、G.711、G.719)。在本發明中，術語資料塊及封包可交換使用。邀請希望瞭解更多關於國際電信聯盟(「ITU」)標準之一讀者瀏覽ITU網站：www.itu.int。欲瞭解更多關於SIP，請瀏覽IETF網站：www.ietf.org。
各媒體中繼端點(MRE)130能夠提供即時雙向音訊及/或視覺通信至另一MRE 130或至MRM 120。一MRE可為工作階段中之一與會者之具有自一MRM 120接收經中繼壓縮之媒體(音訊及視訊)及遞送中繼RTP經壓縮音訊及視訊資料塊至該MRM 120之能力之一終端機。中繼上行鏈路(朝向MRM 120)及經中繼下行鏈路(朝向MRE)之經壓縮媒體(音訊或視訊)資料塊可作為RTP經壓縮媒體資料塊發送。該等中繼上行鏈路資料塊可視為對MRM 120之輸入資料塊且經中繼下行鏈路資料塊可視為輸出資料塊。各MRE 130可發送依適當所需位元率或若干位元率及所需壓縮標準之中繼RTP經壓縮音訊資料塊。類似地，各MRE 130可發送依適當所需尺寸或若干尺寸、位元率或若干位元率及所需壓縮標準之中繼RTP經壓縮視訊資料塊。在一些實施例中，各MRE 130可經調適以藉由將其音訊能量指示嵌入於標頭中之一欄位中或中繼RTP經壓縮音訊資料塊之一延伸標頭中而發送該音訊能量之一指示。
各MRE 130可與可攜載於一中繼RTP經壓縮媒體資料塊之一即時傳輸協定(RTP)標頭中之一MRE識別符(ID)相關聯。在一項實施例中，ID可藉由一MRE隨機選擇且藉由MRM 120在驗證其唯一性之後潛在地確認。在另一實施例中，可藉由MRM 120分配ID且將其輸送至相關MRE 130。在一些實施例中，MRE ID可結合一媒體串流類型指示使用，產生識別藉由相關MRE發送之一特定串流之一串流ID。又，在一些實施例中，串流ID可攜載於寫入同步源(SSRC)欄位或RTP之延伸標頭中之一RTP媒體資料塊之一即時傳輸協定(RTP)標頭中。 在另一實施例中，串流ID可攜載於RTP標頭中之參與源ID(CSRC)欄位中。在一替代實施例中，串流ID可寫入各中繼RTP經壓縮媒體資料塊之延伸標頭中。該串流ID可使MRM 120能夠識別一經接收之中繼RTP經壓縮音訊及/或視訊封包之源。
在一替代實施例中，相同MRE 130之中繼RTP經壓縮音訊資料塊及中繼RTP經壓縮視訊資料塊可具有非相關ID。在此一實施例中，其中在MRM 120上接收中繼RTP經壓縮音訊及/或視訊資料塊之IP位址及IP埠可代替一ID號碼用於識別。
在一項實施例中，根據各與會者(MRE 130)之經接收音訊能量，MRM 120可判定哪些與會者將呈現於一工作階段時段中之一CP影像中。例如，可對一未來給定時間段選擇、呈現及聽具有最高音訊能量之MRE 130。MRE 120可進一步判定經顯示之與會者之哪一者將顯示於佈局中之發言者片段中。在一替代實施例中，各MRE 130可判定哪些與會者將呈現於佈局中且在哪一片段中。在此等實施例中，MRE 130使用者可使用一使用者介面方法(諸如但不限於點擊及觀看方法，該方法在美國專利第7,542,068號中所揭示)以選擇經呈現之與會者。
一MRE 130之一些實例可解碼源自選定與會者之經接收中繼之RTP壓縮視訊串流且在適當佈局片段中顯示各影像。MRE 130可解碼源自選定與會者之經接收中繼之RTP壓縮音訊串流，混合該等不同經解碼音訊串流且將該混合音訊傳送至MRE 130揚聲器。在另一方向中，MRE 130可遞送中繼RTP經壓縮音訊及視訊資料塊朝向MRM 120。
MRE 130之其他實例對於接收複數個音訊串流，將其等解碼且混合成一單一串流可遭受缺乏處理能力、缺乏音訊中繼編解碼器之支援或頻寬限制。在此一情況中，例如，自MRM 120發送包含來自最主動發言者之多個音訊串流之混合之一單一經壓縮混合音訊串流係較佳 的，而將選定MRE之視訊串流個別發送至解碼及將該等經解碼串流組成一CP視訊影像之一接收MRE。
在一RMRE 130處，需要同步化音訊及視訊以適當呈現CP視訊影像且同步播放相關音訊串流。在能夠接收複數個音訊串流、將其等解碼及混合之MRE 130之一實施例中，可基於MTSa、MTSv及自MRM 120接收之SR完成自相同TMRE經由該MRM接收之音訊及視訊串流之同步化。儘管使用經操縱時戳，共同RFC 3550技術仍可用於同步化音訊及視訊。
在一些MRC系統中，MRM 120可在混合自複數個TMRE接收之音訊串流之前根據其等之擷取時間對準該等音訊串流。因此，一單一MTSa可反映攜載於藉由MRM 120發送之一經壓縮音訊資料封包中之混合音訊之共同擷取時間。在此一MRC系統中，一RMRE 130可基於MTSv(其寫入於攜載經壓縮視訊串流之一封包之RTP標頭中)連同MTSa(其藉由攜載混合音訊之資料之一封包之RTP標頭攜載)在混合中之各音訊信號與其相關聯視訊串流之間同步化。因此，CP視訊影像中之視訊影像可來自相同共同擷取時間且與音訊混合語音同步。
在此一MRC系統之另一實施例中，可將包含TMRE(其之音訊係包含在音訊混合中)之ID之一列表之額外資訊放置於經壓縮混合之音訊封包之RTP延伸標頭中。基於ID欄位，可選擇一相關經呈現之視訊串流且其MTSv連同共同MTSa可用於同步化自該相關TMRE接收之視訊影像及自相同TMRE接收之當前處於混合音訊中之音訊資料。以一類似方式，混合中之各音訊資料可與其視訊影像語音同步。因此，CP視訊影像中之視訊影像可來自不同擷取時間但其等之各者係與自相同TMRE接收且當前處於音訊混合中之音訊語音同步。
在一些MRC系統中，MRM 120在混合自複數個TMRE接收之音訊串流之前根據其等之擷取時間並不對準該等音訊串流。在此一MRC 系統中，一RMRE 130可基於MTSv(其寫入於攜載經壓縮視訊串流之一封包之RTP標頭中)連同額外資訊(其藉由攜載混合音訊之資料之一封包之RTP延伸標頭攜載)在混合中之各音訊信號與其相關聯視訊串流之間同步化。
該額外資訊可配置於若干對之一列表中。各對可與當前處於藉由該封包攜載之混合音訊資料中之一音訊串流相關聯。各對可包括指示指向起始該音訊之TMRE之一ID之一欄位及指示該音訊之MTSa之一欄位。基於該ID欄位，可選擇一相關經呈現之視訊串流且其MTSv連同MTSa可用於同步化自該相關TMRE接收之視訊影像及自相同TMRE接收之當前處於混合音訊中之音訊資料。以一類似方式，混合中之各音訊資料可與其視訊影像語音同步。因此，CP視訊影像中之視訊影像可來自不同擷取時間但其等之各者係與自相同TMRE接收且當前處於音訊混合中之音訊語音同步。
一MRM 120之一項實施例可進行複數個多媒體多點會議，各涉及複數個MRE 130。此外，一MRM 120之一實例可經組態以根據各與會者及工作階段之當前需要動態地分配及釋放資源。一MRM 120之一實例可具有一集中式架構且可定位於複數個MRE 130之間之網路110之一中間節點中。
MRM 120之一實施例可經組態以參與同步化程序中。此一MRM 120之一實例可藉由一值(分別為△TSv或△TSa)操縱各經接收封包之時戳(TSa或TSv)。在經中繼之RTP壓縮封包標頭中自MRM 120朝向RMRE 130發送之該經操縱時戳(分別為MTSa或MTSv)引起經接收之時戳(A/V)看似好像其等來自MRM 120。因此，在RMRE 130處接收之源自複數個TMRE 130之經中繼串流之各封包之MTSa或MTSv看似源自一單一實體(中間節點(例如，MRM 120))。下文結合圖2、圖3A、圖3B及圖4揭示關於一MRM 120之例示性實施例之更多資訊。
圖2描繪具有一MRM 200之一項實施例之相關元件之一方塊圖。該MRM 200可包含一網路介面模組(NI)220、一或多個工作階段壓縮音訊RTP處理器(SCARP)230、一或多個工作階段壓縮視訊RTP處理器(SCVRP)250及一發信號及控制模組(SCM)240。在一替代實施例中，一MRM 200可包含一或多個SCM 240，各工作階段一個。在一MRM 200之一些實施例中，SCARP 230及SCVRP 250可具有經組態以相對於音訊-視訊同步化操縱相關串流之類似模組。該等模組係稱為工作階段壓縮媒體RTP處理器(SCMRP)且在下文結合圖3A進一步描述。一些SCMRP可經組態以處置攜載壓縮音訊之RTP串流(SCARP 230)且其等之一些可經組態以處置攜載壓縮視訊之RTP串流(SCVRP 250)。為調適SCMRP以處置一媒體類型，可提供一適當經過時間及時戳時脈。
在一替代實施例中，一MRM 200可經組態以遞送經壓縮混合之音訊至複數個RMRE 130。在此一實施例中，可藉由一工作階段壓縮音訊及視訊RTP處理器(SCAVRP)(諸如圖3B中所繪示之一者)提供SCARP 230及視訊SCVRP 250之功能性。
NI 220可經由網路110與複數個視訊會談器件(諸如MRE 130)通信。NI 220可根據一或多個通信標準(諸如但不限於H.323及SIP)剖析該通信。此外，該NI 220可處理通信之實體層、資料鏈路層、網路層及傳輸層(UDP/TCP層)。NI 220可自MRM 200之內部模組及MRE 130或其他節點(圖式中未展示)接收控制及資料資訊且將控制及資料資訊傳輸至MRM 200之內部模組及MRE 130或其他節點(圖式中未展示)。NI 220將在MRE 130與MRM 200之內部模組之間通信之不同信號及串流多工化/解多工。
可經由NI 220將經壓縮音訊之RTP封包及RTCP報告(SR或RR或複合RR/SR)分別傳送至MRE 130及適當SCARP 230且自MRE 130及適當 SCARP 230經由NI 220分別傳送經壓縮音訊之RTP封包及RTCP報告(SR或RR或複合RR/SR)。各SCARP 230可與一會談工作階段相關聯。NI 220可根據MRE 130之封包源及/或目的地IP位址及埠及/或ID判定一MRE 130正參與哪一會談工作階段，因此使該NI 220能夠判定將自MRE 130接收之音訊封包傳送至哪一SCARP 230，且反之亦然。
可經由NI 220將經壓縮視訊之RTP封包及RTCP報告(SR或RR或複合RR/SR)分別傳送至MRE 130及適當SCVRP 250且自MRE 130及適當SCVRP 250經由NI 220分別傳送經壓縮視訊之RTP封包及RTCP報告(SR或RR或複合RR/SR)。各SCVRP 250可與一會談工作階段相關聯。NI 220可根據MRE 130之封包源及/或目的地IP位址及埠及/或ID判定一MRE 130正參與哪一會談工作階段，因此使該NI 220能夠判定應將自一MRE 130接收之視訊封包傳送至之SCVRP 250，且反之亦然。
NI 220亦可將發信號及控制資料傳輸至SCM 240及MRE 130且自SCM 240及MRE 130接收發信號及控制資料。一替代實施例可具有一個以上發信號及控制模組(SCM)240，例如，對各工作階段包含一個發信號及控制模組(SCM)240。
對於MRM 200正處置之各會談工作階段，可分配一SCARP 230以處置工作階段音訊。一SCARP 230可自正參與該工作階段之MRE 130經由NI 220獲得中繼RTP經壓縮音訊資料塊(標頭及酬載)。亦可藉由SCARP 230發送或獲得RTCP SR及RR報告。此外，SCARP 230可自SCM 240經由控制匯流排接收MRM 200經過時間及對音訊串流之MRM 200RTP音訊時脈。對於藉由SCARP 230處置之音訊串流，可分配一或多個計數器以用於產生MRM 200 TSa。MRM 200 RTP音訊時脈可用作一經分配計數器之時脈。一計數器可以一隨機數字起始且可以一循環模式運行。
基於MRM 200經過時間及MRM 200 TSa，一SCARP 230可經組態 以操縱在各RTP封包中接收之音訊時戳。MTSa表示在RMRE 130處之經接收音訊時戳看似來自MRM 200之時序域。因此，來自複數個TMRE 130之經接收串流之各者之各封包之MTSa看似自一單一實體(中間節點(例如，MRM 200))接收。因此，每幾秒(例如，5秒)，一SCARP 230可發送一單一RTCP音訊SR至RMRE之各者，代替發送其中各SR與一TMRE 130有關之複數個SR。
週期性地，例如，每幾十毫秒，SCARP 230可選擇聽到之且因此朝向RMRE 130中繼之音訊塊之一群組中繼RTP壓縮串流。該選擇可基於比較與經接收之串流相關聯之音訊能量或平均能量或基於語音活動偵測(VAD)。替代性地，該選擇可基於自SCM 240接收之一命令。選定之中繼RTP壓縮串流之數目取決於MRE 130之音訊混合能力。在一些實施例中，選定串流之數目可藉由一與會者組態。
SCARP 230亦可選擇TMRE 130之一者作為主要發言者(例如，將顯示於最大佈局片段中之發言者)且相應地將發信號及控制資訊轉送至SCM 240。該主要發言者可為對跨一時間段之一特定百分比之經聽到之串流之選擇間隔具有最高音訊能量及/或VAD指示之發言者。在一替代實施例中，SCARP 230可將關於MRE 130之音訊能量及VAD之資訊轉送至SCM 240。SCM 240將選擇主要發言者及將被聽到(混合)之音訊資料之RTP壓縮串流群組且發送發信號及控制資料至適當SCARP 230及SCVRP 250。在一些實施例中，亦將關於選定群組之與會者及/或主要發言者之資訊傳送至MRE 130。根據自SCM 240發送之發信號及控制資料，SCARP 230可將該選定群組之中繼RTP壓縮音訊塊之TSa操縱成MTSa且經由NI 220將其等作為經中繼壓縮之音訊資料塊中繼至適當RMRE 130。下文結合圖3A揭示關於SCARP 230之一實例之更多資訊。
對於MRM 200正處置之各會談工作階段，可分配一SCVRP 250以 處置工作階段視訊。一SCVRP 250之一實例可自正參與該工作階段之MRE 130經由NI 220獲得中繼RTP經壓縮視訊資料塊(標頭及酬載)。亦可藉由SCVRP 250發送或獲得RTCP SR及RR報告。此外，SCVRP 250可自SCM 240經由控制匯流排接收MRM 200經過時間及對視訊串流之MRM 200 RTP視訊時脈。對於藉由SCVRP 250處置之視訊串流，可分配一計數器以用於產生MRM 200 TSv。MRM 200 RTP視訊時脈可用作一經分配計數器之時脈。一計數器可以一隨機數字起始且可以一循環模式運行。
基於MRM 200經過時間及MRM 200 TSv，一SCVRP 250可經組態以操縱在各RTP封包中接收之視訊時戳。MTSv表示在RMRE 130處之經接收視訊時戳看似來自MRM 200之時序域。因此，來自複數個TMRE 130之經接收串流之各者之各封包之MTSv看似源自一單一實體(中間節點(例如，MRM 200))。因此，每幾秒(例如，每5秒)，一SCVRP 250可發送一單一RTCP視訊SR至RMRE 130之各者，代替發送其中各SR與一TMRE 130有關之複數個SR。
週期性地，例如，每若干秒，SCVRP 250可選擇經呈現之且因此朝向RMRE 130中繼之視訊塊之一群組中繼RTP壓縮串流。該選擇可基於自SCM 240接收之一命令。選定之中繼RTP壓縮串流之數目及對於各RMRE 130之其等之視訊參數可取決於(例如)在該RMRE 130中所使用之CP佈局。下文結合圖3A及圖4揭示關於SCVRP 250及SCARP 230之操作之更多資訊。
MRM之一些實施例可能不具有SCARP 230及SCVRP 250。代替性地，此一MRM可具有一工作階段壓縮音訊及視訊RTP處理器(SCAVRP)300B。此一SCAVRP 300B之音訊部分可經組態以解碼經接收之壓縮音訊串流、分析該等經解碼串流用於判定將選擇哪一與會者作為主要發言者且將選擇在會議中聽到哪些與會者及/或在一CP視訊 佈局中呈現哪些與會者。接著，混合該等選定與會者之經解碼音訊且可將該混合音訊壓縮及嵌入於RTP封包中。下文結合圖3B揭示關於SCAVRP 300B之更多資訊。
SCM 240之一實例可控制MRM 200之全部操作。該SCM 240可起始會談工作階段(預約或即席)且設定與端點之連接。基於一工作階段之需要，SCM 240可判定該工作階段之性質且相應地設定端點。SCM 240亦可分配資源至MRM 200之內部模組且可分配ID號碼至RTP經壓縮音訊/視訊之各串流。
不時地，SCM 240可獲得關於資料塊之各中繼RTP壓縮音訊串流之音訊能量之資訊且相應地選擇待呈現於各端點上之一新的發言者及視訊源。基於該等選擇，將指令給定至SCARP 230及SCVRP 250。SCM 240亦可通知一或多個RMRE 130關於會議發言者、與會者之數目、其等促成之媒體串流及與會者之狀態之變化。
此外，SCM 240可包含可經使用以助於音訊及視訊串流之間之同步化程序之一或多個時序模組。SCM 240之該等時序模組可包括一經過時間、用於音訊串流之一或多個時脈及用於視訊串流之一或多個時脈。該經過時間可以(例如)每秒百萬個脈衝之一速率遞送脈衝。該一或多個音訊時脈可以每秒數千至數萬個脈衝(例如，每秒8,000至64,000個脈衝)之一速率遞送脈衝。該一或多個視訊時脈可以每秒數萬個脈衝(例如，每秒90,000個脈衝)之一速率遞送脈衝。相關時脈脈衝可經由控制匯流排分佈至適當SCARP 230及SCVRP 250。下文結合圖3A、圖3B及圖4揭示關於MRM之更多資訊。
圖3A係具有實施其中藉由RMRE 130完成音訊混合之音訊及視訊同步化之不同實施例之技術及元件之一SCMRP 300A之一實例之相關元件之一簡化方塊圖。SCMRP 300A可經組態以處置音訊串流且作為一SCARP 230。替代性地，例如，SCMRP 300A可經組態以處置視訊 串流且作為一SCVRP 250。SCMRP 300A之一實例可包含一RTP輸入緩衝器310、一RTP標頭剖析器及組織器320、複數個TMRE 130時戳操縱器(TMTM)330A(每個針對自各TMRE 130接收之各媒體串流(音訊或視訊))、一匯流排340、複數個RTP處理器350及一RTCP工作階段管理者(RTCPSM)360A。可藉由SCM 240經由(例如)可為一內部匯流排或一共用記憶體之一控制匯流排365控制SCMRP 300A。SCMRP 300A輸入及輸出媒體可經由一經壓縮RTP媒體資料共同介面(CRMDCI)305連接至NI 220用於接收及傳輸經壓縮音訊或視訊資料塊。CRMDCI 305可為一內部匯流排或一共用記憶體。
各SCMRP 300A可經指派以處置藉由MRM 200處置之一CP會議工作階段之音訊或視訊。一SCMRP 300A RTP輸入緩衝器310可自CRMDCI 305獲得自參與該工作階段中之TMRE 130接收之中繼RTP經壓縮媒體(取決於SCMRP 300A之當前組態為音訊或視訊)資料塊。在一項實施例中，RTP輸入緩衝器310可藉由使用中繼RTP標頭中之ID號碼判定自CRMDCI 305收集哪一中繼RTP經壓縮媒體資料塊。在一替代實施例中，RTP輸入緩衝器310可自NI 220基於經接收之相關封包之源及/或目的地IP位址及埠號碼接收中繼RTP經壓縮媒體資料塊。
一RTP標頭剖析器及組織器320可自RTP媒體輸入緩衝器310提取中繼RTP經壓縮媒體資料塊且剖析該中繼RTP經壓縮資料塊之標頭以用於判定應將所獲得之RTP封包投送至之TMTM 330A。該決定可基於(例如)RTP標頭之ID欄位。此外，可投送自TMRE 130之各者接收之RTCP訊息(諸如SR及RR)朝向RTCPSM 360A。在一些實施例中，亦可將該等RTCP訊息傳送至相關TMTM 330A。
各TMTM 330A可與自一TMRE 130接收之一特定媒體串流相關聯。該媒體取決於SCMRP 300A之當前組態可為音訊或視訊。TMTM 330A之一實例可操縱嵌入於相關經接收媒體串流之各經接收中繼RTP 壓縮媒體資料塊之RTP標頭中之時戳。該操縱將媒體之擷取時間自TMRE 130之時域轉換成MRM 200之時域。
在建置與攜載一新的媒體串流之一TMRE 130之一連接之後，一TMTM 330A可經分配且藉由RTCPSM 360A起始。在起始之後，RTCPSM 360A可將經計算之△TSa或△TSv(分別為音訊或視訊)之值載入至TMTM 330A。在獲得△TSa或△TSv值之後，剖析各經接收中繼RTP經壓縮媒體資料塊之標頭且將TSa或TSv之欄位分別轉換成一經操縱之時戳值(MTSa或MTSv)。將經接收之TSa減去所獲得之△TSa可計算MTSa(MTSa=TSa-△TSa)。將經接收之TSv減去所獲得之△TSv計算MTSv(MTSv=TSv-△TSv)。
可經由一緩衝器朝向匯流排340及自匯流排340至一或多個RTP處理器350傳送具有MTSa或MTSv之中繼RTP經壓縮媒體資料塊。該一或多個RTP處理器350之各者可與需要混合及播放經中繼之音訊及/或視訊串流之一或多個RMRE 130相關聯。匯流排340可為一共用記憶體，其中各TMTM 330A可經組態以在一循環模式中之位址之一特定間隔中儲存具有MTSa或MTSv之經操縱之中繼RTP經壓縮媒體資料塊。以一類似方式，可通知各RTP處理器350關於經分配至TMTM 330A之各者之位址間隔且相應地可選擇及提取適當經操縱之媒體串流。
在SCMRP 300之其他實施例中，匯流排340可為(例如)一TDM匯流排。在此實施例中，各TMTM 330A可經組態以在一特定時槽中將經操縱之中繼RTP經壓縮媒體資料塊傳送至匯流排340。以一類似方式，可通知RTP處理器350之各者關於經分配至TMTM 330A之各者之時槽且相應地可選擇及提取適當經操縱之媒體串流。
各RTP處理器350可指派至一或多個RMRE 130。一RTP處理器350可包括一多工器/選擇器352及一RTP媒體輸出FIFO 354。該多工器/選 擇器352可藉由選擇經由匯流排340之一或多個TMTM 330A之輸出而選擇經操縱壓縮之媒體中繼資料塊之一或多個串流之一群組。該群組選擇可基於自RTCPSM 360A接收之控制信號。在一些實施例中，該選擇可基於工作階段中之當前活動。可在使用或不使用一VAD指示之情況下基於各TMRE 130之音訊能量判定該當前活動。替代性地，該選擇可基於獨立於其等之當前活動之一或多個特定源之使用者選擇。該等選定TMTM 330A之數目可取決於(例如)：RMRE 130對音訊串流之混合能力；對於視訊串流之呈現於該RMRE 130中之CP影像之當前所使用之佈局；或一與會者之指令。通常，對一MRE 130之選定源群組並不包含其自身媒體串流。在一替代實施例中，多工器/選擇器352可自相關RMRE 130接收關於選擇哪些TMRE 130之控制信號。此外，該多工器/選擇器352可不時根據會議中之即時變化而改變其輸入選擇。
可將經轉換之中繼RTP經壓縮媒體資料塊(具有MTSa或MTSv)之選定串流多工化成一經中繼之RTP經壓縮媒體資料串流，該經中繼之RTP經壓縮媒體資料串流係經發送至RTP媒體輸出FIFO 354且自該RTP媒體輸出FIFO 354經由CRMDCI 305及NI 220朝向適當一或多個RMRE 130傳輸。自RTP處理器350經由CRMDCI 305傳輸之該等經傳輸中繼之RTP壓縮媒體資料塊之各者具有表示在MRM 200之時域中媒體(音訊或視訊)之擷取時間之一經操縱之時戳(MTSa或MTSv)。
RTP處理器350之一替代實施例(圖式中未展示)可包含一群組選擇器。各選擇器連接至匯流排340且可選擇TMTM 330A之一者之輸出。該選擇器之另一埠可經由一FIFO連接至CRMDCI 305。在此實施例中，發送作為複數個經中繼之RTP壓縮媒體資料塊串流之選定媒體串流朝向MRE。
在一替代實施例中，一RTP處理器350可用於伺服參與一會議工 作階段中之一群組與會者，其中全部相關RMRE 130將接收經中繼之RTP壓縮媒體資料塊串流之相同選擇。
在一多媒體會談工作階段之建置階段期間，SCM 240可分配SCMRP 300A之資源且起始RTCPSM 360A。RTCPSM 360A之一實施例可管理SCMRP 300A之操作。RTCPSM 360A可執行一RTCP管理者之共同操作，諸如發送及接收RTCP訊息(例如，SR、RR)。該共同操作為此項技術所熟知且不將進一步揭示。在起始之後，SCM 240可經由控制匯流排365投送經過時間及媒體時脈(音訊或視訊)之一或多個時脈脈衝朝向相關RTCPSM 360A。該經過時間脈衝可處於(例如)每秒百萬個脈衝之一速率。該一或多個音訊時脈脈衝可處於每秒數千個脈衝(例如，每秒8,000至64,000個脈衝)之一速率。該一或多個視訊時脈脈衝可處於每秒數萬個脈衝(例如，每秒50,000至150,000個脈衝)之一速率。在替代實施例中，RTCPSM 360A可包括對各媒體之一或多個脈衝產生器。
對於加入工作階段之一與會者之各新的媒體(音訊或視訊)串流，分配一TMTM 330A。此外，RTCPSM 360A可起始下文結合圖4揭示之新串流調適程序400。該新串流調適程序係用於判定對具有一適當速率之該串流(音訊或視訊)相關之△TSa或△TSv之值。該時脈速率匹配用於經接收串流之RTP時脈速率。將該經計算之△TSa或△TSv之值載入於適當TMTM 330A中。在一SCMRP 300A之一些實施例中，RTCPSM 360A可經組態以週期性地(例如，每幾十分鐘)執行方法400以調整該經計算之△TSa或△TSv以(例如)固定補償時脈漂移。
RTCPSM 360A之一實施例可包括複數個計數器。可指派一計數器以監測對該SCMRP 300A之媒體類型之經過時間。可指派其他計數器以遞送TSa或TSv。可在適當時間取樣該等計數器以遞送具有<A TS_REF>(音訊TS參考值)之<A WC_REF>(音訊經過時間參考值)及具 有<V TS_REF>(視訊TS參考值)之<V WC_REF>(視訊經過時間參考值)之值之該等對。下文結合圖4揭示關於RTCPSM 360A之操作之更多資訊。
圖3B係具有實施其中藉由MRM 120完成音訊混合之音訊及視訊同步化之不同實施例之技術及元件之一工作階段壓縮音訊及視訊RTP處理器(SCAVRP)300B之一實例之相關元件之一簡化方塊圖。SCAVRP 300B可遞送藉由一RMRE 130組成及顯示之視訊串流及藉由RMRE 130播放之混合音訊資料。SCAVRP 300B啟用源自呈現於一CP佈局中之一TMRE 130之視訊與源自相同TMRE 130之音訊(若包含在混合音訊中)之間之同步化。
一SCAVRP 300B可包含一RTP輸入緩衝器312、一RTP標頭剖析器及組織器322、複數個視訊TMRE時戳操縱器(VTMTM)330B(自各TMRE 130接收之每個視訊串流一個視訊TMRE時戳操縱器(VTMTM)330B)、一匯流排340、複數個RMRE RTP處理器350及一RTCP工作階段管理者(RTCPSM)360B。此外，一SCAVRP 300B可包括複數個音訊TMRE時戳操縱器(ATMTM)370(自各TMRE 130接收之每個音訊串流針對一個)、一舊型音訊處理器372及一或多個RMRE音訊RTP輸出處理器(RAROP)374。各RAROP 374可與一或多個RMRE 130相關聯。
該複數個VTMTM 330B、匯流排340及該複數個RMRE RTP處理器350之元件可經組態以執行類似於已經組態以處置視訊串流之SCMRP 300A(圖3A)之相關元件之功能性且因此將不進一步論述。
RTP輸入緩衝器312及RTP標頭剖析器及組織器322之實施例以類似於SCMRP 300A之對應元件(分別為310及320)之一方式處置攜載經壓縮視訊及音訊之RTP封包。一例示性RTP輸入緩衝器312可自CRMDCI 305獲得自參與工作階段中之TMRE 130接收之中繼RTP經壓縮音訊或視訊資料塊。該RTP輸入緩衝器312可(例如)藉由使用中繼 RTP標頭中之ID號碼判定自CRMDCI 305收集哪些中繼RTP經壓縮媒體資料塊。在一替代實施例中，RTP輸入緩衝器312可自NI 220基於經接收之相關封包之源及/或目的地IP位址及埠號碼接收中繼RTP經壓縮媒體資料塊。
RTP標頭剖析器及組織器322之一實施例可自RTP媒體輸入緩衝器312提取中繼RTP經壓縮媒體資料塊且剖析該中繼RTP經壓縮資料塊之標頭以用於判定將所獲得之RTP封包投送至哪一ATMTM 370或VTMTM 330B。該決定可基於(例如)媒體(音訊或視訊)之類型及/或RTP標頭之ID欄位。此外，可投送自TMRE之各者接收之RTCP訊息(諸如SR及RR)朝向RTCPSM 360B。在一些實施例中，亦可將該等RTCP訊息傳送至相關VTMTM 330B或ATMTM 370。
各ATMTM 370可與自一TMRE 130接收之一特定音訊串流相關聯。一ATMTM 370可將嵌入於相關經接收音訊串流之各經接收中繼RTP經壓縮音訊資料塊之RTP標頭中之TSa操縱成該資料塊之MTSa。該操縱將音訊之擷取時間自TMRE之時域轉換成MRM之時域。ATMTM 370及VTMTM 330B之時戳處置已在上文關於在圖3A中之TMTM 330A而揭示且將不進一步描述。
在MRM 120之一可能實施例中，各經接收之RTP壓縮音訊資料塊之MTSa以及相關串流ID可儲存於一記憶體器件中且對該記憶體器件之相關位址之一指標可沿著解碼、混合及壓縮動作作為後設資料與該音訊資料塊相關聯。
可傳送與來自各ATMTM 370之RTP封包之酬載(經壓縮音訊)相關聯之MTSa及串流ID朝向舊型音訊處理器372。在該舊型音訊處理器372中，可藉由一相關聯解碼器解碼來自複數個ATMTM 370之複數個酬載之各壓縮音訊串流。可分析各串流之經解碼音訊以選擇：待混合之兩個或兩個以上音訊串流；待呈現於下一CP視訊影像中之TMRE 130；及將作為當前發言者而呈現之與會者。可傳送該等選定串流之ID朝向RTCPSM 360B。複數個音訊串流之音訊解碼及音訊分析之技術為視訊會談之此項技術所熟知且將不進一步描述。
接著，可將該等選定串流混合成一混合音訊。可將該混合音訊壓縮成經壓縮混合音訊塊。可製備若干對之一列表。各對可包括其音訊包含在經壓縮混合之音訊資料塊中之一選定音訊串流之ID及藉由相關ATMTM 370計算之與該選定音訊資料塊相關之MTSa。若干對(ID、MTSa)之該列表可與經壓縮混合之音訊塊相關聯且一起傳送朝向一或多個RAROP 374。
可將各RAROP 374指派至一或多個RMRE 130。在一項實施例中，一RAROP 374可將所獲得之經壓縮混合音訊塊轉換成一RTP封包之一酬載且增加對應於相關聯之一或多個RMRE 130之相關RTP標頭。此外，可將反映混合於該經壓縮混合音訊塊中之複數個資料串流之各者之該等串流ID及MTSa對之列表增加至RTP標頭之延伸中之適當欄位。接著，可經由CRMDCI 305及NI 220傳輸該經壓縮混合音訊塊及延伸RTP標頭朝向適當一或多個RMRE 130。如本文中所使用，術語一組、一群組、一雙或一對之一音訊串流ID及一MTSa可交換使用。
在RAROP 374之一些實施例中，可將若干對之列表劃分成兩個列表。一第一列表可包括促成混合音訊之TMRE 130之ID。第二列表可為其等之酬載包含在該混合中之音訊封包之MTSa之一匹配列表。在RAROP 374之一替代實施例中，可以一緊湊方式將MTSa之列表表示為來自一共同MTSa之差量。因此，需要較少位元以呈現MTSa值之列表。
在舊型音訊處理器372之另一實施例中，在混合經解碼之音訊串流之前可根據其等之MTSa(反映在MRM時域中其等之擷取時間)組織 其等。在此等實施例中，可消除若干對之該列表且藉由單一MTSa取代其，該單一MTSa現表示包含在混合中之串流之經操縱擷取時間。在此實施例中，SCAVRP 300B啟用源自呈現於一CP佈局中之任何TMRE之視訊與該混合音訊(無論其音訊是否包含在該混合音訊中)之間之同步化。
圖4繪示具有用於製備為將一串流之各經接收封包之時戳轉換成MRM 200時域所需之參數之一方法400之一實施例之相關動作之一流程圖。該等參數可包括MRM 200之經過時間(其係相關於該串流(音訊、視訊等))與RTCP訊息中與該串流有關之一經過時間之間之差異；另一參數可為時戳差量(△TSa/v)。在傳輸作為一經中繼封包之封包朝向一RMRE 130之前，該時戳差量可用於在MRM 200處將該串流之各經接收封包之TSa/v轉換成MRM 200之時域。可在建置用於攜載一新的媒體串流之一RTP連接及相關RTCP連接結束時起始402程序400。在SCMRP 300A之一些實施例中，可在分配該TMTM 330A及將適當△TS值投送至該TMTM 330A之後針對各TMTM 330A藉由RTCPSM 360A實施程序400。在一些實施例中，可在方塊402中針對各運行TMTM 330A週期性地(例如，每幾分鐘)起始程序400以補償時脈漂移。
以下段落描述可藉由一SCMRP 300A之元件實施之一例示性程序400。可藉由一SCAVRP 300B之元件實施具有少許調適之一類似程序。該調適可包含藉由SCAVRP 300B之對應元件執行程序400之類似方塊。為簡化描述，關於調適程序400以藉由SCAVRP 300B實施將藉由註解僅詳細描述藉由SCMRP 300A實施之程序400之一項實施例。
可在建置用於攜載一新的媒體串流之一RTP連接及相關RTCP連接結束時起始402程序400。在SCMRP 300A之一些實施例中，針對各TMTM 330A可藉由RTCPSM 360A實施程序400以用於對該TMTM 330A製備適當△TS值。以一類似方式，對於每個VTMTM 330B及每個ATMTM 370可藉由RTCPSM 360B執行藉由SCAVRP 300B實施之程序400之一實施例。在一些實施例中，可在方塊402中針對各運行TMTM 330A週期性地(例如，每幾分鐘)起始程序400以補償時脈漂移。
在方塊402中起始之後，一RTCPSM 360A或360B可在方塊404中經由RTCP連接發送與該媒體串流(音訊或視訊)有關之一發送者報告(SR)朝向起始該串流之TMRE 130且等待自該TMRE 130接收一接收者報告(RR)。可剖析該經接收RR且可在方塊410中檢查該經接收RR中之LSR欄位之值。若該LSR欄位之值不為零，則程序400可進行至方塊412。若在方塊410中該LSR值等於零，則程序400返回至方塊404且發送另一SR。自藉由MRM 200發送且藉由該TMRE 130接收之最近SR中之WC欄位導出該RR中之LSR欄位。
在方塊412處可計算與該串流有關之往返時間(RTT)之值。方法400之一實例可藉由使用以下各者計算RTT：(a)當在MRM 200處接收RR時MRM 200相關經過時間(A/V)之值。此值對於一視訊串流可稱為<V RR local Receive time>且對於一音訊串流稱為<A RR local Receive time>；(b)在經接收RR中之DLSR欄位之值，其表示在TMRE 130處從自MRM 200接收最近SR之時間至TMRE 130發送該RR之時間之延遲。此值對於一視訊串流可稱為<V RR：DLSR>且對於一音訊串流可稱為<A RR：DLSR>；及(c)自藉由MRM 200發送且藉由該TMRE 130接收之最近SR中之WC欄位導出經接收RR中之LSR欄位之值。此值對於一視訊串流可稱為<V RR：LSR>且對於一音訊串流可稱為<A RR：LSR>。
用於對一視訊串流計算RTT值(RTTv)之一例示性公式可為： RTTv=〈V RR local Receive time〉-〈V RR：DLSR〉-〈V RR：LSR〉
以一類似方式，用於對一音訊串流計算RTT值(RTTa)之一例示性公式可為：RTTa=〈A RR local Receive time〉-〈A RR：DLSR〉-〈A RR：LSR〉
在方塊412中對相關串流計算RTT之後，方法400可在方塊420中等待以接收自TMRE 130經由相關RTCP連接發送之一SR。可藉由RTCPSM 360A或360B剖析該經接收SR且可擷取在經接收SR中之TMRE 130經過時間欄位之值。基於該經計算之RTT及該經擷取之經過時間值以及MRM 200經過時間值，可在方塊422中計算介於MRM 200經過時間與TMRE 130經過時間之間之與該串流有關之經過時間差異(WC_DIFF)。方法400之一實例可藉由使用以下各者估計該串流之WC_DIFF：(a)在經接收SR中之經過時間欄位之值。WC欄位表示在發送SR之時刻在發送該SR之TMRE 130處之經過時間之值。此值對於一視訊串流可稱為：<V SR：WC>且對於一音訊串流可稱為：<A SR：WC>；(b)在藉由RTCPSM 360A或360B接收SR之時刻在MRM 200中之經過時間之值。此值對於一視訊串流可稱為：<V SR local receive time>；對於一音訊串流該值可稱為：<A SR local receive time>；及(c)在方塊412處計算之相關RTT之經估計值。
用於估計一視訊串流之值WC_DIFF(WC_DIFFv)之一例示性公式可為：(WC_DIFF v )=〈V SR：WC〉+0.5×RTTv-〈V SR local receive time〉
以一類似方式，用於估計一音訊串流之WC_DIFF值(WC_DIFFa)之一例示性公式可為：(WC_DIFF a )=〈A SR：WC〉+0.5×RTTa-〈A SR local receive time〉
使用RTT之一半可能非精確地表示上行鏈路行進時間，此係因為可能未在上行鏈路與下行鏈路之間對稱地劃分該RTT。因此，RTT之一半僅係實際上行鏈路行進時間之一估計。然而，其並不影響RMRE 130之同步化來自相同TMRE 130之不同串流之能力，此係因為其將類似地影響該等串流(音訊及視訊)之各者之△TS。
在一些實施例中，對於音訊或視訊之經估計之第一WC_DIFF可定義為介於相關TMRE 130與MRM 200之間之WC_DIFF。此WC_DIFF值可用於對藉由TMRE 130產生之串流之各者計算△TS。
在其他實施例中，選定之WC_DIFF可為對來自該TMRE 130之全部串流所估計之最小WC_DIFF。
接著，在方塊424可計算可用於將攜載該串流之中繼媒體之各經接收封包之TS轉換成MRM 200時域之一不同值(△TS)。計算該△TS值可基於對WC_DIFF之估計及自在方塊420中接收之SR擷取之參數。方法400之一實例可藉由使用以下各者估計該串流之△TS：
(a)在經接收SR中之經過時間欄位之值，對於一視訊串流為<V SR：WC>且對於一音訊串流為<A SR：WC>；
(b)在方塊422處計算之與該TMRE 130有關之WC_DIFF之經估計值；
(c)在一特定時刻(例如，在計算△TS時)在RTCPSM 360A或360B中之經過時間之值。此值對於一視訊串流可稱為：<V WC_REF>且對於一音訊串流可稱為：<A WC_REF>。
(d)在相同特定時刻(例如，在計算△TS時)在RTCPSM 360A中之相關TS計數器之值。此值對於一視訊串流可稱為：<V TS_REF>且對於一音訊串流可稱為：<A TS_REF>。
(e)在經接收SR中之TS欄位之值。該TS欄位表示在發送SR之時刻在發送該SR之TMRE 130處之TS之值。此值對於一視訊串流可稱 為：<V SR：TS>且對於一音訊串流可稱為：<A SR：TS>；及
(f)時戳時脈速率(TS_CLOCK)。此值可與該串流之酬載類型有關。對於一視訊串流之TS_CLOCK之一例示性值可在數萬之範圍中(例如，90,000)。對於一音訊串流之TS_CLOCK之一例示性值可在數千之範圍中(例如，8,000)。
用於對一視訊串流計算值△TS(△TSv)之一例示性公式可為：△TSv=(〈V SR：WC〉-WC_DIFF-〈V WC_REF〉)×TS_CLOCK_v+〈V TS_REF〉-〈V SR：TS〉
以一類似方式，用於對一音訊串流計算△TS值(△TSa)之一例示性公式可為：△TSa=(〈A SR：WC〉-WC_DIFF-〈A WC_REF〉)×TS_CLOCK_a+〈A TS_REF〉-〈A SR：TS〉
RTCPSM 360A或360B之其他實施例可使用其他公式以將經接收封包之TS轉換成MRM 200時域。例如，一些實施例可對MRE 130及MRM 120兩者使用NTP同步化協定。此等實施例可使用用於分別對視訊及音訊計算△TS值之以下公式△TSv=(〈V SR：WC〉-〈V WC_REF〉)×TS_CLOCK_v+〈V TS_REF〉-〈V SR：TS〉
△TSa=(〈A SR：WC〉-〈A WC_REF〉)×TS_CLOCK_a+〈A TS_REF〉-〈A SR：TS〉
在對一串流計算WC_DIFF及△TS值之後，可在方塊426中更新一工作階段表(ST)。若針對一新的串流執行程序400，則該更新可包含在ST中對該新的串流分配一新的項目且儲存該項目中之WC_DIFF及△TS之經估計值。若執行程序400以用於更新一主動串流之值，則該更新可包含用WC_DIFF及△TS之當前經估計值取代寫入於相關項目中之WC_DIFF及△TS之先前值。此外，可藉由RTCPSM 360A將當前經估計WC_DIFF及△TS傳送至相關TMTM 330A且可終止方法400。替代性地，可將當前經估計WC_DIFF及△TS傳送至RTCPSM 360B之對應 VTMTM 330B或ATMTM 370。
在一項實施例中，一RTCPSM 360A或360B可並行執行複數個程序400，一個程序400針對自參與工作階段中之MRE 130傳輸之各串流。
以上描述意指闡釋性且非限制性。例如，上文所描述之實施例可互相結合而使用。熟習此項技術者在檢視上文描述之後將明白許多其他實施例。因此，本發明之範疇應參考隨附申請專利範圍以及此等申請專利範圍所及之等效物之完整範疇而決定。在隨附申請專利範圍中，術語「包含」及「其中」係相當於普通英語中之各自術語「包括」及「其中」。
400‧‧‧新串流調適程序/方法
402‧‧‧方塊
404‧‧‧方塊
410‧‧‧方塊
412‧‧‧方塊
420‧‧‧方塊
422‧‧‧方塊
424‧‧‧方塊
426‧‧‧方塊

Claims (31)

  1. 一種方法，其包括：在以通信方式耦合於複數個媒體中繼端點之間之一中間器件處自該複數個媒體中繼端點接收複數個輸入串流，其中各串流包括輸入資料塊；剖析該等輸入資料塊；及將各輸入資料塊之一時戳欄位轉換成反映一單一時域之一經操縱時戳。
  2. 如請求項1之方法，其進一步包括：產生輸出資料塊，各輸出資料塊與一相關經操縱時戳相關聯；將來自該複數個媒體中繼端點之一子集之該等輸出資料塊組織成一或多個輸出串流；及中繼該一或多個輸出串流朝向一接收媒體中繼端點。
  3. 如請求項2之方法，其進一步包括：藉由該接收媒體中繼端點將該一或多個輸出串流解譯為使用一單一時域所產生。
  4. 如請求項2之方法，其中組織該等輸出資料塊包括：將該經操縱時戳寫入於該一或多個輸出串流之該對應輸出資料塊之一時戳欄位中。
  5. 如請求項4之方法，其中該一或多個輸出串流包括一視訊串流及一音訊串流，及其中可用該經操縱時戳而使該視訊串流及該音訊串流同步化。
  6. 如請求項1之方法，其中該複數個輸入串流包括複數個視訊串 流，該方法進一步包括：將該複數個輸入串流組織成經組態以組成一連續存在視訊影像之一或多個輸出視訊串流。
  7. 如請求項1之方法，其中該複數個輸入串流包括複數個音訊串流，該方法進一步包括：將該複數個音訊串流組織成可混合成一混合音訊串流之一或多個輸出音訊串流。
  8. 如請求項1之方法，其中該單一時域係該中間器件之一時域。
  9. 如請求項1之方法，其中該中間器件係一媒體中繼多點控制單元。
  10. 如請求項1之方法，其進一步包括：計算對應於各輸入串流之一參數以用於將該等輸入資料塊之該時戳欄位轉換成該單一時域。
  11. 如請求項10之方法，其中計算該參數包括：估計該輸入串流之一傳輸媒體中繼端點之一時脈與該中間器件之一時脈之間之一差異；及依據該經估計差異、與該輸入串流相關聯之一時戳時脈速率、在對應於該輸入串流之一發送者報告中之一時脈欄位及一時戳欄位、該中間器件之一時脈值及該中間器件之一時戳值來判定該參數，其中同時獲得該中間器件之該時脈值及該中間器件之該時戳值。
  12. 如請求項10之方法，其中轉換該時戳欄位包括藉由對應於該輸入串流之該參數修改該等輸入資料塊之該時戳欄位。
  13. 如請求項1之方法，其進一步包括：將該等輸出資料塊組合成一單一輸出串流。
  14. 如請求項1之方法，其進一步包括：將表示該單一時域之每媒體類型之一單一發送者報告自該中間器件發送至各接收媒體中繼端點。
  15. 如請求項1之方法，其進一步包括：將來自該複數個媒體中繼端點之一子集之該等輸出資料塊組織成一或多個輸出串流；及藉由該接收媒體中繼端點將該一或多個輸出串流組合成一連續存在視訊影像。
  16. 如請求項1之方法，其中該複數個輸入串流包括複數個輸入音訊串流，該方法進一步包括：使一輸入音訊資料塊之該經操縱時戳之該值與攜載該輸入音訊資料塊之該輸入串流之一識別符相關聯；將經接收輸入音訊資料串流解碼成經解碼音訊串流；選擇兩個或兩個以上經解碼音訊串流且將其等混合成一混合音訊串流；將該混合音訊串流壓縮成一輸出混合音訊串流；將該輸出混合音訊串流組織成輸出混合音訊資料塊之一串流；及傳送輸出混合音訊資料塊之該串流朝向一接收媒體中繼端點，其中解碼、選擇、壓縮及組織之該等動作保持該等輸出混合音訊資料塊、該等對應經操縱時戳與該等串流識別符之間之一關聯。
  17. 如請求項16之方法，其中組織之該動作包括：操縱該等輸出混合音訊資料塊之各者以包含與嵌入於該混合中之輸入資料塊之該一或多個串流識別符及該一或多個經操縱 時戳有關之資訊。
  18. 如請求項16之方法，其中該相關聯之動作包括：在混合該等輸入資料塊之前根據其等之經操縱時戳在該中間器件處對準該等輸入資料塊，及其中該組織之動作包括：插入該等經操縱時戳作為該等輸出混合音訊資料塊之該經操縱時戳。
  19. 一種媒體中繼多點控制器，其包括：一發信號及控制模組，其經組態以選擇複數個傳輸媒體中繼端點之一或多個傳輸媒體中繼端點；及藉由該發信號及控制模組控制之一壓縮媒體處理器，其經組態以：剖析對應於複數個輸入串流之輸入資料塊；及將該等輸入資料塊之一時戳欄位自一經接收時戳值轉換成反映一單一時域之一經操縱時戳值。
  20. 如請求項19之媒體中繼多點控制器，其中該壓縮媒體處理器進一步經組態以：將來自選定傳輸媒體中繼端點之該等輸入資料塊組織成一或多個輸出串流，其中各輸出串流之各資料塊係與一對應經操縱時戳相關聯；及傳送該一或多個輸出串流朝向一接收媒體中繼端點。
  21. 如請求項20之媒體中繼多點控制器，其中該一或多個輸出串流包括一視訊串流及一音訊串流，及其中藉由該接收媒體中繼端點使用該時戳欄位以用於同步化該視訊串流與該音訊串流。
  22. 如請求項20之媒體中繼多點控制器，其中該壓縮媒體處理器經組態以經由介於該媒體中繼多點控制器與該接收媒體中繼端點之間之一單一即時協定連接傳送該一或多個輸出串流朝向一接收媒體中繼端點。
  23. 如請求項19之媒體中繼多點控制器，其中該複數個輸入串流包括複數個視訊串流。
  24. 如請求項19之媒體中繼多點控制器，其中該複數個輸入串流包括複數個音訊串流。
  25. 如請求項19之媒體中繼多點控制器，其中該單一時域係與該媒體中繼多點控制器相關聯。
  26. 如請求項19之媒體中繼多點控制器，其中該壓縮媒體處理器進一步經組態以：對該複數個輸入串流之各輸入串流計算一參數以用於轉換含在該輸入串流中之各輸入資料塊之該等時戳欄位。
  27. 如請求項26之媒體中繼多點控制器，其中該壓縮媒體處理器經組態以藉由經組態以進行以下各者而對一輸入串流計算該參數：估計各傳輸媒體中繼端點之一經過時間與該媒體中繼多點控制器之一經過時間之間之一差異；及依據該經估計差異、用於該輸入串流之一時戳時脈速率、在對應於該輸入串流之一發送者報告中之一經過時間欄位及一時戳欄位之一值及該媒體中繼多點控制器之一相關媒體時脈之該經過時間值及一時戳值來判定該參數，其中同時獲得該媒體中繼多點控制器之相關媒體時脈之該經過時間值及該時戳值。
  28. 如請求項26之媒體中繼多點控制器，其中該壓縮媒體處理器經 組態以藉由經組態以進行以下各者而轉換該時戳欄位：藉由該對應輸入串流之該參數調整該時戳欄位。
  29. 如請求項19之媒體中繼多點控制器，其中該壓縮媒體處理器進一步經組態以將表示該單一時域之每媒體類型之一單一發送者報告發送至各接收媒體中繼端點。
  30. 如請求項19之媒體中繼多點控制器，其中複數個輸入串流包括複數個輸入音訊串流，及其中該壓縮媒體處理器進一步經組態以：使輸入音訊資料塊之該經操縱時戳值與攜載該輸入音訊資料塊之該串流之一識別符相關聯；將所獲得之輸入音訊資料串流解碼成經解碼音訊串流；選擇複數個該等經解碼音訊串流且將其等混合成一混合音訊串流；將該混合音訊串流壓縮成經壓縮混合音訊之一串流；將經壓縮混合音訊之該串流組織成輸出音訊資料塊之一串流；傳送輸出音訊資料塊之該串流朝向一接收媒體中繼端點；及保持該等輸出音訊資料塊、該等對應經操縱時戳值與該等串流識別符之間之一關聯。
  31. 如請求項30之媒體中繼多點控制器，其中該壓縮媒體處理器進一步經組態以：增加與該串流識別符及該經操縱時戳有關之資訊至各相關輸出音訊資料塊。
TW102139616A 2012-11-01 2013-10-31 用於在媒體中繼會談中同步化音訊及視訊串流之方法及系統 TWI568230B (zh)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US201261721137P 2012-11-01 2012-11-01

Publications (2)

Publication Number Publication Date
TW201433129A true TW201433129A (zh) 2014-08-16
TWI568230B TWI568230B (zh) 2017-01-21

Family

ID=49517294

Family Applications (1)

Application Number Title Priority Date Filing Date
TW102139616A TWI568230B (zh) 2012-11-01 2013-10-31 用於在媒體中繼會談中同步化音訊及視訊串流之方法及系統

Country Status (5)

Country Link
US (1) US9426423B2 (zh)
EP (1) EP2728830B1 (zh)
JP (1) JP2014112826A (zh)
CN (1) CN103945166B (zh)
TW (1) TWI568230B (zh)

Families Citing this family (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10750327B2 (en) * 2004-11-23 2020-08-18 Kodiak Networks Inc Method for multiplexing media streams to optimize network resource usage for push-to-talk-over-cellular service
US9225938B2 (en) * 2011-06-16 2015-12-29 Starleaf Ltd Video conferencing systems
US9432624B2 (en) * 2014-01-03 2016-08-30 Clearone Communications Hong Kong Ltd. Method for improving an MCU's performance using common properties of the H.264 codec standard
US10555030B2 (en) * 2014-01-08 2020-02-04 Samsung Electronics Co., Ltd. Method and apparatus for reproducing multimedia data
US10582461B2 (en) 2014-02-21 2020-03-03 Summit Wireless Technologies, Inc. Software based audio timing and synchronization
US10602468B2 (en) * 2014-02-21 2020-03-24 Summit Wireless Technologies, Inc. Software based audio timing and synchronization
US9723580B2 (en) * 2014-02-21 2017-08-01 Summit Semiconductor Llc Synchronization of audio channel timing
US9736806B2 (en) * 2014-02-28 2017-08-15 Qualcomm Incorporated Apparatuses and methods for wireless synchronization of multiple multimedia devices using a common timing framework
TWI548278B (zh) * 2014-03-25 2016-09-01 鴻海精密工業股份有限公司 音視訊同步控制設備及方法
US9553713B2 (en) * 2014-04-30 2017-01-24 Harman International Industries, Inc. Method and system for transmitting clock reference streams with timestamps directly to audio/video end nodes in an audio/video bridging network
KR102358691B1 (ko) 2015-10-30 2022-02-07 삼성전자주식회사 저장 장치의 요청 방법 및 호스트의 커맨드 발행 방법
CN105743806B (zh) * 2016-04-19 2019-02-26 浙江万朋教育科技股份有限公司 用于tcp协议的基于能量阈值的语音缓冲丢包处理方法
US10027725B2 (en) * 2016-06-13 2018-07-17 Polycom, Inc. System and method for cascaded peer-2-peer video conferences
WO2018072098A1 (zh) * 2016-10-18 2018-04-26 深圳市福斯康姆智能科技有限公司 一种音视频同步方法和装置
US10587842B1 (en) 2016-11-18 2020-03-10 Ale International Videoconference server, client device, videoconference system and method
CN109842795B (zh) * 2019-02-28 2020-08-11 苏州科达科技股份有限公司 音视频同步性能测试方法、装置、电子设备、存储介质
CN110650353B (zh) * 2019-09-25 2020-12-04 广州华多网络科技有限公司 多人连麦混画方法及装置、存储介质及电子设备
EP4195678A4 (en) * 2020-08-10 2024-04-24 Beijing Xiaomi Mobile Software Co., Ltd. METHOD AND DEVICE FOR MULTIMODAL DATA TRANSMISSION AND METHOD AND DEVICE FOR MULTIMODAL DATA PROCESSING
CN114845080A (zh) * 2021-02-01 2022-08-02 中国移动通信有限公司研究院 服务管理方法、mcu、mrc和mcu视频会议系统

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5963547A (en) * 1996-09-18 1999-10-05 Videoserver, Inc. Method and apparatus for centralized multipoint conferencing in a packet network
US6269122B1 (en) * 1998-01-02 2001-07-31 Intel Corporation Synchronization of related audio and video streams
US7542068B2 (en) 2000-01-13 2009-06-02 Polycom, Inc. Method and system for controlling multimedia video communication
JP4228505B2 (ja) 2000-03-17 2009-02-25 ソニー株式会社 データ伝送方法およびデータ伝送システム
US6674459B2 (en) * 2001-10-24 2004-01-06 Microsoft Corporation Network conference recording system and method including post-conference processing
US7084898B1 (en) * 2003-11-18 2006-08-01 Cisco Technology, Inc. System and method for providing video conferencing synchronization
US7664057B1 (en) * 2004-07-13 2010-02-16 Cisco Technology, Inc. Audio-to-video synchronization system and method for packet-based network video conferencing
US8228363B2 (en) * 2009-01-30 2012-07-24 Polycom, Inc. Method and system for conducting continuous presence conferences
US8760492B2 (en) 2009-01-30 2014-06-24 Polycom, Inc. Method and system for switching between video streams in a continuous presence conference
US20120210458A9 (en) 2009-02-27 2012-08-16 Yongwei Cao Isolated Novel Nucleic Acid and Protein Molecules from Corn and Methods of Using Thereof
CN101790072A (zh) * 2010-03-16 2010-07-28 浙江大学 一种应用层组播视频会议系统实现方法
EP2448265A1 (en) * 2010-10-26 2012-05-02 Google, Inc. Lip synchronization in a video conference

Also Published As

Publication number Publication date
CN103945166A (zh) 2014-07-23
EP2728830A1 (en) 2014-05-07
US9426423B2 (en) 2016-08-23
US20140118473A1 (en) 2014-05-01
JP2014112826A (ja) 2014-06-19
EP2728830B1 (en) 2020-06-17
CN103945166B (zh) 2017-05-17
TWI568230B (zh) 2017-01-21

Similar Documents

Publication Publication Date Title
TWI568230B (zh) 用於在媒體中繼會談中同步化音訊及視訊串流之方法及系統
JP5284534B2 (ja) 変更されたストリーム同期
KR101354793B1 (ko) 입력 오디오 스트림 및 입력 비디오 스트림을 동기화하는 방법, 복수의 컴퓨팅 장치에 걸쳐서 전송되고 있는 미디어 스트림들을 동기화하기 위한 시스템, 및 컴퓨터 판독가능 매체
CN101889422B (zh) 用于使终端的输出同步的方法及系统
JP5345081B2 (ja) 常駐会議を行うための方法およびシステム
EP2832109B1 (en) Marker-based inter-destination media synchronization
CN102742249B (zh) 用于媒体流同步的方法、系统和装置
US8335172B2 (en) Switchable conference multicast streaming with dynamic asymmetry
JP2010512688A5 (zh)
JP2013042492A (ja) 常駐表示式ビデオ会議においてビデオストリームを切替える方法およびシステム