NO318911B1 - Distribuert sammensetting av sanntids-media - Google Patents

Distribuert sammensetting av sanntids-media Download PDF

Info

Publication number
NO318911B1
NO318911B1 NO20035078A NO20035078A NO318911B1 NO 318911 B1 NO318911 B1 NO 318911B1 NO 20035078 A NO20035078 A NO 20035078A NO 20035078 A NO20035078 A NO 20035078A NO 318911 B1 NO318911 B1 NO 318911B1
Authority
NO
Norway
Prior art keywords
conference
units
data
video
central unit
Prior art date
Application number
NO20035078A
Other languages
English (en)
Other versions
NO20035078D0 (no
Inventor
Tom-Ivar Johansen
Geir Arne Sandbakken
Original Assignee
Tandberg Telecom As
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tandberg Telecom As filed Critical Tandberg Telecom As
Priority to NO20035078A priority Critical patent/NO318911B1/no
Publication of NO20035078D0 publication Critical patent/NO20035078D0/no
Priority to AT04800192T priority patent/ATE455436T1/de
Priority to CNB2004800335014A priority patent/CN100568948C/zh
Priority to DE602004025131T priority patent/DE602004025131D1/de
Priority to PCT/NO2004/000344 priority patent/WO2005048600A1/en
Priority to US10/986,932 priority patent/US7561179B2/en
Priority to EP04800192A priority patent/EP1683356B1/en
Priority to JP2006539418A priority patent/JP2007511954A/ja
Priority to ES04800192T priority patent/ES2336216T3/es
Publication of NO318911B1 publication Critical patent/NO318911B1/no
Priority to US12/497,316 priority patent/US8289369B2/en
Priority to US13/651,106 priority patent/US8773497B2/en
Priority to US14/297,135 priority patent/US9462228B2/en

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/562—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities where the conference facilities are distributed
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems
    • H04N7/152—Multipoint control units therefor
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/40—Support for services or applications
    • H04L65/403—Arrangements for multi-party communication, e.g. for conferences
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M3/00—Automatic or semi-automatic exchanges
    • H04M3/42—Systems providing special services or facilities to subscribers
    • H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
    • H04M3/567—Multimedia conference systems
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/14—Systems for two-way working
    • H04N7/15—Conference systems

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)
  • Agricultural Chemicals And Associated Chemicals (AREA)
  • Computer And Data Communications (AREA)
  • Plural Heterocyclic Compounds (AREA)
  • Seasonings (AREA)
  • Pyrane Compounds (AREA)

Description

Oppfinnelsens område
Den foreliggende oppfinnelse relaterer seg til systemer som tillater en samtidig utveksling av audio-, video- og datainformasjon ved bruk av telekommunikasjon, spesielt relaterer den seg til videokonferanse- og webkonferansesyste-mer.
Oppfinnelsens bakgrunn
Spesielt beskriver oppfinnelsen et system og en fremgangsmåte som tillater samtidig utveksling av audio-, video- og datainformasjon mellom et flertall enheter ved bruk av eksisterende telekommunikasjonsnettverk.
Det finnes et antall av teknologiske systemer som er tilgjengelig for å arrangere møter mellom deltakere lokalisert på forskjellige steder. Disse systemene kan inkludere audiovisuelle multipunktkonferanser eller videokonferanser, webkonferanser og audiokonferanser.
Det mest realistiske substitutt for virkelige møter er "high-end" videokonferansesystemer. Konvensjonelle videokonferansesystemer omfatter et antall av endepunkter som kommuniserer sanntidsvideo, audio- og/eller datastrømmer over og mellom forkskjellige nettverk slik som WAN, LAN og linjesvitsjede nettverk. Endepunktene inkluderer en eller flere monitorer, kameraer, mikrofoner og/eller datafangst-anordninger og en kodek. Nevnte kodek koder og dekoder utgående og inngående strømmer respektivt.
Multimediekonferanser kan deles inn i tre hovedkategorier, sentralisert, desentralisert og hybridkonferanser, der hver kategori har et flertall variasjoner for å kjøre en konferanse .
Sentralisert konferanse
Tradisjonell audiovisuell multipunktkonferanse har en sentral multipunktkontrollenhet (Multipoint Control Unit, MCU) med tre eller flere endepunkter forbundet. Disse MCUer ut-fører svitsjefunksjoner for å tillate de audiovisuelle terminaler å kommunisere seg i mellom i en konferanse. Den sentrale funksjonen for en MCU er å koble et flertall videotelekonferansesteder (sites, EP-endpoints) sammen ved å motta rammer med digitale signaler fra audiovisuelle terminaler (EP), og prosessere de mottatte signalene og résende de prosesserte signaler til riktige audiovisuelle terminaler (EP) som rammer med digitale signaler. De digitale signalene kan inkludere audio-, video-, data- og kon-trollinformasjon. Videosignaler fra to eller flere audiovisuelle terminaler (EP) kan bli romlig (spatially) mikset for å danne et komposittvideosignal for å bli betraktet av telekonferansedeltakere. MCU-en tjener som en selektiv ruter av mediestrømmer i dette scenariet. En del av MCU-en kalt "Multipoint Controller" kontrollerer konferansen. Hvert endepunkt har en kontrollkanal for å sende og motta kontrollsignaler til og fra MC. MC-en virker på og sender kommandoer til endepunktene.
Stemmestyring ved enkelstrøm (Woice switch single stream)
I en sentralisert konferanse vil MCU-en motta innkommende videostrømmer fra alle deltakere. Den kan videresende en videostrøm fra et endepunkt til alle de andre endepunkter. Hvilke endepunktstrøm "endpoint stream" som blir valgt er typisk for stemmestyring ved enkeltstrøm basert på hvilke deltaker som snakker høyest, det vil si taleren. Denne strømmen blir kalt "Current View" (aktuelt bilde). Mens "Previous View" (foregående bilde) er videostrømmen fra den deltaker ved det endepunkt som er taleren før den aktuelle taler. I en stemmestyrt konferanse (Voice Switched Conference) vil en "Current View" videostrøm bli sendt til alle andre enn den aktuelle taleren og "Previous view" vil bli sendt til den aktuelle taleren. Et problem for MCU-en er å sikre at "Current View" og "Previous View" kan mottas av alle endepunkter i konferansen.
Styring av enkeltstrøm ved andre midler (Switch single stream by other means)
"Current View" kan også bli kontrollert ved å sende kommandoer mellom MCU-en og endepunktene. En slik mekanisme blir kalt "floor control". Et endepunkt kan sende en "be om ordet" {floor request) kommando til MCU-en slik at dens video vil bli sendt til alle andre deltakere. Foregående bilde vil så typisk være et "Voice switch" bilde (stemmestyrt bilde) mellom alle de andre deltakerne i konferansen. "Current View" (aktuelt bilde) kan bli frigjort ved å sende en "gi fra seg ordet" kommando. Det finnes også andre kjente metoder for å kontrollere aktuelt bilde, bl.a. "Floor control" eller ordstyrerkontroll (chair control). De vedrører begge to styring av enkeltstrøm, men det er uten-for rammen av dette dokumentet å gi en full beskrivelse av hver kjente løsning på dette felt. Prinsippet med et aktuelt bilde og styring av en enkeltstrøm er imidlertid det samme.
Samtidig tilstedeværelse
I en konferanse vil en ofte ønske å se flere enn en deltaker. Dette kan oppnås på flere måter. MCU-en kan kombinere de innkommende videostrømmer for å lage en eller flere utgående videostrømmer for å oppnå dette. Ved å kombinere flere innkommende lavoppløselige videostrømmer fra endepunktene inntil en høyoppløselig strøm kan en gjøre dette. Den høyoppløselige strømmen blir så sent fra MCU-en til alle eller noen av endepunktene i konferansen. Denne strøm-men blir kalt et kombinert bilde (Combined View). Karakteristikken for lavoppløselige strømmer begrenser formatet for den høyoppløselige strømmen fra MCU-en. Strenge begrensninger for den innkommende lavoppløselige strømmen er nødvendig for å sikre at den kombinerte høyoppløselige strømmen kan mottas av alle endepunktene som skal motta den. MCU-en må, så lenge hver mottaker skal motta den samme multimediestrømmen, finne "minste felles modus (the least common mode), for å sikre akseptabel visning og lyttekarak-teristikk for mottakeren med den dårligste kapasiteten. Med det store antall variasjoner av monitorer vil MCU-en også kompensere for forskjellige monitorer, så som 4:3 eller 16:9 visning. Dette er ikke mulig med en fellesmodus (common mode). Denne "minste felles modus" (least common mode) løsning skalerer ikke spesielt godt og den legger sterke begrensninger på mottakerne som har en kapasitet som overgår kapasiteten til den med den laveste kapasitet.
Reskalert bilde (Rescaled View)
En mer fleksibel løsning er å la MCU-en reskalere alle innkommende videostrømmer og således lage et bilde som kan mottas av alle endepunktene som mottar det. For å gjøre reskalering må MCU-en dekode alle innkommende videostrøm-mer. De dekodede data - rådata - blir så reskalert og transformert. De forskjellige rådatastrømmer blir så kombinert i et kompositt layout og satt sammen gitt en satt layout, skreddersydd til mottakers behov med hensyn til bitrate og kodingsstandard. Den kombinerte rådatastrøm blir så kodet og vi vil så ha en ny videostrøm inneholdende en eller flere av de innkommende strømmer. Denne løsningen blir kalt det reskalerte bilde (the Rescaled View). For å lage et reskalert bilde må MCU-en forstå, og ha kapasiteten til å kode og dekode videostrømmer. Dess flere endepunkter som er i konferansen, dess mer kapasitet trenges fra MCU-en for å dekode alle innkommende strømmer. Den tunge datamani-pulering som utføres av MCU-en vil tilføre ekstra forsinkelse til multimediestrømmene og således redusere kvaliteten for multimediekonferansen. Dess høyere antall endepunkter, dess tyngre vil datamanipulasjonen bli. Skalerbarhet er av viktighet i en løsning som dette. Layouten kan være forskjellig til alle dekodere for å unngå at sluttbru-keren ser seg selv i en forsinket video på monitoren. Avhengig av antallet av forskjellige layout vil forskjellige utgående strømmer måtte bli kodet. En MCU kan diffe-rensiere mellom endepunktene i seg selv eller ved grupper av endepunkter, eksemplifisert ved to grupper, en for en lav bitrate som gir en første visning og en for en høy bitrate som gir en andre visning.
Desentralisert konferanse
I et desentralisert flerpunktsscenario vil en kun trenge en sentralisert MC. Hvert endepunkt vil sende sine mediedata til alle andre endepunkter - typisk ved multicasting (kringkasting av data til flere brukere). Hvert endepunkt vil blande audio fra alle andre endepunkter og vil kombinere eller velge hvilke videostrømmer som skal vises lokalt. MC vil fremdeles fremstå som kontroller for konferansen og hvert endepunkt vil ha en kontrollforbindelse med MC. I en desentralisert konferanse vil hvert endepunkt måtte ha MCU-funksjonalitet som viser et aktuelt/foregående bilde (Current/Previous), kombinert bilde (Combined View) eller et reskalert bilde (Rescaled View). Kompleksiteten for et endepunkt som støtter desentraliserte konferanser er høyere enn for endepunkter som støtter sentraliserte konferanser.
Hybrid konferanse
En hybrid konferanse bruker en kombinasjon av sentralisert og desentralisert konferanse. Noen endepunkter vil være i en sentralisert konferanse og andre vil være i en desentralisert. En hybrid konferanse kan ha en sentralisert håndte-ring av en mediestrøm og en desentralisert distribusjon av en annen. Før oppstart av multimediekonferansen vil den sentraliserte MCU sende kommandoer til hvert enkelt endepunkt som deltar i konferansen. Disse kommandoer vil bl.a. be om at endepunktene informerer MCU-en om sin bitratekapa-sitet og sin kodeksprosesseringskapasitet. Informasjonen mottatt vil så bli brukt av den sentraliserte MCU for å sette opp en multimediehybrid konferanse der det blir tatt hensyn til karakteristikken for hvert enkelt endepunkt. Termen hybrid vil også bli brukt der audio blir blandet ved MCU-en og hvert endepunkt velger å dekode en eller flere innkommende videostrømmer for lokal visning.
Skalerbar signalkompresjon
Skalerbare signalkompresjons (scalable signal compression) algoritmer er et hovedkrav for det raskt utviklede, globale nettverk som involverer et mangfold av kanaler med et bredt spekter av forskjellige kapasiteter. Mange applikasjoner krever at data blir samtidig avgjort ved et forskjellig antall av rater. Eksempler inkluderer applikasjoner så som multicast i heterogene nettverk, der kanalene dikterer de brukbare bitrater for hver enkelt bruker. Samtidig er det motivert ved sameksistensen av endepunkter av forskjellig kompleksitet og kostnad. En kompresjonsteknikk er skalerbar om den tilbyr et mangfold av dekodingsrater og/eller prosesseringsbehov ved bruk av den samme grunnleggende algo-ritmen og der den lavere rate av informasjonsstrømmer er innebygd innenfor den høyere rate av bit-strømmer på en måte som minimaliserer redundans.
Flere algoritmer har blitt forslått som tillater skalerbarhet av videokommunikasjon inkludert rammerate (frame rate), temporær skalerbar koding (Temporally scalable coding), visuell kvalitet (SNR) og spatial skalerbarhet. Felles for disse metoder er at videoen blir kodet i lag der skalerbar-heten skyldes dekoding av et eller flere lag.
Temporær skalerbar koding (Temporally scalable coding)
Video blir kodet i rammer og en temporær skalerbar video-kodingsalgoritme tillater ekstraksjon av video for et flertall rammerater fra en enkelt kodet strøm. Videoen blir delt inn i flere sammenflettede sett av rammer. Ved å dekode mer enn et sett av rammer vil rammeraten kunne økes.
Spatiell skalerbar koding
Spatiell skalerbar kompresjonsalgoritme er en algoritme der det første laget har en grov oppløsning og videooppløs-ningen kan bli forbedret ved dekoding av flere lag.
SNR skalerbar koding (visuell kvalitetsskalerbar koding)
SNR-skalerbar kompresjon referer seg til koding av en sek-vens på en slik måte at forskjellig kvalitetsvideo kan bli rekonstruert ved å dekode et undersett av den kodede bit-strøm. Skalerbar kompresjon er nyttig i dagens heterogene nettverks omgivelser der forskjellige brukere har forskjellige rater, oppløsning, fremvisning og beregningskapabili-teter.
Kjent teknikk fra patentlitteraturen
Fra patentlitteraturen finnes eksempler på distribuerte video konferansesystemer, dog ingen som løser de problemene som er skissert over. Spesielt finnes ikke løsninger som skalerer godt det vil si at løsningene ikke har ønsket fleksibilitet, de tilbyr ikke gode løsninger for sentraliserte konferanser, hybrid konferanser og desentraliserte konferanser, de gir ikke tilstrekkelig fleksibilitet i bru-ken av de ressurser som finnes i en konferanse, det vil si at det ikke gjøres en god tilpasning mellom tilgjengelige kapabiliteter og konferanseresultatet.
Publikasjonen US 6,288,739 Bl (Hales & al.) viser et distribuert video kommunikasjonssystem inkludert et flertall av noder, der hver av nodene har grensesnitt mot et nettverk omfattende et meldingslag (message layer) og et datatrans-misjonslag. Data blir sendt fra hver av nodene til data-transmisjonslaget i en multicast protokoll slik at alle andre noder har tilgang til den sendte informasjonen sendt. Hver av nodene har konfigurasjons informasjon lagret i en konfigurasjons blokk som blir mottatt gjennom meldingslaget. En konferanse kan startes av en hvilke som helst av nodene ved at det sendes informasjon til øvrige konferanse-deltakere, hver enkelt node vil ut fra den mottatte informasjonen kunne bestemme hvordan data skal ekstraheres fra meldingslaget, noen sentral funksjon for denne informa-sjonsformidlingen finnes imidlertid ikke.
Fra WO 99/18728 er det kjent en metode for sammenknytting av multimediadatastrømmer som har forskjellig komprime-ringsformater, ved at datastrømmene med forskjellig kompre-sjonsstandarder når en server, der de blir sendt til passende kodeker i forhold til den kodingsstandard de har. Signalene blir blandet (mixed) og svitsjet av en kontroller og en multipoint svitsj og så videre rutet tilbake til de rette kodeker. Signalene blir rekomprimert (recompressed) til passende standard for den enkelte bruker før de for-later serveren. Det vil si at systemet muliggjør multime-diekommunikasjon mellom deltagere som er tilpasset anven-delse av forskjellige standarder. Systemet vil ikke gi noen direkte kontroll over presentasjonslayout.
Til sist skal nevnes at det fra EP 0 691 779 A2 er kjent et multimedie konferansesystem der det gis en omtale av metoder for ressursstyring innenfor multimediekonferanser, men denne ressursstyringen er spesielt rettet mot MMS anven-delse.
Sammendrag av oppfinnelsen
Det er en hensikt for den foreliggende oppfinnelse å skaffe til veie et system og en fremgangsmåte som eliminerer de ulemper som beskrives over. Trekkene definert i kravene vedlagt karakteriserer dette system og denne fremgangsmåte.
I et tradisjonelt, sentralisert system vil endepunktene sende et fullskala (full-scale) bilde til en MCU. Som et eksempel vil et kodet CIF-bilde (352 x 288 piksler) bli sendt til MCU-en. For å bedre kvaliteten for konferansen vil det være fordelaktig å presentere et komposittbilde ved hvert endepunkt. Dette komposittbildet kan vise en deltaker som en hoveddel av en full skjerm, mens alle de andre deltakerne blir vist som mindre småbilder (sub-pictures). Hvilke deltaker, størrelsen av deltakeren og hvor mange deltakere som blir fremvist ved hvert sted (site), kan avhenge av prosessering og fremvisningskapasiteten og konfe-ransesituasjonen. Om hvert endepunkt blir antatt å motta komposittbilder, vil MCU-en måtte utføre tung datamanipula-sjon som beskrevet under "samtidig tilstedeværelse" og reskalert bilde. Etter dekoding av den kodede CIF-data-strømmen til videobilder, så vil MCU-en komponere komposittbilder som vil bli rekodet og sendt til rette endepunkt.
Denne løsningen stiller strenge krav på kapasiteten for den sentrale MCU og løsningen vil i tilfeller der tung bruk av koding og dekoding er nødvendig, introdusere en irriterende forsinkelse mellom deltakerne i en multimediekonferanse.
Spesielt beskriver den foreliggende oppfinnelse en forbedret fremgangsmåte og system for utveksling av informasjon mellom et antall enheter der en sentral enhet basert på kunnskap med hensyn til et flertall av underenheter, vil instruere underenhetene i å generere multimedia datastrøm-mer til andre underenheter som deltar i den samme sesjon på en slik måte at den sentrale enheten er i stand til å rute datastrømmer uten bruk av dens innebygde kodeker eller ved en minimal bruk av nevnte kodeker.
Kort beskrivelse av tegningene
For å gjøre oppfinnelsen enklere forståelig vil en i disku-sjonen som følger referere seg til de vedlagte tegninger. Figur 1 viser et eksempel på en sentralisert konferanse med fire endepunkter som deltar i en videokonferanse i henhold til oppfinnelsen. Figur 2 viser en eksemplifisering av oppfinnelsen med fire endepunkter som deltar og EP A er aktuell taler og EP D er foregående taler.
Detaljert beskrivelse av oppfinnelsen
Som indikert over vil alle løsningene ha sine ulemper. En karakteristikk ved en kvalitetsvideokonferanse vil være at den inkluderer muligheten for å vise komposittvinduer, eller kombinert visning og korrekte layouts (det vil si 4:3, 16:9) uten irriterende tidsforsinkelser. Alle disse kravene skal møtes med eksisterende utstyr, det vil si med MCUer som er tilgjengelig i dag. De kjente løsninger skalerer ikke godt idet de ikke tar hensyn til forskjellige kapasiteter for forskjellige endepunkter i en konferanse. Ideelt skal hvert endepunkt motta datastrømmer skreddersydd for sin kapasitet og layout. En videre prosessering utført av en sentral MCU skal minimaliseres. Svakheten indikert gjelder for sentraliserte, desentraliserte, så vel som hyb-ride løsninger.
For å overkomme de ovenfor nevnte svakheter har oppfinnelsen fordel av å bruke en desentralisert prosesseringskraft hos de deltakende endepunkter, så vel som fordel av å bruke et kommandospråk for å instruere hvert deltakende endepunkt om hvordan de skal ta del i konferansen.
Ideen er ganske enkelt å bruke den tilgjengelige kapasiteten så desentralisert som mulig, således vil kravet på den sentrale MCU-en bli redusert, videre er det viktig for en optimalisering at løsningen skalerer godt. MCU-en vil ved bruk av kommandospråk få informasjon om hvert enkelt ende-punkts kapasitet som en mottaker og en sender med hensyn til tilgjengelig bitrate, kodingskapasitet osv. Derved vil MCU-en tilpasse datastrømmene til hvert endepunkt i henhold til deres spesifikasjoner, og som et resultat vil en ha et system som skalerer godt.
Således vil MCU innhente informasjon med hensyn til hvert enkelt endepunkt, kodingskapasitet med hensyn til hvor mange multiple rammer som kan lages og ved hvilke oppløs-ning, bitrater og rammerater. Videre vil MCU-en ha kjenn-skap med hensyn til endepunktenes layout osv. som indikert over. Med denne informasjonen vil MCU-en være i stand til å analysere informasjonen og tilpasse en konferanse. Tanken så er basert på kunnskap om kodingskapabilitetene for endepunktene, at endepunktene vil utnytte sin kapasitet for å sende optimaliserte multimediestrømmer. Således vil behovet for prosessering ved MCU-en bli kraftig redusert sammenlignet med hva som er normalt for en konferanse av en tilsvarende kvalitet.
Stemmestyrt samtidig tilstedeværelse
Koderne kan bli instruert for å sende en større men fremdeles redusert strøm til MCU. Instruksjonene vil bli sendt i et kommandospråk fra MC-en i den sentrale MCU til hver multimediekonferansedeltakers koder. Endepunktene kan også bli instruert for å sende nevnte strøm og en mindre strøm. MCU-en kan så kombinere strømmene til et nåværende bilde (current view) med for eksempel taleren i et "stort" vindu sammen med resten av deltakerne i mindre vinduer. Taleren kan motta den foregående taler i et "stort" vindu med resten av deltakerne i "små" vinduer. Et layouteksempel er 5+1.
Den nødvendige MCU-kapasiteten kan bli redusert vesentlig ved å kontrollere størrelsen av hver strøm og bitraten som blir brukt. MC-en vil bruke koder- og dekoderkapabiliteter som utvekslet i et kommandosett for å velge passende layout. Koderkapabilitetene vil begrense størrelsen og antallet av delrammer fra et endepunkt, og dekoderkapabiliteten vil begrense hvor mange og hvor store delrammer et endepunkt kan motta. Dette vil danne grunnlaget for hvordan MCU-en kan bestemme sine layouts.
MCU-en vil instruere endepunktene for å sende en eller flere delrammer (partial frames) for sesjonen. Størrelsen på disse delrammer vil avhenge av antall av deltakere i konferansen og den valgte layout. MCU-en vil gi instruk-sjoner til endepunktene ved sesjonens oppstart med hensyn til størrelsen for delrammene. Således vil hvert endepunkt sende en fraksjon av et komposittbilde i forespurt format. MCU kan også gi tilleggskommandoer under sesjonen for å endre layout. Mengden av data som må kodes ved endepunkter vil bli tilsvarende lite, i det minste for ikke-talende deltakere. MCU-en vil motta kodede bilder som allerede har riktig format, således vil MCU-en ikke trenge å dekode de innkommende videostrømmer. MCU-en vil kun sette kompositt-bildene sammen fra de innkommende delrammer uten noen dekoding eller koding. Dette kan bli oppnådd ved å manipulere høynivåsyntaks i videostrømmen for å produsere en kombinert ramme eller ved identifikasjonsmerking (identification labelling) og videresende et utvalg av videostrømmene til alle endepunkter der de kan bli separat dekodet og sammensatt for et komposittbilde. Således vil behovet for prosesseringskraft bli kraftig redusert og ved å unngå prosessering av videostrømmene vil forsinkelsen bli tilsvarende redusert .
I en sentralisert konferanse vil MCU-en instruere endepunktene i konferansen om å lage en eller flere delrammer. Endepunktene vil kode sine videostrømmer for å passe med formatet for disse delrammer. Delrammene blir så sendt fra endepunktet til MCU-en. MCU-en vil kombinere delrammene inntil en eller flere kombinerte rammer. Strukturene for disse kombinerte rammer blir kalt layouts. Layoutene inneholder formatet for delrammene mottatt for et gitt sett av kombinerte rammer, og instruksjonene sendt til hvert endepunkt blir utledet fra layoutene for disse kombinerte rammer. Typisk layout blir definert for nåværende bilde (Current View) med en 4:3 skalert ramme og et annet for en 16:9 skalert ramme. De kombinerte rammene for foregående bilde vil typisk bli skalert for å matche endepunktet som mottar etter samme prinsipper som for nåværende bilde. De kombinerte rammer blir sendt til hvert endepunkt i konferansen gitt den best passende layout for det spesifikke endepunktet.
I en desentralisert konferanse vil MC instruere endepunktene i konferansen om å lage et eller flere delrammer (partial frames). Endepunktene vil kode sine videostrømmer for å passe med formatet for disse delrammer. Disse delrammene blir distribuert til alle endepunkter i konferansen. Hvert endepunkt vil kombinere delrammene inntil kombinerte rammer gitt et sett av layouts. Layoutene blir bestemt og signali-sert av MC til hvert endepunkt separat. Forskjellige endepunkter i konferansen kan ha forskjellig layout tilegnet seg selv. Typisk vil noen endepunkter kombinere delrammer inntil et nåværende bilde, mens andre kombinerer inntil et foregående bilde.
Den sentrale MCU vil ved bruk av et kommandospråk kommunisere over kontrollkanalene, forespørre endepunktene om å gi informasjon med hensyn til sin kapasitet i forhold til bitrater, layouts og kompresjonsalgoritmer. Den sentrale MCU vil, basert på responsen fra de desentraliserte MCUer, sette opp en sesjon som er skreddersydd til hvert ende-punkts spesifikasjon med hensyn til bitrater og andre para-metere beskrevet over. Oppfinnelsen kan bruke skalerbarhet som beskrevet over for å kode multiple videostrømmer ved forskjellige bitrater og oppløsning for å sikre best bruk av tilgjengelig båndbredde.
Signalert kommandosett (Signaled Command Set)
Beskriver kommandosettet mellom den sentrale MCU og hvert endepunkt. Kommandosettet blir brukt for å instruere koding av delrammer ved endepunktene og layout for videostrømmer og kapabilitetssettet beskriver formatområdet som kan mottas ved hvert endepunkt. Kommandoer for å tilpasse (align) eller endre kapabiliteten kan også være en del av språket.
En første utførelsesform av oppfinnelsen
Eksempel på sentralisert konferanse
Eksemplet på en sentralisert konferanse er vist i figur 4.1. Eksemplet inneholder en sentral MCU. MCU-en har en konferanse med 4 endepunkter. Disse blir gitt navnet endepunkt A, B, C og D. Hvert endepunkt har en bi-direksjonal kontrollkanal, en videostrøm som går fra endepunkt til MCU og en videostrøm som går fra MCU til endepunktet. Den nåværende taler i konferansen er ved endepunkt A, og endepunkt A mottar derfor en kombinert ramme av det foregående bil-det. Alle andre endepunkter i konferansen mottar forskjellig kombinerte rammer av nåværende bilde. Endepunkt D er foregående taler.
MCU-en signalerer ved kommandosettet beskrevet over til endepunkt A for å produsere to delrammer. Disse er delramme 1 (Partial Frame 1) og delramme 5 (Partial Frame 5). Størrelsen, formatet og målestokken for begge delrammer blir signalert spesifikt. Delramme 1 er del av en layout for en 16:9 nåværende bilde valgt av MCU-en. Delramme 5 er del av layout for 4:3 nåværende bilde også valgt av MCU-en. MCU-en vil kontinuerlig motta en videostrøm for endepunkt A inneholdende formatet for både delramme 1 og delramme 5 inntil en ny kommando blir signalert fra MCU-en til endepunkt A.
Samtidig som for endepunkt A vil MCU-en signalere til endepunkt B for å kode delramme 2 og delramme 6. Endepunkt C skal kode delramme 3 og delramme 7. Endepunkt D skal kode delramme 4, delramme 8 og delramme 9.
MCU-en mottar alle delrammer 1 til 9. Med layout for "kombinert ramme 16:9 nåværende bilde" (Combined Frame 16:9 Current View) kombinerer MCU-en delramme 1, delramme 2, delramme 3 og delramme 4. Denne kombinerte ramme blir sendt til endepunkt C og endepunkt B. Begge har signalert at de kan motta en 16:9 skalert ramme. Med layout for "kombinert ramme 4:3 nåværende bilde" vil MCU-en kombinere delramme 5, delramme 6, delramme 7 og delramme 8. Denne kombinerte ramme blir sendt til endepunkt D som kun kan motta en 4:3 skalert ramme.
Kombinering av delramme 9, delramme 2, delramme 3 og delramme 5 utgjør layouten for "kombinert ramme 16:9 foregående bilde".
Eksempel på et kommandosett for implementering av oppfinnelsen
Dette eksemplet er en redusert utveksling av informasjon
mellom deltakerenhetene for å illustrere hvordan kommunika-sjon kan implementeres. I en virkelig situasjon vil de forskjellige kapabiliteter for endepunktene slik som koding av standarder og båndbredde og kapabiliteter for MCU-en kunne skape flere runder av utveksling for å tilpasse kapabiliteter. Tilføyelser av nye endepunkter på sparket (on the fly) kan også skape nytilpasning av kapabiliteter under sesjonen.
For enkelthet vil denne utveksling av informasjon anta at MCU-kapabilitetene er altomfattende (all encompassing) og at endepunktkapabilitetene matcher slik at ingen tilpasning er nødvendig. Dette er også et aktuelt tilfelle når alle enheter i sesjonen er av den samme typen.
I dette eksemplet vil flere endepunkter få den samme layout. I et virkelig tilfelle ville hvert endepunkt ha forskjellig layout og til og med forskjellig bildesideforhold (bredde-høyde-forhold) i henhold til sitt display.
Kapabilitetsutveksling:
Utvekslingen mellom deltakerenhetene gir informasjon med hensyn til prosesseringskapabilitet slik som standarder, bildestørrelse, rammerate og båndbredde.
Koder/dekoderkapabilitet
DECCAP - (ProcessingRate, NumberOfStreams, TotallmageSize, Bandwidth}
ENCCAP - {ProcessingRate, NumberOfStreams, TotallmageSize, Bandwidth }
ProcessingRate - Evnen til å prosessere videoelementer. Disse elementene kan bli målt i MakroBlokker (MBs) som er en gruppe på 16x16 bildepunkter (piksler).
NumberOfStreams - Antall separate strømmer som kan bli håndtert.
TotallmageSize - Maksimal kombinert størrelse av alle strømmer, her også målt i MBs. Bildebeskrivelsen kunne også inneholde bildesideforhold (image aspect ratio)
Bandwidth - Maksimum total data som kan sendes eller mottas .
Kommandoer:
Et lite sett av kommandoer som vil muliggjøre datautveksling.
CODE-SEQn-{Resolution, FrameRate, Bandwidth}
En kommando til en koder som tvinger koding av en video-strøm med et sett av føringer (constraints)
Resolution - Størrelsen av videobildet, her målt i MBs. FrameRate - Antall videobilder som kan sendes pr. sekund (F(s) .
Bandwidth - Antall bits pr. sekund som kan anvendes for denne videostrøm (Bits/s)
STOP-SEQn
En kommando for å stoppe koding av en bestemt videostrøm.
LAYOUT-{Mode, SEQl, SEQ2, .., SEQm}
En kommando til en dekoder som forteller hvordan en skal plassere et antall av strømmer på displayet.
Mode - De spesielt valgte layout, for eksempel 5+1, hvor antall strømmer og dets posisjon på skjermen er definert. SEQL.m - ID av sekvensene som skal plasseres i det defi-nerte layout. Rekkefølgen av sekvensene gir posisjonen. Hvis en spesiell posisjon ikke skal ha noen strøm, kan SEQO anvendes.
Forespørsel:
GET-FLOOR (Få ordet)
Overlevering av nåværende taler til et bestemt endepunkt.
Datautveksling:
VIDEO-FRAME-SEQn
De kodede videodata for en ramme av en bestemt videosek-vens. For enkelthets skyld er dataenhetene for en videosek-vens definert som en ramme.
Eksemplet som brukt er som vist i figur 2, der EP A er nåværende taler og EP D er foregående taler, videre er kapabilitetsutveksling, kommandoer for sesjonsoppstart, kommandoer for å ta ordet (grabbing floor) og datautveksling blir vist i etterfølgende skjema.
Kapabilitetsutveksling:
Kommandoer for sesjonsoppstart:
Kommandoer for å ta ordet (grabbing floor):
B blir nåværende taler og A foregående taler.
Datautveksling:
Desentralisert konferanse
Om en bruker samme situasjon som beskrevet over, i en desentralisert konferanse vil MC instruere EP A om å kode og kringkaste (broadcast) PFI til EP B og C og å sende PF5 til EP D. EP B ville kringkaste PR 2 til EP A, B og C og sende PF 6 til EP D. EP C ville kringkaste PF 3 til EP A, B og C og sende PF 7 til EP D. Til slutt, EP D ville kringkaste PF 4 til EP A, B og C, den ville sende PF 8 til EP D og den ville sende PF 9 til EP A.
Fordeler
Noen av fordelene i henhold til den foreliggende oppfinnelse blir oppsummert i det etterfølgende: ■ Redusert prosesseringsbehov i sentralenheten fører til en mer skalerbar løsning. ■ Redusert forsinkelse i transmisjon sammenlignet med transkoding. ■ Redusert prosesseringskraft ved endepunktene som følge av mindre total bildestørrelse. ■ Bedre videokvalitet idet ingen reskalering er nødvendig ved den sentrale enheten eller ved endepunktene.
Ekvivalenter
Idet denne oppfinnelsen spesielt har blitt vist og beskrevet med referanse til foretrukne utførelsesformer, vil det forstås av fagmannen på området at forskjellige varianter i utførelser og detaljer kan bli gjort ved denne uten at en fjerner seg fra ideen rundt og rammen rundt oppfinnelsen som definert i de vedlagte kravene.
I eksemplene ovenfor er de foretrukne utførelsesformer for den foreliggende oppfinnelse eksemplifisert ved bruk av 4:3 og 16:9 skalerte rammer på et display, men løsningen er ikke begrenset til bruk med disse bredde/høydeforhold, andre kjente bildesideforhold omfattende for eksempel 14:9 eller andre forhold som kan være delbare inntil et rute-mønster på et display kan bli implementert.
Som et eksempel kan ideen av å bruke delrammer basert på kunnskapen om hvert endepunkt i en konferanse bli utvidet til å bli brukt der det er nødvendig å sende multimedie-strømmer mellom et flertall av brukere. Konseptet vil ha interesse innenfor tradisjonell kringkasting, spesielt når en dekker samtidshendelser. En kan tenke seg et scenario der et flertall av filmkameraer blir brukt for å dekke en hendelse. Om hvert enkelt kamera overfører sin informasjon til en sentralisert enhet i henhold til regler som er for-handlet mellom den sentraliserte enhet og kameraene, vil en mengde prosesseringskraft kunne bli spart ved den sentraliserte enhet. Videre ville det være mye enklere og raskere å prosessere kompositt-/PIP-rammer for sluttbrukerne.
Et annet eksempel er at idet de fysiske kravene av de beskrevne MCU og MC er tilsvarende, vil enhver kombinasjon av sentralisert og desentralisert konferanse kunne bli ut-formet, det kan også forventes at utførelsesformer vil ha tradisjonelle MCUer som del av nettverket for å være bako-verkompatibelt med dagens løsninger.
En av hovedideene for denne oppfinnelsen er: bruk kapasiteten der den finnes. I tradisjonelle multipunkts multimedie-strømutveksling er det et nav eller en sentralisert enhet som administrerer datautvekslingen. Tradisjonelt vil denne sentraliserte enheten ikke trenge å forhandle med alle perifere enheter som tar del i datautvekslingen for å optima-lisere datautvekslingen i henhold til hver perifere enhets kapasitet, således har en optimal bruk av alle de tilgjengelige prosesseringskapasitetene ikke vært vanlige eller kjent.
Forkortelser og referanser
Endepunkt (Endpoint): En hvilken som helst terminal som er i stand til å delta i en konferanse.
Media: Audio, video og tilsvarende data.
Strøm (Stream): Kontinuerlig media.
Multipunkt kontrollenhet (Multipoint control unit, MCU): Enhet som kan kontrollere og håndtere media fra 3 eller flere endepunkter i en konferanse.
Multipunktkontroller (Multipoint Controller, MC): Håndte-ringskontroll for 3 eller flere endepunkter i en konferanse.
Sentralisert konferanse: Kontrollkanalene blir signalert ensrettet eller bidireksjonalt mellom endepunktene og MCU. Hvert endepunkt sender sine medier til MCU-en. MCU-en mikser og kombinerer mediene - og sender mediene tilbake til endepunktene.
Sentralisert konferanse: Kontrollkanalene blir signalert ensrettet eller bidireksjonalt mellom endepunktene og MCU. Media blir transportert som multicasting mellom endepunktene og endepunktene mikser og kombinerer media selv.
Hybrid konferanse: MCU-en holder en konferanse som er delvis sentralisert og delvis desentralisert.
Taler: Deltakeren(e) ved endepunktet som snakker høyest blant endepunktene i en konferanse.
Nåværende bilde: Videostrømmen fra nåværende taler.
Foregående bilde: Videostrømmen for foregående taler.
Kombinert bilde: En høyoppløselig videostrøm laget av lav-oppløselige videostrømmer.
Reskalert bilde: En videostrøm laget av andre videostrømmer ved reskalering.

Claims (24)

1. System som tillater samtidig utveksling av audio-, video- og/eller datainformasjon mellom et flertall av enheter over et kommunikasjonsnettverk og støttet av en sentral enhet, karakterisert ved at sentralenheten er, basert på kunnskap med hensyn til en eller flere av enhetene, tilpasset til å instruere nevnte ene eller flere enheter for å generere multimedia datastrømmer justert for å passe inn til bestemte restriksjoner, for å bli presentert på andre enheter som deltar i den samme sesjon.
2. System i henhold til krav 1, karakterisert ved at nevnte bestemte restriksjoner er en av de følgende displayformater, transmisjonsbåndbredde, prosesseringsbehov og/eller multiple kombinasjoner av dette.
3. System i henhold til krav 1 eller 2, karakterisert ved at den er tilpasset til en bidireksjonal utveksling av nevnte multimedie datastrøm-mer mellom sentralenheten og enhetene og å komponere nevnte multimediestrømmer av delrammer.
4. System i henhold til et av kravene 1-3, karakterisert ved at sentralenheten er tilpasset til å komponere en kombinert datastrøm fra en eller flere enkle datastrømmer sendt fra den ene eller flere enheter og til å rute nevnte kombinerte strøm til nevnte andre enheter.
5. System i henhold til et av kravene 1-4, karakterisert ved at sesjonen er en videokonferansesesjon.
6. System i henhold til et av kravene 1-5, karakterisert ved at kommunikasjonen mellom nevnte sentralenhet og enhetene bruker skalerbare kom-presj onstekni kker.
7. System i henhold til et av kravene 1-3, karakterisert ved at nevnte datamultime-diestrømmer er ensrettet, inkludert delrammer og er rettet fra enhetene til sentralenheten.
8. System i henhold til krav 1 eller 2, karakterisert ved at hver multimediestrøm er tilpasset i henhold til spesifikasjonene for de respektive enheter.
9. System i henhold til krav 8, karakterisert ved at tilpasningen til enhetene er en konsekvens av informasjonsutveksling mellom sentralenheten og enhetene som bruker kontrollkanalene.
10. System i henhold til et av kravene 3-6, karakterisert ved at et display er delt inn i rutemønster av celler, der hver av de nevnte delrammer opptar en eller flere celler av rutemønsteret og displayet kan ha forskjellige lengde-/breddeforhold.
11. System i henhold til krav 10, karakterisert ved at hver enkelt delramme opptar et varierende antall av naboceller.
12. System i henhold til et av kravene 5 eller 6, karakterisert ved at nevnte videokonferansesesjon er en sentralisert konferanse, en desentralisert konferanse eller en hybrid konferanse.
13. Fremgangsmåte for utveksling av audio-, video- og datainformasjon samtidig mellom et flertall av enheter i et kommunikasjonsnettverk som støtter en sentral enhet, karakterisert ved å instruere en eller flere av enhetene, basert på en kunnskap om disse, å generere multimediedatastrømmer tilpasset til å passe inn til bestemte restriksjoner, å bli presentert på andre enheter som deltar i en samme sesjon.
14. Fremgangsmåte i henhold til krav 13, karakterisert ved at nevnte bestemte restriksjoner er en av de følgende: fremvisning av formater, transmisjonsbåndbredde, prosesseringsbehov og/eller multiple kombinasjoner av dette.
15. Fremgangsmåte i henhold til krav 13 eller 14, karakterisert ved at bidireksjonell utveksling av nevnte datamultimedie-strømmer mellom sentralenheten og enhetene der nevnte multimediestrømmer er sammensatt av delrammer.
16. Fremgangsmåte i henhold til et av kravene 13-15, karakterisert ved å komponere i sentralenheten, en kombinert datastrøm sammensatt fra en eller flere enkeltdatastrømmer sendt fra en eller flere enheter, og rute nevnte, kombinerte strøm til nevnte, andre enheter.
17. Fremgangsmåte i henhold til et av kravene 13-16, karakterisert ved å holde sesjonen som en videokonferansesesjon.
18. Fremgangsmåte i henhold til et av kravene 13-17, karakterisert ved å bruke skalerbare kompresjonsteknikker ved utveksling av data mellom nevnte sentralenhet og enhetene.
19. Fremgangsmåte i henhold til et av kravene 15-18, karakterisert ved å dele et display inn til et rutemønster av celler der hver av nevnte delrammer opptar en eller flere celler av rutemønsteret og displayet kan ha forskjellig bredde-/høydeforhold.
20. Fremgangsmåte i henhold til krav 19, karakterisert ved å la hver enkelt delramme oppta et forskjellig antall av naboceller.
21. Fremgangsmåte i henhold til krav 17 eller 18, karakterisert ved at videokonferansesesjonen kan være en sentralisert konferanse, en desentralisert konferanse eller en hybrid konferanse.
22. Fremgangsmåte i henhold til et av kravene 13, 14, 19 eller 20, karakterisert ved at nevnte datamultimediestrømmer er ensrettet, inkluderer delrammer og er rettet fra enhetene til sentralenheten.
23. Fremgangsmåte i henhold til krav 13 eller 14, karakterisert ved å tilpasse de justerte multimediestrømmer til spesifi-kasjonen til de respektive enheter.
24. Fremgangsmåte i henhold til krav 23, karakterisert ved å tilpasse enhetene som en konsekvens av informasjonsutveksling mellom sentralenheten og enhetene ved bruk av kontrollkanaler.
NO20035078A 2003-11-04 2003-11-14 Distribuert sammensetting av sanntids-media NO318911B1 (no)

Priority Applications (12)

Application Number Priority Date Filing Date Title
NO20035078A NO318911B1 (no) 2003-11-14 2003-11-14 Distribuert sammensetting av sanntids-media
ES04800192T ES2336216T3 (es) 2003-11-14 2004-11-15 Compositor de medios distribuidos a tiempo real.
PCT/NO2004/000344 WO2005048600A1 (en) 2003-11-14 2004-11-15 Distributed real-time media composer
CNB2004800335014A CN100568948C (zh) 2003-11-14 2004-11-15 分布式实时媒体创作器
DE602004025131T DE602004025131D1 (de) 2003-11-14 2004-11-15 Verteilter echtzeit-media-composer
AT04800192T ATE455436T1 (de) 2003-11-14 2004-11-15 Verteilter echtzeit-media-composer
US10/986,932 US7561179B2 (en) 2003-11-14 2004-11-15 Distributed real-time media composer
EP04800192A EP1683356B1 (en) 2003-11-14 2004-11-15 Distributed real-time media composer
JP2006539418A JP2007511954A (ja) 2003-11-14 2004-11-15 分散型実時間メディア構成器
US12/497,316 US8289369B2 (en) 2003-11-14 2009-07-02 Distributed real-time media composer
US13/651,106 US8773497B2 (en) 2003-11-14 2012-10-12 Distributed real-time media composer
US14/297,135 US9462228B2 (en) 2003-11-04 2014-06-05 Distributed real-time media composer

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
NO20035078A NO318911B1 (no) 2003-11-14 2003-11-14 Distribuert sammensetting av sanntids-media

Publications (2)

Publication Number Publication Date
NO20035078D0 NO20035078D0 (no) 2003-11-14
NO318911B1 true NO318911B1 (no) 2005-05-23

Family

ID=29775187

Family Applications (1)

Application Number Title Priority Date Filing Date
NO20035078A NO318911B1 (no) 2003-11-04 2003-11-14 Distribuert sammensetting av sanntids-media

Country Status (9)

Country Link
US (4) US7561179B2 (no)
EP (1) EP1683356B1 (no)
JP (1) JP2007511954A (no)
CN (1) CN100568948C (no)
AT (1) ATE455436T1 (no)
DE (1) DE602004025131D1 (no)
ES (1) ES2336216T3 (no)
NO (1) NO318911B1 (no)
WO (1) WO2005048600A1 (no)

Families Citing this family (60)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2422065B (en) * 2005-01-05 2008-12-17 Codian Ltd Video multi-conference unit (MCU)
US8289370B2 (en) * 2005-07-20 2012-10-16 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
US7932919B2 (en) * 2006-04-21 2011-04-26 Dell Products L.P. Virtual ring camera
KR100754222B1 (ko) * 2006-06-15 2007-09-03 삼성전자주식회사 네트워크 디바이스간에 서비스 제어 방법 및 그 방법을수행할 수 있는 네트워크 디바이스와 저장 매체
US8773494B2 (en) 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
US7924305B2 (en) * 2006-09-15 2011-04-12 Hewlett-Packard Development Company, L.P. Consistent quality for multipoint videoconferencing systems
US20080101410A1 (en) * 2006-10-25 2008-05-01 Microsoft Corporation Techniques for managing output bandwidth for a conferencing server
US8259624B2 (en) * 2006-10-27 2012-09-04 Cisco Technology, Inc. Dynamic picture layout for video conferencing based on properties derived from received conferencing signals
US8571027B2 (en) * 2007-04-18 2013-10-29 At&T Intellectual Property I, L.P. System and method for multi-rate video delivery using multicast stream
US20080273078A1 (en) * 2007-05-01 2008-11-06 Scott Grasley Videoconferencing audio distribution
WO2009032272A1 (en) 2007-09-05 2009-03-12 Savant Systems Llc. Expandable multimedia control system and method
ATE512517T1 (de) * 2007-10-01 2011-06-15 Hewlett Packard Development Co Systeme und verfahren zur verwaltung über mehrere netzwerke verteilter virtueller kollaborationssysteme
EP2255530A4 (en) * 2008-03-17 2012-11-21 Hewlett Packard Development Co PRESENTATION OF FLOW OF PANORAMIC VIDEO IMAGES
US9043483B2 (en) * 2008-03-17 2015-05-26 International Business Machines Corporation View selection in a vehicle-to-vehicle network
US9123241B2 (en) 2008-03-17 2015-09-01 International Business Machines Corporation Guided video feed selection in a vehicle-to-vehicle network
US8319820B2 (en) 2008-06-23 2012-11-27 Radvision, Ltd. Systems, methods, and media for providing cascaded multi-point video conferencing units
CN102077587A (zh) * 2008-06-30 2011-05-25 惠普开发有限公司 合成视频流
US8269817B2 (en) * 2008-07-16 2012-09-18 Cisco Technology, Inc. Floor control in multi-point conference systems
TW201012222A (en) * 2008-09-12 2010-03-16 Primax Electronics Ltd Method for producing internet video images
US8502857B2 (en) 2008-11-21 2013-08-06 Polycom, Inc. System and method for combining a plurality of video stream generated in a videoconference
NO332009B1 (no) * 2008-12-12 2012-05-21 Cisco Systems Int Sarl Fremgangsmate for a igangsette kommunikasjonsforbindelser
US20100149301A1 (en) * 2008-12-15 2010-06-17 Microsoft Corporation Video Conferencing Subscription Using Multiple Bit Rate Streams
US8380790B2 (en) * 2008-12-15 2013-02-19 Microsoft Corporation Video conference rate matching
US8228363B2 (en) * 2009-01-30 2012-07-24 Polycom, Inc. Method and system for conducting continuous presence conferences
US8760492B2 (en) 2009-01-30 2014-06-24 Polycom, Inc. Method and system for switching between video streams in a continuous presence conference
US8396960B2 (en) * 2009-05-08 2013-03-12 Canon Kabushiki Kaisha Efficient network utilization using multiple physical interfaces
CN102082944B (zh) * 2009-11-30 2016-03-09 华为终端有限公司 一种包含远程呈现会场的会议控制方法、装置及系统
WO2011138637A1 (en) * 2010-05-03 2011-11-10 Nokia Corporation System, method, and apparatus for facilitating group video communication
US8717408B2 (en) * 2010-05-13 2014-05-06 Lifesize Communications, Inc. Conducting a private videoconference within a videoconference via an MCU
NO333235B1 (no) 2010-05-25 2013-04-15 Cisco Systems Int Sarl System og fremgangsmate for konferanser med skalerbar mediesvitsjing
US11606537B2 (en) 2010-05-25 2023-03-14 Cisco Technology, Inc. System and method for scalable media switching conferencing
US8947492B2 (en) 2010-06-18 2015-02-03 Microsoft Corporation Combining multiple bit rate and scalable video coding
US9876953B2 (en) 2010-10-29 2018-01-23 Ecole Polytechnique Federale De Lausanne (Epfl) Omnidirectional sensor array system
CN102655584B (zh) * 2011-03-04 2017-11-24 中兴通讯股份有限公司 一种远程呈现技术中媒体数据发送和播放的方法及系统
FR2972587B1 (fr) * 2011-03-10 2015-10-30 Streamwide Dispositif et procede de mixage reparti de flux de donnees
CN102143349A (zh) * 2011-03-22 2011-08-03 宋健 一种基于音频、视频信号分别通过独立通道传输的视频会议实现方法
KR101251755B1 (ko) * 2011-04-22 2013-04-05 권기훈 영상회의 시스템의 영상구조 조절방법 및 그 시스템
CN102868873B (zh) * 2011-07-08 2017-10-17 中兴通讯股份有限公司 一种远程呈现方法、终端和系统
JP2013042492A (ja) * 2011-08-11 2013-02-28 Polycom Inc 常駐表示式ビデオ会議においてビデオストリームを切替える方法およびシステム
CN102957893B (zh) * 2011-08-11 2016-02-24 宝利通公司 用于在连续呈现会议中的视频流之间切换的方法和系统
US8756348B2 (en) 2011-09-14 2014-06-17 Barco N.V. Electronic tool and methods for meetings
EP2756669B1 (en) 2011-09-14 2024-05-01 Barco N.V. Electronic tool and methods with audio for meetings
US10050800B2 (en) * 2011-09-14 2018-08-14 Barco N.V. Electronic tool and methods for meetings for providing connection to a communications network
US11258676B2 (en) 2011-09-14 2022-02-22 Barco N.V. Electronic tool and methods for meetings
US10965480B2 (en) 2011-09-14 2021-03-30 Barco N.V. Electronic tool and methods for recording a meeting
US9083769B2 (en) 2011-09-14 2015-07-14 Barco N.V. Electronic tool and methods for meetings
US20130083151A1 (en) 2011-09-30 2013-04-04 Lg Electronics Inc. Electronic device and method for controlling electronic device
GB2501471A (en) 2012-04-18 2013-10-30 Barco Nv Electronic conference arrangement
US8810625B2 (en) * 2012-04-26 2014-08-19 Wizard of Ads, SunPop Studios Ltd. System and method for remotely configuring and capturing a video production
US9313486B2 (en) 2012-06-20 2016-04-12 Vidyo, Inc. Hybrid video coding techniques
US20140028788A1 (en) 2012-07-30 2014-01-30 Polycom, Inc. Method and system for conducting video conferences of diverse participating devices
US8963988B2 (en) * 2012-09-14 2015-02-24 Tangome, Inc. Camera manipulation during a video conference
US20140114664A1 (en) * 2012-10-20 2014-04-24 Microsoft Corporation Active Participant History in a Video Conferencing System
NO341315B1 (no) * 2013-04-17 2017-10-09 Pexip AS Dynamisk allokering av enkodere
FR3011704A1 (fr) * 2013-10-07 2015-04-10 Orange Procede de mise en œuvre d'une session de communication entre une pluralite de terminaux
CN108134915B (zh) * 2014-03-31 2020-07-28 宝利通公司 用于混合式拓扑媒体会议系统的方法和系统
US9602771B2 (en) 2014-12-10 2017-03-21 Polycom, Inc. Automated layouts optimized for multi-screen and multi-camera videoconferencing calls
EP3348022A1 (en) * 2015-09-11 2018-07-18 Barco N.V. Method and system for connecting electronic devices
US11206244B2 (en) * 2018-12-21 2021-12-21 ARRIS Enterprise LLC Method to preserve video data obfuscation for video frames
US11283969B2 (en) * 2019-08-09 2022-03-22 Verizon Media Inc. System and method for managing a virtual studio

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2527202B2 (ja) * 1987-10-07 1996-08-21 三菱電機株式会社 多地点画像伝送システム
JP3125552B2 (ja) * 1993-12-28 2001-01-22 三菱電機株式会社 テレビ会議システム
US5586016A (en) 1994-07-05 1996-12-17 Motorola, Inc. Circuit for quickly energizing electronic ballast
US5555017A (en) * 1994-07-08 1996-09-10 Lucent Technologies Inc. Seamless multimedia conferencing system using an enhanced multipoint control unit
US5687095A (en) * 1994-11-01 1997-11-11 Lucent Technologies Inc. Video transmission rate matching for multimedia communication systems
KR100477474B1 (ko) * 1995-06-29 2005-08-01 톰슨 디지털신호프로세싱장치및방법
JPH09149396A (ja) * 1995-11-27 1997-06-06 Fujitsu Ltd 多地点テレビ会議システム
GB2328832A (en) * 1996-08-30 1999-03-03 Motorola Inc Apparatus,method and system for audio and video conferencing and telephony
US6288739B1 (en) * 1997-09-05 2001-09-11 Intelect Systems Corporation Distributed video communications system
WO1999018728A1 (en) 1997-10-02 1999-04-15 General Datacomm, Inc. Interconnecting multimedia data streams having different compressed formats
US6560280B1 (en) * 1998-02-02 2003-05-06 Vcon Ltd. Video transmission system
US6523069B1 (en) * 2000-03-13 2003-02-18 Yahoo! Inc. Transmission of multicast media between networks
US6473137B1 (en) * 2000-06-28 2002-10-29 Hughes Electronics Corporation Method and apparatus for audio-visual cues improving perceived acquisition time
US7007098B1 (en) * 2000-08-17 2006-02-28 Nortel Networks Limited Methods of controlling video signals in a video conference
US20020126201A1 (en) * 2001-03-08 2002-09-12 Star-Bak Communication Inc. Systems and methods for connecting video conferencing to a distributed network
US20040022202A1 (en) * 2002-08-05 2004-02-05 Chih-Lung Yang Method and apparatus for continuously receiving images from a plurality of video channels and for alternately continuously transmitting to each of a plurality of participants in a video conference individual images containing information concerning each of said video channels
US7263124B2 (en) * 2001-09-26 2007-08-28 Intel Corporation Scalable coding scheme for low latency applications
US7362349B2 (en) * 2002-07-10 2008-04-22 Seiko Epson Corporation Multi-participant conference system with controllable content delivery using a client monitor back-channel
US7627629B1 (en) * 2002-10-30 2009-12-01 Cisco Technology, Inc. Method and apparatus for multipoint conferencing
US20050013309A1 (en) * 2003-07-14 2005-01-20 Channasandra Ravishankar System and method for high quality video conferencing with heterogeneous end-points and networks

Also Published As

Publication number Publication date
CN1883197A (zh) 2006-12-20
US7561179B2 (en) 2009-07-14
ES2336216T3 (es) 2010-04-09
ATE455436T1 (de) 2010-01-15
NO20035078D0 (no) 2003-11-14
US20140354766A1 (en) 2014-12-04
CN100568948C (zh) 2009-12-09
DE602004025131D1 (de) 2010-03-04
WO2005048600A1 (en) 2005-05-26
EP1683356A1 (en) 2006-07-26
US20130038677A1 (en) 2013-02-14
US8289369B2 (en) 2012-10-16
EP1683356B1 (en) 2010-01-13
US20050122392A1 (en) 2005-06-09
US20100033550A1 (en) 2010-02-11
JP2007511954A (ja) 2007-05-10
US9462228B2 (en) 2016-10-04
US8773497B2 (en) 2014-07-08

Similar Documents

Publication Publication Date Title
NO318911B1 (no) Distribuert sammensetting av sanntids-media
US8228363B2 (en) Method and system for conducting continuous presence conferences
US8237765B2 (en) Video conferencing device which performs multi-way conferencing
US8791978B2 (en) Scalable video encoding in a multi-view camera system
US8139100B2 (en) Virtual multiway scaler compensation
US9596433B2 (en) System and method for a hybrid topology media conferencing system
WO2008131644A1 (fr) Procédé, dispositif et système pour réaliser une commutation d'images dans le service vidéo
WO2011140812A1 (zh) 多画面合成方法、系统及媒体处理装置
WO2011116611A1 (zh) 用于电视会议的视频播放方法
US20140225982A1 (en) Method and system for handling content in videoconferencing
JP3732850B2 (ja) 多地点制御装置
JP3697423B2 (ja) 多地点制御装置
JP3697422B2 (ja) 多地点制御装置、テレビ会議端末装置及び多地点テレビ会議システム

Legal Events

Date Code Title Description
CREP Change of representative

Representative=s name: ONSAGERS AS, POSTBOKS 6963 ST OLAVS PLASS, 0130 OS

MM1K Lapsed by not paying the annual fees