NO333235B1

NO333235B1 - System og fremgangsmate for konferanser med skalerbar mediesvitsjing

Info

Publication number: NO333235B1
Application number: NO20100962A
Authority: NO
Inventors: Espen Berger; Pascal Buehler; Jan Asle Kroknes
Original assignee: Cisco Systems Int Sarl
Priority date: 2010-05-25
Filing date: 2010-07-02
Publication date: 2013-04-15
Also published as: US11153533B2; US20200304756A1; WO2011149359A1; US20110292165A1; NO20100962A1; US10715764B2

Abstract

System og fremgangsmåte for å utveksle audio-, video-og datainformasjon mellom i det minste to klienter i et kommunikasjonsnettverk, støttet av en sentral enhet. Fremgangsmåten omfatter trinnene å forbinde de i det minste to klientene til den sentrale enheten ved bruk av en samtalekontrollprotokoll, idet samtalekontrollprotokollen forhandler videoformater og forbindelsesinformasjon for sending og mottak av mediestrømmer: å transmittere informasjon fra en første klient til den sentrale enhet, idet informasjonen omfatter metadata som beskriver ulike mediestrømmer som den første klienten er i stand til å transmittere; å transmittere informasjonen mottatt fra den første klienten til den i det minste ene andre klienten: ved mottak av informasjonen om ulike mediestrømmer som den første klienten er i stand til å transmittere, å bestemme, i den i det minste ene andre klienten, hvilke av de tilgjengelige mediestrømmer fra den første klienten som den i det minste ene andre klienten vil abonnere på: å transmittere en abonneringsmelding fra den i det minste ene andre klienten til den sentrale enhet, å abonnere på i det minste én tilgjengelig mediestrøm fra den første klienten: ved mottak av i det minste én abonneringsmelding fra den i det minste ene andre klienten, å transmittere, av den sentrale enheten, en melding som fore spor den første klienten om å starte transmittering av mediestrømmer abonnert på av den i det minste ene andre klienten: å transmittere mediestrømmer abonnert på av den i det minste ene andre klienten fra den første klienten til den sentrale enhet; og å transmittere mediestrømmer abonnert på av den i det minste ene andre klienten fra den sentrale enhet til den i det minste ene andre klienten.

Description

System og fremgangsmåte for konferanser med skalerbar mediesvitsjing

Teknisk område

Den foreliggende oppfinnelsen vedrører videokonferanser, og spesielt et system og en fremgangsmåte for videokonferanser med skalerbar mediesvitsjing.

Bakgrunn

Tradisjonelle multipartsvideokonferanser benytter en pushmodell for å sende video og audio til klienter. Den tradisjonelle tilnærmingsmåten som benytter en transkodende Multipoint Control Unit (MCU), implementerer audiomiksing, videolayoutsammensetning og konferansekontroll i sin helhet på den sentraliserte transkodende MCU'en. Ved bruk av denne tilnærmingsmåten må MCU'en implementere brukeropplevelsesregler slik som generering av layoutene slik som de betraktes av hver individuelle bruker. Ved bruk av en pushmodell blir det vanskelig for klientene å overstyre serveren. Videolayoutsammensetningen innbefatter generelt dekoding av hver innkommende strøm, miksing av videolayoutsammensetningen for hver av de deltakende klientene, og koding av de miksede utgående strømmer. Dette introduserer generelt uønskede forsinkelser (latens) i kommunikasjonen mellom deltakende klienter.

US 7 561 179/EP 1 683 356 beskriver et system og en fremgangsmåte som benytter en ikke-transkodende MCU eller svitsjende MCU, der den ikke-transkodende MCU mottar kapabilitetsinformasjon fra de ulike klientene som deltar i en multipartsvideokonferanse. Basert på den mottatte kapabilitetsinformasjonen, instruerer den ikke-transkodende MCU'en de ulike klientene til å transmittere multimediestrømmer omfattende partielle rammer justert til å passe til kapabilitetene for de mottakende klienter som deltar i videokonferansen. To hovedmetoder for transmittering av multimediestrømmer omfattende partielle rammer er beskrevet i patentet. En av disse er multicasting av flere videostrømmer av ulik kvalitet, f.eks. oppløsning, størrelse, osv., til den ikke-transkodende MCU, og den andre er å benytte skalerbare videokodingsteknikker slik som SVC, der multiple nivåer av videokvalitet er innebygget i én strøm. I begge tilfeller har den ikke-transkodende MCU opsjonen med bare å sende de partielle rammer til klientene, som den ikke-transkodende MCU vet at klientene kan håndtere, basert på den tidligere mottatte kapabilitetsinformasjon, eller den ikke-transkodende MCU kan funksjonere som en multicast-ruter, og videresende alle mottatte partielle rammer til alle de deltakende klienter.

Imidlertid vil bruken av en sentralisert enhet til å bestemme hvilke videostrømmer og/eller oppløsning av videostrømmer en mottakende klient bør motta, potensielt begrense fleksibiliteten av brukeropplevelse og brukergrensesnitt for en klient. Det er i teknikken et behov for et system og en fremgangsmåte som tillater full eller i det minste økt fleksibilitet i brukeropplevelse, lav latens, og svitsjing av høyoppløsningsvideostrømmer uten reduksjon av kvalitet.

Sammenfatning

Oppfinnelsen vedrører en fremgangsmåte og et system som fremsatt i kravene.

Kort beskrivelse av tegningene

For å gjøre oppfinnelsen lettere å forstå, vil den følgende diskusjonen referere til de vedføyde tegninger, hvor Fig. 1 illustrerer et eksempelkommunikasjonssystem i samsvar med den foreliggende oppfinnelsen,

Fig. 2 viser to eksempellayouter for et klientdisplay.

Detaljert beskrivelse

I det følgende vil den foreliggende oppfinnelsen bli drøftet ved beskrivelse av foretrukne utførelsesformer, og med henvisning til de vedføyde tegninger. Imidlertid vil fagfolk innse andre anvendelser og modifikasjoner innenfor rekkevidden av oppfinnelsen, slik den er definert i de vedføyde selvstendige krav.

For beskrivelsens klarhet er en klient i det følgende, avhengig av konteksten som den er beskrevet i, vekselsvis også omtalt som et endepunkt eller et videokonferanseendepunkt. En klient i samsvar med den foreliggende oppfinnelsen er typisk implementert i en videokonferanseapplikasjon i en personlig datamaskin (PC) tablet datamaskin, PDA (personal digital assistant), mobiltelefon eller lignende, eller som en integrert del av en frittstående innretning.

Fig. 1 er et blokkdiagram som viser et eksempelkommunikasjonssystem i samsvar med den foreliggende oppfinnelsen. Eksempelsystemet omfatter en sentral enhet, som kan være en mediesvitsjende konferansesenter (MSCS) 4, og tre klienter 1, 2, 3. MSCS'en og klientene kommuniserer over et kommunikasjonsnettverk, ikke vist, typisk et pakkesvitsjet nettverk slik som et IP- (Internet Protocol)-nettverk.

I en eksempelvis peer-to-peer utførelsesform av den foreliggende oppfinnelse, initierer en første klient 1 (klient 1) en videosamtale til en andre klient (klient 2) ved bruk av en samtalekontrollprotokoll. Samtalekontrollprotokollen er foretrukket SIP (RFC3261), men kan også være ITU-T H.323 (12/09) eller Jingle (XEP-0166 2009-12-23) eller en hvilken som helst annen egnet samtalekontrollprotokoll. Ved bruk av samtalekontrollen forhandler klientene videoformater, dvs. kodeker, og forbindelsesinformasjon slik som portnumre. I en SIP-implementasjon benyttes SIP-protokollen for samtaleoppsett og SDP (Session Description Protocol definert i RFC 2327) benyttes for kodek- og portforhandling.

Ved bruk av RTCP SDES (RFC33550)-meldinger, transmitterer klient 1 annonsemeldinger (a) til den sentrale enhet, eller MSCS 4, der annonsemeldingene omfatter metadata som beskriver ulike mediestrømmer som klient 1 er i stand til å transmittere. Klient 1 vil typisk annonsere at den er i stand til å transmittere video med ulik oppløsning (f.eks. høy, lav, medium), audio og video, fra ulike posisjoner eller vinkler, slik som et presentatørkamera, et publikumkamera eller et dokumentkamera.

Etter å ha mottatt annonsemeldingen (a) fra klient 1, videresender MSCS 4 annonsemeldingen til andre endepunkter som deltar i samtalen, dvs. i dette eksemplet bare til klient 2. Klient 2 mottar informasjonen om de ulike mediestrømmene som klient 1 er i stand til å transmittere, og tar en beslutning om hvilke av de tilgjengelige mediestrømmene den skal abonnere på. Klient 2 gjør typisk denne beslutningen basert på prosesseringskraft for klient 2, båndbreddebegrensninger mellom klienten og MSCS 4, eller en layout fremvist på en skjerm forbundet til klient 2.

Etter at klient 2 har tatt beslutningen om hvilke mediestrømmer den skal abonnere på, vil klient 2 ved bruk av en RTCP APP (RFC 3550) transmittere en abonnermelding ved bruk av (s) til MSCS 4 som angir hvilke av de tilgjengelige mediestrømmene klient 2 ønsker å abonnere på. Igjen videresender MSCS 4 abonnermeldingen fra klient 2 til klient 1, hvilket anmoder klient 1 om å starte transmittering av mediestrømmer som abonneres på av klient 2. Klient 1 starter så å transmittere abonnerte mediestrømmer til MSCS 4 som endelig videresender mediestrømmene til klient 2.

I en eksempelvis multisite-utførelsesform av den foreliggende oppfinnelsen ville en første klient 1 (klient 1) initiere en videosamtale til en andre klient 2 (klient 2), og en tredje klient 3 (klient 3) som beskrevet ovenfor. Klient 1 transmitterer igjen en annonsemelding (a) til MSCS 4, og etter å ha mottatt annonsemeldingen (a) fra klient 1, videresender nå MSCS annonsemeldingen til både klient 2 og klient 3. Klient 2 og klient 3 mottar begge informasjon om de ulike mediestrømmene som klient 1 er i stand til å transmittere, og ta beslutninger om hvilke av de tilgjengelige mediestrømmene de skal abonnere på.

Etter at klient 2 og klient 3 har gjort beslutningene om hvilke mediestrømmer de skal abonnere på, transmitterer både klient 2 og klient 3 en abonnermelding (s) til MSCS 4 som angir hvilke av de tilgjengelige mediestrømmene hver av klient 2 og klient 3, respektivt, ønsker å abonnere på. MSCS 4 aggregerer de mottatte abonnermeldingene, og transmitterer en abonnermelding(er) til klient 1, og forespør klient 1 om å starte transmittering av mediestrømmer som abonneres på av klient 2 og klient 3. Klient 1 starter så å transmittere de abonnerte mediestrømmer til MSCS 4.1 det tilfellet både klient 2 og klient 3 abonnerer på den samme mediestrøm, videresender MSCS 4 de abonnerte mediestrømmer til både klient 2 og klient 3.1 det tilfelle klient 2 og klient 3 abonnerer på ulike mediestrømmer, multiplekser klient 1 foretrukket de ulike mediestrømmene, og transmitterer de multipleksede mediestrømmene til MSCS 4 på én enkelt port. Ved mottak av de multipleksede mediestrømmene, demultiplekser MSCS 4 mediestrømmene, og videresender mediestrømmene til de respektive abonnerende klienter.

Selv om det ikke er eksplisitt vist i fig. 1, transmitterer også klient 2 og klient 3 annonsemeldinger til MSCS 4. Klient 1, klient 2 og klient 3 bestemmer hvilke av de tilgjengelige mediestrømmene fra de andre to klientene de skal abonnere på, og transmitterer abonnermeldinger til MSCS 4. MSCS 4 aggregerer de mottatte abonnermeldingene, og transmitterer en abonnermelding til hver av klientene som forespør klientene om å starte transmittering av mediestrømmer abonnert på av de respektive to andre klientene. MSCS 4 mottar så vanligvis i det minste tre ulike mediestrømmer, av hvilke to ulike mediestrømmer abonneres på av hver av de respektive klientene (dvs. klient 2 -> klient 1 og klient 3, klient 3 -> klient 1 og klient 2, osv.), således vil MSCS 4 multiplekse mediestrømmer abonnert på av bare én klient før den transmitterer mediestrømmene til klienten på en enkelt port.

I samsvar med en eksempelutførelsesform av den foreliggende oppfinnelsen, vil MSCS 4 automatisk forespørre tilknyttede klienter om å transmittere en audiostrøm, og MSCS 4 transmitterer automatisk alle mottatte audiostrømmer til alle de tilknyttede klienter. Derved behøver ikke klientene aktivt ta beslutning om å abonnere på audiostrømmer. Denne "videresend til alle-policyen" sikrer lavest mulig latens av videresendte audiopakker. Fremdeles kan en klient stanse audiostrømmen dersom en mikrofon dempes ved klienten, noe som overstyrer den automatiske transmisjon av audio som automatisk transmitteres fra klienten.

Klienten er ansvarlig for miksing av alle innkommende audiopakker før de avspilles. Klienten leppesynkroniserer audio- og videostrømmer fra en transmitterende klient ved bruk av tilgjengelig metainformasjon, f.eks. synkronisering av audio- og videopakker fra en klient med matchende RTCP SDES klientnavn.

I multisitekonferanser er det vanlig at flere av deltakerne er tause mesteparten av tiden. Imidlertid introduserer de tause deltakerne ofte uønsket støy i konferansen, slik som hosting, blaing i papir osv., som plukkes opp av mikrofonen. Videre introduserer miksing av audio fra ikke-talende deltakere unødvendig prosesseringsbelastning på en klient. Under slike forhold vil det være foretrukket å stanse audiostrømmene fra de deltakerne allerede før strømmene transmitteres til klienten. MSCS 4 kan konfigurereres til bare å videresende de N kraftigste audiostrømmene basert på audioaktivitetsnivået i RTP-pakker. Alternativt transmitterer MSCS 4 bare audiopakker når energinivået er høyere enn en forhåndsdefinert terskel.

Fig. 2 viser to mulige layouter for et klientdisplay. Fig. 2B viser en tilsvarende betraktningslayout der videostrømmer fra to klienter er vist. En tilsvarende betraktningslayout anvendes typisk i tilfeller der tre klienter deltar i en samtale, eller i en peer-to-peer samtale som fremviser en fjerntliggende klient, og en selvbetraktning, eller alternativt for å fremvise to mediestrømmer fra én klient, der én er video og den andre en presentasjon. Fig. 2A fremviser en aktiv talerlayout, der den aktive talerlayouten fremviser en stor videostrøm og tre mindre videostrømmer. Aktiv talerlayout og slike metoder er velkjent for fagfolk.

I samsvar med en foretrukket utførelsesform av den foreliggende oppfinnelsen vil en klient som mottar flere abonnerte strømmer blande de abonnerte videostrømmene lokalt. Spesielt, under en konferanse, kan en bruker av en klient ønske å endre layout i sin videoklient. De lokale miksingskapabilitetene i klienten gjør dette enkelt. Klienten kan abonnere på mottak av en ny mediestrøm dersom den nye layouten foreslår at andre mediestrømmer kan være nødvendig, og/eller av-abonnere mediestrømmer som ikke behøves lenger. Tilsvarende kan klienten endre layout automatisk i det tilfellet en annen klient forlater eller kommer inn i konferansen, eller som beskrevet nedenfor, når en aktiv taler endres.

Nå med henvisning til fig. 2A, er videostrømmer fra fire ulike deltakere fremvist i den aktive talerlayouten, der den aktive taler, eller nåværende talevindu, er større enn de tre andre deltakervinduene. De tre mindre vinduene opptar et mindre areal, således kan videostrømmene som fremvises i disse vinduene ha en lavere oppløsning enn videoen som fremvises i det store vinduet, og fortsatt ha den samme visuelle kvaliteten. Klienten behøver derfor ikke motta en videostrøm av den høyeste mulige kvalitet for disse vinduene, og bestemmer å abonnere på lavkvalitets videostrømmer, mens det samtidig besluttes å abonnere på en høykvalitets strøm for det store vinduet. Deretter, i det tilfelle at en bruker i ett av de mindre vinduene blir den aktive taler, vil klienten beslutte å fremvise videostrømmen for denne brukeren i det store displayet, og videostrømmen for den foregående taler i et mindre display. Klienten transmitterer da en av-abonneringsmelding og en abonneringsmelding til MSCS 4, der høyoppløsningsvideostrøm for den foregående taler av-abonneres, og lavoppløsningsvideostrøm for den foregående taler abonneres. Klienten transmitterer også en av-abonneringsmelding som av-abonnnerer lavoppløsningsvideostrømmen for den nye aktive taler, og en abonneringsmelding som abonnerer på den høyoppløsningsvideostrømmen som hører til den nye aktive taler. MSCS 4 videresender så abonnerings- og av-abonneringsmeldinger til de relevante transmitterende klienter, forespør transmitteringsendepunkter å stanse transmitteringen av de nå av-abonnerte videostrømmene, og starter transmittering av de nå abonnerte mediestrømmene til MSCS 4.

I en annen eksempelutførelsesform, når det benyttes en videokonferanse applikasjon i en PC, gjøres beslutningen om endring av abonnement på videostrømmer basert på den nåværende skjermstørrelsen, f.eks. full skjerm eller liten skjerm.

Ved enda en eksempelutførelsesform gjøres beslutningen om hvilke mediestrømmer det skal abonneres på, basert på båndbredderestriksjoner. Klienten kan ikke abonnere på en mengde av mediedata som er større enn hva klienten kan dekode, og klienten må splitte den tilgjengelige bitraten mellom de ulike mediestrømmer for å oppnå den beste totale visuelle kvalitet for en klientbruker.

Claims

1. Fremgangsmåte for å utveksle audio-, video- og datainformasjon mellom i det minste to klienter (1, 2) i et kommunikasjonsnettverk støttet av en sentral enhet (4), hvor fremgangsmåten omfatter trinnene: a) å forbinde de i det minste to klientene (1,2) til den sentrale enhet (4) ved bruk av en samtalekontrollprotokoll, idet samtalekontrollprotokollen forhandler videoformater og forbindelsesinformasjon for sending og mottak av mediestrømmer; b) å transmittere informasjon fra en første klient (1) til den sentrale enhet (4), idet informasjonen omfatter en annonsemelding som omfatter metadata som beskriver ulike mediestrømmer som den første klienten er i stand til å transmittere, idet nevnte ulike mediestrømmer omfatter videooppløsning, audio og video sendt fra kameraer ved ulike posisjoner og vinkler; c) å transmittere, fra den sentrale enhet (4), nevnte annonsemelding mottatt fra den første klienten (1) til den i det minste andre klienten (2); d) ved mottak av informasjonen om de ulike mediestrømmer som den første klienten (1) er i stand til å transmittere, å bestemme, av den i det minste andre klienten (2), hvilke av de tilgjengelige mediestrømmer fra den første klienten (1) som den i det minste andre klienten (2) nå vil abonnere på, basert på en layout fremvist på en skjerm forbundet til den i det minste ene andre klienten (2); e) å transmittere en abonneringsmelding fra den i det minste ene andre klienten (2) til den sentrale enheten, hvilket innebærer abonnering på i det minste en av de tilgjengelige mediestrømmer fra den første klienten (1); f) ved mottak av i det minste én abonneringsmelding fra den i det minste ene andre klienten (2), å transmittere, av den sentrale enheten (4), en melding som forespør den første klienten (1) om å starte transmittering av mediestrømmer som abonneres på av den i det minste ene andre klienten (2); g) å transmittere mediestrømmer som nå abonneres på av den i det minste ene andre klienten (2) fra den første klienten (1) til den sentrale enheten (4); og h) å transmittere, fra den sentrale enheten (4), mediestrømmene som nå abonneres på av den i det minste ene andre klienten (2) fra den sentrale enhet (4), til den i det minste ene andre klienten (2), og i) å gjenta trinnene e) til h) når den i det minste ene andre klienten (2) forespør om å abonnere på i det minste en annen mediestrøm som nå ikke abonneres på, og hvor nevnte forespørsel skyldes endring i layout for nevnte andre klientdisplay eller en båndbredderestriksjon, og videre å transmittere en av-abonneringsmelding fra den i det minste ene andre klienten (2) til den sentrale enheten (4), hvilket av-abonnerer i det minste en av mediestrømmene som det ikke er gjort bruk av.

2. Fremgangsmåte i samsvar med krav 1, hvor metadata som beskriver de ulike mediestrømmene som den første klienten (1) er i stand til å transmittere, omfatter i det minste én av båndbreddeterskel og videooppløsning.

3. Fremgangsmåte i samsvar med krav 1, hvor de ulike mediestrømmene som den første klienten (1) er i stand til å transmittere, omfatter data tilveiebrakt av i det minste én av et presentatørkamera, et publikumskamera og et dokumentkamera.

4. Fremgangsmåte i samsvar med krav 1, hvor trinnet med å bestemme hvilke av de tilgjengelige mediestrømmene fra den første klienten (1) som den i det minste ene andre klienten (2) vil abonnere på, er basert på i det minste én av prosesseringskraft for klienten, båndbredderestriksjoner og layout for et klientdisplay.

5. Fremgangsmåte i samsvar med krav 1, hvor fremgangsmåten videre omfatter at den sentrale enheten (4) automatisk forespør forbundne klienter til å transmittere i det minste én audiostrøm, og den sentrale enheten (4) automatisk transmitterer alle mottatte audiostrømmer til alle forbundne klienter.

6. Fremgangsmåte i samsvar med krav 1, hvor fremgangsmåten videre omfatter at den i det minste ene andre klienten (2) mikser de mottatte abonnerte mediestrømmer lokalt.

7. Fremgangsmåte i samsvar med krav 1, hvor samtalekontrollprotokollen er én av SIP, H.323 og Jingle.

8. System tilpasset å utføre fremgangsmåten i samsvar med ett av de ovenstående krav, idet systemet omfatter i det minste to klienter (1, 2) i et kommunikasjonsnettverk støttet av en sentral enhet (4).