NO336217B1 - Fremgangsmåte, datamaskinprogram og system for håndtering av mediestrømmer i videokonferanser. - Google Patents
Fremgangsmåte, datamaskinprogram og system for håndtering av mediestrømmer i videokonferanser. Download PDFInfo
- Publication number
- NO336217B1 NO336217B1 NO20121568A NO20121568A NO336217B1 NO 336217 B1 NO336217 B1 NO 336217B1 NO 20121568 A NO20121568 A NO 20121568A NO 20121568 A NO20121568 A NO 20121568A NO 336217 B1 NO336217 B1 NO 336217B1
- Authority
- NO
- Norway
- Prior art keywords
- decision
- nodes
- groups
- loudest
- node
- Prior art date
Links
- 238000000034 method Methods 0.000 title claims description 16
- 238000004590 computer program Methods 0.000 title description 3
- 230000005540 biological transmission Effects 0.000 claims description 5
- 239000002131 composite material Substances 0.000 description 2
- 238000010586 diagram Methods 0.000 description 2
- 239000000203 mixture Substances 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 238000013459 approach Methods 0.000 description 1
- 238000003066 decision tree Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 230000010354 integration Effects 0.000 description 1
- 238000005259 measurement Methods 0.000 description 1
- 238000011084 recovery Methods 0.000 description 1
- 230000008521 reorganization Effects 0.000 description 1
- 230000005236 sound signal Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L12/00—Data switching networks
- H04L12/02—Details
- H04L12/16—Arrangements for providing special services to substations
- H04L12/18—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast
- H04L12/1813—Arrangements for providing special services to substations for broadcast or conference, e.g. multicast for computer conferences, e.g. chat rooms
- H04L12/1822—Conducting the conference, e.g. admission, detection, selection or grouping of participants, correlating users to one or more conference sessions, prioritising transmission
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/563—User guidance or feature selection
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/563—User guidance or feature selection
- H04M3/565—User guidance or feature selection relating to time schedule aspects
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M3/00—Automatic or semi-automatic exchanges
- H04M3/42—Systems providing special services or facilities to subscribers
- H04M3/56—Arrangements for connecting several subscribers to a common circuit, i.e. affording conference facilities
- H04M3/567—Multimedia conference systems
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04M—TELEPHONIC COMMUNICATION
- H04M2201/00—Electronic components, circuits, software, systems or apparatus used in telephone systems
- H04M2201/50—Telephonic communication in combination with video communication
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Vision & Pattern Recognition (AREA)
- General Engineering & Computer Science (AREA)
- Computer Networks & Wireless Communication (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
- Data Exchanges In Wide-Area Networks (AREA)
- Information Transfer Between Computers (AREA)
Description
Fremgangsmåte, datamaskinprogram og system for håndtering av mediestrømmer i videokonferanser.
Teknikkens område
Den foreliggende oppfinnelse angår en fremgangsmåte, datamaskinprogram og system for kontinuerlig å gi en oversikt over den høyeste taler eller talere i en videokonferanse.
Oppfinnelsens bakgrunn
Overføring av levende bilder i sanntid benyttes i flere anvendelser som eksempelvis videokonferanser, nettmøter og videotelefoni.
Videokonferansesystemer tillater simultan utveksling av lyd, video og data mellom flere konferanselokasjoner. Systemer kjent som multilokasjonskontrollenheter (MCU) utfører svitsjefunksjoner for å tillate endepunkter på flere lokasjoner å kommunisere seg i mellom i en konferanse. MCU knytter lokasjonene sammen ved å motta enkeltbilder av konferansesignaler fra lokasjonene, behandle de mottatte signaler, og på nytt sende de bearbeidede signaler til de aktuelle lokasjonene. Konferansesignaler inkluderer lyd, video, data og kontrollinformasjon. I en "svitsjet" (switched) konferanse, blir videosignalet fra en av konferansens lokasjoner, vanligvis til den som snakker høyest, kringkastet til hver av de andre deltakerne. I en "kontinuerlig tilstedeværende" (continuous presence) konferanse, er videosignaler fra to eller flere lokasjoner romlig mikset for å danne et samlet videosignal til visning for konferansedeltakerne. Når de ulike videostrømmene har blitt mikset sammen til en enkelt videostrøm, blir den sammensatte videostrømmen transmittert til de forskjellige deltakerne i videokonferansen, hvor hver transmitterte videostrøm helst følger et satt system som indikerer hvem som skal motta hvilken videostrøm. Generelt vil de ulike brukerne foretrekke å motta ulike videostrømmer. Det kontinuerlig tilstedeværende - eller sammensatte bildet, er et kombinert bilde som kan inkludere direktetransmittert videostrøm, stillbilder, menyer eller andre visuelle bilder fra de deltakende i konferansen.
Som antydet ovenfor, et antall endepunkter som bruker en flerstrøms (multi-stream) tilnærming kan hver sende lyd til alle de andre endepunktene, og hvis de er nominert som den "høyeste taler" (loudest speaker), sender de også sin video. Videoen av den høyeste taleren blir enten vist alene, eller som den største visningen på skjermen.
"Stemmesvitsjet" (voice switched) brukes vanligvis til å beskrive en konferanse hvor bare én taler er synlig til enhver tid. Kontinuerlig tilstedeværelse refererer til de konferanser hvor mange talere er synlige, noen ganger med den aktive taleren uthevet. "Aktiv tilstedeværelse" (active presence) er alltid det siste tilfellet.
En lignende situasjon vil oppstå i en distribuert MCU med flere virtuelle endepunkter som mikser lyd og video transmittert over bakplanet. MCUen er i dette tilfellet fordelt på flere fysiske kabinett. Programvarearkitekturen er anordnet slik at det i stedet for å bruke bakplanet til å kommunisere mellom komponentene, blir Ethernet nettverk, enten LAN eller WAN, brukt. I den følgende beskrivelse, er endepunktene referert til som både reelle endepunkter og virtuelle endepunkter.
I visse tilfeller, når en ny taler starter, kan et endepunkt svitsje meget raskt slik at den første stavelsen går tapt.
US 20080165245 Al er relater til integrasjon av lydkonferansebro med videomultipunkt-kontrollenhet. Et system inkluderer en videomultipunkt-kontrollenhet (Multipoint Control Unit (MCU))og en lydkonferansebro, lydkonferansebroen kan opereres til å motta lydstrømmer fra kun lyd- og videoendepunkter, og å forhandle videosesjoner mellom hvert av videoendepunktene og video-MCU'en. I respons på deteksjon av når en av videoendepunktene er en aktiv høyttaler sender lydkonferansebroen en dummy-lydstrøm over en dummy-lydkanal fra lydkonferansebroen til video-MCU. Dummy-lydstrømmen fører til at video-MCU'en skifter et bilde i en video-outputstrøm.
US 20120300017 Al er relater til en forstyrret resurshåndtering for et flertall lokale mediaporter for å tilveiebringe videokonferanse. Mediaporter (Media Gateway (MG)), gruppert i et hierarki er i stand til å tilveiebringe en multideltakerkonferanse blant klientanordninger. Portresurser slik som prosessorer, codec'er og nettverksgrensesnitt er aggregert ved hver MG for å etablere distribuerte koblingssesjoner basert på resurshåndteringsmatriser slik som å minimerer totalt nettverk. De distribuerte koblingssesjonene er brukt til å tilveiebringe multideltakerkonferansen. Hver MG kan aggregere portresursene, som kan være bestemt ved å bruke en oppslagstabell, fra andre MG'er for deling blant MG'ene. Hver MG kan være aktivert for å tilveiebringe mediaportkontrolleren (Media Gateway Controller (MGC)) som prosesserer ved å bruke de delte aggregerte portresursene. En MG kan bli deaktivert fra MGC-prosesseringen når det er nødvendig, og de assosierte koblingssesjonene kan deretter bli frigjort. Portresurser er håndtert ved hver MG basert på resurshåndteringsmatriser for å etablere distribuerte koblingssesjoner for å støtte multideltakerkonferansen blant klientanordningene.
US 7007098 Bl redegjør for en framgangsmåte for å kontrollere videosignaler i en multideltakervideokonferanse som involverer å fastsette nivået til videosignaler påkrevd fra hver deltaker for å blande de ønskede kringkastingsvideosignalene, og å bruke resultatene av denne fastsettelsen til å dynamisk kontrollere videooutput fra konferansedeltakernes endepunkter. Fastsettelsen av det påkrevde nivået av videosignaler bruker fortrinnsvis en lydmiksealgoritme, slik at videooutput fra de deltakerne hvis lydsignaler for øyeblikket er forkastet i lydmikseprosessen er skrudd av ved endepunktene, eller er sendt i et lavere båndbreddeformat, dermed reduseres konferansens totale båndbreddekrav og reduserer prosessorresurser for å blande kringkastingsvideosignalene.
US 20090167841 Al er relater til en framgangsmåte for
multideltakervideokonferanse uten en multipunktkonferanseenhet som inkluderer de følgende stegene: å generere en multicastskog; justere videooppløsningen for å senke strømningsraten; og å begrense antallet lydmedlemmer av medlemmene. Multicastskogen inkluderer et flertall multicasttrær og måter å koble nodene i trærne er alle forskjellige fra hverandre.
Oppsummering av oppfinnelsen
Et formål i anvendelse av den foreliggende oppfinnelse beskrevet heri, er å overvinne eller i det minste å redusere ulempene nevnt ovenfor. Dette og andre formål er oppnådd av de uavhengig fremlagte kravene presentert her.
Ifølge ett aspekt, er det tilveiebrakt en fremgangsmåte for administrasjon av mediestrømmer som omfatter i det minste videodata og lyddata i en videokonferanse med flere deltagere. Videokonferansen involverer én eller flere grupper av én eller flere noder som respektivt mottar én mediestrøm fra hver av en flerhet av tilknyttede endepunkter. Som et eksempel kan endepunktet være assosiert med én respektiv node. I hver av de én eller flere noder i hver av de én eller flere grupper, blir den høyeste lyden i mediestrømmen som mottas fra den respektive flerhet av tilknyttede endepunkter bestemt. Videre; hver av de én eller flere noder av de respektive én eller flere grupper sender en indikasjon av den bestemte høyeste lyds volum og en identifikasjon på noden som er tilknyttet den høyeste lyden fra hver av de én eller flere noder i de respektive én eller flere grupper med en respektiv beslutningstaker tilknyttet hver av de én eller flere grupper. I hver av de én eller flere beslutningstakere, er det høyeste mottatte volumet og den tilknyttet identifikasjon bestemt. Deretter; en beslutningstaker instruerer noden med identifikasjonen som tilhører det høyeste bestemte volumet å transmittere den mottatte mediestrøm fra endepunktet assosiert med den bestemte høyeste lyd til alle noder i én eller flere grupper, eller til en respektiv proxy som er tilknyttet hver av de én eller flere grupper.
Hver beslutningstaker kan respektivt være assosiert med de én eller flere grupper som blir tilordnet ett nivå av et antall nivåer i en hierarkisk trestruktur hvor beslutningstakerne er organisert.
I noen anvendelser av oppfinnelsen her beskrevet vil fremgangsmåten videre innbefatte og transmittere fra hver av de én eller flere beslutningstakere som ikke er tilordnet det høyeste nivået av et antall nivåer en indikasjon av det respektive høyeste bestemte volum og den respektivt assosierte identifikasjonen til beslutningstakeren på neste nivået i den hierarkiske trestrukturen.
Beslutningstakeren, i trinnet for å instruere, kan bli tilordnet til det høyeste nivået av et antall nivåer i den benyttede hierarkiske trestrukturen.
En node, eksempelvis noen av de én eller flere noder, kan være et virtuelt endepunkt, en multimedia server, en MCU, eller en underenheter i en distribuert
MCU.
En node, eksempelvis noen av de én eller flere noder, kan være en underenhet i en distribuert MCU som videre transmitterer den mottatte mediestrømmen fra endepunktet assosiert med den høyeste bestemte lyden til alle dens tilhørende flerhet av endepunkter.
I samsvar med et annet aspekt, er det tilveiebrakt en datamaskinimplementert beslutningstaker for administrasjon av mediestrømmer som omfatter i det minste videodata og lyddata i en videokonferanse med flere deltakere som involverer én eller flere grupper av én eller flere noder som respektivt mottar en mediestrøm fra hver enkelt av en flerhet tilknyttede endepunkter. Beslutningstakeren omfatter et mottakelsesmiddel, konfigurert til å motta, fra hver av de én eller flere noder i de respektive én eller flere grupper, en indikasjon på den respektivt bestemte høyeste lyds volum og en identifikasjon på den respektive noden som er assosiert med den høyeste lyden i de én eller flere noder i de respektive én eller flere grupper. Videre; et bestemmelsesmiddel konfigurert til å bestemme det høyest mottatte volum og den assosierte identifikasjon. Videre; beslutningstakeren omfatter et instruksjonsmiddel konfigurert til å instruere noden til identifikasjonen som tilhører det høyest bestemte volumet til å transmittere den mottatte mediestrømmen fra endepunktet assosiert med den bestemte høyeste lyden til alle noder i én eller flere grupper, eller til en respektiv proxy assosiert med hver av de én eller flere grupper.
Beslutningstakeren kan bli tilordnet, eksempelvis konfigurert til å bli tilordnet, til et nivå av et antall nivåer i en hierarkisk trestruktur hvor en flerhet av de respektive beslutningstakere assosiert med én eller flere grupper er organisert.
I noen anvendelser av oppfinnelsen beskrevet her, omfatter beslutningstakeren videre et transmisjonsmiddel konfigurert til å transmittere en indikasjon på det respektivt høyest bestemte volum og den respektive identifikasjonen assosiert med dette til en annen beslutningstaker på det neste nivå i den hierarkiske trestrukturen.
Beslutningstakeren kan tildeles det høyeste nivået i den hierarkiske trestrukturen.
En node, eksempelvis noen av de én eller flere nodene, kan være et virtuelt endepunkt, en multimedia server, en MCU, eller en underenhet i et distribuert MCU.
En node, eksempelvis noen av de én eller flere noder, kan være en underenhet i en distribuert MCU som videre er konfigurert til å transmittere den mottatte mediestrømmen fra endepunktet assosiert med den høyeste bestemte lyden til alle dens tilhørende flerhet av endepunkter.
Kort beskrivelse av tegningene
Figur 1 viser en illustrasjon av dataflyten mellom noder i samsvar med en modell med en lokal beslutningstaker, Figur 2 viser en illustrasjon av dataflyten mellom noder i samsvar med en modell med en sentral beslutningstaker, Figur 3 viser en illustrasjon av dataflyten mellom noder som i samsvar med anvendelse av et logikktre, Figur 4 viser et sekvensdiagram som illustrerer dataflyten mellom noder på en tidslinje i samsvar med en eksempelvis anvendelse av oppfinnelsen her presentert.
Detaljert beskrivelse av en eksempelutførelsesform
I samsvar med anvendelser av den foreliggende oppfinnelsen beskrevet heri er det ønskelig at, etter som en ny taler starter, et endepunkt kan svitsje mellom talere meget raskt slik at den første stavelsen ikke går tapt. Det er derfor ønskelig at alle endepunkter transmitterer lyd til alle de andre endepunktene til enhver tid, slik at hvis de skulle bli en aktiv taler kan de bli mikset inn med minst mulig forsinkelse. Hva angår MCUen, kan en forenkling gjøres med en lokal beslutning på hver enkel node om hvilke mediestrømmer som er mulige kandidater til å mikses og dermed skal videresendes.
En beslutning må tas i relasjon til hvilke mediestrømmer som bør legges til i et endepunkts miks som den høyest taler.
Oppfinnerne har innsett to mulige løsninger på problemet diskutert ovenfor - lokal eller sentral beslutningstaker. I tilfellet med lokal beslutning, mottar hvert endepunkt lyd fra hver av de andre endepunktene. En lokal beslutning blir deretter tatt for hvilke som er de N høyeste lydstrømmene og bør legges til i miksen. En forenkling kan gjøres i tilfellet med MCUen hvor hver enkelt node transmitterer sine N høyest strømmer til alle andre noder, men ikke alle de andre strømmene. Betegnelsene "node" og "undernoder" som brukt heri, omfatter alle enheter som kan delta i en videokonferanse som endepunkter, virtuelle endepunkter, multimedia servere, MCUer, underenheter i en distribuert MCU og så videre. Imidlertid vil en node som presentert i de følgende diskusjonene håndtere en rekke undernoder eller endepunkter på et lokalt område.
Modellen for lokal beslutningstaking er illustrert i figur 1. Node 1 og 2 får videodata og lyddata fra sine respektive undernoder. En beslutning om hvilke av de innkommende lydstrømmene som er høyest i volum, blir kontinuerlig tatt. Node 1 og 2 sender deretter den respektive videoen assosiert med den høyest taler til alle de andre nodene. Dette er også tilfelle for alle de andre nodene, men av hensyn for å klargjøre, er kun videresendinger fra node 1 og 2 vist med piler. Hver node kan videre videresende videoen fra den høyeste mottatte taler til sine endepunkter.
Ved nettverksfeil er denne modellen robust. Noder som ikke kan transmittere lyd til mottakeren blir rett og slett ikke lagt til listen over kandidater som kan mikses. Ingen restrukturering er nødvendig ettersom noder blir på- og frakoblet, kun å legge til eller fjerne datastrømmer er nødvendig. På den annen side, kan dette være meget krevende med tanke på båndbredde, da det kreves en totalt masket forbindelse mellom alle nodene. Dette betyr at antallet tilkoblinger øker med kvadratet av antall noder, som vil sterkt begrense løsningens skalerbarhet.
En alternativ modell benytter en sentral beslutningstaker der alle datastrømmene sendes til en sentral node som kun videresender den N høyeste. En beslutningstaker kan være en datamaskinprosess implementert i en datamaskin på et lokalt område som tar beslutninger basert på data fra målinger og forhåndsprogrammerte algoritmer. En naturlig forenkling av dette er å transmittere kun lydens effektnivåer til det sentrale punktet, der den sentrale noden deretter instruerer noden med den høyeste rapporterte taler til å transmittere video til de andre nodene. Mottakernodene mottar så én datastrøm som de videresender til det tilknyttede endepunktet. Denne modellen er illustrert i figur 2. Node 1 og 2 får video og lyd fra sine respektive undernoder. Node 1 og 2 sender deretter volumet til de respektivt høyest talende til en sentral beslutningstaker. I realiteten vil den respektivt høyeste talers volum bli sendt fra alle nodene, men for enkelhets skyld er kun volumet fra 1 og 2 vist på figuren. Beslutningstakeren sammenligner volumene og bestemmer hvilket som er høyest. I dette eksempelet, er det rapporterte volumet fra node 1 høyest, og dermed instruerer beslutningstakeren node 1 til å videresende video fra sin høyeste taler til node 3, 4 og 5. Hver node kan videre videresende video av den mottatte høyeste taler til endepunktene.
Samtidig som den skalerer bedre enn modellen med lokal beslutningstaker, har modellen med sentral beslutningstaker en ulempe ved at den er ekstremt skjør med tanke på nettverks brudd.
I samsvar med anvendelser av den foreliggende oppfinnelsen beskrevet heri, er en hybridmodell av den lokale beslutningstakermodellen og den sentrale beslutningstakermodellen benyttet. Innenfor et enkelt område, der nettverket er robust, gjøres beslutningstaking og distribusjon av media i henhold til den lokale beslutningstakermodellen. I tillegg blir den høyeste talers volum for hver enkel node på én lokasjon rapportert til en sentral beslutningstaker på denne plasseringen, som bestemmer hvilken node som er assosiert med den høyeste taler. De sentrale beslutningstakerne fra flere lokasjoner er videre satt inn i et logikktre.
De høyeste taleres volumer rapporteres respektivt oppover i den logiske trestrukturen, og den høyeste av nodene instrueres å sende video til alle andre noder som deltar i konferansen.
Figur 3 er en illustrasjon av et eksempel i henhold til én anvendelse av den foreliggende oppfinnelsen. I dette eksempelet er det tre lokasjoner som deltar i konferansen: Oslo, London og New York. I New York (NY), håndterer node 1 og 2 en rekke respektive endepunkter, hvorfra media (lyd og video) blir mottatt. Volumet og den høyeste talers identitet blant de respektive nodene blir rapportert til en beslutningstaker i NY. Beslutningstakeren i NY bestemmer videre den høyeste taleren av de innrapporterte, og rapporterer resultatet, som i dette eksempel er volumet til node 1, til beslutningstakeren plassert på det neste nivået i den logiske trestrukturen, hvilket i dette tilfellet er lokasjonen i Oslo. London er definert på samme nivå i logikktreet som lokasjonen i NY, og rapporterer følgelig på samme måte den høyeste talers volum til beslutningstakeren, som i dette eksempelet er node 5. En beslutningstaker i Oslo avgjør volumet rapportert fra NY til å være høyest, og sender derfor en tilbakemelding til beslutningstakeren i NY at høyest taler for tiden befinner seg i NY, administrert av node 1. Som svar på det, instruerer beslutningstakeren i NY node 1 å transmittere video av den høyeste taleren til alle nodene som deltar i konferansen, dvs. til node 3, 4 og 5. Hver node kan videre videresende den mottatte videoen til sine endepunkter.
Figur 4 viser et sekvensdiagram som illustrerer dataflyten mellom nodene i samsvar med den eksempelvise anvendelsen av den foreliggende oppfinnelse her diskutert med henvisning til figur 3.
Det er totalt fem noder som deltar i konferansen; node 1 og 2 er i New York, node 3 er i Oslo, og node 4 og 5 er i London. Volumene til de høyeste talerne til hver node er slik at 1 > 2> 3> 4 > 5.
Ved t = 0, sender alle nodene den høyeste talers volum til deres respektive beslutningstakere, vist med symbolet o. Ved tiden 1 rapporterer alle beslutningstakerne den høyest av de respektivt tidligere rapporterte høyest talerne tilbake til de lokale nodene. I NY, er dette node 1, i Oslo er dette node 3, og i London, er dette node 4. Samtidig vil beslutningstakerne i NY og London respektivt rapportere node 1 og node 4 som den høyest taler i sine lokasjoner til beslutningstakeren i Oslo, som er ett nivå over i logikktreet.
Ved t = 2, melder beslutningstakeren i Oslo til beslutningstakerne i NY og London at node 1 har den høyeste taleren av alle nodene som inngår i konferansen. Dette blir videre rapportert internt ved lokasjonen i London ved t = 3.
Informasjonen om den høyest taler er nå spredt til alle nodene, og node 1 begynner å sende video fra den høyeste taleren til alle de andre nodene.
Ved å benytte et logisk beslutningstre som beskrevet ovenfor, trenger kun video fra noden som håndterer den høyest talende person å bli transmittert, mens det samtidig opprettholdes robusthet mot nettverksfeil. En svikt i nettverket mellom to av lokasjonene vil ikke umiddelbart påvirke overføring av videoen fra den høyeste taler ved den tredje lokasjonen. Et nettverksbrudd mellom lokasjonene vil fjerne en beslutningsnode fra treet, som stopper media fra sin lokasjon. Ingen spesialtilpasset gjenoppretningsprosess er nødvendig. Imidlertid må en nettverksfeil mellom to lokasjoner medføre en omorganisering av logikktreet basert på forhåndsdefinerte prioriteringer fra de ulike lokasjonene. Eksempelvis kan London bli flyttet opp i logikktreet hvis Oslo faller ut.
I ytterligere forbedringer av anvendelse av den foreliggende oppfinnelse diskutert ovenfor, er en proxy innført ved hver node. Video fra lokasjonen som administrer den høyeste taleren blir deretter kun transmittert til de respektive proxiene ved hver lokasjon, slik at man unngår flere overføringer av den samme videoen til hver enkelt lokasjon. En proxy vil da motta og gjenskape videoen til hver node på samme lokasjon, noe som reduserer antall dataoverføringer intern mellom lokasjonene betraktelig.
Mens de anvendelser av den foreliggende oppfinnelsen beskrevet ovenfor skalerer med O (N2) innenfor en lokasjon, er N i så tilfelle relativt liten, og dermed er kostnadene akseptable. Treet skaler med O (log N), som drastisk reduserer antall strømmer som kreves mellom lokasjoner. Nettverksbrudd på en gitt lokasjon antas å være sjeldent, gitt at et godt nettverk i utgangspunktet er tilstede.
Claims (12)
1. En fremgangsmåte for administrasjon av mediestrømmer som omfatter i det minste videodata og lyddata i en videokonferanse med flere deltakere som involverer én eller flere grupper av én eller flere noder som respektivt mottar én mediestrøm fra hver av en flerhet tilknyttede endepunkter,
karakterisert ved
å bestemme i hver av de én eller flere nodene i hver av de én eller flere grupper den høyeste lyden til mediestrømmene som mottas fra den respektive flerhet av tilknyttede endepunkter,
å respektivt sende en indikasjon på den bestemte høyeste lyds volum og en identifikasjon på noden som er tilknyttet den høyeste lyden fra hver av de én eller flere noder i de respektive én eller flere grupper med en respektiv beslutningstaker tilknyttet hver av de én eller flere grupper,
å bestemme hos hver én eller flere beslutningstaker det høyest mottatte volum og den tilknyttede identifikasjon,
å instruere, fra en beslutningstaker, noden tilhørende identifikasjonen med det høyest bestemte volum å transmittere den mottatte mediestrøm fra endepunktet assosiert med den bestemte høyeste lyd til alle noder i én eller flere grupper, eller til en respektiv proxy tilknyttet hver av de én eller flere grupper.
2. En fremgangsmåte i henhold til krav 1,karakterisert vedat hver beslutningstaker som respektivt er assosiert med én eller flere grupper blir tilordnet ett nivå av et antall nivåer i en hierarkisk trestruktur hvor beslutningstakerne er organisert.
3. En fremgangsmåte i henhold til krav 2,
som videre omfatter: å transmittere fra hver av de én eller flere beslutningstakere som ikke er tilordnet det høyeste nivået av antallet nivåer en indikasjon på det respektive høyest bestemte volum og den respektivt assosierte identifikasjon til beslutningstakeren på neste nivå i den hierarkiske trestrukturen.
4. En fremgangsmåte i henhold til krav 3, der
beslutningstakeren, i trinnet for å instruere, er tilordnet det høyeste nivået av et antall nivåer i den benyttede hierarkiske trestrukturen.
5. En fremgangsmåte i henhold til ett av kravene 1-4, der en node er et virtuelt endepunkt, en multimedia server, en MCU, eller en underenhet i en distribuert MCU.
6. Fremgangsmåte i henhold til ett av kravene 1-4,
der en node er en underenhet i en distribuert MCU som videre transmitterer den mottatte mediestrømmen fra endepunktet assosiert med den høyest bestemte lyden til alle dens tilhørende flerhet av endepunkter.
7. En datamaskinimplementert beslutningstaker for administrasjon av mediestrømmer som omfatter i det minste videodata og lyddata i en videokonferanse med flere deltakere som involverer én eller flere grupper av én eller flere noder som respektivt mottar en mediestrøm fra hver enkelt av en flerhet tilknyttede endepunkter,
karakterisert ved
et mottakelsesmiddel, konfigurert til å motta, fra hver av de én eller flere noder i de respektive én eller flere grupper, en indikasjon på den respektivt bestemte høyeste lyds volum og en identifikasjon på den respektive noden som er assosiert med den høyeste lyden i de én eller flere noder i de respektive én eller flere grupper,
et bestemmelsesmiddel konfigurert til å bestemme det høyest mottatte volum og den assosierte identifikasjon,
et instruksjonsmiddel konfigurert til å instruere noden til identifikasjonen som tilhører det høyest bestemte volumet til å transmittere den mottatte mediestrømmen fra endepunktet assosiert med den bestemte høyeste lyden til alle noder i én eller flere grupper, eller til en respektiv proxy assosiert med hver av de én eller flere grupper.
8. En beslutningstaker i henhold til krav 7,
som blir tilordnet et nivå av et antall nivåer i en hierarkisk trestruktur hvor en flerhet av de respektive beslutningstakere assosiert med én eller flere grupper er organisert.
9. En beslutningstaker i henhold til krav 8,
som videre omfatter: et transmisjonsmiddel konfigurert til å transmittere en indikasjon på det respektivt høyest bestemte volum og den respektive identifikasjonen assosiert med dette til en annen beslutningstaker på det neste nivå i den hierarkiske trestrukturen.
10. En beslutningstaker i henhold til krav 8,
som blir tilordnet det høyeste nivået i den hierarkiske trestrukturen.
11. En beslutningstaker i henhold til krav 7-10,
der en node er et virtuelt endepunkt, en multimedia server, en MCU, eller en underenhet i et distribuert MCU.
12. En beslutningstaker i henhold til krav 7-10,
der en node er en underenhet i en distribuert MCU som videre er konfigurert til å transmittere den mottatte mediestrømmen fra endepunktet assosiert med den høyeste bestemte lyden til alle dens tilhørende flerhet av endepunkter.
Priority Applications (5)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
NO20121568A NO336217B1 (no) | 2012-12-21 | 2012-12-21 | Fremgangsmåte, datamaskinprogram og system for håndtering av mediestrømmer i videokonferanser. |
US13/945,347 US8976225B2 (en) | 2012-12-21 | 2013-07-18 | Method, computer program and device for managing media stream in video conferencing |
GB1510946.5A GB2528172B (en) | 2012-12-21 | 2013-12-10 | Method, computer program and device for managing media streams in video conferencing |
CN201380071830.7A CN105191295B (zh) | 2012-12-21 | 2013-12-10 | 用于在视频会议中管理媒体流的方法和设备 |
PCT/EP2013/076131 WO2014095499A1 (en) | 2012-12-21 | 2013-12-10 | Method, computer program and device for managing media streams in video conferencing |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
NO20121568A NO336217B1 (no) | 2012-12-21 | 2012-12-21 | Fremgangsmåte, datamaskinprogram og system for håndtering av mediestrømmer i videokonferanser. |
Publications (2)
Publication Number | Publication Date |
---|---|
NO20121568A1 NO20121568A1 (no) | 2014-06-23 |
NO336217B1 true NO336217B1 (no) | 2015-06-15 |
Family
ID=47720707
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
NO20121568A NO336217B1 (no) | 2012-12-21 | 2012-12-21 | Fremgangsmåte, datamaskinprogram og system for håndtering av mediestrømmer i videokonferanser. |
Country Status (5)
Country | Link |
---|---|
US (1) | US8976225B2 (no) |
CN (1) | CN105191295B (no) |
GB (1) | GB2528172B (no) |
NO (1) | NO336217B1 (no) |
WO (1) | WO2014095499A1 (no) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3035674B1 (en) | 2014-12-19 | 2021-05-05 | Unify Patente GmbH & Co. KG | Distributed audio control method, device, system, and software product |
CN112188144B (zh) * | 2020-09-14 | 2023-03-24 | 浙江华创视讯科技有限公司 | 音频的发送方法及装置、存储介质和电子装置 |
CN112702468A (zh) * | 2020-12-25 | 2021-04-23 | 维沃移动通信有限公司 | 一种通话控制方法及其装置 |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7007098B1 (en) * | 2000-08-17 | 2006-02-28 | Nortel Networks Limited | Methods of controlling video signals in a video conference |
US20080165245A1 (en) * | 2007-01-10 | 2008-07-10 | Cisco Technology, Inc. | Integration of audio conference bridge with video multipoint control unit |
US20090167841A1 (en) * | 2007-12-28 | 2009-07-02 | Industrial Technology Research Institute | System and method for multi-participant video conference without multipoint conferencing unit |
US20120300017A1 (en) * | 2011-05-23 | 2012-11-29 | Li Gordon Yong | Distributed resource management for a plurality of local media gateways to provide video conferencing |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7800642B2 (en) * | 2006-03-01 | 2010-09-21 | Polycom, Inc. | Method and system for providing continuous presence video in a cascading conference |
US20090268008A1 (en) * | 2008-04-24 | 2009-10-29 | Cisco Technology Inc. | Media conference switching in a multi-device configuration |
US8477661B2 (en) * | 2009-08-14 | 2013-07-02 | Radisys Canada Ulc | Distributed media mixing and conferencing in IP networks |
CN102082944B (zh) * | 2009-11-30 | 2016-03-09 | 华为终端有限公司 | 一种包含远程呈现会场的会议控制方法、装置及系统 |
US8411129B2 (en) * | 2009-12-14 | 2013-04-02 | At&T Intellectual Property I, L.P. | Video conference system and method using multicast and unicast transmissions |
US8787547B2 (en) * | 2010-04-23 | 2014-07-22 | Lifesize Communications, Inc. | Selective audio combination for a conference |
CN102404542B (zh) * | 2010-09-09 | 2014-06-04 | 华为终端有限公司 | 多屏视频会议中对与会者图像显示进行调整的方法及装置 |
CN102404543B (zh) * | 2010-09-13 | 2014-01-01 | 华为终端有限公司 | 级联会议中级联会场的处理方法、装置及级联会议系统 |
CN102547210B (zh) * | 2010-12-24 | 2014-09-17 | 华为终端有限公司 | 级联会议中级联会场的处理方法、装置及系统 |
US20130250037A1 (en) * | 2011-09-20 | 2013-09-26 | Vidyo, Inc. | System and Method for the Control and Management of Multipoint Conferences |
US8791982B1 (en) * | 2012-06-27 | 2014-07-29 | Google Inc. | Video multicast engine |
-
2012
- 2012-12-21 NO NO20121568A patent/NO336217B1/no unknown
-
2013
- 2013-07-18 US US13/945,347 patent/US8976225B2/en active Active
- 2013-12-10 GB GB1510946.5A patent/GB2528172B/en active Active
- 2013-12-10 WO PCT/EP2013/076131 patent/WO2014095499A1/en active Application Filing
- 2013-12-10 CN CN201380071830.7A patent/CN105191295B/zh active Active
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7007098B1 (en) * | 2000-08-17 | 2006-02-28 | Nortel Networks Limited | Methods of controlling video signals in a video conference |
US20080165245A1 (en) * | 2007-01-10 | 2008-07-10 | Cisco Technology, Inc. | Integration of audio conference bridge with video multipoint control unit |
US20090167841A1 (en) * | 2007-12-28 | 2009-07-02 | Industrial Technology Research Institute | System and method for multi-participant video conference without multipoint conferencing unit |
US20120300017A1 (en) * | 2011-05-23 | 2012-11-29 | Li Gordon Yong | Distributed resource management for a plurality of local media gateways to provide video conferencing |
Also Published As
Publication number | Publication date |
---|---|
GB2528172A (en) | 2016-01-13 |
CN105191295B (zh) | 2018-04-17 |
GB201510946D0 (en) | 2015-08-05 |
US8976225B2 (en) | 2015-03-10 |
GB2528172B (en) | 2017-07-26 |
WO2014095499A1 (en) | 2014-06-26 |
NO20121568A1 (no) | 2014-06-23 |
CN105191295A (zh) | 2015-12-23 |
US20140176666A1 (en) | 2014-06-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR101245476B1 (ko) | 원격 회의를 위한 멀티미디어 스트림의 효율적인 송신을 위한 방법 및 장치 | |
EP2241067B1 (en) | Multiway peer-to-peer media streaming | |
US8144187B2 (en) | Multiple video stream capability negotiation | |
US20090164575A1 (en) | Method and system for the establishment of complex network telepresence conference | |
US20080137643A1 (en) | Accessing call control functions from an associated device | |
US8407288B2 (en) | Efficient network routing to reduce bandwidth usage and latency | |
US8385234B2 (en) | Media stream setup in a group communication system | |
CN101841422B (zh) | 语音会议中实现私人聊天的方法和系统 | |
NO341315B1 (no) | Dynamisk allokering av enkodere | |
US20110187813A1 (en) | Method of Connecting Mesh-Topology Video Sessions to a Standard Video Conference Mixer | |
US20090019112A1 (en) | Audio and video conferencing using multicasting | |
US20150229487A1 (en) | Systems and methods for automatic translation of audio and video data from any browser based device to any browser based client | |
US8692864B2 (en) | Dynamic virtual multipoint video conference control unit | |
NO336217B1 (no) | Fremgangsmåte, datamaskinprogram og system for håndtering av mediestrømmer i videokonferanser. | |
Civanlar et al. | Peer-to-peer multipoint videoconferencing on the Internet | |
US9338402B2 (en) | Method and system for using mesh control for video conferencing bridges and cascading conferences | |
US10382337B2 (en) | In multimedia conferencing | |
US11716363B2 (en) | Messaging resource function | |
Ongtang et al. | Client-based Multipoint Media Mixer to Support People with Hearing Impairment in Communication | |
CN115695387B (zh) | 音视频会议实现方法、音视频会议系统及相关装置 | |
CA2644813A1 (en) | Method and system for the establishment of complex network telepresence conference | |
CN115118917A (zh) | 基于sip的音视频会议方法和系统 | |
CA2867310A1 (en) | Dynamic virtual multipoint video conference control unit |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
CREP | Change of representative |
Representative=s name: ONSAGERS AS, POSTBOKS 1813, VIKA, 0123 OSLO, NORGE |