NO341411B1 - Virtuelle endepunkter i videokonferanser - Google Patents
Virtuelle endepunkter i videokonferanser Download PDFInfo
- Publication number
- NO341411B1 NO341411B1 NO20130330A NO20130330A NO341411B1 NO 341411 B1 NO341411 B1 NO 341411B1 NO 20130330 A NO20130330 A NO 20130330A NO 20130330 A NO20130330 A NO 20130330A NO 341411 B1 NO341411 B1 NO 341411B1
- Authority
- NO
- Norway
- Prior art keywords
- media stream
- upstream
- resolution
- downstream
- encoded
- Prior art date
Links
- 238000011144 upstream manufacturing Methods 0.000 claims description 64
- 238000000034 method Methods 0.000 claims description 26
- 239000002131 composite material Substances 0.000 description 3
- 238000012937 correction Methods 0.000 description 3
- 238000002370 liquid polymer infiltration Methods 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000005540 biological transmission Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 238000004590 computer program Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/157—Conference systems defining a virtual conference space and using avatars or agents
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
- G06T3/00—Geometric image transformations in the plane of the image
- G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L65/00—Network arrangements, protocols or services for supporting real-time applications in data packet communication
- H04L65/60—Network streaming of media packets
- H04L65/70—Media network packetisation
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
- H04N23/60—Control of cameras or camera modules
- H04N23/667—Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/141—Systems for two-way working between two video terminals, e.g. videophone
- H04N7/142—Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N7/00—Television systems
- H04N7/14—Systems for two-way working
- H04N7/15—Conference systems
- H04N7/152—Multipoint control units therefor
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Networks & Wireless Communication (AREA)
- Physics & Mathematics (AREA)
- General Physics & Mathematics (AREA)
- Theoretical Computer Science (AREA)
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Telephonic Communication Services (AREA)
Description
Teknikkens område
Den foreliggende oppfinnelse angår en fremgangsmåte, datamaskinprogram og system for å kunne tilby effektiv, storskala videokonferanser.
Oppfinnelsens bakgrunn
Overføring av levende bilder i sanntid benyttes i flere applikasjoner som for eksempel i videokonferanser, nettmøter og videotelefoni.
Videokonferansesystemer tillater simultan utveksling av lyd, video og data mellom flere konferanselokasjoner. Systemer kjent som multilokasjonskontrollenheter (MCU) utfører svitsjefunksjoner for å tillate endepunkter på flere lokasjoner å kommunisere seg imellom i en konferanse. Et endepunkt refererer konvensjonelt til en videokonferanseterminal, enten en frittstående terminal utstyrt med minst ett kamera, en skjerm, en høyttaler eller hodetelefoner og en prosessor eller en programvareklient for videokonferanser installert på en generell datamaskin med tilsvarende evner. I den videre beskrivelse vil dette også bli referert til som et "virkelig endepunkt" for å skille det fra et "virtuell endepunkt," hvis definisjon vil bli utdypet videre i denne beskrivelsen.
MCU-en knytter lokasjonene sammen ved å motta enkeltbilder av konferansesignaler fra lokasjonene, behandle de mottatte signaler, og på nytt transmittere de bearbeidede signaler til de aktuelle lokasjonene. Konferansesignaler inkluderer lyd, video, data og kontrollinformasjon. I en "svitsjet" (switched) konferanse, blir videosignalet fra en av konferansens lokasjoner, vanligvis av den som snakker høyest, kringkastet til hver av de andre deltakerne. I en "kontinuerlig tilstedeværende" (continuous presence) konferanse, er videosignaler fra to eller flere lokasjoner romlig mikset sammen for å danne et samlet videosignal til visning for konferansedeltakerne. Når de ulike videostrømmene har blitt mikset sammen til en enkelt videostrøm, blir den sammensatte videostrømmen transmittert til de forskjellige deltakerne i videokonferansen, hvor hver transmitterte videostrøm helst følger et satt system som indikerer hvem som skal motta hvilken videostrøm. Generelt vil de ulike brukerne foretrekke å motta ulike videostrømmer. Det kontinuerlig tilstedeværende-, eller sammensatte, bildet er et kombinert bilde som kan inkludere direktetransmittert videostrøm, stillbilder, menyer eller andre visuelle bilder fra deltakerne i konferansen. Det kombinerte bildet kan for eksempel være sammensatt av flere like store bilder, eller ett hovedbilde i tillegg til ett eller flere mindre bilder i innfelte vinduer, ofte referert til som "bilde-i-bilde" (picture-in-picture - PIP). PIPer krever vanligvis en mye lavere oppløsning enn hovedbildet på grunn av størrelsesforskjellen innenfor skjermen.
Et stort problem med de eksisterende MCU-er som benytter H.323- og SIP standardene er mangelen på skalerbarhet. For å holde større møter kan en av tre løsninger brukes: Alle endepunkter ringer inn til en enkelt, stor MCU på én enkelt lokasjon. Problemet med dette er det overdrevne båndbreddeforbruket. Som et eksempel, hvis en videokonferanse inkluderer et stort antall endepunkter både i USA og Europa med en MCU plassert i New York, vil en enorm bruk av båndbredde over Atlanterhavet mellom MCU-en og endepunktene i Europa være påkrevet.
En annen mulighet er å binde sammen flere MCU-er med kaskade (cascade) ved å benytte H.243 eller lignende standarder. Problemet med dette er at det kan føre til en dårligere brukeropplevelse. Når alle endepunktene ringer inn til den samme MCU-en, ser en deltaker vanligvis de 4 til 10 ferskeste talere på en gang. Når endepunkter ringer inn til to forskjellige MCU-er, kan et endepunkt kun se ett av de andre endepunktene som er koblet til den andre MCU-en.
Det eksiterer allerede MCU-er som ikke er basert på standarder og håndterer problemene omtalt ovenfor ved hjelp av teknikker som SVC (Scalable Video Coding), men investeringene gjort i endepunkter basert på standarder vil da gå tapt, og et problem med inter-operabilitet (interoperability) vil også oppstå.
Det finnes eksempler på relatert teknikk omtalt i patentlitteraturen. US2007/0230568 Al omtaler systemer og fremgangsmåter for å utføre transkoding i
videokommunikasjonssystemer som anvender skalerbare videokoding. Systemene og fremgangsmåtene kan brukes for å transkode eller konvertere inngangssignaler som har bestemte karakteristikker til ønskede utgangssignaler som har andre karakteristikk-krav. Systemene og fremgangsmåtene er basert på komprimert domeneprosessering, partiell dekoding og omkoding eller full dekoding -omkoding med sideinformasjon, avhengig av spesifikke karakteristikker for inngangssignalene og de ønskede utgangssignalene.
WO 2011/143438 Al omtaler systemer og fremgangsmåter for å støtte drift av Virtuelle Media Rom eller Virtuelle Møterom (VMR), der hvert VMR kan godta forskjellige geografisk lokasjon for er flertall av deltagere med videokonferansestrømmer fra forskjellige konferanseendepunkter.
Det vises også til WO 2013/017565 Al og LAMSRECH T, & AL, Optimizing multimedia transcoding multicast trees, Computer Networks 50 (2006), s. 29-45, Elsevier Science Publishers B.V., Amsterdam, NL for relatert teknikk.
Oppsummering av oppfinnelsen
Et formål ved anvendelser av oppfinnelsen presenterte heri, er å eliminere eller i det minste minke ulempene nevnt ovenfor. Dette formålet og andre formål oppnås ved de uavhengige kravene presentert i det følgende.
I henhold til et første aspekt er det tilveiebrakt et virtuelt endepunkt tilpasset til å bli installert på en datamaskinenhet assosiert med et videokonferanseendepunkt tilpasset til å delta i en videokonferanse med flere deltakere. Videokonferanseendepunktet er tilpasset til å kode og transmittere en oppstrøms mediestrøm som omfatter minst videodata i en oppstrømsretning og for å motta og dekode en kombinert mediastrøm i en nedstrømsretning. Det virtuelle endepunkt erkarakterisert vedå omfatte minst en oppstrøms dekoderenhet tilpasset til å dekode den oppstrøms kodede mediastrømmen mottatt fra videokonferanseendepunktet til en oppstrøms dekodet mediastrøm, en skaleringsenhet tilpasset til å skalere den oppstrøms dekodede mediastrømmen til en skalert oppstrøms mediastrøm, minst en oppstrøms koderenhet tilpasset til å kode den skalerte oppstrøms mediastrømmen til en kodet skalert oppstrøms mediastrøm. Det virtuelle endepunktet er viderekarakterisert veden første nedstrøms dekoderenhet tilpasset til å dekode en nedstrøms kodet mediestrøm av en første oppløsning, minst en andre nedstrøms dekoderenhet tilpasset til å dekode minst en av et antall nedstrøms kodede mediestrømmer av en andre oppløsning, en mediakomponeringsenhet tilpasset til å komponere en kombinert nedstrøms mediestrøm av dekodede mediestrømmer av den første og den andre oppløsningen, og minst en nedstrøms koderenhet tilpasset for å kode den kombinerte nedstrøms mediastrømmen.
I henhold til én utførelse er det virtuelle endepunktetkarakterisert vedat videre er tilpasset til å videresende den mottatte oppstrømskodede mediastrømmen.
I henhold til en annen utførelse er det virtuelle endepunktetkarakterisert vedat den første oppløsningen er en "High Definition" (HD) oppløsning.
I henhold til enda en utførelse er det virtuelle endepunktetkarakterisert vedat skaleringsenheten er tilpasset til å skalere videodata i den dekodede mediestrømmen til den andre oppløsningen.
I henhold til én utførelse er det virtuelle endepunktetkarakterisert vedat den andre oppløsning er en bilde-i-bilde (PIP) oppløsning.
I henhold til en annen utførelse er det virtuelle endepunktetkarakterisert vedat en eller flere andre respektive virtuelle endepunkter assosiert med en eller flere andre endepunkter tilpasset til å delta i en videokonferanse med flere deltakere er tilpasset til å bli installert på en datamaskinenhet.
I henhold til nok en utførelse er det virtuelle endepunktetkarakterisert vedat det omtalte virtuelle endepunkt blir koblet til en svitsjenode tilpasses til å svitsje den kodede og skalerte oppstrømsmediestrømmen og/eller oppstrøms kodede mediestrømmen i oppstrømsretning til andre svitsjenoder involvert i en videokonferanse med flere deltakere.
I henhold til en videre utførelse er det virtuelle endepunktetkarakterisert vedat svitsjenoden er ytterligere tilpasset til å svitsje den nedstrøms kodede mediastrømmen av den første oppløsning og det antallet nedstrøms kodede mediastrømmer av den andre oppløsningen til ett eller flere virtuelle endepunkter assosiert med de omtalte andre svitsjenoder.
I henhold til et andre aspekt, er det tilveiebrakt et virtuelt endepunkt installert på en datamaskinenhet i assosiert med et videokonferanseendepunkt som deltar i en videokonferanse med flere deltakere. Videokonferanseendepunktet koder og transmitterer en oppstrøms mediastrøm som omfatter minst videodata i en oppstrømsretning og å motta og dekode en kombinert nedstrøms mediastrøm i en nedstrømsretning,karakterisert ved. Fremgangsmåten erkarakterisert vedå omfatte trinnene: å dekode den oppstrøms kodede mediastrømmen mottatt fra videokonferanseendepunktet i en oppstrøms dekodet mediastrøm, å skalere den oppstrøms dekodede mediastrømmen til en skalert oppstrøms mediastrøm, å kode den skalerte oppstrøms mediastrømmen til en kodet skalert oppstrøms mediastrøm, å dekode den kodede nedstrøms mediestrømmen av en første oppløsning, å dekode et antall nedstrøms kodede mediestrømmer av en andre oppløsning, å komponere en kombinert mediestrøm av den nedstrøms mediestrømmen av den første oppløsningen og det antallet nedstrøms mediestrømmer av den andre oppløsningen, og å kode den kombinerte mediastrømmen.
I henhold til en utførelse er fremgangsmåtenkarakterisert vedå omfatte et tilleggstrinn ved å videresende den mottatte oppstrømskodede mediastrømmen.
I henhold til en annen utførelse er fremgangsmåtenkarakterisert vedat den første oppløsningen er en High Definition (HD) oppløsning.
I henhold til enda en utførelse er fremgangsmåtenkarakterisert vedet tilleggstrinn med å skalere videodataen i den dekodet mediastrømmen til en andre oppløsning.
I henhold til en videre utførelse er fremgangsmåten viderekarakterisert vedat den andre oppløsningen er en bilde-i-bilde (PIP) oppløsning.
I henhold til én utførelse er fremgangsmåtenkarakterisert vedat en eller flere andre respektive virtuelle endepunkter assosiert med en eller flere andre endepunkter som deltar i en videokonferanse med flere deltakere er installert på datamaskinenheten.
I henhold til en annen utførelse er fremgangsmåtenkarakterisert vedet tilleggstrinn med å svitsje den kodede skalerte oppstrøms mediestrømmen og/eller den oppstrøms kodede mediestrømmen i oppstrømsretning til andre svitsjenoder involvert i en videokonferanse med flere deltakere.
I henhold til en videre utførelse er fremgangsmåtenkarakterisert vedet tilleggstrinn med å svitsje den nedstrøms kodede mediastrømmen av den første oppløsningen og det antallet nedstrøms kodede mediestrømmer av den andre oppløsningen til en eller flere virtuelle endepunkter assosiert med de andre omtalte svitsjenodene.
I henhold til et tredje aspekt er det tilveiebrakt et endepunktsystem som omfatter minst ett virtuelt endepunkt i henhold til det diskutert i det foregående. Det virtuelle endepunktsystemet omfatter videre minst en svitsjenode tilpasset til å svitsje den kodede, skalerte oppstrøms mediastrømmen og/eller den oppstrøms kodede mediastrømmen i oppstrøms retning til andre svitsjenoder involvert i videokonferanse med flere deltakere.
Ytterligere trekk ved den foreliggende oppfinnelse fremkommer av de tilhørende patentkravene.
Kort beskrivelse av te<g>nin<g>ene
Figur 1 er en illustrasjon av et eksemplifisert virtuelt endepunkt i henhold til utførelser av den foreliggende oppfinnelse presentert her, Figur 2 er en illustrasjon av en eksemplifisert MCU som består av et antall virtuelle endepunkter og en svitsjenode i henhold til utførelser av den foreliggende oppfinnelse presentert her, Figur 3 er en illustrasjon av en eksemplifisert MCU koblet til en rekke forskjellige typer av endepunkter i henhold til utførelser av den foreliggende oppfinnelse presentert her, Figur 4 illustrer en eksemplifisert distribuert MCU duplet som består av en svitsjenode og to virtuelle endepunkter i henhold til utførelser av den foreliggende oppfinnelse presentert her, Figur 5 illustrer på en eksemplifisert måte hvordan et bakplan kun trenger å bære en høyoppløsningsstrøm i tillegg til et antall bildestrømmer med lav oppløsning i henhold til utførelser av den foreliggende oppfinnelse presentert her, Figur 6 viser på en eksemplifisert måte hvordan mediestrømmer over et bakplan enkelt kan kopieres og videresendes over bakplanet i samsvar med en utførelse av den foreliggende oppfinnelse, Figur 7 illustrer på en eksemplifisert måte hvordan mediadata over bakplanet enkelt kan kodes til å tilby et effektivt format mellom svitsjenodene i samsvar til en utførelse av den foreliggende oppfinnelse presentert her.
Detaljert beskrivelse av en eksempelutførelsesform
I henhold til utførelser av den foreliggende oppfinnelse presentert heri, er et virtuelt endepunkt introdusert som overkommer problemene diskutert ovenfor. Et virtuelt endepunkt er dedikert til å betjene ett spesifikt virkelig endepunkt, og det virtuelle endepunktet er typisk installert på en server i det samme lokale nettverket som det assosierte virkelige endepunktet, hvor en MCU eller en del av en distribuert MCU også er installert.
I oppstrømsretningen, omfatter det virtuelle endepunktet minst en oppstrømsdekoderenhet, en skaleringsenhet og en oppstrømskoderenhet. I nedstrømsretningen, omfatter det virtuelle endepunktet minst et antall dekoderen heter, en komponeringsenhet og en nedstrømskoderenhet.
Det reelle endepunktet transmitterer kodet data til sitt dedikerte virtuelle endepunkt som er dekodet av oppstrømsdekoderenheten. Den dekodede dataen er tilgjengelig for skaleringsenheten, og er igjen skalert ned til en forhåndsdefinert eller ønsket oppløsning. Den nedskalerte dataen er deretter kodet av oppstrømskoderenheten, og transmitteres videre som en nedskalert strøm, for eksempel til en eller flere strømsvitsjenoder (stream switching nodes). I tillegg til dette, er den mottatte kodede dataen fra det virkelige endepunktet videresendt gjennom det virtuelle endepunktet som en ikke-nedskalert strøm til én eller flere medianoder.
En skjematisk illustrasjon av et eksempel på et virtuelt endepunkt, som diskutert over, er vist i figur 1. Her er det virtuelle endepunktets oppgave i oppstrømsretning å opprette og transmittere to strømmer av den kodede dataen som mottas fra det assosierte reelle endepunktet, en med høy oppløsning, og en med lav oppløsning. I nedstrømsretning, er oppgaven til det virtuelle endepunktet å dekode én kodet HD (High Definition) datastrøm og en rekke kodede PIP-er mottatt fra en eller flere strømsvitsjenoder, å komponere ett kontinuerlig tilstedeværende bilde fra den kodede HD datastrømmen og det antallet PIP-er, og så videre kode hele det kontinuerlig tilstedeværende bildet som igjen transmitteres tilbake til det assosierte reelle endepunktene.
I eksempelet ovenfor, er bare én nedskalert strøm av den kodede dataen som er mottatt fra et assosiert reelt endepunkt transmittert til svitsjenoden. Imidlertid bør skaleringsenheten bli justert til å kunne nedskalere strømmer med et antall forskjellige oppløsninger hvis krevd. For eksempel er en oppløsning i henhold til en kvadrant av bildet ganske vanlig i en kontinuerlig tilstedeværende visning.
En enkelt MCU kan implementeres som en programvare på en fysisk "hyllevare" server/datamaskin, som består av en rekke virtuelle endepunkter i tillegg til en svitsjekjerne, som vist i figur 2. Alternativt kan komponentene innenfor den stiplede linjen bli innebygd og distribuert på en server. I det følgende er et virtuelt eksempel beskrevet med den forståelsen at ikke-virtualisert implementering også er mulig.
Som indikert i figur 3, er de virtuelle endepunktene inne i MCU-en koblet til de assosierte reelle endepunktene, som kan være en rekke forskjellige type endepunkter som gruppevideoendepunkter, personlige videoendepunkter, mobile videoendepunkter og programvarevideoendepunkter, som vist i figur 3.
Som illustrert i figur 4, kan flere strømsvitsjenoder som er assosiert med et antall virtuelle endepunkter, market med stiplede linjer, kobles på en fordelt måte av et bakplan, som forbinder flere strømsvitsjenoder i et tre og/eller en masketopologi. Det flertallet av strømsvitsjenoder og de assosierte virtuelle endepunktene kan enten bli distribuert av den samme verten (fysisk server), eller av forskjellige verter for en geografisk fordeling.
I henhold til utførelser av oppfinnelsen presentert heri, skjermer det virtuelle endepunktet den indre logikken i MCU-en fra det reelle endepunktet. Det reelle endepunktet kan være et hvilket som helst standardbasert SIP, H.323, HTML5 endepunkt, som benytter et hvilket som helst antall stemme- og videokodeker.
Som tidligere antydet, kan det virtuelle endepunkt være satt opp for å motta, fra svitsjingskjernen, et antall videostrømmer:
- Den nåværende taler i høy oppløsning
- Det siste vilkårlige antallet av talere, for eksempel de 4 til 9 siste talere, som lavoppløsningsstrøm
Unntaket fra denne regelen er at deltakeren som er den nåværende taleren sannsynligvis ønsker å motta den foregående taleren i høy oppløsning, da det sannsynligvis ikke er noen deltaker som vil ønske å se seg selv i fullskjermsvisning.
Det virtuelle endepunktet vil da dekode disse strømmene, skalere og komponere det inn i en fin kontinuerlig tilstedeværelse utforming, og kode det resulterende bildet inn i en videostrøm passende for det reelle endepunktet den er koblet til.
En valgfri strømsvitsjenode kan gjøre alle sine strømmer tilgjengelig også over bakplanet. I et distribuert system kan dermed en annen strømsvitsjenode be om å motta en rekke strømmer. Dette betyr at brukeropplevelsen for alle endepunktene er identisk, for eksempel den nåværende taler i fullskjerm samt en rekke tidligere talere i mindre miniatyrbilder. Det faktumet at flere strømmer kan transmitteres mellom strømsvitsjenoder er en stor forskjell fra måten eksisterende MCU-er kaskades ved å bruke mekanismer som H.243 (disse eldre metodene for å gjøre kaskade gir kun én enkelt toveis videostrøm mellom MCU-ene).
Siden flere strømmer transmitteres over bakplanet, er båndbreddeforbruk en grunn til bekymring. Imidlertid er kun de strømmene som representerer den nåværende og forrige taler transmittert med full oppløsning. De andre deltakerne kan skaleres ned til en størrelse mellom 1/25 og 1/100 av en fullskjermvisning. I en distribuert konferanse betyr dette at bakplanet aldri trenger å håndtere mer enn én høyoppløsningsstrøm i tillegg til foreksempel ni lavoppløsningsstrømmer. Hvis båndbredden krevd til lavoppløsningsstrømmen er 1-5 % av båndbredden for fulloppløsningsstrømmen, betyr det at det totale båndbreddeforbruket over bakplanet mellom to noder typisk vil være mellom 1 og 1,5 ganger båndbredden til én enkelt strøm. En illustrasjon av dette er vist i figur 5.
Utførelser av oppfinnelsen presenterte heri, gir betydelige besparelser sammenlignet med tradisjonelle "ikke-distrubuerte" MCU konferanser. Ta foreksempel et brukstilfelle med et møte mellom alle ansatte i et globalt selskap med for eksempel 100 deltakere i USA og
100 deltakere i Europa. I en tradisjonell MCU distribusjon, vil alle de 200 deltakerne ringe inn til en enkelt MCU. Dette ville kreve 100 fulloppløsningsstrømmer over Atlanterhavet. I henhold til noen utførelser av oppfinnelsen presentert heri, er det kun nødvendig å transmittere én enkelt fulloppløsningsstrøm over Atlanterhavet, i tillegg til opptil for eksempel ni mindre "miniatyrbilder" av de siste talerne. Hvis hvert miniatyrbilde er 1/100 av en fulloppløsningsstrøm, betyr det at vi istedenfor å transmittere 100 strømmer heller transmitterer 1.09 strømmer.
Fra en sluttbrukers ståsted, er nummeret, eller URI-en (Uniformed Resource Identifier), som man skal ringe opp for å bli med i en bestemt konferanse det samme uavhengig av hvilken lokasjon sluttbrukeren er lokalisert i. Endepunktet vil koble seg til sin nærmeste svitsjenode basert på enten konfigurert lokasjon eller automatisk lokasjonstildelelse basert på hvilken som helst velkjent fremgangsmåte.
I en distribuert konferanse, vil mediadata passere igjennom en eller flere svitsjenoder. I ett ideelt tilfelle er nettverksforbindelsen mellom svitsjenodene perfekt, uten noe pakketap. I dette tilfellet, kan mediastrømmer over bakplanet enkelt kopieres og videresendes over bakplanet, slik som det er illustrert i figur 6.
I tilfeller med pakketap eller andre nettverksproblemer i nettverket, kan imidlertid noe robusthet/motstandsdyktighet med fordel legges til. I henhold til utførelse av oppfinnelsen presentert heri, er det to fremgangsmåter for å gjøre dette. Den første er å kode om mediadata som transmitteres over bakplanet, og den andre er å beskytte mediastrømmen ved å legge til en feilkorreksjon til mediastrømmen. En kombinasjon er selvfølgelig også mulig - å kode om mediadata til et mer motstandsdyktig format (for eksempel ved bruk av hierarkiske kodingsmetoder slik som de som finnes i H.264) og i tillegg legge til en feilkorreksjon.
Å kode om media kan eventuelt legge til en forsinkelse i størrelsesordenen av for eksempel 10 til lOOms til mediastrømmen. Å legge til feilkorreksjon kan føre til en overhead og kan kreve økt båndbredde. I noen tilfeller, som for eksempel når flere strømsvitsjenoder er lokalisert i samme datasenter, kan nettverk konstrueres slik at pakketap unngås. Således kan de utførelsene av oppfinnelsen som presenteres heri, bli skalert opp uten å legge noen forsinkelse.
For å redusere båndbredden mellom svitsjenodene, kan mediadata over bakplanet kodes til et mer effektivt format. Som et eksempel, hvis endepunktene som deltar i en
konferanse bruker H.263 og/eller H.264, kan en mer båndbreddeeffektiv kodek som ITU-T H.265/HEVC brukes over bakplanet, for å spare inn 20-50 % av båndbredden. Dette er illustrert i figur 7, med en dekoderenhet (dec) og en koderenhet (ene) på hver svitsjing mot bakplanets grensesnitt.
Claims (17)
1. Et virtuelt endepunkt tilpasset til å bli installert på en datamaskinenhet assosiert med et videokonferanseendepunkt tilpasset til å delta i en videokonferanse med flere deltakere, hvori videokonferanseendepunktet er tilpasset til å kode og transmittere en oppstrøms mediestrøm som omfatter minst videodata i en oppstrømsretning og for å motta og dekode en kombinert mediastrøm i en nedstrømsretning,karakterisert ved
minst én oppstrømsdekoderenhet tilpasset til å dekode den oppstrøms kodede mediastrømmen mottatt fra videokonferanseendepunktet til en oppstrøms dekodet mediastrøm, én skaleringsenhet tilpasset til å skalere den oppstrøms dekodede mediastrømmen til en skalert oppstrøms mediastrøm, minst én oppstrømskoderenhet tilpasset til å kode den skalerte oppstrøms mediastrømmen til en kodet skalert oppstrøms mediastrøm,
en første nedstrømsdekoderenhet tilpasset til å dekode en nedstrøms kodet mediastrøm av en første oppløsning, minst én andre nedstrømsdekoderenhet tilpasset til å dekode minst en av et antall nedstrøms kodede mediestrømmer av en andre oppløsning, en mediakomponeringsenhet tilpasset til å komponere en kombinert nedstrøms mediestrøm av dekodede mediestrømmer av den første og den andre oppløsningen, og minst en nedstrøms koderenhet tilpasset for å kode den kombinerte nedstrøms mediastrømmen.
2. Et virtuelt endepunkt i henhold til krav 1,karakterisert vedat det videre er tilpasset til å transmittere videre den mottatte oppstrøms kodede mediastrømmen.
3. Et virtuelt endepunkt i henhold til krav 1 eller 2,
karakterisert vedat den første oppløsningen er en "High Definition" (HD) oppløsning.
4. Et virtuelt endepunkt i henhold til ett av kravene 1 til 3,
karakterisert vedat skaleringsenheten er tilpasset til å skalere videodata i den dekodede mediestrømmen til den andre oppløsningen.
5. Et virtuelt endepunkt i henhold til et av kravene 1 til 4,
karakterisert vedat den andre oppløsningen er en bilde-i-bilde (PIP) oppløsning.
6. Et virtuelt endepunkt i henhold til ett av kravene 1 til 5,karakterisert vedat en eller flere andre respektive virtuelle endepunkter assosiert med en eller flere andre endepunkter tilpasset til å delta i en videokonferanse med flere deltakere er tilpasset til å bli installert på den datamaskinenhet.
7. Et virtuelt endepunkt i henhold til ett av kravene 1 til 6,karakterisert vedat det omtalte virtuelle endepunkt blir koblet til en svitsjenode tilpasset til å svitsje den kodede og skalerte oppstrømsmediestrømmen og/eller den oppstrøms kodede mediestrømmen i oppstrømsretning til andre svitsjenoder involvert i en videokonferanse med flere deltakere.
8. Et virtuelt endepunkt i henhold til krav 7,
karakterisert ved
at svitsjenoden er videre tilpasset til å svitsje den nedstrøms kodede mediastrømmen av den første oppløsningen og det antallet nedstrøms kodede mediastrømmer av den andre oppløsningen til ett eller flere virtuelle endepunkter assosiert med de omtalte andre svitsjenodene.
9. En fremgangsmåte i et virtuelt endepunkt installert på en datamaskinenhet assosiert med et videokonferanseendepunkt som deltar i en videokonferanse med flere deltakere, hvori videokonferanseendepunktet koder og transmitterer en oppstrøms mediastrøm som omfatter minst videodata i en oppstrømsretning og å motta og dekode en kombinert nedstrøms mediastrøm i en nedstrømsretning,karakterisert ved,
å dekode den oppstrøms kodede mediastrømmen mottatt fra videokonferanseendepunktet i en oppstrøms dekodet mediastrøm,
å skalere den oppstrøms dekodede mediastrømmen til en skalert oppstrøms mediastrøm,
å kode den skalerte oppstrøms mediastrømmen til en kodet skalert oppstrøms mediastrøm,
å dekode den kodede nedstrøms mediestrømmen med en første oppløsning,
å dekode et antall nedstrøms kodede mediestrømmer med en andre oppløsning, å komponere en kombinert mediestrøm av en nedstrøms mediestrøm av den første oppløsningen og et antall nedstrøms mediestrømmer av den andre oppløsningen, og
å kode den kombinerte mediastrømmen.
10. En fremgangsmåte i henhold til krav 9,karakterisert vedet tilleggstrinn med: å transmittere videre den mottatte oppstrøms kodede mediastrømmen.
11. En fremgangsmåte i henhold til krav 9 eller 10,
karakterisert vedat den første oppløsningen er en High Definition (HD) oppløsning.
12. En fremgangsmåte i henhold til krav 9 til 11,karakterisert vedet tilleggstrinn med: å skalere videodataen i den dekodet mediastrømmen til en andre oppløsning.
13. En fremgangsmåte som angitt i krav 12,
karakterisert vedat den andre oppløsningen er en bilde-i-bilde (PIP) oppløsning.
14. En fremgangsmåte som angitt i et av kravene 9 til 13,
karakterisert vedat en eller flere andre respektive virtuelle endepunkter assosiert med en eller flere andre endepunkter som deltar i en videokonferanse med flere deltakere er installert på datamaskinenheten.
15. En fremgangsmåte som angitt i et av kravene 9-14,
karakterisert vedet tilleggstrinn med: å svitsje den kodede skalerte oppstrøms mediestrømmen og/eller den oppstrøms kodede mediestrømmen i oppstrømsretning til andre svitsjenoder involvert i en videokonferanse med flere deltakere.
16. En fremgangsmåte som angitt i krav 15,karakterisert vedet tilleggstrinn med: å svitsje den nedstrøms kodede mediestrømmen av den første oppløsningen og det antallet nedstrøms kodede mediestrømmer av den andre oppløsningen til en eller flere virtuelle endepunkter assosiert med de andre omtalte svitsjenodene.
17. Et virtuelt endepunktsystem som omfatter minst ett virtuelt endepunkt i henhold til hvilket som helst av kravene 1 til 8, at det omtalte virtuelle endepunktsystemet videre omfatter minst en svitsjenode tilpasset til å svitsje den kodede, skalerte oppstrøms mediastrømmen og/eller den oppstrøms kodede mediastrømmen i oppstrømsretning til andre svitsjenoder involvert i en videokonferanse med flere deltakere.
Priority Applications (8)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NO20130330A NO341411B1 (no) | 2013-03-04 | 2013-03-04 | Virtuelle endepunkter i videokonferanser |
| US14/047,270 US9113037B2 (en) | 2013-03-04 | 2013-10-07 | Video conference virtual endpoints |
| CN201480012476.5A CN105144702B (zh) | 2013-03-04 | 2014-02-21 | 视频会议虚拟端点 |
| PCT/EP2014/053421 WO2014135383A1 (en) | 2013-03-04 | 2014-02-21 | Video conference virtual endpoints |
| EP14706814.2A EP2965508B1 (en) | 2013-03-04 | 2014-02-21 | Video conference virtual endpoints |
| CA2897920A CA2897920C (en) | 2013-03-04 | 2014-02-21 | Video conference virtual endpoints |
| US14/795,256 US9357172B2 (en) | 2013-03-04 | 2015-07-09 | Video conference virtual endpoints |
| US15/084,806 US9961303B2 (en) | 2013-03-04 | 2016-03-30 | Video conference virtual endpoints |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| NO20130330A NO341411B1 (no) | 2013-03-04 | 2013-03-04 | Virtuelle endepunkter i videokonferanser |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| NO20130330A1 NO20130330A1 (no) | 2014-09-05 |
| NO341411B1 true NO341411B1 (no) | 2017-10-30 |
Family
ID=48128565
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| NO20130330A NO341411B1 (no) | 2013-03-04 | 2013-03-04 | Virtuelle endepunkter i videokonferanser |
Country Status (6)
| Country | Link |
|---|---|
| US (3) | US9113037B2 (no) |
| EP (1) | EP2965508B1 (no) |
| CN (1) | CN105144702B (no) |
| CA (1) | CA2897920C (no) |
| NO (1) | NO341411B1 (no) |
| WO (1) | WO2014135383A1 (no) |
Families Citing this family (9)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP6493236B2 (ja) * | 2016-01-25 | 2019-04-03 | ブラザー工業株式会社 | 通信方法、通信プログラム、及び、サーバ |
| US9621853B1 (en) * | 2016-06-28 | 2017-04-11 | At&T Intellectual Property I, L.P. | Service orchestration to support a cloud-based, multi-party video conferencing service in a virtual overlay network environment |
| CN110858838B (zh) * | 2018-08-24 | 2021-03-09 | Oppo广东移动通信有限公司 | 桥接通信的方法和设备 |
| CN109525802A (zh) * | 2018-11-27 | 2019-03-26 | 平安科技（深圳）有限公司 | 一种视频流传输方法和装置 |
| CN113453081A (zh) * | 2020-03-28 | 2021-09-28 | 华为技术有限公司 | 视频传输方法、系统、相关设备及存储介质 |
| CN112565776B (zh) * | 2021-02-25 | 2021-07-20 | 北京城建设计发展集团股份有限公司 | 一种视频转码压缩方法及系统 |
| CN112995660B (zh) * | 2021-04-25 | 2021-08-03 | 浙江华创视讯科技有限公司 | 一种视频会议使用条件的测试方法及装置 |
| WO2023063945A1 (en) * | 2021-10-13 | 2023-04-20 | Hewlett-Packard Development Company, L.P. | Output of video streams at multiple resolutions |
| US20240064320A1 (en) * | 2022-08-22 | 2024-02-22 | Karl Storz Se & Co. Kg | Systems and methods for scaling video streams |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070230568A1 (en) * | 2006-03-29 | 2007-10-04 | Alexandros Eleftheriadis | System And Method For Transcoding Between Scalable And Non-Scalable Video Codecs |
| WO2011143438A1 (en) * | 2010-05-12 | 2011-11-17 | Blue Jeans Network, Inc. | Systems and methods for scalable distributed global infrastructure for real-time multimedia communication |
| WO2013017565A1 (en) * | 2011-08-01 | 2013-02-07 | Advanced Digital Broadcast S.A. | A method and system for transmitting a high resolution video stream as a low resolution video stream |
Family Cites Families (21)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6993076B1 (en) * | 1999-05-11 | 2006-01-31 | Thomson Licensing S.A. | Apparatus and method for deriving an enhanced decoded reduced-resolution video signal from a coded high-definition video signal |
| US7461126B2 (en) | 2003-10-30 | 2008-12-02 | Radvision Ltd. | System and method for distributed multipoint conferencing with automatic endpoint address detection and dynamic endpoint-server allocation |
| US7139015B2 (en) * | 2004-01-20 | 2006-11-21 | Polycom, Inc. | Method and apparatus for mixing compressed video |
| US7692683B2 (en) * | 2004-10-15 | 2010-04-06 | Lifesize Communications, Inc. | Video conferencing system transcoder |
| US7929012B2 (en) | 2006-01-05 | 2011-04-19 | Cisco Technology, Inc. | Method and architecture for distributed video switching using media notifications |
| CA2644753A1 (en) * | 2006-03-03 | 2007-09-13 | Vidyo, Inc. | System and method for providing error resilience, random access and rate control in scalable video communications |
| US8773494B2 (en) * | 2006-08-29 | 2014-07-08 | Microsoft Corporation | Techniques for managing visual compositions for a multimedia conference call |
| US8237765B2 (en) * | 2007-06-22 | 2012-08-07 | Lifesize Communications, Inc. | Video conferencing device which performs multi-way conferencing |
| CN101257607B (zh) * | 2008-03-12 | 2010-06-09 | 中兴通讯股份有限公司 | 一种应用于视频会议的多画面处理系统和方法 |
| CN102067529A (zh) * | 2008-06-19 | 2011-05-18 | 松下电器产业株式会社 | 通信路径构筑装置和n-树构筑方法 |
| US8319820B2 (en) | 2008-06-23 | 2012-11-27 | Radvision, Ltd. | Systems, methods, and media for providing cascaded multi-point video conferencing units |
| US8514265B2 (en) * | 2008-10-02 | 2013-08-20 | Lifesize Communications, Inc. | Systems and methods for selecting videoconferencing endpoints for display in a composite video image |
| US20100149301A1 (en) * | 2008-12-15 | 2010-06-17 | Microsoft Corporation | Video Conferencing Subscription Using Multiple Bit Rate Streams |
| CN101540872B (zh) | 2009-02-23 | 2012-07-04 | 华为终端有限公司 | 媒体控制服务器多通道级联的控制方法、装置和系统 |
| US8456510B2 (en) * | 2009-03-04 | 2013-06-04 | Lifesize Communications, Inc. | Virtual distributed multipoint control unit |
| US8289365B2 (en) * | 2009-03-30 | 2012-10-16 | Alcatel Lucent | Method and apparatus for the efficient transmission of multimedia streams for teleconferencing |
| CN102741831B (zh) * | 2010-11-12 | 2015-10-07 | 宝利通公司 | 多点环境中的可伸缩音频 |
| CN102547210B (zh) | 2010-12-24 | 2014-09-17 | 华为终端有限公司 | 级联会议中级联会场的处理方法、装置及系统 |
| US8934530B2 (en) * | 2011-02-01 | 2015-01-13 | Vidyo, Inc. | Spatial scalability using redundant pictures and slice groups |
| US8854418B2 (en) * | 2011-05-23 | 2014-10-07 | Broadcom Corporation | Integrated media gateway processing and control to reduce latency for 2-way video conference applications |
| US9369671B2 (en) * | 2013-02-11 | 2016-06-14 | Polycom, Inc. | Method and system for handling content in videoconferencing |
-
2013
- 2013-03-04 NO NO20130330A patent/NO341411B1/no not_active IP Right Cessation
- 2013-10-07 US US14/047,270 patent/US9113037B2/en active Active
-
2014
- 2014-02-21 WO PCT/EP2014/053421 patent/WO2014135383A1/en active Application Filing
- 2014-02-21 CA CA2897920A patent/CA2897920C/en active Active
- 2014-02-21 CN CN201480012476.5A patent/CN105144702B/zh active Active
- 2014-02-21 EP EP14706814.2A patent/EP2965508B1/en active Active
-
2015
- 2015-07-09 US US14/795,256 patent/US9357172B2/en active Active
-
2016
- 2016-03-30 US US15/084,806 patent/US9961303B2/en active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US20070230568A1 (en) * | 2006-03-29 | 2007-10-04 | Alexandros Eleftheriadis | System And Method For Transcoding Between Scalable And Non-Scalable Video Codecs |
| WO2011143438A1 (en) * | 2010-05-12 | 2011-11-17 | Blue Jeans Network, Inc. | Systems and methods for scalable distributed global infrastructure for real-time multimedia communication |
| WO2013017565A1 (en) * | 2011-08-01 | 2013-02-07 | Advanced Digital Broadcast S.A. | A method and system for transmitting a high resolution video stream as a low resolution video stream |
Non-Patent Citations (1)
| Title |
|---|
| LAMBRECH T, & AL, Optimizing multimedia transcoding multicast trees, Computer Networks 50 (2006), s. 29-45, Elsevier Science Publishers B.V., Amsterdam, NL, Dated: 01.01.0001 * |
Also Published As
| Publication number | Publication date |
|---|---|
| US9961303B2 (en) | 2018-05-01 |
| EP2965508A1 (en) | 2016-01-13 |
| EP2965508B1 (en) | 2020-12-30 |
| NO20130330A1 (no) | 2014-09-05 |
| US20160212383A1 (en) | 2016-07-21 |
| CN105144702B (zh) | 2018-07-17 |
| WO2014135383A1 (en) | 2014-09-12 |
| CA2897920C (en) | 2021-04-27 |
| US9357172B2 (en) | 2016-05-31 |
| US9113037B2 (en) | 2015-08-18 |
| US20150312522A1 (en) | 2015-10-29 |
| US20140247320A1 (en) | 2014-09-04 |
| CN105144702A (zh) | 2015-12-09 |
| CA2897920A1 (en) | 2014-09-12 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| NO341411B1 (no) | Virtuelle endepunkter i videokonferanser | |
| AU2011258272B2 (en) | Systems and methods for scalable video communication using multiple cameras and multiple monitors | |
| US9596433B2 (en) | System and method for a hybrid topology media conferencing system | |
| US8228363B2 (en) | Method and system for conducting continuous presence conferences | |
| EP1683356B1 (en) | Distributed real-time media composer | |
| US20160373696A1 (en) | Virtual Multipoint Control Unit for Unified Communications | |
| EP2987273B1 (en) | Dynamic allocation of encoders | |
| US9497417B2 (en) | Video conferencing with multipoint conferencing units and multimedia transformation units | |
| US9369511B2 (en) | Telecommunication network | |
| TWI531244B (zh) | 視訊會議資料處理方法及系統 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| CHAD | Change of the owner's name or address (par. 44 patent law, par. patentforskriften) |
Owner name: CISCO TECHNOLOGY INC, US |
|
| CREP | Change of representative |
Representative=s name: BRYN AARFLOT AS, POSTBOKS 449 SENTRUM, 0104 OSLO |
|
| MM1K | Lapsed by not paying the annual fees |