NO20130330A1 - Virtuelle endepunkter i videokonferanser - Google Patents

Virtuelle endepunkter i videokonferanser Download PDF

Info

Publication number
NO20130330A1
NO20130330A1 NO20130330A NO20130330A NO20130330A1 NO 20130330 A1 NO20130330 A1 NO 20130330A1 NO 20130330 A NO20130330 A NO 20130330A NO 20130330 A NO20130330 A NO 20130330A NO 20130330 A1 NO20130330 A1 NO 20130330A1
Authority
NO
Norway
Prior art keywords
media stream
upstream
resolution
downstream
endpoint
Prior art date
Application number
NO20130330A
Other languages
English (en)
Other versions
NO341411B1 (no
Inventor
Giles Russel Chamberlin
Hani Mustafa Eisayed Abdelkader Hashim
Håkon Dahle
Original Assignee
Pexip AS
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Pexip AS filed Critical Pexip AS
Priority to NO20130330A priority Critical patent/NO341411B1/no
Priority to US14/047,270 priority patent/US9113037B2/en
Priority to EP14706814.2A priority patent/EP2965508B1/en
Priority to CA2897920A priority patent/CA2897920C/en
Priority to CN201480012476.5A priority patent/CN105144702B/zh
Priority to PCT/EP2014/053421 priority patent/WO2014135383A1/en
Publication of NO20130330A1 publication Critical patent/NO20130330A1/no
Priority to US14/795,256 priority patent/US9357172B2/en
Priority to US15/084,806 priority patent/US9961303B2/en
Publication of NO341411B1 publication Critical patent/NO341411B1/no

Links

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/157Conference systems defining a virtual conference space and using avatars or agents
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/141Systems for two-way working between two video terminals, e.g. videophone
    • H04N7/142Constructional details of the terminal equipment, e.g. arrangements of the camera and the display
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60Control of cameras or camera modules
    • H04N23/667Camera operation mode switching, e.g. between still and video, sport and normal or high- and low-resolution modes
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00Television systems
    • H04N7/14Systems for two-way working
    • H04N7/15Conference systems
    • H04N7/152Multipoint control units therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Telephonic Communication Services (AREA)

Abstract

En fremgangsmåte og en enhet for å gi ett virtuelt endepunkt dedikert til å tjene ett bestemt reell endepunkt, og det virtuelle endepunktet er typisk installert på en server i det samme lokale nettverket som det assosierte reelle endepunktet, hvor en MCU eller en del av en distribuert MCU også er installert. I oppstrømsretning, omfatter det virtuelle endepunktet minst en oppstrømsdekoderenhet, en skaleringsenhet og en oppstrømskoderenhet. I nedstrømsretning, omfatter det virtuelle endepunktet minst et antall dekoderenheter, en komponeringsenhet og en nedstrøms koderenhet.

Description

Virtuelle endepunkter i videokonferanser
Teknikkens område
Den foreliggende oppfinnelse angår en fremgangsmåte, datamaskinprogram og system for å kunne tilby effektiv, storskala videokonferanser.
Oppfinnelsens bakgrunn
Overføring av levende bilder i sanntid benyttes i flere anvendelser som for eksempel i videokonferanser, nettmøter og videotelefoni.
Videokonferansesystemer tillater simultan utveksling av lyd, video og data mellom flere konferanselokasjoner. Systemer kjent som multilokasjonskontrollenheter (MCU) utfører svitsjefunksjoner for å tillate endepunkter på flere lokasjoner å kommunisere seg i mellom i en konferanse. Et endepunkt refererer konvensjonelt til en videokonferanseterminal, enten en frittstående terminal utstyrt med minst ett kamera, en skjerm, en høyttaler eller hodetelefoner og en prosessor eller en programvareklient for videokonferanser installert på en generell datamaskin med tilsvarende evner. I den videre beskrivelse vil dette også bli referert til som et "virkelig endepunkt" for å skille det fra et "virtuell endepunkt," hvis definisjon vil bli utdypet videre i denne beskrivelsen.
MCU'en knytter lokasjonene sammen ved å motta enkeltbilder av konferansesignaler fra lokasjonene, behandle de mottatte signaler, og på nytt transmittere de bearbeidede signaler til de aktuelle lokasjonene. Konferansesignaler inkluderer lyd, video, data og kontrollinformasjon. I en "svitsjet" (switched) konferanse, blir videosignalet fra en av konferansens lokasjoner, vanligvis av den som snakker høyest, kringkastet til hver av de andre deltakerne. I en "kontinuerlig tilstedeværende" (continuous presence) konferanse, er videosignaler fra to eller flere lokasjoner romlig mikset sammen for å danne et samlet videosignal til visning for konferansedeltakerne. Når de ulike videostrømmene har blitt mikset sammen til en enkelt videostrøm, blir den sammensatte videostrømmen transmittert til de forskjellige deltakerne i videokonferansen, hvor hver transmitterte videostrøm helst følger et satt system som indikerer hvem som skal motta hvilken videostrøm. Generelt vil de ulike brukerne foretrekke å motta ulike videostrømmer. Det kontinuerlig tilstedeværende-, eller sammensatte, bildet er et kombinert bilde som kan inkludere direktetransmittert videostrøm, stillbilder, menyer eller andre visuelle bilder fra deltakerne i konferansen. Det kombinerte bildet kan for eksempel være sammensatt av flere like store bilder, eller ett hovedbilde i tillegg til ett eller flere mindre bilder i innfelte vinduer, ofte referert til som "bilde-i-bilde" (picture-in-picture - PIP). PIPer krever vanligvis en mye lavere oppløsning enn hovedbildet på grunn av størrelsesforskjellen innenfor skjermen.
Et stort problem med de eksisterende MCUer som benytter H.323- og SIP standardene er mangelen på skalerbarhet. For å holde større møter kan en av tre løsninger brukes: Alle endepunkter ringer inn til en enkelt, stor MCU på én enkelt lokasjon. Problemet med dette er det overdrevne båndbreddeforbruket. Som et eksempel, hvis en videokonferanse inkluderer et stort antall endepunkter både i USA og Europa med en MCU plassert i New York, vil en enorm bruk av båndbredde over Atlanterhavet mellom MCUen og endepunktene i Europa være påkrevet.
En annen mulighet er å binde sammen flere MCUer med kaskade (cascade) ved å benytte H.243 eller lignende standarder. Problemet med dette er at det kan føre til en dårligere brukeropplevelse. Når alle endepunktene ringer inn til den samme MCUen, ser en deltaker vanligvis de 4 til 10 nyligste talere på en gang. Når endepunkter ringer inn til to forskjellige MCUer, kan et endepunkt kun se ett av de andre endepunktene som er koblet til den andre MCUen.
Det eksiterer allerede MCUer som ikke er basert på standarder og håndterer problemene omtalt ovenfor ved hjelp av teknikker som SVC (Scalable Video Coding), men investeringene gjort i endepunkter basert på standarder vil da gå tapt, og et problem med inter-operabilitet (interoperability) vil også oppstå.
Oppsummering av oppfinnelsen
Et formål ved anvendelser av oppfinnelsen presenterte heri, er å eliminere eller i det minste minke ulempene nevnt ovenfor. Dette formålet og andre formål oppnås ved de uavhengige kravene presentert i det følgende.
I henhold til et første aspekt er det tilveiebrakt et virtuelt endepunkt tilpasset til å bli installert på en datamaskinenhet assosiert med et videokonferanseendepunkt tilpasset til å delta i en videokonferanse med flere deltakere. Videokonferanseendepunktet er tilpasset til å kode og transmittere en oppstrøms mediestrøm som omfatter minst videodata i en oppstrømsretning og for å motta og dekode en kombinert mediastrøm i en nedstrømsretning. Det virtuelle endepunkt erkarakterisert vedå omfatte minst en oppstrøms dekoderenhet tilpasset til å dekode den oppstrøms kodede mediastrømmen mottatt fra videokonferanseendepunktet til en oppstrøms dekodet mediastrøm, en skaleringsenhet tilpasset til å skalere den oppstrøms dekodede mediastrømmen til en skalert oppstrøms mediastrøm, minst en oppstrøms koderenhet tilpasset til å kode den skalerte oppstrøms mediastrømmen til en kodet skalert oppstrøms mediastrøm. Det virtuelle endepunktet er viderekarakterisert veden første nedstrøms dekoderenhet tilpasset til å dekode en nedstrøms kodet mediestrøm av en første oppløsning, minst en andre nedstrøms dekoderenhet tilpasset til å dekode minst en av et antall nedstrøms kodede mediestrømmer av en andre oppløsning, en mediakomponeringsenhet tilpasset til å komponere en kombinert nedstrøms mediestrøm av dekodede mediestrømmer av den første og den andre oppløsningen, og minst en nedstrøms koderenhet tilpasset for å kode den kombinerte nedstrøms mediastrømmen.
I henhold til én anvendelse av oppfinnelsen presentert her, er det virtuelle endepunktetkarakterisert vedat det er videre tilpasset til å videretransmittere den mottatte oppstrøms kodede mediastrømmen.
I henhold til en annen anvendelse av oppfinnelsen presentert her, er det virtuelle endepunktetkarakterisert vedat den første oppløsningen er en "High Definition" (HD) oppløsning.
I henhold til enda en anvendelse av oppfinnelsen presentert her, er det virtuelle endepunktetkarakterisert vedat skaleringsenheten er tilpasset til å skalere videodata i den dekodede mediestrømmen til den andre oppløsningen.
I henhold til én anvendelse av oppfinnelsen presentert her, er det virtuelle endepunktetkarakterisert vedat den andre oppløsning er en bilde-i-bilde (PIP) oppløsning.
I henhold til en annen anvendelse av oppfinnelsen presentert her, er det virtuelle endepunktetkarakterisert vedat en eller flere andre respektive virtuelle endepunkter assosiert med en eller flere andre endepunkter tilpasset til å delta i en videokonferanse med flere deltakere er tilpasset til å bli installert på en datamaskinenhet.
I henhold til enda en anvendelse av oppfinnelsen presentert her, er det virtuelle endepunktetkarakterisert vedat det omtalte virtuelle endepunkt blir koblet til en svitsjenode tilpasses til å svitsje den kodede og skalerte oppstrømsmediestrømmen og/eller oppstrøms kodede mediestrømmen i oppstrømsretning til andre svitsjenoder involvert i en videokonferanse med flere deltakere.
I henhold til en videre anvendelse av oppfinnelsen presentert her, er det virtuelle endepunktetkarakterisert vedat svitsjenoden er ytterligere tilpasset til å svitsje den nedstrøms kodede mediastrømmen av den første oppløsning og det antallet nedstrøms kodede mediastrømmer av den andre oppløsningen til ett eller flere virtuelle endepunkter assosiert med de omtalte andre svitsjenoder.
I henhold til et andre aspekt, er det tilveiebrakt et virtuelt endepunkt installert på en datamaskinenhet i assosiert med et videokonferanseendepunkt som deltar i en videokonferanse med flere deltakere. Videokonferanseendepunktet koder og transmitterer en oppstrøms mediastrøm som omfatter minst videodata i en oppstrømsretning og å motta og dekode en kombinert nedstrøms mediastrøm i en nedstrømsretning,karakterisert ved. Fremgangsmåten erkarakterisert vedå omfatte trinnene: å dekode den oppstrøms kodede mediastrømmen mottatt fra videokonferanseendepunktet i en oppstrøms dekodet mediastrøm, å skalere den oppstrøms dekodede mediastrømmen til en skalert oppstrøms mediastrøm, å kode den skalerte oppstrøms mediastrømmen til en kodet skalert oppstrøms mediastrøm, å dekode den kodede nedstrøms mediestrømmen av en første oppløsning, å dekode et antall nedstrøms kodede mediestrømmer av en andre oppløsning, å komponere en kombinert mediestrøm av den nedstrøms mediestrømmen av den første oppløsningen og det antallet nedstrøms mediestrømmer av den andre oppløsningen, og å kode den kombinerte mediastrømmen.
I henhold til en anvendelse av oppfinnelsen presentert her,karakterisert vedå omfatte et tilleggstrinn med å videretransmittere den mottatte oppstrøms kodede mediastrømmen.
I henhold til en annen anvendelse av oppfinnelsen presentert her, er fremgangsmåtenkarakterisert vedat den første oppløsningen er en High Definition (HD) oppløsning.
I henhold til enda en anvendelse av oppfinnelsen presentert her er fremgangsmåtenkarakterisert vedet tilleggstrinn med å skalere videodataen i den dekodet mediastrømmen til en andre oppløsning.
I henhold til en videre anvendelse av oppfinnelsen presentert her, er fremgangsmåten viderekarakterisert vedat den andre oppløsningen er en bilde-i-bilde (PIP) oppløsning.
I henhold til én anvendelse av oppfinnelsen presentert her, er fremgangsmåtenkarakterisert vedat en eller flere andre respektive virtuelle endepunkter assosiert med en eller flere andre endepunkter som deltar i en videokonferanse med flere deltakere er installert på datamaskinenheten.
I henhold til en annen anvendelse av oppfinnelsen presentert her, er fremgangsmåtenkarakterisert vedet tilleggstrinn med å svitsje den kodede skalerte oppstrøms mediestrømmen og/eller den oppstrøms kodede mediestrømmen i oppstrømsretning til andre svitsjenoder involvert i en videokonferanse med flere deltakere.
I henhold til en videre anvendelse av oppfinnelsen presentert her, er fremgangsmåtenkarakterisert vedet tilleggstrinn med å svitsje den nedstrøms kodede mediestrømmen av den første oppløsningen og det antallet nedstrøms kodede mediestrømmer av den andre oppløsningen til en eller flere virtuelle endepunkter assosiert med de andre omtalte svitsjenodene.
I henhold til et tredje aspekt er det tilveiebrakt et endepunktsystem som omfatter minst ett virtuelt endepunkt i henhold til det diskutert i det foregående. Det virtuelle endepunktsystemet omfatter videre minst en svitsjenode tilpasset til å svitsje den kodede, skalerte oppstrøms mediastrømmen og/eller den oppstrøms kodede mediastrømmen i oppstrøms retning til andre svitsjenoder involvert i videokonferanse med flere deltakere.
Kort beskrivelse av tegningene
Figur 1 er en illustrasjon av et eksemplifisert virtuelt endepunkt i henhold til anvendelser av den foreliggende oppfinnelse presentert her, Figur 2 er en illustrasjon av en eksemplifisert MCU som består av et antall virtuelle endepunkter og en svitsjenode i henhold til anvendelser av den foreliggende oppfinnelse presentert her, Figur 3 er en illustrasjon av en eksemplifisert MCU koblet til en rekke forskjellige typer av endepunkter i henhold til anvendelser av den foreliggende oppfinnelse presentert her, Figur 4 illustrer en eksemplifisert distribuert MCU duplet som består av en svitsjenode og to virtuelle endepunkter i henhold til anvendelser av den foreliggende oppfinnelse presentert her, Figur 5 illustrer på en eksemplifisert måte hvordan et bakplan kun trenger å bære en høyoppløsningsstrøm i tillegg til et antall bildestrømmer med lav oppløsning i henhold til anvendelser av den foreliggende oppfinnelse presentert her, Figur 6 viser på en eksemplifisert måte hvordan mediestrømmer over et bakplan enkelt kan kopieres og videretransmitteres over bakplanet i samsvar til en anvendelse av den foreliggende oppfinnelse presentert her, Figur 7 illustrer på en eksemplifisert måte hvordan mediadata over bakplanet enkelt kan kodes til å tilby et effektivt format mellom svitsjenodene i samsvar til en anvendelse av den foreliggende oppfinnelse presentert her.
Detaljert beskrivelse av en eksempelutførelsesform
I henhold til anvendelser av den foreliggende oppfinnelse presentert heri, er et virtuelt endepunkt introdusert som overkommer problemene diskutert ovenfor. Et virtuelt endepunkt er dedikert til å betjene ett spesifikt virkelig endepunkt, og det virtuelle endepunktet er typisk installert på en server i det samme lokale nettverket som det assosierte virkelige endepunktet, hvor en MCU eller en del av en distribuert MCU også er installert.
I oppstrømsretningen, omfatter det virtuelle endepunktet minst en oppstrømsdekoderenhet, en skaleringsenhet og en oppstrømskoderenhet. I nedstrømsretningen, omfatter det virtuelle endepunktet minst et antall dekoderenheter, en komponeringsenhet og en nedstrømskoderenhet.
Det reelle endepunktet transmitterer kodet data til sitt dedikerte virtuelle endepunkt som er dekodet av oppstrømsdekoderenheten. Den dekodede dataen er tilgjengelig for skaleringsenheten, og er igjen skalert ned til en forhåndsdefinert eller ønsket oppløsning. Den nedskalerte dataen er deretter kodet av oppstrømskoderenheten, og transmitteres videre som en nedskalert strøm, for eksempel til en eller flere strømsvitsjenoder (stream switching nodes). I tillegg til dette, er den mottatte kodede dataen fra det virkelige endepunktet videresendt gjennom det virtuelle endepunktet som en ikke-nedskalert strøm til én eller flere medianoder.
En skjematisk illustrasjon av et eksempel på et virtuelt endepunkt, som diskutert over, er vist i figur 1. Her er det virtuelle endepunktets oppgave i oppstrømsretning å opprette og transmittere to strømmer av den kodede dataen som mottas fra det assosierte reelle endepunktet, en med høy oppløsning, og en med lav oppløsning. I nedstrømsretning, er oppgaven til det virtuelle endepunktet å dekode én kodet HD (High Definition) datastrøm og en rekke kodede PIPer mottatt fra en eller flere strømsvitsjenoder, å komponere ett kontinuerlig tilstedeværende bilde fra den kodede HD datastrømmen og det antallet PIPer, og så videre kode hele det kontinuerlig tilstedeværende bildet som igjen transmitteres tilbake til det assosierte reelle endepunktene.
I eksempelet ovenfor, er bare én nedskalert strøm av den kodede dataen som er mottatt fra et assosiert reelt endepunkt transmittert til svitsjenoden. Imidlertid bør skaleringsenheten bli justert til å kunne nedskalere strømmer med et antall forskjellige oppløsninger hvis krevd. For eksempel er en oppløsning i henhold til en kvadrant av bildet ganske vanlig i en kontinuerlig tilstedeværende visning.
En enkelt MCU kan implementeres som en programvare på en fysisk "hyllevare" server/datamaskin, som består av en rekke virtuelle endepunkter i tillegg til en svitsjekjerne, som vist i figur 2. Alternativt kan komponentene innenfor den stiplede linjen bli innebygd og distribuert på en server. I det følgende er et virtuelt eksempel beskrevet med den forståelsen at ikke-virtualisert implementering også er mulig.
Som indikert i figur 3, er de virtuelle endepunktene inne i MCUen koblet til de assosierte reelle endepunktene, som kan være en rekke forskjellige type endepunkter som gruppevideoendepunkter, personlige videoendepunkter, mobile videoendepunkter og programvarevideoendepunkter, som vist i figur 3.
Som illustrert i figur 4, kan flere strømsvitsjenoder som er assosiert med et antall virtuelle endepunkter, market med stiplede linjer, kobles på en fordelt måte av et bakplan, som forbinder flere strømsvitsjenoder i et tre og/eller en masketopologi. Det flertallet av strømsvitsjenoder og de assosierte virtuelle endepunktene kan enten bli distribuert av den samme verten (fysisk server), eller av forskjellige verter for en geografisk fordeling.
I henhold til anvendelser av oppfinnelsen presentert heri, skjermer det virtuelle endepunktet den indre logikken i MCUen fra det reelle endepunktet. Det reelle endepunktet kan være et hvilket som helst standardbasert SIP, H.323, HTML5 endepunkt, som benytter et hvilket som helst antall stemme- og videokodeker.
Som tidligere antydet, kan det virtuelle endepunkt være satt opp for å motta, fra svitsjingskjernen, et antall videostrømmer:
- Den nåværende taler i høy oppløsning
- Det siste vilkårlige antallet av talere, for eksempel de 4 til 9 siste talere, som lavoppløsningsstrøm
Unntaket fra denne regelen er at deltakeren som er den nåværende taleren sannsynligvis ønsker å motta den foregående taleren i høy oppløsning, da det sannsynligvis ikke er noen deltaker som vil ønske å se seg selv i fullskjermsvisning.
Det virtuelle endepunktet vil da dekode disse strømmene, skalere og komponere det inn i en fin kontinuerlig tilstedeværelse utforming, og kode det resulterende bildet inn i en videostrøm passende for det reelle endepunktet den er koblet til.
En valgfri strømsvitsjenode kan gjøre alle sine strømmer tilgjengelig også over bakplanet. I et distribuert system kan dermed en annen strømsvitsjenode be om å motta en rekke strømmer. Dette betyr at brukeropplevelsen for alle endepunktene er identisk, for eksempel den nåværende taler i fullskjerm samt en rekke tidligere talere i mindre miniatyrbilder. Det faktumet at flere strømmer kan transmitteres mellom strømsvitsjenoder er en stor forskjell fra måten eksisterende MCUer kaskades ved å bruke mekanismer som H.243 (disse eldre metodene for å gjøre kaskade gir kun én enkelt toveis videostrøm mellom MCUene).
Siden flere strømmer transmitteres over bakplanet, er båndbreddeforbruk en grunn til bekymring. Imidlertid er kun de strømmene som representerer den nåværende og forrige taler transmittert med full oppløsning. De andre deltakerne kan skaleres ned til en størrelse mellom 1/25 og 1/100 av en fullskjermvisning. I en distribuert konferanse betyr dette at bakplanet aldri trenger å håndtere mer enn én høyoppløsningsstrøm i tillegg til foreksempel ni lavoppløsningsstrømmer. Hvis båndbredden krevd til lavoppløsningsstrømmen er 1-5 % av båndbredden for fulloppløsningsstrømmen, betyr det at det totale båndbreddeforbruket over bakplanet mellom to noder typisk vil være mellom 1 og 1,5 ganger båndbredden til én enkelt strøm. En illustrasjon av dette er vist i figur 5.
Anvendelser av oppfinnelsen presenterte heri, gir betydelige besparelser sammenlignet med tradisjonelle "ikke-distrubuerte" MCU konferanser. Ta for eksempel et brukstilfelle med et møte mellom alle ansatte i et globalt selskap med for eksempel 100 deltakere i USA og 100 deltakere i Europa. I en tradisjonell MCU distribusjon, vil alle de 200 deltakerne ringe inn til en enkelt MCU. Dette ville kreve 100 fulloppløsningsstrømmer over Atlanterhavet. I henhold til noen anvendelser av oppfinnelsen presentert heri, er det kun nødvendig å transmittere én enkelt fulloppløsningsstrøm over Atlanterhavet, i tillegg til opptil for eksempel ni mindre "miniatyrbilder" av de siste talerne. Hvis hvert miniatyrbilde er 1/100 av en fulloppløsningsstrøm, betyr det at vi istedenfor å transmittere 100 strømmer heller transmitterer 1.09 strømmer.
Fra en sluttbrukers ståsted, er nummeret, eller URIen (Uniformed Resource Identifier), som man skal ringe opp for å bli med i en bestemt konferanse det samme uavhengig av hvilken lokasjon sluttbrukeren er lokalisert i. Endepunktet vil koble seg til sin nærmeste svitsjenode basert på enten konfigurert lokasjon eller automatisk lokasjonstildelelse basert på hvilken som helst velkjent fremgangsmåte.
I en distribuert konferanse, vil mediadataen passere igjennom en eller flere svitsjenoder. I ett ideelt tilfelle er nettverksforbindelsen mellom svitsjenodene perfekt, uten noe pakketap. I dette tilfellet, kan mediastrømmer over bakplanet enkelt kopieres og videretransmitteres over bakplanet, slik som det er illustrert i figur 6.
I tilfeller med pakketap eller andre nettverksproblemer i nettverket, kan imidlertid noe robusthet/motstandsdyktighet med fordel legges til. I henhold til anvendelse av oppfinnelsen presentert heri, er det to fremgangsmåter for å gjøre dette. Den første er å kode om mediadataen som transmitteres over bakplanet, og den andre er å beskytte mediastrømmen ved å legge til en feilkorreksjon til mediastrømmen. En kombinasjon er selvfølgelig også mulig - å kode om mediadataen til et mer motstandsdyktig format (for eksempel ved bruk av hierarkiske kodingsmetoder slik som de som finnes i H.264) og i tillegg legge til en feilkorreksjon.
Å rekode media kan eventuelt legge til en forsinkelse i størrelsesordenen av for eksempel 10 til lOOms til mediastrømmen. Å legge til feilkorreksjon kan føre til en overhead og kan kreve økt båndbredde. I noen tilfeller, som for eksempel når flere strømsvitsjenoder er lokalisert i samme datasenter, kan nettverk konstrueres slik at pakketap unngås. Således kan de anvendelsene av oppfinnelsen som presenteres heri, bli skalert opp uten å legge noen forsinkelse.
For å redusere båndbredden mellom svitsjenodene, kan mediadataen over bakplanet kodes til et mer effektivt format. Som et eksempel, hvis endepunktene som deltar i en konferanse bruker H.263 og/eller H.264, kan en mer båndbreddeeffektiv kodek som ITU-T H.265/HEVC brukes over bakplanet, for å spare inn 20-50 % av båndbredden. Dette er illustrert i figur 7, med en dekoderenhet (dec) og en koderenhet (ene) på hver svitsjing mot bakplanets grensesnitt.

Claims (17)

1. Et virtuelt endepunkt tilpasset til å bli installert på en datamaskinenhet assosiert med et videokonferanseendepunkt tilpasset til å delta i en videokonferanse med flere deltakere, hvori videokonferanseendepunktet er tilpasset til å kode og transmittere en oppstrøms mediestrøm som omfatter minst videodata i en oppstrømsretning og for å motta og dekode en kombinert mediastrøm i en nedstrømsretning,karakterisert ved minst én oppstrømsdekoderenhet tilpasset til å dekode den oppstrøms kodede mediastrømmen mottatt fra videokonferanseendepunktet til en oppstrøms dekodet mediastrøm, én skaleringsenhet tilpasset til å skalere den oppstrøms dekodede mediastrømmen til en skalert oppstrøms mediastrøm, minst én oppstrømskoderenhet tilpasset til å kode den skalerte oppstrøms mediastrømmen til en kodet skalert oppstrøms mediastrøm, en første nedstrømsdekoderenhet tilpasset til å dekode en nedstrøms kodet mediestrøm av en første oppløsning, minst én andre nedstrømsdekoderenhet tilpasset til å dekode minst en av et antall nedstrøms kodede mediestrømmer av en andre oppløsning, en mediakomponeringsenhet tilpasset til å komponere en kombinert nedstrøms mediestrøm av dekodede mediestrømmer av den første og den andre oppløsningen, og minst en nedstrøms koderenhet tilpasset for å kode den kombinerte nedstrøms mediastrømmen.
2. Et virtuelt endepunkt i henhold til krav 1,karakterisert vedat det videre er tilpasset til å transmittere videre den mottatte oppstrøms kodede mediastrømmen.
3. Et virtuelt endepunkt i henhold til krav 1 eller 2,karakterisert vedat den første oppløsningen er en "High Definition" (HD) oppløsning.
4. Et virtuelt endepunkt i henhold til ett av kravene 1 til 3,karakterisert vedat skaleringsenheten er tilpasset til å skalere videodata i den dekodede mediestrømmen til den andre oppløsningen.
5. Et virtuelt endepunkt i henhold til et av kravene 1 til 4,karakterisert vedat den andre oppløsningen er en bilde-i-bilde (PIP) oppløsning.
6. Et virtuelt endepunkt i henhold til ett av kravene 1 til 5,karakterisert vedat en eller flere andre respektive virtuelle endepunkter assosiert med en eller flere andre endepunkter tilpasset til å delta i en videokonferanse med flere deltakere er tilpasset til å bli installert på den datamaskinenhet.
7. Et virtuelt endepunkt i henhold til ett av kravene 1 til 6,karakterisert ved At det omtalte virtuelle endepunkt blir koblet til en svitsjenode tilpasset til å svitsje den kodede og skalerte oppstrømsmediestrømmen og/eller den oppstrøms kodede mediestrømmen i oppstrømsretning til andre svitsjenoder involvert i en videokonferanse med flere deltakere.
8. Et virtuelt endepunkt i henhold til krav 7,karakterisert ved At svitsjenoden er videre tilpasset til å svitsje den nedstrøms kodede mediastrømmen av den første oppløsningen og det antallet nedstrøms kodede mediastrømmer av den andre oppløsningen til ett eller flere virtuelle endepunkter assosiert med de omtalte andre svitsjenodene.
9. En fremgangsmåte i et virtuelt endepunkt installert på en datamaskinenhet assosiert med et videokonferanseendepunkt som deltar i en videokonferanse med flere deltakere, hvori videokonferanseendepunktet koder og transmitterer en oppstrøms mediastrøm som omfatter minst videodata i en oppstrømsretning og å motta og dekode en kombinert nedstrøms mediastrøm i en nedstrømsretning,karakterisert ved, Å dekode den oppstrøms kodede mediastrømmen mottatt fra videokonferanseendepunktet i en oppstrøms dekodet mediastrøm, Å skalere den oppstrøms dekodede mediastrømmen til en skalert oppstrøms mediastrøm, Å kode den skalerte oppstrøms mediastrømmen til en kodet skalert oppstrøms mediastrøm, Å dekode den kodede nedstrøms mediestrømmen av en første oppløsning, Å dekode et antall nedstrøms kodede mediestrømmer av en andre oppløsning, Å komponere en kombinert mediestrøm av en nedstrøms mediestrøm av den første oppløsningen og et antall nedstrøms mediestrømmer av den andre oppløsningen, og Å kode den kombinerte mediastrømmen.
10. En fremgangsmåte i henhold til krav 9,karakterisert vedet tilleggstrinn med: Å transmittere videre den mottatte oppstrøms kodede mediastrømmen.
11. En fremgangsmåte i henhold til krav 9 eller 10,karakterisert vedat den første oppløsningen er en High Definition (HD) oppløsning.
12. En fremgangsmåte i henhold til krav 9 til 11,karakterisert vedet tilleggstrinn med: Å skalere videodataen i den dekodet mediastrømmen til en andre oppløsning.
13. En fremgangsmåte som angitt i krav 12,karakterisert vedat den andre oppløsningen er en bilde-i-bilde (PIP) oppløsning.
14. En fremgangsmåte som angitt i et av kravene 9 til 13,karakterisert vedat en eller flere andre respektive virtuelle endepunkter assosiert med en eller flere andre endepunkter som deltar i en videokonferanse med flere deltakere er installert på datamaskinenheten.
15. En fremgangsmåte som angitt i et av kravene 9-14,karakterisert vedet tilleggstrinn med: Å svitsje den kodede skalerte oppstrøms mediestrømmen og/eller den oppstrøms kodede mediestrømmen i oppstrømsretning til andre svitsjenoder involvert i en videokonferanse med flere deltakere.
16. En fremgangsmåte som angitt i krav 15,karakterisert vedet tilleggstrinn med: Å svitsje den nedstrøms kodede mediestrømmen av den første oppløsningen og det antallet nedstrøms kodede mediestrømmer av den andre oppløsningen til en eller flere virtuelle endepunkter assosiert med de andre omtalte svitsjenodene.
17. Et virtuelt endepunktsystem som omfatter minst ett virtuelt endepunkt i henhold til hvilket som helst av kravene 1 til 8, at det omtalte virtuelle endepunktsystemet videre omfatter minst en svitsjenode tilpasset til å svitsje den kodede, skalerte oppstrøms mediastrømmen og/eller den oppstrøms kodede mediastrømmen i oppstrømsretning til andre svitsjenoder involvert i en videokonferanse med flere deltakere.
NO20130330A 2013-03-04 2013-03-04 Virtuelle endepunkter i videokonferanser NO341411B1 (no)

Priority Applications (8)

Application Number Priority Date Filing Date Title
NO20130330A NO341411B1 (no) 2013-03-04 2013-03-04 Virtuelle endepunkter i videokonferanser
US14/047,270 US9113037B2 (en) 2013-03-04 2013-10-07 Video conference virtual endpoints
EP14706814.2A EP2965508B1 (en) 2013-03-04 2014-02-21 Video conference virtual endpoints
CA2897920A CA2897920C (en) 2013-03-04 2014-02-21 Video conference virtual endpoints
CN201480012476.5A CN105144702B (zh) 2013-03-04 2014-02-21 视频会议虚拟端点
PCT/EP2014/053421 WO2014135383A1 (en) 2013-03-04 2014-02-21 Video conference virtual endpoints
US14/795,256 US9357172B2 (en) 2013-03-04 2015-07-09 Video conference virtual endpoints
US15/084,806 US9961303B2 (en) 2013-03-04 2016-03-30 Video conference virtual endpoints

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
NO20130330A NO341411B1 (no) 2013-03-04 2013-03-04 Virtuelle endepunkter i videokonferanser

Publications (2)

Publication Number Publication Date
NO20130330A1 true NO20130330A1 (no) 2014-09-05
NO341411B1 NO341411B1 (no) 2017-10-30

Family

ID=48128565

Family Applications (1)

Application Number Title Priority Date Filing Date
NO20130330A NO341411B1 (no) 2013-03-04 2013-03-04 Virtuelle endepunkter i videokonferanser

Country Status (6)

Country Link
US (3) US9113037B2 (no)
EP (1) EP2965508B1 (no)
CN (1) CN105144702B (no)
CA (1) CA2897920C (no)
NO (1) NO341411B1 (no)
WO (1) WO2014135383A1 (no)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6493236B2 (ja) * 2016-01-25 2019-04-03 ブラザー工業株式会社 通信方法、通信プログラム、及び、サーバ
US9621853B1 (en) * 2016-06-28 2017-04-11 At&T Intellectual Property I, L.P. Service orchestration to support a cloud-based, multi-party video conferencing service in a virtual overlay network environment
CN110858838B (zh) * 2018-08-24 2021-03-09 Oppo广东移动通信有限公司 桥接通信的方法和设备
CN109525802A (zh) * 2018-11-27 2019-03-26 平安科技(深圳)有限公司 一种视频流传输方法和装置
CN113453081A (zh) * 2020-03-28 2021-09-28 华为技术有限公司 视频传输方法、系统、相关设备及存储介质
CN112565776B (zh) * 2021-02-25 2021-07-20 北京城建设计发展集团股份有限公司 一种视频转码压缩方法及系统
CN112995660B (zh) * 2021-04-25 2021-08-03 浙江华创视讯科技有限公司 一种视频会议使用条件的测试方法及装置
WO2023063945A1 (en) * 2021-10-13 2023-04-20 Hewlett-Packard Development Company, L.P. Output of video streams at multiple resolutions
US20240064320A1 (en) * 2022-08-22 2024-02-22 Karl Storz Se & Co. Kg Systems and methods for scaling video streams

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070230568A1 (en) * 2006-03-29 2007-10-04 Alexandros Eleftheriadis System And Method For Transcoding Between Scalable And Non-Scalable Video Codecs
US20100085419A1 (en) * 2008-10-02 2010-04-08 Ashish Goyal Systems and Methods for Selecting Videoconferencing Endpoints for Display in a Composite Video Image
CN101257607B (zh) * 2008-03-12 2010-06-09 中兴通讯股份有限公司 一种应用于视频会议的多画面处理系统和方法
US20100245534A1 (en) * 2009-03-30 2010-09-30 De Lind Van Wijngaarden Adriaan J Method and apparatus for the efficient transmission of multimedia streams for teleconferencing
US20120300018A1 (en) * 2011-05-23 2012-11-29 Li Gordon Yong Using distributed local qos optimization to achieve global qos optimization for video conferencing services

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6993076B1 (en) * 1999-05-11 2006-01-31 Thomson Licensing S.A. Apparatus and method for deriving an enhanced decoded reduced-resolution video signal from a coded high-definition video signal
US7461126B2 (en) 2003-10-30 2008-12-02 Radvision Ltd. System and method for distributed multipoint conferencing with automatic endpoint address detection and dynamic endpoint-server allocation
US7139015B2 (en) * 2004-01-20 2006-11-21 Polycom, Inc. Method and apparatus for mixing compressed video
US7692683B2 (en) * 2004-10-15 2010-04-06 Lifesize Communications, Inc. Video conferencing system transcoder
US7929012B2 (en) 2006-01-05 2011-04-19 Cisco Technology, Inc. Method and architecture for distributed video switching using media notifications
CA2644753A1 (en) * 2006-03-03 2007-09-13 Vidyo, Inc. System and method for providing error resilience, random access and rate control in scalable video communications
US8773494B2 (en) * 2006-08-29 2014-07-08 Microsoft Corporation Techniques for managing visual compositions for a multimedia conference call
US8633962B2 (en) * 2007-06-22 2014-01-21 Lifesize Communications, Inc. Video decoder which processes multiple video streams
CN102067529A (zh) * 2008-06-19 2011-05-18 松下电器产业株式会社 通信路径构筑装置和n-树构筑方法
US8319820B2 (en) 2008-06-23 2012-11-27 Radvision, Ltd. Systems, methods, and media for providing cascaded multi-point video conferencing units
US20100149301A1 (en) * 2008-12-15 2010-06-17 Microsoft Corporation Video Conferencing Subscription Using Multiple Bit Rate Streams
CN101540872B (zh) 2009-02-23 2012-07-04 华为终端有限公司 媒体控制服务器多通道级联的控制方法、装置和系统
US8456510B2 (en) * 2009-03-04 2013-06-04 Lifesize Communications, Inc. Virtual distributed multipoint control unit
US8514263B2 (en) * 2010-05-12 2013-08-20 Blue Jeans Network, Inc. Systems and methods for scalable distributed global infrastructure for real-time multimedia communication
CN102741831B (zh) * 2010-11-12 2015-10-07 宝利通公司 多点环境中的可伸缩音频
CN102547210B (zh) 2010-12-24 2014-09-17 华为终端有限公司 级联会议中级联会场的处理方法、装置及系统
US8934530B2 (en) * 2011-02-01 2015-01-13 Vidyo, Inc. Spatial scalability using redundant pictures and slice groups
EP2555521A1 (en) * 2011-08-01 2013-02-06 Advanced Digital Broadcast S.A. A method and system for transmitting a high resolution video stream as a low resolution video stream
US9369671B2 (en) * 2013-02-11 2016-06-14 Polycom, Inc. Method and system for handling content in videoconferencing

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070230568A1 (en) * 2006-03-29 2007-10-04 Alexandros Eleftheriadis System And Method For Transcoding Between Scalable And Non-Scalable Video Codecs
CN101257607B (zh) * 2008-03-12 2010-06-09 中兴通讯股份有限公司 一种应用于视频会议的多画面处理系统和方法
US20100085419A1 (en) * 2008-10-02 2010-04-08 Ashish Goyal Systems and Methods for Selecting Videoconferencing Endpoints for Display in a Composite Video Image
US20100245534A1 (en) * 2009-03-30 2010-09-30 De Lind Van Wijngaarden Adriaan J Method and apparatus for the efficient transmission of multimedia streams for teleconferencing
US20120300018A1 (en) * 2011-05-23 2012-11-29 Li Gordon Yong Using distributed local qos optimization to achieve global qos optimization for video conferencing services

Also Published As

Publication number Publication date
US20150312522A1 (en) 2015-10-29
US20160212383A1 (en) 2016-07-21
EP2965508A1 (en) 2016-01-13
WO2014135383A1 (en) 2014-09-12
US20140247320A1 (en) 2014-09-04
US9961303B2 (en) 2018-05-01
CA2897920A1 (en) 2014-09-12
CN105144702B (zh) 2018-07-17
US9357172B2 (en) 2016-05-31
NO341411B1 (no) 2017-10-30
EP2965508B1 (en) 2020-12-30
CN105144702A (zh) 2015-12-09
CA2897920C (en) 2021-04-27
US9113037B2 (en) 2015-08-18

Similar Documents

Publication Publication Date Title
NO20130330A1 (no) Virtuelle endepunkter i videokonferanser
AU2011258272B2 (en) Systems and methods for scalable video communication using multiple cameras and multiple monitors
US9781386B2 (en) Virtual multipoint control unit for unified communications
US9596433B2 (en) System and method for a hybrid topology media conferencing system
EP2789120B1 (en) Collaboration system and method
EP2987273B1 (en) Dynamic allocation of encoders
US9369511B2 (en) Telecommunication network
US9232192B2 (en) Method and system for video conference snapshot presence
US20120075408A1 (en) Technique for providing in-built audio/video bridge on endpoints capable of video communication over ip
TWI531244B (zh) 視訊會議資料處理方法及系統

Legal Events

Date Code Title Description
CHAD Change of the owner's name or address (par. 44 patent law, par. patentforskriften)

Owner name: CISCO TECHNOLOGY INC, US

CREP Change of representative

Representative=s name: BRYN AARFLOT AS, POSTBOKS 449 SENTRUM, 0104 OSLO

MM1K Lapsed by not paying the annual fees