NO20130201A1 - Fremgangsmåte og applikasjon for å fange duo video-innhold i en videokonferanse. - Google Patents

Abstract

En datamaskin-, nettbrett- eller smarttelefoneksekverbar applikasjon og en tilsvarende fremgangsmåte som gjør det mulig for en bruker av applikasjonen å aktivere strømming av duo video-innhold fra en pågående videokonferanse f.eks. fra en MCU, en konferansebro eller et endepunkt for avspilling, for redigering og lagring av innhold.

Description

Fremgangsmåte, dataprogram og apparat for å fange duo video-innhold i en videokonferanse.

Teknikkens område

Den foreliggende oppfinnelse vedrører en fremgangsmåte og et datamaskinmplementert applikasjon for konferanser betjent av en VideoKonferanseKontrollArrangement (VKKA) som involverer separat data-innhold som er tilgjengelig fra VKKAen transmittert fra en eller flere av et antall endepunkter som deltar i en konferanse

Bakgrunn

Transmisjon av levende bilder i sanntid benyttes i flere applikasjoner som f.eks videokonferanser, nettmøter og videotelefoni .

Videokonferansesystemer gir mulighet for samtidig utveksling av lyd, video og datainformasjon mellom flere konferansesteder. Systemer som er kjent som «Multipoint Control Units» (MCU) utfører svitsjefunksjoner som tillater endepunktene på foskjellige steder for å interkommunisere i en konferanse . Oppgavene til en MCU kan generelt utføres av generelle VideoKononferanseKontrollArrangementer (VKKAA) som distribuerte MCUer, konferansebroer, rutere eller konferansekontrollserere, som begrepet MCU heretter vil referere til.

MCUen knytter stedene sammen ved å motta rammer («frames») med konferanse signaler fra de forskjellige stedene, prosesserer de mottatte signalene, og retransmittere de prosesserte signaler til de aktuelle stedene. Konferansesignaler inkluderer lyd, video, data og kontrollinformasjon. I en svitsjet konferanse blir video - signal fra ett av konferansestedene, typisk det med den høyeste talen, kringkastet til hver av deltakerne. I en kontinuerlig tilstedeværelse-konferanse («continuous presence conference»), blir videosignaler fra to eller flere steder romlig mikset for å danne et sammensatt videosignal for fremvisning hos konferansedeltakere . Når de forskjellige videostrømmer har blitt satt sammen til en enkelt videostrøm, transmitteres den sammensatte videostrømmen til de ulike deltakerne i videokonferansen, hvor hver transmitterte videostrøm gjerne følger et regelsett som angir hvem som skal motta hvilken videostrøm. Generelt foretrekker de ulike brukerne å motta ulike videostrømmer. Den kontinuerlige tilstedeværelse-videobilde eller sammensatte videobilde er et kombinert bilde som kan inkludere levende videostrømmer, stillbilder, menyer eller andre visuelle bilder fra deltakerne i konferansen .

I tillegg til tradisjonelle, stasjonære videokonferanseendepunkter, har mobil- og datamaskinenheter som smarttelefoner, nettbrett og PC-er nylig kommet inn i det visuelle kommunikasjonsmarkedet .

Da videokonferanse involverer ulike ressurser og utstyr som samtidig interopererer på ulike lokaliseringer og med ulike kapabiliteter, er det behov for muligheten til å forvalte de ressursene som er involvert både for planlagte videokonferanser og ad hoc - videokonferanser.

Som nevnt ovenfor, har økt funksjonalitet og tilgjengelig båndbredde på mobile kommunikasjonsenheter gjort dem til populære verktøy i forretningskommunikasjon . Å kunne utføre visuell kommunikasjon nesten hvor som helst og når som helst, bedrer produktivitet og beslutningsprosess.

En tradisjonell videokonferanse har en lyd-kanal, en videokanal og en valgfri datakanal med separat datainnhold. Videokanalen bærer vanligvis kameravideobildet av deltakerne. Standarden H.239 fra ITU - T definerer regler og meldinger for å etablere en ekstra video/grafikk kanal , ofte for å overføre et PC-grafikk presentasjon eller video fra et dokumentkamera, og samtidig overføre video av den som presenterer. SIP ekvivalenten til H.239 er SIP Dual Video som bruker «RFC - 4582 Binary Floor Control Protocol», og begge er i bransjen ofte også referert til som "duo video", og i det følgende vil "duo video" referere til både H.239 og SIP Dual Video, i tillegg til mulige lignende standarder .

For presentasjoner i flerpunktskonferanser, definerer «duo video token» prosedyrer for å sikre at bare ett endepunkt i konferansen sender ekstra videokanal som deretter distribueres til alle konferansedeltakere .

Duo video ble opprinnelig opprettet som et skjermverktøyet, hvor innholdet mikses i et sammensatt bilde av videokonferansesesjonen eller svitsjet inn i videokonferansen på forespørsel. Det opprinnelige innholdet i duo video som vanligvis ville være en PowerPoint -presentasjon som har blitt transformert inn i en sanntidsvideostrøm, er ikke tilgjengelig fra PC, nettbrett eller smarttelefoner som er koblet til MCUen, og kan ikke deles mellom deltakerne . Derfor er det ingen måte å repetere innholdet som vises i en konvensjonell videokonferanse ved f.eks å gå igjennom en presentasjon i etterkant av konferansen . Det er således et behov for en funksjon for å få tilgang til innholdet fra disse enhetene, selv om de ikke direkte deltar i videokonferansen, og å lagre dem for senere gjennomgang.

Oppsummering

Et formål med utførelsesformene heri er å overvinne eller i det minste å redusere de ovennevnte ulemper. Dette og andre formål oppnåes ved å tilveiebringe en fremgangsmåte for konferanser som betjenes av et VideoKonferanseKontroll Arrangement (VKKA) som involverer separat datainnhold tilgjengelig fra VKKAen transmittert fra en eller flere av et antall endepunkter som deltar i en konferanse. Fremgangsmåten omfatter å motta det separate data-innhold fra VKKAen i en personlig elektronisk enhet, å midlertidig lagre det separate data-innhold in den personlige elektroniske enhet som et data-stillbilde, å fremvise en oversikt over de lagrede datastillbilder på skjermen til den personlige dataenhet, å gjøre de fremviste lagrede datastillbilder valgbare for en bruker av den personlige dataenhet.

En fordel er at å fremvise og fange duo video-innhold fra en vanlig videokonferanse muliggjøres av en videokonferanseapplikasjon implementert på brukere som deltar i videokonferansen sine personlige enheter.

I andre utførelser omfatter fremgangsmåten videre å transmittere det separate datainnhold kun ved tilfeller av at skift i de separate data detekteres.

I andre utførelser omfatter fremgangsmåten videre å analysere hvorvidt et skift i de separate data har oppstått ved å sammenligne pikselverdier fra et referansebilde med tilsvarende pikselverdier i et gjeldende (nåværende) bilde i de separate data.

I andre utførelser omfatter fremgangsmåten videre å analysere hvorvidt et skift i de separate data har oppstått ved å ved å utføre en tidlig skip («early skip») prosess som definerer hver makroblokk i de separate datainnhold som "hoppes over" («skipped») eller "ikke hoppes over" («not skipped»), og stadfeste et tilfelle av skift dersom antall makroblokker som er definert "ikke hoppes over" er null eller under en forhåndsdefinert terskel.

I andre utførelser er VKKAen en MCU, en distribuert MCU, en konferansebro, en ruter eller en konferansekontrollserver.

I andre utførelser er det separate datainnhold en duo-videostrøm.

I andre utførelser omfatter trinnet med å gjøre de fremviste datastillbilder valgbare videre å gjøre de valgte datastillbilder tilgjengelig for lagring, deling og/eller videresending.

I andre utførelser er de personlige elektroniske enheter smarttelefoner, nettbrett og/eller personlige datamaskiner med autorisert tilgang til videokonferansen eller til det separate datainnhold.

I et annet aspekt er en datamaskin implementert applikasjon som interagerer med en konferanse betjent av en VideoKonferanseKontrollArrangement (VKKA) som er implementert i en personlig elektronisk enhet som involverer separat datainnhold tilgjengelig fra VKKAen transmittert fra en eller flere av et antall endepunkter som deltar i en konferanse tilveiebrakt. Applikasjonen omfatter en mottaksanordning tilpasset til å motta det separate datainnhold fra VKKAen, et lagringsmidddel tilpasset til midlertidig å lagre den separate datainnhold i den personlige elektroniske enheten som datastillbilder, et fremvisningsmiddel tilpasset for å fremvise en oversikt over de lagrede datastillbilder på skjermen til den personlige elektroniske enheter, et valgmiddel tilpasset til å gjøre de fremviste datastillbilder valgbare for en bruker av den personlige elektroniske enheten.

I andre utførelser transmitterer VKKAen kun det separate datainnhold ved tilfeller av at skift i de separate data detekteres.

I andre utførelser analyserer VKKAen hvorvidt et skift i de separate data har oppstått ved å sammenligne pikselverdier fra et referansebilde med tilsvarende pikselverdier i et gjeldende (nåværende) bilde i de separate data.

I andre utførelser analyserer VKKAen hvorvidt et skift i de separate data har oppstått ved å utføre en tidlig skip («early skip») prosess som definerer hver makroblokk i de separate datainnhold som "hoppes over" («skipped») eller "ikke hoppes over" («not skipped»), og stadfeste et tilfelle av skift dersom antall makroblokker som er definert "ikke hoppes over" er null eller under en forhåndsdefinert terskel.

I andre utførelser er VKKAen en MCU, en distribuert MCU, en konferansebro, en ruter eller en konferansekontrollserver.

I andre utførelser er det separate datainnhold en duo-videostrøm.

I andre utførelser omfatter valgmiddelet videre å gjøre de valgte datastillbilder tilgjengelig for lagring, deling og/eller videresending.

I andre utførelser er de personlige elektroniske enheter smarttelefoner, nettbrett og/eller personlige datamaskiner med autorisert tilgang til videokonferansen eller til det separate datainnhold.

Kort beskrivelse av tegningene

Figur 1 er en illustrasjon av enhetene som er involvert i en videokonferanse i henhold til en eksempelutførelse, Fig. 2 er et eksempel på et skjermbilde av videokonferanseapplikasjonen i henhold til en eksempelutførelse,

Figur 3 viser en pågående presentasjon.

Fig. 4 viser en oversikt over valgbare slides i henhold til et brukereksempel.

Detaljert beskrivelse av en eksempelutførelsesform

Ifølge utførelser som her er beskrevet, er en applikasjon eksekverbar på en elektronisk enhet, for eksempel en datamaskin, nettbrett eller smarttelefon tilveiebrakt, slik at en bruker av applikasjonen kan aktivere strømming av duo video-innhold fra en pågående videokonferanse f.eks fra en MCU, en konferanse bro eller et endepunkt, for avspilling, redigering og lagring av innhold. En fremgangsmåte for konferanser betjent av et VideoKonferanseKontrollArrangement (VKKA) som involverer separat datainnhold tilgjengelig fra VCMA som transmitteres fra ett eller flere av en rekke endepunkter som deltar i en konferanse, blir nå beskrevet. Fremgangsmåten omfatter å motta ved en personlig elektronisk enhet separat datainnhold fra VCMA . Midlertidig lagring av det separate datainnholdet i den personlige elektroniske enheten som datastillbilder blir gjennomført. Fremvisning av en oversikt over de lagrede data stillbilder på skjermen til den personlige elektroniske enheten blir gjennomført. Å gjøre de fremviste datastillbilder velgbare for en bruker av den personlige elektroniske enheten blir gjennomført.

Figur 1 er en illustrasjon av forskjellige enheter som kan være involvert i en videokonferanse i henhold til et eksempel på en utførelsesform. Den øvre delen viser de som konvensjonelt er involvert, dvs. endepunktene og MCU er koblet via et IP-nettverk, og den nedre del viser de forskjellige personlige enheter i hvilke en konferanse applikasjon kan installeres.

I konvensjonelle videokonferanser hvor duo video benyttes og MCU er involvert, er den ekstra video/grafikk kanal koblet fra senderen av duo video til MCUen, som igjen retranmitterer det til alle de andre deltakerne. MCUen kan fortløpende distribuere duo video-innhold idet det mottes fra ett av endepunktene til de personlige enheter med autorisert tilgang til konferansen. Konferanseapplikasjonen på de personlige enheter er tilpasset til å motta og vise frem innholdet transmittert fra MCUen.

Siden duo video-strømmens natur er periodisk stabile bilder, og at alt innholdet skiftes samtidig, bør det være et analysemekanisme for å identifisere skiftene, slik at MCUen er i stand til å distribuere data bare på identifiserte tilfeller av skift. Data som skal distribueres ved hvert tidspunkt kan enten være et fullstendig nytt bilde, eller forskjellen i forhold til innholdet før skiftet .

Identifisering av skift kan forekomme på det tidspunkt når en betydelig endring i innholdet av kildebildet hvorfra duo video kommer, blir oppdaget. I henhold til utførelsesformer heri, blir et stillbilde av det tidligere innholdet alltid lagret, og blir kontinuerlig sammenlignet med den nåværende innhold i MCUen. Sammenligningen kan utføres på en piksel-for-piksel-måte, eller en eller flere verdier som er knyttet til tidligere innhold kan sammenlignes med en eller flere tilsvarende verdier assosiert med det aktuelle innhold. Når differansen mellom verdiene overskrider en forhåndsdefinert terskel, blir det lagrede, tidligere innhold erstattet med nåværende innhold, og en transmisjon av nåværende innhold til de personlige enheter initieres. Dette kan typisk være et nytt stillbilde, f.eks i et JPEG -filformat.

Å detektere skiftene kan også utføres ved å utnytte en allerede kjent tidlig «hopp over»

(«early skip»)-funksjonen som benyttes på makroblokker i

videokomprimeringstandarden H.264 for å detektere om en makroblokk i en aktuell videoramme («video frame») endrer seg tilstrekkelig i forhold til den tilsvarende makroblokk til referanserammen, for å gjøre det nødvendig å kode denne endringen. Resultatet av "tidlig hoppe over"-funksjonen er binær for hver makroblokk i bildet. Enten er en makroblokk satt til "hoppet over" eller "ikke hoppet over" . Når man benytter denne metoden for å detektere innholdsskift, vil antall makroblokker definert som "ikke hoppet over"være på triggeren. Hvis den overstigeren forhåndsdefinert antall, blir en ny oppdatering av innholdet distribuert til de personlige enheter. Igjen så kan dette typisk være et nytt stillbilse, f.eks i et JPEG- format, men det kan også være data som inneholder bare den residualen av det nye innhold i forhold til det tidligere overførte innhold.

På mottakersiden, dvs. i konferanseapplikasjonene som er installert på de personlige enheter, blir det nye innholdet mottatt, prosessert og fremvist på skjermen. Ifølge utførelser heri, blir det også fortløpende lagret midlertidig i minnet til de personlige enheter under videokonferansen. Hvis det nye innholdet er i formatet av et full-størrelse bilde, for eksempel i et JPEG- format, lagres det bare som det er mottatt. Hvis bare residualen relativt til nåværende innhold blir mottatt, må det foreligge en form for prosess implementert i konferanseapplikasjonen for å dekomprimere og gjenskape det nye innholdet før det fremvises og lagres.

Til slutt, konferanseapplikasjonen kan være tilpasses til å presentere innhold som er midlertidig lagret i løpet av en konferanse for en bruker av en personlig enhet, og gjøre det mulig at brukeren kan velge innhold for deling, videresending eller permanent lagring.

I det følgende blir et brukerscenario i henhold til en eksempelvis utførelsesform beskrevet .

Et antall videoendepunkter er koblet til en MCU i en videokonferanse . I tillegg kan et antall personlige enheter, ikke nødvendigvis tilkoblet som endepunkter i konferansen, med en konferanse applikasjon installert, være koblet til MCUen og assosiert til konferansen via en autorisasjonsprosess som kan omfatte å taste inn en konferansekode i konferanseapplikasjonen ved oppkobling til MCUen, eller ved MCUen gjenkjenneren ID til den personlige enheten.

Når den personlige enheten har fått tilgang til konferansen, kan en oversikt over deltakere i tillegg til funksjonsknapper som illustrert i figur 2, vises på brukerens skjerm. I eksempelet i figur 2 , er det fire endepunkter som deltar i konferansen, og den som transmitterer lyd er til en hver tid indikert med et høyttalersymbol. Blant funksjonsknappene , er det en presentasjonsknapp som når den blir trykket på aktiverer mottak og fremvisning av presentasjonen som er til stede som duo video i videokonferansen. Ved å trykke på knappen kan et signal bli sendt til MCUen som instruerer den til å transmittere oppdateringer av duo video-innhold til den personlige enheten som beskrevet ovenfor.

Figur 3 viser en pågående presentasjon. Ideen er at den nåværende slide den store, og deretter blir alle tidligere silder synlig som miniatyrbilder nederst.

Når man trykker på presentasjonsknappen, vil duo video-innhold fremvises på skjermen på brukerens personlige enhet. Innholdet vil typisk være slider i en presentasjon som vises for eksempel som illustrert i figur 4. Alle slider vil være vist, og brukeren kan velge et hvilket som helst antall slider og deretter velge å lagre, tvitre, legge ut på Facebook, lagre til Dropbox, e-post osv.

Det vil også være en opsjon for brukeren å editere det totale duo video-innhold, enten så langt i konferansen, på slutten av konferansen eller når en administrator av konferansen åpner for det.

Videre, ifølge en eksempelvis utførelsesform, vil hvert stillbilde eller slide være valgbar for deling, videresending eller lagring. Brukeren vil da bli invitert til å velge et antall stillbilder eller slider ved for eksempel å berøre dem på skjermen eller trykke på en "velg alle"-knapp. De valgte stillbilserbilder eller slider vil da bli markert, og brukeren vil ha muligheten til å velge mellom de tilgjengelige alternativene for hva de skal gjøre med de valgte stillbilder eller slider.

Som et eksempel, når man velger å lagre det valgte innholdet, vil et browser-vindu som viser den personlig enhetens bibliotek dukke opp, slik at brukeren kan velge en mappe og et filnavn for det valgte innholdet. Brukeren vil også få mulighet til å lagre det valgte innholdet på en plassering som ikke fysisk er på den personlige enhet, men snarere i en lagringstjeneste generelt tilgjengelig via trådløse nettverk.

Når man velger å videresende det valgte innholdet, vil en epost bli opprettet ved hjelp av standard e-post-program i den personlig enheten med valgt innhold som et vedlegg.

Når man velger å dele det merkede innhold, vil brukeren bli presentert for alternativer for å dele innholdet i et antall sosiale nettverkstjenester eller nettskybaserte fildelingstjenester.

Utførelsesformer som er beskrevet her, gir fordelen av å fremvise og fange duo video-innhold i en vanlig videokonferanse aktivert av en videokonferanseapplikasjon implementert på personlige enheter til brukere som deltar i videokonferansen. De forskjellige utførelsesformer som er beskrevet heri er bare eksempler, og forskjellige modifikasjoner, implementeringer og variasjoner nærliggende for en person med kunnskap innenfor fagområdet, er dekket av de selvstendige kravene som er beskrevet heri.

Claims (16)

1. En fremgangsmåte for konferanser som betjenes av et VideoKonferanseKontroll Arrangement (VKKA) som involverer separat data-innhold tilgjengelig fra VKKAen transmittert fra en eller flere av et antall endepunkter som deltar i en konferanse, hvor fremgangsmåten omfatter: å motta det separate data-innhold fra VKKAen i en personlig elektronisk enhet, å midlertidig lagre det separate data-innhold i den personlige elektroniske enhet som et data-stillbilde, å fremvise en oversikt over de lagrede datastillbilder på skjermen til den personlige dataenhet, å gjøre de fremviste lagrede datastillbilder valgbare for en bruker av den personlige dataenhet.

2. Fremgangsmåte som angitt i krav 1, videre omfattende: å transmittere det separate datainnhold kun ved tilfeller av at skift i de separate data detekteres.

3. Fremgangsmåte som angitt i krav 2, videre omfattende: å analysere hvorvidt et skift i de separate data har oppstått ved å sammenligne pikselverdier fra en referansebilde med tilsvarende pikselverdier i et gjeldende (nåværende) bilde i de separate data.

4. Fremgangsmåte som angitt i krav 2, videre omfattende: å analysere hvorvidt et skift i de separate data har oppstått ved å ved å utføre en tidlig «hopp over» («early skip») -prosess som definerer hver makroblokk i de separate datainnhold som "hoppes over" («skipped») eller "hoppes ikke over" («not skipped»), og fastsette et tilfelle av skift dersom antall makroblokker som er definert" hoppes ikke over" er null eller under en forhåndsdefinert terskel.

5. Fremgangsmåte som angitt i et av kravene 1-4, hvori VKKAen er en MCU, en distribuert MCU, en konferansebro, en ruter eller en konferansekontrollserver.

6. Fremgangsmåte som angitt i et av kravene 1-4, hvori det separate datainnhold er en duo video-strøm.

7. Fremgangsmåte som angitt i ett av kravene 1-4, hvori trinnet med å gjøre de fremviste datastillbilder valgbare videre omfatter å gjøre de valgte datastillbilder tilgjengelig for lagring, deling og/eller videresending.

8. Fremgangsmåte som angitt i ett av kravene 1-4, hvori de personlige elektroniske enheter er smarttelefoner, nettbrett og/eller personlige datamaskiner med autorisert tilgang til videokonferansen eller til det separate datainnhold.

9. En datamaskin implementert applikasjon som interagerer med en konferanse betjent av et VideoKonferanseKontrollArrangement (VKKA), som er implementert i en personlig elektronisk enhet som involverer separat datainnhold tilgjengelig fra VKKAen transmittert fra en eller flere av et antall endepunkter som deltar i en konferanse, omfattende en mottaksa no rdn ing tilpasset til å motta det separate datainnhold fra VKKAen, et lagringsmidddel tilpasset til midlertidig å lagre den separate datainnhold i den personlige elektroniske enheten som datastillbilder, et fremvisningsmiddel tilpasset til å fremvise en oversikt over de lagrede datastillbilder på skjermen til den personlige elektroniske enheter, et valgmiddel tilpasset til å gjøre de fremviste datastillbilder valgbare for en bruker av den personlige elektroniske enheten.

10. En datamaskin implementert applikasjon som angitt i krav 9, hvori VKKAen kun transmitterer det separate datainnhold ved tilfeller av at skift i de separate data detekteres.

11. En datamaskin implementert applikasjon som angitt i krav 10, hvori VKKAen analyserer hvorvidt et skift i de separate data har oppstått ved å sammenligne pikselverdier fra et referansebilde med tilsvarende pikselverdier i et gjeldende (nåværende) bilde i de separate data.

12. En datamaskin implementert applikasjon som angitt i krav 10, hvori VKKAen analyserer hvorvidt et skift i de separate data har oppstått ved å utføre en tidlig «hopp over» («early skip»)-prosess som definerer hver makroblokk i de separate datainnhold som "hoppes over" («skipped») eller "hoppes ikke over" («not skipped»), og fastslå et tilfelle av skift dersom antall makroblokker som er definert" hoppes ikke over" er null eller under en forhåndsdefinert terskel.

13. En datamaskin implementert applikasjon som angitt i ett av kravene 9-12, hvori VKKAen er en MCU, en distribuert MCU, en konferansebro, en ruter eller en konferansekontrollserver.

14. En datamaskin implementert applikasjon som angitt i ett av kravene 9-12, hvori det separate datainnhold er en duo video-strøm.

15. En datamaskin implementert applikasjon som angitt i ett av kravene 9-12, hvori valgmiddelet videre er tilpasset til å gjøre de valgte datastillbilder tilgjengelig for lagring, deling og/eller videresending.

16. En datamaskin implementert applikasjon som angitt i ett av kravene 9-12, hvori de personlige elektroniske enheter er smarttelefoner, nettbrett og/eller personlige datamaskiner med autorisert tilgang til videokonferansen eller til det separate datainnhold.