NO20111183A1 - Videokonferansesystem, metode og dataprogramlagringsenhet - Google Patents

Abstract

En videokonferanseenhet for å presentere utvidede bilder som inkluderer minst ett grensesnitt, et nettverk og en datamaskinprosessor programmert til å motta en første informasjon som identifiserer en scene via minst ett grensesnitt. Datamaskinprosessoren detekterer også hvorvidt scenen inneholder minst en markør, og identifiserer en lokasjon av hver detektert markør innenfor scenen. Som respons på å bestemme at scenen inneholder en første markør, og basert på lokasjonen av den første markør, utvider datamaskinprosessoren deretter porsjonen av scenen som inneholder den første markør med en andre informasjon. Datamaskinprosessoren overfører deretter den utvidede scenen til minst en ekstern enhet via nettverket.

Description

Videokonferansesystem, metode og dataprogramlagringsenhet

BAKGRUNN

Teknisk område

[0001] Beskrivelsen angår en videokonferanseinnretning, assosiert metodikk og en ikke-transitorisk datamaskinprogramlagringsenhet som benytter utvidet virkelighet (eng.: augmented reality) til å implementere utvidede bilder under en videokonferanse.

BESKRIVELSE AV RELATERT TEKNIKK

[0002] Ved utførelse av videokommunikasjon mellom et senderendepunkt og mottaksendepunkt anvender videokonferansesystemer to videokanaler til å formidle informasjon mellom seg. En "hoved-"videokanal omfatter videoinformasjon av en scene spilt inn av en avbildningsenhet, for eksempel av eksterne publikumsmedlemmer i en konferanse, eller en presentatør, mens den andre videokanalen er forbundet til en rekke eksterne enheter til å motta ytterligere videoinformasjon som presentasjonsmateriale. Imidlertid fører bruken av disse to kommunikasjonskanalene i videokonferansesystemer til en rekke problemer.

[0003] Ett problem med å sende scenevideoinformasjon over en annen videokanal enn presentasjonsmaterialet, er at presentatøren ikke lenger er på samme fysiske sted som presentasjonen, noe som dermed vanskeliggjør et naturlig samspill med presentasjonen. Med andre ord vil de eksterne publikumsmedlemmer på mottaksendepunktet enten se presentatøren eller presentasjonsmaterialet, slik at den eneste måten presentatøren kan peke informasjon ut i presentasjonsmaterialet på, er ved hjelp av en mus på PC eller en fjernkontroll. Presentasjoner er imidlertid mest effektive når eksterne publikumsmedlemmer er i stand til å se den faktiske presentatør sammen med presentatørens eventuelle interaksjoner eller håndbevegelser med hensyn til å presentere presentasjonsmaterialet.

[0004] Et annet problem med typisk videokonferanseutstyr er at presentatøren ikke alltid vet når eksterne publikumsmedlemmer ved mottaksendepunktet kan se ham, siden eksterne brukere kan benytte en liten enhet som bare er stor nok til å vise enten presentatørens hovedvideo eller den sekundære video for presentasjonsmaterialet. Dette pålegger en ytterligere byrde på presentatøren, siden han ikke kan etablere noen form for øyekontakt med det eksterne publikum når han ikke engang vet om de eksterne publikumsmedlemmer kan se ham. Derfor, siden konfigurasjonen av videokonferanseinnretningen på mottaksendepunkt er ukjent, kan enhver faktisk øyekontakt gjort av presentatøren være hensiktsløs, siden eksterne publikumsmedlemmer kan bytte til å se utelukkende på presentasjonsmaterialet via den andre videokanalen, eller bytte til å se på presentatøren via hovedvideokanalen, og presentatøren vil være uvitende om endringene.

US-2011/157179 Al vedrører en fremgangsmåte, et system og et datamaskinprogramprodukt for å tilveiebringe utvidet virkelighet, basert på markørsporing. I fremgangsmåten innfanges et bilde av en bildeinnfangingsenhet, og det bestemmes om en firkant er tilstede. Hvis en firkant finnes i bildet, bestemmes om firkanten er en markør som samsvarer med en markørdefinisjon. Hvis firkanten er markøren, identifiseres en identitet ved markøren og fire kantkoordinater for markørbidlet. En rotasjonstilstand for markøren bestemmes i henhold til kantkoordinatene for markørbildet, og en relativ forskyvning mellom markøren og bildeinnfangingsenheten beregnes. Et tredimensjonalt objekt kombineres inn i bildet i samsvar med den relative forskyvning, rotasjonstilstanden og markørens identitet, for derved å tilveiebringe et utvidet virkelighet-bilde.

US-5 444 476 A vedrører systemer og fremgangsmåter for å utføre teleinteraktive videokonferanser mellom to eller flere telekonferansesteder, og for å muliggjøre ethvert antall av telekonferansesteder å overlegge en peker til å peke i videobildet som kommer fra ethvert telekonferansested. Systemene og fremgangsmåtene anvender minst en videoavbildningsinnretning til å innfange bilder ved et lokalt telekonferansested og N displayenheter til å fremvise bilder innfanget ved de lokale og eksterne telekonferanse stedene, der N er det totale antallet telekonferansesteder omfattet av systemet. Teleinteraktivitets-kapabiliteten gjennomføres når et lokalt telekonferansested selektivt inngir videobildesignalet fra et eksternt telekonferansested til en pekeroverleggsinnretning i stedet for det lokale videobildet. Pekeroverleggsinnretningen overlegger så pekeren, og det overlagte videosignalet overføres til de eksterne telekonferansestedene. Til slutt, ved å tilveiebringe fjernkontrollmidler for aktivt å posisjonere

videoavbildningsinnretningen ved et eksternt sted, kan posisjonen for den overlagte peker innen et fremvist bilde benyttes til å reposisjonere en

videoavbildningsinnretning ved et eksternt telekonferansested.

SAMMENFATNING

[0005] Den foreliggende fremleggelse beskriver et videokonferansesystem og tilhørende metodikk for bruk av utvidet virkelighet til å presentere utvidede bilder av presentasjonsmateriale på en måte som løser de ovenfor angitte problemer. Som sådan samler videokonferansesystemet datagenerert grafikk av presentasjonsmaterialet i sann-verden-omgivelser ved å innsette 2D- eller 3D-obj ekter i live-hovedkanal-video-feeden fra avbildningsenheten, for derved å kreve bare en videokanal og tilveiebringe en presentasjon, siden den vil bli utført lokalt, slik at eksterne publikumsmedlemmer kan se både presentatør og presentasjonsmateriale. Videre kan presentatøren gjøre bruk av øyekontakt og håndgester for aktivt å engasjere de eksterne publikumsmedlemmer. I tillegg kan de datamaskingenererte bilder av presentasjonsmaterialet festes til fysiske objekter, som tillater bildene å bli fysisk samvirket med, og/eller flyttet som om presentasjonen ble utført lokalt i et konferanserom.

[0006] For å løse minst de ovenfor angitte problemer, vedrører den foreliggende fremleggelse en videokonferanseinnretning, tilknyttet metodikk og ikke-transitorisk datamaskinprogram for å presentere utvidede bilder som inkluderer minst ett grensesnitt, et nettverk og en datamaskinprosessor programmert til å motta første informasjon som identifiserer en scene via minst ett grensesnitt. Datamaskinens prosessor detekterer også om scenen inneholder minst en markør og identifiserer en plassering av hver detekterte markør innenfor scenen. Som respons på å bestemme at scenen inneholder en første markør, og basert på plasseringen av den første markør, utvider (eng.: augments) datamaskinprosessoren deretter den porsjon av scenen som inneholder den første markør med andre opplysninger. Datamaskinens prosessor overfører deretter den utvidede scenen til minst en ekstern enhet via nettverket.

[0007] Den foregående beskrivelse har det formål generelt å presentere konteksten av fremleggelsen. Oppfinnerens arbeid, i den utstrekning det er beskrevet i denne bakgrunnsdelen, såvel som aspekter av den beskrivelse som ellers ikke kvalifiserer som teknikkens ved søknadens innlevering, er verken uttrykkelig eller implisitt tatt opp som teknikkens mot den foreliggende oppfinnelse.De foregående avsnitt har blitt gitt i form av generell innføring, og er ikke ment å begrense omfanget av de etterfølgende patentkrav. De beskrevne utførelsesformer, sammen med ytterligere fordeler, vil bli best forstått med henvisning til den følgende detaljerte beskrivelse i sammenheng med de ledsagende tegninger.

KORT BESKRIVELSE AV TEGNINGENE

[0008] En mer komplett forståelse av den foreliggende utvikling, og mange av medfølgende fordeler ved denne, vil lett oppnås, mens det samme blir bedre forstått, ved henvisning til den følgende detaljerte beskrivelse når den betraktes i forbindelse med de medfølgende tegninger. Imidlertid skal de vedlagte tegninger og deres eksemplariske avbildninger ikke på noen måte begrense omfanget av den utvikling som omfattes av beskrivelsen. Omfanget av den utvikling som omfattes av beskrivelse og tegninger defineres av ordene i de ledsagende patentkrav.

[0009] Figur 1 er et skjematisk diagram av en videokonferansesystem for å presentere utvidede bilder i henhold til en eksempelvis utførelsesform;

[0010] Figur 2 er et flytdiagram av et videokonferansesystem for å presentere utvidede bilder i henhold til en eksempelvis utførelsesform;

[0011] Figur 3 er et algoritmisk systemflytskjema for å presentere utvidede bilder via en videokonferanseinnretning ifølge en eksempelvis utførelsesform;

[0012] Figur 4 er et illustrerende eksempel på et videokonferansemiljø for presentasjon av de utvidede bildene i henhold til en eksempelvis utførelsesform, og

[0013] Figur 5 er et skjematisk diagram av en videokonferanseinnretning for presentasjon av de utvidede bildene i henhold til en eksempelvis utførelsesform.

DETALJERT BESKRIVELSE AV UTFØRELSESFORMER

[0014] Det henvises nå til tegningene, hvor like henvisningstall betegner identiske eller tilsvarende deler gjennom de forskjellige figurer. Den følgende beskrivelse vedrører en enhet og tilhørende metodikk for en videokonferanseinnretning for å presentere utvidede bilder. Videokonferanseinnretningen omfatter minst ett grensesnitt, et nettverk og en datamaskinprosessor programmert til å motta første informasjon som identifiserer en scene via ved minst ett grensesnitt. Datamaskinens prosessor detekterer også om scenen inneholder minst en markør og identifiserer en plassering av hver detektert markør innenfor scenen. Som respons på å bestemme at scenen inneholder en første markør, og basert på plasseringen av den første markør, utvider (eng.: augments) datamaskinprosessoren deretter det parti av scenen som inneholder den første markør, med andre opplysninger. Datamaskinens prosessor overfører deretter den utvidede scenen til minst en ekstern enhet via nettverket.

[0015] Figur 1 er et skjematisk diagram av en videokonferansesystem for å presentere utvidede bilder i henhold til en eksempelvis utførelsesform. I figur 1 er en videokonferanseinnretning 2 forbundet til en server 4, en database 6, en mobil enhet 8 og en ekstern enhet 14 via et nettverk 10. Videokonferanseinnretningen 2 er også forbundet til en avbildningsenhet 12 og en PC 16. Serveren 4 representerer en eller flere servere tilknyttet videokonferanseinnretningen 2, databasen 6, den mobile enheten 8 og den eksterne enheten 14 via nettverket 10. Databasen 6 representerer en eller flere databaser tilknyttet videoenkonferanseenheten 2, serveren 4, den mobile enheten 8 og videokonferanseinnretningen 14 via nettverket 10. Den mobile enheten 8 representerer en eller flere mobile enheter som er forbundet til videokonferanseinnretningen 2, serveren 4, databasen 6 og den eksterne enheten 14 via nettverket 10. Den eksterne enheten 14 representerer en eller flere eksterne enheter som er forbundet til videokonferanseinnretningen 2, serveren 4, databasen 6 og den mobile enheten 8 via nettverket 10. Nettverket 10 representerer ett eller flere nettverk, slik som Internett, som forbinder videokonferanseinnretningen 2, serveren 4, databasen 6, den mobile enheten 8 og den eksterne enheten 14.

[0016] Videokonferanseinnretningen 2 mottar bilder av en omkringliggende scene fra avbildningsenheten 12 forbundet til videokonferanseinnretningen 2. Scenebilder kan være alle typer informasjon, for eksempel streaming video, opptatt av avbildningsenheten 12, men i konteksten av den foreliggende fremleggelse vedrører de miljøer hvori presentasjonen blir utført av presentatøren. Videokonferanseinnretningen 2 bestemmer så hvilken enhet, for eksempel PC 16 og/eller den mobile enheten 8, man kan oppnå presentasjonsmaterialet fra. Når videokonferanseinnretningen 2 har innhentet presentasjonsmaterialet, identifiserer video-konferanserenheten 2 om scenebildene innhentet fra avbildningsenheten 12 inneholder minst en markør. Så snart markøren er oppdaget, identifiserer videokonferanseinnretningen 2 en lokasjon for markøren innenfor scenebildene og utvider en porsjon av scenebildene som inneholder den første markør med videoinformasjon av presentasjonsmateriale mottatt fralokale enheter som datamaskinen 16 eller eksternt fra serveren 4 eller mobil enhet 8 via nettverk 10. Størrelsen og orienteringen til utvidelser avhenger av plasseringen av markør, slik at videokonferanseinnretningen utvider scenebildene med presentasjonsmateriale samtidig som likevel gir rom i scenen bildene for å vise presentatør.På dette punktet omfatter videoinformasjon på hovedvideokanalen video av presentatør innenfor scenebildene sammen med et utvidet bilde som inneholder presentasjonsmaterialet. Den utvidede videoinformasjonen overføres deretter til den eksterne enheten 14 for å fremvises til eksterne publikumsmedlemmer.

[0017] Den utvidede scene, inkludert både presentasjonsmaterialet og videoinformasjon av presentatør, inngår i en enkelt (hoved-) videokanal uten behov for den andre videokanalen. Dette tilveiebringer de fordeler at det mottakende endepunktsvideokonferansesystemet trenger ikke å bekymre seg for å håndtere flere videofeeds, og muliggjør derfor at eksternt publikum kan ha både enkle og komplekse videokonferansesystemer for å motta de samme presentasjoner. Bruken av én hovedvideokanal krever også mindre båndbredde enn å bruke to videokanaler, og åpner dermed for bedre forbindelser mellom endepunktene og video.av høyere kvalitet.

[0018] Figur 2 er et flytdiagram av et videokonferansesystem for å presentere utvidede bilder i henhold til en eksempelvis utførelsesform. Datamaskinen 16, server 4, database 6 og videokonferanseinnretningen 2 i figur 1 er illustrert i figur 2, og derfor er like betegnelser gjentatt. I figur 2 er en flerhet av enheter 200 forbundet til den sendende endepunktsvideokonferanseinnretning 2 som er i sin tur forbundet til et mottakende endepunkt 212.Enhetene 200 overfører presentasjonsmateriell til videokonferanseinnretning 2 for å være inkludert som et virtuelt gjengitt utvidet bilde over en markør identifisert i scenebilder tatt opp på hovedvideokanalen av avbildningsenheten 12. Videokonferanserenheten 2 kan motta presentasjonsmateriale fra et dokumentkamera 202, PC 16,VCR- / DVD- / BLU-RAY- spiller 214, og/eller serveren 4. For eksempel kan dokumentkameraet 202 ta opp bildeinformasjon som overføres direkte til videokonferanseinnretningen 2 som presentasjonsmateriale. Dokumentkameraet 202 kan også være den mobile enheten 8, slik at informasjonen som er lagret i den mobile enheten 8 eller bilder tatt av den mobile enheten 8 kan overføres til videokonferanseinnretningen 2 som presentasjonsmateriale. PC 16,VCR / DVD / BLU-RAY spiller 214 og server 4 kan også tilveiebringe en hvilken som helst type presentasjonmateriale, som for eksempel Microsoft™ Power Point™-presentasjoner, Microsoft™ Word™-dokumenter eller ethvert annet presentasjonsmateriale slik det vil innses av en med vanlige kunnskaper innen faget.

[0019] Videokonferanseinnretningen 2 innbefatter avbildningsenheten 12, en markørdeteksjonenhet 206, en virtuell-objektgjengivelsesenhet 209, en gestidentifikasjonsenhet 208 og en videotransmisjonsenhet 210. Avbildningsenheten 12 opptar live-streaming-video av scenebilder som en serie av rammer, som deretter sendes til markørdeteksjonsenheten 206. Markørdeteksjonsenheten 206 analyserer så scenebildene ramme for ramme, for å avgjøre om scenen inneholder noen markører.

[0020] For å sikre bedre gjenkjennelse av videokonferanseinnretningen 2, kan markørene være utformet med spesifikke mønstre slik at de er mer lett oppdages og ekstraheres av videokonferanseinnretningen 2. Markører kan utformes for å være klart identifiserbare inne i en betraktning av scenen, slik at de lett kan trekkes ut ved markørdeteksjonsenheten 206. Typer av markører innbefatter retro-reflekterende markører, trykte markører med unike mønstre som tillatermarkørdeteksjonsenheten 206 å avgjøre hvilken markør den ser, aktive markører som avgir lys for å skille seg bedre ut fra resten av scenebildene, eller en hvilken som helst annet mønster skjelnet fra scenebildene, slik det vil forstås av en fagmann innen teknikken.

[0021] Når eventuelle potensielle markører er detektert av markørdeteksjonsenheten 206, beregner markørdeteksjonsenheten 206 referansepunkter for markørene i scenenbilderammene slik at virtuelle utvidelser deretter kan kalibreres geometrisk ved å definere plassering av merket i den virkelige verden med hensyn til markørreferansepunktene. Markørdeteksjonsenheten 206 beregner deretter avbildningsenheten er 12 positur i forhold til referansenpunktene, og sammen med kjennskap til utvidelsens kalibrering, beregner den forholdet mellom avbildningsenhetens positur og den for et virtuelt objekt som skal gjengis, slik som presentasjonsmaterialet. Dette forholdet muliggjør at det virtuelle objektet skal gjengis for derved å fremstå som festet til markøren.

[0022] Når markørene har blitt identifisert av markørdeteksjonsenheten 206, blir rammen input til gestidentifikasjonsenheten 208 for å identifisere om det er minst en gest av presentatøren som kan påvirke presentasjonen og/eller innholdet i presentasjonsmaterialet. Gestidentifikasjonsenheten 208 analyserer presentatørens positur i hver ramme for å avgjøre om presentatør har gitt en bestemt gest gjenkjent av gestidentifikasjonenhet 208. Hvis den spesifikke bevegelsen er gjenkjent av gestidentifikasjon enhet 208, overføres rammen til virtuelt-objektet-gjengivelsesenheten 209 slik at den kan bli gjengitt basert på gesten. Ellers er rammen input til virtuelt-objekt-gj engi vel sesenheten 209, og det originale, umodifiserte presentasjonsmaterialet gjengis. Mer informasjon med hensyn tilspesifikke gester gjenkjent av gestidentifikasjonsenheten 208 er tilveiebrakt nedenfor med hensyn til fig 4.

[0023] I en eksempelvis utførelsesform av foreliggende oppfinnelse, er det virtuelle objekt gjengitt basert på hvilke enheter 200 som er forbundet til videokonferanseinnretningen 2, og hvilke av enhetene 200 presentatøren har valgt å aktivere. For eksempel kan presentasjonsmaterialet være innhentet fra serveren 4 via bruk av Quick Response- (QR-) koder innebygd i markører som ligger innenfor scenebildene. QR-koder er kodede bilder som inneholder binære data eller tekstdata, for eksempel en Uniform Resource Locator (URL), som når de dekodes kan brukes av videokonferanseinnretningen 2 for å hente presentasjonsmateriale. For eksempel når en markør oppdages av markørdeteksjonsenheten 206, og inneholder QR-koder, dekoder videokonferanseinnretningen 2 QR-koden for å oppnå URL-en. URL-en kan deretter brukes av videokonferanseinnretningen 2 for å oppnå presentasjonsmateriell fra serveren 4 via nettverket 10. Når

videokonferanseinnretningen 2 mottar presentasjonsmaterialet, kan det gjengis av

virtuelt-objekt-gj engi vel sesenheten 209. For eksempel kunne URL representere presentatørens personlige nettside, der en gjeldende presentasjon opprettholdes i databasen 6 og innhentes fra serveren 4 via nettverket 10. Presentatøren kunne så bare oppdatere gjeldende presentasjon til enhver tid, og QR-kode som peker til presentatørens URL ville ikke endres, for derved å lette behovet for en ny markør for hver presentasjon. Imidlertid, siden bruk av QR-koder ikke krever at en ekstern enhet 200, slik som PC 16, er forbundet til videokonferanseinnretningen 2, kan kontroll-og/eller navigasjon av presentasjonsmaterialet oppnås med andre midler i tillegg til eller separat fra å bruke en fjernkontroll og/eller PC 16. Disse midler er beskrevet senere i nærmere detalj med hensyn til fig 4.

[0024] Med QR-koder for å innhente presentasjonsmaterialet tilveiebringes en rekke fordeler. For det første er bare en del av maskinvaren, videokonferanseinnretning 2, nødvendig når presentasjonsmaterialet skal presenteres til eksterne publikumsmedlemmer. Dette reduserer mengden oppsettingstid som kreves når man forbereder en presentasjon, og eliminerer også risikoen for hardwareproblemer eller glitcher når man prøver å forbinde PC 16 til videokonferanserenheten 2 for å framskaffe presentasjonsmateriale. Videre vil presentatøren ikke lenger ha den fysiske byrde av å måtte flytte PC-en 16 som lagrer presentasjonsmateriale, og kan faktisk unngå den økonomiske byrden av å måtte kjøpe en PC 16 for videokonferanseinnretningen 2, siden presentasjonsmaterialet i sin helhet kan lagres eksternt. Bruken av QR-koder løser også problemer som ofte møtes med sikring av at oppløsningen på videoutgangen fra PCen 16 ikke er for høy.

[0025] Presentasjonsmateriale, for eksempel en Power Point™-presentasjon, kan også oppnås ved å tillate PC 16 eller noen av de andre enhetene 200 å lagre Power Point™-presentasjon. Hvis presentatøren velger PC 16, mottar virtuelt-objekt-gj engi vel sesenheten 209 videorammen fra PC 16's video-inngang, og deretter gjengis rammen innenfor hovedvideorammen, idet det virtuelle objektet utnytter hovedvideokanalen. Denne gjengivelsen utføres ved hjelp av 3D-grafikk-gj engi vel sesbibliotek, for eksempel OpenGL eller DirectX, siden videorammen må gjengis som en overflate på et flatt polygon i et tredimensjonalt miljø for å tillate fysisk manipulering av det virtuelle objektet som om det var ekte. Dette setter presentatøren i stand til faktisk å plukke opp markørene og flytte dem rundt i scenebildene akkurat som hun ville hvis hun ga en presentasjon til et lokalt publikum.

[0026] Muligheten til å flytte markøren som inneholder presentasjonsmateriale som om det var en ekte presentasjon, forsyner også presentatøren med evne til å inkludere informasjon om "baksiden" av det virtuelt gjengitte presentasjonsmaterialet. Med andre ord kan presentasjonsmaterialet produsert som et virtuelt gjengitt, utvidet bilde på markøren, av virtuelt-objekt-gjengivelsesenheten 209, inkludere ulik informasjon på "baksiden" av utvidet bilde, som kan sees av eksterne publikumsmedlemmer når markøren er snudd av presentatøren. For eksempel, kan informasjonen på baksiden omfatte biografisk informasjon om presentatør eller ytterligere informasjon knyttet til presentasjonsmaterialet, for eksempel en nettside eller et bilde som taleren for tiden diskuterer i presentasjonen. Denne informasjon kan også tilveiebringes til videokonferanseinnretningen 2 via en annen ekstern enhet 200. Således kan presentasjonsmaterialet på framsiden av utvidet bilde være mottatt av videokonferanseinnretningen 2 fra PC 16, mens informasjonen på baksiden av presentasjonsmaterialet kan gis av VCR / DVD / BLU-RAY 204.

[0027] Tilbake til diskusjon av figur 2, når presentasjonsmateriale har blitt gjengitt av virtuelt-objekt-gj engi vel sesenheten 209 som et virtuelt objekt innenfor hovedvideorammen via markøren detektert av markørdeteksjonsenheten 206, blir rammen input til videotransmisjonsenhet 210 som overfører rammen inkludert både presentatør og presentasjonsmateriale til mottakende endepunkt 212 via videomottaksenheten 214. Videomottaksenheten 214 overfører deretter video som skal fremvises til eksterne publikumsmedlemmer via skjerm 216.

[0028] Som kan sees fra figur 2, er en annen fordel tilveiebrakt ved oppfinnelsen at det mottakende endepunkt-videokonferansesystemet ikke må endres på noen måte for å vise videoinformasjon som inneholder presentatør og presentasjonsmateriale mottatt fra videokonferanseinnretning 2. Derfor behøver ikke entiteter eller individuelle brukere er å kjøpe ekstra videokonferanseutstyr når de kommuniserer med videokonferanseinnretningen 2.

[0029] Figur 3 er et algoritmisk systemflytdiagram for å presentere utvidede bilder via videokonferanseinnretningen 2 ifølge en eksempelvis utførelsesform. Ved trinnet S300 mottar videokonferanseinnretningen 2 videoinformasjon av scenebilder fra avbildningsenheten 12 og presentasjonsmateriale fra en av de eksterne enheter 200. Videokonferanseinnretningen 2 behandler via markørdeteksjonsenheten 206 deretter videoinformasjonen for å detektere om det er minst en markør innenfor scenebildene mottatt fra avbildningsenheten 12 i trinn S302. Ved trinn S304, hvis ingen markører registreres innenfor scenenbildene mottatt fra avbildningsenheten 12, overfører videokonferanseinnretningen 2 bare scenebildene til den eksterne enheten 14 i trinn S305, slik at presentatør vil være det eneste de eksterne publikumsmedlemmer vil se. Prosesseringen returnerer deretter til å motta ytterligere scenebilder ved trinn S300.

[0030] Hvis det er minst én markør identifisert innenfor scenebildene, bestemmer videokonferanseinnretningen 2 via markørdeteksjonsenheten 206 ved trinn S303 plasseringen av markøren innenfor scenebildene slik at størrelsen og orienteringen for presentasjonsmaterialet som skal gjengis virtuelt, fortsattetterlater plass i scenebildene for å vise presentatøren. Det bør bemerkes at presentatøren kan starte en presentasjon uten bruk av en markør, for derved å sende video bare av seg selv til eksterne publikumsmedlemmer for å få full oppmerksomheten hos de eksterne publikumsmedlemmer når denne gjør åpningstale. Etter ferdigstillelse av åpningstale kan presentatøren deretter bringe en markør i scene bildene for sette eksterne publikumsmedlemmer i stand til å se presentasjonsmateriale.

[0031] Etter identifisering av plasseringen av hver detekterte markør ved trinn S303, bestemmer gestidentifiseringsenheten 208 så om minst en gest har blitt identifisert fra presentatøren ved trinn S306. Hvis ingen gester er gjenkjent av gestgjenkjennelsesenhet 208, gjengir virtuelt-objektet-gjengivelsesenheten 209 det opprinnelig mottatte presentasjonsmateriale inn i scenebildene ved trinn S308. Videokonferanseinnretningen 2 overfører deretter utvidede scenebilder til den eksterne enheten 14 ved trinn S312. Prosesseringen fortsetter deretter til trinn S314 for å fastslå om presentasjonen er over. Dersom presentasjonen er ikke over, fortsetter deretter prosesseringen tilbake til trinn S300 for å motta flere rammer, og hvis presentasjonen er over, så blir overføring av videoinformasjon fra videokonferanseinnretningen 2 til den ytre enhet 14 avsluttet ved trinn S316. Tilbake til trinn S306, hvis videokonferanseinnretningen 2 gjenkjenner gester fra presentatøren, blir presentasjonsmaterialet endret ved trinn S310 basert på gestene identifisert ved trinn S306 og det modifiserte presentasjonsmaterialet blir gjengitt inn i scenebildene. Videoinformasjonen som inneholder utvidede scenebilder overføres deretter til den eksterne enheten 14 ved trinn S312. Prosesseringen fortsetter så til trinn S314 for å avgjøre om presentasjonen er over. Dersom presentasjonen ikke er over, fortsetter deretter prosesseringen tilbake til trinn S300 for å motta ytterligere rammer, og hvis presentasjonen er over, så avsluttes overføring av bildeinformasjon fra videokonferanserenhet 2 til den eksterne enheten 14 ved trinn S316. Derfor kan en presentasjon endres basert på handlingene til presentatør, slik at presentatøren kan innføre en markør inn i scenebildene når han spesielt diskuterer presentasjonsmaterialet, og fjerne markøren fra scenebildene når han ønsker full oppmerksomhet fra de eksterne publikumsmedlemmer.

[0032] Det bør bemerkes at hvis mer enn én markør oppdages, velger videokonferanserenhet 2 en "presentasjons-" markør i scenebildene for å vise videoinformasjon som inneholder presentasjonsmaterialet innhentet fra en av enhetene 200. Som sådan, ved valg av en markør for å bli brukt for den virtuelle gjengivelse av presentasjonsmaterialet, plukker videokonferanseinnretningen basert på mønsteret identifisert på selve markøren.

[0033] Figur 4 er et illustrerende eksempel på et videokonferansemiljø for presentasjon av utvidede bilder i henhold til en eksempelvis utførelsesform. I figur 4 er en presentatør 46 avbildet stående i scenebildene 49 registrert av avbildningsenheten 12 sammen med det virtuelt gjengitte presentasjonsmaterialet 40 som er utvidet (eng.: augmented) inn i scenebildene av virtuelt-objekt-gjengivelsesenheten 209 via presentasjonsmarkøren 42 plassert på bordet 48. En ytterligere markør 44 plassert på bordet 48 er også avbildet i scenebildene 49.

[0034] Som nevnt tidligere og ifølge en eksempelutførelsesform, har presentatør 46 evnen, via gestidentifiseringsenheten 208, til å forandre både utseendet på presentasjonsmaterialet 40 og innholdet i presentasjonsmaterialet 40 uten å kreve bruk av en forbundet enhet 200 eller en fjernkontroll. Ved for eksempel å bruke to markører kan presentatøren svitsje videoinformasjonen sendt til mottakerens endepunkt 212 slik at presentasjonsmaterialet 40 er den eneste informasjonen som blir overført til skjermen 216 via videomottaksenheten 214. Denne fullskjerm- transisjonseffekten kan oppnås ved å flytte presentasjonsmarkør 42 til i umiddelbar nærhet av eller innenfor den porsjonen av scenebildene 49 som er okkupert av den ekstra markøren 44. Hvis presentatøren 46 deretter flytter presentasjonsmarkør 42 tilbake bort fra den ekstra markør 44 slik at de ikke lenger er i umiddelbar nærhet, vil videoinformasjon av scenebildene 49 returnere tilbake til fremvisning av det virtuelt gjengitte presentasjonsmaterialet 40 sammen med presentatøren 46 og eventuell annen informasjon som vises i rammen av avbildningsenheten 12. Det virtuelt gjengitte presentasjonsmaterialet 40 kan også være virtuelt økt i størrelse ettersom presentatøren 46 flytter presentasjonsmarkøren 42 nærmere den ekstra markøren 44, og likeledes kan presentasjonsmaterialet 40 virtuelt reduseres i størrelse ettersom presentatøren 46 beveger presentasjonenmarkøren lenger unna den ekstra markøren 44.

[0035] I tillegg til å endre størrelsen på presentasjonsmaterialet 40 innenfor scenebildene 49, kan presentatøren 46 også endre innholdet i presentasjonsmaterialet 40 gjennom en rekke håndgester. Som diskutert tidligere, kan QR-koder bli dekodet av videokonferansesystemet for å laste ned presentasjonsmaterialet 40 fra en ekstern plassering via nettverket 10. Ved bruk av QR-koder er ingen ekstern enhet 200 nødvendig for å være forbundet til videokonferansesystemet 2, og derfor kontrollerer eller endrer presentatøren 46 presentasjonsmaterialet 40 ved hjelp håndgester. Derfor kan presentatøren bruke håndgester for å styre forsiden av presentasjonen eller baksiden av presentasjonen basert på hvilken type informasjon som presentatøren ønsker å diskutere. For eksempel, og som diskutert tidligere, kan presentatøren flytte markøren for overgang fra forsiden av presentasjonmaterialet til baksiden av presentasjonsmaterialet, som kan omfatte biografisk informasjon om presentatør eller ytterligere informasjon knyttet til presentasjonsmaterialet, for eksempel en nettside eller et bilde som taleren for tiden diskuterer i presentasjonen.Videre kan presentatøren 46 utføre en sveipende bevegelse mot høyre over det virtuelt fremviste presentasjonsmateriale 40 for å gå over til et annet sett av informasjon som det neste presentasjonslysbilde. Omvendt kan presentatøren 46 utføre en sveipende bevegelse mot venstre over det virtuelt fremviste presentasjonsmaterialet 40 for å gå over til et tidligere presentasjonslysbilde. Presentasjonsmaterialet 40 kan også være animert for å tilveiebringe utseende av at det glir ut av skjermen til overgangen til det nye materialet kommer på skjermen, i forbindelse med bevegelse av presentatørens 46 sveipende bevegelse.

[0036] Presentatøren 46 kan også utføre en ekspanderende bevegelse ved å bevege begge hendene i en ytre retning mens de er over presentasjonsmaterialet 40 for å gjøre presentasjonsmaterialet 40 fullskjerm med hensyn til scenebildene 49 overført i videoinformasjon til den eksterne enheten 14. Presentatør 46 kan også utføre en nedadgående sveipende bevegelse for å fremvise en liste over forskjellige filer og/eller lysbildefremvisninger tilgjengelig for å være utvidet over presentasjonsmarkør 42 i scenebildene 49. Når listen over filer og/eller lysbildefremvisninger vises, kan presentatøren 46 peke til en bestemt fil og/eller lysbildefremvisning som deretter lastes av videokonferansesystemet 2 og utvides inn på scenebildene 49 over presentasjonsmarkøren 42 som nytt presentasjonsmateriale 40. Videre kan presentatøren 46 utføre en utheving av et bestemt innhold i presentasjonsmaterialet 40 eller zoome inn eller zoome ut presentasjonsmateriale 40 ved å peke på en bestemt del av lysbildet og opprettholde denne positur i en forhåndsbestemt tidsperiode. Den forhåndsbestemte tid kan settes av presentatør 46 slik at videokonferanseinnretning 2 ikke markerer eller zoomer inntil den gjenkjenner at presentatør 46 ønsker å fremheve eller zoome.

[0037] En annen funksjon som tilbys av videokonferansesystemet 2 er muligheten til å presentere tredimensjonale objekter i scenebildene slik at eksterne publikumsmedlemmer som ser scenebildene 49 via den eksterne enheten 14, kan få en bedre oversikt over innholdet som blir diskutert i presentasjonsmaterialet 40. Hvis for eksempel presentatøren 46 presenterer planer for en ny offshore-oljeplattform, kan presentatøren på et tidspunkt under presentasjonen ønske å vise en faktisk tre-dimensjonal modell av offshore-oljeplattformen. For å skape denne effekten, kan presentatøren 46 utføre en oppadgående sveipebevegelse på et presentasjonslysbilde som inneholder et bilde som presentatøren diskuterer for å fjerne presentasjonslysbildet, ved ikke lenger virtuelt å gjengi informasjonen over presentasjonsmarkøren 42. En tredimensjonal versjon av et bilde som tidligere var inneholdt innenfor det fjernede presentasjonsmaterialet 40, for eksempel en VRML-fil, blir deretter virtuelt gjengitt av virtuelt-objekt-gj engi vel sesenheten 209 på presentasjonsmarkøren 42 på samme sted som bildet tidligere inneholdt det fjernede presentasjonsmateriale. Den tredimensjonale versjon av bildet kan også være virtuelt gjengitt på den ekstra markøren 44. De nylig utvidede tredimensjonale scenebildene blir deretter overført til den eksterne enheten 14 for å bli sett av de eksterne publikumsmedlemmer. Presentatør 46 har da muligheten til å flytte, akkurat som hun gjorde med presentasjonsmaterialet 40, det tredimensjonale objektet gjengitt på presentasjonsmarkøren 42 eller flere markører 44 rundt i scenebildene for bedre å forklare konstruksjonen og utformingen av oljeplattformen. Denne typen presentasjon gir de eksterne publikumsmedlemmer en bedre oversikt over hva presentatøren 46 opprinnelig beskrev med hensyn til det to-dimensjonale bildet som tidligere ble vist i presentasjonsmaterialet 40 før det ble fjernet med den oppadgående, sveipende bevegelse. Presentatøren 46 kan deretter utføre en sveipende ned-bevegelse som vil føre til at virtuelt-objekt-gj engi vel sesenheten 209 fjerner det tre-dimensjonale bilde av oljeplattformen og gjeninnsetter det tidligere fjernede presentasjonsmaterialet 40 inneholdende det to-dimensjonale bilde av oljeplattformen.

[0038] En opp- eller nedsveipingsgest av presentatøren kan også mappes til svitsjing av scenebildene for å vise hva som vises på en PC 16 eller mobil enhet 8 forbundet til videokonferanseinnretningen 2. En motsatt sveip-gest av det som kreves for å svitsje scenebildene til den tilkoblede eksterne enheten 200 kan deretter bli anvendt for å gå tilbake til at presentasjonsmaterialet blir utvidet innenfor scenebildene. Dette setter en presentatør i stand til å gjøre rask og sømløs transisjon til alle typer programvare og/eller program som kan kjøres på PC 16 eller mobil enhet 8 uten å avbryte flyten av presentasjonen.

[0039] Selvfølgelig er mange modifikasjoner og variasjoner av gest-funksjonene beskrevet ovenfor mulig i lys av den ovennevnte lære. Slk det vil forstås av en med vanlige kunnskaper innen teknikken, kan de ovenfor angitte gest-funksj oner derfor bli praktisert på annen måte enn det som er spesielt beskrevet her. Som sådan, kan de ulike sveipende bevegelser bli gjenkjent av videokonferanseinnretningen 2 for å utføre forskjellige funksjoner fra de som er listet ovenfor.For eksempel kan den oppadgående sveipebevegelse brukes til å vise en liste over forskjellige filer og/eller lysbildefremvisninger, og nedover sveipebevegelse kan brukes til å vise tredimensjonale gjenstander.

[0040] Når presentatøren 46 utfører de ulike bevegelser, må

videokonferanseinnretningen 2 via gestidentifikasjonsenheten 208 avgjøre om presentatøren 46 faktisk har tenkt å endre presentasjonsmaterialet 40. For eksempel kan bevegelse i bakgrunn av scenebildene 49 av noe annet enn presentatøren 46 føre til at gestidentifikasjonsenheten 208 feilatig detekterer en gest av presentatør, og dette kan føre til at virtuelt-objekt-gjengivelsesenheten 209 gjengi presentasjonen på en måte som er uventet for presentatøren. Derfor, i en utførelsesform av foreliggende oppfinnelse, bestemmer gestidentifikasjonenheten 208 en posisjon og/eller dybde ved hvilken gesten av presentatøren 46 overstiger grenseplanene for presentasjonsmaterialet 40. For eksempel kan gestidentifikasjonsenhet 208 virtuelt måle lengde, høyde og bredde på virtuelt gjengitt presentasjonsmateriale og fastslå at bare gester som forløper inn i grensen av presentasjonsmaterialet 40 innenfor scenebildene 49 som overstiger en viss lengde, høydeog/eller bredde, forårsaker endringer i presentasjonsmaterialet 40.

[0041] Alternativt kan videokonferanseinnretningen 2 lokalisere presentatøren innenfra scenebildene ved å registrere ansikter i scenen og overvåke hvilke av de detekterte ansiktene som har bevegelige lepper. Når presentatøren er identifisert, kan hendene bli plassert og spores for dermed å sikre at kun håndbevegelser av taleren brukes for gestkontroll av presentasjonen. I en annen utførelsesform, kan identiteten til presentatøren kodes til en QR-kodebasert markør (dvs. navnet John Doe kunne kodes til markøren) slik at videokonferanseinnretningen 2 kunne laste et ansiktsbilde tilsvarende QR-ID-info og identifisere taleren ved hjelp av et ansiktsgjenkjenningssystem. Derfor kan videokonferanseinnretningen identifisere John Doe blant alle ansikter til stede i scenen, og dermed bare overvåke håndbevegelser utført av John Doe ved etablering av gest-baserte handlinger utført under presentasjonen.

[0042] En annen viktig funksjon i videokonferanseinnretning 2 via virtuelt-objektgjengivelsesenheten 209 er evnen til å tillate virkelige objekter, for eksempel presentatøren 46, å skjule virtuelle objekter som presentasjonsmaterialet 40 eller et tre-dimensjonalt objekt gjengitt for å unngå at presentasjonsmateriale 40 blir virtuelt gjengitt i forgrunnen av noe reelt objekt i scenebildene 49. For eksempel, hvis presentatøren 46 legger armen ut foran presentasjonsmaterialet 40 vist i scenbildene 49, skal deretter presentatørens 46 arm blokkere en del av presentasjonsmaterialet 40 dekket av presentatørens 46 arm. Derfor bestemmer videokonferanseinnretning 2 den tredimensjonale struktur av scenen, for eksempel dybden av reelle objekter fra en gitt synsvinkel,for korrekt å skape de riktige virkelig-objekt-okklusjoner i scenebildene 49. Alternativt kan en dybdeavbildningsenhet brukes istedenfor eller i tillegg til avbildningenheten 12 for å skape dybdebilder av scenebildene 49 og dermed muliggjøre virtuelle objektokklusjon.

[0043] Ytterligere forbedringer tilveiebrakt av videokonferanseinnretning 2 inkluderer gjengivelse av høyere kvalitet, for eksempel ved bruk av antialiasing, av virtuelt-objekt -skygger som kastes på ekte miljø,noe som kan øke scenerealismen vesentlig selv når det gjengis på enmåte som ikke samsvarer med den faktiske belysning i scenen. Disse forbedringene øker gjengi vel seskvalitet og troverdighet for de virtuelle objekter når de gjengis av virtuelt-objektgjengivelsesenheten 209, og bevirker dermed at de virtuelle objekter blandes inn i det virkelige miljøet mer sømløst. I tillegg vil nøyaktig belysning av de virtuelle objekter sikre at de fremstår konsistent med belysningen av resten av det virkelige miljø, noe som sikrer virtuelle objekter med realistisk og mindre påtrengende utseende.

[0044] Videokonferanseinnretningen 2 tilveiebringer også evnen, via virtuelt-objekt-gj engivelsesenheten 209, til mer realistisk å dekke opp markører som vises i scenebildene 49 etter at de har blitt detektert av markørdeteksjonsenheten 206. For eksempel kan utseendet av presentasjonsmarkøren 42 og/eller den ytterligere markøren 44 være skjemmende og forstyrrende for publikumsmedlemmer som ser scenebildene 49. Ved bruk av utvidet virkelighet er markørene noen ganger fremstilt som en svart firkant med hvitt inni langsmed et svart mønster ved senteret. Det bør imidlertid bemerkes at mange typer markører finnes, som sirkulære markører, retro-reflekterende markører eller aktive markører. Men for å gjøre disse markørene mindre påtrengende, kan en hvit firkant gjengis av virtuelt-objektgj engivelsesenheten 209, i tillegg til presentasjonsmaterialet 40, over noen av markørene detektert av markørdeteksjonsenheten 206 innenfor scenebildene 49. Som sådan vil det hvite kvadrat gjengitt av virtuelt-objektetgjengivelsesenheten 209 medføre at utpekt markør vises i scenebildene 49 bare som et blankt ark som var etterlatt på pulten, fremfor en påtrengende markør med et distraherende mønster.

[0045] I stedet for å dekke markør med en hvit boks, kan virtuelt-objektetgjengivelseseenheten 209 også erstatte markøren med et bilde. For å skape en slik effekt, bestemmes skyggelegging av det virkelige måleobjektet, og denne påføres det virtuelle objektet for å øke realismen i den endelige scene fremvist i scenebildene 49. Derfor kan for eksempel et selskaps logo gjengis å være konsistent med scenebelysningen som den anvendes på markøroverflaten.Dette gir mulighet for presentatør 46 tilpasset å skreddersy en presentasjon på forhånd eller under selve presentasjonen, basert på publikumsmedlemmer, på en måte som mer aktivt engasjerer og imponerer publikumsmedlemmer.

[0046] Videokonferanseinnretningen 2 via markørdeteksjonsenheten 206 kan også detektere en tablet-PC fremvist i scenebildene 49 som en markør i stedet for en trykt, statisk markør. Som sådan kan tablet-PC-en produsere en rekke markører på skjermen som deretter påvises ved markørdeteksjonsenheten 206 akkurat som en trykt markør. Tilnærmingen med å bruke en tablet-PC som markør i stedet for et trykt statisk markør gir en rekke fordeler. For det første betyr bruk av en tablet-PC for å vise markøren at markøren er effektivt dynamisk fremfor statisk som tilfellet ved bruk en trykt markør. Derfor kan markøren endres når presentatøren 46 ønsker, og lar dermed presentatør 46 laste inn en rekke forskjellige AR-presentasjoner bare ved å vise en annen markør på tablet-PC-skjermen. Dette er særlig hvis markøren er QR-kode-basert,siden presentatøren 46 enkelt kan endre data kodet i QR-koden på et øyeblikk, uten å måtte skrive ut en annen markør. I tillegg kan kontroller være tilveiebrakt på berøringsskjermen på tablet-PC-en, som dermed muliggjør lysbildenavigasjon slik som å dra fingeren mot høyre eller venstre for å gå videre til neste eller forrige bilde.

[0047] Videre er en hardwarebeskrivelse av videokonferanseinnretningen 2 i henhold til eksempelvise utførelsesformer beskrevet med henvisning til figur 5.1 figur 5 omfatter videokonferanseinnretningen 2 en CPU 500 som utfører prosesser som er beskrevet ovenfor. Prosessdataene og instruksjoner kan lagres i minnet 502. Disse prosessene og instruksjonene kan også lagres på en lagringsmediumsdisk 504, for eksempel en harddisk (HDD) eller et bærbart lagringsmedium, eller de kan lagres eksternt. Videre er de krevde utviklinger ikke begrenset til formen av datamasinlesbare medier som den oppfinneriske fremgangsmåtes instruksjoner er lagret på. For eksempel kan instruksjonene være lagret på CDer, DVDer, i FLASH-minne, RAM, ROM, PROM, EPROM, EEPROM, harddisk eller enhver annen informasjonsprosesseringsenhet som den datamaskinassisterte konstruksjonsstasjonen kommuniserer med, for eksempel en server eller en datamaskin.

[0048] Videre kan de krevde utviklinger tilveiebringes som en utility-applikasjon, bakgrunnsdemon, eller komponent i et operativsystem, eller enhver kombinasjon av disse, som eksekveres i forbindelse med CPU 500 og et operativsystem slik som Microsoft Windows 7, UNIX, Solaris, Linux, Apple MAC-OS og andre systemer kjent for fagfolk.

[0049] CPU 500 kan være en Xenon- eller Core- prosessor fra Intel of America eller en Opteron-prosessor fra AMD of America, eller den kan være av annen prosessortype slik det ville innses av en av fagmann i teknikken. Alternativt kan CPU 500 være implementert på en FPGA, ASIC, PLD eller ve bruk av diskrete logiske kretser, som en fagmann innen faget ville innse. Videre kan CPU 500 bli implementert som flere prosessorer i som arbeider felles i parallell for å utføre instruksjonene i de oppfinneriske prosessene beskrevet ovenfor.

[0050] Videokonferanseinnretningen 2 i figur 5 også omfatter en nettverkskontroller 508, slik som et Intel Ethernet PRO nettverkskort fra Intel Corporation of America, for å danne grensesnitt med nettverket 10. Slik det vil forstås, kan nettverket 10 være et offentlig nettverk, for eksempel Internett, eller et privat nettverk, for eksempel en LAN eller WAN-nettverk, eller enhver kombinasjon av disse, og det kan også inkludere PSTN eller ISDN sub-nettverk. Nettverket 10 kan også være trådført, slik som et Ethernet-nettverk, eller det kan være trådløst slik som et mobilnettverk, inkludert EDGE, 3G og 4G trådløse mobilnettverkssystemer. Det trådløse nettverket kan også være WiFi, Bluetooth, eller enhver annen trådløs form for kommunikasjon som er kjent.

[0051] Videokonferanseinnretningen 2 omfatter videre en skjermkontroller 510, for eksempel et NVIDIA GeForce GTX eller Quadro skjermkort fra NVIDIA Corporation of America, for grensesnitt med displayet 512, for eksempel en Hewlett Packard HPL2445w LCD-skjerm. Et generelt I/O-grensesnitt 514 danner grensesnitt med et tastatur og/eller mus 516 samt et berøringsskjermpanel 518 på eller atskilt fra skjermen 512.1 tillegg er det generelle I/O-grensesnittet forbundet med avbildningsenheter 12, for eksempel en Canon XH Gl, en Sony F65 eller et kamera på en mobilenhet 8 for å motta scenebilder. Det generelle I/O-grensesnittet er også forbundet med et flertall av enheter 200 slik som en PC 16, VCR / DVD / BLU-RAY spiller 214, dokumentkamera 202 og server 4.

[0052] En lydkontroller 526 er også tilveiebrakt i videokonferanseinnretningen 2, slik som en Sound Blåster X-Fi Titanium fra Creative, for å danne grensesnitt med høyttalere/mikrofon 528 og dermed tilveiebringe lyder og/eller musikk.

[0053] Den generelle lagringskontroller 522 forbinder lagringsmediumdisk 504 med kommunikasjonsbussen 524, som kan være en ISA, EISA, VESA, PCI, eller lignende, for å forbinde alle komponentene til videokonferanseinnretningen 2. En beskrivelse av de generelle trekk og funksjonene for displayet 512, tastatur og/eller mus 516, samt displaykontrolleren 510, lagringskontrolleren 522, nettverkskontrolleren 508, lydkontrolleren 526, og generelt I/O-grensesnittet 514 er utelatt her for enkelhets skyld, siden disse funksjonene er kjent.

[0054] Alle prosesser, beskrivelser eller blokker i flytskjemaer beskrevet i dette dokumentet skal være forstått som å representere moduler, segmenter, eller porsjoner av kode som inkluderer en eller flere eksekverbare instruksjoner for implementering av spesifikke logiske funksjoner eller trinn i prosessen, og alternative implementeringer er innbefattet innenfor rammen av den eksempelvise utførelsesform av den foreliggende oppfinnelse, i hvilken funksjoner kan utføres i annen rekkefølge enn den som er vist og drøftet, herunder hovedsakelig i parallell eller i motsatt rekkefølge, avhengig av den involverte funksjonalitet.

[0055] Selvfølgelig er tallrike modifikasjoner og variasjoner av den foreliggende oppfinnelse mulig i lys av den ovennevnte lære. Det skal derfor forstås at innenfor rammen av de medfølgende krav, kan den foreliggende oppfinnelse utøves på annen måte enn det som er spesifikt beskrevet her.

Claims (19)

1. En videokonferanseinnretning (2) for å presentere utvidede bilder, omfattende: minst ett grensesnitt; et nettverk; og en datamaskinprosessor programmert til å motta (S300) første videoinformasjon som identifiserer en scene via minst ett grensesnitt; å detektere (S302) om scenen inneholder minst en markør; å identifisere (S303) en lokasjon for hver detekterte markør innenfor scenen; å utvide (S306; S308; S310), som respons på å bestemme scenen som inneholder en første markør og basert på lokasjonen av den første markør, en porsjon av scenen som inneholder den første markør med andre videoinformasjon mottatt via det minst ene grensesnitt, og å overføre (S312) den utvidede scenen til minst en ekstern enhet via nettverket, hvor datamaskinprosessoren videre er programmert til å utvide en helhet av scenen med den andre videoinformasjon basert på lokasjonen av den første markør i scenen med hensyn til lokasjonen av en andre markør oppdaget i scenen.

2. Videokonferanseinnretning (2) ifølge krav 1, hvor den første videoinformasjon og den andre videoinformasjon er inneholdt i en enkelt videokanal.

3. Videokonferanseinnretning (2) ifølge krav 1, hvor datamaskinenprosessoren er ytterligere programmert til å dekode et bilde lokalisert på den første markør for å innhente lokasjonsinformasjon som identifiserer en ekstern lokasjon for den andre videoinformasjon, og å motta den andre videoinformasjon fra den eksterne lokasjon via nettverket.

4. Videokonferanseinnretning (2) ifølge krav 1, hvor datamaskinprosessoren er ytterligere programmert til å identifisere minst én håndgest av en bruker fra scenen; å identifisere en gestavstand ved hvilken den minst ene håndgest forløper over porsjonen av scenen som inneholder den andre videoinformasjon, og å endre den andre videoinformasjon basert på den minst ene håndbevegelse og gestavstanden.

5. Videokonferanseinnretning (2) ifølge krav 4, hvor datamaskinprosessoren endrer den andre videoinformasjon bare som respons på å identifisere en gestavstand på minst halvparten av porsjonen av scenen som inneholder den andre videoinformasj on.

6. Videokonferanseinnretning (2) ifølge krav 4, hvor en helhet av scenen er utvidet med den andre videoinformasjon basert på den minst ene håndgest og gestavstanden.

7. Videokonferanseinnretning ifølge krav 4, der den andre videoinformasjon er en lysbildefremvisning med et flertall av lysbilder.

8. Videokonferanseinnretning (2) ifølge krav 7, hvor datamaskinprosessoren videre er programmert til å navigere gjennom flertallet av lysbilder basert på gestavstand og en retning og bevegelse av den i det minste ene håndgest.

9. Videokonferanseinnretning (2) ifølge krav 7, hvor datamaskinprosessoren er ytterligere programmert til å fjerne et lysbilde som viser et bilde basert på gestavstand og som respons på identifisering av en oppadgående sveipende håndgest fra brukeren, og å utvide en porsjon av scenen som inneholder en andre markør med et tredimensionalt modellert bilde av bildet tidligere fjernet fra lysbildet.

10. Videokonferanseinnretning (2) ifølge krav 7, hvor datamaskinprosessoren er ytterligere programmert til å fjerne et lysbilde som viser et bilde basert på gestavstand og som respons på identifisering av en oppadgående sveipende håndgest fra brukeren, og å utvide en porsjon av scenen som inneholder den første markør med et tredimensjonal modellert bilde av bildet tidligere fjernet fra lysbildet på en samme lokasjon som bildet ble vist på det tidligere fjernede lysbildet.

11. Videokonferanseinnretning (2) ifølge krav 7, hvor datamaskinprosessoren er videre programmert til å utheve eller zoome en porsjon av et lysbilde som respons på identifisering av minst en håndgest med peking til en spesifikk porsjon av lysbildet og opprettholding av den minst ene håndgest i en forutbestemt tidsperiode.

12. Videokonferanseinnretning (2) ifølge krav 7, hvor datamaskinprosessoren er ytterligere programmert til å fremvise en liste over ulike lysbildefremvisninger som respons på identifisering av en nedadgående sveipende håndgest fra brukeren; å identifisere en håndgest som velger en bestemt lysbildefremvisning fra listen over ulike lysbildefremvisninger, og å utvide den delscene som inneholder den første markøren med den valgte lysbildefremvisning.

13. Videokonferansefremgangsmåte for å presentere utvidede bilder, omfattende: å motta (S300) en første videoinformasjon som identifiserer en scene via minst ett grensesnitt; å detektere (S302) hvorvidt scenen inneholder minst en markør; å identifisere (S303) en lokasjon av hver detekterte markør innenfor scenen; å utvide (S306; S308; S310), med en CPU, som respons på å bestemme at scenen inneholder en første markør, og basert på lokasjonen av den første markør, en porsjon av scenen som inneholder den første markør med en andre videoinformasjon mottatt via minst ett grensesnitt; og å overføre (S312) den utvidede scenen til minst en ekstern enhet via et nettverk, idet fremgangsmåten vider omfatter å utvide en helhet av scenen med den andre videoinformasjon basert på lokasjonen av den første markør i scenen med hensyn til lokasjonen av en andre markør oppdaget i scenen.

14. Videokonferansefremgangsmåte ifølge krav 13, videre omfattende: å identifisere minst en håndgest av en bruker fra scenen; å identifisere en gestavstand ved hvilken den minst ene håndbevegelse strekker seg over porsjonen av scenen som inneholder den andre videoinformasjon, og å endre den andre videoinformasjon basert på den minst ene håndgest og gestavstanden.

15. Videokonferansefremgangsmåte ifølge krav 14, der den andre videoinformasjon er en lysbildefremvisning med et flertall lysbilder.

16. Videokonferansefremgangsmåte ifølge krav 15, videre omfattende: å fjerne et lysbilde som viser et bilde basert på gestavstand og som respons på identifisering av en oppadgående sveipende håndgest fra brukeren, og å utvide en porsjon av scenen som inneholder den første markør med et tredimensjonal modellert bilde av bildet tidligere fjernet fra lysbildet på en samme lokasjon som bildet ble vist på det tidligere fjernede lysbildet.

17. Et ikke-transitorisk datamaskinlesbart medium som lagrer maskinlesbare instruksjoner derpå, som når de eksekveres av en datamaskinprosessor (500) bevirker at datamaskinprosessoren utføre en videokonferanse metode for å presentere utvidede bilder, omfattende: å motta (S300) en første videoinformasjon som identifiserer en scene via minst ett grensesnitt; å detektere (S302) hvorvidt scenen inneholder minst en markør; å identifisere (S303) en lokasjon av hver detekterte markør innenfor scenen; å utvide (S306; S308; S310), som respons på å bestemme at scenen inneholder en første markør, og basert på lokasjonen av den første markør, en porsjon av scenen som inneholder den første markør med en andre videoinformasjon mottatt via minst ett grensesnitt; å overføre (S312) den utvidede scenen til minst en ekstern enhet via et nettverk; og å utvide en helhet av scenen med den andre videoinformasjon basert på lokasjonen av den første markør i scenen med hensyn til lokasjonen av en andre markør oppdaget i scenen.

18. Ikke-transitorisk datamaskinlesbart medium ifølge krav 17, videre inneholdende datamaskinlesbare instruksjoner som når de eksekveres av en datamaskinprosessor (500) bevirker datamaskinprosessoren til å utføre: å identifisere minst en håndgest av en bruker fra scenen; å identifisere en gestavstand ved hvilken den minst ene håndbevegelse strekker seg over porsjonen av scenen som inneholder den andre videoinformasjon, og å endre den andre videoinformasjon basert på den minst ene håndgest og gestavstanden.

19. Ikke-transitorisk datamaskinlesbart medium ifølge krav 18, der den andre informasjon er en lysbildefremvisning med et flertall lysbilder, og videre inneholdende datamaskinlesbare instruksjoner som når de eksekveres av en datamaskinprosessor (500) bevirker datamaskinprosessoren til å utføre: å fjerne et lysbilde som viser et bilde basert på gestavstand og som respons på identifisering av en oppadgående sveipende håndgest fra brukeren, og å utvide en porsjon av scenen som inneholder den første markør med et tredimensjonal modellert bilde av bildet tidligere fjernet fra lysbildet på en samme lokasjon som bildet ble vist på det tidligere fjernede lysbildet.