NO332210B1

NO332210B1 - Grensesnittenhet mellom videokonferansekodek og interaktiv whiteboard-tavle

Info

Publication number: NO332210B1
Application number: NO20091210A
Authority: NO
Inventors: Stephen Bretherton; Anthony Mines
Original assignee: Cisco Systems Int Sarl
Priority date: 2009-03-23
Filing date: 2009-03-23
Publication date: 2012-07-30
Also published as: NO20091210L; CN102577369B; WO2010104400A1; EP2428041A4; EP2428041A1; US20100231556A1; CN102577369A

Abstract

En kalibreringslogikkenhet i samsvar med den foreliggende oppfinnelsen er konfigurert til i det minste å motta kontrollsignaler fra en berøringsfølsom displayoverflate og datasignaler fra en videokonferansekodek. Kontrollsignalene fra den berøringsfølsomme displayoverflaten identifiserer en inntruffet hendelse (f.eks. et objekt som berører den berøringsfølsomme displayoverflaten), og lokasjonen (koordinater xj, yi) for den inntrufne hendelsen. Datasignalet fra videokonferansekodeken omfatter i det minste en identifikasjon av den gjeldende bildelayout anvendt av videokonferansekodeken, og regionen i layouten som inneholder et skjermbilde mottatt fra en datamaskin. Kodeken er forbundet til en prosjektør som projiserer kodekens utgang eller fremviser bildet på den berøringsfølsomme displayoverflaten. Basert på de mottatte kontrolldatasignaler og forhåndskonfigurerte kalibreringsprofiler lagret på kalibrenngslogikkenheten, beregner kalibrenngslogikkenheten et nytt sett av koordinater (x2, y2) som identifiserer den korresponderende posisjon for den inntrufne hendelse på datamaskinens lokale skjermbilde. Et kontrollsignal som identifiserer i det minste den inntrufne hendelsen og det nye settet av koordinater, genereres av kalibreringslogikkenheten og sendes til datamaskinen.

Description

Område for oppfinnelsen

Oppfinnelsen vedrører kommunikasjon mellom en interaktiv whiteboard-tavle og andre elektroniske innretninger, og mer spesifikt en innretning og en fremgangsmåte for å danne grensesnitt mellom en videokonferansekodek og et interaktivt whiteboard-tavlesystem.

Bakgrunn

Whiteboard-tavler (eng.: whiteboards) avløser stadig konvensjonelle tavler/kritt-tavler (eng.: blackboards/chalkboards). En whiteboard-tavle er et hvitt laminatdisplaypanel som en bruker kan skrive på. Generelt skriver en bruker på en whiteboard-tavle ved bruk av en penn som inneholder hurtigtørkende blekk som enkelt kan viskes ut. Derfor kan en whiteboard-tavle, i likhet med en kritt-tavle, benyttes i ubestemt tid.

Med ankomsten og utbredelsen av datamaskiner var det uunngåelig at whiteboard-tavler og datamaskiner ville bli kombinert. En whiteboard-tavle kombinert med en datamaskin omtales som en interaktiv whiteboard-tavle. En interaktiv whiteboard-tavle registrerer digitalt bilder og/eller tekst som er skrevet på den, for senere utskrift, gjennomgang og/eller transmisjon.

Populære interaktive whiteboard-tavle-systemer innbefatter en berøringsfølsom displayoverflate som tillater en bruker å operere en tilknyttet datamaskin ganske enkelt ved å berøre et bilde som er projisert på den berøringsfølsomme displayoverflaten. Derfor kan brukeren, i tillegg til å kontrollere operasjonen av det interaktive whiteboard-tavlesystemet fra en tilknyttet datamaskin, også operere datamaskinen mens brukeren befinner seg ved den berøringsfølsomme displayoverflaten, og mens brukeren henvender seg til et publikum fra den berøringsfølsomme displayoverflaten.

Fig. 1 illustrerer skjematisk et typisk interaktivt whiteboard-tavlesystem. Systemet omfatter en berøringsfølsom displayoverflate 101, en datamaskin 103 og en prosjektør 105. Komponentene kan forbindes trådløst, via USB eller via serielle kabler. Prosjektøren 105 forbundet til datamaskinen 103 projiserer datamaskinskjermbildet på den berøringsfølsomme displayoverflaten 101. Den berøringsfølsomme displayoverflaten aksepterer berøringsinngang fra f.eks. en finger eller et pennverktøy, og programvaredrivere på datamaskinen konverterer kontakt med den berøringsfølsomme displayoverflaten til museklikk eller digitalt blekk. Interaktive whiteboard-tavler er tilgjengelige som frontprojeksjons-, bakprojeksjons- og flatpaneldisplaymodeller (berøringsfølsomme displayoverflater som passer over plasma- eller LCD-displayer).

Interaktive whiteboard-tavle-systemer er hurtig i ferd med å bli essensielle verktøy innen utdanning og konferanser. Et annet verktøy som er utbredt brukt innen utdanning og konferansesammenheng, er videokonferanser. Konvensjonelle videokonferansesystemer omfatter et antall endepunkter som kommuniserer sanntids video, audio og/eller datastrømmer over WAN, LAN og/eller linjesvitsjede nettverk. Endepunktene innbefatter ett eller flere displayer, kameraer, mikrofoner, høyttalere og/eller datainnhentingsinnretninger eller en kodek, som koder og dekoder henholdsvis utgående og innkommende strømmer. På steder der en interaktiv whiteboard-tavle er installert, kan den berøringsfølsomme displayoverflaten også benyttes som display for videokonferansesystemet. Et slikt oppsett er skjematisk illustrert i fig. 2. Slik det er vist i fig. 2, er videoutgangen eller displayutgangen for datamaskinen 103 forbundet til videokonferansekodeken 202, og videoutgangen eller displayutgangen for videokonferansekodeken er forbundet til prosjektøren. En typisk videokonferansekodek har flere moduser for video-/ displayutgang, som omfatter avgivelse av bare videokonferansestrømmer, eller bare skjermbilde for datamaskinen, eller kombinasjoner av begge de foregående (sammensatt bilde).

Slik det er illustrert i fig. 2, er én modus av videoutgang fra

videokonferansekodeken en side-ved-side-modus, hvor skjermbildet 201 fra datamaskinen fremvises på ett område av den berøringsfølsomme displayoverflaten, og en videostrøm fra videokonferansekodeken fremvises på et annet område av den berøringsfølsomme displayoverflaten. Det projiserte datamaskinskjermbildet 201 dekker bare deler av bildet projisert på den berøringsfølsomme displayoverflaten av prosjektøren 105. Siden datamaskinen er konfigurert til å tolke hele den berøringsfølsomme displayoverflaten 101 som det projiserte

datamaskinskjermbildet 201, korresponderer ikke lenger koordinatene for det projiserte datamaskinskjermbildet 201 med koordinatene for skjermbildet 203 fremvist på datamaskinen. Derfor, når en bruker berører et punkt 205 på den interaktive whiteboard-tavlen som representerer et punkt i det projiserte datamaskinbildet 201 (f.eks. ikonet "lukk vindu" i øverste høyre hjørne i en webleser), representerer dette punktet 205 et annet punkt 207 på skjermbildet 203 fremvist på datamaskinens lokale skjerm.

Videokonferansekodeken kan ha flere ulike videoutgangsmoduser der datamaskinbildet plasseres i ulike deler av det projiserte bildet og/eller i ulike størrelser. Når en interaktiv whiteboard-tavle opererer via en videokonferansekodek, vil den interaktive whiteboard-tavlen derfor ikke funksjonere korrekt.

US-2004/0217946 vedrører en konferanseterminalenhet som er koblet til en whiteboard-datagenereringsenhet tilnyttet en whiteboard-tavle. Datagenereringsenheten detekterer koordinatene til berørte lokasjoner på whiteboard-tavlen og genererer derved koordinater i høy oppløsning. Disse koordinatene sendes til konferanseterminalenheten. Konferanseterminalenheten er videre koblet til et display, separat fra whiteboard-tavlen. I konferanseterminalenheten transformeres koordinatene med høy oppløsning til koordinater med lavere oppløsning. Derved reduseres datamengden som må overføres mellom konferanseterminalenheten og de tilkoblede konferanseterminalenhetene.

Sammenfatning av oppfinnelsen

Det er en hensikt ved den foreliggende oppfinnelsen å tilveiebringe en innretning og fremgangsmåte som eliminerer ulempene beskrevet ovenfor. Trekkene som er definert i det vedføyde selvstendige krav kjennetegner denne innretningen og fremgangsmåten.

En kalibreringslogikkenhet i samsvar med den foreliggende oppfinnelsen er konfigurert til i det minste å motta kontrollsignaler fra en berøringsfølsom displayoverflate og datasignaler fra en videokonferansekodek. Kontrollsignalene fra den berøringsfølsomme displayoverflaten identifiserer en inntruffet hendelse (f.eks. et objekt som berører den berøringsfølsomme displayoverflaten) og lokasjonen (koordinater xi, yi) for den inntrufne hendelsen. Datasignalet fra videokonferansekodeken omfatter i det minste en identifikasjon av gjeldende bildelayout anvendt av videokonferansekodeken, og regionen i layouten som inneholder et skjermbilde mottatt fra en datamaskin. Kodeken er forbundet til en prosjektør som projiserer kodekens utgang eller displayområde på den berøringsfølsomme berøringsoverflaten. Basert på de mottatte kontrolU/datasignaler og forhåndskonfigurerte kalibreringsprofiler lagret på kalibrenngslogikkenheten, beregner kalibrenngslogikkenheten et nytt sett av koordinater (X2, y2) som identifiserer den korresponderende posisjon for den inntrufne hendelse på datamaskinens lokale skjermbilde. Et kontrollsignal som identifiserer i det minste den inntrufne hendelse og det nye sett av koordinater, genereres av kalibrenngslogikkenheten og sendes til datamaskinen.

Kort beskrivelse av tegningene

De ovenstående og andre hensikter, trekk og fordeler ved oppfinnelsen vil fremstå fra den etterfølgende, mer spesielle beskrivelsen av foretrukne utførelsesformer av oppfinnelsen, som illustrert i de vedføyde tegninger. Like henvisningsbetegnelser viser til de samme deler på alle tegningene. Tegningene er ikke nødvendigvis i skala, i stedet er det lagt vekt på å illustrere prinsippene ved oppfinnelsen. Fig. 1 er et skjematisk overblikk over et typisk interaktivt whiteboard-tavlesystem (tidligere kjent), Fig. 2 er en skjematisk oversikt over en videokonferansekodek integrert med et interaktivt whiteboard-tavlesystem, Fig. 3 er en skjematisk oversikt som illustrerer en eksempelomgivelse for den foreliggende oppfinnelsen, Fig. 4 er en skjematisk oversikt over en eksempelutførelsesform av den foreliggende oppfinnelsen, Fig. 5 er en skjematisk oversikt over en annen eksempelutførelsesform av den foreliggende oppfinnelsen, Fig. 6 er et flytskjema som illustrerer fremgangsmåten i samsvar med én utførelsesform av den foreliggende oppfinnelsen, Fig. 7 er en skjematisk oversikt over eksempler på sammensatte bilder generert av en kodek og/eller MCU.

Detaljert beskrivelse

I det følgende vil den foreliggende oppfinnelsen bli omtalt ved beskrivelse av foretrukne utførelsesformer, og med henvisning til de vedføyde tegninger. Fagfolk vil imidlertid innse andre anvendelser og modifikasjoner innenfor rekkevidden av oppfinnelsen slik den er definert i de vedføyde selvstendige krav.

Den presenterte oppfinnelse vedrører interaktive whiteboard-tavlesystemer (også omtalt som elektroniske whiteboard-tavler eller digitale whiteboard-tavler), hvor en fremgangsmåte og innretning for å tillate integrering av en videokonferansekodek (koder dekoder) i et slikt interaktivt whiteboard-tavlesystem, uten å ofre interaktiv whiteboard-tavle-funksjonalitet.

En kalibreringslogikkenhet i samsvar med den foreliggende oppfinnelsen er konfigurert til i det minste å motta kontrollsignaler fra en berøringsfølsom displayoverflate og datasignaler fra en videokonferansekodek. Kontrollsignalene fra den berøringsfølsomme displayoverflaten identifiserer en inntruffet hendelse (f.eks. et objekt som berører den berøringsfølsomme displayoverflaten) og lokasjonen (koordinaterX], yi) for den inntrufne hendelsen. Kodeken er i stand til å avgi sammensatte bilder (definert ved bildelayouter), hvilket vil si at et avgitt bilde (eller sammensatt bilde) fra kodeken er en romlig miks av bilder fra flere kilder. Kodeken kan ha flere ulike forhåndskonfigurerte bildelayouter, som allokerer regioner i det sammensatte bildet for å inneholde bildene fra kildene. Datasignalene fra videokonferansekodeken omfatter i det minste en identifikasjon av den gjeldende bildelayout anvendt av videokonferansekodeken, og regionen som inneholder et skjermbilde mottatt fra en datamaskin. Kodeken er forbundet til en prosjektør som projiserer kodekens utgang eller sammensatte bilde på den berøringsfølsomme displayoverflaten. Basert på de mottatte kontroll- og datasignaler og forhåndskonfigurerte kalibreringsprofiler lagret på kalibrenngslogikkenheten, beregner kalibrenngslogikkenheten nytt sett av koordinater (x2, y2) som identifiserer den korresponderende posisjonen fro den inntrufne hendelsen på datamaskinens lokale skjermbilde (som er kalibrert til hele overflaten for den berøringsfølsomme displayoverflaten). Et kontrollsignal som identifiserer i det minste det nye settet av koordinater, genereres av kalibrenngslogikkenheten og sendes til datamaskinen.

Fig. 3 er en skjematisk oversikt over et interaktivt whiteboard-tavlesystem som omfatter en kalibreringslogikkenhet 301 i samsvar med en eksempelutførelsesform av den foreliggende oppfinnelsen. Kalibrenngslogikkenheten 301 er forbundet til en berøringsfølsom displayoverflate 101 via kommunikasjonslinken 302. Videre er kalibrenngslogikkenheten forbundet til en videokonferansekodek 202 og en datamaskin 103 via henholdsvis en kommunikasjonslink 303 og en kommunikasjonslink 304. Kommunikasjonslinkene 302, 303 og 304 kan være av en hvilken som helst type trådbundet medium (USB, serieportkabel, lokalnettverk (LAN), internett, osv.) eller trådløs forbindelse (Bluetooth, IR, WiFi, osv.).

Datamaskinen 103 er forbundet til videokonferansekodeken 202 via kommunikasjonslinken 305, og tillater derved datamaskinen å sende datasignaler fra datamaskinen til videokonferansekodeken. Datasignalene fra datamaskinen er typisk datamaskinens desktop og assosierte aktive programmer og applikasjoner, og representerer det samme bildet som fremvises på datamaskinens lokale skjerm. Datasignalene fra datamaskinen vil heretter bli omtalt som skjermbilde (eng: Screen Image). Videokonferansekodeken 202 er konfigurert til å avgi et displaybilde til en prosjektør 105 via en kommunikasjonslink 306. Prosjektøren 105 projiserer displaybildet på den berøringsfølsomme displayoverflaten 101. Kommunikasjonslinken 305 og 306 kan være hvilke som helst trådbundne eller trådløse medier for overføring av video og/eller audio, f.eks. VGA, High-Definition Multimedia Interface (HDMI), Digital Visual Interface (DVI), SCART, S-Video, Composite Video, Component Video, etc.

Videokonferansesystemer tillater samtidig utveksling av audio, video og datainformasjon blant et flertall konferansesteder. Videokonferansesteder omfatter en kodek (for koding og dekoding av audio, video og datainformasjon), et kamera, et display, en mikrofon og høyttalere. Systemer kjent som multipoint control units (MCUs) utfører svitsjefunksjoner for å tillate et flertall steder å samkommunisere i en konferanse. En MCU kan være en frittstående innretning som opererer med en delt, sentral nettverksressurs, eller den kan være integrert i kodeken for et videokonferansesystem. En MCU lenker stedene sammen ved å motta rammer av konferansesignaler fra stedene, prosessere de mottatte signalene, og å retransmittere de prosesserte signalene til passende steder. Konferansesignalene innbefatter audio, video, data og/eller kontrollinformasjon. Et typisk datakonferansesignal er et skjembilde fra en datamaskin forbundet til en videokonferansekodek, og anvendes for å dele data slik som presentasjoner, dokumenter, applikasjoner, multimedia eller et hvilket som helst program eller applikasjon som kjøres på en datamaskin. I en "continuous presence"-konferanse blir videosignaler og/eller datasignaler fra to eller flere steder romlig mikset for dannelse av et sammensatt videosignal (sammensatt bilde) for betraktning av konferansedeltakere. Det sammensatte bildet er et kombinert bilde som kan innbefatte levende videostrømmer, stillbilder, menyer eller andre visuelle bilder fra deltakere i konferansen. Det finnes et ubegrenset antall muligheter for hvordan de ulike video- og/eller datasignalene mikses romlig, f.eks. størrelse og posisjon for de ulike video- og datarammene i det sammensatte bildet. En kodek og/eller MCU har typisk et sett av forhåndskonfigurerte sammensatte bildemaler (eng: image templates) (eller bildelayouter) lagret på videokonferansekodeken 202 som allokerer én eller flere regioner innenfor et sammensatt bilde for ett eller flere videokonferansesignaler mottatt av kodeken 202 video. Disse sammensatte bildemalene omtales heretter som bildelayouter. En bruker kan endre bildelayouten under en videokonferanse, eller kodeken eller MCU'en kan endre layouten automatisk under en videokonferanse ettersom stedene forlater eller tilslutter seg videokonferansen. Fig. 7 illustrerer skjematisk fem typisk forhåndskonfigurerte bildelayouter. Fig. 7a illustrerer en bildelayout hvor bare ett av de ulike video- og/eller datasignalene er fremvist. Denne bildelayouten vil omtales som "full skjerm", siden bare ett datasignal eller ett videosignal fremvises på skjermen til enhver tid. Fig. 7b illustrerer en bildelayout der det sammensatte bildet er splittet i to like halvdeler, hvor én halvdel omfatter datamaskinbildet og den andre halvparten omfatter et videosignal, heretter omtalt som "side-ved-side". Fig. 7c illustrerer en bildelayout der det sammensatte bildet er splittet i tre områder eller regioner, hvor et hovedområde eller -region omfatter datamaskinbildet og to mindre regioner omfatter ulike videosignaler, heretter omtalt som "2+1". Fig. 7d illustrerer en bildelayout hvor det sammensatte bildet er splittet i fire områder eller regioner, hvor et hovedområde eller -region omfatter datamaskinbildet og tre mindre regioner omfatter ulike videosignaler, heretter omtalt som "3+1". Fig. 7e illustrerer en bildelayout hvor det sammensatte bildet er splittet i fire områder eller regioner med lik størrelse, hvor ett område eller region omfatter datamaskinbildet og de gjenværende tre områder eller regioner omfatter ulike videosignaler, heretter omtalt som "4 splitt".

Videre kan brukeren eller kodek/MCU velge en bestemt region for et bestemt video-eller datakonferansesignal. I fig. 7c kan f.eks. datasignalet fremvises i området 701 eller i området 703. En innstilling i kodeken vil angi hvorvidt det gjeldende innhold av et område eller en region i layouten er et datasignal eller et videosignal. Denne innstillingen kan omtales som en regionkilde.

Dersom en kodek avgir et sammensatt bilde ved bruk av bildelayouten "full skjerm", avgir kodeken bare ett video- eller datasignal i den tiden som dekker hele det sammensatte bildet. Video- eller datakonferansesignalet som benyttes i et slikt sammensatt bilde omtales som det aktive signal. Dersom mer enn ett video- og/eller datasignaler mottas av kodeken eller MCU'en, blir video- og/eller datasignalene som ikke anvendes, omtalt som inaktive signaler.

Kodeken kan ha et antall inngangsporter for mottak av datasignaler fra ulike datakilder. Typiske datakilder er datamaskiner, dokumentkameraer, VCR-enheter, DVD-enheter, osv. I samsvar med en eksempelutførelsesform, for å innbefatte datasignaler fra en datakilde i en videokonferanse, må kodeken ha aktivert en datadelingsinnstilling (f.eks. omtaler noen leverandører dette som Duo Video, mens andre leverandører omtaler dette som people&content).

Informasjon om kodekens gjeldende innstillinger relatert til bildelayout, aktive/inaktive signaler, datadelingsinnstillinger, regionkilde og andre innstillinger som er relevant for sammensetningen av displaybildet sendt fra kodeken 202 til prosjektøren 105 omtales heretter som kodekinnstillinger.

I det følgende vil kalibrenngslogikkenheten i samsvar med én utførelsesform av den foreliggende oppfinnelsen bli beskrevet i nærmere detalj med henvisning til fig. 3, 4 og 5. Fig. 4 og 5 er skjematiske diagrammer for kalibrenngslogikkenheten 301 i samsvar med eksempelutførelsesformer av den foreliggende oppfinnelsen. Fig. 6 er et flytdiagram som illustrerer interaksjonen mellom kalibrenngslogikkenheten, videokonferansekodeken og det interaktive whiteboard-tavle-systemet. Slik det er vist i fig. 4, mottar kalibrenngslogikkenheten 301 kontrollsignaler 501 fra den berøringsfølsomme displayoverflaten 101. Kontrollsignalet 501 identifiserer en inntruffet hendelse og lokasjonen for den inntrufne hendelsen. Typiske hendelser er f.eks. et objekt som berører den berøringsfølsomme displayoverflaten 101, dobbelklikking på overflaten 101, berøring og trekking (eng.: dragging) på overflaten 101, berøring og holding, osv. Lokasjonen for den inntrufne hendelsen er typisk koordinatene x, y for den inntrufne hendelsen på den berøringsfølsomme displayoverflaten 101. Kontrollsignalene fra den berøringsfølsomme displayoverflaten 101 er kontrollsignaler til datamaskinen 103, som responderer ved å konvertere kontrollsignalene til bevegelse av musepekeren langs x- og y-aksene på datamaskinens lokale skjerm, og for å eksekvere hendelser (f.eks. venstreklikk, høyreklikk, trekking, tegning, osv.).

Videre mottar kalibrenngslogikkenheten 301 et datasignal 501 fra videokonferansekodeken 202. Datasignalet 502 fra videokonferansekodeken 202 identifiserer de gjeldende kodekinnstillinger for kodeken 202, f.eks. identifikasjon av den gjeldende bildelayout anvendt av videokonferansekodeken, dersom datadeling er aktivert, hvilket video- og/eller datasignal som er det aktive signal (eller signaler), datakilde, osv. I samsvar med én eksempelutførelsesform av den foreliggende oppfinnelsen er datasignalet 502 fra kodeken ASCII-informasjon.

I samsvar med en eksempelutførelsesform av den foreliggende oppfinnelsen omfatter kalibrenngslogikkenheten 301 en kodekdisplaylogikk 505, en kalibreringsprofildatabase 507 og en kontrollenhet 509. Kontrollenheten 509 er konfigurert til å kommunisere med kodeken 202, datamaskinen 103 og den berøringsfølsomme displayoverflaten 101. Kodekdisplaylogikken 505 er konfigurert til å motta og analysere (eng: parse) datasignalene 502 fra videokonferansekodeken 202 og bestemme bildelayouten som gjeldende brukes av kodeken, hvorvidt datadeling er aktiv eller ikke, hvilken del av det sammensatte bildet som omfatter datakonferansesignal (datamaskinskjermbilde), osv. Kalibreringsprofildatabasen 507 omfatter et sett av forhåndskonfigurerte kalibreringsprofiler, hvor en kalibreringsprofil er assosiert med en bestemt kombinasjon av kodekinnstillinger. I samsvar med en eksempelutførelsesform er hver bildelayout assosiert med en bestemt kalibreringsprofil. I samsvar med en annen eksempelutførelsesform er kombinasjoner av bildelayout- og kilderegionsinnstillinger assosiert med bestemte kalibreringsprofiler (f.eks. er en side-ved-side-konfigurasjon (fig. 7b) med skjermbildet til venstre og en side-ved-side-konfigurasjon med skjermbildet til høyre assosiert med to ulike kalibreringsprofiler). Kalibreringsprofilene definerer forholdet mellom en region eller område for det sammensatte bildet og hele det sammensatte bildet. Med andre ord omfatter kalibreringsprofilen instruksjoner om hvordan et nytt sett av koordinater som skal sendes til datamaskinen 103 skal beregnes, basert på koordinatene mottatt fra den berøringsfølsomme displayoverflaten. I samsvar med én eksempelutførelsesform tilveiebringer kalibreringsprofilene et sett av posisjonsvektorer. I samsvar med en annen eksempelutførelsesform tilveiebringer kalibreringsprofilene en avbildningsalgoritme (eng: mapping algorithm) for å endre (transformere) en berøringskoordinat XiYiinnenfor det fremviste skjermbildet 201 til en datamaskinmuskoordinat X2Y2, slik at X1Y1og X2Y2korresponderer med det samme punkt i de fremviste skjermbildene og skjermbildet på datamaskinens lokale skjerm Med andre ord representerer de første koordinatene X1Y1og andre koordinatene X2Y2den samme relative lokasjon i henholdsvis et fremvist skjermbilde og et fremvist sammensatt bilde. I samsvar med en annen eksempelutførelsesform er algoritmen en funksjon for å omdanne X1Y1til X2Y2, f.eks. uttrykt som X2= A<*>Xi+B og Y2= C<*>Yi+D, der A og C er skaleringsfaktor som definerer forholdet mellom det fremviste skjermbildet og hele det fremviste bildet (sammensatte bildet), og B og D er offsetverdier som kompenserer for når hele displaybildeområdet ikke utnyttes (se 705 i fig. 7b). Kalibreringsprofilene kan være forhåndskonfigurert (f.eks. for systemer der den berøringsfølsomme displayoverflaten 101 og prosjektøren 105 er boltet tilveggene og/eller himlingen i et rom), eller de kan være generert på bestemte hendelser, f.eks. ved systemoppstart eller når en knapp trykkes på kalibrenngslogikkenheten, en tastesekvens på kodekens fjernkontroll, eller andre kommandoer.

I samsvar med én eksempelutførelsesform kan den foreliggende oppfinnelsen genereres kalibreringsprofilene ved utførelse av en kalibreringsprosedyre. Kalibreringsprosessen kan starte umiddelbart når systemet i fig. 3 skrus på, eller når det forespørres av en bruker via en knapp eller en fjernkontroll. En dialogboks projiseres på den berøringsfølsomme displayoverflaten 101 for å starte kalibreringsprosessen. Dialogboksen instruerer brukeren til å berøre den berøringsfølsomme displayoverflaten 101 ved ett eller flere kalibreringspunkter. Disse kalibreringspunktene kan fastsettes ved å forespørre brukeren om å berøre den berøringsfølsomme displayoverflaten 101 ved kryssingen mellom to linjer eller andre distinkte merker som projiseres på den elektroniske whiteboard-tavle-overflaten. Et første trinn vil være å berøre den berøringsfølsomme displayoverflaten 101 på fire punkter, ett i hvert hjørne. Det etablerer koordinatene for hele displaybildet fra kodeken. Deretter fremvises et nytt bilde på den berøringsfølsomme displayoverflaten. Det nye bildet er et sammensatt bilde som har den samme layout som én av kodekenes bildelayoutmaler. Brukeren blir igjen instruert til å berøre den berøringsfølsomme displayoverflaten 101 ved ett eller flere kalibreringspunkter. Disse kalibreringspunktene ligger innenfor regionen av layouten som normalt ville inneholde et datamaskinskjermbilde. Prosessen gjentas for alle bildelayouter for kodeken 202. Nå har kalibrenngslogikkenheten all informasjon den trenger for å generere kalibreringsprofilene omtalt ovenfor.

Slik det er vist i fig. 6, når det interaktive whiteboard-tavleoppsettet som illustrert i fig. 1, skrus på, Sl, sjekker S2 kalibrenngslogikkenheten 301 i samsvar med den foreliggende oppfinnelsen om en videokonferansekodek 202 er forbundet til kalibrenngslogikkenheten 301. Dersom en videokonferansekodek er detektert, bestemmer kalibrenngslogikkenheten 301 modellen og produsenten for den detekterte kodek 202. Dersom modellen og produsenten for den detekterte kodek 202 gjenkjennes av kalibrenngslogikkenheten 301, konfigurerer kalibrenngslogikkenheten kodeken 202 til å levere sine kodekinnstillinger til kalibrenngslogikkenheten 301 via kommunikasjonslinken 305. Som respons vil kodeken 202 i trinn S4 sende gjeldende kodekinnstillinger til kalibrenngslogikkenheten 301 i et kontrollsignal 501, og i det minste re-sende sine kodekinnstillinger ved forhåndsdefinerte hendelser. De forhåndsdefinerte hendelsene kan omfatte: når en hvilken som helst av kodekinnstillingene endrer seg (automatisk eller av en bruker), etter en brukerforespørsel (via et brukergrensesnitt) eller ved bestemte tidsintervaller.

Videre, dersom en kodek 202 detekteres i trinn S2, sjekker

kalibrenngslogikkenheten 301 i trinn S3 om en datamaskin 103 og berøringsfølsom displayoverflate 101 er forbundet til kalibrenngslogikkenheten 301. Dersom en berøringsfølsom displayoverflate 101 er detektert, bestemmer kalibrenngslogikkenheten 301 typen S3a (eller modell og produsent) av den berøringsfølsomme displayoverflaten 101 forbundet via kommunikasjonslinken 302. Dersom en datamaskin er detektert, sender kalibrenngslogikkenheten 301 et kommandosignal til datamaskinen 103 som identifiserer kalibrenngslogikkenheten 301 som en berøringsfølsom displayoverflate av den typen (eller modell og produsent) som er detektert i trinn S3a. Derfor ser det for datamaskinen ut som om den mottar kontrollsignaler direkte fra en berøringsfølsom displayoverflate via kommunikasjonslinken 303.

Slik det er nevnt ovenfor, vil kodeken 202, når den er konfigurert, sende et datasignal som identifiserer de gjeldende kodekinnstillinger til kalibrenngslogikkenheten 301 (trinn S4). I samsvar med én utførelsesform sendes datasignalet til kodekdisplaylogikken 505 som er konfigurert til å tolke kodekinnstillingene og i det minste bestemme den gjeldende bildelayout anvendt av kodeken 202 og posisjonen for skjermbildet innenfor bildelayouten (trinn S5).

Når den gjeldende bildelayouten har blitt bestemt i trinn S5, laster kalibrenngslogikkenheten kalibreringsprofilen (trinn S7) assosiert med bildelayouten som gjeldende anvendes av kodeken 202.1 samsvar med én eksempelutførelsesform av oppfinnelsen sender kodekdisplaylogikken 505 et kontrollsignal til kontrollenheten 509 som identifiserer den gjeldende bildelayouten bestemt i trinn S5. Som respons sender kontrollenheten 509 et kontrollsignal til kalibreringsprofildatabasen 507, som forespør om kalibreringsprofilen som er assosiert med nevnte bildelayout.

Basert på den bestemte posisjon og status for skjermbildet i trinn S5, bestemmer kalibrenngslogikkenheten i trinn S6 om datamaskinkontroll er mulig. Datamaskinkontroll settes til aktiv eller ikke-aktiv, basert på flere faktorer, f.eks. gjeldende bildelayout, størrelser for region eller område som omfatter skjermbildet, typen av aktivt videokonferansesignal (DVD-signal eller datamaskinsignal), osv. Dersom f.eks. den gjeldende bildelayout for kodeken 202 er en "4 splitt" som vist i fig. 7e, kan størrelsen av skjermbildet fremvist på den berøringsfølsomme displayoverflaten anses å være for liten og upraktisk for interaktiv operasjon, og datamaskinkontroll kan deaktivieres for "4 splitf-layout. Videre, dersom den gjeldende bildelayout for kodeken 202 er "full skjerm" som vist i fig. 7a, og status for datakonferansesignalet (skjermbilde) er inaktiv (ikke det fremviste bildet), deaktiveres datamaskinkontroll. Kombinasjonene av kodekinnstillinger som resulterer i deaktivert datamaskinkontroll kan konfigureres av en bruker, og/eller kan avhenge av størrelsen på den berøringsfølsomme displayoverflaten eller andre faktorer.

Dersom kodekinnstillingene endrer seg (trinn S8), automatisk eller av en bruker, sender kodeken et datasignal til kalibrenngslogikkenheten som identifiserer de nye kodekinnstillingene. Dersom de nye kodekinnstillingene innebærer endringer i det fremviste bildet (f.eks. ny bildelayout, ulik aktiv signalkilde, osv.), gjentas trinn S4-S7.

Når en bruker berører den berøringsfølsomme displayoverflaten 101 (hendelse inntreffer) ved en lokasjon (Xi, Yi), sender den berøringsfølsomme displayoverflaten 101 kontrollsignaler til kalibrenngslogikkenheten 301 via kommunikasjonslinken 302. Dersom datamaskinkontrollen er aktivert, blir kontrollsignalene som identifiserer lokasjonen (Xi, Yi) prosessert av kontrollenheten 509. Basert i det minste på koordinatene (Xi, Yi) og kalibreringsprofilen lastet i trinn S7, beregner kontrollenheten 509 et nytt sett av koordinater (X2, Y2). Kalibrenngslogikkenheten genererer så et nytt kontrollsignal som identifiserer den inntrufne hendelsen, og lokasjonen for den inntrufne hendelsen, der lokasjonen er representert ved de nye koordinatene (X2, Y2). Det nye kontrollsignalet sendes til datamaskinen 103 via kommunikasjonslinken 303 i trinn Sil, hvor de nye kontrollsignalene analyseres og eksekveres som om de var mottatt direkte fra den berøringsfølsomme displayoverflaten 101.

Kalibrenngslogikkenheten kan implementeres som en frittstående innretning, eller den kan integreres i kodeken, på datamaskinen eller på en sentral nettverks-MCU.

Dersom en kodek ikke detekteres i trinn 2, anvender kalibrenngslogikkenheten 301 kalibreringsprofilen "full skjerm" for å beregne de nye koordinatene (X2, Y2).

I samsvar med én eksempelutførelsesform av den foreliggende oppfinnelsen kan kontrollenheten 509, dersom en kodek ikke detekteres i trinn 3, generere et kontrollsignal som angir at kodeken er tilstede, og at kodekinnstillingene er "full skjerm" og at datasignalet er aktivt. Dersom trinn S3 er positivt, sendes det genererte kontrollsignal til kodekdisplayenheten 505 i trinn S4, og trinn S5-S11<g>jentas.

Uttrykk som er benyttet for beskrivelse av de viste utførelsesformene, og tegningene, er utelukkende for forklaringsformål, og gjelder ikke nødvendigvis for posisjonen eller måten oppfinnelsen kan konstrueres for å bli brukt. Videre, selv om oppfinnelsen har blitt fremlagt i sine foretrukne former, vil det fremstå for fagfolk at mange modifikasjoner, tillegg og utelatelser kan gjøres i oppfinnelsen, uten å fravike fra ånden og rekkevidden av oppfinnelsen og dens ekvivalenter, som fremsatt i de følgende krav.

Claims

1. Kalibreringslogikkenhet for å danne grensesnitt mellom en videokonferansekodek (202) og en interaktiv whiteboard-tavle, der den interaktive whiteboard-tavlen omfatter en berøringsfølsom displayoverflate (101), en datamaskin (103) og en prosjektør (105), og hvor kodeken (202) er konfigurert til å motta i det minste et skjermbilde fra datamaskinen (103) og generere et sammensatt bilde omfattende én eller flere regioner for å inneholde bilder, der i det minste én av nevnte regioner inneholder nevnte skjermbilde, idet nevnte prosjektør (105) er konfigurert til å fremvise nevnte sammensatte bilde på den berøringsfølsomme displayoverflaten (101), karakterisert vedat nevnte kalibreringslogikkenhet er konfigurert til å motta fra kodeken (202) et datasignal som identifiserer gjeldende kodekinnstillinger anvendt av kodeken (202), å motta fra den berøringsfølsomme displayoverflaten (101) første kontrollsignaler som omfatter i det minste første koordinater (Xi, Yi) som representerer lokasjoner for et objekt som berører den berøringsfølsomme displayoverflaten (101), og å transformere de første koordinater (Xi, Yi) til andre koordinater (X2, Y2) basert på en algoritme assosiert med de mottatte kodekinnstillinger, hvor de første og andre koordinater representerer den samme relative lokasjon i henholdsvis et fremvist skjermbilde og et fremvist sammensatt bilde, å generere et andre kontrollsignal som omfatter de andre koordinater (X2, Y2) og å sende det andre kontrollsignal til datamaskinen (103).

2. Kalibreringslogikkenhet i samsvar med krav 1, videre konfigurert til å lagre et sett av kalibreringsprofiler, hvor en kalibreringsprofil er assosiert med en bestemt kombinasjon av kodekinnstillinger, og på forhåndsbestemte hendelser, å laste en kalibreringsprofil basert på datasignalet, og å anvende en algoritme tilveiebrakt av nevnte lastede kalibreringsprofil for å transformere de første koordinater (Xi, Yi) til andre koordinater (X2, Y2).

3. Kalibreringslogikkenhet i samsvar med et av de ovenstående krav, hvor nevnte algoritme er en funksjon for å omforme (Xi, Yi) til (X2, Y2).

4. Kalibreringslogikkenhet i samsvar med krav 1, videre konfigurert til å gjenkjenne kodeken, og å konfigurere kodeken til å sende nevnte datasignal ved forhåndsdefinerte hendelser, hvor kodekinnstillingene i det minste identifiserer en bildelayout gjeldende brukt av kodeken og regionen som inneholder skjermbildet.

5. Kalibreringslogikkenhet i samsvar med krav 4, hvor nevnte forhåndsdefinerte hendelser omfatter umiddelbart etter nevnte konfigurering, og når kodekinnstillingene for kodeken endres.

6. Kalibreringslogikkenhet i samsvar med et av de ovenstående krav, hvor nevnte bildelayout er én av et sett forhåndskonfigurerte bildelayouter lagret på videokonferansekodeken (202) som allokerer én eller flere regioner innenfor nevnte sammensatte bilde for ett eller flere videokonferansesignaler mottatt av kodeken (202).

7. Kalibreringslogikkenhet i samsvar med et av de ovenstående krav, hvor nevnte algoritmer er forhåndsdefinert, eller nevnte algoritmer er tilveiebrakt på forespørsel basert på en manuell kalibreringsprosess som involverer en bruker som berører ett eller flere sett av innstillingsbilder projisert på nevnte berøringsfølsomme displayoverflate (101) ved forhåndsbestemte lokasjoner.

8. Kalibreringslogikkenhet i samsvar med krav 1, hvor nevnte kalibreringslogikkenhet er videre konfigurert til å gjenkjenne den berøringsfølsomme displayoverflaten (101), og å identifisere seg selv overfor datamaskinen (103) som den gjenkjente berøringsfølsomme displayoverflaten (101).

9. Kalibreringslogikkenhet i samsvar med krav 1, hvor nevnte datamaskin (103) er konfigurert til å motta nevnte andre kontrollsignaler fra kalibrenngslogikkenheten, eksekvere kommandoer basert på nevnte kontrollsignaler og som respons generere nevnte skjermbilde.

10. Fremgangsmåte for å danne grensesnitt mellom en videokonferansekodek (202) og en interakiv whiteboard-tavle, hvor den interaktive whiteboard-tavlen omfatter en berøringsfølsom displayoverflate (101), en datamaskin (103) og en prosjektør (105), og hvor kodeken (202) er konfigurert til å motta i det minste et skjermbilde fra datamaskinen (103) og generere et sammensatt bilde omfattende én eller flere regioner for å inneholde bilder, hvor i det minste én av nevnte regioner inneholder nevnte skjermbilde, idet nevnte prosjektør (105) er konfigurert til å fremvise nevnte sammensatte bilde på den berøringsfølsomme displayoverflaten (101), karakterisert vedde følgende trinn, utført i en kalibreringslogikkenhet: å motta fra kodeken (202) et datasignal som identifiserer gjeldende kodekinnstillinger brukt av kodeken (202), å motta fra den berøringsfølsomme displayoverflaten (101) første kontrollsignaler som omfatter i det minste første koordinater (Xi, Yi), som representerer lokasjoner for et objekt som berører den berøringsfølsomme displayoverflaten (101), og å transformere de første koordinater (Xi, Yi) til andre koordinater (X2, Y2) basert på en algoritme assosiert med de mottatte kodekinnstillinger, hvor de første og andre koordinater representerer den samme relative lokasjon i henholdsvis et fremvist skjermbilde og et fremvist sammensatt bilde, å generere et andre kontrollsignal som omfatter de andre koordinatene (X2, Y2), og å sende det andre kontrollsignal til datamaskinen (103).

11. Fremgangsmåte i samsvar med krav 10, videre omfattende å lagre et sett av kalibreringsprofiler på kalibrenngslogikkenheten, hvor en kalibreringsprofil er assosiert med en bestemt kombinasjon av kodekinnstillinger, og på forhåndsdefinerte hendelser, å laste en kalibreringsprofil basert på datasignalet, og å anvende en algoritme tilveiebrakt av nevnte lastede kalibreringsprofil for å transformere de første koordinater (Xi, Yi) til de andre koordinater (X2, Y2).

12. Fremgangsmåte i samsvar med et av kravene 10-11, hvor nevnte algoritme er en funksjon for å omforme (Xi, Yi) til (X2, Y2).

13. Fremgangsmåte i samsvar med krav 10, videre omfattende å gjenkjenne kodeken (202), å konfigurere kodeken (202) til å sende nevnte datasignal ved forhåndsdefinerte hendelser, hvor kodekinnstillingene i det minste identifiserer en bildelayout gjeldende brukt av kodeken, og regionen som inneholder skjermbildet.

14. Fremgangsmåte i samsvar med krav 13, hvor nevnte forhåndsdefinerte hendelser omfatter umiddelbart etter nevnte konfigurasjon, og når kodekinnstillingene for kodeken er endret.

15. Fremgangsmåte i samsvar med et av kravene 10-12, hvor nevnte bildelayout er én av et sett av forhåndskonfigurerte bildelayouter lagret på videokonferansekodeken (202) som allokerer én eller flere regioner innenfor det nevnte sammensatte bildet for ett eller flere videokonferansesignaler mottatt av kodeken (202).

16. Fremgangsmåte i samsvar med et av kravene 11-15, videre omfattende å forhåndsdefinere nevnte algoritmer, eller å tilveiebringe nevnte algoritmer på forespørsel basert på en manuell kalibreringsprosess som involverer en bruker som berører ett eller flere sett av innrettingsbilder projisert på nevnte berøringsfølsomme displayoverflate (101) ved forhåndsbestemte lokasjoner.

17. Fremgangsmåte i samsvar med krav 10, videre omfattende å gjenkjenne den berøringsfølsomme displayoverflaten (101), og å identifisere den nevnte kalibreringslogikkenhet overfor datamaskinen (103) som den detekterte berøringsfølsomme displayoverflaten (101).

18. Fremgangsmåte i samsvar med krav 10, hvor nevnte datamaskin (102) er konfigurert til å motta kontrollsignaler fra kalibrenngslogikkenheten, eksekvere kommandoer basert på nevnte kontrollsignaler, og som respons generere nevnte skjermbilde.