NO20130840A1 - Kamerabasert, multitouch interaksjons- og belysningssystem samt fremgangsmåte - Google Patents

Abstract

Anordning, system og fremgangsmåte for styring og interaksjon innen et interaksjonsvolum (1) innenfor en høyde over koordinatplanet (12) til en datamaskin, slik som en dataskjerm, en interaktiv whiteboard-tavle, en horisontal interakjsonsflate, et video/web-konferansesystem, et dokumentkamera, en bakprojeksjonsskjerm, en digital skiltoverflate, en fjernsynsskjerm eller en spilleanordning, for å tilveiebringe peking, sveving, utvelgelse, banking, gestikulering, skalering, tegning, skriving og utvisking ved å bruke ett eller flere interaksjonsobjekter (2), for eksempel fingre, hendene, føttene og andre objekter, for eksempel penner, børster, koster og også mer spesialiserte verktøy. Anordningen og fremgangsmåten kan i et system brukes sammen med, eller også være integrert i, dataprojektorer (3) av alle typer og deres fester/holdere (4), og brukt sammen med flatskjermer (12) (slik som LCD, plasma, OLED, bakprojeksjonsskjermer, osv.) for å gjøre slike visningssystemer interaktive. Anordningen består av et enkelt kamera (5) som dekker interaksjonsvolumet (1) fra enten en meget kort avstand eller fra en større avstand, for å bestemme de laterale posisjonene (X,Y) og også innfange stillingen til det ene eller de flere interaksjonsobjektene (2).

Description

Teknisk område

Foreliggende oppfinnelse vedrører kamerabaserte interaktive flerberørings-systemer som for eksempel benytter kamerabaserte innmatingsanordninger og visuell og/eller infrarød belysning til sporing av objekter innenfor et areal/rom, for eksempel for å spore én eller flere fingre eller en penn for menneskelig interaksjon med en datamaskin; idet systemet muliggjør bestemmelse av en todimensjonal posisjon innenfor et areal og en høyde over en overflate av arealet for å tilveiebringe aktuelle todimensjonale innmatingskoordinater og for å skjelne nøyaktig mellom aktuell interaksjonstilstand slik som «inaktiv» (ingen sporing), «sveving» (sporing selv om det ikke er noen berøring, noen ganger også merket «i området») og «berøring». Foreliggende oppfinnelse angår også flerberøringsanordninger for innmating og grensesnitt for å muliggjøre både penn- og finger-berøringsinnmating, og er også i stand til å ordne opp med flere objekter samtidig, for eksempel en fler-berøringsanordning for innmating til en datamaskin. Oppfinnelsen angår videre fremgangsmåter for gestinnmating ved bruk av tredimensjonalt baserte innmatingsanordninger og derved innfangning av stillingen til for eksempel en hånd eller en finger, og sekvenser av disse kan gjenkjennes som gestkommandoer og/eller posisjons- og orienteringsinnmatinger for tredimensjonal styring.

Bakgrunn for oppfinnelsen

Kamerabasert sporing av objekter for menneskelig interaksjon med datamaskiner, spesielt sporing av hendene og fingrene, har vært gjenstand for vitenskapelig, industriell og kommersiell interesse i flere tiår. Oversikter over hva som er oppnådd på dette beregningsintensive området er gitt av Pavlovic m.fl., IEEE Trans. Pattern Analysis and Machine Intelligence, vol 19, Nr.7, pp. 677-695, 1997 og av Zhou m.fl., IEEE Int. Symposium on Mixed and Augmented Reality, sidene 193-202, 2008.1 mange av de rapporterte teknikkene, blir objektet observer fra flere forskjellige betraktningspunkter av ett eller flere kameraer for å redusere følsomheten for okklusjoner og for robust sporing og gestustolkning.

For enkeltkamerabasert sporing av fingerberøring og finger- eller håndgester, blir trekk slik som skygger, konturer, tekstur, silhuett og avbildningsgradienter av disse objektene og til og med deres speilbilde reflektert fra en blank skjermflate, ekstrahert og benyttet til å oppdatere de forskjellige modellbaserte sporings-systemene for å beregne finger- eller håndstillingen og for å detektere for eksempel fingerberøring i sann tid.

Som et eksempel på snedig egenskapsekstrahering, beskriver US2010/0066675A1 berøringsskjermsystem med enkeltkamera-avbildning og egenskapsekstrahering basert på den observasjon at skyggen fra en finger belyst av en sideveis belysningskilde, til slutt blir formørket av fingeren ved berøring av skjermen, slik at skyggen ligner en finger når den ikke berører, mens skyggen er tilstrekkelig forminsket når fingeren berører overflaten slik at berøring kan bestemmes. Det selvstendige patentkravet er imidlertid foregrepet av offentlig vitenskapelig artikkel fra 2005 av oppfinneren Andrew D. Wilson (ACM Proe. UIST 2005, sidene 83-92).

WO9940562 (A1), US 006100538A og US2010188370 (A1) beskriver i prinsippet objektsporingssystemer for fingerberøring eller penn hvor minst to kamera-betraktningspunkter er anordnet ved utkanten av koordinatplanet for å bestemme koordinatene til objektet ved triangulering.

WO9940562 (A1) beskriver et system for å detektere penn- og fingerberøring foran en dataskjerm ved å bruke et enkelt kamera og ved hjelp av et periskop-lignende optisk system bestående av ett eller flere flate speil, registrering av to bilder av skjermen som vender sideveis inn i det volumet som befinner seg umiddelbart foran skjermen, for å bestemme pennens eller fingerens koordinater og avstanden til skjermen.

US006100538A beskriver en digitaliseringsanordning for å bestemme en posisjon av et pekende objekt som projiserer et lys og blir anbragt på et koordinatplan, og en detektor anordnet på periferien av koordinatplanet, fortrinnsvis et par lineære bildesensorer, har et synsfelt som dekker koordinatplanet, og en kollimator er anordnet for å begrense høyden av synsfeltet til detektoren, og detektoren kan motta bare en parallell komponent av lys som blir projisert fra pekeobjektet, hovedsakelig parallelt med koordinatplanet, og en skjerm er anordnet for å blokkere støylys, bortsett fra det projiserte lyset, fra å komme inn i det begrensede synsfeltet til detektoren, og en prosessor er tilveiebragt for å beregne koordinatene som representerer posisjonen til det pekende objektet.

US2010188370 (A1) beskriver et kamerabasert berøringssystem som innbefatter minst to kameraer som har overlappende felter, plassert langs periferien og typisk i hjørner av berøringsoverflaten for å detektere posisjonen av pekeren ved hjelp av triangulering, og for å detektere pekerberøringen og pekersvevingen over berøringsflaten.

JP63292222 og US2008152192 (A1) bruker i hovedsak et kamera plassert langt borte fra objektet og benytter ett eller flere speil innenfor kameraets synsfelt til å observere objektet fra forskjellige synsvinkler og retninger som hovedsakelig er perpendikulære til kameraaksen, for å forenkle deteksjonen av objektets posisjon.

JP63292222 benytter et enkelt kamera i avstand fra en skriveflate og to flate, smale speil langs periferien av skriveflaten i hver av de to retningene X og Y skråstilt mot overflaten for å fremskaffe alternative betraktningspunkter av pekeranordningen, noe som gjør det mulig å fremskaffe X- og Y-koordinaten separat ved å innfange og analysere de to speilområdene langs skriveflateområdet.

US2008152192 (A1) beskriver et system for tredimensjonal overvåkning og analyse av bevegelsesrelatert oppførsel av testobjekter, nemlig fisk og dyr. Det omfatter et virkelig kamera og minst ett virtuelt kamera realisert ved å bruke minst ett plant speil innenfor synsfeltet til det virkelige kameraet, som representerer minst ett alternativt betraktningspunkt som kan analyseres i ett eller flere områder av det inn-fangede kamerabildet for å kunne analysere bevegelsesoppførselen til test-objektene.

I en publisert internasjonal PCT-patentsøknad nummer WO2005/034027(A1)

(Smart Technologies Inc.), er det beskrevet en anordning for å detektere en peker innenfor et område av interesse. Anordningen innbefatter et første reflekterende element som strekker seg langs en første side av området av interesse, og innrettet for å reflektere lys mot området av interesse. Anordningen innbefatter dessuten et andre reflekterende element som strekker seg langs en andre side av området av interesse, som også er innrettet for å reflektere lys mot området av interesse. Den andre siden er forbundet med den første siden for å definere et første hjørne av anordningen. Et ikke-reflekterende område hovedsakelig i et plan for minst ett av de første og andre reflekterende elementene er tilstøtende til det første hjørne. Minst én avbildningsanordning er innrettet for å innfange bilder av det første området av interesse, innbefattende refleksjoner fra de første og andre reflekterende elementene, for å bestemme en posisjon for pekeren innenfor området av interesse.

I en publisert japansk patentsøknad nummer JP63292222(A) (Mitsubishi Electric Corp.), er det beskrevet et optisk system som er innrettet for å detektere en koordinatposisjon for en punktindikator. Det optiske systemet virker ved å danne et bilde i nærheten av et øvre plan i forhold til et tilsvarende originalt objekt. Der er også innbefattet et behandlingsarrangement for behandling av et bildesignal fremskaffet fra en bildeavfølingsanordning anordnet i nærheten av det øvre planet. Bilde-avfølingsanordningen avføler mer spesielt et bildetakningsområde som innbefatter et leseopphav. Det er også innbefattet et reflekterende X-retningsspeil og et reflekterende Y-retningsspeil. Punktindikatoren, for eksempel en hvit penn, blir avfølt direkte ved hjelp av bildeavfølingsanordningen og også via refleksjon fra speilene, slik at bildesignalet for å bestemme en rommessig posisjon av pekerindikatoren innenfor det optiske systemet.

I et publisert japansk patent nummer JP4484796(B2) (Canon KK), er det dessuten beskrevet en koordinatinnmatingsanordning for nøyaktig å detektere en koordinat matet inn til dette. Anordningen innbefatter et antall sensorenheter anordnet omkring koordinatinnmatingsflaten, hvor hver av sensorenhetene innbefatter en projeksjonsdel for å projesere lysstråling på koordinatinnmatingsflaten og en lys-mottakende del for å motta innkommende lys ved sensorenheten. Anordningen innbefatter også et antall rekursive refleksjonsdeler som tilveiebringer rekursivt reflektert innfallende lys tilveiebragt på en omkrets av koordinatinnmatingsflaten. Anordningen er innrettet for å beregne en koordinat for pekeposisjonen til en peker basert på lysmengdefordelingen som innbefatter lysskjermingsområder som er fremskaffet fra antallet sensorenheter. Et tredimensjonalt lysskjermende deteksjons-område vedrørende antallet sensorenheter, har en vanlig tredimensjonal form som svarer til koordinatinnmatingsflaten. Det tredimensjonale lysskjermende deteksjons-område er dessuten definert som et tredimensjonalt område i hvilket en endring i høyderetningsposisjonen til pekeren blir detektert av en endringshastighet for lys-intensitet som detektert av antallet sensorenheter.

I et japansk patent nummer JP4033802(B2) (Advanced Telecomm Research Institute), er det beskrevet et stort berøringspanelsystem som muliggjør berørings-innmating av informasjon. Systemet innbefatter en skjerm av et plastmateriale som blir bestrålt av en infrarød kilde under drift fra en frontside av skjermen. Under drift, berører en person skjermen manuelt med hånden. Et kamera i systemet fotograferer dessuten en bakside av skjermen via et speil for å generere fotografiske data som leveres til en datamaskin. På grunnlag av de fotografiske dataene, kan et skyggelagt område som er et resultat av personens hånd som avbryter den infrarøde strålingen, detekteres av datamaskinen ved behandling av de fotografiske dataene. Når det skyggelagte området har en rommessig utstrekning som svarer til størrelsen av for eksempel en hånd, blir koordinatene til det skyggelagte området bestemt for å utlede et mål på en rommessig posisjon for personens hånd i forhold til skjermen.

Det er generelt viktig at brukerens intensjoner og kommandoer blir korrekt gjenkjent i menneske/maskin-interaksjonssystemer. Nøyaktigheten av X og Y i koordinatplanet behøver, eller behøver ikke, å være viktig. Dette er avhengig av anvendelsen. Fingerberøringssystemer er følgelig attraktive der hvor beskjeden nøy-aktighet er nødvendig for, for eksempel, å flytte eller velge grafiske objekter eller gå inn i menyer, mens en peker eller penn blir foretrukket når den høyeste nøyaktig-heten er nødvendig, for eksempel fin skriving eller tegning eller håndtering av alle detaljer og objekter i CAD-programmer. I et fingerbasert system, kan følgelig egen skapsekstrahering og robust heuristikk for bestemmelse av fingerens koordinater være tilstrekkelig, basert på et todimensjonalt bilde fra et enkelt kamera.

For alle anvendelsestyper, er imidlertid stor nøyaktighet vedrørende deteksjon av finger- eller pennberøring av ytterste viktighet og må aldri svikte fordi brukeren da kan miste kontrollen over anvendelsen. En høy og konstant deteksjonskvalitet av berøringstilstanden er derfor nødvendig i enhver posisjon i koordinatplanet. Detek-sjonsmetoden bør videre ikke være følsom for variasjoner i fingerstørrelse, hudfarge, omgivende lystilstander, skjermlys osv., og deteksjonen bør være hurtig. En god brukerinteraksjon er derfor utformet for å sikre høy kvalitet, høy robusthet og høy hastighet for finger/penn-berøringsdeteksjonen selv om koordinatoppløsnings-nøyaktigheten er beskjeden, og det beste systemet vil være i stand til å gi objektets fysiske høyde med konstant skalering over hele koordinatplanet, for derved å bestemme både svevings- og berøringstilstanden jevnt over koordinatplanet og uten noen brukeravhengig oppførsel eller forsinkelsesstraff.

For å bestemme stilling, er skalering ikke så viktig. Forholdet til avstanden mellom forskjellige egenskaper observert innenfor et enkelt bilde, kan for eksempel være tilstrekkelig til å bestemme at det aktuelle objektet er en hånd med for eksempel en rett tommel og en rett pekefinger, mens de andre fingrene er gjemt. Det er ikke viktig om det er en stor hånd hos en mann eller en liten hånd hos et barn, eller om den er stor fordi den er nær kameralinsen eller liten fordi den er lenger fra. Ved å spore de relative bevegelsene og de medfølgende stillingstypene som kan bestemmes fra bilde til bilde, kan slike sekvenser tolkes som håndgestkommandoer som i en viss grad er inkorporert i brukergrensesnitt for datamaskiner, mobile anordninger og integrerte systemer.

Det er stor interesse for interaksjonssystemer som bruker penn, berøring eller begge (dobbeltmodussystemer) til utdannelse, samarbeid og møter. Drift av systemer og grafiske brukergrensesnitt forberedt for dobbeltmodus flerberørings- og flerpennsinnmating, skjelner mellom berørings-, penn- og musinnmating, og derfor må dobbeltmodusinnmatingsanordninger rapportere informasjon om flerberørings-, flerpenns- og musinformasjon samtidig til datamaskinen. Flere nye interaksjonsplattformer tillater også enkeltpenn- eller fingergeststyring og/eller til og med håndgestbasert informasjon.

Det er spesielt stor global interesse for interaktive tavler og whiteboard-tavler for bruk innenfor undervisning både i vanlige klasserom og i større undervisnings-haller. Slike whiteboard-tavler finnes etter hvert også i møterom, rom for video-konferanse og arbeidsrom. Bildene på det interaktive whiteboard-koordinatplanet kan genereres som et projisert bilde fra en langdistanse- eller kortdistanseprosjektor eller en flatskjerm slik som en LCD-skjerm, en plasmaskjerm, en OLED-skjerm eller et baklysprojeksjonssystem. Det er viktig at innmatingsanordningen for berøring og/eller penn kan brukes sammen med alle typer visningsteknologier uten å redusere bildekvaliteten eller slite ut utstyret. Det er videre viktig at innmatings-teknologien lett kan tilpasses forskjellige skjermer, projektorer og visningsenheter med lave priser og anstrengelser.

Nye interaktive whiteboard-tavler er vanligvis utstyrt med kortdistanse-projektorer, nemlig projektorer med ultrabredvinkellinse plassert i kort avstand over skjermen. Ved hjelp av denne løsningen vil brukeren bli mindre forstyrret av lys i øyne sine og vil ha en tendens til å kaste mindre skygge på skjermen, og projektoren kan monteres direkte på veggen sammen med tavlen. En ideell innmatingsanordning for penn og berøring i forbindelse med slike kortdistansesystemer, bør derfor integreres i eller festes langs veggprojektoren, eller festes til projektorens veggmontering for å gjøre monteringen enkel og robust.

I foredragssaler er det nødvendig med meget lange, interaktive whiteboard-tavler og interaksjonsrom, og disse interaksjonsflatene bør tilveiebringe berørings-, penn- og geststyring. På skjermer med store formater, er pekestokker og laser-pekere ofte nødvendig for å tiltrekke publikums oppmerksomhet. Den foretrukne inn-matingsteknologien bør passe til alle slike forskjellige behov, det vil si også aksep-tere pekestokker og lasere som et brukerinnmatingsverktøy, og være tolerante overfor og tilpasset forskjellige visningsformater.

Også flatskjermteknologier kan behøve berørings- og/eller penndrift, enkeltpenn- og/eller berøringsgestinteraksjon, og endelig håndgeststyring. Berørings-følsomme filmer lagt på toppen av en flatskjerm kan ikke detektere sveving eller gester i luften. Rent elektromagnetiske avfølingssystemer bak en flatskjerm kan ikke detektere fingerberøring eller fingergester, bare elektromagnetisk pennoperasjon er mulig. Noen typer flatskjermteknologier, spesielt OLED-skjermer, kan være transparente, og dermed kan kamerabaserte teknologier brukes til geststyring gjennom skjermen. Hvis dobbeltmodus-innmatingssystemer som innbefatter sveving og gester, fortsetter å bli viktigere og viktigere og standardisert for å tilveiebringe et effektivt og naturlig brukergrensesnitt, vil optisk baserte innmatingssystemer sannsynligvis bli foretrukket også for interaktive flatskjermer i stedet for kapasitive eller resistive filmer eller elektromagnetisk baserte løsninger. Den foretrukne teknologien for innmatingsanordninger bør derfor være optisk basert og bør være egnet for tilpasning til både konvensjonelle flatskjermer (LCD, plasma, LED) og transparente flatskjermer slik som OLED- og bakprojeksjonsskjermer.

Innmatingsanordninger bør ikke være ømfintlige for lyskilder slik som dagslys, rombelysning, lys fra projektoren eller visningsskjermen osv. Innmatingsanordningene bør videre ikke være ømfintlige for nær infrarød stråling fra sollys, kunstig lys eller fra fjernkontrollenheter og lignende som benytter dioder som utsender nær infrarødt lys for kommunikasjon.

Innmatingsanordningene bør videre oppvise en høy oppdateringshastighet for koordinater og tilveiebringe lav latens for best mulig brukeropplevelse.

Innmatingsanordningene bør fortrinnsvis være egnet for eksisterende infrastruktur for, foreksempel, å oppgradere en allerede installert pennbasert interaktiv

whiteboard-modell til også å muliggjøre fingerberørings- og håndgest-styring, eller å oppgradere et møte- eller undervisningsrom som allerede er utstyrt med en installert projektor eller flatskjerm, til å bli interaktiv ved hjelp av selve innmatingsanordningen.

I noen scenarier, kan innmatingsteknologi også brukes uten interaktiv tilbake-kobling på selve skriveflaten, for eksempel ved innfange nøyaktig strøkene fra krittet og svampen på en tradisjonell tavle og gjenkjenne håndgester for styring av datamaskinen, eller ved å innfange normal bruk av penn og papir (innbefattende over-strykninger) og enkle gester for styring av datamaskinen; eller ved å innfange brukerens informasjon ved utfylling av et arkformular eller et spørreskjema som innbefatter hans/hennes signatur, mens resultatet blir lagret i en datamaskin og innmatingen eller annen tolkning av innmatingen blir vist ved hjelp av den normale dataskjermen eller ved hjelp av en tilkoblet visningsanordning eller en projektor for referanse for brukeren og tilhørerne. Dette betyr at innmatingsanordningen bør være mulig å bruke alene eller separert fra kostbar visningsteknologi i tilfeller hvor denne type infrastruktur ikke er tilgjengelig eller nødvendig.

På samme måte som interaktive whiteboard-tavler erstatter tradisjonelle kritt og tavler i undervisningen, dukker det opp nye interaksjonsrom på andre områder. Interaktive vertikale og horisontale overflater for flere brukere blir introdusert i kollokvierom og kontrollrom, museer og utstillinger.

Interaktive steder som innbefatter interaktive gestbord er opprettet i barer, kasinoer, kafeer og butikker for å gjøre det mulig for gjestene å velge fra en meny, bestille og betale så vel som å bli underholdt av for eksempel dataspill, søking på internett eller lesing av nyheter. Interaktive rom vil bli utnyttet innenfor digital skilting ved bruk av flatskjermer eller projektorskjermer med digitalt innhold som kan endres dynamisk, ikke bare i en forutbestemt sekvens fra innholdsleverandøren, men endret på grunn av brukerinnmating fra berørings- og geststyring for derved å gjøre vis-ningen av skiltet eller innholdet enda mer fleksibelt, informativt og brukervennlig. Innmatingsanordninger for berørings- og geststyring for bruk ved interaktiv innholds- visning bør virke bra gjennom tykke hærverkssikre vinduer og virke bra på alle typer overflater og flatskjermer med enkel installasjon, for å være egnet for å installere og bruke i offentlige og kommersielle områder innendørs og utendørs.

Oppsummering av oppfinnelsen

Foreliggende oppfinnelse vedrører en anordning, et system og en fremgangsmåte for en innmatingsanordning i mann-maskin-kommunikasjon for sporing av et objekts posisjon innenfor et koordinatplan; for deteksjon av svevings- og/eller berøringstilstander innenfor et volum som befinner seg ved koordinatplanet innenfor et gitt høydeområde; og/eller for gjenkjennelse av objektets stilling,

som har

et kamera for å ta et bilde ved å bruke synlig lys og/eller nær infrarødt lys,

et speilarrangement anordnet ved koordinatplanet, og

en beregningsenhet

hvor kameraets synsfelt innbefatter både koordinatplanet og volumet over dette og speilarrangementet, hvor speilarrangementet omfatter minst ett akseforskjøvet, konkavt, hovedsakelig parabolsk element med sin akse parallell med koordinatplanet og dets brennpunkt ved kameraets inngangspupill for å tilveiebringe en konstant for-størrelse av volumets høydedimensjon langs sin akse, slik at objektets koordinater og/eller dets sveve- og/eller berøringstilstand og/eller stillingskarakteristikker kan beregnes basert på et enkelt bilde ved hjelp av beregningsenheten, og/eller objektets bevegelse og/eller objektets gester kan beregnes basert på en sekvens av bilder ved hjelp av beregningsenheten.

Kameraet omfatter en CCD- eller en CMOS-avbildningsbrikke eller lignende, og en linse eller lignende med et synsfelt stort nok til å innbefatte koordinatplanet, volumet og speilarrangementet, og med en tilstrekkelig optisk avbildningskvalitet til at de aktuelle bølgelengdeområdene er tilpasset den aktuelle oppløsningen til bilde-brikken.

Foreliggende oppfinnelse har minst ett speilarrangement som omfatter ett eller flere akseforskjøvne, hovedsakelig parabolske elementer fordelt ved overflaten på utsiden av periferien til koordinatplanet. Hvert slikt akseforskjøvet, hovedsakelig parabolsk element har sitt brennpunkt i kameraets inngangspupill og sin akse parallell med overflaten. Egenskapen til hvert akseforskjøvet, hovedsakelig parabolsk element er å kollimere et sett med parallelle lysstråler, parallelt med overflaten, som kommer fra objektet når objektet er inne i eller delvis inne i volumet. Denne egenskapen sikrer at målingen av aktuell høyde, nemlig avstanden mellom objektet i forhold til overflaten, har konstant forstørrelse/skalering for dette elementet, og kan lett bestemmes ved lokalt å analysere bildeområdet som dekker dette speilelementet. Speilarrangementet eller -arrangementene må videre være innrettet for å sikre at de forskjellige settene med parallelle lysstråler fra hvert parabolsk element tilsammen dekker hele volumet over koordinatplanet uten dødsoner, slik at det alltid vil være minst ett speilelement som dekker objektet når objektet er innenfor volumet, og som kan observeres fra kameraets betraktningspunkt med tilstrekkelig antall piksler slik at beregningsenheten kan bestemme objektets aktuelle høyde og dermed kan bestemme objektets berøringstilstand og/eller svevetilstand. Kameraet kan også være utstyrt med standard eller tilpassede bifokale linser eller lignende for å forstørre speilarrangementet på bekostning av dets omgivelser for derved å øke oppløsningen av bildet av speilarrangementet i pikselgruppen i kamerasensoren til et tilstrekkelig

oppløsningsnivå for nøyaktig høydebestemmelse.

Selv om det ene eller de flere akseforskjøvne, hovedsakelig parabolske speilelementene er fordelt ved overflaten av koordinatplanet innrettet for å avføle objektets høyde over planet, kan det være plassert ytterligere buede eller plane speilelementer videre utenfor de akseforskjøvne, hovedsakelig parabolske speilelementene for å tilveiebringe rommessig informasjon om scenen når disse sistnevnte speilene blir observert fra kameraets betraktningspunkt.

Det vil være ytterligere restriksjoner for plassering og orientering av de forskjellige akseforskjøvne, hovedsakelig parabolske speilelementene i det tilfellet hvor det er hindringer for rettlinjet sikt mellom kameraets inngangspupill og overflaten, for eksempel på grunn av den mekaniske formen til projektoren, størrelsen til vegg-monteringen osv. I en foretrukket utførelsesform, er settet med mulige områder for plassering av de akseforskjøvne, hovedsakelig parabolske elementene utenfor disse hindringene registrert, og så blir plasseringen av hvert element valgt fra dette settet og tilordnet en akseretning langs overflaten for å fordele strålebuntene tilstrekkelig jevnt over koordinatplanet uten dødpunkter eller skygger, mens den resulterende formen av speilarrangementet eller arrangementene bør være glatt og/eller godt tilpasset til for eksempel veggmonteringsmekanismene og/eller projektorformen med hensyn til lett fremstilling, lett montering og godt estetisk utseende.

I foretrukne utførelsesformer er speilarrangementet et sett med akse-forskjøvne, hovedsakelig parabolske elementer fordelt i en halvsirkel omkring vegg-eller bordfestet for innmatingsanordningen. Jo mindre radien til halvsirkelen er, jo mer vidvinklet vil den resulterende optikken være, noe som gjør bildet av objektets bredde til å bli mer avhengig av avstanden mellom objektet og speilflaten. Hvis denne radien er for liten, vil det være vanskelig å måle høyden til objektet i stor avstand fra speilet siden bildet i bredderetningen er forminsket for meget selv om høydedimensjonen har konstant forstørrelsesskalering uansett avstanden fra objektet til speilet. Et passende valg for radien kan finnes for den gitte bilde- og linseoppløsningen, speiloverflatens kvalitet og sensorens lysbudsjett, så vel som monterings- og koordinatplanets geometrier.

I en alternativ foretrukket utførelsesform er de akseforskjøvne, hovedsakelig parabolske speilelementene arrangert i minst én rett støpning langs minst én av omkretskantene til koordinatplanet. Dette er en gunstig plassering for å sikre god observerbarhet og fordeling av de optiske strålene som kommer fra objektet, den kan lett fremstilles og monteres og kan resultere i et godt estetisk utseende.

I noen alternative utførelsesformer kan speilarrangementet være formet som en mosaikk av små akseforskjøvne, hovedsakelig parabolske segmenter, hver anordnet for å samle parallelle optiske stråler som stammer fra objektet, i forskjellige posisjoner og høyder, men hvor struktureringen av retningen, plasseringen og høyden av segmentene er optimalisert for å dekke volumet over koordinatplanet på den mest effektive måten for et rombegrenset eller formbegrenset speilarrangement, eller for å finne den mest effektive formen på speilarrangementet for dekning av deteksjon av en gitt minste objektstørrelse. Ved å utnytte mosaikkstrukturer er det mulig å finne arrangementer som gir optimal observasjon, mindre skyggedannelse og en god tilordning fra speil til piksel på bekostning av mer designoptimaliserende anstrengelser og bildedekodingskompleksitet.

Speilarrangementet kan være fremstilt direkte i metall ved hjelp av forskjellige fabrikasjonsteknologier slik som fresing, dreiing, tredimensjonal lasergravering, sliping eller EDM. For å gjøre fremstillingen egnet for store volumer og billig produksjon, kan sprøytestøping av plastmaterialer og metallbelegg avsatt på plast fortrinnsvis brukes og vil også redusere vekten av speilarrangementet. For overflater med høyere kvalitet og presisjon, kan metalliserte glass-substrater av forskjellige typer brukes. For speil med lavere volumer og lavere kvalitet, kan termoforming og vakumforming av speillignende metalliserte plastfilmer limt til et substrat, være mulig når krumningsradiet er stor. Stansing og forming av polert metallblikk kan også brukes til å lage speilene med en kvalitet som er tilstrekkelig for noen foretrukne utførelsesformer av foreliggende oppfinnelse.

Speilarrangementet kan også fremstilles ved å utnytte intern totalrefleksjon i materialer slik som plast eller glass.

Speilarrangementet kan også fremstilles ved å utnytte indre totalrefleksjon i plast- eller glassmaterialer i kombinasjon med metallbelegning for å beskytte og utvide speilfunksjonen (for vinkler mindre enn den kritiske vinkelen som den indre totalrefleksjonen opptrer ved).

I noen foretrukne utførelsesformer kan speilarrangementet basert på intern totalrefleksjon være laget av Fresnel-baserte segmenter. I noen foretrukne utførelsesformer kan speilarrangementet være fremstilt av en kombinasjon av flate speilsegmenter i gitte vinkler og en linse i plastmateriale eller en Fresnel-linse i plastmateriale for å tilveiebringe den påkrevde resulterende kurvaturen for den akseforskjøvne hovedsakelig parabolske funksjonen.

I noen foretrukne utførelsesformer kan den akseforskjøvne, hovedsakelig parabolske funksjonen realiseres ved hjelp av en linse eller Fresnel-linse slik som de som er fremstilt for solenergi-anvendelser.

I noen foretrukne utførelsesformer kan det ene eller de flere speilarrangementene være dekket av et lag av plast og/eller et spesialbelegg som selektivt stopper eller slipper gjennom lys innenfor gitte bølgelengdeområder. Ytterlaget eller huset kan så synes å være homogent med for eksempel en konstant mørk brun farge observert av brukeren og publikum i synlig lys, mens speilet bak belegget er fullstendig funksjonelt i det nær infrarøde lyset innenfor gitte bølgelengdeområder fra avbildningskameraet.

I noen utførelsesformer kan det omgivende lyset og/eller lyset fra skjermen (det vil si lys fra henholdsvis projektoren eller fra flatskjermen) brukes til å belyse objektet.

I noen foretrukne utførelsesformer kan et belysningsarrangement i det synlige og/eller nær infrarøde området være inkludert for belysning av objektet direkte og/eller indirekte ved hjelp av speilarrangementet.

I noen foretrukne utførelsesformer kan belysningsarrangementet være styrt av en av/på bryter for å slå belysningen selektivt på eller av for forskjellige bilder.

I noen foretrukne utførelsesformer blinker belysningskilden i belysningsarrangementet innenfor den aktive eksponeringsperioden for kameraet for å fryse de bevegelsene som er relatert til bevegelige objekter.

I noen foretrukne utførelsesformer er belysningsarrangementet plassert i nærheten av kameraets inngangspupill, nemlig nær brennpunktet til de parabolske elementene, for å belyse objektet gjennom speilarrangementet for derved å spre lyset i det volumet som befinner seg ved koordinatplanet i en gitt høyde og med stråler som hovedsakelig er parallelle med planet.

I noen foretrukne utførelsesformer er et belysningsarrangement plassert i nærheten av kameraets inngangspupill for å belyse objektet direkte.

I noen foretrukne utførelsesformer er det et felles belysningsarrangement for belysning av objektet gjennom speilarrangementet og for direkte belysning av objektet.

I noen utførelsesformer er det separate belysningsarrangementer for belysning av objektet gjennom speilarrangementet og for direkte belysning av objektet.

I noen utførelsesformer er det separate speilelementarrangementer for belysning og observasjon slik at speilene i arrangementet for observasjon av objektets høyde over koordinatplanet er mindre eksponert for selve belysningsarrangementet for derved å redusere uønskede refleksjoner fra de optiske grenseflatene og ved det å øke signal/støy-forholdet i målingene.

I noen utførelsesformer er av/på-styring av belysningsarrangementet for belysning av objektet gjennom speilet og av/på-styringen av belysningsarrangementet for belysning av objektet direkte atskilt, slik at objektbelysning fra belysningsarrangementene selektivt kan slåes på og av for de forskjellige bildene for å gi bedre deteksjon av objektet, for eksempel for å tilveiebringe konturer omkring objektet ved sideveis belysning.

I noen utførelsesformer omfatter belysningsarrangementene også synlig lys, for eksempel flerfargede lysemitterende dioder med av/på- styring, slik at objektet, for eksempel en finger, kan belyses med farget lys, for eksempel grønt gjennom speilarrangementet, for derved å signalisere til brukeren at den valgte blekkfargen for eksempel er grønn. På samme måte kan blinkende rødt signaleres til brukeren på dennes finger som en slags alarm uten å bli observert av tilskuerne, osv.

I noen foretrukne utførelsesformer omfatter kameraet et optisk filter for å blokkere uønsket lys, nemlig lyset fra flatskjermen eller projektorskjermen og/eller omgivelseslys, mens lys med samme bølgelengdeområde som belysningen slipper gjennom.

I noen foretrukne utførelsesformer omfatter kameraet ett eller flere valgbare optiske filtre som selektivt kan blokkere for eller slippe gjennom lys i forskjellige bølgelengdeområder, og dermed, for eksempel for noen bilder, å tillate lys med samme bølgelengdeområde som belysningen å passere gjennom, mens for andre bilder å tillate for eksempel bare det vanlige lyset å passere gjennom for så å bli i stand til å innfange bildene fra projektoren eller flatskjermen.

I noen foretrukne utførelsesformer kan foreliggende oppfinnelse kombineres med oppfinnelsene i WO2001NO00369 / US7083100B2 og/eller WO2006135241A1 / US2009040195A1 med objekter som er utstyrt med mønstre som kan observeres enten direkte eller gjennom de akseforskjøvne, hovedsakelig parabolske elementene eller begge deler med et gitt bølgelengdeområde på sin overflate og/eller inne i sitt legeme og/eller projisert på skjermen, som et middel for mer nøyaktig sporing og/eller for identifikasjon av objektet og/eller for deteksjon av tilstanden til forskjellige brukerinteraksjonsstyringer, slik som knapper osv., som ifølge de ovennevnte oppfinnelsene kan endre de observerbare mønstrene. Objektets nærhet til overflaten eller nærheten mellom forskjellige interne komponenter i objektet, kan også observeres ved å kombinere foreliggende oppfinnelse med den optiske nærhetsdetektoren som er beskrevet i WO2005050130 / US7339684B2.1 slike foretrukne utførelses-former kan observasjonen av slike mønstre og/eller nærhetsinformasjon spesielt gjøres gjennom foreliggende oppfinnelses speilarrangement eller speilarrangementer for derved å tilveiebringe konstant forstørrelse av denne optiske informa-sjonen over hele koordinatplanet.

I noen ytterligere foretrukne utførelsesformer, er de ovenfor nevnte mønstrene laget på objektet ved å påføre velkjente retroreflektive prinsipper for i det minste et gitt bølgelengdeområde for å utnytte at belysningsarrangementene er plassert nær kameraets innpangspupill slik at den retroreflektive egenskapen til objektet vil sikre høy intensitet av den direkte observasjonen og/eller observasjonen gjennom det ene eller de flere speilarrangementene.

I noen foretrukne utførelsesformer av foreliggende oppfinnelse, kan en enkel datamaskinbasert kalibreringsprosedyre brukes for å finne en nøyaktig tilordning av koordinatplanet til visningskoordinatene. En vanlig måte er å la kalibreringsprosedyren bli brukerassistert ved å vise kryss i flere punkter på skjermen, mens det kreves en manuell penn eller fingerberøring for å finne tilordningen, nemlig over-føringsmatrisen.

I noen foretrukne utførelsesformer av foreliggende oppfinnelse, kan et data-program mate ut bilder på visningsanordningen med for eksempel mønstre som brukes til å identifisere og spore objekter som i WO2001NO00369 / US7083100B2 og/eller WO2006135241A1 / US2009040195A1, som automatisk kan gjenkjennes av kameraet for å finne transformasjonsmatrisen for å tilordne koordinatplanet til visningskoordinater. Siden foreliggende oppfinnelse er avbildning av to forskjellige synsvinkler for et objekt som befinner seg i volumet over koordinatplanet, kan noen foretrukne utførelsesformer av foreliggende oppfinnelse innbefatte et kalibrerings- og styreprogram også for høydedimensjonen, det vil si for å styre og/eller justere tersklene korrekt for nøyaktig berøring og sveving ved å innbefatte et testobjekt som henholdsvis kan observeres direkte og gjennom speilene. Semitransparente, tredimensjonale mønsterobjekter kan belyses av visningsanordningen som en del av denne kalibreringsprosedyren. Som et illustrerende eksempel er et semitransparent sylindrisk testobjekt med for eksempel noen opake bånd langs sin overflate og/eller opake objekter inne i sitt volum, plassert i noen posisjoner på visningsanordningen som blir fremhevet i sirkulære områder ett etter ett ved hjelp av kalibreringspro- grammet. Visningsanordningen vil belyse det semitransparente testobjektet når det er plassert over disse små sirkulære områdene slik at det kan ses direkte av kameraet og kan ses fra siden gjennom speilarrangementet, i henhold til foreliggende oppfinnelse. Testobjektet kan ha opake og transparente detaljer som er dimensjonert for å være observerbare i kameraets to synsvinkler i henhold til foreliggende oppfinnelse for å identifisere og skjelne forskjellige testobjekter; for å kalibrere og etablere tilordningen fra koordinatplanets koordinater til visnings-anordningens koordinater; og/eller for å kalibrere eller regulere høydemålingen, innbefattende bestemmelsen og/eller av tersklene for berørings- og svevetilstandene for en gitt installasjon.

I noen foretrukne utførelsesformer kan speilarrangementet og/eller projektor-holderen og/eller skjermholderne og/eller skriveflaten ha optiske mønstre for nøyaktig objektposisjonering i scenen, som beskrevet i WO2001NO00369 / US7083100B2. Dette kan forenkle monterings- og kalibreringsprosedyren betydelig, og kalibreringen kan gjøres internt ved hjelp av beregningsenheten i innmatingsanordningen uten manuelle kalibreringstrinn eller eksterne dataprogrammer.

Formålet med foreliggende oppfinnelse er å tilveiebringe posisjonsinformasjon i X- og Y-retningen, så vel som informasjon om berøring og sveving (Z-retningen som representerer informasjon om brukerhandling) fra brukeren i et mann-maskin-grensesnitt som typisk også innbefatter, men ikke er begrenset til, en samvirkende visningsanordning.

Det er videre et formål med foreliggende oppfinnelse å bli brukt til avansert flerberøringsinteraksjon som blir benyttet i menneskelige grensesnittanordninger for datamaskiner og annet elektronisk utstyr. De fine detaljene i brukerens interaksjon som innbefatter nøyaktig berøringskontroll, håndstilling og gester, kan innfanges ved hjelp av kombinasjonen av direkte observasjon og observasjon gjennom et akse-forskjøvet, hovedsakelig parabolsk speilarrangement. Ved å bruke blinkende belysning direkte eller gjennom speilarrangementet, kan alle bevegelser fryses for å unngå utsmøring av kamerabildene. I noen foretrukne utførelsesformer av foreliggende oppfinnelse, kan belysningen også være forsynt med separat optikk, for derved å fjerne involverte refleksjoner ved belysning og observering gjort samtidig gjennom den samme optikken, for derved å forbedre signal/støy-forholdet.

I noen ytterligere utførelsesformer av foreliggende oppfinnelse blir belysningsanordninger med nær infrarødt lys brukt. Kameraet kan videre ha et optisk filter som blokkerer for synlig lys osv., og tillater bare nær infrarødt lys å passere. I slike ut-førelsesformer vil oppfinnelsen være mindre ømfintlig for andre lyskilder slik som dagslys, rombelysning, lys fra projektoren, skjermlys osv.

Det er en fordel ved foreliggende oppfinnelse at forstørrelsen av interaksjonsobjektene er konstant for alle avstander for et gitt segment. Dette innebærer enkel bildebehandling og et meget nøyaktig system over store flater. Formålet med denne oppfinnelsen er å lage et meget robust og nøyaktig berørings- og svevedeteksjons-system.

Det er videre en fordel ved foreliggende oppfinnelse at det blir mulig å innbefatte den i front- og baklysprojeksjonssystemer på vegger og på tavler, og foreliggende oppfinnelse kan være enten integrert i nytt utstyr eller ettermontert i eksisterende utstyr for å gjøre slike systemer interaktive.

Det er en ytterligere fordel at foreliggende oppfinnelse kan monteres på eller integreres i veggholdere for projektorer eller skjermholdere (LCD, OLED osv.).

I noen alternative utførelsesformer av foreliggende oppfinnelse, for meget avanserte interaksjonsrom, kan bruken av bifokale kameralinser forbedre opp-løsningen ved forstørrelse av bildet omkring speilarrangementet for å få enda mer nøyaktig berørings- og høydeinformasjon. Alternativt, kan linseoptikken være separert for direkte betraktning og betraktning gjennom det akseforskjøvne, hovedsakelig parabolske speilarrangementet for å miniatyrisere utstyret, redusere kostnader og forenkle installasjon. Dette kan oppnås ved å utnytte tilgjengelig og billig CMOS-bildesensorteknologier som tilveiebringer fullstendig eksponeringssynkronisering og strømming av et par bilder fra to separate sensorer ved hjelp av en sammenkoblet høyhastighets serieforbindelse, og bruker så den linseoptikken som er best egnet for de to separate bildene, og så utføre de samme beregningene på bildeparet ved hjelp av beregningsenheten. Metoden for hastighetsøkning som er beskrevet for foreliggende oppfinnelse, vil også kunne anvendes i en slik dobbel sensor/linse-konfigurasjon.

Foreliggende oppfinnelse kan benytte billig CCD- eller CMOS-kamera-teknologi og billige nær infrarøde LED-er og optikk som er lett og billig å fremstille, og tilgjengelige integrerte kretser for signalbehandling som er enkle å programmere for den aktuelle anvendelsen. Foreliggende oppfinnelse er derfor enkel å implementere i store produksjonsvolumer.

I noen scenarier kan foreliggende oppfinnelse også for eksempel bestemme håndstillinger som et andre interaksjonsobjekt innenfor kameraets synsfelt, men ikke nødvendigvis innenfor det definerte interaksjonsvolumet, hvor stillingen til det minst ene første objektet blir bestemt slik at stillingen til det andre objektet kan tilveiebringe ytterligere informasjon i den menneskelige interaksjonen med datamaskinen.

Fremgangsmåten som er basert på å observere objektet ved hjelp av det akseforskjøvne, hovedsakelig parabolske speilarrangementet, tilveiebringer eksplisitt høyden Z over interaksjonsflaten, synonymt med informasjon om svevenivå. Ved kun å utføre enkel kantdeteksjon over de kamerapikslene som representerer de forskjellige akseforskjøvne, hovedsakelig parabolske speilelementene, blir det mulig å bestemme nærværet og høyden av et interaksjonsobjekt. Man kan også bruke forskjellige bildebehandlingsmetoder for å detektere de aktuelle endringene i bilde-områdene for speilelementene, slik som for eksempel subtraksjon av et referanse-bilde, og også absolutte differanser i bildet, så vel som normalisering, terskelstyring (det vil si sammenligning med én eller flere terskelverdier) for for eksempel å finne en binær representasjon som lett kan behandles ytterligere for å finne kandidatobjekter ved hjelp av flekdeteksjonsalgoritmer eller sjablontilpasningsteknikker. Kandidatobjektene kan være lokalisert både i speilbildet som ser langs interaksjonsflaten, og i det direkte bildet, nemlig bildet av interaksjonsflaten selv. Det såkalte korrespondanseproblemet, nemlig hvor tilsvarende bildeinformasjon fra to forskjellige synsvinkler må identifiseres, er generelt et meget komplekst problem, og er et nøkkelproblem i stereografiske og kunstige tredimensjonale betraktningssystemer. Ved å utnytte de akseforskjøvne, hovedsakelig parabolske speilene, blir informasjon om høyden (Z) eksplisitt og lineært representert uten noen perspektivforvrengning som en funksjon av objektets posisjon (X, Y) i interaksjonsvolumet. Korrespondanseproblemet for foreliggende oppfinnelse er derfor redusert i kompleksitet sammenlignet med et generelt tilfelle, men kan forenkles ytterligere ved hjelp av den fremgangsmåten som er beskrevet nedenfor.

Fremgangsmåten som er basert på observasjon av objektet ved hjelp av det akseforskjøvne, hovedsakelig parabolske speilarrangementet, tilveiebringer som allerede diskutert, eksplisitt informasjon om svevenivå. Fremgangsmåten gjør det også mulig å finne interaksjonsobjektene hurtigere ved å utnytte en karakteristikk at bildet gjennom det akseforskjøvne, hovedsakelig parabolske speilelementet er en betraktning langs interaksjonsvolumet i en spesiell retning, noe som betyr at flere objektposisjoner blir tilordnet det ene enkle speilelementet eller en gruppe av slike speilelementer og kan observeres av kameraet som har et lavt antall piksler. For den innledende søkingen etter hvor objektet befinner seg, vil avbildningsprosessen av det begrensede kamerapikselområdet relatert til speilarrangementet, lett finne høyden av objektet og retningen hvor objektet befinner seg. I det foran nevnte speilarrangementet hvor de akseforskjøvne, hovedsakelig parabolske elementene er fordelt i en halvsirkel, kan så høyden (Z) og asimutvinkelen (AZ) som representerer retningen til objektet, finnes direkte, og en bane for posisjoner for kandidatobjektet i interaksjonsvolumet kan bestemmes. Denne banen kan omformes til en bane i bildesensorgruppen ved for eksempel en oppslagstabell, og kan så søkes forfore- komsten av objektet ved for eksempel en kantdetekterende algoritme kjørt langs denne banen. Denne fremgangsmåten representerer en effektiv søkeprosedyre for å finne det ene eller de flere objektene i bildet med høy beregningshastighet sammenlignet med et fullstendig todimensjonalt søk i bildesensorgruppen for hele interaksjonsflaten.

Videre kan en redundansmetode utnyttes i forbindelse med foreliggende oppfinnelse for å finne posisjonen, svevenivået og berøringen av det ene eller de flere objektene selv når det direkte bildet av objektet eller objektene er blokkert i den direkte kameravinkelen, ved å utnytte to eller flere speil. Brukeren kan av og til og utilsiktet skjule pennen, sine fingre eller sin hånd under en interaksjonssesjon ved for eksempel sin andre hånd eller sitt hode sett fra det direkte kamerasynspunktet, mens to speil langs interaksjonsflaten kan følge objektene, bestemme deres høyde, finne deres berørings- og svevetilstand og beregne deres posisjoner ved hjelp av triangulering av asimutvinklene til objektene som er observert i speilene med en gitt grunnlengde.

Ved sporing av de relative bevegelsene og de medfølgende stillingstypene som kan bestemmes fra bilde til bilde, kan slike sekvenser tolkes som hånd-kommandoer som til en viss grad er inkorporert i brukergrensesnitt for datamaskiner, mobile anordninger og integrerte systemer.

Foreliggende oppfinnelse tilveiebringer interaksjonssystemer som benytter penn, berøring eller begge deler (dobbeltmodussystemer) egnet for undervisning, samarbeid og møter. Nåværende operativsystemer og grafiske brukergrensesnitt er forberedt for dobbeltmodus, flerberørings- og flerpennsinnmating, og de kan skjelne mellom berørings-, penn- og musinnmating. Ved å kombinere interaksjonsobjekter og penner med optiske mønstre og andre objekter, slik som fingre og hånden, kan bildegjenkjenning og mønstertilpasning brukes til å skjelne mellom disse innmatings-modiene og tilveiebringe dobbeltmodusinformasjonen fra diverse interaksjonsobjekter til datamaskinen som flerberørings-, flerpenns- og musinformasjon samtidig til datamaskinen. Flere nye interaksjonsplattformer tillater også enkel penn- eller fingergeststyring, og/eller også håndgestbasert interaksjon.

Oppfinnelsen kan utnyttes i forbindelse med interaktive bord, brett og whiteboard-tavler i klasserom, foredragssaler, møterom, videokonferanserom og kollokvierom. Oppfinnelsen kan brukes sammen med kortdistanse- eller langdistanse-dataprojektorer, eller sammen med flatskjermer slik som LCD-skjermer, plasma-skjermer, OLED-skjermer eller bakprojeksjonssystemer uten å redusere bildekvaliteten eller å slite ut utstyret. Teknologi basert på foreliggende oppfinnelse kan lett tilpasses forskjellige skjermer, projektorer og fremvisningsenheter med lave kostnader og små anstrengelser.

Foreliggende oppfinnelse er ideell for kortdistanse-anordninger, typisk montert på veggen, siden den kan integreres i eller festes langs veggprojektoren, eller festes til projektorveggmonteringen for å gjøre installasjonen enkel og robust.

Foreliggende oppfinnelse kan også benyttes i foredragssaler hvor meget lange interaktiv whiteboard-tavler og interaksjonsrom er nødvendig for å tilveiebringe berørings-, penn- og geststyring, og kan også vekselvirke med pekestokker og laser-pekere og være tolerante overfor og tilpasningsbare til forskjellige visningsformater.

Foreliggende oppfinnelse kan også benyttes sammen med flatskjermteknologier for å gjøre dem interaktive, innbefattende stillings- og geststyring. Siden foreliggende oppfinnelse er basert på bruk av CMOS-bildesensorer og bilde-signalbehandling, kan systemet oppvise en høy oppdateringshastighet for koordinater og tilveiebringe lav latens som gir den beste brukererfaringen.

Interaksjonssystemene ifølge foreliggende oppfinnelse kan meget lett om-dannes for å passe inn i eksisterende infrastruktur for, for eksempel, å oppgradere allerede installerte pennbaserte interaktive whiteboard-modeller til også å muliggjøre fingerberørings- og håndgeststyring, eller for å oppgradere et møte- eller undervisningsrom allerede utstyrt med en projektor eller flatskjerm, for å bli interaktiv med en enkel installasjon av selve innmatingsanordningen.

Interaksjonssystemet ifølge foreliggende oppfinnelse kan også brukes i interaktive vertikale og horisontale flerbrukeroverflater i flerbrukerrom og kontrollrom, museer og utstillinger, i interaktive gjestebord i restauranter og i digitale plakater i offentlige og kommersielle områder utendørs og innendørs.

Foreliggende oppfinnelse vil også tilveiebringe avansert flerberøringsinter-aksjon for bruker på undervisnings- og forretningsmarkedet. Foreliggende oppfinnelse vil være egnet for små og mellomstore visningsanordninger så vel som store og brede whiteboard-tavler på skoler og i foredragssaler.

Foreliggende oppfinnelse kan også brukes med eller uten en visningsanordning i undervisning, til interaktiv informasjonsvisning og i museer og utstillinger.

Beskrivelse av tegningene

Oppfinnelsen blir her beskrevet, kun ved hjelp av eksempler, under henvisning til de vedføyde tegningene, hvor: Figur 1 er en illustrasjon av et eksempel på en utforming ifølge en foretrukket utførelsesform av foreliggende oppfinnelse, hvor et speilarrangement av akseforskjøvne, hovedsakelig parabolske elementer er organisert på en halvsirkulær måte omkring en kortdistanse-projektorholder; Figur 2 er en presentasjon av en utførelsesform som vist på figur 1, i sideriss; Figur 1B er en illustrasjon av et utførelseseksempel i henhold til en foretrukket utførelsesform av foreliggende oppfinnelse, hvor et speilarrangement av akseforskjøvne, hovedsakelig parabolske elementer er organisert i en halvsirkulær form over flatskjermen; Figur 2B er en illustrasjon av en utforming som vist på figur 1B i sideriss; Figur 3 er en illustrasjon av et eksempel på en utforming ifølge en foretrukket utførelsesform av foreliggende oppfinnelse, hvor et speilarrangement av akseforskjøvne, hovedsakelig parabolske elementer er organisert langs en rett støpelist like over et visningsområde for en projektor; Figur 4 er en presentasjon av en utførelsesform som vist på figur 3, i sideriss; Figur 3B er en illustrasjon av et eksempel på en utforming i henhold til en foretrukket utførelsesform av foreliggende oppfinnelse, hvor et speilarrangement av akseforskjøvne, hovedsakelig parabolske elementer er organisert langs en rett list like over et plant visningsområde; Figur 4B er en presentasjon av en utforming som vist på figur 3B i sideriss; Figur 5 er en illustrasjon av et eksempel på en utforming i henhold til en foretrukket utførelsesform av foreliggende oppfinnelse, hvor et speilarrangement av akseforskjøvne, hovedsakelig parabolske elementer er organisert for å unngå hindringer slik som for eksempel et stativ for en kortdistanse-projektor eller et feste, for å plassere speilelementene i områder i direkte siktlinjer fra et kamera anordnet utenfor et visningsområde; Figur 6 er en presentasjon av en utforming som vist på figur 5, i sideriss; Figur 7 er en illustrasjon av et eksempel på en utforming ifølge en foretrukket utførelsesform av foreliggende oppfinnelse, hvor et speilarrangement av akseforskjøvne, hovedsakelig parabolske elementer er organisert i en halvsirkulær form på et bord nær en projektor- eller kamerafeste; Figur 8 er en presentasjon av en konfigurasjon som vist på figur 7, i sideriss; Figur 7B er en illustrasjon av et eksempel på en utforming ifølge en foretrukket utførelsesform av foreliggende oppfinnelse, hvor et speilarrangement av akseforskjøvne, hovedsakelig parabolske elementer er organisert på et bord nær et kamerafeste og en flatskjerm; Figur 8B er en presentasjon av en utforming som vist på figur 7B, i sideriss; Figur 9 er en illustrasjon av et eksempel på en utforming ifølge en foretrukket utførelsesform av foreliggende oppfinnelse, hvor speilarrangementet av akseforskjøvne, hovedsakelig parabolske elementer er organisert langs en rett list like over visningsområdet til projektoren for et bakprojeksjonssystem; Figur 10 er en presentasjon av en utforming som vist på figur 9, i sideriss; Figur 9B er en illustrasjon av et eksempel på en utforming ifølge en foretrukket utførelsesform av foreliggende oppfinnelse, hvor et speilarrangement av akseforskjøvne, hovedsakelig parabolske elementer er organisert langs en rett list like over et visningsområde for en transparent skjerm (for eksempel et OLED-system); Figur 10B er en presentasjon av en utforming som vist på figur 9B, i sideriss; Figur 11 er en illustrasjon av et eksempel på en utforming ifølge en foretrukket utførelsesform av foreliggende oppfinnelse, hvor et speilarrangement av akseforskjøvne, hovedsakelig parabolske elementer er organisert langs en rett list like over en øvre side av et visningsområde for et bakprojeksjonssystem montert i et bord; Figur 12 er en presentasjon av en utforming som vist på figur 11, i sideriss; Figur 11B er en illustrasjon av et eksempel på en utforming ifølge en foretrukket utførelsesform av foreliggende oppfinnelse, hvor et speilarrangement av akseforskjøvne, hovedsakelig parabolske elementer er organisert langs en rett list like over et visningsområde for en transparent skjerm (for eksempel OLED) montert på et bord; Figur 12B er en representasjon av en utforming som vist på figur 11B, i sideriss; Figur 13 er en illustrasjon av et eksempel på en utforming ifølge en foretrukket utførelsesform av foreliggende oppfinnelse, hvor et speilarrangement av akseforskjøvne, hovedsakelig parabolske elementer er organisert langs en sirkulær form, for eksempel over en øvre side av et projektor-visningsområde for et baklysprojektorsystem montert i et bord, eller organiserte elementer i områder av direkte siktlinje fra et kamera for å unngå hindringer, men utenfor visningsområdet; Figur 14 er en representasjon av en utforming som vist på figur 13, i sideriss; Figur 13B er en illustrasjon av et eksempel på en utforming ifølge en foretrukket utførelsesform av foreliggende oppfinnelse, hvor et speilarrangement av akseforskjøvne, hovedsakelig parabolske elementer er organisert langs en sirkulær form, for eksempel over en øvre side av en transparent visningsskjerm (for eksempel OLED) montert i et bord, eller organisert i elementer med direkte siktlinje fra et kamera for å unngå hindringer, men utenfor visningsområdet; Figur 14B er en presentasjon av en utforming som vist på figur 13B, i sideriss; Figur 15 er en illustrasjon av et eksempel på en utforming ifølge en foretrukket utførelsesform av foreliggende oppfinnelse, hvor et speilarrangement av akseforskjøvne, hovedsakelig parabolske elementer er organisert langs en sirkulær form, for eksempel over en øvre side av et projektor-visningsområde for et veggmontert bakprojeksjonssystem, eller organisert i elementer i områder med direkte siktlinje fra et kamera for å unngå hindringer, men utenfor visningsområdet; Figur 16 er en presentasjon av en utforming som vist på figur 15, i sideriss; Figur 15B er en illustrasjon av et eksempel på en utforming ifølge en foretrukket utførelsesform av foreliggende oppfinnelse, hvor et speilarrangement av akseforskjøvne, hovedsakelig parabolske elementer er organisert langs en sirkulær form, for eksempel over en øvre side av en transparent visningsskjerm (for eksempel OLED) montert på en vegg, eller organisert i elementer i områder med direkte siktlinje fra et kamera for å unngå hindringer, men utenfor visningsområdet; Figur 16B er en presentasjon av en utforming som vist på figur 15B, i sideriss; Figur 17 er en illustrasjon av et eksempel på en utforming ifølge en foretrukket utførelsesform av foreliggende oppfinnelse, hvor et speilarrangement av akseforskjøvne, hovedsakelig parabolske elementer er organisert langs en rett list like over visningsområdet for en transparent skjerm (for eksempel OLED) montert i en håndholdt anordning; Figur 18 er en illustrasjon av typiske kamerabilder for noen eksempler på utforminger ifølge foretrukne utførelsesformer av foreliggende oppfinnelse, hvor speilarrangementet av akseforskjøvne, hovedsakelig parabolske elementer er organisert på flere forskjellige måter; Figur 19A er en illustrasjon over en parabol og et akseforskjøvet segment; Figur 19B til 19 F er illustrasjoner av eksempler på utforminger av akseforskjøvne, konkave og hovedsakelig parabolske elementer, og også illustrasjoner av noen fremstillingsbegrensninger; Figur 20 er en illustrasjon av eksempler på utforminger av speilelementer ifølge foretrukne utførelsesformer av foreliggende oppfinnelse; Figur 21A er et flytskjema som illustrerer et eksempel på en metodologi som letter det å finne fingrenes avstand til en overflate, å finne fingrenes tre dimensjonale koordinater innenfor et volum og en berørings- og svevetilstand for fingrene; Figur 21B er et flytskjema som illustrerer en fremskyndet metodologi for å finne et objekt; Figur 22 er en illustrasjon av eksempler på metodologier som letter kalibrering av et kamera til en visningsskjerm ifølge en foretrukket utførelsesform av foreliggende oppfinnelse; Figur 23 er en illustrasjon av eksempler på utforminger av en penn med sporingsmønstre, et speil med lokaliseringskontrollmønstre og et koordinatplan med kontrollmønstre for lokalisering; Figur 24 er en illustrasjon av eksempler på konfigurasjoner for å tilveiebringe en kontrollert bakgrunn for avbildning og for måling ved bruk av en liten list langs én eller flere kanter av et koordinatplan; Figur 25 er en illustrasjon av eksempler på utforminger av et speilarrangement av akseforskjøvne, hovedsakelig parabolske elementer ved et koordinatplan kombinert med ytterligere buede eller plane speilelementer lenger utenfor koordinatplanet, for å tilveiebringe rommessig informasjon observert ved å bruke et kamera; Figur 26 er en illustrasjon av eksempler på utforminger av et speilarrangement av akseforskjøvne, hovedsakelig parabolske elementer ved et koordinatplan for observasjon av et objekts høyde i forhold til et koordinatplan, kombinert med en separat anordning for belysning; Figur 27 er en skjematisk illustrasjon av et system som omfatter en visningsanordning, en samvirkende datamaskin og en anordning i henhold til foreliggende oppfinnelse; Figur 28 er en illustrasjon av et eksempel på en utforming ifølge en foretrukket utførelsesform av foreliggende oppfinnelse, hvor et direkte bilde og et speilbilde blir tatt ved hjelp av to samvirkende, atskilte bildesensorer med optikk for å optimalisere hvert bilde for lave fremstillingskostnader, miniatyrisering og enkelt oppsett; og Figur 29 er en skjematisk illustrasjon av et eksempel på en utforming av et speilarrangement med to seksjoner bestående av akseforskjøvne, hovedsakelig parabolske speilelementer M1 og M2 som kan observeres av et kamera, og et objekt P som befinner seg i et interaksjonsvolum.

Beskrivelse av utførelsesformer av oppfinnelsen

Foreliggende oppfinnelse vedrører en anordning, et system og en fremgangsmåte for en kamerabasert datainnmatingsanordning for mann-maskin-interaksjon. Foreliggende oppfinnelse vedrører dessuten også anordninger for å implementere slike systemer og utføre slike fremgangsmåter.

Før forklaring av minst én utførelsesform av oppfinnelsen i detalj, skal det bemerkes at oppfinnelsen ikke er begrenset i sin anvendelse til de detaljene ved konstruksjon og arrangementene av komponenter som er angitt i den følgende beskrivelse eller som er illustrert på tegningene. Oppfinnelsen kan implementeres ved hjelp av andre utførelsesformer eller praktiseres eller utføres på forskjellige måter. Det skal dessuten bemerkes at den fraseologien og terminologien som er anvendt her, har det formål å beskrive og skal ikke anses som begrensende.

Prinsippene og virkemåten til anordningen, systemet og fremgangsmåten for interaktiv innmating ifølge foreliggende oppfinnelse, kan forstås bedre under henvisning til tegningene og deres medfølgende beskrivelse.

Først vil prinsippet for en interaksjonsanordning og et interaksjonssystem bli beskrevet. Deretter vil detaljert beskrivelse av noen foretrukne utførelsesformer bli beskrevet sammen med sine detaljerte operasjonsprinsipper.

Prinsippet bak interaksjonsanordningen og interaksjonssystemet er beskrevet under henvisning til et eksempel på en utforming som illustrert på figur 1 og figur 2 som skjematisk skisserer en maskinvarekonfigurasjon av en foretrukket utførelses-form av foreliggende oppfinnelse som vist i perspektiv og i et sideriss. Utstyrskomponentene i denne utførelsesformen er en kortdistanse dataprojektor 3 plassert sammen med et kamera 5 og en belysningskilde 6 på et veggfeste 4.

Utseende og den praktiske implementeringen av veggfeste 4 kan variere betydelig, men et hovedformål med dette er å anbringe én eller flere av kortdistanse-projektoren 3, kameraet 5 og belysningskilden 6 i riktig avstand til en skjerm og for montering på veggen 11, fortrinnsvis over et fremvist bilde 12. Det fremviste bilde 12 representerer også koordinatplanet 12 og blir fortrinnsvis projisert på en glatt og hvit overflate egnet for projeksjon, pennoperasjon og berøring, mens det i tilfellet med bruk av en plan visningsanordning, er interaksjonsflaten 12 selve visningsanordningen, eventuelt beskyttet med et spesielt transparent materiale, typisk glass eller plastmateriale for beskyttelse, slik at den er robust for penn- og berøringsopera-sjoner. Dataprojektoren 3 har et synsfelt 9 og kan opereres for å projisere det fremviste bilde 12 som representert av det heltrukne rektanglet i et interaksjonsvolum 1.

Et objekt 2, som for eksempel er brukerens finger og/eller hånd, kan vekselvirke med en datamaskin eller lignende innenfor interaksjonsvolumet 1 som er begrenset av en spesiell høyde over koordinatplanet. Det er innbefattet et speil arrangement 7 med minst ett akseforskjøvet, hovedsakelig parabolsk element på utsiden av interaksjonsvolumet 1, med sin akse parallell med koordinatplanet og sitt parabolske brennpunkt ved kameraets inngangspupill for å tilveiebringe en konstant forstørrelse av volumets høydedimensjon langs sin akse.

Kameraet 5 har et synsfelt 8 som innbefatter interaksjonsvolumet 1 og speilarrangementet 7, slik at objektets koordinater og objektets svevehøyde kan beregnes og/eller dets svevetilstand og/eller berøringstilstand og/eller stillings-karakteristikkene kan utledes basert på et enkelt bilde behandlet av beregningsenheten, og/eller objektets bevegelse og/eller objektets gester kan beregnes nærmere basert på en sekvens av bilder behandlet av beregningsenheten, hvor beregningsenheten typisk, men ikke nødvendigvis, er integrert i kameraet 5. Kameraet 5 kan ha optiske filtre for selektivt å blokkere lys av forskjellige bølgelengde-områder, for eksempel for å redusere innvirkningen av dagslys og lys fra visningsanordningen. Kameraet 5 kan også være utstyrt med en bifokal linse for å forstørre speilarrangementet 7 på bekostning av dets omgivelser, for derved å øke oppløs-ningen til avbildningen av speilarrangementet 7 i sensorpikselgruppen til kameraet 5.

Beregningsenheten har kommunikasjonsmidler, for eksempel en mikrokon-troller, for overføring av koordinatene og de andre interaksjonsdataene til en datamaskin ved for eksempel å bruke en standard seriebuss og kretser (slik som USB) eller ved å bruke trådløse kommunikasjonsprotokoller og -anordninger.

Belysningsanordningen 6 kan være retningsbestemt og switchbar, for derved å belyse objektet 2 enten direkte eller gjennom speilarrangementet 7, slik at en mest mulig riktig belysning kan velges for henholdsvis den laterale posisjonsbestem-melsen og deteksjonen av svevehøyden. For lateral posisjonsbestemmelse av objektet, kan belysning gjennom speilarrangementet 7 være å foretrekke på grunn av dannelse av et felt med lysstråler med hovedsakelig konstant høyde parallelt med planet som vil belyse objektet fra siden når det kommer inn i interaksjonsvolumet 1, og dermed også tilveiebringer en viss konturdannelse av objektet 2 når det observeres direkte fra kameraet 5. For bestemmelse av svevehøyde, kan derimot direkte belysning være mer attraktivt (enn belysning gjennom speilarrangementet 7) for derved å separere de optiske banene for belysningsanordningen 6 og kameraet 5, for å maksimalisere signal/støy-forholdet, og videre tilveiebringe en viss konturdannelse av objektet 2 når det betraktes gjennom speilarrangementet 7. I noen utførelseseksempler, kan den sideveis belysningen også gjøres ved hjelp av et hovedsakelig lignende speilarrangement, som er atskilt fra speilarrangementet 7 innrettet for å bli optimalisert for observasjon for å få det beste signal/støy-forholdet for kombinasjonen av sideveis belysning og sideveis observasjon.

I alle utførelseseksemplene og de foretrukne utførelsesformene ifølge foreliggende oppfinnelse, kan det videre være innbefattet minst én ytre skjerm eller

ramme, som her er utelatt for å tydeliggjøre figurene, men som kan omslutte én eller flere av utstyrskomponentene: projektoren 3, kameraet 5 (innbefattende beregnings-enhetene og kommunikasjonsmidlene), lyskilden 6, veggfeste 4, speilarrangementet 7 og visningsanordningen og koordinatplanet 12. Formålet med den ytre skjermen eller rammen kan for eksempel være å gjøre interaksjonssystemet robust, vedlike-holdsfritt, støvsikkert, brukervennlig, trygt, lettere å fremstille, enklere å montere og å presentere systemet med et profesjonelt utseende i henhold til noen gitte prinsipper og utformingsmessige elementer.

Det vises videre til figur 1 og figur 2, hvor speilarrangementet 7 av akse-forskjøvne, hovedsakelig parabolske elementer i dette utførelseseksemplet er anordnet i en hovedsakelig halvsirkulær krumning over koordinatplanet og visningsanordningen 12, fortrinnsvis enten montert på veggen 11, på projektorfeste 4 eller på den overflaten som strekker seg langs koordinatplanet og visningsanordningen 12.1 denne foretrukne utførelsesformen kan speilarrangementet 7 være en integrert del av veggfestet eller en integrert del av hele den interaktive whiteboard-tavlen. Speilarrangementet 7 kan også være innbefattet i et ombyggingssett for oppgradering av en eksisterende whiteboard-tavle eller en kortdistanse-projektorinstallasjon for å bli berøringsfølsom.

Det vises til figur 1B og figur 2B, hvor den utførelsesformen som er illustrert her, er lik den som er beskrevet ovenfor i forbindelse med figur 1 og figur 2, bortsett fra at projektoren 3 og projektorvisningsflaten 12 er erstattet av en flatskjerm (LCD, plasma, OLED, baklys-projeksjon osv.) for visningsanordningen 12.

Det vises fortsatt til figur 1B og figur 2B, hvor en selvstendig utførelsesform uten noen visningsanordning 12 kan benyttes til å innfange for eksempel nøyaktige strøk fra et kritt og en svamp og fingerberøring på en tradisjonell tavle, mens de inn-fangede resultatene blir lagret i en datamaskin og innmatingen eller noen tolkninger av innmatingen blir vist ved hjelp av den vanlige dataskjermen eller ved hjelp av en tilkoblet visningsanordning eller en projektor for referanse til brukeren og/eller tilskuerne.

Det vises til figur 3 og figur 4, hvor speilarrangementet 7 omfatter aksefor-skjøvne, hovedsakelig parabolske elementer plassert langs en rett linje utenfor en kant, fortrinnsvis en øvre kant av visningsanordningen og koordinatplanet 12. De samme egenskapene og funksjonene som er beskrevet i forbindelse med figur 1 og figur 2, gjelder fortsatt bortsett fra en forskjell vedrørende det fysiske utseende av speilarrangementet 7.

Det vises til figur 3B og figur 4B, hvor utførelsesformen er maken til den som er beskrevet ovenfor i forbindelse med figur 3 og figur 4, bortsett fra at projektoren 3 og projektorvisningsflaten 12 er erstattet av en flatskjerm (LCD, plasma, OLED, baklys-projeksjon osv.)forvisningsflaten 12.

Det vises til figur 5 og figur 6, hvor speilarrangementet 7 omfatter akseforskjøvne, hovedsakelig parabolske elementer plassert i områder for direkte innsikt fra kameraet 5 for å unngå hindringer som for eksempel skyldes projektorens 3 chassis eller veggfeste 4, mens de er utenfor visningsflaten og koordinatplanet 12. De samme egenskapene og funksjonene som er beskrevet i forbindelse med figur 1 og figur 2 gjelder fortsatt, bortsett fra det fysiske utseende av speilarrangementet 7.1 noen konfigurasjoner, er projektoren 3 og projektorvisningsflaten 12 erstattet av en flatskjerm (LCD, plasma, OLED, baklys-projeksjon osv.) i stedet for visningsflaten 12.

Det vises til figur 7 og figur 8, hvor de samme egenskapene og funksjonene som er beskrevet i forbindelse med figur 1 og figur 2 gjelder, bortsett fra at systemet ikke er montert for vertikal bruk på en vegg, men i stedet er montert for horisontal bruk på en bordoverflate 12.

Det vises til figur 7B og figur 8B, hvor utførelsesformen er maken til den som er beskrevet ovenfor i forbindelse med figur 7 og figur 8, bortsett fra at projektoren 3 og projektorvisningsflaten 12 er erstattet av en flatskjerm (LCD, plasma, OLED, baklys-projeksjon osv.) som visningsflate 12.

Det vises til figur 9 og figur 10, hvor de samme egenskapene og funksjonene som er beskrevet i forbindelse med figur 3 og figur 4 gjelder, bortsett fra at systemet nå er tilpasset en semitransparent baklys-projeksjonsskjerm 12 slik at kameraet 5, lyskilden 6, projektoren 3 og veggfeste 4 er bak veggen 11, mens speilarrangementet 7 med akseforskjøvne, hovedsakelig parabolske elementer langs en rett list, er montert over projeksjonsskjermen 12 på veggen for å observere interaksjonsvolumet 1 ved en viss gitt høyde over visningsflaten og koordinatplanet 12.

Det vises til figur 9B og figur 10B, hvor utførelsen er lik den som er beskrevet ovenfor i forbindelse med figur 9 og figur 10, bortsett fra at projektoren 3 og visningsflaten 12 til projektoren er erstattet av en semitransparent flatskjerm (OLED osv.) som visningsflaten 12.

Det vises til figur 11 og figur 12, hvor de samme egenskapene og funksjonene som er beskrevet i forbindelse med figur 9 og figur 10 fremdeles gjelder, bortsett fra at systemet ikke er montert for vertikal bruk på en vegg, men er i stedet montert for horisontal bruk på en bordoverflate 12.

Det vises til figur 11B og figur 12B, hvor utførelsen er maken til den som er beskrevet ovenfor i forbindelse med figur 11 og figur 12, bortsett fra at projektoren 3 og projektorvisningsflaten 12 er erstattet av en semitransparent flatskjerm (OLED osv.) som visningsflate 12.

Det vises til figur 13 og figur 14, hvor de samme egenskapene og funksjonene som er beskrevet for figur 11 og figur 12 gjelder, bortsett fra at speilarrangementet 7 av akseforskjøvne, hovedsakelig parabolske elementer er organisert langs en sirkulær form, for eksempel over en øvre side av projektorvisningsområdet for et baklys-projeksjonssystem montert i et bord, eller organisert i elementer i områder for den direkte siktlinjen fra kameraet for å unngå hindringer, men utenfor visningsområdet.

Det vises til figur 13B og figur 14B, hvor utformingen er lik den som er beskrevet ovenfor i forbindelse med figur 13 og figur 14, bortsett fra at projektoren 3 og projektorvisningsflaten 12 er erstattet av en semitransparent flatskjerm (OLED osv.) som visningsflate 12.

Det vises til figur 15 og figur 16, hvor de samme egenskapene og funksjonene som er beskrevet i forbindelse med figur 9 og figur 10 gjelder, bortsett fra at speilarrangementet 7 av akseforskjøvne, parabolske elementer er organisert langs en sirkulær form, for eksempel over den øvre siden av projektorvisningsområdet 12, eller organisert i elementer i områder med direkte siktlinje fra kameraet 5 for å unngå hindringer, men utenfor visningsområdet 12.

Det vises til figur 15B og figur 16B, hvor konfigurasjonen er lik det som er beskrevet ovenfor i forbindelse med figur 15 og figur 16, bortsett fra at projektoren 3 og projektorvisningsflaten 12 er erstattet av en semitransparent flatskjerm (OLED osv.) som visningsflaten 12.

Det vises til figur 17, hvor de samme egenskapene og funksjonene som beskrevet i forbindelse med figur 9B, figur 10B, figur 11B og figur 12B fortsatt gjelder, bortsett fra at det interaktive systemet er innrettet for å bli montert i en håndholdt anordning.

Det vises til figur 18, hvor typiske bilder av noen utførelseseksempler ifølge foreliggende oppfinnelse er illustrert, hvor speilarrangementet 7 av akseforskjøvne, hovedsakelig parabolske elementer organisert (a) langs en sirkulær form som på figur 1, figur 2, figur 1B, figur 2B, figur 7, figur 8, figur 7B, figur 8B; (b) langs en rett list parallell med en kant av koordinatplanet 12 som på figur 3, figur 4, figur 3B, figur 4B; (c) langs elementer i områder med direkte siktlinje fra kameraet 5 for å unngå hindringer, som på figur 5 og figur 6; (d) langs to, tre eller fire rette lister parallelle med kantene til koordinatplanet 12, som kan tilveiebringe flere bilder av objektet 2;

(e) langs en rett lang list parallell med den øvre kanten av et meget bredt koordinatplan 12 dekket av betraktningspunkter til flere kameraer 5; (f) langs én eller flere elementer i områder av den direkte synslinjen fra kameraene 5 for å unngå hindringer, og som kan tilveiebringe flere forskjellige bilder av objektet 2. Denne utformingen kan også anvendes i forbindelse med interaktive informasjonsskilt og i interaktive plakater i messer og museer hvor flere interaktive områder eller øyer kan være etablert mellom områder med for eksempel tredimensjonale strukturer med informasjonsinnhold som brukeren kan vekselvirke med. Det vises til figur 19, hvor en parabel med brennpunkt 2', beskrevet ved hjelp av ligningen og et eksempel på et akseforskjøvet, hovedsakelig parabolsk element (over det skraverte området og inne i den stiplede ovalen) er vist. Nå vil eksempler på numeriske verdier bli gitt for et halvsirkelformet speilarrangement 7 av parabolske elementer for et kamera 5 med inngangspupill plassert x=510 mm bort fra visningsflaten 12, og med en ytre radius på R=150 mm, og en høyde H=50 mm (noe som betyr at et interaksjonsvolum 1 med høyde 50 mm kan observeres gjennom speilarrangementet 7). Brennpunktet er

Avstanden R-r fra den ytre radien som en funksjon av den aktuelle høyden h til overflaten av det parabolske elementet, hvor R er den ytre radien og liten r er den aktuelle radien, kan finnes for noen høydeverdier h som følger:

Det vises til figur 19B, hvor et eksempel på et speilarrangement 7 er vist i forbindelse med det numeriske eksemplet ovenfor, hvor de akseforskjøvne, konkave parabolske elementene er anordnet i en sektor på 176° av en sirkel med ytre radius på 150 mm. Speilarrangementet 7 har en høyde på 0-50 mm, mens den totale høyden til enheten er 60 mm. Delen kan være sprøytestøpt i ABS-plast og metall belagt med aluminium og beskyttet av et tynt polymerlag for å unngå forringelse på grunn av oksydasjon. Alternativt, kan metallbelagte plastark limes til delen, men da er den korrekte dobbelbuede overflaten ikke enkel å forme.

Det refereres til figur 19C, som viser formen av et ark av metallbelagt plastmateriale for eksemplet på speilarrangement 7 som angitt på figur 19B og relatert til det ovennevnte numeriske eksemplet.

Det vises til figur 19D, hvor en perspektivtegning av eksemplet på speilarrangement 7 som beskrevet på figur 19A, 19B og 19C er vist. Speilarrangementet 7 er tilpasset for plassering direkte på den overflaten som strekker seg på koordinatplanet 12 eller det samme nivået montert på veggen 11 eller veggfeste 4.

Det vises til figur 19E, hvor et eksempel på et speilarrangement 7 kan være utformet, som på grunn av visse fremstillingsbegrensninger i et gitt tilfelle bare tillater speilflaten å være enkeltbuet. Figur 19E er en illustrasjon på den forskjellige formen av den ideelle akseforskjøvne, parabolske funksjonen og denne lineariserte aksefor-skjøvne, parabolske funksjonen. Helningen til den enkeltbuede overflaten er tilpasset for å være nesten korrekt ved høyde=0, noe som betyr at lesing av den «endelige berøringen» ved h=0 vil være ganske korrekt. For speilarrangementet 7 med den ideelle parabolske funksjonen, vil avlesningen gjennom speilet av objektets høyde over koordinatplanet 11 direkte være en lineær funksjon og uavhengig av den aktuelle (X,Y)-posisjonen i interaksjonsvolumet 1, mens for speilarrangementet 7 som bruker en slik fremstilt, ikke-ideell parabolsk funksjon, vil avlesning av objektets høyde måtte korrigeres ved hjelp av et (X,Y)-posisjonsavhengig feiluttrykk, for eksempel implementert ved hjelp av en oppslagstabell.

Det vises til figur 19F, hvor et eksempel på et speilarrangement 7 er utformet, som på grunn av visse fremstillingsbegrensninger for eksempel er begrenset til å ha to enkeltbuede overflater, nemlig de to lineære seksjonene for tilnærmet å ligne den akseforskjøvne, konkave, ideelle parabolske formen. Figuren illustrerer forskjellen i form mellom den ideelle akseforskjøvne, parabolske funksjonen og den aksefor-skjøvne, hovedsakelig parabolske funksjonen som har to lineariserte seksjoner. Disse formartifaktene vil forvrenge bildet av objektet, siden defleksjonsvinklene ikke er korrekte. Generelt er det mulig på grunn av for eksempel fremstillingsbegrensninger, å utnytte forskjellige lineariserte, segmenterte eller andre tilnærmede funksjoner for tilnærming til den akseforskjøvne, konkave, parabolske funksjonen som for eksempel vist på figur 19A, og et slikt resulterende akseforskjøvet, konkavt, hovedsakelig parabolsk element kan tilveiebringe tilsstrekkelig bildekvalitet til å observere objektet og bestemme objektets svevehøyde med en tilstrekkelig nøyaktighet i henhold til gitte systemkrav, godt tilpasset sensorens endelige bilde-oppløsning og kameraets gitte linsekvalitet.

Det vises til figur 20, hvor eksempler på utforminger av speilelementene ifølge en foretrukket utførelsesform av foreliggende oppfinnelse omfatter: (a) en mosaikk av små akseforskjøvne, hovedsakelig parabolske speilelementer; (b) speillignende filmer av metallbelagt plastmateriale limt til et underlag; (c) speil ved å bruke intern totalrefleksjon i glass eller plastmateriale; (d) speil ved å bruke intern totalrefleksjon i glass eller plastmateriale og bruk av metallisering for beskyttelse og forlengelse av speilfunksjonen for mindre vinkler enn den kritiske vinkelen for indre totalrefleksjon; (e) speil ved å bruke et plant speil og én eller flere Fresnel-linser for å tilveiebringe den nødvendige krumningen for den akseforskjøvne, hovedsakelig parabolske funksjonen når kameraet er foran skjermen (frontprojeksjon), (f) speil ved å benytte et plant speil og én eller flere Fresnel-linser for å tilveiebringe den nødvendige krumningen for den akseforskjøvne, hovedsakelig parabolske funksjonen når kameraet er bak skjermen (baksideprojeksjon eller «gjennomsiktig» transparent flatskjerm, for eksempel OLED); (g) speil ved å bruke Fresnel-lignende segmenter for den akseforskjøvne, hovedsakelig parabolske funksjonen ekvivalent med (e) og (f) .

Det vises til figur 21 A, hvor et flytskjema tilveiebringer en illustrasjon av et eksempel på en fremgangsmåte som gjør det lettere å finne fingres avstand til en overflate, å finne fingres tredimensjonale koordinater innenfor et volum, og berørings- og svevetilstand. De akseforskjøvne, hovedsakelig parabolske speilelementene representerer et alternativt betraktningspunkt for observasjon av objektene, og speilelementene representerer eksplisitt svevenivået eller høyden eller den ortogonale avstanden Z til objektet over interaksjonsflaten inne i interaksjonsvolumet. Enkel bildeinnsamling og egenskapsekstrahering som skissert på figur 21A, kan finne posisjoner for kandidatobjekter innenfor de to områdene av interesse i gruppen av kamerabilder, nemlig innenfor det direkte, eller synonymt det fremre betraktningspunktet, og speilbetraktningspunktet. For hvert forskjellig bilde kan en romvinkel som kandidatobjektet avskjærer ved kameraets inngangspupill, finnes. I speilbetraktningen blir høyden Z over interaksjonsflaten (12) funnet eksplisitt, og korrespondanseproblemet vedrørende tilpasning av ett eller flere punkter i det tredimensjonale rommer ved hjelp av to observasjoner og bildebehandling av to forskjellige todimensjonale bilder, vil bli betydelig forenklet.

Figur 21B er et flytskjema som illustrerer en raskere fremgangsmåte for å finne et objekt. I dette eksemplet er speilarrangementet en akseforskjøvet, hovedsakelig parabolsk speilseksjon som for eksempel illustrert på figur 19B til 19D, og med et typisk bilde, figur 18A, hvor et objekt blir sett både gjennom speilet og direkte.

Høyden Z og vinkelen AZIMUTH for et objekt (2) kan observeres av kameraet gjennom speilet som representerer en rettlinjet bane i koordinatsystemet til interaksjonsvolumet (1). Denne rette linjen i det tredimensjonale interaksjonsvolumet (1) representerer alle de mulige (X,Y)-posisjonene som objektet (2) kan ha for den gitte Z- og AZIMUTH-verdien. Denne tredimensjonale banen blir ved hjelp av koordinattransformasjon for linsen tilordnet en todimensjonal bane i kameraets pikselgruppe som for eksempel kan finnes ved hjelp av en oppslagstabell, og denne banen kan traverseres ved å starte fra enden nærmest speilet, og med en viss banebredde gitt i antall piksler, kan en kantdetektoralgoritme finne et kandidatobjekt. Så kan kantdeteksjon av delpiksler eller sjablongtilpasning utføres for å finne pikselposisjonen (X,Y) med høyere nøyaktighet, og så transformeres ved hjelp av en invers koordinattransformasjon ved for eksempel hjelp av en oppslagstabell, hvor kandidatobjektets koordinater med høy nøyaktighet (X,Y) i overflatevolumkoordinater beregnes. Etter denne søkealgoritmen kan til slutt X,Y,Z og stillingsinformasjon rapporteres som beskrevet.

Sammenlignet med en fullstendig søkealgoritme i den todimensjonale pikselgruppe n med en kantdetektoralgoritme, hvis beregningsmessige kompleksitet er proporsjonal med størrelsen av gruppen av interesse som dekker interaksjonsvolumet (1), er den beskrevne algoritmen meget mindre kompleks og er hovedsakelig proporsjonal med lengden av diagonalen til gruppen slik at fremskyndings-faktoren kan bli betydelig, i området fra 100x-1000x, avhengig av oppløsningen til sensoren og det arealet som er av interesse.

Det vises til figur 22, hvor det er gitt eksempler på fremgangsmåter som letter kalibrering av kameraet til visningsskjermen i henhold til en foretrukket utførelses-form av foreliggende oppfinnelse, hvor (a) er en standard manuell kalibrerings-løsning hvor kryss blir vist på visningsskjermen og en operatør bruker en penn eller finger til å berøre hvert kryss i en gitt rekkefølge; (b) er en automatisk kalibrerings-løsning som benytter mønstre slik som i oppfinnelsene WO2001NO00369 / US7083100B2 og/eller WO2006135241A1 / US2009040195A1 til å identifisere de forskjellige kalibreringspunktene, i det disse oppfinnelsene herved inkorporeres ved referanse; (c) er en halvautomatisk kalibreringsløsning som benytter mønstre slik som i (b) først til å identifisere kalibreringspunkter, så presentere et sett med hvite sirkulære skiver på sort bakgrunn i gitte posisjoner hvor operatøren i en gitt sekvens anbringer en semitransparent sylinder med indre opakt eller reflekterende materiale slik at grenser for berøringsdeteksjon kan settes eller reguleres.

Det vises til figur 23, eksempler på utforminger av (a) en penn med sporings-mønstre 13; (b) et speil med posisjonskontrollmønstre 13; (c) et koordinatplan med lokaliseringskontrollmønstre 13; brukt sammen med foreliggende oppfinnelse, er vist. Mønstrene kan for eksempel være mønstre brukt til å identifisere og spore objekter slik som i WO2001NO00369 / US7083100B2 og/eller WO2006135241A1 / US2009040195A1 som herved inkorporeres ved referanse. Det vises videre til figur 23, hvor penninnmatingen ved å bruke slike mønstre og mønstergjenkjenning, kan skjelnes fra andre interaksjonsanordninger for innmating slik som en menneskelig finger, slik at systemer for dobbeltmodusinnmating lett kan implementeres ved hjelp av foreliggende oppfinnelse, og de andre refererte oppfinnelsene. Det vises videre til figur 23, hvor interaksjonsflaten og speilet også kan utstyres med slike mønstre, slik at automatisk styring, kalibrering og selvjusterende oppsett kan realiseres ved å benytte foreliggende oppfinnelse sammen med de andre refererte oppfinnelsene.

Det vises til figur 24, hvor eksempler på konfigurasjoner for å tilveiebringe en regulert bakgrunn for avbildningen og målingene ved bruk av en liten sprøytestøpt artikkel eller list 15 langs én eller flere kanter av koordinatplanet, som typisk er hvitt, sort eller har en reflekterende optisk egenskap 14 i det aktuelle nær infrarøde bølgelengdeområdet. I dette eksemplet tjener listen også som en pennhylle 15 under koordinatplanet.

Det vises til figur 25, hvor eksempler på konfigurasjoner av et speilarrangement med akseforskjøvne, hovedsakelig parabolske elementer ved koordinatplanet er vist, tilpasset å detektere objektets høyde over planet, mens ytterligere buede eller plane speilelementer 16 lenger utenfor de akseforskjøvne, hovedsakelig parabolske speilelementene er innrettet for å tilveiebringe rommessig informasjon om scenen når disse speilene blir observert fra kameraets betraktningspunkt. Dette utførelseseksemplet kan forbedre evnen til å følge og bestemme stillingen og gestene til objekter 2 også utenfor interaksjonsvolumet 1 ved å observere objektene 2 i speilene 16. I et mer avansert menneske-maskin-interaksjonsscenario, kan brukergestene og oppførselen analyseres ved å observere det direkte bilde og bildet i speilet 16 for å forutsi nye interaksjonshendelser. Den tredimensjonale posisjonen og stillingen til objektet 2 kan også estimeres.

Det vises til figur 26, hvor eksempler på utforminger av et speilarrangement med akseforskjøvne, hovedsakelig parabolske elementer ved koordinatplanet er vist for observasjon av objektets høyde i forhold til koordinatplanet, kombinert med andre belysningsanordninger 17 for å tilveiebringe belysning, slik at speilarrangementet 7 selv for observasjon av objektets høyde over koordinatplanet blir mindre eksponert for den direkte belysningen, for derved å redusere uønskede refleksjoner av de optiske grenseflatene og derved øke signal/støy-forholdet i målingene.

Det vises til figur 27, hvor et system er vist som omfatter en visningsflate 12, en samvirkende datamaskin 18 og anordningen 19 ifølge foreliggende oppfinnelse, og kommunikasjonsmidler 20 mellom den samvirkende datamaskinen og visningsanordningen 12 og kommunikasjonsmidlene 21 mellom den samvirkende datamaskinen og foreliggende anordning 19 ifølge foreliggende oppfinnelse. Kommunikasjonsmidlene 20 er eventuelt implementert som en trådløs dataforbindelse og/eller en direkte kabelforbundet forbindelse og/eller en optisk modulert forbindelse.

Det vises til figur 28, som viser et eksempel på en utforming ifølge en foretrukket utførelsesform av foreliggende oppfinnelse, hvor det direkte bilde og speilbilde blir innfanget ved hjelp av to samvirkende, atskilte bildesensorer, henholdsvis 23 og 24, med separat optikk for å optimalisere hvert bilde, for lav pris, miniatyrisering og enkelt oppsett, og forbundet gjennom for eksempel en høyhastighets serieforbindelse 22. Den stiplede linjen 10 indikerer at én eller flere av de forskjellige komponentene kan være omsluttet av et hus 10. En separat belysningsenhet 17 som vist på figur 26, kan også være innbefattet i dette huset 10. Komponentene kan imidlertid også være atskilt og modulære for ettermontering i en eksisterende projektorinstallasjon for å gjøre den interaktiv eller, for eksempel å oppgradere en pennbasert interaktiv whiteboard-tavle til å bli berøringsfølsom. Det blir fortrinnsvis brukt linseoptikk som er best egnet for de to separate synsvinklene, og så utførelse av de samme beregningene på bildeparet ved hjelp av beregningsenheten. Frem-skyndingsmåten som er beskrevet på figur 21B for foreliggende oppfinnelse, vil også gjelde med samme fremskyndingspotensial i slike dobbelte sensor/linse-konfigurasjoner.

Det vises til figur 29, hvor en redundant måte for å finne interaksjonsobjektet (2) og berørings- og svevetilstand i tilfelle med blokkering av det direkte kamerabildet, er inspirert av fremskyndingsprosedyren som er beskrevet på figur 21B, anvendt på for eksempel to speilarrangementer 7: speil M1 og speil M2, hvor en avstand mellom speilene M1 og M2 er en basislinje L som vist. Tilsvarende fremgangsmåtene på figur 21B, kan man finne azimuth a og høyde Z1 for objektet P ved å observere speilet M1 og azimuth (3 og høyden Z2 for et objekt P ved å observere speilet M2, og ved triangulering finne objektposisjonen (X,Y) på interaksjonsflaten 12 eller i interaksjonsvolumet 1.

De to speilene M1 og M2 er plassert med en avstand L fra hverandre, det vil si at basislinjen er L. Da er avstanden d fra basislinje med lengde L til målet P lik:

Avstanden kan også uttrykkes som:

X- og Y-koordinatene kan enkelt utledes ved hjelp av enkle trigonometriske beregninger.

Ved hjelp av koordinattransformasjon eller ved hjelp av en oppslagstabell, kan (x,y)-posisjonen til det tilsvarende sensorbildet finnes, og en detaljert bildeanalyse kan utføres lokalt i et område omkring (x,y)-posisjonen for å få en mer nøyaktig posisjonsbestemmelse som ved hjelp av koordinattransformasjon eller oppslagstabell kan transformeres til en tilsvarende nøyaktig (X,Y)-posisjon på interaksjonsflaten (12) eller interaksjonsvolumet (1) i koordinatsystemet.

Modifikasjoner av utførelsesformer av oppfinnelsen som er beskrevet i det foregående, er mulige uten å avvike fra rammen for foreliggende oppfinnelse slik den er definert i de vedføyde patentkravene. Uttrykk slik som «innbefattende», «omfattende», «inkorporering», «bestående av», «har», «er» brukt til å beskrive foreliggende oppfinnelse, er ment å skulle bli oppfattet på en ikke-ekskluderende måte, nemlig å gjøre det mulig for artikler, komponenter eller elementer som ikke er eksplisitt beskrevet, også å være til stede. Henvisning til entall skal også oppfattes å angå flertall. Tall som er innbefattet i parenteser i de vedføyde kravene, er ment å bidra til å forstå kravene og skal ikke på noen måte anses å begrense omfanget av disse patentkravene.

Claims (38)

1. Anordning for å bestemme en posisjon eller en stilling eller begge deler, av minst ett objekt (2), hvor objektet (2) er helt eller delvis lokalisert innenfor et interaksjonsvolum (1) avgrenset av en interaksjonsflate (12) og av et visst høydeområde i en høydedimensjon over interaksjonsflaten (12), omfattende - et kamera (5) - et speilarrangement (7) som omfatter én eller flere speilseksjoner; - en beregningsenhet for beregning av posisjon og stilling eller begge deler, for minst ett objekt (2) basert på informasjon fra blant annet kameraet (5); hvor kameraet (5) er anordnet for å innbefatte både volumet (1) og speilarrangementet (7) innenfor kameraets (5) synsfelt; - speilarrangementet (7), hvor den ene eller de flere speilseksjonene omfatter minst ett akseforskjøvet, konkavt, hovedsakelig parabolsk optisk speilelement ved planet til interaksjonsflaten (12), og hvor hvert akseforskjøvet, hovedsakelig parabolsk optisk speilelement er anordnet med sitt brennpunkt ved kameraets inngangspupill og sin akse parallell med flaten (12) slik at et bilde av volumet (1) blir produsert med konstant forstørrelse av høydedimensjonen for hvert hovedsakelig parabolsk optisk speilelement langs sin akse; slik at objektets (2) posisjon og/eller stilling blir bestemt av beregningsenheten basert på informasjon fra ett enkelt bilde fra kameraet (5).

2. Anordning ifølge krav 1, omfattende bare ett kamera (5).

3. Anordning ifølge krav 1 eller 2, hvor minst ett andre objekt er innenfor kameraets (5) synsfelt, men ikke nødvendigvis innenfor volumet (1), hvor stillingen til det minst ene andre objektet blir bestemt, slik at stillingen til det andre objektet kan tilveiebringe ytterligere informasjon.

4. Anordning ifølge et hvilket som helst av de foregående krav, hvor det akseforskjøvne, konkave, hovedsakelig parabolske optiske speilelementet omfatter et Fresnel-lignende speilelement for å tilveiebringe en akseforskjøvet, konkav, hovedsakelig parabolsk speilfunksjon.

5. Anordning ifølge et hvilket som helst av kravene 1 til 3, hvor det akseforskjøvne, konkave, hovedsakelig parabolske optiske speilelementet omfatter et speilelement og et linseelement anordnet i kombinasjon for å tilveiebringe den akseforskjøvne, hovedsakelig parabolske speilfunksjonen.

6. Anordning ifølge krav 5, hvor speilelementet er lineært.

7. Anordning ifølge krav 5 eller 6, hvor linseelementet er en Fresnel-linse.

8. Anordning ifølge et hvilket som helst av de foregående krav, hvor speilelementet omfatter en reflekterende overflate hvor refleksjon blir tilveiebragt enten ved hjelp av en film av et metallbelagt plastmateriale, sprøytestøpte deler av metallbelagt plastmateriale, ved hjelp av indre totalrefleksjon eller ved hjelp av indre totalrefleksjon kombinert med metallbelegning.

9. Anordning ifølge et hvilket som helst av de foregående krav, hvor speilelementet omfatter et lag av plastmateriale og/eller et spesialbelegg som selektivt stopper eller slipper gjennom lys innenfor gitte bølgelengdeområder, for at for eksempel speilelementet skal bli funksjonelt i det nære infrarøde lyset med reduserte refleksjoner av synlig lys.

10. Anordning ifølge et hvilket som helst av de foregående krav, hvor minst én speilseksjon er innrettet for å bli anordnet i en utkant av en periferi for interaksjonsflaten (12).

11. Anordning ifølge et hvilket som helst av de foregående krav, hvor minst ett speilelement er anordnet i en rett sprøytestøpt list langs en utkant av kanten til interaksjonsflaten (2).

12. Anordning ifølge et hvilket som helst av kravene 1 til 9, hvor det minst ene speilelementet er fordelt over en halvsirkulær form innrettet for å bli anordnet ved et vegg- eller bordfeste.

13. Anordning ifølge et hvilket som helst av de foregående krav, hvor speilarrangementet (7) omfatter et antall speilseksjoner, og speilseksjonene er anordnet for å tilveiebringe flere synsvinkler av objektet (2).

14. Anordning ifølge krav 13, hvor speilelementene er anordnet i en mosaikk-struktur for å redusere skyggedannelse og fremheve tilordningskarakteristikker fra speil til piksel.

15. Anordning ifølge et hvilket som helst av de foregående krav, omfattende et antall kameraer, hvor kameraene er anordnet for å tilveiebringe flere synsvinkler for det minst ene objektet (2) og i områder med direkte siktlinje fra kameraene for å unngå skyggelegging.

16. Anordning ifølge et hvilket som helst av de foregående krav, hvor minst ett kamera (5) er anordnet med en bifokal linse for å forstørre bildet av den minst ene delen av speilarrangementet (7).

17. Anordning ifølge et hvilket som helst av de foregående krav, hvor minst ett kamera omfatter minst ett optisk filter for å blokkere eller slippe gjennom lys ved en valgt bølgelengde slik at uønsket lys blir stoppet mens lys i bølgelengdeområdet til belysningen blir tillatt å passere.

18. Anordning ifølge et hvilket som helst av de foregående krav, hvor minst ett kamera omfatter minst ett valgbart optisk filter for selektivt å blokkere for eller slippe gjennom lys ved forskjellige bølgelengdeområder slik at, for eksempel, lys med samme bølgelengde som lyskilden eller synlig lys blir blokkert eller sluppet gjennom.

19. Anordning ifølge et hvilket som helst av de foregående krav, omfattende et belysningsarrangement (6) anordnet for å tilveiebringe belysning av i det minste deler av interaksjonsvolumet (1) med synlig og/eller nær infrarødt lys, direkte og/eller indirekte via speilarrangementet (7).

20. Anordning ifølge krav 19, hvor belysningsarrangementet (6) blir regulert for å slå lyset på og av og/eller for å tilveiebringe blinking innenfor en aktiv eksponerings-periode for kameraet (5) for å fryse bevegelser av det ene eller de flere objektene (2).

21. Anordning ifølge krav 19 eller 20, hvor belysningsarrangementet (6) er anordnet i nærheten av kameraets (5) inngangspupill, nemlig nær brennpunktet til de akseforskjøvne, hovedsakelig parabolske elementene og direkte belysning gjennom speilarrangementet (7) slik at belysningen blir spredt i interaksjonsvolumet (1) med stråler som er hovedsakelig parallelle med interaksjonsflaten (12).

22. Anordning ifølge et hvilket som helst av de foregående krav 19 til 21, videre omfattende et separat, annet speilarrangement anordnet for å bidra til å belyse interaksjonsvolumet (1) slik at speilarrangementet (7) for observasjon blir mindre eksponert for belysning for derved å øke et signal/støy-forhold for målingene som utføres ved å bruke anordningene.

23. Anordning ifølge et hvilket som helst av de foregående krav 19 til 21, videre omfattende et separat, annet belysningsarrangement (17) anordnet for å bidra til å belyse interaksjonsvolumet (1), for derved å øke signal/støy-forhold til målinger utført ved bruk av anordningen.

24. Anordning ifølge et hvilket som helst av de foregående krav 19 til 23, hvor belysningsarrangementet (6) er innrettet for å tilveiebringe direkte belysning og for indirekte belysning gjennom et speilarrangement (7), og hvor den direkte og indirekte belysningen blir regulert separat for å tilveiebringe deteksjon av det ene eller de flere objektene (2).

25. Anordning ifølge et hvilket som helst av de foregående krav 19 til 24, hvor belysningssystemet (6) er innrettet for å endre et utseende av objektet (2), for eksempel ved å projisere en farge og/eller blinkende belysning som interaksjon tilbakekoblet til en bruker fra en datamaskin.

26. Anordning ifølge et hvilket som helst av de foregående krav, videre omfattende ytterligere buede eller plane speilelementer (18) innrettet for å tilveiebringe rommessig informasjon når de observeres fra kameraet (5).

27. Anordning ifølge et hvilket som helst av de foregående krav, omfattende to speilseksjoner anordnet i en avstand for å gjøre det mulig å finne posisjonen eller stillingen eller begge deler for et objekt ved triangulering, slik at posisjonen eller stillingen eller begge også kan bestemmes i et tilfelle med blokkeringer i det direkte kamerasynsfeltet til objektet.

28. Anordning ifølge et hvilket som helst av de foregående krav, hvor linseoptikk er atskilt for direkte syn og syn gjennom de akseforskjøvne, hovedsakelig parabolske speilelementene ved å benytte én eller flere separate sensorer.

29. Interaksjonssystem for å tilveiebringe interaktiv bruk av et objekt i nærheten av en presentasjonsflate, hvor interaksjonssystemet omfatter en anordning for å bestemme posisjon og/eller stilling i henhold til ett eller flere av de foregående krav, hvor interaksjonssystemet videre omfatter presentasjonsanordninger anordnet for å presentere bilder ved presentasjonsflaten.

30. System ifølge krav 29, omfattende en frontprojeksjonsskjerm (12) hvor kameraet (5), lyskilden (6), projektoren (3) er anordnet på samme side av skjermen (12) som interaksjonsvolumet (1).

31. System ifølge krav 29, omfattende en semitransparent bakprojeksjonsskjerm (12) hvor kameraet (5), lyskilden (6), projektoren (3) er anordnet på motsatt side av skjermen (12) i forhold til interaksjonsvolumet (1).

32. System ifølge krav 29, omfattende en semitransparent flatskjerm (12), for eksempel OLED, hvor kameraet (5), lyskilden (6) er anordnet på motsatt side av skjermen (12) i forhold til interaksjonsvolumet (1).

33. System ifølge et hvilket som helst av kravene 29 til 32, hvor interaksjonsflaten (12) er anordnet ved en vegg, et bord eller en håndholdt anordning.

34. System ifølge et hvilket som helst av kravene 29 til 30, hvor interaksjonssystemet omfatter en festeanordning (4) for projektoren (3), og hvor minst ett speilarrangement (7) er anordnet i forbindelse med festeanordningen (4) slik at nesten optimal posisjonsbestemmelse av forskjellige komponenter i systemet blir forenklet.

35. Fremgangsmåte for å bestemme en posisjon eller en stilling eller begge deler, for minst ett objekt (2), hvor objektet (2) helt eller delvis er plassert inne i et interaksjonsvolum (1) avgrenset av en interaksjonsflate (12) og av et visst høydeområde i høydedimensjonen over interaksjonsflaten (12), omfattende følgende trinn: - å reflektere stråling fra et objekt inne i et volum i nærheten av eller inne i interaksjonsvolumet ved å bruke et speilarrangement (7) som omfatter minst ett akse- forskjøvet, konkavt og hovedsakelig parabolsk optisk speilelement ved planet til interaksjonsflaten (12), og hvor hvert akseforskjøvet, hovedsakelig parabolsk optisk speilelement er anordnet med sitt brennpunkt ved kameraets inngangspupill og med sin akse parallell med overflaten (12) slik at et bilde av volumet (1) blir frembragt med konstant forsterkning av høydedimensjonen for hvert hovedsakelig parabolsk optisk speilelement langs dets akse; - å registrere reflektert stråling ved hjelp av et kamera (5) anordnet for å innbefatte både volumet (1) og speilarrangementet (7) innenfor kameraets (5) synsfelt; - å overføre informasjon fra kameraet til beregningsmidler; og - å beregne posisjon og stilling eller begge deler, for minst ett objekt (2) basert på informasjon fra blant annet kameraet (5).

36. Fremgangsmåte for kalibrering og innregulering av høydedimensjonen over en interaksjonsflate for nøyaktig berørings- og sveveinformasjon, omfattende fremgangsmåten for bestemmelse av posisjonen eller stillingen eller begge deler ifølge krav 35, videre omfattende: - å plassere et semitransparent, tredimensjonalt mønstertestobjekt på interaksjonsflaten; - å lysmarkere interaksjonsflaten i sirkulære områder ett etter ett; - å observere testobjektet direkte og sett fra siden gjennom speilarrangementet ved hjelp av kameraet; - å identifisere mønstret til testobjektet; - å kalibrere og tilordne fra koordinatplanets koordinater til interaksjonsflate-koordinater og/eller kalibrering av høydemålingen; og - å bestemme terskler for berøring og sveving.

37. Fremgangsmåte for å finne et objekts avstand til en overflate, tredimensjonale koordinater og berørings- og svevetilstand, hvor objektet kan være en finger, omfattende fremgangsmåten for å bestemme posisjonen eller stillingen eller begge deler, ifølge krav 35, videre omfattende: - å tilveiebringe en standard bildeinnsamling og egenskapsekstrahering; - å finne romvinkler som en fingertupp avskjærer ved kameraets inngangspupill i frontbilde og i speilbilde; - å finne fingerens avstand til overflaten ved å bruke en direkte lineær modell hvis speilet er en parabol eller ellers en tilnærmet parabolsk modell; - å finne fingerens tredimensjonale koordinater basert på romvinklene og avstanden til flaten; og - å finne sveve/berørings-tilstanden til fingeren ved å kombinere avstand til flaten med terskelverdier.

38. Fremgangsmåte for å øke hastigheten til en beregning og et søk etter sporingsobjekter i et interaksjonsvolum omfattende fremgangsmåten for å bestemme posisjonen eller stillingen eller begge deler ifølge krav 35, videre omfattende: - å utføre en standard bildeinnsamling av et bilde og egenskapsekstrahering innenfor delbilde som innbefatter speilarrangementet; - å finne objektets avstand til flaten og den effektive observasjonsvinkelen til det parabolske speilelementet langs interaksjonsvolumet (1); - å finne en rett linje i det tredimensjonale interaksjonsvolumet (1) som representerer alle de mulige (X,Y)-posisjonene til objektet (2); - å finne en tilsvarende todimensjonal bane i kameraets pikselgruppe, for eksempel via en oppslagstabell; - å traversere denne banen med en viss banebredde med en kantdetektor og finne et kandidatobjekt i gruppen (X,Y)-posisjon; - å utføre detaljert kantdeteksjon eller mønstertilpasning for å finne en nøyaktig gruppeposisjon; - å finne en tilsvarende X,Y-posisjon, når Z er kjent, og - å rapportere én eller flere av X,Y,Z og berørings- og sveveinformasjon til en datamaskin.