NO20130843A1 - Kamerabasert, multitouch interaksjons- og belysningsapparat samt system og fremgangsmåte - Google Patents

Kamerabasert, multitouch interaksjons- og belysningsapparat samt system og fremgangsmåte Download PDF

Info

Publication number
NO20130843A1
NO20130843A1 NO20130843A NO20130843A NO20130843A1 NO 20130843 A1 NO20130843 A1 NO 20130843A1 NO 20130843 A NO20130843 A NO 20130843A NO 20130843 A NO20130843 A NO 20130843A NO 20130843 A1 NO20130843 A1 NO 20130843A1
Authority
NO
Norway
Prior art keywords
fan
interaction surface
light
light beam
interaction
Prior art date
Application number
NO20130843A
Other languages
English (en)
Inventor
Tormod Njoelstad
Oeystein Damhaug
Hallvard Naess
Original Assignee
Epson Norway Res And Dev As
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Epson Norway Res And Dev As filed Critical Epson Norway Res And Dev As
Publication of NO20130843A1 publication Critical patent/NO20130843A1/no

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304Detection arrangements using opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0421Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means by interrupting or reflecting a light beam, e.g. optical touch-screen
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/042Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means
    • G06F3/0425Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by opto-electronic means using a single imaging device like a video camera for tracking the absolute position of a single or a plurality of objects with respect to an imaged reference surface, e.g. video camera imaging a display or a projection screen, a table or a wall surface, on which a computer generated image is displayed or projected

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Position Input By Displaying (AREA)
  • User Interface Of Digital Computer (AREA)
  • Drawing Aids And Blackboards (AREA)
  • Length Measuring Devices By Optical Means (AREA)

Abstract

En fremgangsmåte, et system og anordning er tilveiebragt for styring og interaksjon innenfor et interaksjonsvolum (7) og/eller en flate (16) for en datamaskin, for eksempel en dataskjerm, en interaktiv whiteboard-tavle, en horisontal interaktiv overflate, et video/web-konferansesystem, en bakprojeksjonsskjerm, en digital informasjonsflate eller en fjernsynsskjerm, for å tilveiebringe peking, bevegelse, utvelgelse, lett banking, gestikulering, skalering, tegning, skriving og utvisking ved å bruke ett eller flere objekter (25) slik som fingre, hender og andre objekter, for eksempel penner, børster, markeringspenner og også mer spesialiserte verktøy. Fremgangsmåten, anordningen og systemet blir fortrinnsvis anvendt sammen med, eller også integrert i, dataprojektorer (3) av alle typer og deres fester/stativer (4), og brukt sammen med flatskjermer (LCD, plasma, OLED, nærprojeksjonsskjermer osv.) for å gjøre slike visningssystemer interaktive. Anordningen innbefatter et kamera (1) som dekker interaksjonsflaten (16) fra enten en meget kort avstand eller fra en større avstand for å bestemme de laterale posisjonene (X, Y) og også innfange stillingen av én eller flere fingre, hender eller andre interaksjonsobjekter, som fortrinnsvis innbefatter bestemmelse av "berøring" og "sveving".

Description

Teknisk bakgrunn
Foreliggende oppfinnelse vedrører kamerabasert interaktive flerberørings-systemer, for eksempel utnyttelse av kamerabaserte innmatingsanordninger og synbar og/eller infrarød belysning for sporing av objekter innenfor et areal/rom, for eksempel for sporing av én eller flere fingre eller en penn for menneskelig interaksjon med en datamaskin; hvor systemet gjør det mulig å bestemme en todimensjonal posisjon innenfor et areal og en høyde over arealflaten for å tilveiebringe aktuelle todimensjonale innmatingskoordinater og for nøyaktig å skjelne mellom aktuelle interaksjonstilstander slik som «inaktiv» (ingen sporing), «sveving» (sporing mens det ikke er noen berøring, noen ganger også merket «i området») og «berø-ring». Foreliggende oppfinnelse angår også multimodale innmatingsanordninger og grensesnitt som for eksempel muliggjør både penn- og finger-berøringsinnmating og som også er opererbar for å kunne behandle flere objekter samtidig, for eksempel en flerberørings datainnmatingsanordning. Oppfinnelsen angår dessuten fremgangsmåter for innmating av gester ved å bruke tredimensjonalt baserte innmatingsanordninger og derved innfange menneskelig stilling av for eksempel en hånd eller en finger og sekvenser av disse kan gjenkjennes som gestkommandoer og/eller posi-sjons- og orienteringsinnmatinger for tredimensjonal styring.
Bakgrunn for oppfinnelsen
Kamerabasert sporing av objekter for menneskelig interaksjon med datamaskiner, spesielt sporing av hender og fingre, har tiltrukket seg vitenskapelig, industriell og kommersiell interesse i flere tiår. Oversikter av hva som er oppnådd på dette beregningsmessig intensive området, er gitt av Pavlovic m.fl., IEEE Trans. Pattern Analysis and Machine Intelligence, vol. 19, no. 7, sidene 677- 695, 1997, og av Zhou m.fl., IEEE Int. Symposium on Mixed and Augmented Reality, sidene 193-202, 2008. I mange rapporterte teknikker, blir objektene observert fra flere forskjellige betraktningspunkter ved hjelp av ett eller flere kameraer for å redusere ømfintligheten for okklusjoner og for robust sporing og gesttolkning.
For enkeltkamera-basert sporing av fingerberøring og finger- eller håndgester, blir trekk slik som skygger, konturer, tekstur, silhuetter og bildegradienter for disse objektene, og også deres speilbilder reflektert fra en blank visningsflate, ekstrahert og benyttet til å oppdatere forskjellige modellbaserte sporingssystemer for å beregne fingerens eller håndens stilling og for å detektere for eksempel fingerberøring i sann tid.
Som et eksempel på smart ekstrahering av trekk, kan det vises til US-patentsøknad nummer US2010/0066675A1 som beskriver et berøringsskjermsystem med et enkelt kamera og egenskapsekstrahering basert på en observasjon at en skygge fra en finger belyst av en sideveis lyskilde til slutt blir skjult av fingeren når den berører skjermen, slik at skyggen ligner en finger når den ikke berører flaten, mens skyggen blir betydelig innsnevret når fingeren berører overflaten slik at berøring kan bestemmes. Søknaden innbefatter imidlertid et selvstendig krav som er foregrepet av en offentlig tilgjengelig, vitenskapelig artikkel fra 2005 av oppfinneren Andrew D. Wilson (ACM Proe. UIST 2005, sidene 83-92).
Tidligere publiserte patentsøknader med nummer WO9940562 (A1), US006100538A og US2010188370 (A1) beskriver i prinsippet objektsporings-systemer som benytter fingerberøring- eller penninnmating hvor minst to kamera-betraktningspunkter er anordnet ved en periferi av et koordinatplan for å bestemme koordinater for et objekt, for eksempel en pekefinger, ved hjelp av triangulering.
En publisert internasjonal PCT-patentsøknad nummer WO9940562 (A1) beskriver et system for å bestemme penn- og fingerberøring foran en dataskjerm ved å bruke et enkelt kamera og ved hjelp av et periskoplignende optisk system bestående av ett eller flere plane speil, registrering av to bilder av skjermen ved å se sideveis inn i et volum umiddelbart foran skjermen for å bestemme pennens eller fingerens koordinater og avstand til skjermen.
En publisert US patentsøknad nummer US006100538A beskriver en optisk digitaliseringsanordning for å bestemme en posisjon av et pekerobjekt som projiserer lys og som er anordnet på et koordinatplan, og en detektor anordnet på en periferi av koordinatplanet. Et par lineære bildesensorer har fortrinnsvis et synsfelt som dekker koordinatplanet for å funksjonere som en detektor, og en kollimator er anordnet for å begrense høyden av synsfeltet til detektoren. Detektoren er innrettet for å motta bare en parallell komponent av lyset som blir projisert fra pekerobjektet hovedsakelig parallelt med koordinatplanet, og en avskjerming er anordnet for å blokkere lysstøy, det vil si annet lys enn det projiserte lyset, fra å trenge inn i det begrensede synsfeltet til detektoren. En prosessor er tilveiebragt for å beregne de koordinatene som representerer posisjonen til pekerobjektet.
En publisert US-patentsøknad nummer US2010188370 (A1) beskriver et kamerabasert berøringssystem som innbefatter minst to kameraer med over-lappende synsfelter plassert langs periferien og typisk i hjørnene av en berørings-flate for å detektere en posisjon av en peker ved hjelp av triangulering, og for å detektere pekerberøring og pekersveving over berøringsflaten.
Et godkjent kinesisk patent nummer CN201331752 beskriver et flerpunkts berøringssystem for en transparent visningsanordning. Systemet anvender en belysning av et projeksjonslysplan fra baksiden med infrarødt lys og opererer ved å observere belysningen av fingertupper ved hjelp av et infrarødt sensitivt CCD-kamera fra baksiden.
Et innvilget europeisk patent nummer EP1336172 beskriver et innmatings-apparat og en fremgangsmåte for å detektere og lokalisere interaksjoner av bruker-objekter med en virtuell innmatingsanordning. Apparatet er innrettet for å operere med håndholdte anordninger basert på deteksjon av objekter som trenger inn i et lysplan.
I en publisert koreansk patentsøknad nummer KR2010 0109420A (Dongseo Technology Headquarters), er det beskrevet et interaktivt visningssystem for et flerberøringsunderlag for fritt å utføre interaksjon med innhold. Systemet er anordnet for å tilveiebringe et interaktivt areal på en skjerm for å lette en interaksjonsfunksjon med innhold som presenteres ved interaksjonsarealet. Systemet omfatter dessuten en infrarød (IR) lysemitterende diode-søylegruppe (LED-gruppe) for å generere interaktive lag belyst av IR-stråling. Et IR-kamera blir anvendt i systemet til å avbilde reflektert IR-stråling fra et menneskelig legeme eller et objekt som berører det interaktive laget. En server som innbefatter beregningsutstyr blir anvendt til å beregne koordinatverdier for interaksjonsposisjonen til det menneskelige legemet eller objektet fra bilder generert av IR-kameraet.
I en publisert internasjonal PCT-patentsøknad nummer WO 02/054169A1, er det beskrevet en datainnmatingsanordning og en tilsvarende fremgangsmåte. Anordningen innbefatter en lyskilde som er operativ til å belyse minst ett inngrepsplan ved å dirigere lys langs det minst ene inngrepsplanet. Anordningen innbefatter dessuten en todimensjonal avbildningssensor som betrakter minst ett inngrepsplan fra en posisjon utenfor det minst ene inngrepsplanet for å avføle lys fra lyskilden spredt av inngrep fra et datainnføringsobjekt, for eksempel en brukers finger, med det minst ene inngrepsplanet. Anordningen innbefatter dessuten en datainnførings-prosessor for å motta en utgang fra den todimensjonale avbildningssensoren og tilveiebringe en datainnmating til nyttekretser.
I en publisert internasjonal PCT-patentsøknad nummer WO 2004/072843A1, er det beskrevet en berøringsskjerm som bruker lyskilder ved én eller flere kanter av skjermen. Den ene eller de flere lyskildene dirigerer lys over en overflate av skjermen. Det er også innbefattet to kameraer som har elektroniske utganger, hvor de to kameraene er plassert ved en omkrets av skjermen for å motta lys fra lyskildene. En dataprosessor er også innbefattet for å motta utgangene fra de to kameraene og er opererbar for å eksekvere én eller flere programvareprodukter for å utføre trianguleringsberegninger for å bestemme én eller flere posisjoner for ett eller flere objekter i nærheten av skjermen. Detektering av forekomsten av et objekt innebærer å detektere forekomst eller fravær ved de to kameraene av direkte lys som skyldes objektet, ved å bruke overflaten av skjermen som et speil. Kameraene blir anvendt til å detektere forekomsten eller fraværet av reflektert lys som skyldes objektet ved overflaten. Lyskildene er fortrinnsvis modulert for å tilveiebringe stråling ved de to kameraene i et følsomt strålingsbåndområde for de to kameraene.
Generelt er det viktig at en brukers intensjoner og kommandoer blir korrekt gjenkjent i mann-maskin-interaksjonssystemer. En nøyaktighet av objektposisjons-detektering i forhold til X og Y-koordinater i et anvendt koordinatplan kan, men behøver ikke, å være viktig avhengig av omstendighetene, nemlig avhengig av anvendelsen. Fingerberøringssystemer er følgelig attraktive der hvor for eksempel moderat nøyaktighet er nødvendig for å bevege eller velge grafiske objekter eller aksessering av menyer, mens en spiss eller en penn blir foretrukket når en høyeste nøyaktighet er nødvendig, for eksempel i anvendelser i forbindelse med finskriving eller tegning eller håndtering av detaljer og objekter i CAD-programmer. I et finger-basert system, kan derfor egenskapsekstrahering og robust heuristikk for bestemmelse av fingerens koordinater være tilstrekkelig, basert på et todimensjonalt bilde fra et enkelt kamera.
For alle typer anvendelser, er imidlertid høy nøyaktighet relatert til deteksjon av finger- eller pennberøring av ytterste viktighet og må aldri svikte, fordi brukeren da kan miste styring over anvendelsen. En høy og konstant deteksjonskvalitet av berøringstilstanden er derfor påkrevet i enhver posisjon i et koordinatplan som blir benyttet. Deteksjonsmetoden bør derfor videre ikke å være ømfintlig for variasjoner i fingerstørrelse, hudfarge, lystilstander i omgivelsene, skjermlys osv., og deteksjonen bør være hurtig og uniform over koordinatplanet og uten at det inntreffer noen brukeravhengig oppførsels- eller forsinkelsesstraff.
Det er en stor samtidsinteresse for interaksjonssystemer som benytter penn, berøring eller begge deler (dobbeltmodussystemer) for utdannelse, samarbeid og møter. Flere nye interaksjonsplattformer muliggjør også enkel penn- eller finger-geststyring og/eller til om med håndgest-basert interaksjon. Det er spesielt stor global interesse for interaktive brett og whiteboard-tavler for bruk i undervisning både i normale klasserom og i store foredragssaler. Slike whiteboard-tavler blir også stadig mer vanlig i møterom, videokonferanserom og kollokvierom. Bilder på en interaktiv whiteboard-tavles koordinatplan kan genereres som et projisert bilde fra en kortdistanse- eller langdistanse-dataprojektor eller av en flatskjerm; hvor skjermen for eksempel er implementert som en LCD-anordning, en plasmaskjerm, OLED-anordning eller et bakprojeksjonssystem. Det er viktig at innmatingsanordningen for berøring og/eller penn kan brukes sammen med alle typer visningsteknologier uten å redusere bildekvaliteten eller slite ut eksisterende utstyr. Det er videre viktig at innmatingsteknologien lett kan tilpasses forskjellige skjermer, projektorer og visnings-enheter med lav pris og små anstrengelser.
Nye interaktive whiteboard-tavler er vanligvis utstyrt med kortdistanse-projektorer, for eksempel projektorer med ultravidvinkel-linser plassert i kort avstand over en tilhørende skjerm. En slik bruksmåte resulterer i at brukeren blir mindre forstyrret av lys inn i sine øyne og vil ha en tendens til å kaste mindre skygger på skjermen, og projektoren kan monteres direkte på en vegg sammen med tavlen. En ideell innmatingsanordning for penn og berøring for slike kortdistanse-systemer bør derfor være innebygd i eller festet sammen med veggprojektoren, eller festet til projektorens veggfeste for å gjøre monteringen enkel og robust.
I foredragssaler er det ofte nødvendig med meget lange interaktive whiteboard-tavler og interaksjonsrom, og disse interaksjonsflatene bør helst tilveiebringe berørings-, penn- og geststyring. På skjermer med stort format, blir pekestokker og laserpekere ofte brukt for å tiltrekke seg publikums oppmerksomhet. Den foretrukne innmatingsteknologien bør kunne tilpasses alle slike forskjellige behov, nemlig slik at den også kan akseptere pekestokker og lasere som brukerinnmatingsverktøy, og være tolerante overfor og kunne tilpasses forskjellige visningsformater.
Flatskjermteknologier kan dessuten måtte behøve berørings- og/eller pennoperasjon, enkel penn- og/eller berøringsgestinteraksjon, og endelig håndgest-kontroll. Berøringsfølsomme filmer lagt på en flatskjerm kan ikke detektere sveving eller gester i luften. Rene elektromagnetiske avfølingssystemer bak en flatskjerm kan ikke detektere fingerberøring eller fingergester, bare pennoperasjon er mulig. Noen typer flatskjermteknologier, spesielt OLED-skjermer, kan imidlertid være transparente, og dermed kan kamerabaserte teknologier brukes til geststyring gjennom skjermen. Hvis dobbeltmodus-innmatingssystemer som innbefatter sveving og gester fortsetter å bli stadig viktigere og standardisert for å tilveiebringe et effektivt og naturlig brukergrensesnitt, vil optisk baserte innmatingssystemer bli foretrukket også for interaktive flatskjermer i stedet for kapasitive eller resistive filmer eller elektromagnetisk baserte løsninger. Den foretrukne innmatingsteknologien bør derfor være optisk basert og bør være egnet for å bli tilpasset til både konvensjonelle flatskjermer (LCD, plasma, LED) og transparente flatskjermer slik som OLED og bakprojeksjonsskjermer.
Innmatingsanordninger bør ikke være ømfintlige for lyskilder slik som dagslys, rombelysning, lys fra projektoren eller visningsskjermen osv. Videre bør innmatingsanordningene ikke være følsomme for nær infrarød stråling fra sollys, kunstig lys eller fjernkontrollenheter eller lignende som benytter nær infrarøde lysemitterende dioder til kommunikasjon. Innmatingsanordningene bør dessuten videre oppvise høy oppdateringshastighet av koordinater og tilveiebringe lav latens for å oppnå best mulig brukeropplevelse.
Innmatingsanordninger bør fortrinnsvis kunne tilpasses eksisterende infrastruktur, for eksempel for å oppgradere en eksisterende pennbasert interaktiv whiteboard-modell til også å tillate fingerberørings- og håndgeststyring, eller for å oppgradere et møte- eller undervisningsrom som allerede er utstyrt med en projektor eller flatskjerm, eller for å bli interaktiv ved hjelp av en enkel installasjon av selve innmatingsanordningen.
I noen scenarier, kan innmatingsteknologi også være nyttig uten interaktiv tilbakekobling på selve skriveflaten, foreksempel ved å innfange nøyaktige strøk fra kritt og en svamp på en tradisjonell sort tavle og gjenkjenne håndgester for styring av en datamaskin; eller ved å innfange normal bruk av penn og papir (innbefattende utstrykninger) og enkle gester for styring av datamaskinen; eller ved å innfange brukerens informasjon ved utfylling av et papirformular eller spørreskjema innbefattende brukerens signatur, mens resultatet blir lagret i en styringsenhet og innmatingen eller en tolkning av innmatingen blir vist ved hjelp av den normale data-skjermen eller ved hjelp av en tilkoblet visningsanordning eller en projektor for referanse for brukeren og publikum. Dette betyr at innmatingsanordningen bør være mulig å bruke alene eller atskilt fra kostbar visningsteknologi i tilfeller hvor denne type infrastruktur ikke er tilgjengelig eller nødvendig.
På samme måte som interaktive whiteboard-tavler erstatter tradisjonelle kritt og sorte tavler i undervisningsetablissementer, dukker det opp nye interaksjonsrom på andre arenaer. Interaktive vertikale og horisontale flerbrukerflater blir innført i møterom og styringsrom, museer og utstillinger. Dessuten blir interaktive rom innbefattende interaktive gjestebord etablert i nye kommersielle lokaler slik som barer, kasinoer, kafeer og butikker, for å gjøre det mulig for gjester å velge fra en meny, bestille og betale så vel som å motta underholdning, for eksempel ved å spille data-spill, søke på internett eller lese nyhetsreportasjer.
Et problem som samtidig oppstår, er imidlertid at innmatingsanordninger for overvåkning av berøring og/eller svevebevegelser i et interaksjonsrom ikke er tilstrekkelig nøyaktig og utviklet til å ta hensyn til behovene for mange informasjons- innmatings- og visningssystemer. Foreliggende oppfinnelse er tenkt, i det minste delvis, å løse noen av de nåværende problemene.
Oppsummering av oppfinnelsen
Det er et formål med foreliggende oppfinnelse å tilveiebringe systemer som innbefatter interaktive rom for menneskelig interaksjon med en datamaskin, som muliggjør flere samtidige brukere, muliggjør dobbeltmodusoperasjon, nemlig fler-fingerberøringsinnmating og flerpenninnmating samtidig, så vel som finger- og håndgestinnmating, og innfangning av sekvenser av menneskelig stilling og gestkommandoer for avansert multimodal menneske-datamaskin-interaksjon.
Det er videre et formål med foreliggende oppfinnelse å tilveiebringe dobbeltmodus flerberøringsinnmatingssystemer som kan brukes sammen med, eller innebygd i, veggmonterte og bordmonterte dataprojektorer og flatskjermer for å gjøre slike systemer interaktive, og også for å oppgradere eksisterende pennbaserte interaktive whiteboard-tavler til å innbefatte flerberøringsinnmating.
Ifølge et første aspekt ved foreliggende oppfinnelse, er det tilveiebragt et system som definert i det vedføyde krav 1: hvor det er tilveiebragt et kamerabasert system for flerberøringsinteraksjon for å bestemme en posisjon og/eller en stilling for minst ett objekt foran en interaksjonsflate, innbefattende: et belysningsarrangement for å generere én eller flere plane, vifteformede lysstrålebunter av synlig og/eller nær infrarød lysstråling;
et kameraarrangement for å avføle interaksjonsflaten innenfor kameraets synsfelt for å generere tilsvarende signaler;
en beregningsenhet for å beregne posisjonen og/eller stillingen til det minst ene objektet som avskjærer den ene eller de flere plane, viftelignende lysstrålebuntene basert på de signalene som leveres fra kameraet,
karakterisert vedat
den ene eller de flere vifteformede lysstrålebuntene under drift er formet slik at deres plan er hovedsakelig parallelle med interaksjonsflaten; og
den ene eller de flere vifteformede lysstrålebuntene er fokusert i en retning som er hovedsakelig perpendikulær til et plan for den interaktive flaten slik at den ene eller de flere vifteformede strålebuntene har en hovedsakelig konstant tykkelse i forhold til en ortogonal til planet for interaksjonsflate for å forbedre lysintensiteten og øke nøyaktigheten av posisjonsbestemmelse av det minst ene objektet frembragt ved hjelp av systemet.
Systemet er fordelaktig ved at den ene eller de flere vifteformede strålebuntene gjør det mulig å oppnå en mer nøyaktig bestemmelse av en posisjon for det ene eller de flere objektene i forhold til interaksjonsflaten.
Systemet er fortrinnsvis implementert slik at én eller flere vifteformede lysstrålebunter belyser interaksjonsflaten slik at en bestemmelse av berøring av objektet med interaksjonsflaten blir fremhevet.
Systemet er fortrinnsvis implementert for å være opererbart til å detektere en svevende posisjon av det minst ene objektet i forhold til interaksjonsflaten.
Systemet er fortrinnsvis implementert for å være opererbart til å generere et antall vifteformede lysstrålebunter der hver vifteformet lysstrålebunt er anordnet for å belyse et tilsvarende rommessig område i nærheten av interaksjonsflaten, slik at de tilsvarende rommessige områdene for de vifteformede lysstrålebuntene sørger for sammenhengende belysning av et fullstendig område i nærheten av interaksjonsflaten.
Systemet er fortrinnsvis implementert slik at den ene eller de flere vifteformede lysstrålebuntene under drift er anordnet for å belyse et volum i nærheten av selve interaksjonsflaten, men ikke interaksjonsflaten selv.
Systemet er fortrinnsvis implementert slik at belysningsarrangementet innbefatter lyskilder som er i stand til å bli selektivt modulert i intensitet for å forbedre en bestemmelse av berøring mellom det ene og de flere objektene og interaksjonsflaten, en sveving og/eller et svevenivå for det ene eller de flere objektene i forhold til interaksjonsflaten. Systemet er helst implementert slik at lyskildene er opererbare for å bli selektivt slått på og av. Helst er systemet implementert slik at lyskildene er opererbare i blinkende modus innenfor en aktiv avfølingsperiode for kameraarrangementet for effektivt å fryse bevegelser av det ene eller de flere objektene.
Systemet er fortrinnsvis implementert slik at kameraarrangementet innbefatter ett eller flere optiske filtre for selektivt å blokkere for eller slippe gjennom stråling som skal mottas av sensorer eller kameraarrangementet avhengig av en bølge-lengde for strålingen. Det ene eller de flere filtrene er helst innrettet for å tillate lys avskåret av det ene eller de flere objektene med samme bølgelengdeområde som lys utsendt fra belysningsarrangementet til å passere gjennom til kamerasensorene. Det ene eller de flere optiske filtrene er aller helst innrettet slik at bare synlig lys passerer gjennom for å innfange bildene fra en projektor eller en flatskjerm ved interaksjonsflaten.
Systemet er fortrinnsvis implementert slik at belysningsarrangementet innbefatter et antall lyskilder for generering av den ene eller de flere vifteformede lysstrålebuntene til å innbefatte stråling ved nær infrarøde bølgelengder, og hvor kameraarrangementet innbefatter ett eller flere optiske filtre som blokkerer synlig strålingsbølgelengder og slipper gjennom nær infrarøde strålingsbølgelengderfor å redusere systemets følsomhet for andre lyskilder, innbefattende én eller flere av: dagslys, rombelysning, lys fra projektorer og skjermlys.
Systemet er fortrinnsvis implementert slik at det enkelt kan integreres i nytt utstyr eller ettermonteres i eksisterende utstyr og er innrettet for å gjøre slikt utstyr interaktivt.
Systemet er fortrinnsvis implementert som et front- eller bakprojeksjonsapparat.
Systemet er fortrinnsvis innrettet for å bli operativt montert på eller integrert i projektorveggfester eller skjermfester innbefattende minst én av: LCD, OLED, LED,
CRT.
Systemet er fortrinnsvis implementert slik at belysningsarrangementet innbefatter én eller flere omhyllinger hvis respektive lengder for deres tilhørende optiske belysningskomponenter har en tilstrekkelig lang lengde for å gi forskjellige lag av fokuserte, vifteformede lysstrålebunter tilstrekkelig tynne til å øke oppløsningen og nøyaktigheten til systemet for berøring og gester i Z-retningen av det ene eller de flere objektene i forhold til interaksjonsflaten.
Systemet er fortrinnsvis implementert slik at belysningsarrangementet innbefatter én eller flere lysemitterende laserdioder som er innrettet for å utsende nær infrarød stråling for ytterligere å redusere tykkelsen av den ene eller de flere vifteformede lysstrålebuntene i en retning ortogonalt til et plan for interaksjonsplanet.
Systemet er fortrinnsvis implementert slik at kameraarrangementet er implementert ved å bruke CCD- eller CMOS-pikselsensorer, og belysningsarrangementet er implementert ved å bruke nær infrarøde LED-er og tilhørende optiske komponenter tilpasset for å overføre og/eller reflektere nær infrarød stråling.
Systemet er fortrinnsvis implementert slik at belysningsarrangementet innbefatter: en konveks linse for å tilveiebringe fokusering av stråling som sendes gjennom denne;
et antall lyskilder hvor lyskildene er anordnet hovedsakelig spredt langs en del av en omkrets for en sirkel som har et sentrum i en sentral akse for linsen for å sikre konsentrert strålingsintensitet i sektorene til den fokuserte, vifteformede lysstrålebunten og også for å bidra til å spre tilhørende varmeutvikling;
en skillevegg anordnet for å begrense bestrålingen fra belysningsarrangementet til omkring halvparten av diameteren til den konvekse linsen; og
et konisk speil for å endre en symmetriakse til å bli hovedsakelig parallell med interaksjonsflaten.
Systemet er helst implementert slik at det koniske speilet har en reflekterende overflatevinkel som er innrettet for å vippe den optiske symmetriaksen til lysstrålebuntene fra belysningsarrangementet for å danne de vifteformede lysstrålebuntene mot interaksjonsflaten.
Systemet er aller helst implementert slik at skilleveggen er anordnet for å stoppe lysstråler fra hver lyskilde i belysningsarrangementet med oppfattet kilde-størrelse fra belysningen av den motsatte del av den konvekse linsen, for derved å hovedsakelig hindre lysstråler fra å krysse den felles optiske aksen til linsen og det koniske speilet.
Systemet er helst implementert slik at belysningsarrangementet videre innbefatter det koniske speilet anordnet slik at dets reflekterende overflatevinkel er innrettet for å kompensere for akser for lyskilder som anvendes til å generere den ene eller de flere vifteformede lysstrålebuntene slik at de blir ikke-innrettet med en sentral akse for den konvekse linsen.
Systemet er fortrinnsvis implementert slik at den ene eller de flere vifteformede lysstrålebuntene har tilhørende frontgrenser som er anordnet tilstrekkelig fjernt fra interaksjonsflaten til å belyse et areal som svarer til hele interaksjonsflaten slik at de bakre grensene hovedsakelig er forbundet med interaksjonsflaten.
Ifølge et andre aspekt ved oppfinnelsen, er det tilveiebragt en anordning for bruk ved implementeringen av systemet ifølge det første aspektet ved oppfinnelsen.
Ifølge et tredje aspekt ved oppfinnelsen, er det tilveiebragt en fremgangsmåte for å anvende et kamerabasert, flerberøringsinteraksjonssystem for bestemmelse av en posisjon og/eller en stilling for minst ett objekt foran en interaksjonsflate, hvor systemet innbefatter: et belysningsarrangement for generering av én eller flere plane, vifteformede lysstrålebunter av synlig og/eller nær infrarød lysstråling;
et kameraarrangement for å avføle interaksjonsflaten innenfor kameraets synsfelt for å generere tilsvarende signaler;
en beregningsenhet for å beregne posisjonen og/eller stillingen til det minst ene objektet som avskjærer den ene eller de flere plane, vifteformede lysstrålebuntene basert på signalene som er levert fra kameraet,
karakterisert vedat fremgangsmåten innbefatter:
å danne den ene eller de flere vifteformede lysstrålebuntene under drift, slik at deres plan er hovedsakelig parallelle med interaksjonsflaten; og
å fokusere den ene eller de flere vifteformede lysstrålebuntene i en retning hovedsakelig perpendikulært til et plan for interaksjonsflaten, slik at den ene eller de flere vifteformede lysstrålebuntene har hovedsakelig konstant tykkelse i forhold til en ortogonal til planet til interaksjonsflaten for å forbedre lysintensiteten og øke nøyaktigheten av posisjonsbestemmelse for det minst ene objektet tilveiebragt ved hjelp av systemet.
Fremgangsmåten er fortrinnsvis tilpasset for å tilveiebringe avansert fler-berøringsbrukerinteraksjon på undervisnings- og forretningsmarkedet, for å tilveiebringe små og middelstore visningsanordninger for å tilveiebringe store og brede whiteboard-tavler for skoler og foredragssaler, for bruk med eller uten en visningsanordning i undervisning, for interaktive informasjonsskilter og i museer og utstillinger.
Ifølge et fjerde aspekt ved oppfinnelsen, er det tilveiebragt et system som innbefatter en innmatingsanordning i mann-maskin-kommunikasjon eller synonymt menneske-datamaskin-interaksjon, for sporing av et objekts posisjon innenfor en interaksjonsflate eller synonymt et koordinatplan, for å detektere svevings- og/eller berøringstilstander innenfor et interaksjonsvolum som befinner seg ved interaksjonsflaten innenfor et område av høyder; og/eller for å gjenkjenne objektets posisjon,karakterisert vedat systemet innbefatter: et kamera for å innfange et bilde ved å bruke synlig lys og/eller nær infrarødt lys;
minst ett synlig og/eller nær infrarød strålebuntplan spesielt innrettet med koordinatplanet; og
en beregningsenhet;
hvor kameraets synsfelt innbefatter både koordinatplanet og minst ett vifteformet lysstråleplan;
hvor beregningsenheten er innrettet for å beregne, fra signaler generert ved hjelp av kameraet, objektets koordinater og/eller dets sveve- og/eller berøringstilstand og/eller stillingskarakteristikker basert på et enkelt bilde mottatt av beregningsenheten, og/eller
hvor beregningsenheten er innrettet for fra signaler generert av kameraet, å beregne objektets bevegelse og/eller objektets gester basert på en sekvens av bilder.
I forbindelse med foreliggende oppfinnelse, skal et lysplan forstås å være en sammenhengende volumskive av belysning tilveiebragt ved hjelp av én eller flere fokuserte, vifteformede lysstrålebunter, hvor hver vifteformet lysstrålebunt er en smal, viftelignende strålebunt av synlige eller nær infrarøde lysstråler, nemlig med en smal strålebredde ved fokusering i elevasjon, og en bred strålebredde i asimut, hvor elevasjons- og asimutvinkler er relatert til interaksjonsflaten. Den fokuserte, vifteformede lysstrålebunten er hovedsakelig parallell eller konvergerende mot interaksjonsflaten, nemlig med en elevasjon lik null eller en svak negativ vinkel. Én eller flere fokuserte, vifteformede lysstrålebunter danner fortrinnsvis en sammenhengende volumskive av belysning i interaksjonsvolumet, som i beskrivelsen av foreliggende oppfinnelse for enkelhets skyld er betegnet som et lysplan, men en mer fullstendig betegnelse er en smal, sammenhengende volumskive belyst av én eller flere fokuserte, vifteformede synlige og/eller nær infrarøde lysstrålebunter.
Kameraet omfatter en CCD- eller en CMOS-avbildningsbrikke eller lignende for todimensjonal bildeinnfanging, og en linse eller lignende med et synsfelt som er stort nok til å innbefatte koordinatplanet, volumet, og med en tilstrekkelig optisk avbildningskvalitetforde aktuelle bølgelengdeområdene tilpasset til den aktuelle oppløsningen til avbildningsbrikken. Kameraet er alternativt implementert ved å bruke en avsøkt sensor som innbefatter en lineær sammenstilling av piksel-sensorelementer, eller også et enkelt avfølingselement avsøkt i minst to retninger.
I noen foretrukne utførelsesformer av foreliggende oppfinnelse, er lyskilde-arrangementet fortrinnsvis styrt av en på/av styringsbryter for selektivt å slå belysningen på og av for forskjellige bilder
I noen foretrukne utførelsesformer av foreliggende oppfinnelse, blir lyskilde-arrangementet i belysningsarrangementet operert i en blinkende modus innenfor den aktive eksponeringsperioden til kameraet for å fryse de bevegelsene som er relatert til bevegelige objekter.
I noen foretrukne utførelsesformer av foreliggende oppfinnelse, omfatter kameraet et filter for å blokkere for uønsket lys, slik som lys fra flatskjermen eller projektorskjermen og/eller omgivende lys, mens lys med samme bølgelengde-område som belysningen kan slippe gjennom.
I noen foretrukne utførelsesformer av foreliggende oppfinnelse, omfatter kameraet ett eller flere valgbare optiske filtre som selektivt blokkerer for eller slipper gjennom lys i forskjellige bølgelengdeområder; for eksempel blir lys for noen bilder tillatt å passere med samme bølgelengdeområde som belysningen, mens lys for andre bilder blir tillatt å passere bare for synlige lysbølgelengder for etterfølgende innfangning av bildene fra projektoren eller flatskjermen.
I noen foretrukne utførelsesformer, kan foreliggende oppfinnelse kombineres med de innovasjonene som er beskrevet i de publiserte patentsøknadene nummer WO 2002027461 og US7083100B2, og/eller WO2006135241A1 og US2009040195A1 som herved inkorporeres ved referanse. Disse oppfinnelsene angår objekter som er utstyrt med mønstre som kan observeres innenfor et gitt bølgelengdeområde på sin overflate og/eller inne i sitt legeme og/eller projisert på skjermen, som midler for mer nøyaktig sporing og/eller for mer nøyaktig identifisering av objektet og/eller for å detektere en tilstand av forskjellige brukerinteraksjons-styringer, for eksempel knapper osv. som i henhold til de ovenfor nevnte oppfinnelsene kan endre de observerbare mønstrene. Objektets nærhet til overflaten eller nærheten mellom forskjellige indre komponenter i objektet kan dessuten observeres ved å kombinere foreliggende oppfinnelse med den optiske nærhets-detektoren som beskrevet i publiserte patentsøknader nummer WO2005050130 og US7339684B2 som også herved inkorporeres ved referanse.
I noen foretrukne utførelsesformer av foreliggende oppfinnelse, blir en enkel datamaskinbasert kalibreringsprosedyre brukt for å finne en nøyaktig tilordning av koordinatplanet til visningskoordinatene. Kalibreringsprosedyren er fortrinnsvis brukerassistert, for eksempel ved å vise kryss i flere punkter på skjermen som krever manuell penn- eller fingerberøring for å finne tilordningen, nemlig for å bestemme en passende transformasjonsmatrise som beskriver en tilordning av koordinatplanet til visningskoordinater.
I noen foretrukne utførelsesformer av foreliggende oppfinnelse, er et data-program operativt for å presentere bilder på skjermen, hvor bildene innbefatter mønstre brukt til å identifisere og spore objekter, for eksempel på en måte som beskrevet i de publiserte internasjonale PCT-patentsøknadene med nummer WO2002027461 og US7083100B2, og/eller WO2006135241A1 og US2009040195A1, som blir automatisk gjenkjent av kameraet for beregning av transformasjonsmatrisen for å tilpasse koordinatplanet til visningskoordinatene; idet disse tidligere publiserte søknadene herved inkorporeres ved referanse.
Det er formålet med foreliggende oppfinnelse å tilveiebringe posisjons-informasjon i X- og Y-retninger så vel som informasjon om berøring og sveving (Z-retningen som representerer brukerhandlingsinformasjon) fra brukeren i et mann-maskin-grensesnitt som typisk, men ikke nødvendigvis, også innbefatter en sam-virkende visningsanordning.
Det er formålet med foreliggende oppfinnelse å tilveiebringe minst én fokusert, plan vifteformet strålebunt over en interaksjonsflate eller i et interaksjonsvolum slik at en inntrengning i den fokuserte, vifteformede lysstrålebunten av minst ett objekt, for eksempel en menneskefinger, vil bli detektert ved hjelp av et kamera innenfor sitt synsfelt som er anordnet for å avføle interaksjonsflaten, interaksjonsvolumet og i det minste ett inntrengende objekt. Den fokuserte, vifteformede lysstrålebunten som er avgrenset til et visst volum over interaksjonsflaten, er opererbar for å belyse objektet tydelig siden intensiteten typisk er betydelig høyere enn bakgrunnsbelysningen, og minst ett objekt blir effektivt funnet ved behandlingsanordninger for bildesignaler, ved å søke etter områder med høy intensitet, ved å detektere kanter og utføre sentroide-beregninger for å finne minst ett objekt, for eksempel én eller flere fingre.
Det er videre et formål med foreliggende oppfinnelse å tilpasse avansert flerberøringsinteraksjon som blir benyttet i menneskelige grensesnittanordningerfor datamaskiner og annet elektronisk utstyr. Ved å innbefatte flere lag av fokuserte, vifteformede lysstrålebunter i et interaksjonsvolum, blir fine detaljer i brukerens interaksjon, innbefattende nøyaktig berøringsstyring, håndstilling og brukergester, mulige å bli innfanget. I en foretrukket utførelsesform av foreliggende oppfinnelse, blir lyskilden for generering av hver fokuserte, viftelignende lysstrålebunt, periodisk slått på og av, for eksempel pulset, slik at de forskjellige lagene med fokuserte, vifteformede strålebunter blir selektivt slått på og av for å differensiere deres respektive signalbidrag, for derved effektivt å kunne skjelne mellom for eksempel mellom sveve- og berøringstilstander. Ved å separere interaksjonsvolumet i flere skiver som blir selektivt belyst av de forskjellige lagene av plane, vifteformede lysstrålebunter, kan interaksjonsvolumet analyseres effektivt, med en viss likhet med tomografi-avbildning. Belysningen kan også være blinkende, nemlig pulset med forholdsvis kort belysningsvarighet i forhold til en tidsramme for selve bevegelsene, for å fryse bevegelsene sett i de mottatte signalene.
I noen ytterligere utførelsesformer av foreliggende oppfinnelse, blir de plane, vifteformede lysstrålebuntene generert fra belysning tilveiebragt fra nær infrarøde lyskilder, for eksempel lyskilder viss utgangsstråling har en bølgelengde på 700 nm eller mer. Kameraet innbefatter videre fortrinnsvis et optisk filter for å blokkere for synlig lys og lignende, og derved tillate bare det foran nevnte nær infrarøde lyset å slippe gjennom. I slike utførelsesformer av foreliggende oppfinnelse, er det mindre ømfintlighet for andre lyskilder slik som dagslys, rombelysning, lys fra anvendte projektorer, skjerm lys osv.
Ved implementering av foreliggende oppfinnelse, blir fortrinnsvis de fokuserte vifteformede lysstrålene generert ved å fokusere lys mot en mest fjern ende av interaksjonsflaten/volumet for å opprettholde en tilstrekkelig belysning ved den fjerneste ende. Det er også gunstig ved implementering av foreliggende oppfinnelse at de fokuserte, vifteformede lysstrålene er vinklet med en liten vinkel i forhold til overflaten av en tilhørende whiteboard-tavle eller lignende, mot interaksjonsflaten slik at den fokuserte, vifteformede lysstrålebunten har en nesten konstant og parallell avstand til flaten.
Ved implementering av foreliggende oppfinnelse, er i motsetning til bruk av konvensjonelle lysplan, genereringen av vifteformede lysstrålebunter fortrinnsvis sentralisert og ikke fordelt. I front- og bakprojeksjonssystemer for generering av bilder på vegger og bord, er foreliggende oppfinnelse enten integrert i nytt utstyr eller ettermontert i eksisterende utstyr for å gjøre slike systemer interaktive uten behov for å lage fullstendige rammer for infrarøde lysplan, nemlig bare ved å innbefatte foreliggende oppfinnelse som en sentralisert, vifteformet lysstrålegenererende enhet og et kamera sammen med en tilordnet beregningsenhet.
Foreliggende oppfinnelse er fordelaktig ved at den er egnet for å bli montert på eller integrert i projektorveggfester eller skjermfester, for eksempel basert på LCD, OLED, og lignende lysemitterende anordninger.
I noen alternative utførelsesformer av foreliggende oppfinnelse, for meget avansert interaksjonsrom, kan lengre omslutninger for belysningsoptikk brukes for å gjøre de forskjellige lagene av fokuserte, vifteformede lysstrålebunter tynnere for å øke oppløsningen og nøyaktigheten av berøring og Z-retningsgester. I noen ytterligere alternative utførelsesformer kan én eller flere av LED-kildene være erstattet av nær infrarøde laserdioder for å redusere lagtykkelsen til de vifteformede lysstrålebuntene enda mer.
Foreliggende oppfinnelse kan benytte billig CCD- eller CMOS-kamera-teknologi og billige nær infrarøde lysemitterende dioder og optiske komponenter. Slike komponenter er billige å fremstille. Nåværende signalbehandlede integrerte kretser, for eksempel signalprosessorer, mikrokontrollere og mikroprosessorer og programmerbare logiske anordninger, er dessuten egnet for å bli brukt til å implementere foreliggende oppfinnelse, hvor slike integrerte kretser er lette å programmere for aktuell anvendelse av foreliggende oppfinnelse. Foreliggende oppfinnelse er derfor lett å implementere i store produksjonsvolumer.
Foreliggende oppfinnelse er også i stand til å tilveiebringe avansert fler-berøringsbrukerinteraksjon på undervisnings- og forretningsområdene. Foreliggende oppfinnelse er potensielt mulig for små og middels store visningsanordninger, så vel som store og brede whiteboard-tavler for skoler og foredragssaler. Foreliggende oppfinnelse er dessuten også egnet for å bli brukt med eller uten en skjerm i undervisning, for interaktive informasjonsskilt og i museer og utstillinger.
Foreliggende oppfinnelse vil også være i stand til å tilveiebringe interaktive rom tilpasset for bruk innenfor digitale informasjonsskilt som bruker flatskjermer eller projektorskjermer med digitalt innhold som kan endres dynamisk, ikke bare i en forutbestemt sekvens fra innholdsleverandøren, men endret på grunn av bruker-innmating fra berørings- og geststyring for derved å gjøre skiltet enda mer fleksibelt, informativt og brukervennlig.
Foreliggende oppfinnelse vil også være i stand til å frembringe tilveiebringelse av innmatingsanordninger for berørings- og geststyring for bruk i interaktive informasjonsskilt som virker godt gjennom vandalsikre, tykke vinduer og virker godt på alle typer overflater og flatskjermer med enkel installasjon, for å kunne installere og bruke den i innendørs og utendørs offentlige og kommersielle områder.
Beskrivelse av tegningene
Oppfinnelsen vil nå bli beskrevet ved hjelp av eksempler under henvisning til de vedføyde tegningene, hvor: Figur 1 er en skjematisk skisse i perspektiv av et eksempel på en utstyrs-konfigurasjon ifølge foreliggende oppfinnelse, hvor et eksempel på de typiske plasseringene av én eller flere lysplan, enheten for generering av den ene eller de flere fokuserte, vifteformede lysstrålebuntene, interaksjonsflaten og -volum, kameraet, visningsanordningen, projektoren og veggfeste er vist; Figur 2 er en illustrasjon av eksempelkonfigurasjonen på figur 1 i sideriss; Figur 3 er en illustrasjon av eksemplet på utformingen på figur 2 i sideriss, hvor enheten for generering av den fokuserte, vifteformede lysstrålebunten er integrert i veggfestet; Figur 4 er en illustrasjon av eksemplet på utforming på figur 2 i et sideriss, hvor enheten for generering av den fokuserte, vifteformede lysstrålebunten er vertikalt integrert i, eller vertikalt montert langs veggfestet; Figur 5 er en illustrasjon av et prinsipp for drift av en kildeforstørrelse og fokuseringsarrangement anvendt i utførelsesformer av foreliggende oppfinnelse; Figur 6 er en illustrasjon av kilden på figur 5, men eksemplifisert ved innsetting av parameterverdier for en typisk situasjon for en stor interaktiv whiteboard-tavle; Figur 7 er en illustrasjon av et eksempel på et relatert optisk system som på
figur 6, men hvor strålene blir reflektert av et konisk speil for å endre en tilknyttet symmetriakse til å bli parallell med en arbeids/interaksjonsflate;
Figur 8A er en illustrasjon av et eksempel på et relatert optisk system som på
figur 7, men hvor vinkelen til det koniske speilet er justert for å endre aksen til å være noe skråstilt mot interaksjonsflaten;
Figur 8B er en illustrasjon av et eksempel på et relatert optisk system som på
figur 8A, hvor eksempler på vifteformede lysstrålebunter og det
forstørrede kildebildet er skissert, også innbefattende stråler og kilde-bildekomponenter som er reflektert av interaksjonsflaten, for å lage et lysplan for deteksjon av posisjon og/eller deteksjon av kontakt med interaksjonsflaten;
Figur 8C er en illustrasjon av et eksempel på et relatert optisk system som på
figur 8A, hvor eksemplene på lysstråler og det forstørrede kildebildet er skissert, for å skape et lysplan for deteksjon av posisjon og/eller deteksjon av svevenivå i interaksjonsvolumet;
Figur 9 presenterer et eksempel på en enhet som genererer en fokusert, vifteformet lysstrålebunt, hvor det konisk formede speilet og den konvekse linsen og lyskildene er montert i et hus; Figur 10 er en illustrasjon av et eksempel på et fremstilt konisk speil som på figur 8; Figur 11 er en illustrasjon av et eksempel på en utforming som benytter flere enheter for generering av vifteformede lysstrålebunter som på figur 9, for å frembringe flere lysplan langs interaksjonsflaten; Figur 12 er en illustrasjon av en enhet for generering av en vifteformet lysstrålebunt som på figur 9, sett ovenfra, hvor enheten er montert over en interaksjonsflate på veggen med et feste for lysplanoptikk; Figur 13 er en illustrasjon av en enhet for generering av en vifteformet lysstrålebunt som på figur 9, sett ovenfra, hvor enheten er montert gjennom et hull i veggen over en interaksjonsflate med feste for lysplanoptikken i et bakprojeksjonssystem; Figur 14 er en illustrasjon av en enhet for generering av en vifteformet lysstrålebunt som i prinsippet har samme funksjon som den på figur 9, men som benytter et konkavt, konisk speil; Figur 15 er en illustrasjon av hvordan lyskildene er utformet for å bli arrangert for konisk formede speil som på figur 7 til figur 14; Figur 16 er en illustrasjon i sideriss av en enhet for generering av en fokusert, vifteformet lysstrålebunt, hvor en sylindrisk linse, en konveks linse og lyskilder er montert inne i et hus; Figur 17 er en illustrasjon av en enhet for generering av en fokusert, vifteformet lysstrålebunt som på figur 16, men sett ovenfra, hvor en sylindrisk linse, en konveks linse og lyskilder er montert i et hus; Figur 18 er en illustrasjon av eksemplet på figur 17, men hvor aksen er skråstilt ved å bruke et plant speil; Figur 19 er en illustrasjon av eksemplet på figur 17, men hvor aksen er avbøyd 90 grader ved å bruke et plant speil; Figur 20 er en illustrasjon av et eksempel på en kombinasjon av eksemplene på figur 17, figur 18 og figur 19 for generering av et bredere, vifteformet lysstråleplan; Figur 21 er en illustrasjon av et eksempel på en kombinasjon av eksemplene på figur 17, figur 18 og figur 19 for å generere et bredere, vifteformet lysstråleplan som dekker en fullstendig interaksjonsflate og bruker lange omslutninger som tilveiebringer mindre forstørrelse av kilden og tynnere lag av de vifteformede lysstrålebuntene; Figur 22 er en illustrasjon av et eksempel på en kombinasjon av eksemplene på figur 17, figur 18 og figur 19 for generering av et bredere, vifteformet lysstråleplan som dekker en fullstendig interaksjonsflate og bruker korte omslutninger som gir større forstørrelse av kilden og tykkere lag av de vifteformede lysstrålebuntene; Figur 23 er en illustrasjon på et eksempel på en kombinasjon av varianter av eksemplene på figur 17, figur 18 og figur 19, og montert vertikalt for å generere et bredt vifteformet lysstråleplan som dekker en fullstendig interaksjonsflate; Figur 24 er en illustrasjon av et eksempel som benytter et konkavt sylinderspeil for å generere et vifteformet lysstråleplan som dekker deler av interaksjonsflaten fra et hjørne; Figur 25 er en illustrasjon av et eksempel som bruker konkave sylinderspeil for å
generere to sett med vifteformede lysstråleplan som dekker interaksjonsflaten fra to hjørner; og
Figur 26 er en illustrasjon av en måte som lyskildene kan anordnes på for de
sylinderlinse- og sylinderspeilbaserte eksemplene på figurene 16 til 25.
Beskrivelse av utførelsesformer av oppfinnelsen
Foreliggende oppfinnelse vedrører et system og en fremgangsmåte for en kamerabasert datainnmatingsanordning for mann-maskin-interaksjon, eller ekvivalent menneske-datamaskin-interaksjon. Foreliggende oppfinnelse angår dessuten også anordninger for slike systemer og utførelse av slike fremgangsmåter.
Før beskrivelse av en implementering og virkemåte for minst én utførelses-form av oppfinnelsen i detalj, skal det bemerkes at oppfinnelsen ikke er begrenset til detaljer ved konstruksjon og arrangementer av komponenter som er angitt i den følgende beskrivelse eller som illustrert på tegningene. Oppfinnelsen kan implemen- teres i andre utførelsesformer eller praktiseres eller utføres på mange forskjellige måter. Det skal videre bemerkes at fraseologien og terminologien som er brukt her, har til formål å beskrive og skal ikke anses som begrensende. Prinsippene og virke-måtene for anordningen av informasjonsinnmating, systemet og fremgangsmåten ifølge foreliggende oppfinnelse, vil bli bedre forstått under henvisning til tegningene og de tilsvarende beskrivelsene.
Prinsippet for interaksjonsanordningen og interaksjonssystemet blir først beskrevet. Deretter blir den detaljerte beskrivelsen av noen foretrukne utførelses-former beskrevet sammen med systemets operasjonsprinsipper.
Prinsipper for drift av et interaksjonssystem og dets tilhørende interaksjons-anordning, er beskrevet under henvisning til et eksempel på en utforming som gitt på figur 1 og figur 2. På figur 1 og figur 2 er det skjematisk illustrert en utstyrskonfigura-sjon for en foretrukket utførelsesform av foreliggende oppfinnelse, som vist i perspektiv og fra siden. Utstyrskonfigurasjonen innbefatter maskinvarekomponenter som omfatter en kortdistanse dataprojektor 3 plassert sammen med et kamera 1 og en lyskilde 2 på et veggfeste 4. Veggfestet 4 har et utseende og en praktisk implementering som potensielt varierer betydelig, men hovedformålet med den er å plassere én eller flere av kortdistanseprojektoren 3, kameraet 1 og lyskilden 2 i passende avstand til en skjerm og til et feste på en vegg, fortrinnsvis over et fremvist bilde 16. Det fremviste bilde 16 representerer også en interaksjonsflate, i dette dokumentet synonymt kalt koordinatplanet 16. Ved bruk av projektoren 3, er koordinatplanet 16 fortrinnsvis en glatt og hvit overflate egnet for projeksjon, pennoperasjon og berøring. I et tilfelle med bruk av en flatskjerm i stedet for projektoren 3, er derimot interaksjonsflaten 16 flatskjermen selv, fortrinnsvis beskyttet med et spesielt gjennomsiktig materiale i typiske glass- eller plastmateriale som beskyttelse, slik at den er robust overfor penn- og berøringsoperasjon. Kortdistanseprojektoren 3 har et tilhørende synsfelt 6 og er operativ for å projisere et fremvist bilde på interaksjonsflaten 16, som representert ved hjelp av rektangelet med stiplede linjer innenfor et interaksjonsvolum som også er betegnet med 1. Et objekt 25, for eksempel en brukers finger og/eller hånd, er operativt for å vekselvirke med en datamaskin eller lignende når objektet 25 er innenfor et interaksjonsvolum 7 begrenset av en spesiell høyde over koordinatplanet 16.
Anordningen innbefatter videre et arrangement av optiske komponenter for å projisere synlig eller nær infrarød belysning, hvor arrangementet er plassert utenfor interaksjonsflaten, nemlig koordinatplanet 16, og tilhørende projisert belysning har fortrinnsvis en form som én eller flere lysplan 5 innenfor interaksjonsvolumet 7, og hovedsakelig innrettet med interaksjonsflaten, nemlig koordinatplanet 16.
Kameraet 1 har et synsfelt 8 som innbefatter interaksjonsvolumet 7, slik at objektets 25 koordinater og objektets 25 svevehøyde blir beregnet og/eller dets svevetilstand og/eller berøringstilstand og/eller stillingskarakteristikkene blir utledet basert på et enkelt bilde som er avfølt ved hjelp av kameraet 1 og overført som signaler til beregningsenheten, og/eller objektets bevegelse og/eller objektets gester kan beregnes nærmere basert på en sekvens av bilder representert med signaler generert av kameraet 1 og levert som tilsvarende signaler overført til beregningsenheten. Beregningsenheten er fortrinnsvis typisk, men ikke nødvendigvis, integrert i kameraet 1. Kameraet 1 innbefatter fortrinnsvis optiske filtre for selektivt å blokkere for lys av forskjellige bølgelengdeområder, for eksempel for å redusere innvirkningen av dagslys og lys fra skjermen og/eller langdistanseprojektoren 3.
Beregningsenheten innbefatter en kommunikasjonsanordning for overføring av koordinatene og de andre interaksjonsdataene til en datamaskin, for eksempel ved å bruke en standard seriebuss, og tilhørende kretser (slik som USB), eller ved å bruke trådløse kommunikasjonsprotokoller og anordninger.
På figur 1 er det vist et eksempel på en utforming ifølge en foretrukket ut-førelsesform av foreliggende oppfinnelse, hvor enheten 2 for generering av den fokuserte, vifteformede lysstrålebunten i anordningen er montert på veggfestet 4 sammen med projektoren 3. Kameraet 1 og projektoren 3 er rettet mot interaksjonsflaten 16 med et kamerasynsfelt 8 og et projektorsynsfelt 6 som vist på figur 1. Minst ett objekt 25, her illustrert som en pekefinger og en hånd, er operative for å trenge inn i minst ett enkelt fokusert, vifteformet lysstråleplan 5 og/eller 26 i interaksjonsvolumet 7 foran interaksjonsflaten 16, og kameraet 1 og en beregningsenhet er operative for fra ett enkelt bilde å detektere en belyst del av objektet 25 og finne og rapportere dets laterale posisjon i de laterale retningene (X- og Y-retningene) og også rapportere ved hvilket svevenivå det for tiden befinner seg ved (det vil si Z-retningsrelatert informasjon), gitt ved hvilket lag av fokuserte, vifteformede lysstrålebunter som belyser objektet 25, og som for eksempel representeres som «berøring» som er synonymt med kontakt med interaksjonsflaten 16, og som for eksempel «sveving» synonymt med «i området» brukt i noen vokabularer for interaksjons-grensesnitt, som overføres som innmating til datamaskinen.
Figur 1 skal også forstås og skissere et tilsvarende system innrettet for en flatskjerm som interaksjonsflate 16, nemlig uten projektoren 3 montert på veggfestet 4.
Belysningen som anvendes i den utførelsesformen som er illustrert på figur 1, kan fortrinnsvis svitsjes slik at ett eller flere av lysplanene 5 og/eller 26 eventuelt kan slås på eller av, og belyse objektet 25 ved hjelp av ett av flere lysplan 5 og/eller 26, eller ved hjelp av en kombinasjon av flere lysplan 5 og/eller 26, slik at belysningen blir valgt for den laterale posisjonsbestemmelsen og svevehøydebestemmelse, og bestemmelsen av objekter i kontakt med interaksjonsflaten. For lateral posisjonsbestemmelse av objektet 25, blir belysning gjennom ett eller flere lysplan 5 og/eller 26 som befinner seg i en avstand til interaksjonsflaten 16 svarende til den sveveavstanden som tillates av interaksjonsvolumet 7, slått på for å danne et felt av lysstråler med hovedsakelig konstant høyde, nemlig en vifteformet lysstrålebunt, parallell med det planet som belyser den del av objektet 25 fra den siden når det kommer inn i lysplanet 5 og/eller 26 innenfor interaksjonsvolumet 7, og dermed også tilveiebringer en viss konturbestemmelse av objektet 25 når det observeres direkte fra kameraet 1. For å bestemme svevenivå eller svevehøyde, muliggjør sekvensiell svitsjing på eller av, av én eller flere lysplan 26 som befinner seg ved forskjellige avstander fra interaksjonsflaten 16, inne i interaksjonsvolumet 7, en bestemmelse av svevenivå- eller høydeinformasjon ved sekvensielt å belyse deler av objektet 25 inne i interaksjonsvolumet 7 som befinner seg ved forskjellige avstander fra interaksjonsflaten 16. For å bestemme om objekter er i kontakt eller ikke, nemlig berøring av interaksjonsflaten 16, blir et lysplan 5 som hovedsakelig er generert ved planet til interaksjonsflaten 16 og direkte belyser interaksjonsflaten 16, slått på. Den direkte belysningen av interaksjonsflaten 16 fra lysplanet 5 blir fortrinnsvis utført ved å skape en vifteformet lysstrålebunt posisjonert hovedsakelig ved planet til interaksjonsflaten 16, og den optiske symmetriaksen til den vifteformede lysstrålebunten som konvergerer mot planet til interaksjonsflaten 16 mens den vifteformede lysstrålebunten samtidig belyser interaksjonsflaten 16.
I alle eksemplene på utforminger og foretrukne utførelsesformer ifølge foreliggende oppfinnelse, kan det videre finnes minst én ytre avskjerming eller et hus som her er utelatt for å klargjøre tegningene, men som fortrinnsvis omslutter én eller flere av utstyrskomponentene: projektoren 3, kameraet 1 (fortrinnsvis innbefattende beregningsenheten og kommunikasjonsanordningen), lyskilden 2 som frembringer ett eller flere lysplan 5 og/eller 26 (nemlig de vifteformede lysstrålebuntene), veggfeste 4 og visningsanordningen og koordinatplanet 16. Formålet med den ytre avskjermingen eller chassiset, er for eksempel å gjøre interaksjonssystemet robust, vedlikeholdsfritt, støvsikkert, brukervennlig, trygt, lettere å fremstille, enklere å installere, og å presentere systemet med et profesjonelt utseende i henhold til gitte prinsipper og elementdesign.
Det vises videre til figur 1 og figur 2, hvor lyskilden 2 for generering av den vifteformede lysstrålebunten er en genereringsenhet, eller synonymt lyskilden 2 for generering av det fokuserte, vifteformede lysstråleplanet som belysningsmiddel, er i dette utformingseksemplet fortrinnsvis plassert over interaksjonsflaten 16, fortrinnsvis enten montert på veggen eller på veggfestet 4. Lyskilden 2 er fortrinnsvis innbefattet i et ettermonteringssett for oppgradering av en eksisterende whiteboard-tavle eller en kortdistanse-projektorinstallasjon for å bli berøringsfølsom ifølge foreliggende oppfinnelse.
Det vises til figur 3, hvor lyskilden 2, for eksempel et arrangement for å belyse et plan med en fokusert, vifteformet lysstrålebunt, er i disse utformingseksemplene integrert i projektorfestet. Det vises til figur 3, hvor den samme utformingen som på figur 2 er presentert i sideriss, men på figur 3 er lyskilden 2 som er implementert som den enheten som genererer det fokuserte, vifteformede lysstråleplanet, integrert i veggfestet 4.
Det vises til figur 4, hvor den samme utformingen som på figur 2 er presentert i sideriss, men på figur 4 er lyskilden 2 som er implementert som en enhet for generering av et fokusert, vifteformet lysstråleplan, vertikalt integrert i eller vertikalt montert langs veggfestet 4.
I ytterligere foretrukne utførelsesformer av foreliggende oppfinnelse, er lyskilden 2 som er implementert som et belysningsarrangement med en fokusert, vifteformet lysstrålebunt, ikke bare en integrert del av veggfestet 4, men er også en integrert del av feste for en flatskjerm som utgjør interaksjonsflaten 16, eller en integrert del av den fullstendig interaktive whiteboard-tavlen, eller en integrert del av den komplette dataprojektoren, eller andre mekaniske midler som kan være plassert ved å bruke den ovenfor nevnte ytre avskjermingen eller chassiset, for derved å være en integrert del av en fullstendig interaktiv funksjon for lyskilden 2 implementert som et belysningsarrangement med en fokusert, vifteformet lysstrålebunt.
Det vises til figur 5, hvor prinsippet for kildeforstørrelse og fokusering ifølge foreliggende oppfinnelse er illustrert. Et antall LED-kilder 11 er typisk plassert i en avstand S2 fra en enkelt konveks linse 10, fortrinnsvis alternativt implementert som et konkavt speil med en brennvidde f, og et bilde 18 av belysningskilden 11 er fokusert ved en mest fjerntliggende del av interaksjonsvolumet 7 over interaksjonsflaten 16 ved en avstand S1 med en forstørrelse på S1/S2 av belysningskilden 11 som representerer den minste tykkelsen av det fokuserte, vifteformede lysstrålelaget over volumet 7.
Det vises til figur 6, hvor det samme prinsippet er illustrert som på figur 5, men parameterverdiene for en typisk situasjon for en stor interaktiv whiteboard-tavle med en størrelse på fra 90" til 100" (fra ca. 225 cm til 250 cm) i diagonal er innsatt, hvor bildet av kilden i dette eksemplet er fokusert ved S1 = 1900 mm. Ved å bruke for eksempel en linse med brennvidde f = 250 mm, blir kildene fortrinnsvis plassert i en avstand S2 = 288 mm fra den ene konvekse linsen 10. En forstørrelse på omkring 6,6 blir oppnådd, og med en ekvivalent eller oppfattet kildestørrelse 27 av en belysningskilde 11 i lyskilden 2 (for kildestørrelse 27, se figur 8B og figur 8C) på omkring 3,5 mm, blir et fokusert bilde 18 av lyskilden omkring S1/S2 ganger større, det vil si omkring 23,1 mm.
Det vises til figur 7, hvor et optisk system relatert til det på figur 6 er presentert, men nå blir stråler reflektert av et konisk speil 9 for å endre en symmetriakse til å bli parallell med arbeids/interaksjonsflaten 16. Kildene er plassert i en diameter på D = 25 mm fra den sentrale aksen til den konvekse linsen 10. Det er innført en skillevegg 19 for belysning fra kilden for å halvere diameteren til linsen. Vinkelen til det koniske speilet er 46,43° for å kompensere for aksen til lyskildene som ikke passerer linsens sentrale akse, og blir derfor avbøyd.
Det vises til figur 8A, hvor et optisk system relatert til det på figur 7 er illustrert, men nå er den optiske vinkelen til det koniske speilet 9 justert for å endre aksen slik at den forskyves noe mot arbeids/interaksjonsflaten 16 for å belyse interaksjonsflaten direkte ved hjelp av det vifteformede lysstråleplanet. Et eksempel på en vinkel for det koniske speilet er 46,65° for å oppnå en optisk symmetriakse for den fokuserte, vifteformede lysstrålebunten som er skråstilt 0,44° mot interaksjonsflaten 16. En frontgrense for det vifteformede lysstråleplanet ligger i tilstrekkelig avstand fra interaksjonsflaten til å belyse hele interaksjonsflaten 16, og en bakre grense for det vifteformede lysstråleplanet er hovedsakelig avgrenset av interaksjonsflaten 16 som forklart nedenfor.
Det vises til figur 8B, hvor et eksempel på en utforming ifølge foreliggende oppfinnelse er presentert som et optisk system relatert til det på figur 8A, hvor eksempler på lysstråler og det forstørrede kildebildet er skissert, også innbefattende stråler og en kildebildekomponent som sannsynligvis reflekteres av interaksjonsflaten, for å generere et vifteformet lysstråleplan for deteksjon av posisjon og/eller deteksjon av kontakt (eller berøring) med interaksjonsflaten 16. Belysningskildene 11 som fortrinnsvis er implementert som lysemitterende dioder (LED), er plassert langs en sirkel med diameter D = 25 mm. Flere belysningskilder 11 er fortrinnsvis spredt langs periferien for å sikre høy intensitet i forskjellige sektorer i den fokuserte, vifteformede lysstrålebunten og også for å bidra til å spre utviklet varme. Bare en enkel sentral belysningskilde blir fortrinnsvis brukt, og så blir optikken tilsvarende svakt modifisert ved å endre en vinkel for det koniske speilet 9, og for å danne en sentral skillevegg 19 og justere skilleveggene 30 og 29 for å begrense strålene fra lysplanet, mens den vanlig observerte maksimumsintensiteten ved 0° (senit) i et strålings-diagram for en typisk belysningskilde 11 ikke er optimalt utnyttet, og effektforbruket er derfor for konsentrert og produserer eventuelt for meget varme. En ekvivalent størrelse 27 (eller oppfattet størrelse 27) av belysningskilden 11 vil bli forstørret av avbildningssystemet for å frembringe et fokusert bilde 18 som vist på figur 8A, som i størrelse er S1/S2 ganger større enn størrelsen 27 på den ekvivalente belysningskilden, gitt at avstanden S2 er en avstand fra kilden 11 til linsen 10, og en avstand S1 er en lengde fra linsen 10 via speilet 9 til bildet 18, der blir bildet symbolsk representert av piler 38 og 39. Den ekvivalente størrelsen 27 av belysningskilden er derfor en viktig begrensende faktor for frembringelse av et tilstrekkelig tynt vifteformet lysstråleplan. En sentralisert belysningskilde 11 for høy effektspredning og høy lys-intensitet vil typisk også ha en tendens til å ha en større ekvivalent/oppfattet kilde-størrelse 27, noe som betyr at det vifteformede lysstråleplanet vil ha en tendens til å være tykkere i slike konfigurasjoner.
Det vises videre til figur 8B, hvor hovedformålet med en skillevegg 19 er å stoppe lysstrålene fra å nå belysningskilden 11 med oppfattet kildestørrelse 27 fra å belyse den motsatte delen av den konvekse linsen 10, det vil si å hindre eventuelle lysstråler fra å krysse den felles optiske aksen 28 for linsen 10 og det koniske speilet 9. Noen eksempler på lysstråler 31, 32, 33, 34, 36, 37 og 43 er tegnet som de kommer fra belysningskilden 11 med kildestørrelse 27 for å beskrive et driftsprinsipp for foreliggende oppfinnelse for belysningen av interaksjonsflaten 16 anordnet for deteksjon av posisjon og/eller deteksjon av kontakt med interaksjonsflaten 16. Lyskilden 11 med sin oppfattede kildestørrelse 27, er fokusert ved en avstand S1 med et forstørret bilde S1/S2 med større størrelse, illustrert symbolsk ved hjelp av de to pilene 38 og 39.
En del av pilen 38 representerer en del av bildet 18 av kilden 11 som vil bli absorbert og/eller reflektert av interaksjonsflaten 16. Hvis overflateegenskapene til interaksjonsflaten 16 er slik at det oppstår en refleksjon, og refleksjonen er synlig, vil det bli reflektert et avspeilet bilde 40 av interaksjonsflaten 16 av denne delen av pilen 38. Et objekt 25 i kontakt med interaksjonsflaten 16, vil så bli opplyst av en sum av de direkte strålene fra speilet 9 og de reflekterte strålene som også stammer fra speilet 9, men som er reflektert av interaksjonsflaten 16. Hvis overflateegenskapene til interaksjonsflaten 16 er slik at det er hovedsakelig en diffus refleksjon, vil den belysningen som er ganske nær interaksjonsflaten bli øket av de diffust reflekterte lyskomponentene fra interaksjonsflaten 16. I det tilfellet hvor lysstrålene stammer fra speilet 9 og belyser interaksjonsflaten 16, blir totalt absorbert i interaksjonsflaten 16, er det ingen bidrag til belysning av objektet 25 fra interaksjonsflaten.
Så lenge symmetriaksen 35 til det vifteformede lysstråleplanet som stammer fra speilet 9, ikke krysser planet til interaksjonsflaten 16 innenfor interaksjonsvolumet 7, er tykkelsen av det resulterende planet gitt ved hjelp av frontstrålen 31 som er avgrenset av skilleveggen 29, og avgrenset av interaksjonsflaten 16 selv. Ved å arrangere dette aksekryssingspunktet med planet til interaksjonsflaten 16 til å være utenfor interaksjonsflaten 16, det vil si til venstre side av interaksjonsflaten 16 på figur 8B, vil den delen av bildet som er avspeilet av interaksjonsflaten 16, ikke være bredere enn de direkte komponentene i bildet, som illustrert ved hjelp av lysstråle-eksemplet 33 som blir dirigert fra eksemplet på lysstrålebunt 37 med ekstrem vinkel, som uten interaksjonsflaten 16 ville ha fortsatt i en stråle 32 til den symbolske pilenden av det fokuserte bildet 38, men på grunn av speilende refleksjoner i interaksjonsflaten 16 blir reflektert som stråle 32 til den symbolske pilenden i det fokuserte speilbildet 40.
Det vises fortsatt til figur 8B, hvor strålen 34 er en stråle med ekstrem vinkel som stammer fra en avgrensning av kilden 11 med sin tilhørende kildestørrelse 27 som er lengst borte fra den optiske aksen 28, passerer den kildestrålebegrensende skilleveggen 19 og passerer gjennom linsen 10 på periferien av linsen 10, og treffer det koniske speilet 9 nær enden av speilet 9 hvor diameteren er størst, men etter refleksjon i speilet 9, blir strålen 34 stoppet av den bakre strålebegrensende skilleveggen 30. Lysstrålen 34 med ekstrem vinkel, hvis den ikke var blitt stoppet av skilleveggen 30 og interaksjonsflaten 16, kunne ha krysset strålen 32 i den symbolske pilenden av det fokuserte bildet 38. Strålen 43 som stammer fra den samme side av kilden 11 med sin kildestørrelse 27 som strålen 34, men mens strålen 34 blir stoppet av skilleveggen 30, passerer strålen 43 skilleveggen 30 og blir stoppet av sidekanten av interaksjonsflaten 16, eller kan belyse interaksjonsplanet 16 og absor-beres og reflekteres som beskrevet ovenfor. Hvis det ikke var noen skillevegg 30 eller interaksjonsflate 16 som stoppet strålene, kommer eksempelstråle 37 omdøpt til stråle 32 og eksempelstråle 34 fra avgrensningen av kilden 11 med sin kildestørrelse 27, som er lengst fra den optiske aksen 28, og vil møte og krysse hverandre ved pilenden av det fokuserte bildet 38.
Eksempelstrålen 36 og eksempelstrålen 31 ved frontgrensen stammer tilsvarende fra avgrensningen av kilden 11 med sin kildestørrelse 27 som er nærmest den optiske aksen 28, og vil møte og krysse hverandre ved pilenden i det fokuserte bildet 39.
Fordeler ved foreliggende oppfinnelse er klart illustrert på figur 8B. Først, ved å fokusere den vifteformede lysstrålebunten innrettet hovedsakelig parallelt med planet for interaksjonsflaten 16, avgrenses et bilde som skissert ved 39 og 38 av belysningskilden i den fjerne enden av interaksjonsflaten 16, det vil si til venstre på figur 8B, avgrenser bredden av strålebunten. For det andre, medfører fokuseringen at intensiteten ikke faller for mye ved den fjerneste enden, det vil si til venstre på figur 8B, og opprettholder høyest mulig intensitetsnivå over interaksjonsflaten 16 når strålene i den vifteformede lysstrålebunten spres ut på en sirkulær måte fra det koniske speilet 9 og den sirkulære spredningen reduserer stråleintensiteten over avstanden fra speilet 9. For det tredje, tilveiebringer konvergeringen av symmetriaksen 35 mot interaksjonsflaten 16 som belyser interaksjonsflaten 16, en ytterligere avgrensning av lysfeltet siden den bakre enden av lysfeltet er interaksjonsflaten 16 selv. For det fjerde, medfører konvergeringen av symmetriaksen 35 mot interaksjonsflaten 16, at speilende og diffuse komponenter reflektert tilbake fra den belyste interaksjonsflaten 16 vil øke intensiteten nær flaten. For det femte, inntreffer konver-gering av symmetriaksen 35 mot interaksjonsflaten 16 uten kryssing av planet til interaksjonsflaten 16 innenfor interaksjonsflaten 16, det vil si at et krysningspunkt med planet er gunstig, hovedsakelig på venstre side av interaksjonsflaten 16 på figur 8B, og medfører at eventuelle speilkomponenter reflektert tilbake fra interaksjonsflaten 16 ikke vil øke bredden av belysningsfeltet, slik at bredden effektivt blir begrenset av frontstrålen 31 og interaksjonsflaten 16.
Ifølge disse fem foran nevnte fordelaktige egenskapene som tilveiebringes av foreliggende oppfinnelse, blir en lysstråle 5 som er fokusert så smalt som mulig for å holde dens tilhørende intensitet så høy som mulig, og som er hovedsakelig parallell eller svakt konvergerende til, og begrenset av interaksjonsflaten 16, fortrinnsvis utvidet i vifteform, og fordelt over og belyser interaksjonsflaten 16 fra en enhet som genererer minst ett vifteformet lysstråleplan svarende til lyskilden 2, for derved å tilveiebringe en distinkt og avgrenset belysning av den del av et objekt 25 som er i kontakt med, eller synonymt berører, interaksjonsflaten 16.
På figur 8C, er det presentert et eksempel på et optisk system relatert til det som er vist på figur 7 og figur 8A, hvor eksempler på lysstråler og det forstørrede kildebildet er skissert for å skape et vifteformet lysstråleplan for å detektere posisjon og/eller for å detektere en «svevetilstand» og/eller et svevenivå i interaksjonsvolumet 7 over interaksjonsflaten 16. Belysningskildene 11, for eksempel de lysemitterende diodene (LED), er plassert langs en sirkel med diameter D = 25 mm. Et antall belysningskilder 11 er fortrinnsvis spredt langs en periferi for å sikre høy intensitet i sektorer av den fokuserte, vifteformede strålebunten og også for å bidra til å separere tilhørende varmespredning. Bare en enkelt sentral belysningskilde blir fortrinnsvis brukt, og så må optikken modifiseres litt ved å endre vinkelen til det koniske speilet 9 og lage en sentral skillevegg 19 og justere skilleveggene 44 og 29 for å begrense strålene fra lysplanet, mens den vanlig observerte maksimale intensiteten ved 0° (senit) i strålingsdiagrammet til en slik typisk belysningskilde 11 da ikke blir utnyttet optimalt, og effektspredningen blir mer konsentrert og kan til slutt medføre for meget varme. Den ekvivalente størrelsen 27, eller den oppfattede størrelsen 27, av belysningskiIdene 11, vil bli forstørret av avbildningssystemet for å frembringe et fokusert bilde 18 som er referert på figur 7 eller figur 8A, og som i størrelse er S1/S2 ganger større enn den ekvivalente belysningskildestørrelsen 27, gitt at S2 er avstanden fra kilden 11 til linsen 10, og S1 er lengden fra linsen 10 via speilet 9 til bildet 18, idet bildet her er symbolsk representert av pilene 41 og 39. Den ekvivalente størrelsen 27 av bestrålingskilden 11 er derfor en viktig begrensningsfaktor for frembringelse av et tilstrekkelig tynt, vifteformet lysstråleplan. En sentralisert belysningskilde 11 for høy effektspredning og høy belysningsintensitet vil typisk også ha en tendens til å ha en større ekvivalent/oppfattet kildestørrelse 27, noe som betyr at det vifteformede lysstråleplanet vil ha en tendens til å være tykkere i slike utførelsesformer.
Det vises fremdeles til figur 8C, hvor hovedformålet med en skillevegg 19 er å stoppe lysstråler fra hver belysningskilde 11 med oppfattet kildestørrelse 27 fra å belyse en motsatt del av den konvekse linsen 10, det vil si å hindre en eventuell lysstråle fra å krysse den felles optiske aksen 28 for linsen 10 og det koniske speilet 9. Noen eksempler på lysstråler 31, 34, 36, 42 og 43 er tegnet, som stammer fra belysningskilden 11 med dens kildestørrelse 27 for å beskrive prinsippet bak foreliggende oppfinnelse i forbindelse med belysning av objektet 25 overflaten 16, arrangert for å detektere posisjon og/eller deteksjon av «sveving» eller bestemmelse av et høydenivå innenfor interaksjonsvolumet og/eller detektering av «sveving» eller å bestemme et svevenivå innenfor interaksjonsvolumet 7 over interaksjonsflaten 16. Lyskilden 11 med sin oppfattede kildestørrelse 27 er fokusert ved en avstand S1 innenfor et forstørret bilde S1/S2 ganger større, illustrert symbolsk av de to pilene 41 og 39.
Det vises fortsatt til figur 8C, hvor eksempelstrålen 43 er en stråle med mest ekstrem vinkel som stammer fra avgrensningen av kilden 11 med sin kildestørrelse 27, som er lengst fra den optiske aksen 28 som passerer skilleveggen 19 for kildestrålene og som slipper gjennom linsen 10 på omkretsen av linsen 10 og treffer det koniske speilet 9 nær enden av speilet 9 hvor diameteren er størst, og etter refleksjon i speilet 9, passerer strålen 43 akkurat den bakstrålebegrensende skilleveggen 30 og fortsetter over interaksjonsflaten 16 og vil i det bildepunktet som er symbolisert med pilhodet til pilen 41, møte og krysse en annen stråle 42 med ekstrem vinkel som stammer fra samme side av kilden 11, som passerer skilleveggen 29 og fortsetter over interaksjonsflaten 16. Eksempelstrålen 36 og eksemplet på frontgrensestrålen 31 stammer fra avgrensningen av kilden 11 med dens kildestørrelse 27 som er nærmest den optiske aksen 28 og vil møte og krysse hverandre ved pilenden til det fokuserte bildet 39.
Fordelene ved også denne utførelsesformen av foreliggende oppfinnelse er illustrert på figur 8C. For det første, ved å fokusere den strålen som er innrettet hovedsakelig parallelt med planet til interaksjonsflaten 16, blir et bilde som skissert ved 39 og 41 av belysningskilden i den fjerne enden av interaksjonsflaten 16, det vil si til venstre på figur 8C, brukt til å begrense bredden av strålen. For det andre, med-fører fokuseringen at intensiteten ikke minsker for mye i den fjerneste enden, det vil si til venstre på figur 8C, og opprettholder høyest mulig intensitetsnivå over interaksjonsflaten 16, hvor strålen fra den vifteformede lysstrålebunten spres ut på en sirkulær måte fra det koniske speilet 9 og den sirkulære spredningen reduserer stråleintensiteten etter hvert som den beveger seg over avstanden fra speilet 9. For det tredje, ved å justere vinkelen til symmetriaksen 35 ved å velge en passende speilvinkel for det koniske speilet 9, blir enten frontgrensen eller den bakre grensen eller symmetriaksen gjort parallell med interaksjonsflaten 16 for å optimalisere bestemmelsen av svevenivået. For det fjerde og siste, ved å justere den frontstråle-begrensende skilleveggen 29 og den bakre strålebegrensende skilleveggen 44, blir bredden av den defokuserte strålen nær speilet 9 som kommer inn over interaksjonsflaten, effektivt begrenset.
Ifølge disse foran nevnte fordelene med foreliggende oppfinnelse, blir en lysstråle 26 som er fokusert så smalt som mulig for å holde intensiteten så høy som mulig, og som er hovedsakelig parallell med interaksjonsflaten 16, fortrinnsvis spredt ut, det vil si vifteformet, og fordelt over interaksjonsflaten 16 fra minst én enhet som genererer et vifteformet lysstråleplan svarende til lyskilden 2, for derved å tilveiebringe en distinkt og avgrenset belysning av den del av et objekt 25 som er i et spesielt svevenivå, det vil si er i «svevemodus», over interaksjonsflaten 16.
Det vises til figur 9, hvor et eksempel på en utforming av en enhet for generering av en fokusert, vifteformet strålebunt svarende til lyskilden 2, for foreliggende oppfinnelse er illustrert, hvor det konisk formede speilet 9 og den konvekse linsen 10 og belysningskildene 11 er montert i et/en hus/omslutning 14 og er innrettet for å frembringe, etter de prinsippene som er angitt ovenfor, et vifteformet lysstråleplan 5 langs interaksjonsflaten 16 innenfor «frontgrensen» 12 og «bakgrensen» 13 for lysplanet.
Et eksempel på en utforming av et fremstilt konisk speil som på figur 8A, er illustrert på figur 10. Vinkelen til det koniske speilet er 46,65° og dets diameter er D = 50 mm. Speilet er optisk fremstilt i forskjellige typer metall, for eksempel aluminium, eller speilet er optisk implementert ved å bruke plastmaterialer, for eksempel ved å bruke sprøytestøpingsprosesser for å generere en støpt komponent, med etter-følgende metallisering av komponenten, for eksempel ved å bruke vakuumavsatt aluminium.
Det vises til figur 11, hvor et eksempel på en utforming av foreliggende oppfinnelse er vist, som bruker flere enheter for generering av vifteformede lysstrålebunter svarende til lyskilden 2, hvor de konisk formede speilene 9 og de konvekse linsene 10 og belysningskildene 11 er i hus/omslutninger 14 og er operative for å frembringe, etter de prinsippene som er belyst ovenfor, flere vifteformede lysstråleplan 5, 26 langs interaksjonsflaten 16 med en «frontgrense» 12 og en «bakgrense» 13 for hvert av lysplanene, og hvor lysplanet 5 er anordnet som belyst ovenfor for å bestemme X,Y-posisjonen og/eller kontakt (berøring), mens de andre lysplanene 26 er anordnet som angitt ovenfor, for bestemmelse av X,Y-posisjon og/eller sveving og/eller svevenivåer.
Et eksempel på en utforming av en strålegenererende enhet som lyskilden 2 og som vist ovenfra for foreliggende oppfinnelse som på figur 9, er skissert på figur 12, hvor enheten er montert over interaksjonsflaten 16 på veggen 15 med et lysplan-optikkfeste 17. På lignende måte, men for bakprojeksjons- eller flatskjermsystemer, er figur 13 en illustrasjon av et eksempel på en utforming av en enhet for generering av en vifteformet lysstrålebunt for implementering av lyskilden 2 som vist ovenfra for foreliggende oppfinnelse som på figur 9. På figur 9, er enheten med sitt hus 14 montert over en interaksjonsflate 16 med lysplanoptikk montert i et bakprojeksjonssystem slik at det er et hull 7 gjennom veggen og/eller interaksjonsflaten 16, hvor bare den venstre delen av enheten rager inn i siden av veggen og interaksjonsflaten 16 hvor interaksjonen blir utført.
I stedet for å bruke et rettlinjet konisk speil 9 og en konveks linse 10 til å utføre fokusering som angitt ovenfor, og spredningen i en vifteformet lysstrålebunt over interaksjonsflaten 16, er figur 14 en illustrasjon av et eksempel på en utforming av en enhet for generering av en vifteformet lysstrålebunt for lyskilden 2 med lignende funksjon som på figur 9, men som bruker et konkavt konisk speil 20 for å kombinere fokuseringsfunksjonen og den ortogonale spredefunksjonen i et optisk element. Et slikt optisk element er fortrinnsvis fremstilt ved å anvende lignende metoder som anvendt for fremstilling av det konkave speilet som er vist på figur 10. Elementet er fortrinnsvis fremstilt i forskjellige typer metall, for eksempel aluminium, eller det er fremstilt fra plastmaterialer ved å anvende sprøytestøping med etterfølgende metallbelegning av plastdelen, for eksempel ved å bruke vakuumpåført aluminium og/eller ved elektropletteringsprosesser.
Siden den vifteformede lysstrålebunten som er generert av anordningen for generering av den vifteformede lysstrålebunten svarende til lyskilden 2, bare må spres ut i sektorer, behøver belysningskildene ikke å være fordelt jevnt i en fullstendig sirkel. Figur 15 er en illustrasjon av et eksempel på en utforming av en måte som belysningskildene 11 fortrinnsvis er anordnet på for konisk formede speil-utførelsesformer som på figurene 7 til 14.
På figur 16, er det illustrert et eksempel på en utforming, sett fra siden, av et system som anvender en enhet for generering av en fokusert, vifteformet lysstrålebunt svarende til lyskilden 2. Systemet omfatter videre en sylindrisk linse 21 og en konveks linse 10, samt et antall belysningskilder 11, som fortrinnsvis er montert i et/en hus/omslutning 14. Belysningskildene 11 er operative for å utsende lys som forplanter seg til linsen 10 for å tilveiebringe en mer kollimert stråle som så forplanter seg gjennom den sylindriske linsen 21 for å generere en vifteformet lysstrålebunt for belysning av interaksjonsvolumet 7 i tilknytning til interaksjonsflaten 16.
På figur 17, er det illustrert et eksempel på en utforming, sett ovenfra, av et system for implementering av en enhet for generering av en vifteformet lysstrålebunt svarende til lyskilden 2. Eksemplet på utformingen omfatter videre en sylindrisk linse 21 og en konveks linse 10, sammen med belysningskilder 11, som fortrinnsvis er montert i et/en hus/omslutning 14 for å generere et vifteformet lysstråleplan 5, 26 langs hovedaksen til den del av den konkave linsen 10 innenfor en vinkel gitt av grenser 22. Under drift, forplanter lys utsendt fra kildene 11 seg til linsen 10, hvor lyset blir mer kollimert og deretter fortsetter gjennom den sylindriske linsen 21 for å generere det vifteformede lysstråleplanet 5, 26. På figur 18, er det illustrert et alternativt eksempel på en utforming til den på figur 17, men hvor aksen er skråstilt ved å bruke et plant speil 23. På figur 19, er det illustrert et eksempel på en utforming maken til den på figur 17, men hvor aksen er avbøyd med 90°, det vil si av-bøyd ortogonalt, ved å bruke et plant speil 23 anordnet ved en vinkel på 45°.
På figur 20, er det illustrert et eksempel på en utforming utledet ved å sam-lokalisere utførelsesformer fra figur 17, figur 18 og figur 19, for å generere et bredere, vifteformet lysstråleplan 5, 26 med mer ideelle rommessige karakteristikker. I eksemplet på utførelsesform på figur 20, er det venstre, sentrale og høyre lyskilder 2, hvor den sentrale lyskilden 2 har sin linse 21 anordnet med sin akse symmetrisk med lysplanene 5, 26, og de venstre og høyre lyskildene 2 med sine respektive linser 21 ved en spiss vinkel, for eksempel i et område fra 20° til 80° i forhold til linsen 21 i den sentrale lyskilden 2.
På figur 21, er det illustrert et eksempel på en utforming som innbefatter ut-førelsesformer fra figur 17, figur 18 og figur 19 samlokalisert for å generere bredere, vifteformede lysstråleplan 5, 26 som dekker en fullstendig interaksjonsflate 16. Omslutningene 14 av lyskildene 2 er implementert for å være forholdsvis lengre enn illustrert på figur 20, og strålefelter fra lyskildene 2 på figur 21 er anordnet for å overlappe under drift som illustrert. Den lengre omhyllingen resulterer i en mindre forstørrelse av kildene 11 og et tynnere belysningslag. Som et alternativ til å gjøre omhyllingene lengre på figur 21, er omhyllingene 14 gjort kortere som illustrert på figur 22, for å oppnå en større forstørrelse av kildene 11 og derved et tykkere belysningslag.
På figur 23, er det illustrert et eksempel på en utforming hvor utførelsesformer hovedsakelig maken til figur 17, figur 18 og figur 19, er samlokalisert med hverandre for å generere en vifteformet lysstrålebunt 5, 25 for belysning av den fullstendige interaksjonsflaten 16. Eksemplet på utførelse som er vist på figur 23, innbefatter høyre, sentrale og venstre lyskilder 2 hvis respektive omhyllinger 14 har sine sentrale akser anordnet på en innbyrdes parallell måte som illustrert. Lyskildene 2 på figur 23, er for eksempel montert slik at de sentrale aksene til omhyllingene 14 er i en vertikal orientering under bruk.
På figur 24, er det illustrert et eksempel på en utforming for implementering av lyskilden 2 ved å anvende et konkavt sylindrisk speil for å generere et vifteformet lysstråleplan 5, 26 for å dekke deler av en interaksjonsflate 16 fra et hjørne.
På figur 25, er det illustrert et eksempel på en utforming av lyskilden 2 basert på de foran nevnte lyskildene 2, men som anvender et konkavt, sylindrisk speil for å generere et vifteformet lysstråleplan 5, 26 som dekker en interaksjonsflate 16 fra de øvre hjørnene av interaksjonsflaten 16. På figur 26, er det dessuten vist et eksempel på en utforming av en måte belysningskilden 11 er anordnet for en sylindrisk linse og sylindriske speil basert på figurene 16 til 25.
Modifikasjon av utførelsesformer av oppfinnelsen som er beskrevet i det foregående, er mulig uten å avvike fra oppfinnelsens omfang slik den er definert i de vedføyde patentkravene. Uttrykk slik som «innbefattende», «omfattende», «inkorpo-rerende», «bestående av», «har», «er» brukt å beskrive og karakterisere foreliggende oppfinnelse, er ment å skulle oppfattes på en ikke-eksklusiv måte, det vil si å tillate artikler, komponenter eller elementer som ikke eksplisitt er beskrevet, men som også kan være til stede. Referanse til entall skal også oppfattes å relatere til flertall. Tall innbefattet i parenteser i de vedføyde patentkravene, er ment å bidra til å forstå patentkravene og skal ikke på noen måte oppfattes til å begrense innholdet av det innholdet som er angitt i disse kravene.

Claims (25)

1. Kamerabasert flerberørings interaksjonssystem for å bestemme en posisjon og/eller en stilling av minst ett objekt (25) foran en interaksjonsflate (16), hvor systemet innbefatter: et belysningsarrangement (2) for å generere én eller flere plane, vifteformede lysstrålebunter (5, 26) av synlig og/eller nær infrarød lysstråling; et kameraarrangement (1) for å avføle interaksjonsvolumet (16) innenfor et synsfelt for kameraarrangementet (1) for å generere tilsvarende signaler; en beregningsenhet for å beregne posisjonen og/eller stillingen til det minst ene objektet (25) som avskjærer den ene eller de flere plane, vifteformede lysstrålebuntene (5, 26), basert på de signalene som leveres fra kameraarrangementet (1), karakterisert vedat den ene eller de flere vifteformede lysstrålebuntene (5, 26) blir formet under drift slik at deres plan er hovedsakelig parallelt med interaksjonsflaten (16); og den ene eller de flere vifteformede lysstrålebuntene (5, 26) er fokusert i en retning som er hovedsakelig perpendikulær til et plan for interaksjonsflaten (16) slik at den ene eller de flere vifteformede strålebuntene (5, 26) har en hovedsakelig konstant tykkelse i nevnte retning, for å forbedre lysintensiteten og øke nøyaktig-heten av posisjonsbestemmelsen for det minst ene objektet (25), tilveiebragt av systemet.
2. System ifølge krav 1, hvor én eller flere vifteformede lysstrålebunter (5) er anordnet for å belyse interaksjonsflaten (16).
3. System ifølge krav 1 eller 2, hvor systemet er innrettet for å detektere en sveveposisjon for det minst ene objektet (25) i forhold til interaksjonsflaten (16).
4. System ifølge krav 1, 2 eller 3, hvor belysningsarrangementet (2) er innrettet for å generere et antall vifteformede lysstrålebunter (5, 26), hvor hver lysstrålebunt (5, 26) er anbragt for å belyse et tilsvarende rommessig område i nærheten av interaksjonsflaten (16), slik at de tilsvarende rommessige områdene av de vifteformede lysstrålebuntene (5, 26) sørger for sammenhengende belysning av et fullstendig område i nærheten av interaksjonsflaten (16).
5. System ifølge krav 1, hvor den ene eller de flere lysstrålebuntene (5, 26) er anordnet for under drift å belyse et volum i nærheten av interaksjonsflaten (16), men ikke selve interaksjonsflaten (16).
6. System ifølge et av de foregående krav, hvor belysningsarrangementet (2) innbefatter en lyskilde (11) som er innrettet for å bli selektivt modulert i intensitet for å forbedre en bestemmelse av berøring av det ene eller de flere objektene (25) på interaksjonsflaten (16), en sveving og/eller et svevenivå for det ene eller de flere objektene i forhold til interaksjonsflaten (16).
7 System ifølge krav 6, hvor lyskildene (11) er innrettet for å bli selektivt slått på og av.
8. System ifølge krav 6, hvor lyskildene (11) er operative i et blinkende modus innenfor en aktiv avfølingsperiode for kameraarrangementet (1) for effektivt å fryse bevegelser av det ene eller de flere objektene (25).
9. System ifølge ett eller flere av de foregående krav, hvor kameraarrangementet (1) innbefatter ett eller flere optiske filtre for selektivt å blokkere for eller slippe gjennom stråling som skal mottas av sensorene i kameraarrangementet (1), avhengig av en bølgelengde for strålingen.
10. System ifølge krav 9, hvor det ene eller de flere optiske filtrene er innrettet for å tillate lys avskåret av det ene eller de flere objektene (25) med samme bølge-lengdeområde som lys utsendt fra belysningsarrangementet (2), å passere gjennom til kameraarrangementet (1).
11. System ifølge krav 9, hvor det ene eller de flere optiske filtrene er innrettet for å tillate bare synlig lys å passere for å innfange bildene fra en projektor eller en flatskjerm ved interaksjonsflaten (16).
12. System ifølge ett eller flere av de foregående krav, hvor belysningsarrangementet (2) innbefatter et antall lyskilder (11) for å generere den ene eller de flere lysstrålebuntene (5, 26) for å innbefatte stråling ved nær infrarøde bølgelengder, og hvor kameraarrangementet (1) innbefatter ett eller flere optiske filtre som blokkerer synlige strålingsbølgelengder og slipper gjennom nær infrarøde strålingsbølgelengder for å redusere systemets følsomhet for andre lyskilder, innbefattende én eller flere av: dagslys, rombelysning, lys fra projektorer, skjermlys.
13. System ifølge ett eller flere av de foregående krav, hvor systemet er integrert i nytt utstyr eller ettermontert i eksisterende utstyr og er innrettet for å gjøre slikt utstyr interaktivt.
14. System ifølge krav 13, hvor systemet er implementert som et front- eller bakprojeksjonsapparat.
15. System ifølge ett av kravene 1 til 13, hvor systemet er innrettet for å bli operativt montert på eller integrert i projektorveggfester eller skjermfester som innbefatter minst én av: LCD, OLED, LED, CRT.
16. System ifølge ett eller flere av de foregående krav, hvor belysningsarrangementet (2) innbefatter ett eller flere hus (14) hvis respektive lengder for deres til-hørende optiske belysningskomponenter, er anordnet for å gjøre forskjellige lag av de fokuserte viftestrålebuntene (5, 26) tilstrekkelig tynne til å øke oppløsningen og nøyaktigheten til systemet overfor berøring og Z-retningsgester av det ene eller de flere objektene (25) i forhold til interaksjonsflaten (16).
17. System ifølge krav 16, hvor belysningsarrangementet (2) innbefatter én eller flere lysemitterende laserdioder, som er innrettet for å utsende nær infrarød stråling for ytterligere å redusere en tykkelse av det ene eller de flere vifteformede lysstråle-lagene i en retning ortogonal til et plan for interaksjonsflaten (16).
18. System ifølge ett eller flere av de foregående krav, hvor kameraarrangementet (1) er implementert ved å bruke CCD- eller CMOS-pikselsensorer, og belysningsarrangementet (2) er implementert ved å bruke nær infrarøde lysemitterende dioder og tilhørende optiske komponenter innrettet for å overføre og/eller reflektere nær infrarød stråling.
19. System ifølge ett eller flere av de foregående krav, hvor belysningsarrangementet (2) innbefatter: - en konveks linse (10) for å tilveiebringe fokusering av stråling utsendt gjennom denne; - et antall lyskilder (11), hvor lyskildene er anordnet hovedsakelig spredt langs en del av en omkrets for en sirkel som har et sentrum i en sentral akse for linsen (10), for å sikre konsentrert strålingsintensitet i de sektorene til de fokuserte, vifteformede lysstrålebuntene (5, 26), og også for å bidra til å spre tilknyttet varmeutvikling; - en skillevegg (19) anordnet for å begrense belysning fra belysningskildene til om-trent halvparten av diameteren til den konvekse linsen (10); og - et konisk speil (9) for å endre en symmetriakse til å bli hovedsakelig parallell med interaksjonsflaten (16).
20. System ifølge krav 19, hvor det koniske speilet (9) innbefatter en reflekterende overflatevinkel som er innrettet for å skråstille den optiske symmetriaksen til den vifteformede lysstrålebunten (5, 26) mot interaksjonsflaten (16).
21. System ifølge krav 19, hvor skilleveggen (19) er anordnet for å stoppe lysstråler fra hver lyskilde (11) i belysningsarrangementet (2) med oppfattet kilde-størrelse (27) fra å belyse den motsatte delen av den konvekse linsen (10) for derved hovedsakelig å hindre lysstråler fra å krysse den felles optiske aksen (28) for linsen (10) og det koniske speilet (9).
22. System ifølge krav 19, hvor belysningsarrangementet (2) innbefatter det koniske speilarrangementet slik at dets reflekterende overflatevinkel er innrettet for å kompensere for akser for lyskildene (11), som anvendes for å generere den ene eller de flere vifteformede lysstrålebuntene (5, 26) som ikke er innrettet med en sentral akse for den konvekse linsen (10).
23. System ifølge ett eller flere av de foregående krav, hvor den ene eller de flere vifteformede lysstrålebuntene (5, 26) har tilknyttede frontgrenser som er anordnet i tilstrekkelig avstand fra interaksjonsflaten (16) til å belyse et område som svarer til hele interaksjonsflaten, slik at de bakre grensene hovedsakelig utgjøres av interaksjonsflaten (16).
24. Anordning for bruk ved implementering av systemet ifølge ett eller flere av de foregående krav.
25. Fremgangsmåte for anvendelse av et kamerabasert, multiberøringsinter-aksjonssystem for å bestemme en posisjon og/eller en stilling for minst ett objekt (25) foran en interaksjonsflate (16), hvor systemet innbefatter: et belysningsarrangement (2) for å generere én eller flere plane, vifteformede lysstrålebunter (5, 26) av synlig og/eller nær infrarød lysstråling; et kameraarrangement (1) for avføling av interaksjonsflaten (16) innenfor kameraets (1) synsfelt for å generere tilsvarende signaler; en beregningsenhet for beregning av posisjonen og/eller stillingen til det minst ene objektet (25) som avskjærer den ene eller de flere plane, vifteformede lysstrålebuntene (5, 26), basert på de signalene som leveres fra kameraarrangementet (1), karakterisert vedat fremgangsmåten innbefatter: å danne den ene eller de flere vifteformede lysstrålebuntene (5, 26) under drift slik at deres plan er hovedsakelig parallelle med interaksjonsflaten (16); og å fokusere den ene eller de flere vifteformede lysstrålebuntene (5, 26) i en retning hovedsakelig perpendikulær til et plan for interaksjonsflaten (16), slik at den ene eller de flere vifteformede lysstrålebuntene (5, 26) har en hovedsakelig konstant tykkelse i forhold til en ortogonal til planet for interaksjonsflaten (16), for å forbedre lysintensiteten og øke nøyaktigheten av posisjonsbestemmelse for det minst ene objektet (25), tilveiebragt av systemet.
NO20130843A 2010-11-22 2013-06-18 Kamerabasert, multitouch interaksjons- og belysningsapparat samt system og fremgangsmåte NO20130843A1 (no)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US41611610P 2010-11-22 2010-11-22
GB1021212.4A GB2487043B (en) 2010-12-14 2010-12-14 Camera-based multi-touch interaction and illumination system and method
PCT/NO2011/000329 WO2012070950A1 (en) 2010-11-22 2011-11-22 Camera-based multi-touch interaction and illumination system and method

Publications (1)

Publication Number Publication Date
NO20130843A1 true NO20130843A1 (no) 2013-08-22

Family

ID=43567187

Family Applications (1)

Application Number Title Priority Date Filing Date
NO20130843A NO20130843A1 (no) 2010-11-22 2013-06-18 Kamerabasert, multitouch interaksjons- og belysningsapparat samt system og fremgangsmåte

Country Status (10)

Country Link
US (1) US9996197B2 (no)
JP (1) JP6078884B2 (no)
KR (1) KR101831350B1 (no)
CN (1) CN103329079B (no)
BR (1) BR112013015280A2 (no)
DE (1) DE112011103849T5 (no)
GB (1) GB2487043B (no)
NO (1) NO20130843A1 (no)
RU (1) RU2579952C2 (no)
WO (1) WO2012070950A1 (no)

Families Citing this family (35)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9041689B1 (en) * 2012-08-02 2015-05-26 Amazon Technologies, Inc. Estimating fingertip position using image analysis
US10234941B2 (en) 2012-10-04 2019-03-19 Microsoft Technology Licensing, Llc Wearable sensor for tracking articulated body-parts
JP6127465B2 (ja) * 2012-11-20 2017-05-17 株式会社リコー 情報処理装置、情報処理システム及びプログラム
WO2014169225A1 (en) * 2013-04-12 2014-10-16 Iconics, Inc. Virtual touch screen
US20140368442A1 (en) * 2013-06-13 2014-12-18 Nokia Corporation Apparatus and associated methods for touch user input
CN103324292B (zh) * 2013-07-12 2016-01-13 荣滋东 一种凸透镜主光轴指向目标实时定位的方法及装置
JP2015060296A (ja) * 2013-09-17 2015-03-30 船井電機株式会社 空間座標特定装置
WO2015047401A1 (en) 2013-09-30 2015-04-02 Hewlett-Packard Development Company, L.P. Projection system manager
US10025430B2 (en) * 2013-10-08 2018-07-17 Maxell, Ltd. Projection type image display device, manipulation detection device and projection type image display method
CN103729096A (zh) * 2013-12-25 2014-04-16 京东方科技集团股份有限公司 交互识别系统以及显示装置
JP6222830B2 (ja) * 2013-12-27 2017-11-01 マクセルホールディングス株式会社 画像投射装置
GB2522248A (en) * 2014-01-20 2015-07-22 Promethean Ltd Interactive system
JP6387644B2 (ja) * 2014-01-21 2018-09-12 セイコーエプソン株式会社 位置検出装置、位置検出システム、及び、位置検出方法
TWI509487B (zh) 2014-04-25 2015-11-21 Coretronic Corp 互動觸控系統及光源裝置
KR101646562B1 (ko) * 2015-03-09 2016-08-08 주식회사 알엔디플러스 터치스크린 장치 및 그 제어방법 그리고 디스플레이 장치
KR102233090B1 (ko) * 2015-05-19 2021-03-26 에스케이텔레콤 주식회사 터치입력인식장치 및 터치입력인식장치의 동작 방법
JP6544073B2 (ja) * 2015-06-22 2019-07-17 セイコーエプソン株式会社 画像表示システムおよび画像表示方法
CN106325610B (zh) * 2015-06-30 2019-06-11 中强光电股份有限公司 触控显示系统、触控装置与触控显示方法
US10289239B2 (en) 2015-07-09 2019-05-14 Microsoft Technology Licensing, Llc Application programming interface for multi-touch input detection
JP6596501B2 (ja) 2015-10-07 2019-10-23 マクセル株式会社 映像表示装置およびこれに用いる操作検出方法
CN107085493A (zh) 2016-02-16 2017-08-22 中强光电股份有限公司 触控式投影系统及其触控灵敏度的调整方法
US20180059863A1 (en) * 2016-08-26 2018-03-01 Lenovo (Singapore) Pte. Ltd. Calibration of pen location to projected whiteboard
US9729127B1 (en) 2016-08-30 2017-08-08 International Business Machines Corporation Analog controlled signal attenuation
CN106371594A (zh) * 2016-08-31 2017-02-01 李姣昂 一种双目红外视觉便携式手势操控投影系统和方法
CN106371593B (zh) * 2016-08-31 2019-06-28 李姣昂 一种投影交互式书法练习系统及其实现方法
CN110235447B (zh) * 2017-01-19 2023-03-28 索尼互动娱乐股份有限公司 图像传送装置
CN107390955B (zh) * 2017-07-19 2020-07-28 广东美的制冷设备有限公司 家用电器及其控制系统和方法及红外激光多点触控装置
PL422791A1 (pl) * 2017-09-08 2019-03-11 Sle Spółka Z Ograniczoną Odpowiedzialnością Urządzenie do wyświetlania multimediów
US20190361569A1 (en) * 2018-03-28 2019-11-28 Ubi interactive inc. Interactive screen devices, systems, and methods
CN109271066A (zh) * 2018-08-30 2019-01-25 苏州腾邦科技有限公司 可同时书写和录播的电子白板
KR102174464B1 (ko) * 2018-10-08 2020-11-05 주식회사 토비스 공간 터치 감지 장치 및 이를 포함하는 표시 장치
US20220360755A1 (en) * 2020-10-23 2022-11-10 Ji Shen Interactive display with integrated camera for capturing audio and visual information
US20230113359A1 (en) * 2020-10-23 2023-04-13 Pathway Innovations And Technologies, Inc. Full color spectrum blending and digital color filtering for transparent display screens
KR102571965B1 (ko) * 2020-12-16 2023-08-30 주식회사 이미지마이닝 레이저 및 카메라를 이용한 인터렉티브 시스템 및 인터렉티브 영상 제공 방법
KR102615580B1 (ko) * 2023-02-06 2023-12-21 주식회사 에이치디엠 사용자의 움직임에 따라 캐릭터의 동작을 제어하는 캐릭터동작 제어장치 및 그 캐릭터동작 제어방법

Family Cites Families (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3673327A (en) * 1970-11-02 1972-06-27 Atomic Energy Commission Touch actuable data input panel assembly
US5297061A (en) * 1993-05-19 1994-03-22 University Of Maryland Three dimensional pointing device monitored by computer vision
US9513744B2 (en) * 1994-08-15 2016-12-06 Apple Inc. Control systems employing novel physical controls and touch screens
JP3876942B2 (ja) * 1997-06-13 2007-02-07 株式会社ワコム 光デジタイザ
WO1999040562A1 (en) 1998-02-09 1999-08-12 Joseph Lev Video camera computer touch screen system
JP2000105671A (ja) * 1998-05-11 2000-04-11 Ricoh Co Ltd 座標入力/検出装置および電子黒板システム
JP4033582B2 (ja) * 1998-06-09 2008-01-16 株式会社リコー 座標入力/検出装置および電子黒板システム
JP3670896B2 (ja) * 1999-08-06 2005-07-13 日立ソフトウエアエンジニアリング株式会社 電子ボードシステム
JP3640156B2 (ja) * 2000-02-22 2005-04-20 セイコーエプソン株式会社 指示位置検出システムおよび方法、プレゼンテーションシステム並びに情報記憶媒体
ATE453147T1 (de) * 2000-07-05 2010-01-15 Smart Technologies Ulc Verfahren für ein kamerabasiertes berührungssystem
WO2002021502A1 (en) 2000-09-07 2002-03-14 Canesta, Inc. Quasi-three-dimensional method and apparatus to detect and localize interaction of user-object and virtual transfer device
NO20004514A (no) 2000-09-11 2002-01-14 Njoelstad Tormod Tegne-, skrive- og peke-redskap for datamaskinbaserte presentasjoner og kontorarbeid
JP2004523031A (ja) * 2001-01-08 2004-07-29 ヴィーケービー インコーポレイテッド データ入力装置
JP3535476B2 (ja) 2001-05-09 2004-06-07 住友ゴム工業株式会社 球体の三次元姿勢測定方法および該方法を用いた球体の回転量と回転軸方向の測定方法
US7259747B2 (en) * 2001-06-05 2007-08-21 Reactrix Systems, Inc. Interactive video display system
US8456447B2 (en) * 2003-02-14 2013-06-04 Next Holdings Limited Touch screen signal processing
CN100468303C (zh) * 2003-02-14 2009-03-11 奈克斯特控股公司 触摸屏及光学探测物体相对于触摸屏是否存在的方法
NO320062B1 (no) 2003-11-19 2005-10-17 New Interaction Devices And Te Anordning til a detektere naerhet mellom et forste objekt (malobjekt) og et annet objekt (referanseobjekt), samt tegne-, skrive- og/eller pekeredskap for datapresentasjon etc.
US7961909B2 (en) * 2006-03-08 2011-06-14 Electronic Scripting Products, Inc. Computer interface employing a manipulated object with absolute pose detection component and a display
NO323926B1 (no) * 2004-11-12 2007-07-23 New Index As Visuelt system samt styringsobjekt og apparat til bruk i systemet.
US7599561B2 (en) 2006-02-28 2009-10-06 Microsoft Corporation Compact interactive tabletop with projection-vision
EP2011433A1 (en) 2007-07-05 2009-01-07 INTERUNIVERSITAIR MICROELEKTRONICA CENTRUM vzw (IMEC) An autonomous wireless system for evoked potential measurements
RU2362216C1 (ru) * 2008-05-12 2009-07-20 Михаил Герцевич Литманович Устройство для трехмерной манипуляции
CN201331752Y (zh) 2009-01-19 2009-10-21 杭州电子科技大学 一种多点触摸式人机交互装置
KR20090038413A (ko) * 2009-03-31 2009-04-20 동서대학교산학협력단 멀티 터치 기반 대형 인터랙티브 디스플레이 시스템 및 그 방법
US20100277576A1 (en) * 2009-04-29 2010-11-04 David Fattal Systems for Capturing Images Through a Display
JP2011043986A (ja) 2009-08-21 2011-03-03 Seiko Epson Corp 光学式情報入力装置、光学式入力機能付き電子機器、および光学式情報入力方法
US20110248958A1 (en) * 2010-04-08 2011-10-13 Qualcomm Mems Technologies, Inc. Holographic based optical touchscreen

Also Published As

Publication number Publication date
DE112011103849T5 (de) 2013-10-02
US9996197B2 (en) 2018-06-12
JP2014517362A (ja) 2014-07-17
WO2012070950A1 (en) 2012-05-31
CN103329079B (zh) 2016-08-24
RU2579952C2 (ru) 2016-04-10
US20130135260A1 (en) 2013-05-30
BR112013015280A2 (pt) 2017-09-26
GB201021212D0 (en) 2011-01-26
JP6078884B2 (ja) 2017-02-15
GB2487043A (en) 2012-07-11
CN103329079A (zh) 2013-09-25
KR20140003448A (ko) 2014-01-09
GB2487043B (en) 2013-08-14
KR101831350B1 (ko) 2018-02-22
RU2013128536A (ru) 2014-12-27

Similar Documents

Publication Publication Date Title
NO20130843A1 (no) Kamerabasert, multitouch interaksjons- og belysningsapparat samt system og fremgangsmåte
JP5950130B2 (ja) カメラ式マルチタッチ相互作用装置、システム及び方法
JP6539816B2 (ja) 1つのシングル・センシング・システムを使用したマルチ・モーダル・ジェスチャー・ベースの対話型のシステム及び方法
US8842076B2 (en) Multi-touch touchscreen incorporating pen tracking
JP5346081B2 (ja) ペントラッキングを組み込んだマルチタッチ式タッチスクリーン
US9262016B2 (en) Gesture recognition method and interactive input system employing same
CN101231450B (zh) 多点及物体触摸屏装置及多点触摸的定位方法
CA2885950A1 (en) Interactive input system and method for grouping graphical objects
Maierhöfer et al. TipTrack: Precise, Low-Latency, Robust Optical Pen Tracking on Arbitrary Surfaces Using an IR-Emitting Pen Tip
Ang et al. Development of a multi-touch table for natural user interface
NO20130840A1 (no) Kamerabasert, multitouch interaksjons- og belysningssystem samt fremgangsmåte
Rusnák Interaction Methods for Large High-Resolution Screens

Legal Events

Date Code Title Description
CHAD Change of the owner's name or address (par. 44 patent law, par. patentforskriften)

Owner name: SEIKO EPSON CORPORATION, JP

FC2A Withdrawal, rejection or dismissal of laid open patent application