SE512182C2 - Styranordning och sätt med ett bildregistreringsorgan för styrning av ett objekt - Google Patents

Description

lO 15 20 25 30 512 182 2 Det finns vidare styranordningar för styrning av objekt i två dimensioner, dvs i ett plan, eller i tre dimensioner, dvs i en rymd.

I WO 98/11528 beskrivs en styranordning som ger tre- dimensionell information till en dator. Anordningen byg- ger på tre accelerometrar som är placerade i inbördes vinkelräta riktningar och som kan mäta acceleration eller lutning i en till tre riktningar. Anordningen kan exem- pelvis placeras på användarens huvud eller vara hand- hållen.

En datormus för inmatning av tredimensionell infor- mation i en dator beskrivs i det amerikanska patentet US 5 506 605. Denna datormus är handhållen och avsedd att hållas fritt i rummet. Den kan vidare innefatta sensorer för mätning av olika fysikaliska egenskaper som sedan tolkas av lämplig elektronik, omvandlas till digital form och matas in i datorn. Musens läge i rummet bestäms av lägessensorer, som kan baseras på ljus, acceleration, gyroskop etc. I den beskrivna utföringsformen används en ultraljudssensor och en magnetsensor. Baserat på den in- matade informationen kan datorn sedan generera en taktil återkoppling i form av vibrationer som exempelvis ger an- vändaren information om var musen befinner sig i förhål- lande till det önskade läget.

Sammanfattning av uppfinningen Ett ändamål med föreliggande uppfinning är att åstadkomma en förbättrad styranordning och ett förbättrat sätt för styrning av ett objekt som lämpar sig för styr- ning i både två och tre dimensioner av såväl fysiska som virtuella objekt.

Detta ändamål uppnås med styranordningar enligt patentkraven 1 och 21 samt med ett sätt enligt patent- kravet 22. Föredragna utföringsformer anges i under- kraven. 2 “~.:3.l*T5>'~.^l ÉEESEP2 133' 7 67 . ICC 10 15 20 25 30 35 512 Nää 3 Uppfinningen avser alltså enligt en första aspekt en styranordning med ett bildregistreringsorgan som är an- ordnat att förflyttas av en användare, företrädesvis manuellt, för styrning av ett objekt, vilket kan vara fysiskt eller virtuellt, som funktion av bildregistre- ringsorganens förflyttning. Styranordningen är anordnad att registrera ett flertal bilder med delvis överlappande innehåll när bildregistreringsorganen förflyttas, varvid det delvis överlappande innehållet i bilderna gör det möjligt att bestämma hur bildregistreringsorganen har förflyttats.

Uppfinningen bygger sålunda på idén att använda bil- der för att bestämma hur en enhet förflyttas. Denna tek- nik kan användas både för två- och tredimensionell styr- ning. Den är fördelaktig för den kräver ett litet antal sensorer och inga rörliga delar. Hela förflyttnings- informationen finns i det överlappande innehållet i bilderna. Genom att anordningen registrerar bilder av omgivningen erhålls en ”absolut” positionsangivelse, som gör det möjligt att detektera när bildregistrerings- organen befinner sig i en specifik position, vilket t ex inte är möjligt med styranordningar som är baserade på accelerationsmätning. Förutom förflyttning kan dessutom vridning detekteras och användas för styrning.

I en utföringsform är styranordningen avsedd för styrning av ett objekt i ett plan. De överlappande bil- derna gör det då möjligt att inte bara bestämma bild- registreringsorganens förflyttning utan även dess vrid- ning i planet, vilket exempelvis inte är möjligt med traditionella musar med kula. Styranordningen är alltså med fördel anordnad att styra objektets vinkelläge i planet. När anordningen är avsedd för styrning i ett plan, har den med fördel ett ljuskänsligt sensororgan med tvàdimensionell sensoryta för registrering av bilderna.

Med tvàdimensionell sensoryta menas här att sensorytan .l 2323- LS-.IE 'lfl : li: 1::“~.:~?aT“~.CE\2>.§?E*_1993\.?29317G7 .ÉÜC 10 l5 20 25 30 512 182 4 skall kunna avbilda en yta med en matris av bildpunkter.

Exempel på lämpliga sensorer är CCD-sensorer och CMOS- sensorer. Det räcker alltså med en enda sensor för att åstadkomma styrningen i ett plan.

I en alternativ utföringsform är anordningen avsedd för styrning av ett objekt i en rymd. Även i detta fall är styranordningen med fördel anordnad att styra objek- tets vinkelläge, I ett varvid styrningen kan ske kring tre axlar. sensorsnålt utförande kan det räcka att an- ordningen ha två ljuskänsliga sensororgan med två- dimensionell sensoryta för registreringen av nämnda bilder i två olika riktningar.

För mera precis styrning i rymden är det emellertid att föredra att styranordningen innefattar tre sensor- organ för registreringen av bilderna i tre företrädesvis vinkelräta riktningar. Då blir det möjligt att bestämma translationen längs tre inbördes vinkelräta axlar samt vridningen kring dessa axlar med relativt okomplicerade beräkningar.

Styranordningen har lämpligen bildbehandlingsorgan för åstadkommande av styrsignaler för styrningen av ob- jektet. Bildbehandlingsorganen kan finnas i samma fysiska hölje som bildregistreringsorganen, varvid utsignalerna från detta fysiska hölje således utgör styrsignalerna för styrning av objektet som skall styras. Bildbehandlings- organen kan emellertid också finnas i ett annat fysiskt hölje, exempelvis i en dator vars markör utgör objektet som skall styras, eller i en dator som i sin tur styr eller utgör del av ett fysiskt objekt som styrs med styr- anordningen, varvid utsignalerna från bildbehandlings- organen utgör styrsignalerna för styrning av objektet.

Det skall i detta sammanhang påpekas att de från bild- behandlingsorganen utmatade styrsignalerna kan kräva ytterligare behandling innan de kan användas för direkt LÜfiEÉ-LLI-Üš ll 2 1.12 G: \PP.T*~.C:I'~..3«.I-IS\1QÉÉT-.PÉBSLTE7 .il-OC 10 15 20 25 30 35 5 w iffàfi 5 styrning av objektet. Bildbehandlingsorganen realiseras med fördel med hjälp av en processor och programvara.

Bildbehandlingsorganen är lämpligen anordnade att bestämma bildernas inbördes lägen med hjälp av det delvis överlappande innehållet för åstadkommande av nämnda styr- signaler. I det fall att styranordningen används för styrning i tre dimensioner görs detta lämpligen paral- lellt för samtliga sensororgan. Från bildernas inbördes lägen kan förflyttningssträckan och -riktningen och där- med den aktuella positionen bestämmas.

Styranordningen har med fördel en kalibreringsmod, i vilken bildregistreringsorganen förflyttas på så sätt att det är möjligt för bildbehandlingsorganen att relatera bildernas inbördes läge till en verklig förflyttning av bildregistreringsorganen. Alternativt skulle man kunna förse styranordningen med avståndsmätare som mäter av- ståndet till de ytor som avbildas med hjälp av sensor- organen, men detta blir naturligtvis dyrare.

Bildbehandlingsorganen är lämpligen anordnade att alstra nämnda styrsignaler på basis av minst en för- flyttningsvektor som erhålles från bildernas inbördes lägen.

Bildbehandlingsorganen kan dessutom eller som ett alternativ vara anordnade att alstra nämnda styrsignaler på basis av minst en vridningsangivelse som erhålles från bildernas inbördes lägen. Styrsignalerna kan alltså an- vändas för styrning av både ett objekts förflyttning och dess vridning, vilket är en fördel jämfört med traditio- nella mekaniska datormusar.

I fallet med en styranordning för tredimensionell styrning kan bildbehandlingsorganen kombinera informa- tionen från samtliga sensororgan beträffande bildernas inbördes lägen för att generera en förflyttningsvektor och en vridningsvektor. Bildregistreringsorganens posi- tion kan därmed bestämmas entydigt. Med andra ord kan lÉÉEB-'lÛ-ÅIE 11 : G: \~.FÅT'-.CE'~.ÄI~ÉE'~.19?3“~.P2931767 .DOG 512182 10 15 20 25 30 35 6 alltså styranordningen utföra en digitalisering av den rörelse som en hand utför när den flyttar bildregistre- ringsorganen så att en dator kan styra ett objekt på basis av rörelsen.

I en utföringsform kan bildbehandlingsorganen vara anordnade att alstra nämnda styrsignaler på basis av den hastighet med vilken bildregistreringsorganen har för- flyttats, varvid hastigheten bestäms från bildernas in- bördes lägen och bildregistreringsfrekvensen_ Mottagaren av styrsignalerna bör lämpligen veta att styrsignalerna är just styrsignaler så att den vet hur signalerna skall behandlas vidare. Bildbehandlingsorganen är därför företrädesvis anordnade att avge nämnda styr- signaler på så sätt att det är möjligt för en mottagare att identifiera styrsignalerna som avsedda för styrning av ett objekt. Detta kan t ex ske genom användning av ett förutbestämt protokoll.

En fördel med användningen av en bildbaserad styr- anordning är att det blir möjligt att bestämma när bild- registreringsorganen befinner sig en förutbestämd posi- tion eftersom denna kan definieras med en eller flera bilder. Det är t ex möjligt att detektera när bild- registreringsorganen är tillbaka i ett utgångsläge. För detta ändamål är bildbehandlingsorganen anordnade att lagra minst en referensbild och att jämföra senare registrerade bilder med denna för att generera en signal vid väsentligen fullständig överlappning.

I det fall bildregistreringsorganen och bildbehand- lingsenheten finns i olika fysiska höljen, kan bild- registreringsorganen med fördel innefatta en sändare för trådlös överföring av bilder från bildregistrerings- organen till bildbehandlingsorganen. Speciellt om bild- registreringsorganen och bildbehandlingsorganen befinner sig i samma fysiska hölje kan det vidare vara en fördel om bildbehandlingsorganen innefattar en sändare för tråd- Lš 315 - I *J-ZI 'E ilzl E: '\.På'-.T\~.Cå\.l.l~l.?~ÅLQÉEÄPZ 981.7' _ ï-OC 10 15 20 25 30 35 512 182 7 lös avgivning av styrsignalerna, exempelvis till en dator vars markör skall styras. I båda dessa fall blir styran- ordningen väldigt enkel att använda eftersom det inte behövs någon sladd för informationsöverföringen. En an- vändare kan t ex ha sitt personliga bildregistrerings- organ eller styranordning och använda den till olika datorer eller mottagare av styrsignalerna. Sändaren kan vara en IR-sändare, en radiosändare, som exempelvis ut- nyttjar den sk bluetooth-standarden eller någon annan sändare som är lämpad för trådlös informationsöverföring mellan två enheter som befinner sig relativt nära var- andra.

I en föredragen utföringsform är styranordningen en datormus, dvs en anordning som kan anslutas till en dator och användas för att positionera en markör i en, två eller flera dimensioner.

Styranordningen kan användas i en absolutmod eller en relativmod. I absolutmoden är det styrda objektets rörelse proportionell mot bildregistreringsorganens rö- relse. Med andra ord rör sig objektet på ett sätt som motsvarar bildregistreringsorganens rörelse, oavsett var detta befinner sig. I relativmoden är dock styranord- ningen konfigurerad så att det styrda objektets hastighet eller acceleration ökar när bildregistreringsorganens av- stånd från ett fördefinierat origo ökar. Därmed blir det möjligt att åstadkomma en snabbare rörelse för objektet genom att hålla bildregistreringsorganen längre bort från det fördefinierade origot, samtidigt som man kan uppnå precisionsstyrning genom att hålla bildregistrerings- organen närmare origot.

Enligt en andra aspekt av uppfinningen avser denna en styranordning med ett bildregistreringsorgan som är anordnad att vridas, företrädesvis manuellt, för styrning av ett objekt som funktion av bildregistreringsorganens vridning. Styranordningen är anordnad att registrera ett lIfåS-lG-íiš 111111 'S2ÉPÄT'xíñflafïï-.l993\P2931767.DOG 10 15 20 25 30 512 182 8 flertal bilder med delvis överlappande innehåll när bild- registreringsorganen vrids, varvid det delvis överlap- pande innehållet i bilderna gör det möjligt att bestämma hur bildregistreringsorganen har vridits.

Denna styranordning är alltså baserad på samma idé som den ovan beskrivna styranordningen, men istället för att objektet styrs som funktion av bildregistrerings- organens förflyttning styrs det som funktion av dess vridning. Denna styranordning kan t ex vara en styrkula.

De utföringsformer som diskuteras ovan är till stor del också applicerbara på vridningsstyranordningen och samma fördelar erhålles.

Enligt en tredje aspekt av uppfinningen avser denna ett sätt att styra ett objekt, innefattande stegen att förflytta en styranordning; registrera, med hjälp av styranordningen, ett flertal bilder med överlappande innehåll under förflyttningen av styranordningen; och bestämma styranordningens förflyttning med hjälp av inne- hållet i de överlappande bilderna. Samma fördelar som med anordningarna ovan erhålles.

Kort beskrivning av ritningarna I det följande skall föreliggande uppfinning beskri- vas mera i detalj genom utföringsexempel under hänvisning till bifogade ritningar, på vilka fig 1 schematiskt visar en utföringsform av en styr- anordning enligt uppfinningen; fig 2 är ett blockschema över elektroniken i en ut- föringsform av styranordningen enligt uppfinningen; fig 3 visar schematiskt en andra utföringsform av en styranordning enligt uppfinningen; fig 4 är ett flödesschema som visar hur en styr- anordning för tvàdimensionell styrning kan fungera; fig 5 visar schematiskt en ”öppen låda” i vilken styranordningen i fig 3 kan användas; lïšÉšB-'XJJ--Jš 'll : 112 S: “-.P?a'F“-.Cl-ï“~.:-1l~ï5"~. 1939113295 l? E? . :FSC 10 15 20 25 30 512 182 9 fig 6 visar schematiskt en förflyttning av styr- anordningen enligt uppfinningen från en punkt (x,y,z) till en punkt (x+öx,y+öy,z+Öz) i ett ortonormerat koordi- natsystem med axlarna ex, ey och ez; fig 7 visar schematiskt vilka translationsskalärer som utmatas från respektive sensor vid en förflyttning av styranordningen (index anger vilken sensor som genererar respektive skalärer); och fig 8 visar schematiskt hur styranordningen är av- sedd att förflyttas i kalibreringsmoden.

Beskrivning av föredragna utföringsformer Styranordningen enligt uppfinningen kan realiseras i utföringsformer av väsentligen två huvudtyper. Nedan kom- mer en första utföringsform av styranordningen enligt uppfinningen att beskrivas, vilken är avsedd att användas som en tvàdimensionell mus. Därefter kommer en andra ut- föringsform av styranordningen att beskrivas, vilken är avsedd att användas som en tredimensionell mus. Slutligen beskrivs den tvådimensionella och den tredimensionella musens funktion. I båda de beskrivna utföringsformerna finns bildregistreringsorganen och bildbehandlingsorganen i samma fysiska hölje, varifrån styrsignaler avges. Såsom nämnts kan bildbehandlingsorganen också finnas i ett separat fysiskt hölje. Fackmannen kan mycket enkelt göra denna modifiering.

Styranordningens konstruktion I den i fig 1 visade första utföringsformen av styr- anordningen har denna ett hölje l med ungefär samma form som en konventionell överstrykningspenna. Höljets ena kortände har ett fönster 2, via vilket bilder läses in till anordningen. Fönstret 2 är något indraget i höljet så att det inte slits mot den underliggande ytan.

Höljet 1 inrymmer i huvudsak en optikdel 3, en elek- tronikdel 4 och en strömförsörjningsdel 5. lfiïšë-ÄEÜ-Llš llilê G:\PAT'~¿ÉHKÄI'TS“~.l9§E\.P29S176?.SCC lO 15 20 25 30 35 512182 10 Optikdelen 3 innefattar en lysdiod 6, ett linssystem 7 och bildregistreringsorgan i form av en ljuskänslig sensor 8 som utgör gränssnitt mot elektronikdelen 4.

Lysdioden 6 har till uppgift att belysa en yta som för tillfället finns under fönstret. En diffusor 9 är monterad framför lysdioden 6 för att sprida ljuset.

Linssystemets 7 uppgift är att projicera en bild av den yta som befinner sig under fönstret 2 på den ljus- känsliga sensorn 8 pà ett så korrekt sätt som möjligt.

Den ljuskänsliga sensorn 8 utgörs i detta exempel av kvadratisk CCD-enhet (CCD = charge laddningskopplad inenhet) med inbyggd en tvàdimensionell, coupled device, A/D-omvandlare. Sådana sensorer är kommersiellt tillgäng- liga. Sensorn 8 är monterad i liten vinkel mot fönstret 2 och pà ett eget kretskort 11.

Strömförsörjningen till styranordningen erhålls från ett batteri 12 som är monterat i ett separat fack 13 i höljet.

I blockschemat i fig 2 visas elektronikdelen 4 sche- matiskt. Den innefattar en processor 20, vilken via en buss 21 är kopplad till ett läsminne 22, i vilket proces- sorns program är lagrade, till ett skriv-läsminne 23, vilket utgör processorns arbetsminne och i vilket bil- derna fràn sensorn lagras, till en styrlogikenhet 24, samt till sensorn 8 och lysdioden 6. Processorn 20, bus- sen 21, minnena 22 och 23, styrlogikenheten 24, samt tillhörande program utgör tillsammans bildbehandlings- organ.

Styrlogikenheten 24 är i sin tur kopplad till ett antal periferienheter, som innefattar en radiosändtagare 26 för överföring av information till/från en extern dator, knappar 27, medelst vilka användaren kan styra bildregistreringsorganen och som även kan användas som klickknapparna på en konventionell mus, samt en indike- ringsanordning 29, t ex en lysdiod, som indikerar när 1233-104312 'i l : li: S: XPF-.T'~.'(IF'~.3-.l~1$\12 ÉÉT-.PZ 3317 E? . “OC 10 15 20 25 30 512 182 ll musen är redo att användas. I styrlogikenheten 24 gene- reras styrsignaler till minnena, sensorn och periferi- enheterna. Styrlogiken hanterar även generering och prioritering av avbrott till processorn. Knapparna 27, radiosändtagaren 26, och lysdioden 6 nås genom att pro- cessorn skriver och läser i ett register i styrlogik- enheten 24. Knapparna 27 genererar avbrott till proces- sorn 20 när de aktiveras.

I fig 3 visas en andra utföringsform av styranord- ningen enligt uppfinningen. Denna har på samma sätt som i den första utföringsformen ett pennformat hölje 31. Ut- över fönstret 32 vid höljets ena kortände har anordningen och 32". 32, 32', 32" är något indragna i höljet så att de inte ytterligare två fönster 32' Samtliga fönster slits eller repas om styranordningen skulle stöta emot någon yta vid användning, eller när den är i viloläge.

Höljet 1 inrymmer liksom i fallet ovan huvudsakligen en optikdel 33, en elektronikdel 34 och en strömförsörj- ningsdel 5.

Optikdelen 33 innefattar ett linspaket (ej visat) med tre linssystem och en sensoruppsättning (ej visad) med tre ljuskänsliga sensorer som utgör gränssnitt mot elektronikdelen 34 för respektive fönster 32, 32' och 32". Någon lysdiod finns ej i denna utföringsform.

Styranordningen är avsedd att hållas på avstånd från de ytor som avbildas och därmed blir i de flesta fall det omgivande ljuset tillräckligt för att bilder ska kunna registreras.

Linssystemens uppgift är att projicera bilder av de ytor mot vilka fönstrena 32, 32', 32" är riktade på de ljuskänsliga sensorerna på ett så korrekt sätt som möj- ligt.

De ljuskänsliga sensorerna utgörs i precis som ovan av tvådimensionella, kvadratiska CCD-enheter med inbyggda ljššlš-ÄL-ÉJ-C? il : 15: S: 'EPÉ-.T“=Cä\.P.I*T5'-.l998\~.F2931?6? .DOC 10 15 20 25 30 35 512 182 12 A/D-omvandlare. Sensorerna är monterade på var sitt kretskort.

Strömförsörjningen till styranordningen erhålls även i denna utföringsform från ett batteri som är monterat i ett separat fack i höljet.

Elektronikdelen i denna andra utföringsform av upp- finningen har väsentligen samma utformning som beskrevs ovan i samband med den första utföringsformen. Elektro- nikdelen är gemensam för alla tre sensorerna.

Tillämpning av anordningen som tvådimensionell mus Anordningen enligt den första utföringsformen kan användas som en mus för inmatning av förflyttnings- information, medelst vilken en markör kan styras på en datorskärm.

Användaren riktar styranordningens fönster 2 mot en mönstrad yta, t ex en musmatta. Han trycker på en av knapparna 27 för aktivering av blildregistreringsorganet, varvid processorn 20 styr lysdioden 6 till att börja stroboskopera med en förutbestämd frekvens, lämpligen minst 50 Hz. Användaren för därefter styranordningen pà samma sätt över ytan som vore den en traditionell mus, varvid bilder med delvis överlappande innehåll regist- reras av sensorn 8 och lagras i läs-skriv-minnet 23.

Bilderna lagras just som bilder, dvs med hjälp av ett flertal bildpunkter, som var och en har ett gråskalevärde i ett intervall från vitt till svart.

I flödesschemat i fig 4 visas mera i detalj hur den tvådimensionella musen fungerar. I steg 400 läses en startbild in. I steg 401 läses nästa bild in. Denna bilds innehåll överlappar delvis den närmast föregående bildens innehåll.

Så snart en bild i steg 401 har registrerats på- börjas en bestämning av hur den överlappar den närmast föregående bilden i både vertikal och horisontell led, steg 402, dvs i vilket inbördes läge man får den bästa 10 15 20 25 30 35 512 182 13 överensstämmelsen mellan innehållet i bilderna. För detta ändamål undersöks varje tänkbar överlappningsposition mellan bilderna, sett på bildpunktsnivå, och bestäms ett överlappningsmått enligt följande: 1) För varje överlappande bildpunktsposition summe- ras gråskalevärdena för de båda ingående bildpunkterna om dessa inte är vita. En sådan bildpunktsposition i vilken ingen av bildpunkterna är vita betecknas en plusposition. 2) Gråskalesummorna för alla pluspositioner summe- ras. 3) Grannarna till varje bildpunktsposition under- söks. Om en överlappande bildpunktsposition inte är gran- ne till någon plusposition och består av en bildpunkt som är vit och en bildpunktsposition som inte är vit sub- traheras gråskalevärdet för den icke-vita bildpunkten, eventuellt multiplicerat med en konstant, från summan under punkt 2). 4) Den överlappningsposition som ger det högsta överlappningsmåttet enligt ovan väljs.

I vår svenska patentansökan nr 9704924-1 och mot- svarande amerikanska ansökan nr O24 641 beskrivs ett alternativt sätt att matcha bilderna för att hitta den bästa överlappningpositionen. Innehållet i dessa ansök- ningar inkorporeras härmed i denna ansökan.

Så fort den bästa överlappningspositionen mellan den aktuella bilden och den föregående bilden har bestämts, kastas den föregående bilden, varvid den aktuella bilden blir den föregående bilden i förhållande till nästa in- lästa bild.

Genom bestämningen av det inbördes läget för de två bilderna erhålles en förflyttningsvektor, som anger hur långt och i vilken riktning bildregistreringsorganen har flyttats mellan registreringen av de två bilderna. En styrsignal, i vilken denna förflyttningsvektor ingår, sänds därefter, steg 403, av radiosändtagaren 26 till den 10 15 20 25 30 512 182 14 dator som styranordningen utgör mus för. Datorn använder förflyttningsvektorn till att positionera markören på dess skärm. Därefter går flödet tillbaka till steg 401.

För att öka hastigheten kan stegen utföras delvis paral- lellt, t ex genom att inläsningen av nästa bild påbörjas redan medan den aktuella bilden håller på att passas sam- man med den föregående.

Knapparna 27 kan när musen är aktiverad användas som klickknappar för inmatning av instruktioner till datorn.

Tillämpning av anordningen som tredimensionell mus Anordningen enligt den andra utföringsformen kan användas som en mus för inmatning av förflyttningsinfor- mation, medelst vilken en markör kan styras i tre dimen- sioner på en datorskärm, dvs i en rymd.

Såsom beskrivits ovan innefattar den tredimensio- 32', 32" nella, ljuskänsliga sensorytor. Sensorernas huvudaxlar är nella musen tre sensorer 32, med tvådimensio- orienterade längs x-, y- respektive z-axlarna i ett orto- gonalt koordinatsystem och har en tvådimensionell rymd- upplösning som är n x n pixlar och en tidsupplösning som är m bilder/sekund. Varje linssystem åstadkommer ett syn- fält med synvinkeln V radianer åt den tillhörande sensor- ytan.

Vid användning utförs musrörelserna inuti en ”öppen låda” 50 enligt figur 5, vilken definieras av åtminstone två sidoväggar 51 respektive 52 som är vinkelrät orien- terade relativt varandra, och ett golv 53. Det är även tänkbart att musen kan hållas fritt i rummet, men då krävs mer komplexa beräkningsalgoritmer än de som kommer att beskrivas nedan.

Vid användningen utnyttjas det förfarande för be- stämning av bilders inbördes lägen som har beskrivits ovan för varje sensor. Funktionen kan alltså även i detta fall beskrivas med flödesschemat i fig 4, fast istället "*.Ci^'."~..-t"-.I*.';5 l 923 RPZBS 1757 . “GC 10 15 20 25 30 512 182 15 för att läsa in enskilda bilder läses en bilduppsättning bestående av tre bilder in samtidigt. Med hjälp av de bilder som varje ljuskänslig sensor registrerar genereras alltså en förflyttningsvektor och en vridningsvektor, vilka beskriver den rörelse som musen har utfört mellan registreringen av tvà konsekutiva bilder.

För att musen skall kunna användas framgångsrikt förutsätts vidare att ljusförhàllandena är sådana att de ljuskänsliga sensorerna kan registrera bilder av sådan kvalitet att de kan behandlas enligt ovan.

För att ytterligare underlätta förståelsen av hur musens rörelse kan styra objektet ges här en exemplifie- rande beskrivning under hänvisning till fig 6 av de be- räkningar som görs för att bestämma musens rörelse.

Antag att musen är belägen i positionen och (x,y,z) har en rotation som kan beskrivas med den ortonormala rotationsmatrisen R. Musens x-axel pekar alltså i rikt- ningen Rex, y-axeln pekar i riktningen Rey och z-axeln pekar i riktningen Rea. Antag vidare att musen mellan registreringen av två bilder utför en translationsrörelse och/eller en rotationsrörelse enligt följande: (x,y,z) -* (x+Öx,y+öy,z+Öz) R -* R -ÖR I musens lokala koordinatsystem kan translations- vektorerna definieras såsom visas i fig 7. Den första sensorn registrerar rörelser i x- och y-riktningarna, den andra sensorn registrerar rörelser i y- och z-rikt- ningarna och den tredje sensorn registrerar rörelser i x- och z-riktningarna. För vilken triplett som helst av konsekutiva bilder beskriver därför translations- skalärerna (x1,yl,y2,z2,x3,z3) musens detekterade rörelse. Translationsskalärerna utgörs av utmatningarna från bildpusslingsalgoritmen för respektive sensor.

S: *-.??~.T"-.Clf1'.“~.?~.l\í5 '~.199$\P2991?6? .D-.C 10 15 20 25 512 182 16 För att beräkna musens rotation, beräknas hur en rotation påverkar translationsskalärerna. Antag att musen roteras en vinkel d, som är tillräckligt liten för att sin a e a. För tydlighetens skull antas vidare att rota- tionen sker runt z~axeln med az radianer. Denna rotation ger upphov till skalärerna y2=íazod1x3=-ia, v v där n är antalet pixlar längs en sida av sensorn och v är sensorytans synvinkel, uttryckt i radianer. För samtliga axlar erhålls då o-ïow v 2 0 0 xl v yl ooïax yz v _ W ay _ z2 0 -- 0 az x3 Û Û “" z3 v - O 0 _v För att beräkna translationsrörelsen behöver man vidare känna till det funktionella avståndet från varje sensor till den omgivande geometrin. Det funktionella avståndet är en konstant som relaterar utmatningen från bildpusslingsalgoritmen till translationsrörelsen. Det funktionella avståndet bestäms genom en kalibrering som kommer att beskrivas längre fram i denna ansökan. För specialfallet där musen rör sig inuti en ”öppen låda” 50 enligt ovanstående beskrivning motsvarar det funktionella avståndet det geometriska avståndet mellan musens mitt 52 och 53. lighetens skull betraktas en translation ett stycke Öx och lådans 50 respektive väggar 51, För tyd- l. 3135-10-35 ll : lá G: '~_PP.T“~.CF*.?~.l-I.?“~.l9;3ÄPZÉSlTÉIT _ DON" 512 182' 17 längs x-axeln. Translationen för skalärerna xl och X3 blir då xl= n väx Zdlmn- 2 respektive 5 x3=--B-í;åx 2d,mn- 2 Här är dl och d3 de funktionella avstånden från musen till de projicerade ytorna för (x1,yl) och (x3,z3). Om detta generaliseras till samtliga axlar erhålls i " v o o Zmtmv- o ” v o 2d,wn- 2 xl n Û :___-TI 0 åx y] 2 å), = 0 0 ___f__; 62 22 zafian- X3 2 3 n z V 0 0 2d3mn- 2 o o " v 2d3mn- 10 2 Sammanfattningsvis kan alltså translationen (Öx,Öy,Öz> och rotationen (a,,ay,a,)erhàllas genom att lösa följande ekvationssystem, vilket är lösbart. 15 "Ešä-lj-'JE illtlà G:ï.Pål"ESK\à1~I§\l99S\P29S176?.DOC lO 15 512182 18 o o 0 -3 o l 2dflan- 2 o in; o 9- o o zdnan- V 2 åx xl n n o -_ï o o o 3 sy y1 zdztan: åz = yz o o _11: o -ï o “I 22 zdzfanï V “y X3 az 23 " V o o o o -ï 2d3tan- V o o " v f o o zdnan- 2 Kalibrering, dvs beräkning av de funktionella av- stànden dl, d2 och d3 kan utföras genom att flytta musen längs den öppna làdans kanter. Man förflyttar musen utmed x-, y- och z-axlarna enligt en sekvens A-B-C som visas i fig 8. Varje rörelse ger upphov till två ekvationer, vilka tillsammans ger följande ekvationssystem: d1-o,s= " v d,-o,s=_"_v dz-ofiév 2x, tanï 2y2 tan: 222 tan: d3+o,s= ” V d,-o,s=_"- d,-o,s= " v Zx, tan: Zyl tan- 223 tanï Detta överbestämda ekvationssystem innehåller all in- formation som behövs för att beräkna värdena för de dg och d3.

Med musen enligt denna utföringsform kan användaren funktionella avstànden dh vidare välja att vid en viss tidpunkt lagra de bilder som sensorerna för tillfället registrerar i ett minne. I L? 23- ltl-Llfl? 11:14 13.: “nPï-.Tï.iïä“~.ï«í\ïš\xlBêlïxíïââlïfë? .DOG 10 15 512 182 19 fortsättningen jämförs varje uppsättning av registrerade bilder med den lagrade bilduppsättningen och när en full- ständig överlappning föreligger genereras en signal till användaren. Detta möjliggör precisionsstyrning av ett objekt eftersom användaren kan hitta tillbaka till exakt den position i vilken musen, och därmed objektet, befann sig vid ett tidigare tillfälle. Givetvis kan samma prin- ciper användas i fallet med tvådimensionell styrning av ett objekt.

I en annan tillämpning av musen detekteras endast rotationsrörelsen. I detta fall behövs ingen kalibrering och det räcker med att endast lösa den ekvation som presenterades ovan i samband med rotationsdiskussionen.

Musen kan i denna tillämpning exempelvis monteras på en hjälm eller liknande som bärs av användaren och användas i exempelvis olika typer av så kallade ”virtual reality”- tillämpningar. »i G: EPÃT "~.CH\?~.I~I$“-_1995“~.P2 98176? . E-OC

Claims (29)

10 15 20 25 30 512 182 *Û PATENTKRAV

1. Styranordning med ett bildregistreringsorgan som är anordnat att förflyttas, företrädesvis manuellt, för styrning av ett objekt som funktion av bildregistrerings- organens förflyttning; k ä n n e t e c k n a d av att styranordningen är anordnad att registrera ett flertal bilder med delvis överlappande innehåll när bildregist- reringsorganen förflyttas, varvid det delvis överlappande innehållet i bilderna gör det möjligt att bestämma hur bildregistreringsorganen har förflyttats.

2. Styranordning enligt krav 1, varvid styranord- ningen är anordnad för styrning av nämnda objekt i ett plan.

3. Styranordning enligt krav 2, varvid styranord- ningen är anordnad att styra nämnda objekts vinkelläge i nämnda plan.

4. Styranordning enligt krav 2 eller 3, vidare innefattande ett ljuskänsligt sensororgan (8) med tvä- dimensionell sensoryta för registreringen av bilderna.

5. Styranordning enligt krav 1, varvid styranord- ningen är avsedd för styrning av nämnda objekt i en rymd.

6. Styranordning enligt krav 5, varvid styranord- ningen är anordnad att styra nämnda objekts vinkelläge i nämnda rymd.

7. Styranordning enligt krav 5 eller 6, vidare inne- fattande minst tvà ljuskänsliga sensororgan (8) med tvä- dimensionell sensoryta för registreringen av nämnda bilder i två olika riktningar.

8. Styranordning enligt krav 5 eller 6, vidare inne- fattande tre ljuskänsliga sensororgan (8) med tvädimen- sionell sensoryta för registreringen av nämnda bilder i tre linjärt oberoende riktningar. 10 15 20 25 30 ll 512 182

9. Styranordning enligt något av krav 1-8, vidare innefattande bildbehandlingsorgan (20-24) för åstad- kommande av styrsignaler för styrningen av nämnda objekt.

10. Styranordning enligt krav 9, varvid bildbehand- lingsorganen (20-24) är anordnade att bestämma bildernas inbördes lägen med hjälp av det delvis överlappande inne- hållet för àstadkommande av nämnda styrsignaler.

11. Styranordning enligt något av krav 5-8, vidare innefattande bildbehandlingsorgan (20-24) som är anord- nade att bestämma bildernas inbördes lägen med hjälp av det delvis överlappande innehållet samtidigt för samtligah ljuskänsliga sensororgan (8) för åstadkommande av nämnda styrsignaler.

12. Styranordning enligt krav 11, varvid styranord- ningen vidare har en kalibreringsmod, i vilken bild- registreringsorganen förflyttas på så sätt att det är möjligt för bildbehandlingsorganen (20-24) att relatera bildernas inbördes lägen till en verklig förflyttning av bildregistreringsorganen.

13. Styranordning enligt något av krav 10-12, varvid bildbehandlingsorganen (20-24) är anordnade att alstra nämnda styrsignaler på basis av minst en förflyttnings- vektor som erhålles från bildernas inbördes lägen.

14. Styranordning enligt något av kraven 10-13, varvid bildbehandlingsorganen (20-24) är anordnade att alstra nämnda styrsignaler på basis av minst en vrid- ningsangivelse som erhålles från bildernas inbördes lägen.

15. Styranordning enligt något av krav 10-14, varvid bildbehandlingsorganen (20-24) är anordnade att alstra nämnda styrsignal på basis av den hastighet med vilken bildregistreringsorganen har förflyttats, varvid hastig- heten bestäms från bildernas inbördes lägen. 10 15 20 25 30 512 182 *m

16. Styranordning enligt krav 9-15, varvid bild- behandlingsorganen (20-24) är anordnade att avge nämnda styrsignaler på så sätt att det är möjligt för en mot- tagare att identifiera styrsignalerna som avsedd för styrning av ett objekt.

17. Styranordning enligt något av krav 9-16, varvid bildbehandlingsorganen (20-24) vidare är anordnade att lagra minst en referensbild och att jämföra senare registrerade bilder med denna för att generera en signal vid väsentligen fullständig överlappning.

18. Styranordning enligt något av krav 9-17, varvid bildbehandlingsorganen (20-24) innefattar en sändare (26) för trådlös avgivning av styrsignalen.

19. Styranordning enligt något av krav 9-18, varvid bildregistreringsorganen innefattar en sändare (26) för trådlös överföring av bilder till bildbehandlingsorganen (20-24).

20. Styranordning enligt något av föregående krav, varvid styranordningen är en mus.

21. Styranordning med ett bildregistreringsorgan som är anordnat att vridas, företrädesvis manuellt, för styr- ning av ett objekt som funktion av bildregistrerings- organens vridning; k ä n n e t e c k n a d av att styranordningen är anordnad att registrera ett flertal bilder med delvis överlappande innehåll när bildregist- reringsorganen vrids, varvid det delvis överlappande innehållet i bilderna gör det möjligt att bestämma hur bildregistreringsorganen har vridits.

22. Styranordning enligt krav 21, vidare innefat- tande bildbehandlingsorgan (20-24) för àstadkommande av styrsignaler för styrningen av nämnda objekt, vilka bild- (20-24) behandlingsorgan är anordnade att bestämma bil- dernas inbördes lägen med hjälp av det delvis överlap- 10 15 20 25 30 23 512 182 pande innehållet för ästadkommande av nämnda styrsigna- ler.

23. Styranordning enligt krav 22, varvid bildbehand- lingsorganen (20-24) är anordnade att alstra nämnda styr- signaler pä basis av minst en vridningsangivelse som er- hålles fràn bildernas inbördes lägen.

24. Styranordning enligt krav 22 eller 23, varvid bildbehandlingsorganen (20-24) är anordnade att alstra nämnda styrsignaler pà basis av den hastighet med vilken bildregistreringsorganen har förflyttats, varvid hastig- heten bestäms frän bildernas inbördes lägen.

25. Styranordning enligt något av krav 22-24, varvid bildbehandlingsorganen (20-24) vidare är anordnade att lagra minst en referensbild och att jämföra senare registrerade bilder med denna för att generera en signal vid väsentligen fullständig överlappning.

26. Sätt att styra ett objekt, innefattande stegen att - förflytta en styranordning; - registrera, med hjälp av styranordningen, ett flertal bilder med överlappande innehåll under förflytt- ningen av styranordningen, och - bestämma styranordningens förflyttning med hjälp av innehållet i de överlappande bilderna.

27. Sätt att styra ett objekt enligt krav 26 vidare innefattande steget att I - bestämma bildernas inbördes läge med hjälp av det delvis överlappande innehållet för ästadkommande av styr- signaler för styrning av objektet. _

28. Sätt enligt krav 27, vidare innefattande stegen att bestämma den hastighet med vilken bildregistrerings- organen har förflyttats från bildernas inbördes lägen och QV 512 182 att åstadkomma nämnda styrsignaler pà basis av hastig- heten.

29. Sätt enligt något av krav 26-28, vidare inne- fattande steget att lagra minst en referensbild och att jämföra senare registrerade bilder med denna för att generera en signal vid väsentligen fullständig överlapp- ning.