SE528518C2 - Sätt att navigera i en omvärld registrerad av en eller flera bildsensorer och en anordning för genomförande av sättet - Google Patents

Description

20 25 30 35 ïr528 518 2 l ett system för indirekt seende behöver inte bildsensorema vara placerade i närheten av användaren. Användaren kan befinna sig på valfri fysisk plats. Han är därmed virtuellt på platsen för sensorema fast han inte befinner sig där bildsensorerna är belägna. För att användaren skall få en bra uppfattning om omgivningen bör denna registreras och presenteras pà ett så stort synfält som möjligt, eftersom det är på detta sätt vi naturligt upplever omgivningen. Detta är dock inte alltid möjligt att ordna, exem- pelvis finns det inte mycket utrymme för stora bildskärmar i ett stridsfordon. Ett sätt att lösa detta problem är att förse användaren med en huvudburen presentationsanordning som kan bestå av en eller flera miniatyriserade bildskärmar, som betraktas via någon förstorande optik, eller en anordning som projicerar/ritar bilder direkt på användarens ögas näthinna.

Vid användning av en huvudburen presentationsanordning kan en bild presenteras för ett enda öga, monokulär presentation. Vid användning av två bildskärmar kan samma bild presenteras för båda ögonen, biokulär presentation, eller så presenteras två olika bilder, en för vartdera ögat i så kallad binokulär presentation. Vid binokulär presentation kan en stereoskopisk effekt erhållas. Genom att använda ytterligare bildskärmar i anslutning till och utanför (till vänster och till höger om) bildskärmar rakt framför ögonen, kan också ett periferiskt seende uppnås. Bildskärmarna kan företrädesvis vara indirekt fästade på huvudet med hjälp av någon glasögonbàgs- eller hjälmliknande anordning.

Normalt förändras synintrycket vid rörelse av huvudet. Den bild som, via en huvudburen bildskärm, presenteras för en användare påverkas dock vanligen inte av att använda- rens huvud rör sig i förhållande till omgivningen. Känslan av att inte kunna förändra synintrycket via rörelser upplevs av de flesta som använder sig av huvudburna bild- skärmar som frustrerande efter ett tag. Det normala beteendet att avsöka omgivningen genom att röra på huvudet och se sig omkring fungerar inte.

En lösning pà detta är att känna av användarens huvuds position och riktning med en huvudpositionssensor. Den bild som presenteras för användaren via den huvudbuma bildskärmen kan då anpassas på ett sådant sätt att användaren upplever att denne kan se sig omkring.

Genom att använda sig av indirekt seende, där användaren bär på en huvudburen presentationsanordning och där användarens huvuds position och riktning avkänns kan 10 15 20 25 30 35 528 518 i 3 användaren i ett stridsfordon fà en känsla av att se genom fordonets väggar, ”See- Through-Armour", härefter förkortat STA.

Nedan presenteras tre sätt att åstadkomma ett STA-system: 1. STA-systemet baseras på en bildsensoranordning som är placerad pà en gimbal, se figur 1, vilken är rörlig i flera riktningar. Gimbalen, som kan styras från en huvud- positionssensor, kan riktas utifrân riktningen av en användares huvud. Bilden fràn bild- sensoranordningen presenteras för användaren via en huvudburen presentations- anordning. 2. STA-systemet baseras pà en bildsensoranordning som registrerar omgivningen med hjälp av flera bildsensorer där varje bildsensor registrerar en delmängd av en större omgivning, se figur 2. Användaren som bär pà en huvudburen presentationsanordning får sig presenterad bilddata som pekas ut av en huvudpositionssensor.

Ett sådant system är känt genom artikeln ”Combat Vehicle Visualization System” av R.

Belt, J. Hauge, J Kelley, G. Knowles och R. Lewandowski, Samoff Corporation, Princeton, USA, publicerad pà Internet med adressen: http://wvvw.cís.upenn.edu/~reich/paper1 1 .htm.

Detta system benämns “See Through Turret Visualization System" och förkortas här S'l"lV. l ST1'V digitaliseras bildema fràn en multikameraanordning av ett system bestå- ende av ett antal elektronikkort med olika funktion. Elektronikkorten innehåller bl.a. bildprocessorer, digitala signalprocessorer och bildminnen. En huvudprocessor digitali- serar bildinformationen fràn multikameraanordningen, väljer en eller två kamerors bild- information utifrån riktningen pà en användares huvud och sätter dem samman utan märkbara skarvar i ett bildminne och presenterar sedan den del av bildminnet som motsvarar användarens riktning på huvudet. STTV klarar att överlagra enkel 2-dimen- sionell, 2D, virtuell bildinformation t.ex. ett hàrkors eller en pil som visar varåt använda- ren bör vrida sitt huvud. Riktningen pà användarens huvud detekteras i STTV av en huvudpositionssensor som klarar tre frihetsgrader. De tre frihetsgraderna benämns ofta yaw, pitch och roll i analogi med vad som används i samband med flygplan. Hos ett flygplan är yaw huvudriktningen som planets längsaxel pekar i, pitch nosriktningen runt en tväraxel genom vingarna (nos upp/nos ner) och roll vinkelläget kring längdaxeln. 10 15 20 25 30 35 528 518 4 3. STA-systemet baseras pà en bildsensoranordning som registrerar omgivningen med hjälp av flera bildsensorer där varje bildsensor registrerar en delmängd av en större omgivning och där information från bildsensorema placeras som dynamiska texturer i en 3D-modell i ett datorgrafiksystem. Användaren som bär pà en huvudburen presen- tationsanordning får sig presenterad bilddata ur 3D-modellen utefter en huvudposi- tionssensors utdata i fråga om användarens position och riktning på huvudet.

Ett sådant system är känt genom svensk patentansökan nr. 0401603-6, ”Anordning och metod för att presentera en omvärldsbild", med samma sökande och uppfinnare som föreliggande patentansökan. l samtliga dessa tre system styr användarens riktning på huvudet, och i vissa fall även huvudets position, vilken del av omvärlden som skall presenteras för användaren.

När användaren sitter på en stol eller motsvarande som inte kan snurra runt, så begränsas användarens uppsikt över omvärlden genom huvudets begränsade rörlighet.

Detta skulle kunna åtgärdas med hjälp av en snurrande stol, men i många fall, exempelvis i ett stridsflygplan, är detta inte praktiskt möjligt. Dessutom kan det uppstå problem genom att kablar och annan utrustning trasslar till sig på grund av att användaren snurrar runt.

Föreliggande uppfinningen ger en lösning på problemet att med blicken kunna nå utanför det område som kan nàs när en presentation styrs baserat enbart på ett huvuds inriktning. Detta sker genom att uppfinningen fâr den utformning som framgår av de efterföljande självständiga patentkraven. Övriga patentkrav anger fördelaktiga utföringsformer av uppfinningen.

Uppfinningen kommer i det följande att beskrivas närmare under hänvisning till bifogade ritning, där fig. 1 visar en första bildsensoranordning som kan användas vid uppfinningen, fig. 2 visar en andra bildsensoranordning som kan användas vid uppfinningen, fig. 3 visar området en användarens huvud kan riktas mot, fig. 4 visar en principiell uppbyggnad av uppfinningen med en användare med huvudburen presentationsanordning med integrerad blickriktningssensor och en huvudpositionssensor, 10 15 20 25 30 35 528 sis 5 fig. 5 visar en utföringsform av en blickriktningssensor och fig. 6 visar en blickrlktningssensor enligt fig. 5 som integrerats i en huvudburen presentationsanordning.

Det grundläggande vid uppfinningen är att skapa ett system som medger en övergång på ett sätt som upplevs naturligt från huvudstyrning, såsom den presenterats ovan, till styrning med hjälp av användarens blick av vad som presenteras för honom. Blick- riktningssensorer är förut kända och fastställer blickriktningen för ett öga. Exempel presenteras i det nedanstående. l figur 3 visas hur man vid uppfinningen i ett område 7+8 som motsvarar det område mot vilket en normal människa kan rikta huvudet definierar ett inre område 7 och ett yttre område 8. Det yttre området omger det inre området pà alla sidor, men omfattar inte detsamma. l det följande benämns området 7 det inre huvudriktningsomrâdet och området 8 det yttre huvudriktningsområdet.

Så länge som användarens huvudriktning pekar i det inre huvudriktningsområdet 7 behåller systemet huvudstyrning av vad som presenteras. När huvudriktningen ligger utanför det inre huvudriktningsområdet kan en övergång ske, företrädesvis automatiskt till följd av att användaren riktar sin blick på visst sätt i bilden, till blickriktningsstyrning.

Detta kommer att utvecklas nedan. Ett tänkbart altemativ som l vissa fall kan vara användbart, är att användaren, när huvudriktningen ligger utanför det inre huvud- riktningsomrádet 7, genom ett kommando av något slag, med rösten eller en hand- rörelse, beordrar övergången.

Atergàngen till huvudstyming, vilket ju är normalläget när mål är framför användaren kan ske automatiskt när den del av omvärlden användaren följer med blicken åter har hamnat inom användarens inre huvudriktningsomràde 7. Man kan även tänka sig att återgàngen sker genom att användaren aktivt med hjälp av någon form av kommando på liknande sätt som vid byte till blickstyming. Det är fullt tänkbart att använda automatisk övergång från huvudstyrning till blickstyming och en kommandostyrd övergång från blickstyrning till huvudstyrning och vice versa.

Det som presenteras för användaren visas på en presentatlonsanordning 9 som alltid befinner sig framför användarens huvud och följer huvudets rörelser. Presentations- anordningen uppvisar ett bildpresentationsområde. På samma sätt som i fallet med 10 15 20 25 30 35 528 518 6 huvudriktningsområdena 7 och 8, kan bildpresentationsomràdet delas in i ett inre bild- presentationsområde och ett yttre bildpresentationsområde. Det yttre området omger det inre området på alla sidor, men omfattar inte detsamma. Detta används vid det automatiska förfarandet för övergång till blickriktningsstyrning.

Så länge användarens huvuds riktning pekar inom det inre huvudriktnlngsområdet 7 är det huvudets riktning som styr vilken bildinformation som i de inre och ytter bildpresen- tationsområdena presenteras för användaren.

När huvudets riktning inte pekar inom det inre huvudriktnlngsområdet (och således pekar inom det yttre huvudriktnlngsområdet 8 eller utanför detta, om detta är möjligt) och ett ögas fixationspunkt, dvs. den punkt i en bild som ögat betraktar, befinner sig i det inre bildpresentationsområdet, är det också huvudets riktning som styr vilken bild- information som presenteras för användaren.

När huvudets riktning inte längre pekar inom det inre huvudriktningsområdet 7 och fixationspunkten har vandrat ut ur det inre bildpresentationsomràdet (och således pekar inom det yttre bildpresentationsområdet eller utanför detta) sker det i en fördelaktig utföringsform av uppfinningen en övergång till att det i stället är blickriktningen som styr vilken bildinformation som presenteras för användaren.

I det fall det är blickriktningen som styr vilken bildinformation som skall visas strävar systemet att alltid lägga den omvårldspunkt som fixationspunkten pekar ut i ett bestämt område av bildpresentationsomràdet, företrädesvis i eller nära bildpresentationsområdets centrum. Detta förfarande möjliggör att användaren kan navigera med hjälp av ögonen i den omvärld som bildsensoranordningen registrerar. För att underlätta ögonstymingen kan ögats momentana fixationspunkt markeras i bilden exempelvis som ett hårkors eller en ruta.

När blickriktningen styr vad som presenteras finns det ingen anledning för användaren att sitta med huvudet vridet till ett ytterläge, utan användaren kan sätta sig bekvämt tillrätta med huvudet riktat mer eller mindre rakt fram, i alla händelser inom det inre huvudriktnlngsområdet 7.

Bildpresentationssystemet har i varje ögonblick kunskap om var den del av omvärlden är belägen som via blidsensorerna presenteras för användaren. Denna information kan 10 15 20 25 30 35 5.28 518 7 i en variant av uppfinningen fortlöpande graflskt presenteras för användaren som symboler eller liknande. När denna del av omvärlden åter ligger inom det inre huvudriktningsområdet 7 kan det i många fall vara lämpligt att det sker en återgång till huvudstyrning av presentationen för användaren. Denna återgång kan ske automatiskt när villkoret är uppfyllt eller till följd av att användaren ger ett kommando till systemet sedan han av systemet uppmärksammats på förhållandet.

Som redan angivits visar figur 1 ett exempel på en bildsensoranordning 5. Denna innefattar en eller flera bildsensorer 1, 2 och 3, exempelvis kameror. Bildsensoranord- ningen är placerad på en gimbal 4 som är en mekanisk anordning som kan rikta bild- sensoranordningen. Riktning sker vanligtvis med hjälp av elektriska motorer och vanligtvis genom rörelserna yaw och pitch, men även roll kan förekomma. l figur 2 visas ett exempel på en annan bildsensoranordning 6. Denna innefattar ett antal bildsensorer 1, 2 och 3, som är placerade i en ring så att de tillsammans täcker ett område, exempelvis 360 grader runt om men i ett avgränsat område uppåt och nedåt.

Figur 4 visar en principiell uppbyggnad av en anordning enligt uppfinningen. En använ- dare 10 har en huvudburen presentationsanordning 9 med en integrerad blickriktnings- sensor 11 samt en huvudpositionssensor 12. Huvudpositionssensorn 12 detekterar användarens riktning på huvudet med tre frihetsgrader, yaw, pitch och roll. I mer avancerade fall kan även positionen för användarens huvud detekteras i form av koordinatema x, y och z.

Figur 5 visar ett exempel på hur användarens blickriktning kan detekteras via detek- tering av användarens öga 13 med hjälp av en blickriktningssensor 11, som består av följande komponenter: .o En halvgenomskinlig spegel 14 med lämpliga optiska egenskaper, i det här fallet är spegeln transmissiv i det visuella området vid ungefär 45 graders infallsvinkel och reflektiv i när-lR-området (lR = Infra Red) också vid ungefär 45 graders infalls- vinkel. En sådan halvgenomskinlig spegel kallas för hot mirror. ø En kamera 15 känslig för när-IR-strålning inklusive objektiv 17. ß När-lR-belysningskällor 18 o Filter 16 som endast släpper igenom när-IR strålning. 10 15 20 25 30 35 528 518 8 o En beräkningsenhet 19, vanligtvis en dator. c Interface 20 mellan kameran 15 och beräkningsenheten 19 o Programvara för detektering av blickriktning 21. Programvaran finner pupillen genom bildbehandling, såsom filtrering och tröskling. På liknande sätt kan positionerna på reflexer i cornea från när-lR-belysningskällor bestämmas.

Tillsammans ger detta tillräcklig information för att blickriktningen skall kunna fastställas.

Det finns kommersiella system som detekterar blickriktningen hos en användare. Wss anpassningen av ett sådant system till den aktuella användningen måste dock ske, bl.a. eftersom blickriktningsdetektionssystemet vid uppfinningen kan vara integrerat med andra system.

Figur 6 visar ett exempel på hur blickriktningssensor 11 kan integreras i en huvudburen presentationsanordning 9, där 22 är en halvgenomskinlig sfärisk spegel, 23 en plan halvgenomskinlig spegel, 24 en mikrodisplay, 25 belysning till mikrodisplay och där 26 är drivelektronik till mikrodisplayen.

Mikrodisplayen 24 belyses bakifrån av belysningskällan 25. Drivelektroniken 26 anpassar en bildsignal, exempelvis en VGA-signal från en dator, till mikrodisplayens krav. Mikrodisplayen 24 ger ifrån sig en bild som i ett exempel kan var stor som en tumnagel. Denna förstöras och läggs på ett bestämt fokalplan med hjälp av den halv- genomskinliga sfäriska spegeln 22 och den plana halvgenomskinliga spegeln 23, som tillsammans bildar ett optiskt system. Den bild mikrodisplayen ger ifrän sig kan i ett exempel förstoras så att den virtuellt upptar 30 grader horisontellt av en användarens synfält och den kan t.ex. förläggas pà ett virtuellt fokalplan beläget 1,2 m från användaren.

I det följande beskrivs ett scenario där uppfinningen kommer till sin rätt: En användare i en militär helikopter kan spana genom en sensoranordning av typ 5 eller 6. Denna sensoranordning sitter under helikoptern och spanaren (användaren) sitter framåtriktad i helikoptern. Vanligtvis sker spaningen i helikoptems färdriktning varvid användarens huvud styr bildsensoranordningen riktning. Ponera att ett mål dyker upp och att spanaren måste ha full visuell kontroll över detta mål. Samtidigt måste helikoptern svänga, vilket medföra att spanaren vrider på sitt huvud för att behålla målet i sikte. Om helikopterns sväng fortsätter tillräckligt länge när spanaren ett läge där han inte längre 528 518 9 kan följa målet med en vridning av huvudet. I detta läge träder blickstyrningen in auto- matiskt genom att spanarens huvudriktning har hamnar i det yttre huvudriktningsomrà- det 8 och att hans blick samtidigt har vandrat ut i det yttre blickriktningsområdet, jfr. ovan. Genom övergången till blickstyrning fár spanaren full visuell kontroll över målet oavsett helikoptern rörelser.

Claims (10)

10 15 20 25 30 35 528 sis 10 Patentkrav:

1. Sätt för en användare att navigera i en omvärld registrerad av en eller flera bild- sensorer och presenterad för användaren i ett bildpresentationsomráde hos en presentationsanordning som alltid är framför användarens huvud och följer huvudets rörelser, varvid riktningen på användarens huvud i bestämda fall styr vilken del av registreringen av omvärlden som presenteras för användaren, kännetecknat av att i ett huvudriktningsomràde (7+8) som väsentligen motsvarar det område mot vilket t användaren kan rikta sitt huvud definieras ett inre huvudriktningsomràde (7) och ett yttre huvudriktningsomràde (8), varvid det yttre området omger det inre omrâdet pá alla sidor, men omfattar inte detsamma, att användarens huvudriktning avkänns, att användarens blickriktning avkänns, att det fastställs om huvudriktningen ligger i det inre huvudriktningsomrädet eller inte, att, lett normalfall som utgörs av att huvudriktningen pekar inom det inre huvudrikt- ningsomràdet (7), huvudriktning styr vilken del av registreringen av omvärlden som presenteras för användaren, att det sker en övergång till att låta blickriktningen styra vilken del av registreringen av omvärlden som presenteras för användaren när huvudriktningen inte längre pekar inom det inre huvudriktningsomrádet (7) och antingen samtidigt blickriktningen förflyttar sig till en förutbestämd del av bildpresentationsomràdet eller ett speciellt kommando ges, exempelvis med användarens röst eller hand, och att den omvärldspunkt som blickriktningen pekar ut fortlöpande läggs i ett bestämt område av bildpresentationsomràdet när blickriktningen styr presentationen för användaren.

2. Sätt enligt patentkravet 1, k ä n n e t e c k n at a v att i bildpresentationsomrädet definieras ett inre bildpresentationsomràde och ett yttre bildpresentationsområde, varvid det yttre området omger det inre omrâdet på alla sidor, men omfattar inte detsamma, att det fastställs om blickriktningen ligger i det inre bildpresentationsomràdet eller inte och att övergången till att låta bliokriktning styra vilken del av registreringen av omvärlden som presenteras för användaren sker automatisk när huvudriktningen inte längre pekar inom det inre huvudriktningsomràdet (7) och samtidigt blickriktningen lämnar det inre bildpresentationsomrädet. 10 15 20 25 30 35 528 518' 11

3. Sätt enligt patentkravet 1 eller 2, k ä n n e t e c k n a t a v att den omvärldspunkt som blickriktningen pekar ut fortlöpande läggs väsentligen i centrum av bildpresentationsområdet när blickriktningen styr presentationen för användaren.

4. Sätt enligt något av patentkraven 1-3, k ä n n e t e c k n a t a v att, idet fall blickriktningen styr presentationen för användaren, det sker en automatisk återgång till huvudstyrning av presentationen när den del av omvärlden användaren följer med blicken àter har hamnat inom användarens inre huvudriktningsomrâde (7).

5. Sätt enligt nagot av patentkraven1-3, k ä n n e t e c k n a t a v att, idet fall blickriktningen styr presentationen för användaren, det sker en återgång till huvud- styrning av presentationen när den del av omvärlden användaren följer med blicken àter har hamnat inom användarens inre huvudriktningsomrâde (7) och användaren ger ett speciellt kommando, exempelvis med rösten eller handen.

6. Anordning som medger en användare att navigera i en omvänd registrerad av en eller flera bildsensorer och presenterad för användaren i ett bildpresentationsomràde hos en presentationsanordning som alltid är framför användarens huvud och följer huvudets rörelser, varvid riktningen på användarens huvud i bestämda fall styr vilken del av registreringen av omvärlden som presenteras för användaren, kännetecknat av att den innefattar en huvudpositionssensor (12) som fastställer riktningen på använda- rens huvud, att den innefattar en blickriktningssensor (11) som fastställer användarens blickriktning, att den innefattar en presentationsanordning (9) med förmåga att presentera en del av registreringen för användaren, att den innefattar en beräkningsenhet (19), i vilken det är definierat ett huvudriktnings- omràde (7+8) som väsentligen motsvarar det område mot vilket användaren kan rikta sitt huvud och dess indelning i ett inre huvudriktningsomrâde (7) och ett yttre huvudriktningsomrâde (8), varvid det yttre området omger det inre området på alla sidor, men omfattar inte detsamma, att beräkningsenheten beräknar vilken del av registreringen som skall presenteras för användaren, varvid beräkningsenheten, i ett norrnalfall som utgörs av att huvudrikt- ningen pekar inom det inre huvudriktningsomràdet (7), låter huvudriktningen styra vilken del av registreringen av omvärlden som presenteras för användaren när 10 15 20 25 30 35 528 sis 12 huvudriktningen pekar inom det inre huvudriktningsomràdet (7), för att övergå till att låta blickriktningen styra vilken del av registreringen av omvärlden som presenteras för användaren när huvudriktningen inte längre pekar inom det inre huvudriktnings- området (7) och antingen samtidigt blickriktningen förflyttar sig till en förutbestämd _ del av bildpresentationsområdet eller ett speciellt kommando ges, exempelvis med användarens röst eller hand, och att beräkningsenheten fortlöpande lägger den omvärldspunkt som blickriktningen pekar ut i ett bestämt område av bildpresentationsområdet när blickriktningen styr presentationen för användaren.

7. Anordning enligt patentkravet 6, k ä n n e t e c k n a d a v att i beräkningsenheten (19) är bildpresentationsområdet definierat och dess indelning i ett inre bildpresentationsområde och ett yttre bildpresentationsområde, varvid det yttre omrâdet omger det inre området på alla sidor, men omfattar inte detsamma, att beräkningsenheten fastställer om blickriktningen ligger i det inre bildpresentations- området eller inte och att beräkningsenheten automatisk övergår till att låta blickriktning styra vilken del av registreringen av omvärlden som presenteras för användaren när huvudriktningen inte längre pekar inom det inre huvudriktningsområdet (7) och samtidigt blickrikt- ningen lämnar det inre bildpresentationsomràdet.

8. Anordning enligt patentkravetö eller 7, k ä n n e t e c k n a d a v att beräkningsenheten fortlöpande lägger den omvärldspunkt som blickriktningen pekar ut väsentligen i centrum av bildpresentationsomrádet när blickriktningen styr presenta- tionen för användaren.

9. Anordning enligt något av patentkraven 6-8, k ä n n e t e c k n a d a v att beräkningsenheten, l det fall blickriktningen styr presentationen för användaren, återgår automatiskt till huvudstyrning av presentationen när den del av omvärlden användaren följer med blicken äter har hamnat inom användarens inre huvudriktningsområde (7). _

10. Anordning enligt något av patentkraven 6-8, k ä n n e t e c k n a d a v att beräkningsenheten, i det fall blickriktningen styr presentationen för användaren, återgår till huvudstyrning av presentationen när den del av omvärlden användaren följer med blicken åter har hamnat inom användarens inre huvudriktningsområde (7) och användaren ger ett speciellt kommando, exempelvis med rösten eller handen.