SE525826C2 - Interaktivt förfarande för att presentera information i en bild - Google Patents

Description

25 30 35 l,._. (e: .. f, f* .

MR kan användas i en mängd olika tillämpningar, t.ex. för utbildning, reparation, underhåll och tillverkning, inom en mängd olika områden, t.ex. inom medicin, tillverkningsindustri, upplevelseindustri och i militära sammanhang.

Föreliggande uppfinning ger en lösning på problemet med att presentera i varje ögonblick relevant infomlation för en användare, även beaktande användarens utbildningsnivå och tidigare erfarenhet, genom att den utformas pà det sätt som framgår av det efterföljande självständiga patentkravet. Övriga patentkrav avser fördelaktiga utföringsformer av uppfinningen.

I det följande kommer uppfinningen att beskrivas närmare med hänvisning till de bifogade ritningarna, där fig. 1 fig. 2 fig. 3 fig. 4 fig. 5 fig. 6 fig. 7 fig. 8 fig. 9 visar direkt seende och mixning av verkligheten och virtuell informa tion genom s.k. “optic-see-through", visar indirekt seende via en kamera och en bildskärmsanordning och mixning av verkligheten och virtuell information genom s.k. "video- see-through”, visar sex frihetsgrader för en användares huvud, visar ett exempel på en markör med ett unikt mönster, visar en mixad bild med markör, virtuellt skapat objekt och verkligt objektet samt fält/objekt inlagda i bilden, i vilka blickens fixationspunkt kan placeras för att indikera någon funktion och vidare inlagt ett kors som anger blickens fixationspunkt i bilden, visar ett exempel pà ett huvudburet system för MR med inbyggd blickriktningssensor, visar på ett övergripande plan en konkret implementering av uppfin- ningen, visar de olika delar som ingàri den huvudburna utrustningen i figur 7 och visar ett flödesschema över hur dator och programvara kan arbeta i ett system enligt uppfinningen. l syfte att underlätta förståelsen av uppfinningens innebörd utgår den fortsatta beskrivningen från ett konkret exempel som kallas för "levande instruktionsbok" och som beskriver en användare som bår på en teknisk anordning i vilken den visuella 0000 10 15 20 25 30 35 virtuella och verkliga världen kan blandas och presenteras för honom. Hans uppgift antages vara att utifrån visuella instruktioner demontera ett motorblock. Nedan beskrivs de tekniska stegen i en sådan process.

Direkt och indirekt seende Verklig visuell information är den information som har sitt ursprung i den verkliga världen. Registreringen kan göras direkt, det vill säga den visuella strålningen fràn omgivningen 3 når ögat 1 direkt eller via någon form av transmissiv eller delvis transmissiv optisk anordning 2, Lex. via ett par glasögon, se figur 1. Registreringen kan också ske indirekt tex. via en kamera 4 och en bildskärmsanordning 5, se figur 2. Kameran registrerar här den visuella strålningen från omgivningen, omvandlar denna strålning till en elektrisk signal som överförs till bildskärmsanordningen där signalen omvandlas till en bild som beskriver omgivningen. Kameran 4 och bild- skärmsanordningen 5 kan vara utformade så att de kan placeras i nära anslutning till huvudet och ögonen. l detta fall följer kameran huvudets rörelser och man erhåller ett huvudstyrt indirekt seende.

En kamera som används i ett sådant här sammanhang behöver inte bara vara käns- lig för visuell strålning, den kan var känslig i andra intervall t.ex. i när-IR-området, de termiska IR-omràderna eller UV-området. Kameran kan också detektera omgiv- ningen genom multispektrala band. Genom att låta kameran vara känslig för strål- ning som ligger både innanför och utanför det mänskliga ögats upptagningsområde kan det indirekta seendet hjälpa en användare att uppfatta omgivningen på ett mer omfattande sätt jämfört med direkt seende.

Eftersom kameran registrerar omgivningen och omvandlar registreringen till en elektrisk signal, kan man låta denna signal passera en dator som förbättrar, förändrar eller omvandlar den bild den elektriska signalen representerar, t.ex. genom brusreducering, kontrastförstärkning eller förstärkning av smà lokala signal- variationer i skuggiga eller ljusa områden.

Skapande av virtuell visuell information Virtuell visuell information är här information som skapas med hjälp av en dator eller annan bildskapande anordning. Den virtuella visuella informationen presenteras för användaren via en bildskärmsanordning 5. Den virtuella visuella informationen kan t.ex. härröra fràn en databas eller beräknas fram av datom. Exempel på virtuell 10 15 20 25 30 35 visuell information i detta sammanhang är tvàdimensionella bilder (med bild ochleller textinformation), tvádimensionella objekt (t.ex. en pil), tredimensionell text, tredimen- sionella modeller (objekt), videosekvenser, partikelsystem (t.ex. fladdrande rök/eld) samt rörliga simulerade animerade sekvenser.

Blandning av virtuell och verklig visuell bildinformation Den virtuella visuella informationen, beskriven ovan, kan blandas samman, mixas, med den verkliga visuella informationen pà i huvudsak två olika sätt, "optic-see- through" och 'Video-see-through".

Vid det första sättet, "optic-see-through", se figur 1, ser användaren den verkliga visuella världen via en tranmissiv eller delvis transmissiv optisk anordning 2 i vilken den virtuella visuella informationen speglas in. Den visuella strålningen som beskriver virtuell bildinformation genereras av en dator 7 utifrån inmätningsdata fràn en inmätningsanordning 8. Den virtuella informationen presenteras via en bild- skärmsanordning 5 och speglas in i ögat via en stràldelare 6.

Vid det andra sättet, "video-see-through", se figur 2, ser användaren den verkliga visuella världen via en kamera 4 och en bildskärmsanordning 5. Bilden från kameran passerar en dator 7 eller annan bildberäkningsenhet innan den presenteras via bild- skärmsanordningen för användaren. Datom kan då elektroniskt eller datormässigt mixa in virtuell visuell information genererad pà samma sätt som i förgàende exempel utgående från inmätningsdata fràn en inmätningsanordning 8. Denna mixning kan göras i olika grad, alltifrån att den virtuella visuella informationen svagt överlagras över den verkliga till att den virtuella visuella informationen ersätter relevant verklig visuell information. lnmätningsförfarande För att en mixning av den virtuella och verkliga visuella informationen skall kunna ske pà ett korrekt sätt måste någon form av inmätningsförfarande användas. Den virtuella visuella informationen ärju i de flesta fall relaterad till en position i en scen i den verkliga världen, exempelvis ärju en virtuell visuell information som beskriver hur elektriska ledningar är placerade i en vägg relaterad till den verkliga väggens position, annars kan inte ledningarna - virtuellt beskrivna - rätt överlagras på väggen, sett med användarens ögon. 10 15 20 25 30 35 gb o oc. n 0 oo inmätning vid "optic-see-through" Om man utgår från att användaren bär på en huvudburen utrustning för "optic-see- through" måste datom i någon form veta varat användaren har vänt sitt huvud för att kunna beräkna fram vilken virtuell visuell information som skall presenteras samt hur och vari bilden på bildskärmsanordningen detta skall ske. l en avancerad form används även ögats position i förhållande till utrustningens position, eftersom ögat ju är den mänskliga bilddetektor som registrerar den mixade visuella informationen. En liten förskjutning av utrustningen på huvudet kan medföra att den verkliga och virtuella visuella informationen förskjuts på ett oönskat sätt.

Det finns många sätt att mäta in användarens position och riktning i förhållande till en scen i den verkliga värtden. En mängd olika tekniker finns utvecklade och inmätningsutrustningar, "trackers", kan delas in efter vilken fysikalisk princip som används: akustisk, magnetisk, baserad på tröghetslagen, optisk och mekanisk. Man kan också kombinera två "trackers" som är baserade på olika principer och på så sätt få en "hybridtracker".

En användares förhållande till sin omgivning kan mätas in genom att både position, x, y och z och riktning, dvs. rotationsvinklar head, pitch och roll, detekteras, se figur 3. Head anges i figuren med h, pitch med p och roll med r. Om position och riktning i alla led inmåtes har man gjort en inmätning i sex frihetsgrader. l vissa fall, t.ex. då användaren sitter mer eller mindre fastspänd i en stol kan det räcka att endast mäta head, pitch och roll, dvs. endast 3 frihetsgrader.

Om en kamera integreras med den huvudburna utrustningen och kamerans inrikt- ning ensas med utrustningens optiska inriktning kan kamerabilden avläsas av en dator som med hjälp av programvara kan detektera mönster eller loka egenskaper i bilden och på så sätt orientera sig i omvärlden. inmätning vid "video-see-through" Om man utgår från att användaren bär på en huvudburen utrustning för "video-see- through" så kan kamerabildens information användas av datorn på samma sätt som beskrivits ovan beträffande "optic-see-through". Datom kan alltså detektera lokala egenskaper eller mönster i bilden från kameran och utifrån denna information orientera sig. En lokal egenskap kan t.ex. vara ett bordshörn eller en mutter. Det kan emellertid vara svårt för datorn att hitta sådana lokala egenskaper i bilden från r^ ri " n ^. ' 6 kameran, eftersom de b|.a. kan betraktas fràn olika bildvinklar och i olika belysningssituationer.

Det är därför lämpligt att hjälpa datom att hitta i bilden genom att placera in mönster 5 som specialdesignats, för att datom skall hitta dem i bilden från kameran. Ett sådant specialdesignat mönster, hädanefter kallat en markör, bör vara utformat så att markörens mönster är unikt och att markörens position och riktning, dvs. dess sex frihetsgrader, kan utläsas från markören. En markör, 9 i figur 4 och 5, kan i all enkelhet vara ett svartvitt unikt mönster 10, omgivet av en svart ram 11 mot en vit 10 omgivning 12. En markör kan också bestå av ett antal ljusreflekterade punkter, ett antal ljusalstrande punkter, t.ex. lysdioder, eller bara vara en vanlig bild föreställande något.

En markör kan, förutom att hjälpa datorn att orientera sig, kopplas till någon form av 15 virtuell visuell information, eller i en mer allmän tillämpning till någon annan virtuell information, exempelvis akustisk. Till varje markör kan även kopplas infonnation om hur och var den virtuella visuella informationen skall presenteras för användaren.

Om, såsom visas i figur 5, en markör 9 placeras på ett motorblock 13 och i närheten av en bult 14, så kan datorn exempelvis rått placera in en virtuellt skapad skiftnyckel 20 15, för att markera att bulten skall skruvas loss och med hjälp av en skiftnyckel.

Datorn kan orientera sig i omvärlden tack vare att den detekterar någon markör i den kamerabild som också användaren ser. Som alternativ kan kamerans synfält vara större än det synfält som användaren får sig presenteras via bildskärmsanord- 25 ningen. I ett sådant fall kan datom finna markörer som är placerade helt eller delvis utanför den bild som presenteras för användaren. l en vidare utveckling kan en eller flera kameror som sitteri ett fast och känt förhållande till den kameran som ger z. användaren hans bild användas för att detektera markörer i en helt annan riktning än vad som användaren riktar sitt huvud. Tack vare det kända förhållandet mellan z 30 kameroma kan ändå relevant virtuell visuell bildinforrnation förläggas på ett korrekt sätt i bilden som användaren ser.

'P3 Markörer och utförandeordning Genom att använda ett antal olika markörer som är placerade pà olika ställen, 35 exempelvis på ett motorblock, kan en användare som bär ett huvudburet "video-see- through" system som är kopplat till en dator, få för sig beskrivet visuellt hur denne 10 15 20 25 30 35 skall exempelvis gà tillväga då motorn skall demonteras. Användaren får en "levande instruktionsbok".

Varje markör är kopplad till någon form av virtuell visuell information och dà använ- daren närmar sig det aktuella objektet, motorblocket, kan naturligtvis inte varje markör ge ifràn sig virtuell visuell information samtidigt, utan det måste finnas en speciell fastställd ordning om hur den virtuella visuella informationen skall visas, dvs. hur de olika momenten skall utföras för att t.ex. demontera motorn.

Informationen är uppbyggd i olika informationskedjor och de olika handgrepp användaren skall göra finns ordnade i utförandekedjor. Det är ett strukturerat system, där information på en viss nivà i ett hierarkiskt system normalt leder till ny information. Användaren skall dessutom genom meddelanden till beräkningsanord- ningen kunna hoppa framåt eller bakàt i det hierarkiska systemet för att nà information användaren anser sig behöva.

Vidare kan systemet i ett mer avancerat utförande anpassa informationen till använ- darens kunskapsnivå och erfarenhet. Man kan tänka sig att systemet presenterar "all" information vid ett första tillfälle för en viss användare. Om användaren sedan repetitivt skall utföra samma handgrepp på en följd av föremål, t.ex. motorer, kan systemet begränsa informationen efterhand i enlighet med en förutbestämd plan över hur användarens erfarenhet ökar. Användaren har dock som sagt i varje ögonblick möjlighet att begära mer infonnation.

Om man dessutom använder sig av ett system som kräver att användaren identi- fierar sig kan systemet också ta hänsyn till vad användaren "borde kunna" med anledning av vad användaren utfört vid tidigare tillfällen. Eftersom det i ett system enligt uppfinningen måste finnas en blickriktningssensor, se vidare nedan, för att bestämma ett ögas fixationspunkt i bilden, kan man tänka sig att kombinera denna med en möjlighet att identifiera användaren med hjälp av ögonigenkänning.

I normalfallet beaktas en markör vid bestämmandet av vilken information som skall presenteras först när hela markören är synlig i bilden. l ett mer avancerat system finns dock flera varianter. En markör kan vara aktiv/passiv, utförbar/ej utförbar, kvitterad/okvitterad, osv. 10 15 20 25 30 35 Grundprincipen är att en markör är aktiv då den befinner sig i kamerabilden, som också vanligtvis är den bild som presenteras via en huvudburen bildskärmsanord- ning, och passiv då den befinner sig utanför bilden. Vanligtvis, då en markör är aktiv så visas den virtuella information som är kopplad till markören medan då en markör är passiv så visas inte någon information alls. l ett mer utvecklat system kan ett antal villkor införas för att en markör skall bli aktiv, t.ex. att den måste vara inom ett visst avstånd från användaren, att den måste ha rätt prioritet, att vissa moment måste ha utförts innan, osv. l ett sådant system kan beroende pà situationen även en passiv markör visa virtuell information t.ex. "Detta moment får ej utföras nu".

För att systemet skall kunna leda en användare rätt t.ex. i en monteringssekvens är det nödvändigt att vissa moment sker i rätt ordning. Därför har det visat sig relevant att införa begreppet kvittering av markör, eller rättare sagt kvittering av den inforrna- tion som är kopplad till markören, så att systemet t.ex. kan få information om att en användare utfört ett visst moment/handgrepp. När en användare utfört ett visst moment kvitterar användaren därför att han/hon har tagit del av eller utfört ett moment knutet till informationen som är kopplad till markören. Denna kvittering kan ske med hjälp av ett kommando utfört t.ex. av handen, rösten eller blicken. För att användaren skall veta kvittensstatus kan någon symbol vara kopplad till markören som visar dennas status. Det kan t.ex. vara en symbol i form av en hand där färgen på denna markerar aktuell kvitteringsstatus. interaktion i moment av utförande Användaren som bär på den huvudburna utrustningen och fâr instruktioner om hur han/hon skall utföra de olika momenten, t.ex. demontera motom, har oftast båda händerna upptagna med själva demonteringen och dessutom kan händerna vara smutsiga. I detta läge måste användaren enligt ovan resonemang kunna kvittera de olika momenten på något sätt. Hår kan man använda det förhållandet att använda- ren redan bär på en huvudburen utrustning och komplettera denna med en blickrikt- ningssensor (för ett eller båda ögonen), exempelvis så som visas i figur 6. I figuren anger 1 ögat, 3 en del av omgivningen, 4 en kamera, 5 en bildskärmsanordning, 7 en dator, 16 en kamera känslig för när-IR-strålning, 17 ett filter som endast släpper igenom när-IR-strålning, 18 när-IR-belysningskällor, 19 är en sfärisk spegel, 20 är en hot-mirror, dvs. en optisk anordning med funktionen att när-IR-strålning reflekte- 10 15 20 25 30 35 f' f' r- fä =' '_ *I 9 ras som i en spegel medan visuell strålning transmitteras och 21 en stråldelare. Om man känner av båda ögonens inriktning, kan detta utnyttjas för att skapa korrekt stereografisk virtuell presentation, under förutsättning att man använder en kamera för vartdera ögat så att även kamerabilden blir stereografisk.

Blickriktningssensorn, eller blickriktningssensorerna, känner av var i bilden använda- ren har sin fixeringspunkt. I bilden från kameran - dvs. i omvärldsbilden - markeras ett antal fält/objekt, se figur 5. Beteckningen 22 anger ett fält i bilden, 23 ett tredimensionellt objekt i bilden och 24 ett kors som beskriver var i bilden blickens fixationspunkt befinner sig.

Fälten/objekten, som lämpligtvis kan placeras nära hörnen på bilden och kan vara utformade på olika sätt, t.ex. som pilen 22 l figur 5, för att fältets/objektets funktion skall omedelbart förstås. Fältet/objektet kan utformas som en i bilden helt transpa- rent yta omgiven av en färgad ram där färgen på ramen betecknar aktuell funktion.

Funktion kan också anges som textmassa i fältet/objektet. Fältet/objektet kan också vara mer eller mindre transparent eller vara helt fyllt med en färg, ett mönster eller en bild. Fältet/objektet kan vidare vara tredimensionellt, stilla eller rörligt. När använ- daren tittar i något av fälten/objekten kan detta indikeras genom att fältets/objektens form, färg, rörelse eller innehåll förändras pá något sätt så att användaren förstår att systemet vet att användaren tittar i fältet/pà objektet.

Genom att interagera med ett fält/objekt kan användaren kvittera att han/hon tagit emot information, utfört någon åtgärd eller önskar en stegvis förflyttning i ett hierarkiskt schema över en utförandesekvens som systemet omfattar. Själva kommandot, kvittensen, kan ges till systemet på olika sätt. Ett enkelt sätt är genom att kvarhålla blicken på ett bestämt fält eller objekt en tillräckligt lång tid. Man kan också låta blickens passerande av ett antal fält/objekt i en bestämd sekvens ge det aktuella kommandot. Ett sätt kan vara att låta blicken hastigt röra sig till bildens periferi och därpå hastigt till det fält man är intresserad av. En annan möjlighet är att låta blickens position i ett fält eller ett objekt kombineras med en helt annan åtgärd t.ex. ett röstkommando eller ett kommando utfört med någon annan kroppsdel än ögat, t.ex. med foten.

Ett fält/objekt kan också placeras på olika virtuella fokalplan om en kamera och bild- skärmsanordning används till vartdera ögat. Ett fält/objekt kan upplevas ligga nära 10 15 20 25 30 35 10 användaren eller upplevas ligga làngt borta tack vare stereoeffekten. Här finns möj- lighet att låta de olika fälten/objekten inta olika, av användaren upplevda, avstånd till användaren i syfte att ge användaren någon form av feedback.

När man ser sig runt i en omgivning använder man sig av huvudet vid större vrid- ningar och ögat för mindre sådana. Dä en användare använder en blickstyrd MR utrustning och ser sig runt i omgivningen rör sig normalt ögats fixationspunkt inom ett begränsat område runt mitten av bilden (huvudet gör de stora rörelserna). Detta kan man använda för att slippa visa fält/objekt förrän de behövs. Det kan vara störande om det finns fält/objekt i bilden när man inte är intresserad av att kunna kvittera eller ge ett kommando, även om de är placerade i bildens kant. Man definierari detta fallet en central del av bilden och först när blickens fixationspunkt lämnar denna centrala bild visas fälten/objekten. Än mer störande är det om fixationspunkten ständigt visas i bilden. Uppfinningen visar därför inte fixationspunkten i bilden när den ligger i den centrala delen av bilden eller visar den på ett icke störande sätt, exempelvis som en prick. Utanför den centrala delen är det normalt inget problem att visa fixationspunkten och det är viktigt att veta var man tittar när man vill interagera med fälten/objekten. Med hänvisning till figur 5 och beteckningar i denna kan ett sätt vara att man markerar när fixationspunkten 24 i bilden ligger i ett fält 22 eller ett objekt 23 genom att fältet/objektet ändrar utseende, exempelvis färg eller form. Ett annat sätt är att man ständigt presenterar fixationspunkten i bilden pà ett tydligt sätt, exempelvis som ett kors 24, när den ligger utanför den centrala delen av bilden.

Det kan vidare vara värdefullt att veta när beräkningsanordningen 7 uppfattat ett avgivet meddelande. Detta kan ske genom att aktuellt fält/objekt 22,23 ändrar utseende, exempelvis färg eller form när detta sker. Man kan också tänka sig att man får denna information endast genom att bilden eller en del därav förändras, exempelvis kan nästa steg i informations- eller utförandekedjan presenteras.

I det följande kommer som ett exempel en konkret implementering av uppfinningen att presenteras. l figur 7 visas hur en markör 9 med ett väldefinierat mönster är . placerad pà ett fysiskt objekt 25. En användare 26 har sitt huvud riktat mot det fysiska objektet och markören. Pá huvudet har användaren en utrustning 27 med vilkens hjälp användaren både kan se den verkliga bildinformationen från det fysiska I o n Oo! 000 00 0090 10 15 20 25 30 35 11 objektet men också överlagrad virtuell bildinformation som är kopplad till position och riktning i förhållande till markören.

Med den huvudburna utrustningen 27 kan också användarens blick användas för interaktion mellan användaren och en dator 7 i vilken mjukvara för blickstyrd MR är implementerad. Den huvudbuma utrustningen är sammankopplad med datorn med hjälp av en sladd 28 som innehåller flera överföringskanaler samt strömförsörjnings- kanai l figur 8, där ögat är vid 1, visas olika delar som ingår i den huvudbuma utrustningen: Ett kamerasystem innefattande: o Färgkamera 29 med exempelvis FireWire-gränssnitt o Objektiv 30 till färgkamera 29 o Spegel 31 till färgkamera 29 och objektiv 30. Spegeln funktion är att minska parallax mellan kameran och ett mikrodisplaysystem, som presenteras nedan.

Ett mikrodisplaysystem innefattande: o Mikrodisplay 32 av transmissiv typ o Belysning 33 till mikrodisplay 32 o Drivelektronik 34 till mikrodisplay 32 o Stráldelare 35 o Sfärisk spegel 36 Ett blickriktningssensorsystem innefattande: o Svartvit kamera 37 med god känslighet i när-lR-området. Kameran kan exempel- vis ha FireWire gränssnitt. o När-IR-filter 38 som filtrerar bort visuell strålning o Objektiv 39 till kamera 37 o När-IR-belysning 40 som dels belyser upp ögat 1 och dels orsakar reflexer pà ögats comea. o Hot mirror 41, dvs. spegel som reflekterar när-lR-stràlning och transmitterar visuell strålning vid ungefär 45 graders infallsvinkel 10 15 20 25 30 f." Fï 1"' få F; f' oss. :lig _: u , 12 Figur 9 visar i form av ett flödesschema hur dator och implementerad programvara kan arbeta i ett system för blickstyrd MR.

P1.

P2.

P3.

P4.

P5.

P6.

P7.

P8.

P9.

P10.

P11.

P12.

P13.

P14.

P15.

Bildinformation, som beskriver verkligheten, 9 och 25 i figur 7, och registrerats av en kamera, 29 i figur 8.

Den registrerade bilden överförs via sladd 28 och FireWire gränssnitt tiil FireWire-interface i datorn, 7 ifigur 7.

Denna bildinformation gàr sedan till markördetektion som i sin tur består av tröskling av bildinformation och bestämning av vilken markör det rör och dess sex frihetsgrader.

Information om vilken markör det är skickas till en databas där virtuell bild- information som är kopplad till markörer är lagrad och markörens sex frihetsgrader skickas till datorgrafiksystemet där bildinforma- tionen från kameran (P1) mixas med den virtuella bildinformationen fràn data- basen (P6). Hur denna mixning sker bestäms dels av markörens sex frihets- grader fràn (P5) och dels av information fràn databasen (P6).

Den sammansatta bildinformationen från datorgrafiksystemet (P7) gàr till den huvudburna utrustningen, 27 ifigur 7, som bl.a. innehåller ett mikrodisplay- system.

Samtidigt registreras ögat av en kamera, 37 ifigur 8.

Den registrerade bilden överförs via sladd. 28 i figur 7, och FireWire gränssnitt till FireWire-interface i datom, 7 i figur 7.

Denna bildinformation gàr sedan till pupill- och reflex-detektion som i sin tur består av filtrering av bildinformation, tröskling av bildinformation och bestämning av pupillens position samt reflexemas position på cornea orsakade av när-IR-belysningen, 40 i figur 8.

Dessa positionsdata sätts in i ett ekvationssystem ur vilket blickriktningen faller ut. Blickriktningsdata gär till datorgrafiksystemet (P7) där fixeringspunkten markeras, exempelvis som ett kors i bilden.

Claims (8)

10 15 20 25 30 35 Patentkrav:

1. lnteraktivt förfarande för att presentera information i en bild för en användare, innefattande att användaren bär en huvudburen presentationsanordning (2+5,27), som presenterar en bild av omvärlden (3,9,25) för användaren, att användarens huvudposition och riktning fastställs i förhållande till omvärlden, att en beräkningsanordning (7) fastställer utifrån förgående steg vilken del av omvärlden som befinner sig framför användarens huvud, kännetecknat av att beräkningsanordningen fastställer var i ett hierarkiskt schema användaren befinner sig när det gäller information om och utförda moment avseende den del av omvärlden som befinner sig framför användarens huvud, att beräkningsanordningen fastställer utifrån föregående steg vilken information som skall presenteras för användaren och presenterar den i form av en virtuell bild som mixas med den verkliga bilden, att en central del av bilden definieras, att det i området utanför den centrala delen finns fält (22) och/eller objekt (23) avsedda att ingå i en överföring av meddelanden från användaren till - beräkningsanordningen, att användarens blickriktning i bilden fastställs och det tydliggörs när fixations- punkten (24) i bilden ligger i ett fält eller ett objekt och att beräkningsanordningen informeras om att användaren har tagit emot informationen resp. utfört de aktuella momenten i beroende av hur fixationspunkten (24) placeras ifält (22) och/eller objekt (23).

2. Förfarande enligt patentkravet 1, k ä n n e t e c k n a t a v att beräk- ningsanordningen bestämmer vilken information i det hierarkiska schemat som skall presenteras härnäst i beroende av hur fixationspunkten (24) placeras i fält (22) och/eller objekt (23).

3. Förfarande enligt patentkravet 1 eller 2, k ä n n e t e c k n a t a v att fälten/objekten (22,23) inte visas förrän användarens blick lämnat bildens centrala del. 10 15 20 14

4. Förfarande enligt något av patentkraven 1-3, k ä n n e t e c k n a t a v att det markeras när fixationspunkten (24) i bilden ligger pà ett fält (22) eller ett objekt (23) genom att fältet/objektet ändrar utseende, exempelvis färg eller form.

5. Förfarande enligt något av patentkraven 1-3, k ä n n e t e c k n a t a v att det markeras när fixationspunkten (24) i bilden ligger pà ett fält (22) eller ett objekt (23) genom att fixationspunkten presenteras i bilden på ett tydligt sätt, exempelvis som ett kors (24), när den ligger utanför den centrala delen av bilden, under det att den antingen inte presenteras eller presenteras pà ett icke störande sätt när den ligger i den centrala delen av bilden.

6. Förfarande enligt något av patentkraven 1-5, k ä n n e t e c k n a t a v att det markeras, genom att aktuellt fält/objekt (22,23) ändrar utseende, exempelvis färg eller form, när beräkningsanordningen (7) uppfattat ett avgivet meddelande.

7. Förfarande enligt något av patentkraven1-6, k ä n n e t e c k n a t a v att den huvudburna presentationsanordningen (2+5,27) mixar den verkliga bilden och den virtuella informationen med tekniken "optic-see-through”.

8. Förfarande enligt något av patentkraven 1-6, k ä n n e t e c k n a t a v att den huvudburna presentationsanordningen (2+5,27) mixar den verkliga bilden och den virtuella informationen med tekniken ”video-see-through".