SE529156C2 - Ögonföljare med visuell återkoppling - Google Patents

Ögonföljare med visuell återkoppling

Info

Publication number
SE529156C2
SE529156C2 SE0502398A SE0502398A SE529156C2 SE 529156 C2 SE529156 C2 SE 529156C2 SE 0502398 A SE0502398 A SE 0502398A SE 0502398 A SE0502398 A SE 0502398A SE 529156 C2 SE529156 C2 SE 529156C2
Authority
SE
Sweden
Prior art keywords
screen
control object
control
processing module
window
Prior art date
Application number
SE0502398A
Other languages
English (en)
Other versions
SE0502398L (sv
Inventor
Johan Bouvin
Per Runemo
Original Assignee
Tobii Technology Ab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii Technology Ab filed Critical Tobii Technology Ab
Priority to SE0502398A priority Critical patent/SE529156C2/sv
Priority to CN2006800401797A priority patent/CN101297259B/zh
Priority to PCT/SE2006/050411 priority patent/WO2007050029A2/en
Priority to ES06844032T priority patent/ES2730217T3/es
Priority to JP2008537646A priority patent/JP4961432B2/ja
Priority to US12/090,282 priority patent/US8120577B2/en
Priority to EP06844032.0A priority patent/EP1943583B1/en
Publication of SE0502398L publication Critical patent/SE0502398L/sv
Publication of SE529156C2 publication Critical patent/SE529156C2/sv

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements

Description

20 25 30 35 529 156 2 organ. Detta kan leda till trötthetssymptom och ett av använda- ren upplevt obehag. Ett annat problem är att användaren, som kanske är en handikappad person, kan ha problem med att styra sin blick med tillräcklig noggrannhet för att styra datorn på öns- kat sätt. Naturligtvis understryks detta problem speciellt om de ögonstyrbara skärmobjekten är små. Dessutom kan ofullkomlig- heter i ögonföljningsutrustningen introducera mätfel med avse- ende pà en uppskattad blickpunkt pà skärmen. l syfte att för- bättra människa-maskingränssnittet föreslår US patent nr 6,152,563 att s.k. kollapsande symboler presenteras över valda fönsterobjekt i syfte att visuellt bekräfta val av objektet under en period före eventuell manipulering. Därmed kan användaren avbryta felaktiga val innan manipuleringen med avseende på objektet verkställs. Dokumentet föreslår även användning av zoomfönster för att förbättra precisionen hos användarens blick- fixeringar på vissa skärmobjekt.
Det är emellertid inte bara svårt att uppskatta användarens blickpunkt på ett adekvat sätt. Ett annat dilemma vid ögonfölj- ning är att det kan vara problematiskt för användaren att åstad- komma val av ett skärmobjekt. Att uttrycka användarens avsikter för datorn via ett ögonstyrt gränssnitt kan vara svårt av många skäl. En viktig aspekt är det faktum att ögonen är konstruerade för perception, inte för motoriska uppgifter, och att blicken därför rör sig över skärmen även då användaren inte är intresserad av att alstra några styrkommandon. En uppehällstid, det vill säga tiden under vilken användaren fixerar sin blick på ett objekt på skärmen, kan användas för att uttrycka användarens avsikt att manipulera vissa objekt. En nackdel med detta angreppssätt är att interaktionsprocessen blir relativt långsam, och riskerar att irritera användaren. Bekräftelsekommandon i form av blinknin- gar kan snabba upp processen väsentligt. Mänskliga blinkningar är emellertid ofta oavsiktliga, varför användaren skulle kunna alstra åtskilliga oönskade styrkommandon. Naturligtvis erbjuder en fysisk knapp, eller tangent, ett betydligt mer tillförlitligt bek- räftelsemedel. Icke desto mindre är kanske detta alternativt inte 10 15 20 25 30 35 529 156 öppet för användaren, som kanske är inkapabel att manipulera sådana knappar/tangenter. Bekräftelse via röstigenkännings- gränssnitt utgör ännu ett alternativ, vilket är mindre tillförlitligt, och kanske inte heller är ett rimligt val för användaren på grund av fysiska handikapp, eller faktorer i miljön i vilken systemet används, såsom oljud.
Mänskliga blickmönster inkluderar så kallade sackader, vilka representerar snabba rörelser av blacken från en punkt till en annan. Dessa rörelser är nästan aldrig ofrivilliga, förutom hos nystagmuspatienter. Att använda sackader för inmatning av data eller kommandon via ett ögonstyrbart inmatningsgränssnitt är emellertid problematiskt av andra skäl. Om en sackad aktiverar en funktion med avseende på ett visst skärmobjekt resulterar nämligen sackaden i sig typiskt sett i att användaren inte längre observerar detta objekt, åtminstone inte direkt. Följaktligen blir ytterligare ögonstyrd manipulering mycket svår, om över huvud taget möjlig. Åter är detta ett problem relaterat till kombinerade motoriska och perceptiva uppgifter orsakade av det ögonstyrba- ra inmatningsgränssnittet.
Markörsymbolen är generellt sett ett viktigt objekt att styra vid interaktion med en dator. Detta är dock inte heller helt enkelt.
Den mest högupplösta delen av näthinnan, maculan (eller gula fläcken), har en diameter motsvarande en grads bildvinkel.
Därför behöver en människa aldrig rikta sin blick med högre precision än vad som ges av detta mått, det vill säga inom en grad. Således kan ändå inte en perfekt matchning mellan använ- darens blick och en markörsymbol på skärmen inte åstadkom- mas, oavsett hur hög noggrannhet ögonföljaren har. Istället måste en markörsymbol som styrs direkt som svar på en upp- skattad blickpunkt med nödvändighet introducera artefakter, vilka upplevs som fel av en mänsklig användare. Icke desto mindre beskriver US-patent nr 6,637,883 ett ögonföljningssys- tem för visning av en videoskärmspekare vid en användares blickpunkt. För en förbättrad precision är här en kamera, som registrerar användarens ögonrörelser placerad i en av använda- 10 15 20 25 30 529 156 4 ren buren glasögonram. Givetvis resulterar detta i särskilda problem, bl.a. beträffande till tillpassning och komfort. istället för att styra markörsymbolen som ett direkt svar på den uppskattade blickpunkten är normalt sett en relativ markörstyr- ning föredragen, det vill säga lösningar där markören bringas att röra sig indirekt genom manipulering av vissa styrorgan på skär- men för varje riktning upp/ner och höger/vänster. Vid placering av blickpunkten på ett sådant styrorgan kan emellertid använ- daren inte längre se markörsymbolen som ska styras.
US-patent nr 6,204,828 redogör för ett integrerat blick-/manuellt markörpositioneringssystem, vilket hjälper en operatör att posi- tionera en markör genom integrering av en blicksignal och en manuell inmatning. När en mekanisk aktivering av en opera- törsanordning detekteras placeras markören vid en initial posi- tion som är förutbestämd i förhållande till operatörens nuvaran- de blickarea. Därmed åstadkoms en användarvänlig markörfunk- tion, men inga markörbaserade styrkommandon matas in till da- torn baserat på blicksignalen.
SAMMANFATTNING AV UPPFlNNlNGEN Syftet med föreliggande uppfinning är därför att tillhandahålla en effektiv, tillförlitlig och användarvänlig ögonföljarlösning, vilken underlättar problemen ovan och såldes möjliggör en adekvat informationsåterkoppling till användaren utan att göra avkall på användarens möjligheter att styra händelserna på skärmen.
Enligt en aspekt av uppfinningen uppnås syftet genom det inled- ningsvis beskrivna systemet, varvid bearbetningsmodulen är an- passad att undersöka huruvida rörelsesekvensen hos blickpunk- ten uppfyller ett aktiveringskriterium med avseende på en akti- veringszon för något av åtminstone ett styrkommando. Om bear- betningsmodulen finner att ett sådant kriterium är uppfyllt pre- senterar modulen ett datamanipuleringsfönster vid en position relativt ett aktivt styrobjekt på skärmen, så att en mittpunkt hos 10 15 20 25 30 529 156 5 fönstret befinner sig inom ett relativt lite förskjutningsavstånd från en mittpunkt hos det aktiva styrobjektet. Exempelvis kan datamanipuleringsfönstret presenteras i det aktiva styrobjektet på skärmen. En fönsterposition omedelbart bredvid, eller delvis överlappande, det aktiva styrobjektet är emellertid lika tänkbar.
Fönstret ska åtminstone vara placerat så att användaren aktivt kan observera både det aktiva styrobjektet och datamanipule- ringsobjektet samtidigt. Datamanipuleringsobjektet inkluderar grafisk information som symboliserar en aktivitetsdel skärmen vilken för närvarande är föremål för ögonföljningsstyrd inmatning av styrkommandon. Bearbetningsmodulen är även anpassad att repeterat uppdatera informationen i data datamanipulerings- fönstret som svar på den ögonstyrningsstyrda inmatningen av styrkommandon.
En viktig fördel med detta system är att användaren erhåller adekvat information beträffande manipuleringsobjektet under det att han/hon koncentrerar sin blick på styrobjektet. Detta borgar för en effektiv och komfortabel människa-maskininteraktion.
Enligt en föredragen utföringsform av den här aspekten av upp- finningen är bearbetningsmodulen anpassad att bestämma det aktiva styrobjektet baserat på rörelsesekvensen hos blickpunk- ten i förhållande till aktiveringszonen, exempelvis på basis av en fixering och ett mjukföljningsspår. Företrädesvis anger dock en registrerad första sackad hos blickpunkten från aktiveringszonen det aktiva styrobjektet. Därmed identifieras det aktiva styrob- jektet på ett mycket intuitivt och användarvänligt sätt.
Enligt en annan föredragen utföringsform av den här aspekten av uppfinningen uttrycker det åtminstone ett styrkommandot en navigeringsriktning för en markörsymbol med avseende på skärmen, en rotering av åtminstone en skärmobjektsrepresenta- tion av åtminstone en grafisk användargränssnittskomponent (GUI-komponent) på skärmen, en färgförändring av åtminstone en skärmobjektsrepresentation av åtminstone en grafisk GUI- komponent på skärmen och/eller en texturmodifiering av åtmin- 10 15 20 25 30 529 156 stone en skärmobjektsrepresentation av åtminstone en grafisk GUI-komponent på skärmen. Således erbjuds en stor frihet vad gäller den manipulation som möjliggörs via det föreslagna gränssnittet.
Enligt ännu en annan föredragen utföringsform av den här as- pekten av uppfinningen antas styrkommandot specifikt uttrycka en navigeringsriktning för en markörsymbol med avseende på skärmen. Här är bearbetningsmodulen anpassad att urskilja en navigeringsriktning ur den första sackaden relativt aktiverings- zonen och förflytta markörsymbolen enligt denna navigerings- riktning. Detta har visat sig erbjuda en högeligen effektiv relativ markörstyrningsfunktion.
Enligt en vidare föredragen utföringsform av den här aspekten av uppfinningen är bearbetningsmodulen anpassad att presen- tera en uppsättning styrobjekt på skärmen, där varje styrobjekt i uppsättningen är anpassat att indikera en respektive navige- ringsriktning för markörsymbolen i förhållande till en informa- tionsarea. Exempelvis kan ett första styrobjekt vara anpassat att indikera en markörsymbolrörelse åt höger, ett andra styrobjekt vara anpassat att indikera en markörsymbolrörelse nedåt, och så vidare. Därmed presenteras ett robust och tillförlitligt styr- gränssnitt för användaren.
Enligt en första föredragen utföringsform av den här aspekten av uppfinningen är bearbetningsmodulen anpassad att presentera en uppsättningen styrobjekt på skärmen på ett sådant sätt att nämnda uppsättning rör sig gradvis över skärmen i enlighet med navigeringsriktningen. Dessutom är bearbetningsmodulen an- passad att förflytta markören över skärmen i enlighet med na- vigeringsriktningen. Denna ögonföljningsbaserade markörsym- bolstyrning är allmänt fördelaktig då en största möjliga aktiv skärmyta eftersträvas.
Enligt en andra föredragen utföringsform av den här aspekten av uppfinningen är bearbetningsmodulen istället anpassad att pre- 10 15 20 25 30 529 156 7 sentera en uppsättningen styrobjekt vid fixerade positioner på skärmen. Även här är emellertid bearbetningsmodulen anpassad att förflytta markörsymbolen över skärmen i enlighet med navi- geringsriktningen. Detta erbjuder ett alternativt ögonstyrbart or- gan för användaren att påverka markörsymbolens position under det att han/hon har möjlighet att visuellt registrera denna för- flyttning, vilket är önskvärt vid tillämpningar varvid inte hela skärmytan efterfrågas för nyttodata.
Enligt en annan föredragen utföringsform av den här aspekten av uppfinningen antas en informationsarea på skärmen pre- sentera redigerbara symboler, exempelvis representerande text.
Bearbetningsmodulen är här anpassad att bestämma åtminstone en tillagd symbol baserat på en rörelsesekvens hos blickpunkten över ett antal skärmobjekt visuellt representerande GUl-kompo- nenter av ett mjukvarutangentbord presenterat på skärmen. Be- arbetningsmodulen är vidare anpassad att lägga till åtminstone en tillagd symbol till symbolerna i informationsarean. Därigenom kan användaren effektivt mata in text till datorapparaten.
Enligt ytterligare en annan föredragen utföringsform av den här aspekten av uppfinningen är bearbetningsmodulen anpassad att undersöka huruvida blickpunkten uppfyller ett aktiverings- kriterium med avseende på ett aktivt styrobjekt representerande en raderingsknapp. Om ett sådant kriterium befinns vara uppfyllt är bearbetningsmodulen anpassad att radera en underuppsätt- ning av symboler, där underuppsättningen innefattar åtminstone en av de redigerbara symbolerna. Därmed kan användaren också på ett bekvämt sätt redigera en redan existerande text som finns lagrad i datorapparaten.
Enligt ännu en annan föredragen utföringsform av den här aspekten av uppfinningen innefattar uppsättningen styrobjekt ett enstaka styrobjekt. Här är bearbetningsmodulen anpassad att bestämma en màlplacering för en första sackad utanför aktive- ringszonen. Bearbetningsmodulen är anpassad att presentera det enstaka styrobjektet vid målplaceringen. Det enstaka styr- 10 15 20 25 30 529 156 8 objektet inkluderar åter datamanipuleringsfönstret. I analogi med ovanstående är bearbetningsmodulen anpassad att förflytta mar- körsymbolen över skärmen i enlighet med en navigeringsriktning uttryckt av den första sackaden. Denna konstruktion är önskvärd eftersom den medger att användaren åstadkommer den önskade markörnavigeringsriktningen utan att användaren behöver flytta sin blickpunkt efter den första sackaden. Dessutom kan na- vigeringsriktningen väljas fritt.
Enligt en vidare föredragen utföringsform av den här aspekten av uppfinningen är bearbetningsmodulen anpassad att undersö- ka huruvida blickpunkten uppfyller ett deaktiveringskriterium med avseende på styrobjektet objekt. Om bearbetningsmodulen finner att ett sådant kriterium är uppfyllt är modulen anpassad att deaktivera det aktiva styrobjektet. Typiskt sett är detta deaktive- ringskriterium ekvivalent med en fullbordad manipulering och/ eller att en annan manipulering efterfrågas.
Enligt en annan aspekt av uppfinningen uppnås syftet genom den inledningsvis beskrivna metoden, varvid det undersöks hu- ruvida rörelsesekvensen hos blickpunkten uppfyller ett aktive- ringskriterium med avseende på en aktiveringszon för åtmins- tone ett styrkommando. Om ett sådant aktiveringskriterium be- finns vara uppfyllt, inbegriper metoden presentering av ett data- manipuleringsfönster vid en position relativt ett aktivt styrobjekt på skärmen så att en mittpunkt hos fönstret befinner sig inom ett relativt litet förskjutningsavstånd från en mittpunkt hos det aktiva styrobjektet. Detta fönster innefattar i sin tur grafisk information som symboliserar en aktivitetsdel av skärmen vilken för närva- rande är föremål för ögonstyrningsinmatning av styrkommandon.
Dessutom inbegriper metoden upprepad uppdatering av in- formationen i datamanipuleringsfönstret som svar på den ögon- styrda inmatningen av styrkommandon.
Fördelarna med den här metoden så väl som de föredragna utfö- ringsformerna därav framgår av diskussionen ovan med hänvis- ning till det föreslagna systemet. 10 15 20 25 529 156 9 Enligt ytterligare en aspekt av uppfinningen uppnås syftet genom ett datorprogram, vilket är direkt laddbart till internminnet i en dator, där programmet inkluderar mjukvara för att styra den ovan föreslagna metoden då programmet körs på en dator.
Enligt en annan aspekt av uppfinningen uppnås syftet genom ett datorläsbart medium med ett därpå lagrat program, där programmet är ägnat att förmå en dator att styra den ovan föreslagna metoden Ytterligare fördelar, fördelaktiga särdrag och tillämpningar av fö- religgande uppfinning kommer att framgå av följande beskriv- ning och de beroende patentkraven.
KORT BESKRIVNING AV RITNINGARNA Uppfinningen kommer nu att förklaras närmare med hjälp av föredragna utföringsformer, vilka beskrivs som exempel, och med hänvisning till de bifogade ritningarna.
Figur 1 visar en schematisk bild av ett ögonföljnings- system enligt en utföringsform av uppfinningen; Figur 2a-b visar en första användning av en första uppsätt- ning styrobjekt enligt en utföringsform av uppfin- ningen; Figur 3 visar en andra användning av den första uppsätt- ningen styrobjekt visade i Figur 2a-b; Figur 4 illustrerar en användning av en andra uppsättning styrobjekt enligt en utföringsform av uppfinningen; Figur 5 illustrerar en användning av en tredje typ av styr- objekt enligt en utföringsform av uppfinningen; Figur 6 visar ett skärmobjekt som implementerar ett mjuk- varutangentbord, vilket är styrbart som svar till en rörelsesekvens hos en användares blickpunkt en- 10 15 20 25 30 529 156 10 ligt en utföringsform av uppfinningen; Figur 7 illustrerar hur ett grafiskt objekt kan roteras me- delst styrobjekt enligt en utföringsform av uppfin- ningen; illustrerar hur färgen hos ett grafiskt objekt kan modifieras medelst styrobjekt enligt en utförings- form av uppfinningen; och Figur 8 Figur9 illustrerar, med hjälp av ett flödesschema, en allmän metod enligt uppfinningen.
BESKRIVNING AV FÖREDRAGNA UTFÖRINGSFORMER AV UPPFINNINGEN Vi hänvisar inledningsvis till figur 1, som visar en schematisk bild av ett ögonföljningssystem enligt en utföringsform av uppfin- ningen. Systemet inkluderar en datorapparat 140 och en därtill ansluten skärm 150. Det förutsätts att datorapparaten 140 pre- senterar åtminstone en skärmrepresentation av åtminstone en GUI-komponent på skärmen 150, varvid den åtminstone en GUI- komponenten är styrbar som svar på kommandon från ett ögon- följningsorgan. Ögonföljningsorganet inkluderar ett avbildningsorgan 160, ex- empelvis inkluderande en videokamera. Företrädesvis inkluderar även ögonföljningsorganet en eller flera ljuskällor, exempelvis en första uppsättning ljuskällor 170 befintliga relativt nära en optisk axel hos avbildningsorganet 160, och en andra uppsätt- ning ljuskällor 181 och 182 befintliga relativt lång ifrån avbild- ningsorganets 160 optiska axel. Därmed möjliggörs såväl ljuspu- pillsföljning (BP = Bright Pupil; PCCR-tracking) som mörkpupills- följning (DP = Dark Pupil; PCCR-tracking) av en användares 100 ögon 101 och 102. l vilket fall som helst är ögonföljningsorganet anpassat att upprepat bestämma användarens 100 blickpunkt 130 på skärmen 150. 10 15 20 25 30 529 156 11 Ögonföljningsorganet är vidare anpassat att mata in styrkom- mandon till datorapparaten 140 som svar på rörelsesekvenser hos blickpunkten 130 över skärmen 150. I detta syfte kan ögon- följningsorganet inkludera en bearbetningsmodul 145, som är anpassad att emotta ögonföljningsdata DV och därur extrahera styrkommandona. Bearbetningsmodulen 145 är dessutom an- passad att alstra grafisk återkopplingsinformation DFB för pre- sentation på skärmen 150 för att visuellt bekräfta eventuellt in- matade styrkommandon.
Enligt uppfinningen är bearbetningsmodulen 145 vidare anpas- sad förorsaka att ett datamanipuleringsfönster presenteras på skärmen 150. Detta fönster inkluderar grafisk information, vilken symboliserar en del av skärmen 150 som innehåller objekt base- rat på vilka styrkommandon matas in till datorapparaten 140.
Detta innebär att datamanipuleringsfönstret antingen inkluderar dubblettinformation av det grafiska datat inom aktivitetsdelen 210, en ikon som schematiskt representerar dessa data, eller någon annan slags otvetydig bild av datat. Detaljerna rörande presentations- och styrningsproceduren kommer att diskuteras i detalj nedan med hänvisning till figurerna 2 till 9.
Figur 2a visar en del 200 av en bildyta hos skärmen 150 i figur 1. Skärmdelen 200 innehåller en uppsättning styrobjekt 220A, 2208, 220C och 220D, vilka är anpassade att presentera ett res- pektive datamanipuleringsfönster 220a, 220b, 220c och 220d.
Företrädesvis är varje objekt i uppsättningen anpassat att in- dikera en respektive navigeringsriktning för en markörsymbol i förhållande till en informationsarea på skärmen 150, exempelvis åt höger, nedåt, åt vänster respektive uppåt. Företrädesvis pre- senterar emellertid inte mer än ett styrobjekt åt gången ett sådant datamanipuleringsfönster, och innan någon ögonstyr- ningsbaserad inmatning av styrkommandon har påbörjats visas företrädes inte något datamanipuleringsfönster alls. l alla händelser centreras uppsättningen styrobjekt 220A, 220B, 220D och 220D kring en punkt 221 i en så kallad aktivitetsdel 10 15 20 25 30 529 156 12 210. Aktivitetsdelen 210 är en area av skärmen 150 som inne- håller ett eller flera grafiska element med avseende på vilka ögonföljningsalstrade styrkommandon alstras och matas in till datorapparaten 140. Aktivitetsdelen 210 är således centrerad kring ett skärmobjekt med avseende på vilket styrkommandon kan matas in till datorapparaten 140.
Med hänvisning till figur 2 kommer vi nu att förklara hur aktivitetsdelen 210 väljs ut enligt en föredragen utföringsform av uppfinningen för att styra en markörsymbol 231 över skärmens bildyta. Figuren 2b visar en uppsättning styrobjekt 220A, 220B, 220C och 220D överlagrade en informationsarea 240 innehål- lande redigerbar text. Bearbetningsmodulen 145 är anpassad att undersöka huruvida blickpunkten 130 uppfyller ett aktivitetskrite- rium. Detta kriterium avser här markörsymbolen 231 och dess önskade rörelse. Aktivitetskriteriet anses specifikt uppfyllt om blickpunkten 130 har befunnit sig inom en aktivitetszon 210 runt markörsymbolen 231 under åtminstone ett aktiveringsintervall, det vill säga att användarens blick har varit riktad tillräckligt nära markörsymbolen under en tillräckligt lång tid. Om bearbet- ningsmodulen 145 finner att detta kriterium är uppfyllt presen- terar modulen 145 uppsättningen styrobjekt 220A, 220B, 220C och 220D så som visas i figur 2b, det vill säga centrerade kring markörsymbolen 231. Alltså representeras aktivitetsdelen 210 här av en area till vänster och till höger om markörsymbolen 231, vilken befinner sig mellan styrobjekten 220A, 220B, 220C och 220D. Då markörsymbolen 231 i det här fallet är en text- inmatningsmarkör är det även möjligt att manipulera texten till vänster och till höger om markörsymbolen 231, det vill säga radera symboler och/eller lägg till nya symboler.
Givetvis utesluter inte uppfinningen att bearbetningsmodulen 145 förorsakar att ett eller flera av styrobjekten 220A, 220B, 220C och 220D presenteras även under andra förhållanden, ex- empelvis konstant, oavsett huruvida aktiveringskriteriet är upp- fyllt eller inte. 10 15 20 25 30 35 529 156 13 lcke desto mindre antar vi här att användaren 100 efter ovan- nämnda aktivering förflyttar blickpunkten 130 med hjälp av en sackad i en allmän högerriktning. Enligt den här utföringsformen av uppfinningen är bearbetningsmodulen 145 anpassad att tolka en sådan sackad som att användaren önskar förflytta mar- körsymbolen 231 åt höger över skärmen. Alltså upptäcker bearbetningsmodulen 145 sackaden och tolkar sackaden som ett uttryck för en navigeringsriktning RW åt höger på skärmen 150. Som ett resultat därav presenterar bearbetningsmodulen 145 ett datamanipuleringsfönster 220a i styrobjektet 220A på skärmen 150, som är anpassat att åstadkomma en förflyttning åt höger av markörsymbolen 231. Fönstret 220a inkluderar grafisk information som duplicerar aktivitetsdelen 210, vilket i detta ex- empel betyder att fönstret 220a visar bokstäverna ”nde”, det vill säga två bokstäver ”nd” till vänster om markörsymbolen 231 och en bokstav ”e” till höger om markörsymbolen 231. Naturligtvis är godtyckligt större eller något mindre fönster 220a lika tänkbart, så väl som olika slags gradvis uttonade eller delvis gömda rep- resentationer av bokstäverna i fönstret 220a i närheten av den högra och den vänstra fönsterkanten.
Enligt uppfinningen är bearbetningsmodulen 145 anpassad att repeterat uppdatera informationen i datamanipuleringsfönstret 220a som svar på ögonföljningsstyrd inmatning av styrkomman- don till datorapparaten 140. Detta betyder här att de två bokstä- verna till vänster respektive den enstaka bokstaven till höger om markörsymbolen 231 ändras i överensstämmelse med innehållet i texten i informationsarean 240 då markörsymbolen 231 förflyt- tar sig över skärmen 150 i enlighet med vad navigeringsriktnin- gen RW anger.
Enligt en föredragen utföringsform av uppfinningen är bearbet- ningsmodulen 145 även anpassad att presentera uppsättningen styrobjekt 220A, 220B, 220C och 220D på skärmen 150 på ett sådant sätt att denna uppsättning förflyttar sig gradvis över skärmen 150 i enlighet med navigeringsriktningen RW. Detta be- tyder att det relativa positionsförhållandet mellan markörsymbo- 10 15 20 25 30 529 156 14 len 231 och uppsättningen styrobjekt 220A, 220B, 220C och 220D förblir konstant, men att samtliga förflyttas tillsammans över skärmen 150. Därmed åstadkoms en stabil mekanism för styrning av markörsymbolen, vilket är önskvärt även vid icke- texttillämpningar.
Figur 3 illustrerar ett sådant exempel, varvid uppsättningen styr- objekt 220A, 220B, 220C och 220D som visas i figur 2a och 2b används för att styra en markörsymbol 331 med avseende på en del 200 av en bildarea hos skärmen 150 innehållande en infor- mationsarea i form av ett fönster 340.
I analogi med ovanstående antar vi att användaren 100 har pla- cerat blickpunkten 130 inom en aktiveringszon runt markörsym- bolen 331 under åtminstone ett aktiveringsintervall. Därför har bearbetningsmodulen 145 förorsakat presentation av uppsättnin- gen styrobjekt 220A, 220B, 220C och 220D kring en aktivitets- area 210 innehållande markörsymbolen 331.
Dessutom har användaren utfört en första sackad till höger för att uttrycka en navigeringsriktning RW, och som ett resultat därav har bearbetningsmodulen 145 aktiverat ett styrobjekt 220A anpassat att åstadkomma en förflyttning åt höger av mar- körsymbolen 331 och däri presenterat ett datamanipulerings- fönster 220a. Vidare antar vi att bearbetningsmodulen 145 har undersökt huruvida användarens 100 blickpunkt 130 har be- funnit sig på det aktiva styrobjektet 220A under en tröskeltid, och funnit detta kriterium vara uppfyllt. Därför har bearbetnings- modulen 145 initierat en markörförflyttning åt höger över skär- men 150, det vill säga i enlighet med navigeringsriktningen RW. Åter inkluderar det presenterade datamanipuleringsfönstret 220a grafisk information som symboliserar aktivitetsdelen 210. l mot- sats till det ovan med hänvisning till figur 2b diskuterade ex- emplet styrs markörsymbolen 331 som svar på ögonföljnings- alstrade styrkommandon vilka här ar anpassade att manipulera grafiska objekt, såsom fönster, mjukvarulmplementerade knap- 10 15 20 25 30 529 156 15 par, rullningslister, skjutreglage etc. lcke desto mindre förblir markörsymbolen 331 inom aktivitetsdelen 210 eftersom markör- symbolen 331 är ett objekt baserat på vilket styrkommandon matas in i datorapparaten 140 Bearbetningsmodulen 145 uppdaterar även repeterat informatio- nen i datamanipuleringsfönstret 220a som svar på alstrade styr- kommandon (här representerade av navigeringsriktningen RW), så att då markörsymbolen 331 rör sig åt höger över skärmens 150 bildyta innehållet i fönstret 340 befintligt till höger om en ur- sprunglig position gradvis dyker upp i datamanipuleringsfönstret 220a.
Figur 4 illustrerar hur en alternativ uppsättning styrobjekt 420A, 420B, 42OC och 420D kan användas enligt en utföringsform av uppfinningen för att styra markörsymbolen 431 över skärmen 150. Här visar skärmen 150 en informationsarea innehållande ett fönster 440. Denna utföringsform är emellertid lika tillämplig på andra typer av information, såsom texten 240 i figuren 2b.
Vi antar åter att användaren 100 har placerat blickpunkten 130 inom en aktiverings:zon 430 runt markörsymbolen 431 under åt- minstone ett aktiveringsintervall. Därför har bearbetningsmo- dulen 145 förorsakat att uppsättningen styrobjekt 420A, 420B, 42OC och 420D presenteras på skärmen 150, så att ett visst styrobjekt befinner sig i närheten av respektive sida av skärmen 150. Alternativt presenteras styrobjekten 420A, 420B, 42OC och 420D alltid på skärrnen 150 oavsett huruvida ovannämnda akti- veringskriterium är uppfyllt eller inte. I vilket fall som helst befin- ner sig ett första styrobjekt 420A vid en fixerad position på hö- ger sida av displayen 150 och är företrädesvis anpassad att ås- tadkomma en förflyttning åt höger av markörsymbolen 441, ett andra styrobjekt 420B befinner sig vid en fixerad position på skärmens 150 nedre sida och är företrädesvis anpassad att ås- tadkomma en förflyttning nedåt av markörsymbolen 441, ett tredje styrobjekt 42OC befinner sig vid en fixerad position på vänster sida av skärmen 150 och är företrädesvis anpassad att 10 15 20 25 30 529 156 16 åstadkomma en förflyttning åt vänster av markörsymbolen 441, och ett fjärde styrobjekt 420D befinner sig vid en fixerad position på skärmens 150 övre sida och är företrädesvis anpassad att åstadkomma en förflyttning uppåt av markörsymbolen 441.
Dessutom har användaren utfört en första sackad nedåt för att uttrycka en önskad navigeringsriktning nedåt DW. Som ett resul- tat därav har bearbetningsmodulen 145 aktiverat det andra styr- objektet 420B och däri presenterat ett datamanipuleringsfönster 420b. Vidare antar vi att användaren 100 har fixerat sin blick- punkt 130 på det aktiva styrobjektet 420B under en tröskeltid, och att därför bearbetningsmodulen 145 har initierat en nedåt- förflyttning av markörsymbolen över skärmen 150.
Följaktligen inkluderar datamanipuleringsfönstret 420b grafisk information som initialt duplicerar en skärmyta, exempelvis vä- sentligen motsvarande aktiveringszonen 430. Allt eftersom an- vändaren 100 håller blickpunkten 130 på det aktiva styrobjektet 420B och således styr markörsymbolen 431 nedåt uppdaterar emellertid bearbetningsmodulen upprepat innehållet i fönstret 420b för att återspegla markörsymbolens 431 nedåtförflyttning i navigeringsriktningen DW, företrädesvis under det att en repre- sentation av markörsymbolen 431 hålls på en konstant position i fönstret 420b.
Enligt en föredragen utföringsform av uppfinningen är bearbet- ningsmodulen 145 anpassad att undersöka huruvida blickpunk- ten 130 har befunnit sig utanför det aktiva styrobjektet 420B un- der en rörelsedeaktiveringsperiod, säg i storleksordningen 0,5 sekunder. Om detta kriterium är uppfyllt är bearbetningsmodulen 145 anpassad att deaktivera det aktiva styrobjektet 420B och således avbryta den ögonföljningsstyrda inmatningen av styr- kommandon, det vill säga i det här exemplet nedåtförflyttningen av markörsymbolen 431.
Denna stoppfunktion, som är tillämplig vid alla utföringsformer av föreliggande uppfinning, erbjuder ett mycket effektivt sätt för 10 15 20 25 30 529 156 17 användaren 100 att indikera för systemet att den aktuella inmatningen av styrkommandon ska upphöra, och att möjligen ett annat slags kommandon istället ska alstras.
Figur 5 illustrerar hur en tredje typ av föreslagna styrobjekt 520A kan användas enligt en utföringsform av uppfinningen för att påverka en markörsymbol 531 baserat på ögonföljningsalst- rade styrkommandon inmatade i datorapparaten 140. Enligt den här utföringsformen inkluderar uppsättningen styrobjekt ett ens- taka styrobjekt 520A, som kan presenteras på godtyckligt ställe av skärmens 150 bildyta.
Efter det att bearbetningsmodulen 145 har avgjort att använda- ren 100 har placerat sin blickpunkt 130 inom aktiveringszonen 530 runt markörsymbolen 531 under åtminstone ett aktiverings- intervall är bearbetningsmodulen 145 specifikt anpassad att inte bara bestämma en riktning 130d för en första sackad 130d utan- för aktiveringszonen 530, utan även en målp/acering av en så- dan sackad. Bearbetningsmodulen 145 är sedan anpassad att presentera styrobjektet 520A vid denna position, exempelvis centrerat däröver. l analogi med de ovan beskrivna utföringsformerna inkluderar styrobjektet 520A ett datamanipuleringsfönster 520a, som inklu- derar grafisk information symboliserande en aktivitetsdel av skärmen 150 som för närvarande är föremål för ögonföljnings- styrd inmatning av styrkommandon till datorapparaten 140, näm- ligen i detta exempel, markörsymbolen 531. Dessutom är bear- betningsmodulen 145 även här anpassad att förflytta markör- symbolen 531 över skärmen 150 i enlighet med navigeringsrikt- ningen 130d. Det är värt att nämna att navigeringsriktningen kan ha godtycklig vinkel (0°-360°) i förhållande till en referensrikt- ning, och är alltså inte begränsad till de tidigare beskrivna hori- sontella och vertikala höger-/vänster- och nedåt-/uppåtrikt- ningarna. 10 15 20 25 30 529 156 18 Figur 6 visar ett skärmobjekt som implementerar ett mjukvaru- tangentbord 650 på skärmen 150, varvid tangentbordet 650 enligt en utföringsform av uppfinningen är styrbart som svar på en röreisesekvens av användarens 100 blickpunkt 130. Tangent- bordet 650 är associerat med en informationsarea 640, som är anpassad att presentera redigerbara symboler, exempelvis rep- resenterande text. En markörsymboi 631 anger en position i in- formationsarean 640 som för närvarande är möjlig att manipu- lera.
Tangentbordet 650 inkluderar en uppsättning tangenter 620 an- passade att ögonstyras för att mata in alfabetiska symboler, siff- ror och andra slags tecken till datorapparaten 140. Tangentbor- det 650 kan även inkludera ett antal skärmobjekt 620A, 621 som 622 visuellt representerar GUI-komponenter av mjukvarutan- genter på skärmen 150, vilka gör det möjligt för användaren 100 att utföra olika slags redigeringsfunktioner baserat på ögonfölj- ningsalstrade styrkommandon. Alltså kan objekten 620, 620A, 621 och 622 utgöra styrobjekt av det ovan beskrivna slaget.
Bearbetningsmodulen 145 är här anpassad att avgöra huruvida användaren 100 ha placerat sin blickpunkt 130 i förhållande till dessa styrobjekt, så att ett aktiveringskriterium med avseende på ett visst styrobjekt har uppfyllts. Förutsatt att ett specifikt styrobjekt aktiveras uppstår .den därmed åstadkomna manipula- tionen av markörsymbolen 631. Markörsymbolen 631 kan i sin tur antingen förflyttas relativt informationsarean 640 enligt vad som beskrivs ovan, , exempelvis med hänvisning till figurerna 2a och 2b, eller med hjälp av godtyckligt annat känt styrorgan.
Förutsatt att användaren har styrt markörsymbolen 631 till en önskad position i informationsarean 640 undersöker bearbet- ningsmodulen 145, i analogi med ovan, sedan huruvida ett akti- veringskriterium med avseende på något av styrobjekten 620, 620A, 621 och 622 är uppfyllt. l illustreringssyfte antar vi i det här fallet att en backstegs-/raderingstangent 620A har aktiverats på det här sättet baserat på en röreisesekvens hos en blickpunkt 10 15 20 25 30 529 156 19 130 i förhållande till en aktiveringszon 630 för denna tangent 620A, exempelvis att användaren 100 har placerat blickpunkten 130 inom aktiveringszonen 630 under åtminstone ett aktiverings- intervall. Vi antar också att markörsymbolen 631 befinner sig mellan bokstäverna ”ö” och "r" i ordet ”för” så som visas i figur 6, och att därmed en aktivitetsdel 210 av informationsarean 640 de- finieras. Eftersom tangenten 640A är anpassad att åstadkomma en radering av den symbol som befinner sig omedelbart till vänster om markörsymbolens 631 aktuella position kommer den- na symbol, det vill säga här bokstaven “ö”, att raderas i samband med aktivering av tangenten 640A. Som ett ytterligare resultat kommer markörsymbolen 631 därefter att befinna sig mellan bok- stäverna ”f” och l likhet med den ovan med hänvisning till figur 2b beskrivna utfö- ringsformen av uppfinningen inkluderar ett datamanipulerings- fönster 620a i det aktiva styrobjektet representerat av tangenten 640A initialt vid aktivering grafisk information symboliserande en aktivitetsdel runt markörsymbolen 641. I det här exemplet visar fönstret 620a bokstäverna ”för", det vill säga två bokstäver ”fö” till vänster om markörsymbolen och en enstaka bokstav ”r” till höger om markörsymbolen 631. Åter är godtyckligt mindre eller större fönster 620a tillpassat tangenten 620A lika tänkbart. Des- sutom kan symbolerna i fönstret 620a visas så att de gradvis tonar ut, eller delvis göms i närheten av en, eller båda, av fönst- rets 620a höger- och vänsterkanter.
Naturligtvis kan bearbetningsmodulen 145 vid val av någon av de andra tangenterna 620 istället avgöra att en eller flera sym- boler ska läggas till baserat på rörelsesekvensen hos blickpunk- ten 130 över tangentbordet 650, och lägga till sådana tillagda symboler i informationsarean 640. Alltså är enligt den här utfö- ringsformen av uppfinningen ett antal, företrädesvis samtliga, tangenter 620, 620A, 621 och 622 anpassade att presentera ett respektive datamanipuleringsfönster i fall tangenten väljs som det aktiva styrobjektet. 10 15 20 25 30 529 156 20 Figur 7 illustrerar hur en skärmrepresentation 740 av en GUI- komponent kan manipuleras enligt en utföringsform av upp- finningen, nämligen utsättas för en rotation. Enligt denna utfö- ringsform presenteras ett första styrobjekt 720A och ett andra styrobjekt 72OB på skärmen. Vid aktivering är det första styrobjektet 720A anpassat att åstadkomma en medurs rotation av skärmrepresentationen av ett valt grafiskt objekt, medan det andra styrobjektet 72OB är anpassat att åstadkomma en moturs rotation. Här aktiveras ett styrobjekt, säg det andra styrobjektet 72OB genom rörelse av blickpunkten 130 över skärmen så att blickpunkten 130 uppfyller ett aktiveringskriterium med avse- ende på en grafisk representation 740, exempelvis genom att blickpunkten 130 befinner sig inom en aktiveringszon 730 under ett aktiveringsintervall. Sedan rör sig blickpunkten 130, typiskt sett i form av en sackad, till det andra styrobjektet 72OB. För- utsatt att blickpunkten 130 befinner sig på detta objekt 72OB åtminstone under en tröskeltid presenteras ett datamanipule- ringsfönster 720b i det andra styrobjektet 72OB för att bekräfta aktivering. Datamanipuleringsfönstret 720b visar grafisk infor- mation som symboliserar den grafiska representationen 740, det vill säga det aktuella föremålet för ögonföljningsstyrd moturs- rotation.
Allt eftersom den grafiska representationen 740 roteras på skär- men uppdateras därtill informationen som återspeglar detta fak- tum i datamanipuleringsfönstret 720b upprepat. Företrädesvis fortsätter rotationen gradvis så länge som styrobjektet 72OB för- blir aktivt, antigen i relativt små steg (exempelvis 1 grad per uppdatering vid en uppdateringstakt av 4 uppdateringar per se- kund), eller i relativt stora steg (exempelvis 90 grader per upp- datering vid en uppdateringstakt på en per sekund). Närhelst an- vändaren är nöjd med rotationen förflyttar han/hon blickpunkten 130 så att ett deaktiveringskriterium uppfylls, exempelvis genom att placera blickpunkten 130 utanför styrobjektet 72OB under en deaktiveringströskeltid. 10 15 20 25 30 529 156 21 Figur 8 illustrerar ännu en annan typ av ögonstyrningsmani- pulation av grafiska objekt som möjliggörs enligt en utförings- form av föreliggande uppfinning. Här kan en skärmrepresen- tation 840 av en GUl-komponent styras att ändra färg. Ett första styrobjekt 820A är anpassat att färga ett valt objekt rött, ett andra styrobjekt 8208 är anpassat att färga ett valt objekt blått, och ett tredje styrobjekt 82OC är anpassat att färga ett valt ob- jekt grönt. Ånyo väljs en given grafisk representation 840 genom förflyttning av blickpunkten 130 över skärmen, så att blick- punkten 130 uppfyller ett aktiveringskriterium med avseende på den givna grafiska representationen 840. Företrädesvis anses aktiveringskriteriet vara uppfyllt om blickpunkten 130 har varit placerad inom en aktiveringszon 830 runt det givna grafiska objektet 840 under ett aktiveringsintervall.
Blickpunkten 130 förflyttas sedan medelst en sackad till ett styrobjekt, säg det andra styrobjektet 820B, där blickpunkten 130 förblir åtminstone under en tröskeltid. Därefter åstadkoms den modifiering av den grafiska representationen 840 som an- ges av det andra styrobjektet 820B, i det här fallet en färgför- ändring till blått. För att bekräfta denna modifiering presenteras ett datamanipuleringsfönster 820b som visar grafisk information symboliserande den grafiska representationen 840 i det andra styrobjektet 820B. Således återspeglas, i samband med att den grafiska representationen 840 ändar färg till blått, detta faktum av symbolisk information i datamanipuleringsfönstret 820b.
Analogt med ovanstående kan givetvis även andra egenskaper hos en GUI-komponent förändras, såsom texturer. Därför pre- senteras enligt en utföringsform av uppfinningen en uppsättning ögonstyrbara styrobjekt på skärmen, vilka är anpassade att pà- verka att en viss textur avbildas på GUI-komponentens skärm- representation.
För att summera kommer nu den allmänna metoden enligt upp- finningen för att styra en datorapparat att beskrivas med hän- visning till flödesschemat i figur 9. 10 15 20 25 30 35 529 156 22 Ett inledande steg 910 bestämmer en användares blickpunkt på skärmen. Ett steg 920 undersöker sedan huruvida ett aktive- ringskriterium har uppfyllts, och om så är fallet följer ett steg 930. Aktiveringskriteriet kan anses vara uppfyllt om blickpunkten under åtminstone ett aktiveringsintervall har befunnit sig inom en aktiveringszon för ett skärmobjekt baserat på vilket ögonfölj- ningsstyrda styrkommandon kan matas in till en datorapparat.
Alternativt kan aktiveringskriteriet anses vara uppfyllt om blick- punkten under aktiveringsintervallet har befunnit sig på styrob- jektet mera än på något av dess angränsande styrobjekt. Om emellertid aktiveringskriteriet inte är uppfyllt loopar proceduren tillbaka till steget 910.
Steget 930 definierar styrobjektet som aktivt och presenterar ett datamanipuleringsfönster i förhållande till det aktiva styrobjektet på skärmen så att en mittpunkt hos fönstret befinner sig inom ett relativt litet förskjutningsavstånd från en mittpunkt hos det aktiva styrobjektet. Exempelvis kan datamanipuleringsfönstret presen- teras i det aktiva styrobjektet, eller så att fönstret delvis över- lappar det aktiva styrobjektet. Styrobjektet som ska aktiveras kan identifieras genom en första sackad hos blickpunkten regist- rerad från aktiveringszonen, och det styrobjekt som represente- rar det åtminstone ett styrobjektet styrkommandot att inmata till datorapparaten. Datamanipuleringsfönstret inkluderar grafisk in- formation, som symboliserar en aktivitetsdel skärmen där det skärmobjekt befinner sig på vilket ögonstyrnlngsstyrda komman- don för närvarande alstras.
Därefter undersöker ett steg 940 huruvida ett deaktiveringskrite- rium är uppfyllt med avseende på det aktiva styrobjektet. Före- trädesvis är deaktiveringskriteriet komplementet till ovannämnda aktiveringskriterium. Därmed anses deaktiveringskriteriet vara uppfyllt om aktiveringskriteriet inte längre är uppfyllt. Naturligtvis anses ett deaktiveringskriterium för ett första aktivt styrobjekt generellt sett vara uppfyllt om ett aktiveringskriterium för ett andra aktivt styrobjekt uppfylls. l alla händelser loopar procedu- ren tillbaka till steget 910 om deaktiveringskriteriet är uppfyllt. l 10 15 20 25 30 35 529 156 23 annat fall följer ett steg 950 i vilket informationen i datamani- puleringsfönstret uppdateras som svar på det åtminstone ett styrkommandot representerat av det aktiva styrobjektet.
Samtliga de metodsteg, såväl som godtycklig delsekvens av steg, beskrivna med hänvisning till figur 9 ovan kan styras med hjälp av en programmerad datorapparat. Dessutom, även om de ovan med hänvisning till figurerna beskrivna utföringsformerna av uppfinnin- gen innefattar en dator och processer utförda i en dator, utsträc- ker sig uppfinningen till datorprogram, speciellt datorprogram på eller i en bärare anpassad att praktiskt implementera uppfinnin- gen. Programmet kan vara i form av källkod, objektkod, en kod som utgör ett mellanting mellan käll- och objektkod, såsom i delvis kompilerad form, eller i vilken annan form som helst lämplig att använda vid implementering av processen enligt uppfinningen.
Bäraren kan vara godtycklig entitet eller anordning vilken är kapabel att bära programmet. Exempelvis kan bäraren innefatta ett lagringsmedium såsom ett flashminne, ett ROM (Read Only Memory), exempelvis en CD (Compact Disc) eller ett halvledar- ROM, att EPROM (Erasable Programmable ROM), an EEPROM (Electrically EPROM) eller ett magnetiskt inspelningsmedium, exempelvis en floppydisk eller hårddisk. Dessutom kan bäraren vara en överförande bärare såsom en elektrisk eller optisk signal, vilken kan ledas genom en elektrisk eller optisk kabel eller via radio eller på annat sätt. Då programmet gestaltas av en signal som kan ledas direkt av en kabel eller annan anordning eller organ kan bäraren utgöras av en sådan kabel, anordning eller organ. Alternativt kan bäraren vara en integrerad krets i vilken programmet är inbäddat, där den integrerade kretsen är anpassad att utföra, eller för att användas vid utförande av, de aktuella processerna.
Termen “innefattar/innefattande" ska då den används i den här beskrivningen förstås att ange närvaron av de nämnda särdra- gen, heltalen, stegen eller komponenterna. Termen utesluter emellertid inte närvaro eller tillägg av en eller flera ytterligare särdrag, heltal, steg eller komponenterna, eller grupper därav. 529 156 24 Referenserna till tidigare känd teknik i den här beskrivningen är inte, och ska inte ses som ett erkännande eller antydning om att nämnda teknik utgör en del av det allmänna vetandet i Austra- lien.
Uppfinningen är inte begränsad till de i figurerna beskrivna ut- föringsformerna, utan kan varieras fritt inom kravens omfång.

Claims (26)

10 15 20 25 30 35 529 156 25 Patentkrav
1. Ett system för styrning av en datorapparat (140) knuten till en grafisk skärm (150), där datorapparaten (140) är anpassad att presentera en respektive skärmrepresentation av åtminstone en GUI-komponent på skärmen (150), där systemet innefattar ögonföljningsorgan (145, 160, 170, 181, 182) anpassade att bestämma en användares (100) blickpunkt (130) på skärmen (150) och som svar till rörelsesekvenser hos blickpunkten (130) över skärmen (150) mata in styrkommandon till datorapparaten (140), där ögonföljningsorganen innefattar en bearbetnings- modul (145) anpassad att alstra grafisk àterkopplingsinformation (DFB) för presentation på skärmen (150) för att visuellt bekräfta inmatade kommandon, kännetecknat av att bearbetningsmo- dulen (145) är anpassad att: undersöka huruvida rörelsesekvensen hos blickpunkten (130) uppfyller ett aktiveringskriterium med avseende på en aktiveringszon (430, 530, 630, 730, 830) för vart och ett av de åtminstone ett styrkommandona, och om ett sådant aktiverings- kriterium visar sig vara uppfyllt presentera ett datamanipuleringsfönster (220a, 420b, 520a, 620a, 720b, 820b) vid en position relativt ett aktivt styrobjekt (220A; 420B; 520A; 620A, 720B, 820B) på skärmen (150) så att en mittpunkt hos fönstret befinner sig inom ett relativt litet förskjutningsavstànd från en mittpunkt hos det aktiva styrobjektet, där fönstret innefattar grafisk information som sym- boliserar en aktivitetsdel (210) av skärmen (150) vilken för när- varande är föremål för ögonstyrningsinmatning av styrkomman- don,och upprepat uppdatera informationen i datamanipulerings- fönstret (220a, 420b, 520a, 620a, 720b, 820b) som svar på den ögonstyrda inmatningen av styrkommandon.
2. Systemet enligt krav 1, kännetecknat av att bearbetnings- modulen (145) är anpassad att bestämma det aktiva styrobjektet (220A; 420B; 520A; 620A, 720B, 820B) baserat på rörelsesek- vensen hos blickpunkten (130) relativt aktiveringszonen (430, 10 15 20 25 30 529 156 26 530, 630, 730, 830).
3. Systemet enligt krav 2, kännetecknat av att rörelsesek- vensen hos blickpunkten (130) baserad på vilken bearbetnings- modulen (145) är anpassad att bestämma det aktiva styrobjektet (220A; 420B; 520A; 720B, 820B) innefattar en första sackad från aktiveringszonen (430, 530, 730, 830).
4. Systemet enligt något av föregående krav, kännetecknat av att det åtminstone ett styrkommandot uttrycker åtminstone endera av: en navigeringsriktning (RW, DW, LW, 130d) för en markör- symbol (231, 331, 431, 531, 631) med avseende på skärmen (150), _ en rotation av åtminstone en skärmobjektsrepresentation (740) av åtminstone en GUI-komponent på skärmen (150), en färgförändring av åtminstone en skärmrepresentation (840) av åtminstone en GUI-komponent på skärmen (150), och en texturmodifiering av åtminstone en skärmrepresentation av åtminstone en GUI-komponent på skärmen (150).
5. Systemet enligt krav 4, kännetecknat av att det åtmins- tone ett styrkommandot uttrycker en navigeringsriktning (RW, DW, LW, 130d) för en markörsymbol (231, 331, 431, 531, 631) med avseende på skärmen (150) och bearbetningsmodulen (145) är anpassad att: urskilja en navigeringsriktning (RW, DW, LW, 130d) från en första sackad relativt aktiveringszonen (430, 530), och förflytta en markörsymbol (231, 331, 631) över skärmen (150) i enlighet med navigeringsriktningen (RW, DW, LW, 130d).
6. Systemet enligt krav 5, kännetecknat av att bearbetnings- modulen (145) är anpassad att presentera en uppsättning styrobjekt (220A, 220B, 220C, 220D; 420A, 420B, 42OC, 420D; 520A; 620) på skärmen (150), där varje styrobjekt i uppsätt- ningen är anpassat att indikera en respektive navigeringsriktning 10 15 20 25 30 529 156 27 (RW, DW, LW, 130d) för en markörsymbol symbol (231, 331, 431, 531, 631) relativt en informationsarea (240, 340, 440, 540, 640)
7. Systemet enligt krav 6, kännetecknat av att bearbetnings- modulen (145) är anpassad att: presentera uppsättningen styrobjekt (220A. 220B. 2200. 220D) på skärmen (150) på ett sådant sätt att nämnda uppsätt- ning förflyttas gradvis över skärmen (150) i enlighet med navi- geringsriktningen (RW), och förflytta markören (231, 331, 431, 531, 631) över skärmen (150) i enlighet med navigeringsriktningen (RW).
8. Systemet enligt krav 6, kännetecknat av att bearbetnings- modulen (145) är anpassad att presentera uppsättningen styrobjekt (420A, 420B, 420C, 420D; 620) vid fixa positioner på skärmen (150), och förflytta markören (431, 631) över skärmen (150) i enlighet med navigeringsriktningen (DW, LW).
9. Systemet enligt något av föregående krav, kännetecknat av att skärmen (150) presenterar en informationsarea (640) innefattande redigerbara symboler, och att bearbetningsmodulen (145) är anpassad att: bestämma åtminstone en tillagd symbol baserat på en rörelsesekvens hos blickpunkten (130) över ett antal skärmob- jekt (620, 621, 622) visuellt representerande GUI-komponenter hos ett mjukvarutangentbord på skärmen (150), och lägga till åtminstone en tillagd symbol till symbolerna i in- formationsarean (640).
10. Systemet enligt något av föregående krav, kännetecknat av att skärmen (150) presenterar en informationsarea (640) innefattande redigerbara symboler, och att bearbetningsmodulen (145) är anpassad att: undersöka huruvida blickpunkten (130) uppfyller ett aktive- ringskriterium med avseende på ett aktivt styrobjekt (620A) rep- 10 15 20 25 30 529 156 28 resenterande en raderingsknapp, och om ett sådant kriterium befinns vara uppfyllt radera en underuppsättning av symboler, där underupp- sättningen innefattar åtminstone en av de redigerbara symbo- lerna.
11. Systemet enligt något av kraven 1 till 8, kännetecknat av att uppsättningen styrobjekt innefattar ett enstaka styrobjekt (520A), och bearbetningsmodulen (145) är anpassad att: bestämma en målplacering för en första sackad (130d) utanför aktiveringszonen (530), presentera det enstaka styrobjektet (520A) vid målplace- ringen, där det enstaka styrobjektet (520A) inkluderar ett data- manipuleringsfönster (520a), och förflytta markörsymbolen (531) över skärmen (150) i en- lighet med en navigeringsriktning (130d) uttryckt av den första sackaden.
12. Systemet enligt något av föregående krav, kännetecknat av att bearbetningsmodulen (145) är anpassad att: undersöka huruvida blickpunkten (130) uppfyller ett deak- tiveringskriterium med avseende på styrobjektet objekt (220A; 420B; 52OA; 620A, 720B, 820B), och om ett sådant kriterium befinns vara uppfyllt deaktivera det aktiva styrobjektet (220A; 420B; 520A; 620A, 720B,820B)
13. En metod för styrning av en datorapparat knuten till en grafisk skärm (150), där datorapparaten är anpassad att presen- tera en respektive skärmrepresentation av åtminstone en GUI- komponent på skärmen (150), där metoden innefattar: bestämning av en användares (100) blickpunkt (130) på skärmen (150) och som svar till rörelsesekvenser hos blick- punkten (130) över skärmen (150) inmatning av styrkommandon till datorapparaten-(140), alstring av grafisk återkopplingsinformation (DFB) för pre- 10 15 20 25 30 529 156 29 sentation på skärmen (150) för att visuellt bekräfta inmatade kommandon, kännetecknad av undersökning huruvida rörelsesekvensen hos blickpunkten (130) uppfyller ett aktiveringskriterium med avseende på en aktlveringszon (430, 530, 630, 730, 830) för vart och ett av de åtminstone ett styrkommandona, och om ett sådant aktiverings- kriterium befinns vara uppfyllt presentering av ett datamanipuleringsfönster (220a, 420b, 520a, 620a, 720b, 820b) vid en position relativt ett aktivt styr- objekt (220A; 420B; 520A; 620A, 720B, 820B) på skärmen (150) så att en mittpunkt hos fönstret befinner sig inom ett relativt litet förskjutningsavstånd från en mittpunkt hos det aktiva styrob- jektet, där fönstret innefattar grafisk information som symbo- liserar en aktivitetsdel (210) av skärmen (150) vilken för närva- rande är föremål för ögonstyrningsinmatning av styrkommandon, och upprepad uppdatering av informationen i datamanipule- ringsfönstret (220a, 420b, 520a, 620a, 720b, 820b) som svar på den ögonstyrda inmatningen av styrkommandon.
14. Metoden enligt krav 13, kännetecknad av bestämning av det aktiva styrobjektet (220A; 420B; 520A; 620A, 720B, 820B) baserat på rörelsesekvensen hos blickpunkten (130) relativt aktiveringszonen (430, 530, 630, 730, 830).
15. Metoden enligt krav 14, kännetecknad av att rörelsesek- vensen hos blickpunkten (130) baserad på vilken bearbetnings- modulen (145) är anpassad att bestämma det aktiva styrobjektet (220A; 420B; 520A; 720B, 820B) innefattar en första sackad från aktiveringszonen (430, 530, 730, 830).
16. Metoden enligt något av kraven 13 till 15, kännetecknad av att det åtminstone ett styrkommandot uttrycker åtminstone endera av: en navigeringsriktning (RW, DW, LW, 130d) för en markör- 10 15 20 25 30 529 156 30 symbol (231, 331, 431, 531, 631) med avseende på skärmen (150), en rotation av åtminstone en skärmobjektsrepresentation (740) av åtminstone en GUI-komponent på skärmen (150), en färgförändring av åtminstone en skärmrepresentation (840) av åtminstone en GUI-komponent på skärmen (150), och en texturmodifiering av åtminstone en skärmrepresentation av åtminstone en GUI-komponent på skärmen (150).
17. Metoden enligt krav 16, kännetecknad av att det åtmins- tone ett styrkommandot uttrycker en navigeringsriktning (RW, DW, LW, 130d) för en markörsymbol symbol (231, 331, 431, 531, 631) med avseende på skärmen (150) och metoden innefattar: urskiljning av en navigeringsriktning (RW, DW, LW, 130d) från en första sackad relativt aktiveringszonen (430, 530), och förflyttning av en markörsymbol (231, 331, 631) över skär- men (150) i enlighet med navigeringsriktningen (RW, DW, LW, 130d)
18. Metoden enligt krav 17, kännetecknad av presentering av en uppsättning styrobjekt (220A, 220B, 22OC, 22OD; 420A, 420B, 420C, 420D; 520A; 620) på skärmen (150), där varje styr- objekt i uppsättningen är anpassat att indikera en respektive navigeringsriktning (RW, DW, LW, 130d) för en markörsymbol symbol (231, 331, 431, 531, 631) relativt en informationsarea (240, 340, 440, 540, 640).
19. Metoden enligt krav 18, kännetecknad av: presentering av uppsättningen styrobjekt (22OA, 220B, 22OC, 220D) på skärmen (150) på ett sådant sätt att nämnda uppsättning förflyttas gradvis över skärmen (150) i enlighet med navigeringsriktningen (RW), och förflyttning av markören (231, 331, 431, 531, 631) över skärmen (150) i enlighet med navigeringsriktningen (RW).
20. Metoden enligt krav 18, kännetecknad av: 10 15 20 25 30 529 156 31 presentering av uppsättningen styrobjekt (42OA, 420B, 420C, 420D; 620) vid fixa positioner på skärmen (150), och förflyttning av markören (431, 631) över skärmen (150) i enlighet med navigeringsriktningen (DW, LW).
21. Metoden enligt något av kraven 13 till 20, kännetecknad av att skärmen (150) presenterar en informationsarea (640) innefattande redigerbara symboler, och metoden innefattar: bestämning av åtminstone en tillagd symbol baserat pà en rörelsesekvens hos blickpunkten (130) över ett antal skärmob- jekt (620, 621, 622) visuellt representerande GUI-komponenter hos ett mjukvarutangentbord på skärmen (150), och tilläggning av åtminstone en tillagd symbol till symbolerna i informationsarean (640).
22. Metoden enligt något av kraven 13 till 21, kännetecknad av att skärmen (150) presenterar en informationsarea (640) innefattande redigerbara symboler, och metoden innefattar: undersökning huruvida blickpunkten (130) uppfyller ett ak- tiveringskriterium med avseende på ett aktivt styrobjekt (620A) representerande en raderingsknapp, och om ett sådant kriterium befinns vara uppfyllt radering av en underuppsättning av symboler, där under- uppsättningen innefattar åtminstone en av de redigerbara symbolerna.
23. Metoden enligt något av kraven 13 till 17, kännetecknad av att uppsättningen styrobjekt innefattar ett enstaka styrobjekt (520A), och metoden innefattar: bestämning av en málplacering för en första sackad (130d) utanför aktiveringszonen (530), presentering av det enstaka styrobjektet (520A) vid mål- placeringen, där det enstaka styrobjektet (520A) inkluderar ett datamanipuleringsfönster (520a), och förflyttning av markörsymbolen (531) över skärmen (150) i enlighet med en navigeringsriktning (130d) uttryckt av den första 10 15 529 156 32 sackaden.
24. Metoden enligt något av kraven 13 till 23, kännetecknad av: undersökning huruvida blickpunkten (130) uppfyller ett de- aktiveringskriterium med avseende på styrobjektet objekt (220A; 420B; 520A; 620A, 720B, 8208), och om ett sådant kriterium befinns vara uppfyllt deaktivering av det aktiva styrobjektet (220A; 420B; 520A; 620A, 7208, 820B).
25. Ett datorprogram direkt laddbart till internminnet hos en dator innefattande mjukvara för styrning av stegen enligt något av kraven 13 till 24 då nämnda program körs på datorn.
26. Ett datorläsbart medium (146) med ett därpå lagrat program, där programmet är ägnat att förmå en dator att styra stegen enligt något av kraven 13 till 24.
SE0502398A 2005-10-28 2005-10-28 Ögonföljare med visuell återkoppling SE529156C2 (sv)

Priority Applications (7)

Application Number Priority Date Filing Date Title
SE0502398A SE529156C2 (sv) 2005-10-28 2005-10-28 Ögonföljare med visuell återkoppling
CN2006800401797A CN101297259B (zh) 2005-10-28 2006-10-19 具有视觉反馈的眼跟踪器
PCT/SE2006/050411 WO2007050029A2 (en) 2005-10-28 2006-10-19 Eye tracker with visual feedback
ES06844032T ES2730217T3 (es) 2005-10-28 2006-10-19 Rastreador ocular con retroalimentación visual
JP2008537646A JP4961432B2 (ja) 2005-10-28 2006-10-19 視覚的フィードバックを有するアイトラッカー
US12/090,282 US8120577B2 (en) 2005-10-28 2006-10-19 Eye tracker with visual feedback
EP06844032.0A EP1943583B1 (en) 2005-10-28 2006-10-19 Eye tracker with visual feedback

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
SE0502398A SE529156C2 (sv) 2005-10-28 2005-10-28 Ögonföljare med visuell återkoppling

Publications (2)

Publication Number Publication Date
SE0502398L SE0502398L (sv) 2007-04-29
SE529156C2 true SE529156C2 (sv) 2007-05-15

Family

ID=38048094

Family Applications (1)

Application Number Title Priority Date Filing Date
SE0502398A SE529156C2 (sv) 2005-10-28 2005-10-28 Ögonföljare med visuell återkoppling

Country Status (4)

Country Link
JP (1) JP4961432B2 (sv)
CN (1) CN101297259B (sv)
ES (1) ES2730217T3 (sv)
SE (1) SE529156C2 (sv)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11209900B2 (en) 2017-04-03 2021-12-28 Sony Corporation Information processing device and information processing method

Families Citing this family (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8793620B2 (en) 2011-04-21 2014-07-29 Sony Computer Entertainment Inc. Gaze-assisted computer interface
CN101840265B (zh) * 2009-03-21 2013-11-06 深圳富泰宏精密工业有限公司 视觉感知装置及其控制方法
CN101943982B (zh) 2009-07-10 2012-12-12 北京大学 基于被跟踪的眼睛运动的图像操作
CN101950200B (zh) * 2010-09-21 2011-12-21 浙江大学 基于摄像头的眼球控制游戏地图和角色移动的方法和装置
KR101850035B1 (ko) * 2012-05-02 2018-04-20 엘지전자 주식회사 이동 단말기 및 그 제어방법
CN103529932A (zh) * 2012-07-05 2014-01-22 华硕电脑股份有限公司 显示画面旋转的方法及系统
CN104428732A (zh) * 2012-07-27 2015-03-18 诺基亚公司 与近眼显示器的多模交互
CN104216508B (zh) * 2013-05-31 2017-05-10 中国电信股份有限公司 通过眼动跟踪技术进行功能键操作的方法和装置
TW201539251A (zh) * 2014-04-09 2015-10-16 Utechzone Co Ltd 電子裝置及其操作方法
CN106020591A (zh) * 2016-05-10 2016-10-12 上海青研信息技术有限公司 一种眼控人机交互移动窗口技术
CN106155326A (zh) * 2016-07-26 2016-11-23 北京小米移动软件有限公司 虚拟现实通讯中的对象识别方法和装置、虚拟现实设备
KR102574874B1 (ko) * 2017-02-03 2023-09-05 베스텔 일렉트로닉 사나이 베 티카레트 에이에스 헤드 마운트 디스플레이(hmd)를 이용한 화상회의를 위한 개선된 방법 및 시스템
CN109753143B (zh) * 2018-04-16 2019-12-13 北京字节跳动网络技术有限公司 一种优化光标位置的方法和装置
EP3882743A4 (en) 2018-11-12 2021-12-29 Sony Group Corporation Display device, display control method, and program
CN112232255B (zh) * 2020-10-26 2022-11-01 北京鹰瞳科技发展股份有限公司 基于多模态数据的身份认证方法及设备

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0822385A (ja) * 1994-02-22 1996-01-23 Nippon Hoso Kyokai <Nhk> 視線対応表示方法及び装置
US6351273B1 (en) * 1997-04-30 2002-02-26 Jerome H. Lemelson System and methods for controlling automatic scrolling of information on a display or screen
JP3753882B2 (ja) * 1999-03-02 2006-03-08 株式会社東芝 マルチモーダルインターフェース装置及びマルチモーダルインターフェース方法
AU1552101A (en) * 1999-11-30 2001-06-12 Ecchandes Inc. Data acquisition system, artificial eye, vision device, image sensor and associated device

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11209900B2 (en) 2017-04-03 2021-12-28 Sony Corporation Information processing device and information processing method

Also Published As

Publication number Publication date
ES2730217T3 (es) 2019-11-08
JP4961432B2 (ja) 2012-06-27
CN101297259A (zh) 2008-10-29
SE0502398L (sv) 2007-04-29
CN101297259B (zh) 2010-12-15
JP2009514090A (ja) 2009-04-02

Similar Documents

Publication Publication Date Title
SE529156C2 (sv) Ögonföljare med visuell återkoppling
US8120577B2 (en) Eye tracker with visual feedback
US10452140B2 (en) Generation of graphical feedback in a computer system
EP1607840B1 (en) Eye control of computer apparatus
KR101331655B1 (ko) 전자 데이터 입력 방법, 시스템 및 컴퓨터 판독 가능한 매체
KR101919009B1 (ko) 안구 동작에 의한 제어 방법 및 이를 위한 디바이스
US20110175932A1 (en) Eye tracker based contextual action
US20120173999A1 (en) Method and apparatus for using generic software applications by means of ocular control and suitable methods of interaction
SE529599C2 (sv) Alstring av grafisk returinformation i ett datorsystem
KR20160109443A (ko) 시선 추적을 이용한 디스플레이 장치 및 방법

Legal Events

Date Code Title Description
NUG Patent has lapsed