SE529763C2 - Ögonrörelseföljare med ett utökat omfång av arbetsavstånd - Google Patents

Ögonrörelseföljare med ett utökat omfång av arbetsavstånd

Info

Publication number
SE529763C2
SE529763C2 SE0502228A SE0502228A SE529763C2 SE 529763 C2 SE529763 C2 SE 529763C2 SE 0502228 A SE0502228 A SE 0502228A SE 0502228 A SE0502228 A SE 0502228A SE 529763 C2 SE529763 C2 SE 529763C2
Authority
SE
Sweden
Prior art keywords
eye
light
primary data
data
transfer function
Prior art date
Application number
SE0502228A
Other languages
English (en)
Other versions
SE0502228L (sv
Inventor
Maarten Skogoe
John Elvesjoe
Bengt Rehnstroem
Original Assignee
Tobii Technology Ab
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Tobii Technology Ab filed Critical Tobii Technology Ab
Priority to SE0502228A priority Critical patent/SE529763C2/sv
Priority to ES06784210T priority patent/ES2814201T3/es
Priority to JP2008534493A priority patent/JP2009512009A/ja
Priority to PCT/SE2006/050296 priority patent/WO2007043954A1/en
Priority to EP06784210.4A priority patent/EP1933694B1/en
Priority to US12/089,595 priority patent/US8066375B2/en
Priority to CN200680037562A priority patent/CN100589752C/zh
Publication of SE0502228L publication Critical patent/SE0502228L/sv
Publication of SE529763C2 publication Critical patent/SE529763C2/sv

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/70Determining position or orientation of objects or cameras
    • AHUMAN NECESSITIES
    • A61MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61BDIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B3/00Apparatus for testing the eyes; Instruments for examining the eyes
    • A61B3/10Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions
    • A61B3/113Objective types, i.e. instruments for examining the eyes independent of the patients' perceptions or reactions for determining or recording eye movement
    • GPHYSICS
    • G02OPTICS
    • G02BOPTICAL ELEMENTS, SYSTEMS OR APPARATUS
    • G02B27/00Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00
    • G02B27/0093Optical systems or apparatus not provided for by any of the groups G02B1/00 - G02B26/00, G02B30/00 with means for monitoring data relating to the user, e.g. head-tracking, eye-tracking
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/013Eye tracking input arrangements
    • G06T7/004

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Animal Behavior & Ethology (AREA)
  • Biophysics (AREA)
  • Ophthalmology & Optometry (AREA)
  • Veterinary Medicine (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Optics & Photonics (AREA)
  • General Health & Medical Sciences (AREA)
  • Public Health (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Eye Examination Apparatus (AREA)
  • Studio Devices (AREA)
  • Image Input (AREA)

Description

35 529 763 registrerade bilderna. Följningslösningar baserade på denna strategi kategoriseras därför som ljuspupili-PCCR (bright-pupil (BP) PCCR). Alternativt kan ljuskällan positioneras på ett avstånd från kamerans optiska axel. So-m ett resultat därav kommer väsentligen inget ljus från ljuskällan att reflekteras via näthinnan in i kameran, och pupillen framstår som mörk i de re- gistrerade bilderna. Följningslösningar baserade på denna stra- tegi kategoriseras därför som mörkpupill-PCCR (dark-pupil (DP) PCCR).
Huruvida BP- eller DP-PCCR är föredraget beror bland annat på de omgivande ljusförhållandena, individens ålder och kön efter- som dessa faktorer påverkar pupillens yta. Dessutom beror BP- svaret starkt av den etniska tillhörigheten hos den person vars ögon som ska följas. Exempelvis har det visat sig att personer av latinamerikansk härkomst generellt sett har ett mycket starkt BP-svar och kaukasier har ett något svagare, men ändå till- räckligt -bra, BP-svar. Asiater har emellertid många gånger ett otillräckligt BP-svar. Alltså är det, för att säkerställa en tillför- litlig ögonrörelseföljning, ofta önskvärt med en kombination av BP- och DP-PCCR-följning.
Den publicerade internationella patentansökan WO 2004/045399 beskriver ett system varvid ögonens positioner och blickriktning detekteras och följs. Systemet inkluderar en kamera och ett antal ljuskällor, vilka är fördelade runt en skärm, exempelvis en datorskärm. Genom att sekventiellt belysa en person som betraktar skärmen med ljus från olika ljuskällor är det möjligt att omväxlande detektera ögonens position och blickriktning. För att kunna göra denna utvärdering måste kameran alstra data av en tillräckligt hög kvalitet. Detta fordrar i sin tur optik av hög klass, en bildsensor av högprestandatyp och/eller välkontrollerade ljus- förhållanden. Det är även mycket viktigt att individens ögon för- blir i fokus under följningsproceduren. För att uppnå detta syfte måste antingen systemet vara utrustat med ett arrangemang för automatisk fokusering, eller fungera med ett optiskt system som har en förhållandevis liten numerisk apertur (det vill säga ett 10 15 20 25 30 529 763 högt F-nummer) för att åstadkomma ett tillräckligt stort skärpe- djup. Det förstnämnda resulterar i att kameran blir komplicerad, tung och dyr, medan det senare alternativet ytterligare skärper prestandakraven på bildsensorn, vilket också är en parameter som kan översättas till kostnad.
US-patentet nr 5,748,371 beskriver ett system för att öka skärpedjupet samt för att minska våglängdskänsligheten och de ofokusalstrande aberrationerna hos objektivet i ett ickekoherent optiskt system. Denna teknik benämns vågfrontskodning. Här är en optisk mask av specialtyp inkluderad i det ickekoherenta op- tiska systemet. Masken förändrar den optiska överföringsfunk- tionen, så att denna förblir väsentligen konstant inom ett område från fokuspositionen hos det oförändrade systemet. Signalbe- handling av en resulterande mellanliggande bild återskapar se- dan effekterna av maskens modifiering av den optiska överfö- ringsfunktionen, vilket åstadkommer i-fokusbild över ett ökat bilddjup. Även om detta system är effektivt vad gäller att möjlig- göra en lång fokalräckvidd på basis av optik och sensorer som är relativt enkla och billiga är konstruktionen inte väl lämpad för direkt implementering i ett system för automatisk ögonrörel- seföljning. Här måste nämligen ögonrörelseföljningsspecifika bildparametrar, såsom ögonpositioner och blickriktningar, vara härledbara med mycket hög noggrannhet medan väsentligen all annan bilddata kan kasseras. Exempelvis, när väl en grov upp- skattning av ögonens position har gjorts, zoomar ögonrörel- seföljningskameran normalt in (optiskt eller digitalt) mot denna position, och/eller väljer ut en s.k. intresseregion (region of interest - ROI) på bildsensorn runt denna position för att för- bättra blickföljningsprecisionen och/eller reducera datatakten till bildprocessorn. Icke desto mindre finns det idag ingen våg- frontskodningsbaserad konstruktion, som är anpassad att möjlig- göra operationer av den här typen.
SAMMANFATTNING AV UPPFlNNlNGEN Syftet med föreliggande uppfinning är därför att tillhandahålla en 10 15 20 25 30 529 763 robust och kostnadseffektiv lösning, vilken mildrar problemen ovan och sålunda möjliggör en tillförlitlig automatisk ögonrö- relseföljning över ett relativt vitt omfång av avstånd till använ- daren, och vilken även medger förhållandevis stora variationer i de omgivande ljusförhållandena.
Enligt en första aspekt av uppfinningen uppnås syftet genom det inledningsvis beskrivna systemet, varvid det optiska systemet ytterligare innefattar en mask, vilken är anordnad mellan den åt- minstone en individen och bildsensorn. Masken är anpassad att förändra den grundläggande optiska överföringsfunktionen till en förädlad optisk överföringsfunktion, vilken är väsentligt mindre känslig för variationer av ett okänt avstånd mellan det optiska systemet och den åtminstone en individen än den grundläggan- de optiska överföringsfunktionen. Dessutom är bearbetningsen- heten anpassad att motta det primära datat och bearbeta det primära datat för att alstra resulterande ögonrörelseföljningsdata representerande ett positionsestimat för det åtminstone ett ögat och/eller en blickriktning för det åtminstone ett ögat.
Viktiga fördelar hos detta system är att bildsensorn kan göras relativt enkel. Systemet är också relativt robust med avseende .på brus i det av bildsensorn registrerade datat. Dessutom kan kvalitetskraven på linsstrukturen sättas förhållandevis låga, vil- ket borgar för en låg kostnad.
Enligt en föredragen utföringsform av den här aspekten av upp- finningen är bildsensorn anpassad att endast överföra en hög- relevant del av det primära datat till bearbetningsenheten. Bear- betningsenheten är i sin tur anpassad att välja ut den hög- relevanta delen baserat på tidigare härledda ögonrörelsefölj- ningsdata och/eller data registrerad av en eller flera hjälpsen- sorer anslutna till systemet. Således kan bearbetningsenhetens resurser användas effektivare.
Enligt en annan föredragen utföringsform av den här aspekten av uppfinningen är den förädlade optiska överföringsfunktionen 10 15 20 25 30 529 763 anpassad att projicera ljus reflekterat från en enstaka punkt i scenen på ett antal sensorelement hos en sensoryta i bildsen- sorn. Därmed kan en upplösningsgrad emuleras vilken är högre än en grundläggande upplösningsgrad given av den grundläg- gande optiska överföringsfunktionen och en fysisk sensorele- menttäthet hos sensorytan. Dessutom är bearbetningsenheten anpassad att bearbeta det primära datat, så att ögonrörelse- följningsdatat härleds med en precision överstigande den hos en maximal precision uppnàelig endast på basis av ögonrörel- seföljningsdata härlett fràn det primära datat vid den grundläg- gande upplösningsnivån hos ett klassiskt optiskt system av i- fokus-typ. Naturligtvis är detta en mycket önskvärd förbättring av datakvaliteten. Exempelvis förbättras resultatet av eventuella digitala zoomningsoperationer med avseende på ögonstyrnings- datat. Därtill kan den negativa påverkan av eventuella defekta sensorelement i bildsensorn minskas avsevärt.
Enligt ännu en annan föredragen utföringsform av den här as- pekten av uppfinningen är bearbetningsenheten anpassad att matcha det primära datat mot en målform representerande en typisk ögonform transformerad av den optiska överföringsfunk- tionen. Därmed kan ögonkandidaterna detekteras effektivt i scenen.
Enligt ytterligare en annan föredragen utföringsform av den här aspekten av uppfinningen är bearbetningsenheten anpassad att välja ut en del av det primära datat representerande en respek- tive intresseregion på sensorytan runt varje uppsättning sensor- element som har en korrelation med målformen överstigande en matchtröskelnivå. Följaktligen levereras endast bilddata som representerar potentiellt intressant information till bearbetnings- enheten för vidare bearbetning. Naturligtvis är detta effektivt vad gäller utnyttjandet av bearbetningsenhetens bearbetningskapa- citet.
Enligt en annan föredragen utföringsform av den här aspekten av uppfinningen är bearbetningsenheten anpassad att bestäm- 10 15 20 25 30 35 529 765 ma positioner för element i scenen vilka representerar ögonkan- didater, det vill säga preliminära ögonpositioner. Sedan, efter att ha bestämt en uppsättning positionskandidater, är bearbetnings- enheten anpassad att matcha underuppsättningar av data ur det primära datat representerande var och en av positionskandida- terna mot en ögonmodell representerande en ideal ögonform transformerad av den optiska överföringsfunktionen för att er- hålla en uppsättning korrelationstestvärden. Därefter är bearbet- ningsenheten anpassad att, baserat på uppsättningen korrela- tionstestvärden, välja ut åtminstone en positionskandidat från uppsättningen positionskandidater att representera det åtmins- tone ett ögat. Företrädesvis väljer här bearbetningsenheten po- sitionskandidater med korrelationstestvärden överstigande en tröskelnivà. Således kan användarens ögon snabbt identifieras, så att följningen därefter kan initieras.
Enligt en annan föredragen utföringsform av den här aspekten av uppfinningen innefattar systemet åtminstone en första och en andra ljuskälla. Det åtminstone en första ljuskällan är anordnad relativt nära en optisk axel hos det optiska systemet, och är orienterad så att en huvudljusstråle utsänd därifrån väsentligen sammanfaller med den optiska axeln. Ljusenergin från den åt- minstone en första ljuskållan är huvudsakligen fördelad inom ett första våglängdsområde. Den åtminstone en andra ljuskällan är anpassad att utsända ljus huvudsakligen inom ett andra våg- längdsområde, väsentligen separerat från det första våglängds- området, mot den åtminstone en individen. Den åtminstone en andra ljuskällan är anordnad på ett avstånd från den optiska axeln hos det optiska systemet, så att en huvudljusstråle utsänd därifrån befinner sig excentriskt i förhållande till denna optiska axel. Följaktligen åstadkommer den åtminstone en första ljus- källan en ljuspupillseffekt och den åtminstone en andra ljuskäl- lan åstadkommer en mörkpupillseffekt.
Enligt ännu en annan föredragen utföringsform av den här as- pekten av uppfinningen är masken anpassad att realisera en första optisk överföringsfunktion med avseende på ljus inom det 10 15 20 25 30 35 529 763 första våglängdsomràdet, och rikta ljus inom detta område mot en första area av en sensoryta hos bildsensorn. Masken är även anpassad att realisera en andra optisk överföringsfunktion med avseende på ljus inom det andra våglängdsområdet, och rikta ljus inom detta område mot en andra area av sensorytan hos bildsensorn. Bearbetningsenheten är anpassad att alstra en ljus- pupillögonrörelseföljningsparameter baserat på en första under- uppsättning av det primära datat registrerad av sensorelement inom den första arean, och/eller på motsvarande sätt alstra en mörkpupiIIögonrörelseföljningsparameter baserat på en andra underuppsättning av det primära datat registrerad av sensore- lement inom den andra arean. Därmed kan individen vara kons- tant belyst medelst både de första och andra ljuskällorna under det att bearbetningsenheten härleder ljus- och mörkpupillsögon- rörelseföljningsparametrarna parallellt. Detta erbjuder en hög följningskvalitet under ett vitt omfång av omständigheter och ljusförhållanden.
Enligt ytterligare en annan föredragen utföringsform av den här aspekten av uppfinningen innefattar bildsensorn en första och en andra uppsättning sensorelement. Varje element i den första uppsättningen sensorelement är anpassat att detektera ljus inom det första våglängdsområdet, och varje element i den andra uppsättningen sensorelement är anpassat att detektera ljus inom det andra vàglängdsområdet. I analogi med ovan- stående är bearbetningsenheten här anpassad att alstra en ljus- pupillögonrörelseföljningsparameter baserat på en första under- uppsättning av det primära datat registrerad av den första upp- sättningen sensorelement, och alstra en mörkpupillögonrörelse- följningsparameter baserat på en andra underuppsättning av det primära datat registrerad av den andra uppsättningen sensor- element. Även i detta fall kan individen vara konstant belyst medelst både de första och andra ljuskällorna under det att be- arbetningsenheten härleder ljus- och mörkpupillsögonrörel- seföljningsparametrarna parallellt. Företrädesvis anligger varje element i den första uppsättningen sensorelement mot åt- 10 15 20 25 30 529 763 minstone ett element i den andra uppsättningen sensorelement.
Exempelvis kan elementen i den första och den andra uppsätt- ningen av sensorelement vara anordnade i ett schackrutigt mönster. Upplösningen som går förlorad i det primära datat ge- nom denna konfiguration kan i viss grad kompenseras i ögonrö- relseföljningsdatat genom den ovan beskrivna transformerings- funktionen, vilken är anpassad att alstra data med en förbättrad bildupplösningsnivå.
Specifikt är den förädlade optiska överföringsfunktionen, enligt en föredragen utföringsform av den här aspekten av uppfin- ningen, anpassad att projicera ljus reflekterat från en enstaka punkt i scenen på ett antal element i den första och den andra uppsättningen av sensorelement. Därmed möjliggörs emulerlng av en högre upplösningsnivå än en grundläggande upplösnings- nivå given av den grundläggande optiska överföringsfunktionen och en fysisk sensorelementtäthet hos sensorytan. Bearbet- ningsenheten är anpassad att bearbeta det primära datat, så att ögonrörelseföljningsdatat härleds med en precision överstigande en maximal precision exklusivt uppnåelig baserat på ögonrörel- seföljningsdata härlett från det primära datat vid den grundläggande upplösningsnivàn i ett klassiskt optiskt system av i-fokus-typ.
Enligt en annan föredragen utföringsform av den här aspekten av uppfinningen är bearbetningsenheten anpassad att alstra ögonrörelseföljningsdatat baserat på ljus- och/eller mörkpupill- ögonrörelseföljningsparametrarna, exempelvis via en mellanlig- gande kompositrepresentation. Ånyo bådar detta för robusthet och en hög följningskvalitet under ett vitt omfång av omstän- digheter och ljusförhållanden.
Enligt en ytterligare aspekt av uppfinningen uppnås syftet genom en metod för att registrera och följa åtminstone ett öga hos åtminstone en individ. Det förutsätts här att primära data registreras, vilka representerar spatiellt distribuerat ljus. Det antas vidare att ljuset har sänts från en scen innehållande den 10 15 20 25 30 529 765 åtminstone en individen via ett optiskt system innefattande en linsstruktur och en mask till en bildsensor, där det primära datat registreras. Masken är anpassad att förändra en grundläggande optisk överföringsfunktion hos linsstrukturen och bildsensorn till en förädlad optisk överföringsfunktion vilken är väsentligt mindre känslig för variationer av ett okänt avstånd mellan det optiska systemet och den åtminstone en individen än den grundläg- gande optiska överföringsfunktionen. Metoden inbegriper mot- tagning av det primära datat, och bearbetning av det primära da- tat för att alstra resulterande ögonrörelseföljningsdata, vilka representerar ett positionsestimat för det åtminstone ett ögat och/eller en blickriktning för det åtminstone ett ögat.
Fördelarna med den här metoden, såväl som de föredragna ut- föringsformerna därav, framgår av diskussionen här ovan med hänvisning till det föreslagna systemet.
Enligt ännu en ytterligare aspekt av uppfinningen uppnås syftet av ett datorprogram, vilket är direkt nedladdningsbart till intern- minnet hos en dator, och inkluderar mjukvara för att styra den ovan föreslagna metoden då nämnda program körs på en dator.
Enligt en annan aspekt av uppfinningen uppnås syftet genom ett datorläsbart medium med ett lagrat program, där programmet är ägnat att förmå en dator att styra den ovan föreslagna metoden.
Uppfinningen är lämplig för alla slags ögonrörelseföljnings- tillämpningar, det vill säga för att styra datorer och dator- program, inom psykologi och synforskning, användbarhets- och reklamutvärderingar, exempelvis s.k. uppmärksamhetssensorer i skyltfönster. Uppfinningen har även medicinsk tillämplighet vid diagnostisering av olika slags ögonsjukdomar och Alzheimers sjukdom, så väl som vid genomförande av ögonlaserkirurgi.
Dessutom kan uppfinningen användas i automatiska stereoskop- skärmar, simulatorer och olika slags bil-och flygtillämpningar.
Ytterligare fördelar, fördelaktiga särdrag och tillämpningar av föreliggande uppfinning kommer att framgå av den följande 10 15 20 25 529 763 10 beskrivningen och de beroende patentkraven.
KORT BESKRIVNING AV RITNINGARNA Uppfinningen kommer nu att beskrivas närmare med hjälp av fö- redragna utföringsformer, vilka beskrivs som exempel, och med hänvisning till de bifogade ritningarna.
Figur1 Figur 2 Figur 3 Figur 4 Figur 5 Figur 6 Figur 7a-c Figur 8 visar en schematisk bild av ett ögonrörelsefölj- ningssystem enligt uppfinningen; visar en överblick av ett system enligt en utfö- ringsform av uppfinningen; illustrerar ytterligare detaljer av en belysnings- och bildregistreringsanordning enligt en utförings- form av uppfinningen; är ett diagram som illustrerar förhållandet mellan två våglängdsområden som används enligt utfö- ringsformer av uppfinningen; illustrerar funktionssättet hos en mask enligt en första utföringsform av uppfinningen; illustrerar en konfiguration av en sensorarea hos en bildsensor enligt en andra utföringsform av uppfinningen; illustrerar hur ljus- och mörkpupillbilder kan an- vändas för enligt de första och andra utföringsfor- merna av uppfinningen för att bestämma en grund för ett positionsestimat för en individs öga; och illustrerar med hjälp av ett flödesschema en all- män metod enligt uppfinningen.
BESKRIVNING AV FÖREDRAGNA UTFÖRINGSFORMER AV UPP- FINNINGEN Vi hänvisar inledningsvis till figur 1, vilken visar en schematisk 10 15 20 25 30 529 763 11 bild av ett ögonrörelseföljningssystem enligt uppfinningen för att automatiskt registrera och följa åtminstone ett öga 101 och 102 hos åtminstone en individ, exempelvis en användare av ett da- torsystem. Ögonrörelseföljningssystemet inkluderar ett optiskt system 110 och en bearbetningsenhet 140.
Det optiska systemet 110 är anpassat att motta och registrera inkommande ljus som reflekteras från en scen innehållande den åtminstone en individen. För detta ändamål inkluderar systemet 110 en bildsensor 130, vilken är anpassad att registrera primära data DS representerade av spatiellt distribuerat ljus.
Det optiska systemet 110 inkluderar också en första linsstruktur, som här representeras schematiskt av ett par linser 111 och 112, och en mask 120. Enligt uppfinningen kan den specifika ordningen mellan linsstrukturen 111; 112 och masken 120 varie- ras. Exempelvis kan masken 120 befinna sig framför eller bakom linsstrukturen 111; 112, eller så som visas i figur 1, mellan vissa av elementen däri.
Masken 120 påverkar sättet på vilket det inkommande ljuset LS från scenen projiceras på bildsensorn 130. Specifikt antar vi att ett grundläggande optiskt system inkluderande linsstrukturen 111; 112 och bildsensorn 130 har en grundläggande optisk över- föringsfunktion. Masken 120 är anpassad att förändra denna grundläggande optiska överföringsfunktion till en förädlad optisk överföringsfunktion, vilken är väsentligt mindre känslig för varia- tioner A av ett okänt avstånd R mellan det optiska systemet 110 och den åtminstone en individen 100 än den grundläggande op- tiska överföringsfunktionen.
Med andra ord förlängs det föreslagna systemets arbetsområde genom inkluderande av masken 120 i det optiska systemet 110.
Exempelvis kan, l en typisk ögonrörelseföljningstillämpning, där avståndet R ligger i storleksordningen 60 cm, arbetsavståndet sträcka sig över ett omfång av avstånd A på ungefär 80 cm, så att ögonen 101 och 102 kan befinna sig var som helst inom 20 10 15 20 25 30 529 763 12 cm till 100 cm från det optiska systemet 110.
Icke desto mindre, då det primära datat Ds som sådant vilket registreras av bildsensorn 130, inte representerar bildinnehåll i fokus måste det primära datat DS efterbearbetas för att man ska kunna uppnå de ovannämnda förbättringen av arbetsområdet.
Därför är bearbetningsenheten 140 anpassad att motta det pri- mära datat DS och bearbeta detta data så att resulterande ögon- rörelseföljningsdata DEYE alstras vilka representerar ett posi- tionsestimat för det åtminstone ett ögat 101; 102 och/eller en blickriktning för det åtminstone ett ögat 101; 102.
Av effektivitetsskäl är det önskvärt att bearbetningsenheten 140 är anpassad att matcha det primära datat DS mot en målform som representerar en typisk ögonform, vilken har transformerats av den optiska överföringsfunktionen. Därmed kan ett tidigast möjliga urval av relevanta data göras, det vill säga väsentligen innan enheten 140 utför någon annan bearbetning. Det är spe- ciellt fördelaktigt om bearbetningsenheten 140 är anpassad att välja ut en del av det primära datat Ds, som representerar en respektive intresseregion (ROI - region of interest) på sensory- tan runt varje uppsättning sensorelement som har en korrelation med màlformen ovan överstigande en matchtröskelnivå.
Förutsatt att sensorytan hos bildsensorn 130 har en fysisk sen- sorelementtäthet ges en grundläggande upplösningsnivå av antalet sensorelement på vilka den grundläggande optiska över- föringsfunktionen projicerar en fokuserad ljusstràle reflekterad från ett objekt i den avbildade scenen.
Enligt en föredragen utföringsform av uppfinningen är emellertid den förädlade optiska överföringsfunktionen anpassad att proji- cera ljus reflekterat från en enstaka punkt i scenen på ett relativt stort antal av bildsensorns 130 sensorelement. Detta gör det möjligt att emulera en högre upplösningsnivå än vad som ges av den grundläggande optiska överföringsfunktionen och den fysis- ka sensorelementtätheten. Bearbetningsenheten 140 är nämli- 10 15 20 25 30 35 529 763 13 gen anpassad att bearbeta det primära datat Ds så att ögonrö- relseföljningsdatat DEYE härleds med en precision, som översti- ger en maximal precision uppnåelig om bearbetningen hade ba- serats endast på primära data Ds vid den grundläggande upp- lösningsnivån hos ett traditionellt optiskt system av i-fokus-typ.
Nedan kommer vi att utveckla resonemanget bakom detta. l ett klassiskt optiskt system avbildas en liten del av ett objekt på en liten ”enstaka” punkt av bildsensorn. Enligt föreliggande uppfin- ning modifierar emellertid den föreslagna masken den optiska överföringsfunktionen till att vara mindre känslig för variationer i avståndet till de avbildade objekten än den hos ett klassiskt avbildningssystem. Den föreslagna förädlade överföringsfunktio- nen är anpassad att avbilda en liten del av ett objekt på en area av sensorytan som är större än arean hos motsvarande bildarea i ett klassiskt avbildningssystem. Exempelvis kan den förädlade optiska överföringsfunktionen sprida bilden av en punkt hos ob- jektet på flera sensorelement av bildsensorns 130 sensoryta, medan den grundläggande optiska överföringsfunktionen proji- cerar denna pà ett enstaka sensorelement. l det klassiska optiska systemet är det ibland problematiskt att bestämma den exakta positionen för små objekt, exempelvis ett blänk reflekterat i ett ögas hornhinna. Typiskt sett avbildas ett sådant blänk på en, eller mycket få pixlar. Storleken av det av- bildade objektet, i det här fallet ett blänk, bestämmer sålunda ytterst hur väl objektets masscentrum kan bestämmas. Speciellt vid bestämning av masscentrum för bilder av små objekt beror resultatet i hög grad av variationer i pixelsvaret, fyllnadsfaktorer understigande 100 % och risken för att träffa ett defekt sensore- lement (det vill säga en ”död pixel"). Vid ögonrörelsefölj- ningstillämpningar kan sådana fluktuationer allvarligt försämra systemets prestanda. För ett typiskt arbetsavstånd kan nämligen en ögonrörelseföljare som vid upprepade tillfällen felplacerar blänket med en pixel lätt inducera ett fel på flera centimeter med avseende på en uppskattad blickposition, exempelvis på en da- torskärm. Naturligtvis är detta inte acceptabelt. 10 15 20 25 30 35 529 763 14 Så som nämnts ovan är den förädlade optiska överföringsfunk- tionen enligt en föredragen utföringsform av uppfinningen an- passad att sprida bilden av en punkt i rymden på flera än ett sensorelement på sensorytan. Alltså, i fallet med ett blänk ref- lekterat i ett ögas hornhinna, kommer en punkt i rymden där blänket befinner sig att projiceras i form av ett mönster som täcker ett flertal sensorelement på bildsensorns 130 sensoryta.
Detta innebär att ett matematiskt mönster av ett idealt blänk som passerar genom den förädlade optiska överföringsfunktio- nen kan linjeras med datat från bildsensorn i syfte att finna en bästa mönstermatchning. Då mönstret av ett idealt blänk som passerat genom den förädlade optiska överföringsfunktionen emellertid inte är ett diskret mönster, utan en kontinuerlig funk- tion, är det alltid matematiskt möjligt att bestämma en mera exakt position för ett litet blänk än vad som är möjligt i bilder vilka har fångats i ett klassiskt avbildningssystem av i-fokus-typ.
Därför är konstruktionsstrategin enligt uppfinningen också mind- re känslig för de ovannämnda variationerna i pixelsvar, fyllnads- faktorer under 100 % och risken för ”döda pixlar”.
Dessutom kan det faktum att den optiska överföringsfunktionen är en kontinuerlig funktion (det vill säga inte något diskret möns- ter) användas åt motsatt håll. Information, som i ett klassiskt avbildningssystem av i-fokus-typ inte skulle ha registrerats, eller skulle ha blivit "gömt mellan olika pixlar” (eftersom motsvarande ljusstrålar fokuserats mellan två sensorelement), kan registreras enligt en föredragen utföringsform av uppfinningen. För att åstadkomma detta kan linjeringen av den förädlade optiska överföringsfunktionen och det primära datat DS som registrerats av bildsensorn 130 varieras. Till följd av sensorelementtätheten är det fysiskt nödvändigt att det primära datat DS samplas med fulla pixelintervall. Den förädlade optiska överföringsfunktionen måste emellertid inte vara linjerad med en viss sensorelement- lpixelposition. Istället kan origo för denna funktion placeras vid godtycklig position i respektive dimension, X och Y, exempelvis vid X = 0.345. Om så sker kommer den förädlade optiska 10 15 20 25 30 529 763 15 överföringsfunktionen att samplas vid X = 0.345, X = 1.345, X = 2.345, osv. Givetvis gäller detsamma även för Y-riktningen. Det- ta gör det möjligt att alstra en klassisk bild av ett blänk med många gånger högre upplösning än vad som stöds av bildsen- sorns 130 sensorelementtäthet om den hade använts i en klas- sisk i-fokus-konstruktion. Denna upplösningsförbättring åstad- koms enkelt genom sub-pixelsampling av den förädlade optiska överföringsfunktionen. Samma koncept kan användas vid konst- ruktion av de algoritmer som extraherar ögonrörelseföljnings- data från det primära datat Ds. Konceptet kan användas för att uppnå ögonrörelseföljningsdata DEYE av hög noggrannhet utan att nödvändigtvis något klassiskt bildalstringssteg ingår.
Naturligtvis är de ovan nämnda förbättringarna applicerbara på alla slags ögonrörelseföljningsprinciper, det vill säga DP-PCCR- följning, BP-PCCR-följning så väl som alla slags kombinationer därav.
Vi hänvisar nu kort till figur 7c, som visar en schematlsk rep- resentation av en pupill med en position i scenen, som anges av ett koordinatpar x, y. Enligt en föredragen utföringsform av upp- finnlngen är bearbetningsenheten 140 anpassad att initialt bes- tämma åtminstone en positionskandidat för det åtminstone ett ögat 101 och 102, det vill säga grova x- och y-estimat.
Sedan, efter att ha bestämt en uppsättning positionskandidater x, y är bearbetningsenheten 140 anpassad att matcha olika da- taunderuppsättningar av det primära datat DS mot en ögonmo- dell som beskriver en ideal ögonform, vilken har transformerats av den optiska överföringsfunktionen. Som ett resultat därav er- hålls en uppsättning korrelationstestvärden. Därefter är bearbet- ningsenheten 140 anpassad att, exempelvis medelst en tröskel- nivå, välja ut åtminstone en positionskandidat från uppsätt- ningen positionskandidater att representera åtminstone ett öga.
Figur 2 visar en överblick av ett system enligt en utföringsform av uppfinningen, och figur 3 illustrerar ytterligare detaljer beträf- 10 15 20 25 30 529 763 16 fande hur en individ 100 och hans/hennes ögon 101 och 102 kan belysas enligt denna utföringsform.
Utöver de ovan med hänvisning till figur 1 beskrivna enheterna 110 och 140 inkluderar systemet åtminstone en första ljuskälla L1 och åtminstone en andra ljuskälla L2a respektive L2b. Var och en av den åtminstone en första ljuskällan L1 är anordnad relativt nära en optisk axel AC hos det optiska systemet 110.
Dessutom är ljuskäll/an/orna L1 orienterad/e så att en respek- tive huvudljusstråle B1 utsänd därifrån väsentligen sammanfaller med den optiska axeln AC. Därmed är ljusstrålen B1 anpassad att förorsaka en ljuspupillseffekt med avseende på bilder regist- rerade av en kamera i vilken det optiska systemet 110 är integ- rerat.
Figur 4 visar ett diagram, vilket representerar en våglängd x längs den horisontella axeln och en spektral intensitet IS längs den vertikala axeln. Ljusenergin från den åtminstone en första ljuskällan L1 är företrädesvis fördelad inom ett första våglängds- område xAL-AAU. Enligt uppfinningen är väsentligen vilket synligt eller osynligt ljus som helst tänkbart här. Det första våglängds- området xAL-KAU sträcker sig emellertid med fördel mellan en undre våglängd AM omkring 900 nm till 950 nm och en övre AAC omkring 1000 nm.
Var och en av den åtminstone en andra ljuskällan L2a och L2b är anpassad att utsända ljus företrädesvis inom ett andra våg- längdsområde KCC-ABU mot individen 100. l motsats till den àt- minstone en första ljuskällan L1 är var och en av den åtminstone en andra ljuskällan anordnad på ett avstånd du från den optiska axeln AC hos det optiska systemet 100, så att en respektive huvudljusstråle B2 utsänd därifrån befinner sig excentriskt i för- hållande till denna optiska axel AC. Således är ljusstrålen B2 anpassad att förorsaka en mörkpupilleffekt med avseende på bilder registrerade av kameran i vilken det optiska systemet 110 är integrerat. 10 15 20 25 30 529 763 17 Givet de ovan angivna XAL- och kAU-värdena sträcker sig det andra våglängdsomràdet med fördel mellan en undre våglängd ÅBL omkring 400 nm till 800 nm och en övre våglängd XBU om- kring 800 nm till 950 nm. I vilket fall som helst är det andra väg- längdsomràdet kBL-XBU med fördel väsentligen separerat från det första våglängdsomràdet xAL-ÄAU. Detta innebär att ett mindre överlapp är acceptabelt, så som illustreras i diagrammet.
Figur 5 illustrerar hur en mask 120 enligt en första utföringsform av uppfinningen kan användas för att dra nytta av ovannämnda ljus- och mörkpupillseffekterna som åstadkoms av den åtmins- tone en första Ijuskällan L1 respektive den åtminstone en andra Ijuskällan L2a och L2b vid bearbetningen som utförs av den föreslagna bearbetningsenheten 140.
I det här exemplet är masken 120 och en lins 113 anpassade att realisera en första optisk överföringsfunktion med avseende på det första våglängdsomràdet kAL-LAU, och realisera en andra optisk överföringsfunktion med avseende på det andra våg- längdsomràdet xBL-ÅBU. Som ett resultat därav riktas ljus inom det första våglängdsomràdet xAL-AAU mot en första area A1 på en sensoryta hos bildsensorn 130, och ljus inom det andra våglängdsomràdet xBL-XBU mot en andra area A pà sensorytan.
För att ge en tydlig presentation symboliseras de första och andra optiska överföringsfunktionerna här med hjälp av två separata volymer 121 respektive 122 i masken 120. I praktiken kan emellertid dessa volymer mycket väl uppta samma utrymme i masken 120.
Dessutom kan den första och den andra arean A1 och A2 antingen vara fysiskt separerade från varandra (så som visas i figur 5), eller kan dessa areor överlappa varandra mer eller mindre. Förutsatt att de första och andra optiska överförings- funktionerna representerar ortogonala baser kan areorna A1 och A2 helt överlappa varandra.
Bearbetningsenheten 140 är anpassad att alstra en ljuspupills- 10 15 20 25 30 529 763 18 ögonparameter baserat på en första underuppsättning av det primära datat Ds, vilken har registrerats av sensorelement inom den första arean A1. Analogt är bearbetningsenheten 110 an- passad att alstra en mörkpupillsögonparameter baserat pà en andra underuppsättning av det primära datat Ds, vilken har re- gistrerats av sensorelement inom den andra arean A2.
Figur 6 illustrerar hur en sensorarea hos en bildsensor 130 är konfigurerad enligt en andra utföringsform av uppfinningen. Även i den här utföringsformen är konstruktionen avsedd att möjliggöra att bearbetningen som utförs av bearbetningsenheten 140 drar nytta av ljus- och mörkpupillseffekterna som àstadkoms av den åtminstone en första ljuskållan L1 respektive den åtminstone en andra ljuskållan L2a och L2b.
Här har emellertid sensorn 130 två typer av sensorelement, nämligen en första uppsättning element 130a vari varje element (symboliserat med en vit kvadrat) är anpassad att detektera ljus inom det första våglängdsområdet itAL-XAU, och en andra upp- sättning element 130b vari varje element (symboliserat med en svart kvadrat) är anpassad att detektera ljus inom det andra våglängdsområdet ABL-ABU. Därmed registrerar den första upp- sättningen element 130a en första underuppsättning av det pri- mära datat Ds som representerar ljuspupillsinformation, och den andra uppsättningen element 130b registrerar en andra under- uppsättning av det primära datat DS som representerar mörkpu- pillsinformation.
Enligt en föredragen utföringsform av uppfinningen är ljusdetek- teringsarean hos bildsensorn 115 konfigurerad så att varje ele- ment i den första uppsättningen sensorelement 130a angränsar till åtminstone ett element i den andra uppsättningen sensore- lement 130b. Följaktligen kan elementen i den första och den andra uppsättningen av sensorelement 130a och 130b, som ett specialfall av detta fall, vara anordnade i ett schackrutigt möns- ter, så som illustreras i figur 6. 10 15 20 25 30 529 763 19 I vilket fall som helst är bearbetningsenheten 140 anpassad att alstra en ljuspupillsögonrörelseföljningsparameter baserat på den första underuppsättningen av det primära datat Ds, och alstra en mörkpupiIlsögonrörelseföljningsparameter baserat på den andra underuppsättningen av det primära datat Ds, I syfte att ytterligare illustrera hur ljus- och mörkpupillsbilder kan användas enligt den första och den andra utföringsformen av uppfinningen för att bestämma en grund för ett positionsestimat x, y för en individs öga hänvisar vi nu till figurerna 7a, b och c.
Figur 7a visar ett öga 101 med en ljus pupill 710. Här framstår ögats 101 pupill 710 som relativt ljus till följd av en stark näthinnereflex av den åtminstone en första ljuskällan L1. Ett eller flera blänk 715 kan också förekomma som resultat av den åtminstone en första ljuskällan L1.
Figur 7b visar ett anat öga, vilket har en pupill 710 som framstår som mörk i avsaknad av näthinnereflex. Ett eller flera blänk 725 kan emellertid förekomma som resultat av den åtminstone en andra ljuskällan L2a och L2b.
Eftersom det primära datat DS som registreras av bildsensorn 130 inte är i fokus kommer inte någon av bilderna i figurerna 7a eller 7b som sådana att registreras här. Icke desto mindre inne- håller det primära datat Ds information ekvivalent därmed, som är separerbar till en första och en andra underuppsättning så som har beskrivits ovan (det vill säga representerande ljus- res- pektive mörkpupillsögonrörelseföljningsparametrar). Därför är bearbetningsenheten 140 enligt en föredragen utföringsform av uppfinningen anpassad att alstra ögonrörelseföljningsdatat DEYE baserat pà både ljus- och mörkpupiIlsögonrörelseföljningspara- metrarna. Figur 7c illustrerar detta genom en kompositbild rep- resenterande en subtraktion av bildinnehàllet i mörkpupillsbilden i figur 7b från bildinnehàllet i ljuspupillsbilden i figur 7a. Således inkluderar kompositbilden blänkdata 715' från den första under- uppsättningen av det primära datat DS så väl som från den 10 15 20 25 30 529 763 20 andra underuppsättningen av det primära datat DS. För att möj- liggöra bestämning av positionsestimatet x, y för ögat 101 behö- ver naturligtvis kompositbilden i figur 7c endast existera som en abstrakt representation i bearbetningsenheten 140 (det vill säga inte som en faktisk bild).
I syfte att summera kommer nu den allmänna metoden enligt uppfinningen för att automatiskt registrera och följa åtminstone ett öga hos åtminstone en individ att beskrivas med hänvisning till flödesschemat i figur 8.
Ett initialt steg 810 mottar inkommande ljus från en scen inne- hållande den åtminstone en individen, och således antagligen även det åtminstone ett ögat. Sedan transformerar ett steg 820 det inkommande ljuset medelst ett optiskt system som har en förädlad optisk överföringsfunktion, vilken är mindre känslig för variationer av ett okänt avstånd mellan det föreslagna optiska systemet och den åtminstone en individen än en grundläggande optisk överföringsfunktion för ett ekvivalent optiskt system. Spe- cifikt inkluderar det föreslagna optiska systemet en linsstruktur och en mask, varvid masken är anpassad att förändra den grundläggande optiska överföringsfunktionen till den förädlade optiska överföringsfunktionen sä som har beskrivits ovan.
Efter passage av det optiska systemet registrerar ett steg 830 det spatiellt distribuerade ljuset med hjälp av en bildsensor, och åstadkommer på så sätt primär data DS.
Därefter bearbetar ett steg 840 det primära datat Ds för att alstra resulterande ögonrörelseföljningsdata DEYE. Detta data representerar i sin tur ett positionsestimat för det åtminstone ett ögat och/eller en blickriktning för det åtminstone ett ögat.
Samtliga de metodsteg, såväl som godtycklig delsekvens av steg, beskrivna med hänvisning till figur 4 ovan kan styras med hjälp av en programmerad datorapparat. Dessutom, även om de ovan med hänvisning till figurerna beskrivna utföringsformerna av uppfinningen innefattar en dator och processer utförda i en 10 15 20 25 30 529 763 21 dator, utsträcker sig uppfinningen till datorprogram, speciellt da- torprogram på eller i en bärare anpassad att praktiskt implementera uppfinningen. Programmet kan vara i form av källkod, objektkod, en kod som utgör ett mellanting mellan käll- och objektkod, såsom i delvis kompilerad form, eller i vilken annan form som helst lämplig att använda vid implementering av processen enligt uppfinningen. Bäraren kan vara godtycklig entitet eller anordning vilken är kapabel att bära programmet.
Exempelvis kan bäraren innefatta ett lagringsmedium såsom ett flashminne, ett ROM (Read Only Memory), exempelvis en DVD (Digital VersatileNideo Disc), en CD (Compact Disc) eller ett halvledar-ROM, ett EPROM (Erasable Programmable Read-Only Memory), ett EEPROM (Electrically Erasable Programmable Read-Only Memory), eller ett magnetiskt inspelningsmedium, exempelvis en floppydisk eller hårddisk. Dessutom kan bäraren vara en överförande bärare såsom en elektrisk eller optisk signal, vilken kan ledas genom en elektrisk eller optisk kabel eller via radio eller på annat sätt. Då programmet gestaltas av en signal som kan ledas direkt av en kabel eller annan anordning eller organ kan bäraren utgöras av en sådan kabel, anordning eller organ. Alternativt kan bäraren vara en integrerad krets i vilken programmet är inbäddat, där den integrerade kretsen är anpassad att utföra, eller för att användas vid utförande av, de aktuella processerna.
Termen “innefattar/innefattande” skall då den används i den här beskrivningen förstås att specificera närvaron av de angivna särdragen, heltalen, stegen eller komponenterna. Termen ute- sluter emellertid inte närvaron av eller tillägg av ett eller flera ytterligare särdrag, heltal, steg eller komponenterna eller grup- per därav.
Hänvisning till eventuell tidigare känd teknik i den här beskriv- ningen skall inte ses som något erkännande eller antydan om att denna teknik utgör någon -del av vad som är allmänt känd kunskap i Australien. 529 763 22 Uppfinningen är inte begränsad till de utföringsformer, som beskrivits med hänvisning till figurerna utan kan varieras fritt inom omfånget hos de påföljande patentkraven.

Claims (22)

10 15 20 25 30 529 765 23 Patentkrav
1. Ett system för automatisk registrering och följning av åt- minstone ett öga (101; 102) hos åtminstone en individ (100), in- nefattande: ett optiskt system (110) inkluderande en bildsensor (130) anpassad att registrera spatiellt distribuerat ljus och alstra resul- terande primära data (DS), och en linsstruktur (111, 112) anpas- sad att motta inkommande ljus (LS) reflekterat från en scen in- nehållande den åtminstone en individen (100) och rikta åtmins- tone en del av det inkommande ljuset (LS) mot bildsensorn (130), där det optiska systemet (110) har en grundläggande op- tisk överföringsfunktion, och en bearbetningsenhet (140) anpassad att härleda ögon- rörelseföljningsdata (DEYE) på basis av det primära datat (Ds), kännetecknat av att det optiska systemet (110) ytterligare innefattar en mask (120) vilken är anordnad mellan den åtminstone en individen (100) och bildsensorn (130), där masken (120) är anpassad att förändra den grundläggande optiska överföringsfunktionen till en förädlad optisk överföringsfunktion vilken är anpassad att sprida en bild från en punkt i rymden till flera än ett sensorelement på en sensoryta av bildsensorn (130), och den förädlade optiska överföringsfunktionen är väsentligt mindre känslig för variationer (A) av ett okänt avstånd (R) mellan det optiska systemet (110) och den åtminstone en individen (100) än den grundläggande optiska överföringsfunktionen, och bearbetningsenheten (140) är anpassad att motta det pri- mära datat (DS), och bearbeta det primära datat (DS) för att alstra resulterande ögonrörelseföljningsdata (DEYE) represente- rande åtminstone endera av ett positionsestimat för det åtmins- tone ett ögat (101; 102) och en blickriktning för det åtminstone ett ögat (101; 102).
2. Systemet enligt krav 1, kännetecknat av att bildsensorn (130) är anpassad att endast överföra en högrelevant del av det 10 15 20 25 30 529 763 24 primära datat (DS) ti|| bearbetningsenheten (140), där den hög- relevanta delen utväljs av bearbetningsenheten (140) baserat på åtminstone endera av tidigare härledda ögonrörelseföljningsdata (DEYE) och data registrerad av en eller flera hjälpsensorer an- slutna till systemet.
3. Systemet enligt något av föregående krav, kännetecknat av att bearbetningsenheten (140) är anpassad att matcha det primära datat (DS) mot en målform representerande en typisk ögonform transformerad av den optiska överföringsfunktionen.
4. Systemet enligt krav 3, kännetecknat av att bearbetnings- enheten (140) är anpassad att välja ut en del av det primära. datat (Ds) representerande en respektive intresseregion på sen- sorytan runt varje uppsättning sensorelement som har en kor- relation med målformen överstigande en matchtröskelnivå.
5. Systemet enligt något av föregående krav, kännetecknat av att bearbetningsenheten (140) är anpassad att bestämma åt- minstone en positionskandidat för det åtminstone ett ögat (101; 102), och efter att ha bestämt en uppsättning positionskandida- ter (x, y), bearbetningsenheten (140) är anpassad att: matcha underuppsättningar av data ur det primära datat (DS) representerande var och en av positionskandidaterna (x, y) mot en ögonmodell representerande en ideal ögonform transfor- merad av den optiska överföringsfunktionen för att erhålla en uppsättning korrelationstestvärden, och välja ut, baserat på uppsättningen korrelationstestvärden, åtminstone en positionskandidat från uppsättningen positions- kandidater att representera det åtminstone ett ögat.
6. Systemet enligt något av föregående krav, kännetecknat av att systemet innefattar: åtminstone en första ljuskälla (L1) anordnad relativt nära en optisk axel (AC) hos det optiska systemet (110), där den åt- minstone en första ljuskällan (L1) är orienterad så att en huvud- 10 15 20 25 30 529 763 25 ljusstråle (B1) utsänd därifrån väsentligen sammanfaller med den optiska axeln (AC), där ljusenergin från den åtminstone en första ljuskällan (L1) huvudsakligen är fördelad inom ett första våglängdsområde (ÄAL-ÄAU), och åtminstone en andra ljuskälla (L2a, L2b) anpassad att ut- sända ljus huvudsakligen inom ett andra våglängdsområde (ABL- ÄBU) som är väsentligen separerat från det första våglängdsom- rådet (kAL-AAU), och den åtminstone en andra ljuskällan (L2a, L2b) är anordnad på ett avstånd (du) från den optiska axeln (AC) hos det optiska systemet (110) så att en huvudljusstråle (B2) utsänd därifrån befinner sig excentriskt i förhållande till denna optiska axel (AC).
7. Systemet enligt krav 6, kännetecknat av att masken (120) är anpassad att: realisera en första optisk överföringsfunktion med avse- ende på ljus inom det första våglängdsområdet (kAL-ÅAU) och rik- ta ljus inom detta område mot en första area (A1) av en sensor- yta hos bildsensorn (130), och realisera en andra optisk överföringsfunktion med avse- ende på ljus inom det andra våglängdsområdet (ABL-Ägg) och rik- ta ljus inom detta område mot en andra area (A2) av sensorytan hos bildsensorn (130), och bearbetningsenheten (140) är anpassad att alstra åtminstone endera av: en ljuspupillögonrörelseföljningsparameter baserat på en första underuppsättning av det primära datat (DS) registrerad av sensorelement inom den första arean (A1), och en mörkpupillögonrörelseföljningsparameter baserat på en andra underuppsättning av det primära datat (DS) registrerad av sensorelement inom den andra arean (A2).
8. Systemet enligt krav 6, kännetecknat av att bildsensorn (130) innefattar: en första uppsättning sensorelement (130a) vari varje ele- ment är anpassat att detektera ljus inom det första våglängds- 10 15 20 25 30 529 763 26 området (kAL-ÄAU), och en andra uppsättning sensorelement (130b) vari varje ele- ment är anpassat att detektera ljus inom det andra våglängds- området (ÄBL-XBU), och bearbetningsenheten (140) är anpassad att: alstra en ljuspupillögonrörelseföljningsparameter baserat på en första underuppsättning av det primära datat (DS) registre- rad av den första uppsättningen sensorelement (130a), och alstra en mörkpupillögonrörelseföljningsparameter baserat på en andra underuppsättning av det primära datat (DS) registre- rad av den andra uppsättningen sensorelement (130b).
9. Systemet enligt krav 8, kännetecknat av att varje element i den första uppsättningen sensorelement (130a) anligger mot åtminstone ett element i den andra uppsättningen sensorele- ment (130b).
10. Systemet enligt krav 9, kännetecknat av att elementen i den första och den andra uppsättningen av sensorelement (130a; 130b) är anordnade i ett schackrutigt mönster,
11. Systemet enligt något av kraven 9 eller 10, kännetecknat av att den förädlade optiska överföringsfunktionen är anpassad att projicera ljus reflekterat från en enstaka punkt i scenen på ett antal element i den första och den andra uppsättningen av sensorelement (130a; 130b).
12. Systemet enligt något av kraven 6 till 11, kännetecknat av att bearbetningsenheten (140) är anpassad att alstra ögonrö- relseföljnlngsdatat (DEYE) baserat på åtminstone endera av ljus- och mörkpupillögonrörelseföljningsparametrarna.
13. En metod för automatisk registrering och följning av åt- minstone ett öga (101; 102) hos åtminstone en individ (100), varvid primära data (DS) representerande spatiellt distribuerat ljus registreras, där ljuset har sänts från en scen innehållande 10 15 20 25 30 529 763 27 den åtminstone en individen (100) via ett optiskt system (110) innefattande en Iinsstruktur (111, 112) och en mask (120) till en bildsensor (130), där masken (120) är anpassad att förändra en grundläggande optisk överföringsfunktion hos linsstrukturen (111, 112) och bildsensorn (130) till en förädlad optisk överfö- ringsfunktion vilken är anpassad att sprida en bild från en punkt i rymden till flera än ett sensorelement på en sensoryta hos bild- sensorn (130), och därmed vara väsentligt mindre känslig för va- riationer (A) av ett okänt avstånd (R) mellan det optiska syste- met (110) och den åtminstone en individen (100) än den grund- läggande optiska överföringsfunktionen, och metoden innefattar: mottagning av det primära datat (DS), och bearbetning av det primära datat (DS) för alstring av resul- terande ögonrörelseföljningsdata (DEYS) vilka representerar åt- minstone endera av ett positionsestimat för det åtminstone ett ögat (101; 102) och en blickriktning för det åtminstone ett ögat (101; 102).
14. Metoden enligt krav 13, kännetecknad av bearbetning endast av en högrelevant del av det primära datat (DS) för alst- ring av ögonrörelseföljningsdatat (DSYE), där metoden innefattar utväljning av den högrelevanta delen baserat på åtminstone endera av tidigare härledda ögonrörelseföljningsdata (DEYE) och data registrerad av en eller flera hjälpsensorer.
15. Metoden enligt något av kraven 13 eller 14, kännetecknad av matchning av det primära datat (DS) mot en målform rep- resenterande en typisk ögonform transformerad av den optiska överföringsfunktionen.
16. Metoden enligt krav 15, kännetecknad av utväljning av en del av det primära datat (DS) att representera en respektive int- resseregion på sensorytan runt varje underuppsättning av det primära datat (DS) vilken har en korrelation med mâlformen överstigande en matchtröskelnivå. 10 15 20 25 30 529 763 28
17. Metoden enligt något av kraven 13 till 16, kännetecknad av bestämning av åtminstone en positionskandidat för åtmins- tone ett öga (101; 102), och därefter: matchning, för var och en av den åtminstone en positions- kandidaten, av en respektive underuppsättning av data ur det primära datat (DC) representerande var och en av positionskan- didaterna (x, y) mot en ögonmodell representerande en ideal ögonform transformerad av den optiska överföringsfunktionen för att erhålla en uppsättning korrelationstestvärden, och utväljning, baserat på uppsättningen korrelationstestvär- den, av åtminstone en positionskandidat från uppsättningen po- sitionskandidater att representera det åtminstone ett ögat.
18. Metoden enligt något av kraven 13 till 17, kännetecknad av: belysning av scenen medelst åtminstone en första ljuskälla (L1) anordnad relativt nära en optisk axel (AC) hos det optiska systemet (110), där den åtminstone en första ljuskällan (L1) är orienterad så att en huvudljusstråle (B1) utsänd därifrån väsent- ligen sammanfaller med den optiska axeln (AC), där ljusenergin från den åtminstone en första ljuskällan (L1) huvudsakligen är fördelad inom ett första våglängdsområde (KM-AAC), och belysning av scenen medelst åtminstone en andra ljuskälla (L2a, L2b) anordnad på ett avstånd (du) från den optiska axeln (AC) hos det optiska systemet (110) så att en huvudljusstråle (B2) utsänd därifrån befinner sig excentriskt i förhållande till denna optiska axel (AC), där den åtminstone en andra ljuskällan (L2a, L2b) är anpassad att utsända ljus huvudsakligen inom ett andra våglängdsområde (ABL-ABU) som är väsentligen separerat från det första våglängdsområdet (AM-AAC).
19. Metoden enligt krav 18, kännetecknad av att masken (120) är anpassad att transformera det inkommande ljuset (LS) från scenen så att: ljus inom det första våglängdsområdet (xAL-AAU) riktas mot en första area (A1) av en sensoryta, och ljus inom det andra våglängdsområdet (ABL-ABU) riktas mot 10 15 529 765 29 en andra area (A2) av sensorytan, och metoden innefattar alstring av åtminstone endera av: en ljuspupillögonrörelseföljningsparameter baserat på en första underuppsättning av det primära datat (DS) registrerad av sensorelement inom den första arean (A1), och en mörkpupillögonrörelseföljningsparameter baserat på en andra underuppsättning av det primära datat (DS) registrerad av sensorelement inom den en andra arean (A2).
20. Metoden enligt krav 19, kännetecknad av alstring av ögonrörelseföljningsdatat (DEYE) baserat på åtminstone en av ljus- och mörkpupillögonrörelseföljningsparametrarna.
21. Ett datorprogram direkt nedladdningsbart till det interna minnet hos en dator, innefattande mjukvara för att styra stegen enligt något av kraven 13 till 20 då nämnda program körs på datorn.
22. Ett datorläsbart medium (145) med ett lagrat program, där programmet är ägnat att förmå en dator att styra stegen enligt något av kraven 13 till 20.
SE0502228A 2005-10-10 2005-10-10 Ögonrörelseföljare med ett utökat omfång av arbetsavstånd SE529763C2 (sv)

Priority Applications (7)

Application Number Priority Date Filing Date Title
SE0502228A SE529763C2 (sv) 2005-10-10 2005-10-10 Ögonrörelseföljare med ett utökat omfång av arbetsavstånd
ES06784210T ES2814201T3 (es) 2005-10-10 2006-08-28 Oculómetro que tiene un tramo prolongado de distancias de funcionamiento
JP2008534493A JP2009512009A (ja) 2005-10-10 2006-08-28 広範囲の動作距離を有するアイトラッカー
PCT/SE2006/050296 WO2007043954A1 (en) 2005-10-10 2006-08-28 Eye tracker having an extended span of operating distances
EP06784210.4A EP1933694B1 (en) 2005-10-10 2006-08-28 Eye tracker having an extended span of operating distances
US12/089,595 US8066375B2 (en) 2005-10-10 2006-08-28 Eye tracker having an extended span of operating distances
CN200680037562A CN100589752C (zh) 2005-10-10 2006-08-28 具有延长范围的操作距离的眼跟踪器

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
SE0502228A SE529763C2 (sv) 2005-10-10 2005-10-10 Ögonrörelseföljare med ett utökat omfång av arbetsavstånd

Publications (2)

Publication Number Publication Date
SE0502228L SE0502228L (sv) 2007-04-11
SE529763C2 true SE529763C2 (sv) 2007-11-20

Family

ID=38007650

Family Applications (1)

Application Number Title Priority Date Filing Date
SE0502228A SE529763C2 (sv) 2005-10-10 2005-10-10 Ögonrörelseföljare med ett utökat omfång av arbetsavstånd

Country Status (3)

Country Link
CN (1) CN100589752C (sv)
ES (1) ES2814201T3 (sv)
SE (1) SE529763C2 (sv)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2010281494B2 (en) * 2009-07-29 2015-01-22 Alcon Inc. Optical system for ophthalmic surgical laser
EP2499962B1 (en) * 2011-03-18 2015-09-09 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Optical measuring device and method for capturing at least one parameter of at least one eye wherein an illumination characteristic is adjustable
CN102756689A (zh) * 2011-04-29 2012-10-31 昆达电脑科技(昆山)有限公司 消去车辆驾驶者的视觉死角的方法及系统
EP2712541B1 (en) 2012-09-27 2015-12-30 SensoMotoric Instruments Gesellschaft für innovative Sensorik mbH Tiled image based scanning for head and/or eye position for eye tracking
US9612656B2 (en) 2012-11-27 2017-04-04 Facebook, Inc. Systems and methods of eye tracking control on mobile device
JP6175945B2 (ja) * 2013-07-05 2017-08-09 ソニー株式会社 視線検出装置及び視線検出方法
TWI505260B (zh) * 2013-07-30 2015-10-21 Univ Nat Chiao Tung 頭戴式人眼追蹤系統
US10557943B2 (en) * 2016-08-22 2020-02-11 Apple Inc. Optical systems
US20190331334A1 (en) * 2017-01-03 2019-10-31 Signify Holding B.V. Camera sensor hidden behind luminaire optics

Also Published As

Publication number Publication date
CN100589752C (zh) 2010-02-17
ES2814201T3 (es) 2021-03-26
CN101282680A (zh) 2008-10-08
SE0502228L (sv) 2007-04-11

Similar Documents

Publication Publication Date Title
US8066375B2 (en) Eye tracker having an extended span of operating distances
SE529763C2 (sv) Ögonrörelseföljare med ett utökat omfång av arbetsavstånd
US20180081434A1 (en) Eye and Head Tracking
JP6887960B2 (ja) 自動焦点トリガのためのシステムおよび方法
JP2019506768A (ja) レンジゲート式デプスカメラ部品
KR101471488B1 (ko) 시선 추적 장치 및 방법
US20180293739A1 (en) Systems, methods and, media for determining object motion in three dimensions using speckle images
JP4465619B2 (ja) 登録装置、照合装置、画像補正方法及びプログラム
JP6056746B2 (ja) 顔画像撮影装置、および運転者状態判定装置
WO2011105004A1 (ja) 瞳孔検出装置及び瞳孔検出方法
WO2015148198A1 (en) Computational array camera with dynamic illumination for eye tracking
JP2006507054A (ja) 眼及びその凝視方向を検知し、追跡する方法と装置
JP2019117579A5 (sv)
US11163994B2 (en) Method and device for determining iris recognition image, terminal apparatus, and storage medium
US11163144B2 (en) Focusing of optical devices
KR20190074835A (ko) 옵티컬 트래킹 시스템 및 옵티컬 트래킹 방법
JP2022107533A (ja) 画像視差を使用する焦点選択のためのシステム、方法、及び装置
US20080018856A1 (en) Corneo-scleral topography system
KR101635602B1 (ko) 홍채 인식 방법 및 장치
CN112148119A (zh) 用于在数字图像数据中确定眼睛位置的方法、眼睛追踪器和计算机程序
JP2020140637A (ja) 瞳孔検出装置
EP3554338B1 (en) Determining eye surface contour using multifocal keratometry
WO2024095362A1 (ja) 情報処理システム、情報処理装置、情報処理方法、および記録媒体
US11831859B2 (en) Passive three-dimensional image sensing based on referential image blurring with spotted reference illumination
JP2022187546A (ja) 視線推定システム

Legal Events

Date Code Title Description
NUG Patent has lapsed