SE523911C2 - Metod och anordning för upptagning av ett fingeravtrycksmönster - Google Patents

Description

20 25 30 523 911 2 lämpningar, då sensorn är integrerad i en enhet som vanligtvis bärs i termisk kontakt med kroppen. Lokal uppvärmning av sensorn kan användas för att kompensera för detta, dock till kostnad av ökad energiförbrukning. Under senare tid har linjeversioner av kapacitiva sensorer utvecklats. Den mindre ytan medför mindre exponering för mekanisk och elektrisk inverkan.

Oberoende av vilken metod som används tillämpas sedan en algoritm på det digitala fingeravtrycksmönstret för att verifiera eller identifiera det ge- nom användning av en databas, som innehåller en eller flera referenser till fingeravtrycksmönster. Hur framgångsrik denna process blir beror på kvalite- ten på den upptagna mönsterbilden. För alla typer av sensorer gäller att den begränsade eller dåliga bildkvaliteten under realistiska förhållanden är det stora problemet vid förekommande fingeravtryckstillämpningar.

UPPFINNINGEN I SAMMANFATTNING Uppfinningen tar fasta på problemet med dålig bildkvalitet i fingerav- tryckssystem. Ett syfte med uppfinningen är att åstadkomma bättre bilder än med förekommande metoder. Genom att förflytta fingret över två eller flera olika linjesensorer i ett sensorarrangemang i ett steg, kommer två eller flera olika bilder att fångas upp. En av sensorerna kan t.ex. vara kapacitiv och den andra termisk. Till följd av skillnader i sensorernas karakteristika kommer också felaktigheterna i bilderna att vara olika. Selektiviteten hos sensorar- rangemanget kan ytterligare förbättras genom användning av mer än två sensorer. Genom att kombinera bilderna kan en ny bild, som är bättre än originalen, åstadkommas. Pixlar som uppfångas från områden utanför fing- eravtrycksmönstret markeras som ogiltiga och används inte under de följan- de beräkningarna.

En bild avläses som delbilder eller bildremsor från linjesensorerna och delbilderna ordnas i förhållande till varandra för att bilda en fullständig bild av ett fingeravtrycksmönster. En mikrostyrenhet kan användas för att kombinera de två delbilderna genom beräkning av korrelationen mellan åtminstone två på varandra följande delbilder, som t.ex. den senaste delbilden och en eller flera tidigare delbilder. Korskorrelationskoefficienten är standardmåttet för AH p4049se00 psdoc 03-0702 ver. 20 10 15 20 25 30 523 911 3 korrelation. Emellertid har den beräkningsmässigt mera effektiva summan av skillnader i kvadrat visat sig ge tillräckligt bra resultat.

KORT BESKRIVNING AV RITNINGARNA Uppfinningen kommer att beskrivas utförligare nedan med hänvisning till vissa utföranden därav, vilka visas på bifogade ritningar.

Fig. 1 är ett principiellt blockschema, som visar ett utförande av ett dub- belsensorsystem i enlighet med uppfinningen, Fig. 2 visar ett trippelsensorarrangemang, Fig. 3 visar ett alternativt utförande, Fig. 4 visar ytterligare ett alternativt utförande av ett dubbelsensorarran- gemang med fördelade sensorer, Fig. 5 visar en från en givare upptagen bildremsa, Fig. 6 visar utväljandet av ett centralt parti av bildremsan i Fig. 2, Fig. 7 åskådliggör en metod för positionering av bildremsor i förhållande till varandra, Fig. 8 är en korrelationskarta, som visar positioneringen av en efterföljan- de bildremsa, Fig. 9 åskådliggör en procedur för upptagning av ett helt fingavtrycks- mönster från en dubbelsensor och Fig. 10 visar två 3x3 Sobelmaskar som kan användas för att förbättra linjer i x-riktning och i y-riktning.

UPPFINNINGEN Som framgår av Fig. 1, innefattar ett dubbelsensorarrangemang i en- lighet med uppfinningen två sensorer. En första linjesensor 10 är anordnad intill en andra linjesensor 11. Den första och den andra linjesensorn baseras på olika teknologier och båda har en eller flera rader sensorceller. Ett finger AH p4049se00 psdoc 03-07-02 ver. 20 10 15 20 25 30 523 911 4 rör sig över den första sensorn och därpå över den andra sensorn, som indi- keras genom pil A. Den ordning l vilken fingret passerar de två sensorerna kan påverkas av olika faktorer, t.ex. den mekaniska utformning den anord- ning har, ivilken sensorerna är integrerade. I ett föredraget utförande är den första sensorn kapacitiv och den andra sensorn är en termisk sensor. Båda sensorerna är anordnade på en bärare 15. Sensorerna kan vara åtskilda, men i ett föredraget utförande är båda integrerade på ett kiselstycke, vilket också utgör bäraren 15.

Signalen från sensorerna kan vara analog eller digital. Om utsignalen är digital, är en A/D-omvandlare integrerad på chippet, och i det analoga fal- let måste en sådan läggas till som en särskild komponent (ej visad). I båda fallen använder sensorn också ett flertal extra signaler för styrning av upp- tagningen och för synkroniseringen av utläsningen. En mikrostyrenhet 12 används för inhämtning av bilddata och sedan också för att rekonstruera se- parata bilder och kombinera dem till ett slutgiltigt fingeravtrycksmönster. I det i Fig. 1 visade utförandet är mikrostyrenheten 12 förbunden med ett arbets- minne 13, som t.ex. ett RAM-minne, och med ett lagringsminne 14, som t.ex. ett flashminne. Mikrostyrenheten kan också användas för att para ihop fing- eravtrycksmönstren med referenser i en databas. I enlighet med blocksche- mat är databasen inordnad iflashminnet 14. Sensorerna kan vara integrera- de tillsammans med mikrostyrenheten och minnena i en liten portabel enhet, eller kan vara anordnade var för sig på avstånd med övriga elektronikkom- ponenter och förbundna via kabel. Mikrostyrenheten kan ersättas av en per- sondator eller annan liknande datorutrustning av standardtyp. En gräns- snittsenhet 16 förbinder dubbelsensorarrangemanget med ett externt system 17, som visas med streckade llnjeri Fig. 1.

För att spara energi kan uppvärmningen av den termiska sensorn 11 vara begränsad till den tid då den används. Detta kan åstadkommas anting- en genom att använda den första sensorn 10 i ett särskilt tillstånd för att känna av närvaro av ett finger, eller genom att lägga till en mekanisk om- kopplare 18, som känner av trycket på sensorn. Om en mekanisk omkoppla- re 18 används, är den företrädesvis utförd att beröras av fingret, innan någon AH p4049se00 psdoc 03-07-02 ver. 20 10 15 20 25 30 523 911 5 av sensorerna berörs. Dessa arrangemang är valfria och kan bero på den termiska sensorns uppvärmningsbehov och kravet på energiförbrukning.

Utläsningen av bildremsor från sensorn görs med en repetitionstakt som är tillräckligt hög för att täcka hela fingeravtrycksmönstret, även om fing- ret rör sig snabbt. Under idealiska förhållanden ska de två sensorerna vara synkroniserade, så att bilder utläses från båda samtidigt. Näst bäst är att re- petitionstakterna är desamma, men att de är inte synkroniserade. Om de två sensorerna har olika repetitionstakter, måste kompensering för detta ske i de efterföljande beräkningarna, vilket kommer att kräva mer beräkningskapaci- tet och att interpolationsfel införs. I ett föredraget utförande är sensorerna synkroniserade.

I det i Fig. 2 visade sensorarrangemanget ingår tre sensorer. Utöver en första sensor 10 och en andra sensor 11 är också en tredje sensor 25 anordnad på bäraren 15. Företrädesvis är samtliga tre sensorer olika för att därigenom åstadkomma en mera sammansatt signal. Det är också möjligt att använda två sensorer som är baserade på samma teknik medan den tredje sensorn är av annat slag.

I Fig. 3 visas ytterligare ett utförande av sensorarrangemanget. En för- sta sensor 10' och en andra sensor 11' är anordnade på olika chips. Chipsen är anordnade sida vid sida och uppbärs av bäraren 15. I detta utförande är det möjligt att använda olika substrat för sensorerna, vilket ytterligare kan öka selektiviteten.

I det i Fig. 4 visade utförandet innefattar sensorarrangemanget ett fler- tal sensorelement. En första uppsättning sensorelement 26 utgör tillsamman den första sensorn, och en andra uppsättning sensorelement 27 utgör till- samman den andra sensorn. Sensorelement hos den första och den andra uppsättningen är fördelade och blandade över bärarens 15 yta. Varje sen- sorelement kan vara utfört som ett separat chip, men i ett föredraget ut- förande är alla sensorelementen integrerade i ett chip. En fördel med ett sensorarrangemang i enlighet med Fig. 4 är att insignaldata från varje sensor kommer att vara tillgänglig samtidigt.

AH p4049se00 psdoc 03-07-02 ver. 20 10 15 20 25 30 523 911 6 För de olika typerna av sensorarrangemang kan varje sensor eller sensorelement vara utfört i olika material och substrat. Företrädesvis an- vänds halvledarsensorer, men i vissa utföranden används istället polymerba- serade sensorer. Även så kallade 3-5-föreningar, som t.ex. galliumarsenid kan användas.

Fig. 5 visar en delbild eller bildruta i råformat uppfångad av en av sen- sorerna. Delbildens storlek motsvarar sensorns storlek. Delbilden används vid beräkningar för att skapa ett fullständigt fingeravtrycksmönster. l prakti- ken är beräkningarna komplicerade. T.ex. måste varje bildruta först utvärde- ras för att bestämma om den är bra nog att användas och för att bestämma vilken del av bildrutan som innehåller fingeravtrycksmönstret. Fig. 6 visar ett exempel på hur endast det centrala partiet av bildrutan bedöms utgöra del av ett fingeravtrycksmönster.

När bildrutorna ankommer till mikrostyrenheten är nästa steg att kom- binera dem till ett fullständigt mönster. Detta inbegriper beräkning av korrela- tionen mellan den senaste bildrutan och en eller flera tidigare bildrutor. Kors- korrelationskoefficienten är standardmåttet för korrelation. Emellertid har den beräkningsmässigt mera effektiva summan av skillnader i kvadrat visat sig ge tillräckligt bra resultat.

Fig. 7 åskådliggör en metod, i enlighet med vilken två på varandra föl- jande bilder används för korrelationen. Från den första väljs en mall. l den andra bilden väljs ett eller flera sökområden och korrelationsalgoritmen till- lämpas på vart och ett av dem. Resultatet av varje beräkning är en korrela- tionskarta, i vilken mörka områden motsvarar hög korrelation och ljusa om- råden låg korrelation. Fig. 7 åskådliggör hur beräkningen görs i enlighet med följande formel. cr, = XW (f (x, y) - g(x +1Ly + j))2 (1) I formeln är f(x, y) en NxN-mall från bild(n) och g(x, y) är en NxN-yta i en bild(n+1). Summan av skillnaderna i kvadrat blir ett mått på olikhet. Hos en karta beräknad på detta sätt motsvarar mörka områden hög korrelation och ljusare områden låg korrelation.

AH p4049se00 psdoc 03-07-02 ver. 20 10 15 20 25 30 523 911 7 Resultatet är en tvådimensionell korrelationskarta, som visas i Fig. 8, i vilken mörka områden motsvarar hög korrelation och ljusa områden låg kor- relation. Ur denna kan en förskjutningsvektor beräknas, varvid denna indike- rar längd och riktning hos en fingerrörelse mellan de senaste bildrutorna.

Förskjutningsvektorn ses i korrelationskartan som vektorn från centrat till kor- relationsmaximum (mörkast pixel). Bildrutorna placeras på motsvarande sätt i förhållande till varandra, och medelvärden för alla pixlar beräknas för att åstadkomma hela fingeravtrycksmönstret.

Om antalet pixlar i de två sensorerna är olika, måste omsampling utfö- ras. I nästa steg kombineras de två bilderna till en genom utnyttjande av me- delvärden, pixel för pixel, men exklusive alla pixlar utanför de tillförlitliga om- rådena. För sådana positioner i vilka endast ett värde är tillgängligt används detta värde. En alternativ metod baseras på originalbildrutorna placerade i enlighet med förskjutningsvektorerna i förhållande till en matris med samma upplösning som det slutgiltiga fingeravtrycksmönstret. Varje pixelvärde be- räknas sedan genom interpolation över de närmaste datapunkterna.

Vanligtvis tillämpas också vissa bildförbättringsalgoritmer. Denna pro- cedur sker separat för varje sensor. Emellertid kan även information om för- skjutningsvektorerna från de övriga sensorerna användas för utvärdering och eventuellt också för korrigering av resultatet från korrelationen.

Fig. 9 visar proceduren för anskaffande av ett fullständigt fingerav- trycksmönster från en sensor. Ett finger 19 rör sig över och förbi den första sensorn 10 och den andra sensorn 11. Under fingrets rörelse upptas ett fler- tal bildremsor. En första bildremsa 20 fås från fingertoppen och en andra bildremsa 21 erhålls därefter. Som framgår av Fig. 9 kan bildremsorna vara förskjutna i förhållande till varandra. Sådan förskjutning korrigeras i enlighet med vad som beskrivits ovan med hänvisning till Fig. 7 och Fig. 8.

Efter det att en sista bildremsa 22 anskaffats kombineras all bildrem- sor till ett fullständigt fingeravtrycksmönster, sådant det uttolkats av en sen- sor. Som framgår av Fig. 9 innefattar det fullständiga fingeravtrycksmönstret 23 också partier som saknar eller innehåller mindre intressant information.

Dessa partier skärs bort och ett centralt fingeravtrycksmönsterområde 24 AH p4049se00 psdoc 03-07-02 ver. 20 10 15 20 25 523 911 8 behålls och används för kombination med ett liknande fingeravtrycksmöns- terområde, som erhållits från den andra sensorn. lnnan de verkliga beräkningarna startar, kan viss förbehandling behö- vas. I det följande anges endast några få exempel. Spatial högpassfiltrering, t.ex. genom faltning med Sobelmasker, kan användas för uppskattning av bildkvalitet. Fig. 10 visar två 3x3 Sobelmasker, en som förbättrar linjer i x- riktningen och den andra i y-riktningen.

Pixelvärdehistogram är användbara för utväljande av mallar med udda egenskaper. Variansanalys i enlighet med följande formel (2) kan användas för detektering av fingeravtrycksmönsterområde. 2 :oc-ff ïl 0' (2) Följande utgör ett exempel på beräkningar som steg för steg leder från sensordata i råformat till det slutgiltiga fingeravtrycksmönstret. Flera förbe- handlingssteg kan tas. Exempel på sådana är: o Detektering av ett fingeravtrycksmönster (flera metoder, t.ex. med användning av Sobelderivata eller varians), u Pixlar utanför fingeravtrycksmönsterområdet markeras som ogiltiga, o Beräkning av bildkvalitetsindex (flera metoder förekommer, t.ex. med användning av Sobelderivata eller varians), o Malluttagning (områden med udda egenskaper föredras, större mallar kräver mera beräkningar.

I samband med utvärderingen av förflyttningsvektorer bör följande aspekter beaktas: AH p4049seO0 psdoc 03-07-02 ver. 20 10 15 20 25 523 911 9 Två tidsserier förflyttningsvektorer är tillgängliga Projicering på axel vinkelrät mot sensorlinjerna Två förflyttningskurvor i linje med en gemensam tidsaxel lnterpolation till gemensam samplingsfrekvens (en av de ur- sprungliga eller en ny) Beräkning av medelförflyttningskurvan genom regression Beräkning av avvikelsen hos uppmätt datapunkt från medelför- flyttningskurvan Potentiellt felaktiga datapunkter indikeras genom medianfilter Felaktiga datapunkter, som utmärkts genom parjämförelse mel- lan datapunktsfel från båda givarna Under den slutgiltiga bildsammansättningen är följande aspekter vikti- ga: För varje bildruta är följande data tillgängliga: bild, fingerav- trycksmönsterområde, bildkvaliltetsindex, förflyttningsvektor, flagga för felaktig vektor Dessa skapar två par tidsserier På basis av bildkvalitetsindexet och flaggan för felaktig vektor förkastas vissa bilder Orimligt bra bilder förkastas på basis av bildkvaliteten Resterande bilder placeras med hänsyn till respektive förflytt- ningsvektorer på ett virtuellt rutnät Varje pixel i det virtuella rutnätet beräknas på basis av de när- mast liggande obehandlade bildpixlarna AH p4049se0O psdoc 03-07-02 ver. 20 525 911 10 Det kan vara lämpligt att överväga efterbehandlingssteg, som t.ex. omsampling (om så erfordras) och filtrering (om så erfordras). För att minska beräkningsintensiteten kan approximativa versioner av algoritmerna använ- das, vanligtvis med endast små effekter på kvaliteten på resultaten.

AH p4049se0O psdoc 03-07-02 ver. 20

Claims (13)

5 10 15 20 25 30 523 911 11 PATENTKRAV

1. Metod för upptagning av ett fingeravtrycksmönster, innefattande åtgärder- nal avkänning av en första uppsättning karakteristika hos ett linjeseg- ment av en fingertopp med användning av en första linjesensor, relativ förflyttning av fingertoppen och den första linjesensorn för att anskaffa ett flertal linjesegment, lagring av data motsvarande linjesegmenten som första delbilder och att kombinera av data från ett flertal delbilder för att bilda en representation av åtminstone ett parti av fingeravtrycksmönstret, k ä n n e te c k n a d av följande åtgärder: e) 9) h) avkänning av åtminstone en andra uppsättning karakteristika hos ett linjesegment av en fingertopp med användning av åtminstone en andra linjesensor, varvid den andra uppsättningen karakteristika skil- jer sig från den första uppsättningen karakteristika, relativ förflyttning av fingertoppen och åtminstone den andra linje- sensorn, lagring av data motsvarande linjesegmenten som andra delbilder och att kombinera en första representation av åtminstone ett parti av fingeravtrycksmönstret på basis av den första uppsättningen karakte- ristika med åtminstone en andra representation av åtminstone ett parti av fingeravtrycksmönstret på basis av den andra uppsättningen karakteristika för att bilda en representation av fingeravtrycksmönst- ret.

2. Metod enligt krav 1, varvid också ingår åtgärden att kombinera delbilder framtagna från den första sensorn genom beräkning av ett korrelationsvärde mellan den senast framtagna delbilden och åtminstone en tidigare genom AH p4049se00 psdoc 03-07-02 ver. 20 10 15 20 25 30 523 911 12 korrelationsvärde framtagen delbild och att placera delbilderna i beroende av korrelationsvärdet.

3. Metod enligt krav 1, varvid också ingår åtgärderna att välja ut en mail från en första av två konsekutiva delbilder, att välja ut åtminstone ett sökområde från en andra delbild av de två konsekutiva delbilderna, att beräkna en korre- lationskarta, ivilken mörka pixlar motsvarar hög korrelation och ljusa pixlar motsvarar låg korrelation, att beräkna en förflyttningsvektor som en vektor från mallens centrum till den mörkaste pixeln, och att förskjuta den andra delbilden i förhållande till den första delbilden i enlighet med förskjutnings- vektom.

4. Metod enligt krav 3, varvid också ingår åtgärden att beräkna korrelations- kartan c,-,~ med formeln clgj = Zhyøqxay) _ g(x "i" ÄV + där f(x,y) en NxN-mall från delbild(n) och g(x, y) är en NxN-yta i en bi|d(n+1).

5. Metod enligt krav 1, varvid också ingår åtgärderna att anskaffa första linje- segment från en första linjesensor och andra linjesegment från en andra lin- jesensor.

6. Metod enligt krav 5, varvid också ingår åtgärden att anskaffa linjesegment från den första linjesensorn synkroniserat med anskaffandet av linjesegment från den andra linjesensorn.

7. Metod enligt krav 5, varvid också ingår åtgärden att anskaffa linjesegment från den första linjesensorn i samma repetitionstakt som vid anskaffande av linjesegment från den andra linjesensorn. AH p4049se00 psdoc 03-07-02 ver. 20 10 15 20 25 30 523 911 13

8. Anordning för upptagning av fingeravtrycksmönster, innefattande en första linjesensor för avkänning av en första uppsättning karakteristika hos linje- segment på en fingertopp, minnesorgan för lagring av data motsvarande lin- jesegment som anskaffats när fingertoppen och den första linjesensorn för- flyttas i förhållande till varandra, och en med den första linjesensorn och minnesorganet operativt förbunden styrenhet för att kombinera data från ett flertal linjesegment och bilda en representation av åtminstone ett parti av fingeravtrycksmönstret, k ä n n e te c k n a d av åtminstone en andra linjesensor för avkänning av en andra uppsättning karakteristika hos ett linjesegment på en fingertopp, varvid åtminstone denna andra linjesensor är operativt förbunden med styr- enheten och varvid nämnda andra uppsättning karakteristika skiljer sig från den första uppsättningen karakteristika.

9. Anordning enligt krav 8, varvid två linjesensorer används och endera av den första linjesensorn och den andra linjesensorn är en termisk sensor och den andra sensorn är en kapacitiv sensor.

10. Anordning enligt krav 8, varvid två linjesensorer används och den första linjesensorn och den andra linjesensorn är integrerade på ett kiselchip.

11. Anordning enligt krav 8, varvid två linjesensorer används och den första linjesensorn och den andra linjesensorn är integrerade på ett kiselchip till- sammans med mikrostyrenhet och minnesorgan.

12. Anordning enligt krav 8, varvid den första linjesensorn är en med ett upp- värmningsorgan termiskt förbunden termisk sensor, en andra linjesensor är operativt förbunden med uppvärmningsorganet och varvid uppvärmningsor- ganet aktiveras genom att en fingertopp anläggs mot den andra linjesensorn.

13. Anordning enligt krav 8, varvid den första linjesensorn är en med ett upp- värmningsorgan termiskt förbunden termisk sensor och varvid ett tryckkäns- AH p4049se00 psdoc 03-07-02 ver. 20 523 911 14 ligt organ är operativt förbundet med uppvärmningsorganet för aktivering av detta då ett finger utövar tryck på det tryckkänsiiga organet. AH p4049se0O psdoc 03-07-02 ver 20