SE524023C2

SE524023C2 - Biometric data authentication by comparing current finger position on sensor with previously recorded reference data

Info

Publication number: SE524023C2
Application number: SE0102376A
Authority: SE
Inventors: Alf Larsson; Jerker Bergenek; Helmuth Kristen
Original assignee: Precise Biometrics Ab
Priority date: 2001-06-29
Filing date: 2001-06-29
Publication date: 2004-06-15
Also published as: SE0102376D0; SE0102376L

Abstract

Method consists in comparing previously recorded biometric (fingerprint) reference data with current data to check alignment and indicating to the user that he is to change it if there is no match. There are Independent claims for: (1) A computer program for fingerprint data authentication; (2) A device for fingerprint identity authentication.

Description

25 30 35 ' ' 00' o n o: n »a . . - ~ o n . .n .- a. . 524 Û23 -~---:w:::---- -= u. ..- n. . , _ _.. _ o 1 .un - . . ~ - . .. . . , _ _ : ~ ß n - u . - . . . u u. .. . '_ ' _' z 2 samma takt vid registreringen av de aktuella datana som vid registreringen av referensdatana. Åtminstone när det gäller fingeravtryck, finns det vidare en strävan att använda allt mindre sensorer eftersom sensorerna är dyra. Detta accentuerar problemet med att fingret skall placeras i samma läge när aktuella data upptas som när referensdata upptas. 25 30 35 '' 00 'o n o: n »a. . - ~ o n. .n .- a.. 524 Û23 - ~ ---: w ::: ---- - = u. ..- n. , _ _ .. _ o 1 .un -. . ~ -. ... . , _ _: ~ ß n - u. -. . . u u ... '_' _ 'z 2 at the same rate when registering the current data as when registering the reference data. At least when it comes to fingerprints, there is also an effort to use smaller and smaller sensors because the sensors are expensive. This accentuates the problem of placing the finger in the same position when recording current data as when recording reference data.

Ett följdproblem är att användarna av finger- avtrycksverifieringssystem tycker det är omständligt att använda dessa eftersom de kan behöva göra många försök innan fingret kommer i rätt läge vid registreringen av aktuella data och innan verifieringssystemet därmed accepterar användarens fingeravtryck. Dessutom är det svårt för användaren att veta om hans aktuella finger- avtryck inte godtas på grund av felaktig placering av fingret eller på grund av någon annan orsak.A consequence problem is that the users of fingerprint verification systems find it cumbersome to use these because they may need to make many attempts before the finger gets in the right position when registering the current data and before the verification system thus accepts the user's fingerprints. In addition, it is difficult for the user to know if his current fingerprint is not accepted due to incorrect placement of the finger or for some other reason.

Sammanfattning av uppfinningen Ett ändamål med uppfinningen är att föreslå en lösning på ovanstående problem. Ändamålet uppnås helt eller delvis med ett för- farande enligt patentkrav 1, en datorprogramprodukt enligt patentkrav 16 och en anordning enligt patentkrav 17.SUMMARY OF THE INVENTION An object of the invention is to propose a solution to the above problems. The object is achieved in whole or in part by a method according to claim 1, a computer program product according to claim 16 and a device according to claim 17.

Närmare bestämt avser uppfinningen enligt en första aspekt ett förfarande vid verifiering av en persons identitet med hjälp av biometriska data, innefattande stegen att registrera aktuella biometriska data som matas in till en sensor av personen, jämföra tidigare regist- rerade biometriska referensdata med de aktuella biomet- riska datana för att kontrollera om ett upplinjerings- villkor är uppfyllt, och om så inte är fallet, åstad- komma, på basis av ett resultat av jämförelsen, en indikation på att personen skall förändra inmatningen till sensorn för att förbättra upplinjeringen mellan de aktuella biometriska datana och de biometriska referens- datana. o oo 10 15 20 25 30 35 » u - o nu n . 524 023 3 Enligt förfarandet jämför man alltså aktuella data och referensdata för att kontrollera om datana är till- räckligt upplinjerade, dvs att de överensstämmer med varandra i rum och/eller tid i tillräcklig utsträckning för att en verifiering skall kunna genomföras på ett meningsfullt sätt. Om så inte är fallet använder man resultatet av jämförelsen för att indikera för användaren att han skall förändra inmatningen till sensorn, i rum och/eller i tid för att förbättra upplinjeringen.More particularly, according to a first aspect, the invention relates to a method of verifying a person's identity using biometric data, comprising the steps of recording current biometric data input to a sensor of the person, comparing previously recorded biometric reference data with the current biometric data. risk data to check whether an alignment condition is met, and if not, provide, on the basis of a result of the comparison, an indication that the person should change the input to the sensor to improve the alignment between the current biometric the data and the biometric reference data. o oo 10 15 20 25 30 35 »u - o nu n. 524 023 3 According to the procedure, current data and reference data are thus compared to check whether the data are sufficiently aligned, ie that they correspond to each other in space and / or time to a sufficient extent for a verification to be carried out in a meaningful way. If not, the result of the comparison is used to indicate to the user that he should change the input to the sensor, in room and / or in time to improve the alignment.

Med detta förfarande kan personen vars identitet skall verifieras få en direkt återkoppling avseende om inmatningen till sensorn är tillfredsställande eller ej.With this procedure, the person whose identity is to be verified can get a direct feedback as to whether the input to the sensor is satisfactory or not.

I ett föredraget utförande kan personen dessutom få en indikation på hur han skall korrigera eventuella brister. Detta leder till ett mera användarvänligt system. Dessutom kan tid sparas genom att användaren behöver färre försök innan inmatningen till sensorn är korrekt och identiteten därmed kan verifieras.In a preferred embodiment, the person may also be given an indication of how to correct any deficiencies. This leads to a more user-friendly system. In addition, time can be saved by the user needing fewer attempts before the input to the sensor is correct and the identity can thus be verified.

Förfarandet används med fördel för att ge återkoppling till en användare om hur han skall placera fingret pà en fingeravtryckssensor. Speciellt fördel- aktigt är förfarandet vid användningen av små finger- avtryckssensorer där placeringen av fingret i förhållande till sensorn är kritisk och där det kan var extra svårt att placera fingret på ett korrekt sätt.The method is used to advantage to provide feedback to a user on how to place the finger on a fingerprint sensor. The method is particularly advantageous when using small fingerprint sensors where the position of the finger in relation to the sensor is critical and where it can be extra difficult to position the finger correctly.

I ett föredraget utförande innefattar vidare de tidigare registrerade biometriska referensdatana en första delmängd av en digital representation av ett tidigare registrerat fingeravtryck och de aktuella biometriska datana innefattar en digital representation av ett aktuellt fingeravtryck, varvid steget att jämföra innefattar att korrelera den första delmängden med den digitala representation av det aktuella fingeravtryck.In a preferred embodiment, the previously recorded biometric reference data further comprises a first subset of a digital representation of a previously registered fingerprint and the current biometric data comprises a digital representation of a current fingerprint, the step of comparing comprising correlating the first subset with the digital fingerprint. representation of the current fingerprint.

Delmängden kan exempelvis vara ett delområde av det tidigare registrerade fingeravtrycket eller innefatta ett flertal sk minutiae-punkter. I och med att endast en delmängd av fingeravtrycket används vid jämförelsen kan ann-a lO 15 20 25 30 35 524 023 4 indikationen pà att fingret skall förflyttas åstadkommas utan tillgång till fullständig information om referens- fingeravtrycket vilket är fördelaktigt ur säkerhets- synpunkt.The subset may, for example, be a sub-area of the previously registered fingerprint or comprise a plurality of so-called minutiae points. Since only a subset of the fingerprint is used in the comparison, the indication that the finger is to be moved can be obtained without access to complete information about the reference fingerprint, which is advantageous from a security point of view.

Pà motsvarande sätt skulle man kunna använda en delmängd av någon annan typ av biometriska data för att korrelera denna med aktuella biometriska data.Similarly, a subset of some other type of biometric data could be used to correlate this with current biometric data.

Förfarandet är speciellt fördelaktigt när jämförel- sen mellan aktuella data och referensdata utförs i en första enhet, vilken mottar de biometriska referensdatana från en andra enhet, i vilken verifieringen skall utföras och i vilken ytterligare biometriska referensdata är lagrade. I detta fall behöver de ytterligare biometriska referensdatana aldrig lämna den andra enheten, vilket är fördelaktigt ur säkerhetssynpunkt. Genom att en andra delmängd av de aktuella biometriska datana överförs till den andra enheten först när upplinjeringsvillkoret är uppfyllt, sparas tid för dà behöver man aldrig försöka att utföra en verifiering som redan pà förhand är dömd att misslyckas pga bristande upplinjering mellan de aktuella datana och referensdatana.The method is particularly advantageous when the comparison between current data and reference data is performed in a first unit, which receives the biometric reference data from a second unit, in which the verification is to be performed and in which additional biometric reference data is stored. In this case, the additional biometric reference data never need to leave the other device, which is advantageous from a security point of view. By transferring a second subset of the current biometric data to the second unit only when the alignment condition is met, time is saved because then you never have to try to perform a verification that is already doomed to fail due to lack of alignment between the current data and the reference data. .

Kort figurbeskrivning Föreliggande uppfinning skall nu beskrivas mera i detalj genom ett utföringsexempel under hänvisning till bifogade ritningar, pà vilka Fig 1 visar ett exempel pà ett system för verifie- ring av fingeravtryck; Fig 2 visar schematiskt ett flödesschema för registrering av ett template; Fig 3a och b visar schematiskt en bild av ett referensfingeravtryck resp en bild av ett aktuellt fingeravtryck; och Fig 4 visar schematiskt ett flödesschema för ett exempel på ett förfarande enligt uppfinningen.BRIEF DESCRIPTION OF THE DRAWINGS The present invention will now be described in more detail by way of an exemplary embodiment with reference to the accompanying drawings, in which Fig. 1 shows an example of a system for verifying fingerprints; Fig. 2 schematically shows a flow chart for registering a template; Figs. 3a and b schematically show a picture of a reference fingerprint and a picture of a current fingerprint, respectively; and Fig. 4 schematically shows a flow chart for an example of a method according to the invention.

Beskrivning av ett utföringsexempel I fig 1 visas schematiskt ett exempel pà ett system för verifiering av fingeravtryck, vilket system inne- 10 15 20 25 30 35 l I llt l , , _ , _ _- _~~_ _: ..._ n.. .. .,, ~ n ~ . n . . , _ _ _ ~ a n . .n .u . . . . , , _ _ ~ ß - . v u u N ~ , , _ __ ° ° I v a - - - - .. _.. ._ : ~..-- - 5 fattar en sensor l för registrering av fingeravtryck, en första enhet 2, vilken i det följande betecknas behand- lingsenhet, för behandling av fingeravtrycksdata och en andra enhet 3, som innefattar ett templat-minne 4 för lagring av referensfingeravtrycksdata.Description of an exemplary embodiment Fig. 1 schematically shows an example of a system for verifying fingerprints, which system contains 1 I llt 1,, _, _ _- _ ~~~ _: n .. ... ,, ~ n ~. n. . , _ _ _ ~ a n. .now . . . . ,, _ _ ~ ß -. vuu N ~,, _ __ ° ° I va - - - - .. _ .. ._: ~ ..-- - 5 takes a sensor 1 for recording fingerprints, a first unit 2, which in the following is referred to as processing unit, for processing fingerprint data and a second unit 3, which comprises a template memory 4 for storing reference fingerprint data.

Sensorn l kan exempelvis vara kapacitiv, optisk, termisk eller tryckkänslig. Den kan vara av flatbäddstyp, dvs av en typ där användaren håller sitt finger stilla vid registreringen av fingeravtrycket, eller av dragtyp, dvs av en typ där användaren drar sitt finger över sensorn under det att fingeravtrycket registreras. Den har en sensoryta 5 som gör det möjligt att registrera ett fingeravtryck. Storleken på ytan kan vara olika. Den kan möjliggöra upptagning av ett komplett fingeravtryck från den yttersta fingerleden eller ett partiellt finger- avtryck från en större eller mindre del av den yttersta fingerleden.The sensor 1 can be, for example, capacitive, optical, thermal or pressure sensitive. It can be of the flatbed type, ie of a type where the user keeps his finger still when registering the fingerprint, or of the drag type, ie of a type where the user drags his finger over the sensor while the fingerprint is registered. It has a sensor surface 5 which makes it possible to register a fingerprint. The size of the surface can be different. It may allow a complete fingerprint to be taken up from the outermost finger joint or a partial fingerprint from a larger or smaller part of the outermost finger joint.

Sensorn 1 är ansluten till behandlingsenheten 2, som kan vara en enhet som är dedicerad för behandling av fingeravtryck eller en dator av standardtyp som har försetts med lämplig programvara. I det förra fallet kan behandlingsenheten exempelvis innefatta en processor med programminne och arbetsminne eller en specialanpassad hårdvara, såsom en ASIC (Application-Specific Integrated Circuit) eller en FPGA (Field-Programmable Gate Array), eller digitala eller analoga kretsar, eller någon lämplig kombination av ovanstående.The sensor 1 is connected to the processing unit 2, which may be a unit dedicated to the processing of fingerprints or a standard type computer which has been provided with suitable software. In the former case, the processing unit may, for example, comprise a processor with program memory and working memory or a specially adapted hardware, such as an ASIC (Application-Specific Integrated Circuit) or an FPGA (Field-Programmable Gate Array), or digital or analog circuits, or any suitable combination. of the above.

Den andra enhetens 3 templat-minne 4 kan vara vilken som helst känd typ av minne som gör det möjligt att lagra referensfingeravtrycksdata. Enheten kan vara integrerad med behandlingsenheten eller fristående från denna.The template memory 4 of the second unit 3 can be any known type of memory that makes it possible to store reference fingerprint data. The unit can be integrated with the treatment unit or separate from it.

Den andra enheten kan speciellt vara en portabel enhet som är personlig för användaren. Den kan exempelvis utgöras av ett sk smartcard eller motsvarande typ av portabel enhet, som lagrar användarens personliga referensfingeravtrycksdata och som utöver minne innehåller en processor 6 med vars hjälp själva 10 15 20 25 30 35 n o o ~ nu . » 4 . .- nu n~ verifieringen av fingeravtrycket kan utföras. Om den andra enheten är ett smartcard eller liknande kan systemet behöva innefatta en smartcard-läsare (visas ej) som kan avläsa informationen på smartcardet.The other device may in particular be a portable device which is personal to the user. It can, for example, consist of a so-called smart card or equivalent type of portable device, which stores the user's personal reference fingerprint data and which, in addition to memory, contains a processor 6 with the aid of which itself 10 15 20 25 30 35 n o o ~ nu. »4. .- now the n ~ verification of the fingerprint can be performed. If the other device is a smart card or similar, the system may need to include a smart card reader (not shown) that can read the information on the smart card.

Den andra enheten 3 kan alternativt vara en enhet som befinner sig på avstånd från behandlingsenheten 2, varvid kommunikationen mellan behandlingsenheten och den andra enheten exempelvis sker via någon form av kommuni- kationsnät. Den andra enheten kan exempelvis vara en dator hos en bank.The second unit 3 may alternatively be a unit which is at a distance from the treatment unit 2, the communication between the treatment unit and the second unit taking place, for example, via some form of communication network. The other device can be, for example, a computer at a bank.

I det följande antas att den andra enheten 3 är ett smartcard som avläses i en ej visad smartcard-läsare.In the following it is assumed that the second unit 3 is a smart card which is read in a smart card reader (not shown).

Systemet kan vidare innefatta indikeringsorgan, vilkas funktion kan vara att indikera att användaren skall flytta sitt finger i förhållande till sensorn och/eller att indikera hur användaren skall flytta sitt finger i förhållande till sensorn och/eller att indikera att verifieringen av användarens identitet lyckades/misslyckades. I fig 1 visas att indikerings- organen 7 finns i behandlingsenheten 2. De kan emellertid lika gärna finnas i/på sensorn 1. Indikeringsorganen kan exempelvis utgöras av en display på vilken indikeringarna visas, av lysdioder som ger indikeringar i form av ljussignaler eller av något annat lämpligt organ som kan ge ovan angivna indikeringar till användaren.The system may further comprise indicating means, the function of which may be to indicate that the user should move his finger in relation to the sensor and / or to indicate how the user should move his finger in relation to the sensor and / or to indicate that the verification of the user's identity was successful / failed . Fig. 1 shows that the indicating means 7 are located in the treatment unit 2. However, they can just as easily be located in / on the sensor 1. The indicating means can for instance consist of a display on which the indications are shown, of LEDs which give indications in the form of light signals or of something other suitable means which can give the above indications to the user.

Antag nu att en användare skall registrera referens- fingeravtrycksdata som skall lagras i template-minnet 4 på smartcardet 3. Denna registrering kan göras med systemet i fig 1. Referensfingeravtrycksdatana betecknas i det följande som ett template. Ett template kan innefatta ett referensfingeravtryck i den "råa" eller obehandlade form i vilken den registreras. Normalt innehåller dock ett template bearbetade och komprimerade data, vilket är fallet i detta exempel.Suppose now that a user is to register reference fingerprint data to be stored in the template memory 4 on the smart card 3. This registration can be made with the system in Fig. 1. The reference fingerprint data is hereinafter referred to as a template. A template may include a reference fingerprint in the "raw" or untreated form in which it is registered. Normally, however, a template contains processed and compressed data, which is the case in this example.

I fig 2 visas ett flödesschema över ett förfarande för att skapa ett template med en privat och en publik del. Templatet skall lagras i smartcardets 3 minne 4. Den :open sou;- 10 15 20 25 30 35 I 9 OII l 524 023 ;~--:wU::ww.ww ' ~ I I w ~ n . Q -. . . . u» :°_ I' , I ' : 0 ß v - o n n . .Fig. 2 shows a flow chart of a method for creating a template with a private and a public part. The template should be stored in the smartcard's 3 memory 4. Den: open sou; - 10 15 20 25 30 35 I 9 OII l 524 023; ~ -: wU :: ww.ww '~ I I w ~ n. Q -. . . . u »: ° _ I ', I': 0 ß v - o n n. .

- . . . I, " g ~_ 7 privata delen av templatet är avsedd att användas uteslutande i smartcardet för genomförande av den egentliga verifieringen. Den publika delen är avsedd att användas i behandlingsenheten för att linjera upp aktuella fingeravtrycksdata med referensfingeravtrycks- datana i templatet sà att en lämplig delmängd av de aktuella fingeravtrycksdatana kan väljas ut och föras över till smartcardet 3 där de skall matchas mot den privata delen av templatet för verfiering av användarens identitet. Upplinjeringen i behandlingsenheten sker genom att den publika delen av templatet korreleras med det aktuella fingeravtrycket. Fördelarna med uppdelningen av templatet i en privat och en publik del framgår i det följande.-. . . The private part of the template is intended to be used exclusively in the smart card to perform the actual verification. The public part is intended to be used in the processing unit to align current fingerprint data with the reference fingerprint data in the template so that a suitable subset of the current fingerprint data can be selected and transferred to the smartcard 3 where they will be matched to the private part of the template to verify the user's identity.The alignment in the processing unit is done by correlating the public part of the template with the current fingerprint. of the template in a private and a public part is shown below.

Förfarandet kan genomföras enligt följande. Först, i steg 20, registreras en första digital representation eller bild i gräskala av användarens fingeravtryck med hjälp av sensorn l. I behandlingsenheten kontrolleras den registrerade bilden sä att det exempelvis säkerställs att det verkligen finns ett fingeravtryck i bilden, att fingeravtrycket upptar en tillräckligt stor del av bilden och att fingeravtrycket är tillräckligt tydligt.The procedure can be performed as follows. First, in step 20, a first digital representation or grass image of the user's fingerprint is registered by means of the sensor 1. In the processing unit, the registered image is checked so that it is ensured, for example, that there is indeed a fingerprint in the image, that the fingerprint occupies a sufficiently large part of the image and that the fingerprint is clear enough.

Vidare kontrolleras om användaren har applicerat fingret med tillräckligt tryck pà sensorn och så att eventuell fukt pà användarens finger inte har gjort det omöjligt för sensorn att skilja mellan ”toppar” och ”dalar” pà fingret. Vid behov upprepas registrerings- steget.It is also checked whether the user has applied the finger with sufficient pressure on the sensor and so that any moisture on the user's finger has not made it impossible for the sensor to distinguish between "peaks" and "valleys" on the finger. If necessary, the registration step is repeated.

När en digital bild i gràskala med tillräckligt god kvalitet har registrerats sker en binärisering av bilden.When a digital image in grayscale with sufficiently good quality has been registered, the image is binaryized.

Binäriseringen innebär att bildens pixlar jämförs med ett gràskaletröskelvärde. De pixlar som har ett värde som är mindre än gràskaletröskelvärdet omvandlas till vita och de som har ett värde som är större än gràskaletröskel- värdet omvandlas till svarta. Gráskaletröskelvärdet kan vara det samma för hela bilden eller variera mellan olika delar av bilden. Binäriseringsalgoritmen kan vidare 524 023 8 förfinas, så att pixlarna jämförs med omgivningen, exempelvis för att undvika att enstaka pixlar blir vita om samtliga omgivande pixlar är svarta. Ytterligare förbehandling av bilden kan också göras, såsom ändring av 5 upplösning och/eller kontrastförbättring Efter binäriseringen väljs, i steg 21, ett delom- råde, nedan kallat publikt delområde, av bilden ut för lagring i en publik del av templatet. Området kan väljas på olika sätt. Ett sätt är att använda följande tre 10 kvalitetskriterier: 1) Distinkthet, dvs hur lätt ett delområde är att binärisera, 2) Unikhet, dvs hur unikt ett delområde är, och 3) Geografisk placering, dvs var ett delområde är placerat i fingeravtrycket.The binaryization means that the pixels of the image are compared with a grayscale threshold value. The pixels that have a value less than the grayscale threshold are converted to white and those that have a value greater than the grayscale threshold are converted to black. The grayscale threshold value can be the same for the whole image or vary between different parts of the image. The binaryization algorithm can further be refined, so that the pixels are compared with the surroundings, for example to avoid that individual pixels become white if all the surrounding pixels are black. Further pretreatment of the image can also be done, such as changing the resolution and / or contrast improvement. After the binaryization, in step 21, a sub-area, hereinafter referred to as public sub-area, of the image is selected for storage in a public part of the template. The area can be selected in different ways. One way is to use the following three quality criteria: 1) Distinction, ie how easy a subarea is to binary, 2) Uniqueness, ie how unique a subarea is, and 3) Geographical location, ie where a subarea is located in the fingerprint.

Unikheten kan exempelvis kontrolleras genom att man 15 korrelerar delomràdet med omgivningen och väljer ett del- område med liten korrelation med omgivningen. Alternativt kan man leta upp delområden med features, även kallade minutiae-punkter, dvs punktformiga kännetecken i fingeravtrycket, såsom punkter där en fingeravtryckslinje 20 delar sig eller slutar.The uniqueness can be checked, for example, by correlating the sub-area with the surroundings and selecting a sub-area with little correlation with the surroundings. Alternatively, one can look up sub-areas with features, also called minutiae points, ie point-shaped features in the fingerprint, such as points where a fingerprint line 20 divides or ends.

När det gäller den geografiska placeringen så före- drar man delområden i centrum av bilden för då är det minst risk att delområdena inte finns med i ett senare upptaget aktuellt fingeravtryck. Vidare blir bilden av 25 fingeravtrycket minst deformerad i mitten när användaren trycker fingret med olika tryck mot sensorn.When it comes to the geographical location, sub-areas are preferred in the center of the image because then there is the least risk that the sub-areas are not included in a later recorded current fingerprint. Furthermore, the image of the fingerprint becomes least deformed in the middle when the user presses the finger with different pressures against the sensor.

Det delområde som bäst motsvarar ovan uppställda __"¿ kvalitetskriterier väljs ut till att bilda det publika delomràdet. Företrädesvis väljs ett enda publikt del- 3O område i mitten av bilden så att så lite information som ÄH' möjligt om användarens fingeravtryck finns tillgänglig i UV' den publika delen av templatet. Dock kan fler publika _ k delområden väljas för att åstadkomma en säkrare äng korrelering av den publika delen av templatet mot den iï; 35 digitala representationen av det aktuella fingeravtrycket ¿¿¿ och därmed erhålla en säkrare upplinjering eller nu. 10 15 20 25 30 35 524 023 9 orientering av templatet i förhållande till det aktuella fingeravtrycket.The sub-area that best corresponds to the above __ "¿quality criteria is selected to form the public sub-area. Preferably, a single public sub-area is selected in the middle of the image so that as little information as ÄH 'possible about the user's fingerprint is available in UV'. However, more public sub-k areas can be selected to achieve a more secure meadow correlation of the public part of the template with the digital representation of the current fingerprint ¿¿¿and thus obtain a more secure alignment or now. 10 15 20 25 30 35 524 023 9 orientation of the template in relation to the current fingerprint.

När det publika delområdet har valts ut väljs, i steg 22, minst ett, men företrädesvis ett flertal del- områden, nedan kallade privata delområden, ut för lagring i en privat del av templatet på smartcardet 3. De privata delområdena väljs företrädesvis enligt samma kvalitets- kriterier som det eller de publika delområdena. Företrä- desvis väljs sex privata delområden. Fler eller färre delområden kan väljas beroende på önskad säkerhetsnivå, önskad snabbhet vid matchningen på smartcardet 3 och tillgänglig processorkapacitet på smartcardet 3.When the public sub-area has been selected, in step 22, at least one, but preferably several sub-areas, hereinafter referred to as private sub-areas, are selected for storage in a private part of the template on the smart card 3. The private sub-areas are preferably selected according to the same quality. criteria such as the public sub-area or sub-areas. Preferably, six private sub-areas are selected. More or fewer sub-areas can be selected depending on the desired security level, the desired speed when matching on the smart card 3 and the available processor capacity on the smart card 3.

Storleken av de utvalda publika och privata delom- rådena är i detta exempel 48 x 48 pixlar, men kan enkelt anpassas av fackmannen efter de behov som finns.The size of the selected public and private sub-areas in this example is 48 x 48 pixels, but can easily be adapted by the person skilled in the art to the needs that exist.

I samband med att de privata delområdena väljs ut, bestäms också deras placering i förhållande till en refe- renspunkt. Referenspunkten kan exempelvis väljas till att vara mittpunkten i det publika delområdet eller i ett av dessa om de är flera. Andra välbestämda referenspunkter, kan naturligtvis också väljas, exempelvis med hjälp av features. De privata delområdenas placeringar anges som koordinater, för exempelvis mittpunkten i de privata delområdena, i förhållande till referenspunkten. Dessa koordinater lagras som del av den publika delen av templatet.In connection with the selection of the private sub-areas, their location in relation to a reference point is also determined. The reference point can, for example, be chosen to be the center point in the public sub-area or in one of these if they are several. Other well-defined reference points can of course also be selected, for example with the help of features. The locations of the private sub-areas are specified as coordinates, for example the midpoint of the private sub-areas, in relation to the reference point. These coordinates are stored as part of the public part of the template.

Innan templatet förs över till smartcardet görs en provmatchning mot en ytterligare med hjälp av sensorn upptagen bild av användarens fingeravtryck. Provmatch- ningen görs väsentligen enligt det förfarande som beskrivs nedan under hänvisning till fig 4. Om den ytterligare bilden och templatet matchar varandra anses templatet vara godtagbart.Before the template is transferred to the smart card, a test match is made against an additional image of the user's fingerprint taken with the aid of the sensor. The sample matching is done essentially according to the procedure described below with reference to Fig. 4. If the additional image and the template match each other, the template is considered acceptable.

I steget 23 överförs sedan templatets publika och privata del från behandlingsenheten till smartcardets 3 minne 4. Templatets publika del kommer alltså att innehålla det eller de publika delområdena samt o 0 n 10 15 20 25 30 35 524 022» " 10 koordinater för de privata delområdenas placering i förhållande till en referenspunkt. Dess privata del kommer att innehålla de privata delomràdena. I den privata delen kan också lagras jämförelsekriterier i form av tröskelvärden för vilken grad av överensstämmelse som skall uppnås vid matchning av de privata delområdena mot delområden av det aktuella fingeravtrycket för att templatet och det aktuella fingeravtrycket skall anses komma från samma individ. Tröskelvärdena kan exempelvis innefatta ett första tröskelvärde som anger i vilken utsträckning ett enskilt privat delområde skall överensstämma med motsvarande delomràde i den digitala representationen av det aktuella fingeravtrycket. Detta första tröskelvärde kan gälla för alla de privata delomràdena. Tröskelvärdena kan vidare innefatta ett andra tröskelvärde som anger hur många av de privata delområdena som måste uppfylla det första tröskelvärdet.In step 23, the public and private part of the template is then transferred from the processing unit to the smart card 3 memory 4. The public part of the template will thus contain the public sub-area or sub-areas and o 0 n 10 15 20 25 30 35 524 022 »" 10 coordinates of the private sub-areas its private part will contain the private sub-areas.The private part can also store comparison criteria in the form of threshold values for the degree of conformity to be achieved when matching the private sub-areas to sub-areas of the current fingerprint for that the template and the current fingerprint should be considered to come from the same individual.The threshold values may, for example, include a first threshold value that indicates the extent to which an individual private sub-area shall correspond to the corresponding sub-area in the digital representation of the current fingerprint. of private delomrà dena. The threshold values may further comprise a second threshold value which indicates how many of the private sub-areas must meet the first threshold value.

De kan också innefatta ett tredje tröskelvärde för i vilken utsträckning de privata delområdena sammantaget skall överensstämma med motsvarande områden i det aktuella fingeravtrycket. Tröskelvärdena kan men behöver inte gälla för det publika delområdet.They may also include a third threshold for the extent to which the private sub-areas as a whole shall correspond to the corresponding areas in the fingerprint in question. The threshold values can but do not have to apply to the public sub-area.

Delomràdena lagras företrädesvis i form av komprime- rade bitmappar.The sub-areas are preferably stored in the form of compressed bitmaps.

När templatet är överfört till smartcardets 3 minne 4 kan om så önskas även ytterligare känslig information överföras från datorn och lagras i smartcardets minne.When the template is transferred to the smart card's memory 4, additional sensitive information can also be transferred from the computer and stored in the smart card's memory, if desired.

Det skall påpekas att stegen 21-23 i det ovan beskrivna förfarandet utförs med hjälp av behandlings- enheten 2, exempelvis med hjälp av ett datorprogram i denna.It should be noted that steps 21-23 in the above-described method are performed by means of the processing unit 2, for example by means of a computer program therein.

I fig 3a visas schematiskt den bild som registreras av sensorn 1 vid registrering av referensfingeravtrycket, från vilket templatet àstadkommes. Den heldragna ramen 30 kring fingeravtrycket motsvarar gränsen för sensorytan 5 och därmed för den bild som registreras av sensorn 1.Fig. 3a schematically shows the image registered by the sensor 1 when registering the reference fingerprint, from which the template is obtained. The solid frame 30 around the fingerprint corresponds to the boundary of the sensor surface 5 and thus of the image registered by the sensor 1.

Såsom framgår i fig 3a befann sig användarens finger vid 10 15 20 25 30 35 u u so: a u nu n . ø ø u n. .øo. .OI :_ _' . u . . u u n u n v ~ ~ _ _ . . . . . . - u - . - - ~ o n» . . . . u n . u a Q . 1. n u s n I n ß . '- a u» - . . a a 0 ~ 0 0 1 n n ~ . n .u ø- o v* U ll registreringen av referensfingeravtrycket i en viss position på sensorn, nedan kallad den första positionen 31. Denna position är tämligen central på sensorn. Hela fsensorytan upptas dock inte av fingeravtrycket, utan bilden innehåller också bakgrund 32. I fig 3a har vidare det publika delområdet 33 och de privata delområdena 34 indikerats. Det skall betonas att fig 3a, liksom övriga figurer, är ytterst schematiska och bara är avsedda för att illustrera principerna för uppfinningen. Framförallt behöver storleksförhållandena för olika element i figurerna inte överensstämma med verkligheten.As shown in Fig. 3a, the user's finger was at 10 u u so: a u nu n. ø ø u n. .øo. .OI: _ _ '. u. . u u n u n v ~ ~ _ _. . . . . . - u -. - - ~ o n ». . . . u n. u a Q. 1. n u s n I n ß. '- a u »-. . a a 0 ~ 0 0 1 n n ~. n .u ø- o v * U ll the registration of the reference fingerprint in a certain position on the sensor, hereinafter referred to as the first position 31. This position is rather central to the sensor. However, the entire sensor surface is not occupied by the fingerprint, but the image also contains background 32. In Fig. 3a, the public sub-area 33 and the private sub-areas 34 have also been indicated. It should be emphasized that Fig. 3a, like other figures, are extremely schematic and are intended only to illustrate the principles of the invention. Above all, the size ratios of different elements in the figures do not have to correspond to reality.

Antag nu att användaren vill verifiera sin identi- tet. Han placerar då sitt smartcard 3 i den ej visade smartcard-läsaren och placerar samma finger som han använde vid registreringen av referensfingeravtrycket på sensorn 1. Det är, sàsom kommer att framgå nedan, önskvärt att användaren placerar fingret i eller nära den första positionen som användes vid registreringen av referensfingeravtrycket. Eftersom användaren inte vet vilken denna position är, är det sannolikt att han kommer att placera fingret i en andra position som avviker mer eller mindre från den första positionen.Now assume that the user wants to verify their identity. He then places his smartcard 3 in the smartcard reader (not shown) and places the same finger as he used in registering the reference fingerprint on the sensor 1. It is, as will be seen below, desirable for the user to place the finger in or near the first position used. when registering the reference fingerprint. Since the user does not know what this position is, it is likely that he will place his finger in a second position that deviates more or less from the first position.

När användaren har placerar sitt finger i den andra positionen på sensorn 1 registreras en andra digital bild i gråskala, steg 40, på samma sätt som beskrevs ovan.When the user has placed his finger in the second position on the sensor 1, a second digital image is recorded in grayscale, step 40, in the same manner as described above.

Bilden utgör en digital representation av personens aktuella fingeravtryck. Bilden kvalitetskontrolleras företrädesvis på samma sätt som vid registreringen av templatet och binäriseras. Därefter läser behandlings- enheten 2 den publika delen av templatet på smartcardet 3.The image is a digital representation of the person's current fingerprints. The image is preferably quality controlled in the same way as when registering the template and binaryized. Thereafter, the processing unit 2 reads the public part of the template on the smart card 3.

I steget 41 korreleras eller jämförs det i den publika delen av templatet ingående publika delområdet med det binäriserade aktuella fingeravtrycket. Korre- leringen kan göras mot hela det aktuella fingeravtrycket eller företrädesvis mot en del med förutbestämd storlek, exempelvis 100 x 100 pixlar, i mitten av bilden. Vid 10 15 20 25 30 35 q n a . nu o 524 023 12 korreleringen ”sveper” det publika delomràdet över bilden av det aktuella fingeravtrycket och i varje position utförs en jämförelse pixel för pixel. Om en pixel i templatet överensstämmer med en pixel i bilden av det aktuella fingeravtrycket så adderas ett bestämt värde, exempelvis 1, till en summa. Om pixlarna inte överensstämmer, så ökas inte summan. När templatets publika delomràde har svept över hela bilden eller det utvalda området av denna erhålls en position där templatets publika delomràde bäst korrelerar med eller överlappar det aktuella fingeravtrycket. Det publika delomràdet kan även roteras i förhållande till bilden av det aktuella fingeravtrycket för att avgöra om en bättre korrelation kan erhållas.In step 41, the public sub-area included in the public part of the template is correlated or compared with the binaryized current fingerprint. The correlation can be made against the entire current fingerprint or preferably against a part with a predetermined size, for example 100 x 100 pixels, in the middle of the image. At 10 15 20 25 30 35 q n a. now the correlation “sweeps” the public sub-area over the image of the current fingerprint and in each position a comparison is performed pixel by pixel. If a pixel in the template matches a pixel in the image of the current fingerprint, a specific value, such as 1, is added to a sum. If the pixels do not match, the sum will not increase. When the public sub-area of the template has swept over the entire image or the selected area of it, a position is obtained where the public sub-area of the template best correlates with or overlaps the current fingerprint. The public subarea can also be rotated relative to the image of the current fingerprint to determine if a better correlation can be obtained.

När translationen och rotationen har gjorts och den bästa korreleringspositionen för templatets publika delområde relativt det aktuella fingeravtrycket har hittats, så jämförs det erhållna korrelationsvärdet i steget 42 med ett i förväg bestämt första jämförelse- kriterium, vilket i detta fall utgörs av en referens- summa. Om korrelationsvärdet är mindre än referenssumman, så anses korreleringen vara misslyckad, men om korrelationsvärdet är lika med eller större än referenssumman, så fortsätter processen med steget 44.When the translation and rotation have been done and the best correlation position for the template's public sub-area relative to the current fingerprint has been found, the obtained correlation value in step 42 is compared with a predetermined first comparison criterion, which in this case is a reference sum. If the correlation value is less than the reference sum, then the correlation is considered to be unsuccessful, but if the correlation value is equal to or greater than the reference sum, the process continues with step 44.

Korreleringen kan misslyckas av åtminstone två skäl.The correlation can fail for at least two reasons.

Antingen härrör det aktuella fingeravtrycket inte från den person från vilken referensfingeravtrycket har registrerats och då finns det helt enkelt inte någon motsvarighet till det publika delomràdet i det aktuella fingeravtrycket. Alternativt härrör det aktuella fingeravtrycket och templatet från samma person, men personen i fråga håller sitt finger i en sådan position i förhållande till sensorn l att motsvarigheten till det publika delomràdet inte ligger inom sensorytan 5.Either the current fingerprint does not originate from the person from whom the reference fingerprint has been registered and then there is simply no equivalent to the public subarea in the current fingerprint. Alternatively, the actual fingerprint and template originate from the same person, but the person in question holds his finger in such a position relative to the sensor 1 that the equivalent of the public sub-area is not within the sensor surface 5.

Behandlingsenheten 2 kan inte avgöra om den misslyckade korreleringen beror på något av dessa två skäl. I detta exempel ger behandlingsenheten 2 därför bara en 10 15 20 25 30 35 v a u nu u - n u an »nu nu nu . n ~ . - ~ a n a. . 1 v u o: 20.'- - . . . . - . . - . 1 n e :s-ß. _ u- .uu n u . » 1 . .- u u ~ a . . _ . , . .v u p a v v n v I n n » u .u n - av H 13 indikation till personen att han skall flytta fingret och göra om registreringen, steg 43, varefter processen går tillbaka till steg 40. Om korreleringen efter ett förutbestämt antal försök inte har lyckats kan behand- lingsenheten 2 indikera att det aktuella fingeravtrycket inte accepteras.The processing unit 2 can not determine if the failed correlation is due to either of these two reasons. In this example, therefore, the treatment unit 2 gives only a 10 15 20 25 30 35 v a u nu u - n u an »nu nu nu nu. n ~. - ~ a n a. 1 v u o: 20 .'- -. . . . -. . -. 1 n e: s-ß. _ u- .uu n u. »1. .- u u ~ a. . _. ,. .vupavvnv In n »». 2 indicate that the current fingerprint is not accepted.

Om korreleringen däremot lyckas indikerar detta att motsvarigheten till det publika delomràdet finns i det av sensorn 1 registrerade aktuella fingeravtrycket. Det är emellertid ändå inte säkert att en följande verifiering av fingeravtrycket har förutsättning att lyckas. Om fingrets position vid registreringen av det aktuella fingeravtrycket avviker kraftigt från fingrets position vid registreringen av referensfingeravtrycket, finns det stor risk att ett eller flera av de privata delområden som används för verifieringen inte har någon motsvarighet i bilden av det aktuella fingeravtrycket, utan att det återfinns på en del av fingret som finns utanför sensorytan 5. Beroende på vilka tröskelvärden som används vid verifieringen kan det vara så att verifieringen redan pà förhand är dömd att misslyckas eller åtminstone har mycket liten sannolikhet att lyckas.If, on the other hand, the correlation succeeds, this indicates that the equivalent of the public sub-area is found in the current fingerprint registered by the sensor 1. However, it is still not certain that a subsequent verification of the fingerprint is a prerequisite for success. If the position of the finger when registering the current fingerprint differs significantly from the position of the finger when registering the reference fingerprint, there is a great risk that one or more of the private sub-areas used for the verification have no equivalent in the image of the current fingerprint, but it is found on a part of the finger that is outside the sensor surface 5. Depending on the threshold values used in the verification, it may be that the verification is already doomed to fail in advance or at least has a very small probability of success.

Ovanstående illustreras i fig 3b, som visar att användaren lagt fingret i en andra position 31' längre ner på sensorn ytan och lite vinklat i förhållande till den första positionen i vilken referensfingeravtrycket registrerades. I fig 3b har vidare markerats de områden som motsvarar det publika delområdet 33 och de privata delområdena 34 i fig 3a. Motsvarande områden i det aktuella fingeravtrycket är betecknade med samma hänvisningsnummer, men med tillägg av '-tecknet. Det publika delområdet 33' i det aktuella fingeravtrycket ligger fortfarande på sensorytan och kommer alltså med i den av sensorn registrerade bilden av det aktuella fingeravtrycket. Det samma gäller för de båda översta privata delområdena 34'. De nedersta fyra privata delområdena ligger emellertid helt eller delvis utanför 10 15 20 25 30 35 . . u Q ua n 524 023 14 ramen 30 och kommer sàledes inte med i bilden av det aktuella fingeravtrycket.The above is illustrated in Fig. 3b, which shows that the user placed the finger in a second position 31 'further down on the sensor surface and slightly angled relative to the first position in which the reference fingerprint was recorded. In Fig. 3b, the areas corresponding to the public sub-area 33 and the private sub-areas 34 in Fig. 3a have been marked. Corresponding areas in the current fingerprint are denoted by the same reference number, but with the addition of the 'sign. The public sub-area 33 'of the current fingerprint is still on the sensor surface and is thus included in the image of the current fingerprint registered by the sensor. The same applies to the two upper private sub-areas 34 '. However, the bottom four private sub-areas are wholly or partly outside 10 15 20 25 30 35. . u Q ua n 524 023 14 frame 30 and thus does not appear in the image of the current fingerprint.

Om verifieringen skulle genomföras skulle den alltså troligen misslyckas, vilket då indikeras till användaren.If the verification were to be carried out, it would probably fail, which is then indicated to the user.

Denne skulle dä inte veta orsaken till misslyckandet.He would then not know the cause of the failure.

Berodde det pà tekniska problem eller på att fingret var felplacerat? Användaren skulle då prova med att registrera ett nytt aktuellt fingeravtryck. Det skulle troligen krävas ett flertal försök innan användaren hittade rätt placering för fingret pà sensorn 1. Varje försök tar en viss tid, i synnerhet när verifieringen görs pà smartcardet 3 som har begränsad minnes- och processorkapacitet.Was it due to technical problems or that the finger was misplaced? The user would then try to register a new current fingerprint. It would probably take several attempts before the user found the correct location for the finger on the sensor 1. Each attempt takes a certain amount of time, especially when the verification is done on the smart card 3 which has limited memory and processor capacity.

Detta problem löses genom att man istället för att alltid gà vidare med verifiering när det publika del- området korrelerar med ett delomràde i det aktuella fingeravtrycket, avgör om den efterföljande verifieringen har någon förutsättning att lyckas genom att man bestäm- mer om ett upplinjeringsvillkor är uppfyllt, steg 44.This problem is solved by, instead of always proceeding with verification when the public sub-area correlates with a sub-area in the current fingerprint, determining whether the subsequent verification has any precondition for success by deciding whether an alignment condition is met. , step 44.

Detta görs enligt följande: Genom korreleringen av templatets publika delomràde mot bilden av det aktuella fingeravtrycket har man fastställt hur templatet och bilden är orienterade i förhållande till varandra. Man kan också se det som att man bestämmer hur den första bilden av referensfingeravtrycket och den andra bilden av det aktuella fingeravtrycket överlappar varandra. I och med att denna inbördes orientering har bestämts, kan den punkt i bilden av det aktuella fingeravtrycket som motsvarar referenspunkten i bilden av referensfinger- avtrycket fastställas. Härefter utnyttjas koordinaterna i den publika delen av templatet för att beräkna var motsvarigheten till de privata delomràdena är belägna.This is done as follows: By correlating the template's public sub-area with the image of the current fingerprint, it has been determined how the template and the image are oriented in relation to each other. You can also see it as deciding how the first image of the reference fingerprint and the second image of the current fingerprint overlap. Once this mutual orientation has been determined, the point in the image of the current fingerprint corresponding to the reference point in the image of the reference fingerprint can be determined. The coordinates in the public part of the template are then used to calculate where the equivalents to the private sub-areas are located.

Beräkningen kan göras med kännedom om sensorytans storlek eller direkt i bilden. Om koordinaterna indikerar att alla privata delomràde ligger inom den aktuella bilden av fingeravtrycket, är upplinjeringsvillkoret i detta exempel uppfyllt och har verifieringen förutsättning att 10 15 20 25 30 35 » . n a ~n Q 524 023 15 lyckas. Om ett eller flera områden saknas i bilden, såsom är fallet i fig 3b, kan verifieringen sakna förutsättning att lyckas beroende på upplinjeringsvillkoret. Om upplinjeringsvillkoret inte är uppfyllt indikeras detta till användaren. I det enklaste fallet ges bara en indikation av att användaren skall flytta fingret. När väl referenspunkten är känd är det emellertid möjligt att även beräkna hur användaren skall flytta fingret för att I fallet i fig 3b är det exempelvis enkelt att beräkna att användaren skall flytta förbättra upplinjeringen. fingret uppåt på sensorn för att förbättra upplinjeringen med referensfingeravtrycket i fig 3a. Detta indikeras symboler, eller ljudsignaler eller på något annat lämpligt sätt, till användaren med hjälp av ord, bilder, ljus- steg 45. Processen går därefter tillbaka till steg 40.The calculation can be done with knowledge of the size of the sensor surface or directly in the image. If the coordinates indicate that all private sub-areas are within the current image of the fingerprint, the alignment condition in this example is met and the verification is subject to 10 15 20 25 30 35 ». n a ~ n Q 524 023 15 succeed. If one or more areas are missing in the image, as is the case in Fig. 3b, the verification may not be conditional on success depending on the alignment condition. If the alignment condition is not met, this is indicated to the user. In the simplest case, only an indication is given that the user should move the finger. Once the reference point is known, however, it is possible to also calculate how the user should move the finger so that in the case of Fig. 3b, it is for example simple to calculate that the user should move to improve the alignment. finger up on the sensor to improve the alignment with the reference fingerprint in Fig. 3a. Symbols, or sound signals or in some other suitable way, are indicated to the user by means of words, pictures, light step 45. The process then returns to step 40.

Först när det har säkerställts att upplinjerings- villkoret är uppfyllt och att verifieringen således har förutsättning att lyckas väljs alltså en delmängd av det aktuella fingeravtrycket, steg 46, och skickas från behandlingsenheten 2 till smartcardet 3 för utförande av verifieringen. För detta ändamål används referenspunkten och koordinaterna för att bestämma vilka delar av bilden av det aktuella fingeravtrycket som skall skickas till smartcardet 3 för jämförelse med de privata delområdena.Only when it has been ensured that the alignment condition is met and that the verification thus has the condition to succeed is a subset of the current fingerprint, step 46, selected and sent from the processing unit 2 to the smart card 3 for performing the verification. For this purpose, the reference point and the coordinates are used to determine which parts of the image of the current fingerprint are to be sent to the smart card 3 for comparison with the private sub-areas.

Närmare bestämt väljs i det aktuella fingeravtrycket ett delområde med förutbestämd storlek kring varje punkt som definieras av koordinaterna i den publika delen av temp- latet. Delområdena i det aktuella fingeravtrycket kan dock vara något större än motsvarande privata delområden i templatet för att kompensera för eventuell deformation av fingeravtrycket om fingret anbringats med annorlunda tryck på sensorn vid upptagning av bilden av det aktuella fingeravtrycket. Dessa delområden av det aktuella fingeravtrycket överförs sedan till smartcardet 3.More specifically, in the current fingerprint, a sub-area with a predetermined size is selected around each point defined by the coordinates in the public part of the template. However, the sub-areas of the current fingerprint may be slightly larger than the corresponding private sub-areas in the template to compensate for any deformation of the fingerprint if the finger is applied with different pressure on the sensor when capturing the image of the current fingerprint. These sub-areas of the current fingerprint are then transferred to the smart card 3.

Det skall framhållas att det i detta exempel således är samma teknik som används dels för att avgöra om bilden av det aktuella fingeravtrycket är tillräckligt upplin- n nn n Int llln n n a n nu 0:00 Il!! u n n n n nå! nn linn na I OI nn g 0 n 10 15 20 25 30 35 524 023 . . . n . . u II ~ nu 16 jerad med bilden av referensfingeravtrycket, dels för val av delområden som skall skickas till smartcardet och användas för själva verifieringen.It should be emphasized that in this example it is thus the same technique that is used partly to determine whether the image of the fingerprint in question is sufficiently uplinn nn nn n Int llln n n a n nu 0:00 Il !! u n n n n now! nn linn na I OI nn g 0 n 10 15 20 25 30 35 524 023. . . n. . u II ~ now 16 jerad with the image of the reference fingerprint, partly for selection of sub-areas to be sent to the smartcard and used for the verification itself.

Omràdena kan skickas till smartcardet 3 i en förutbestämd ordningsföljd sä att processorn 6 pà smartcardet vet vilket område som är vilket. Som ett annat alternativ kan koordinater för omrädenas placering i det aktuella fingeravtrycket skickas med.The areas can be sent to the smart card 3 in a predetermined order so that the processor 6 on the smart card knows which area is which. As another alternative, coordinates for the location of the areas in the current fingerprint can be sent with.

I steget 47 jämför processorn 6 pà smartcardet 1 den översända delmängden med den privata delen av templatet.In step 47, the processor 6 on the smart card 1 compares the transmitted subset with the private part of the template.

Närmare bestämt matchas alltså de översända delomrädena av det aktuella fingeravtrycket med de privata delomrädena i templatet. Denna matchning är mycket mindre tidskrävande än om de privata delomrädena exempelvis skulle matchas mot hela bilden av det aktuella fingeravtrycket, eftersom de privata delomrädena nu bara behöver matchas i ett begränsat antal positioner mot motsvarande delområden fràn det aktuella fingeravtrycket.More specifically, the transmitted subareas are matched by the current fingerprint with the private subareas in the template. This matching is much less time consuming than if the private subareas were matched against the whole image of the current fingerprint, for example, since the private subareas now only need to be matched in a limited number of positions against the corresponding subareas from the current fingerprint.

Därför kan matchningen göras pà smartcardet trots att processorn pà denna i regel har tämligen begränsad kapacitet. Om rotationsläget har fastställts i behandlingsenheten behöver dessutom inga rotationer göras.Therefore, the matching can be done on the smart card, despite the fact that the processor on this usually has a rather limited capacity. In addition, if the rotation position has been determined in the treatment center, no rotations need to be made.

Matchningen kan exempelvis göras pä ovan beskrivna sätt där en poängsumma beräknas pà grundval pixellikhet.The matching can for example be done in the way described above where a score is calculated on the basis of pixel similarity.

När de överförda delomrädena av det aktuella fingeravtrycket har jämförts med de privata delomrädena av templatet erhålls ett totalt matchningsvärde mellan 0% (dvs fullständig matchning). Detta matchningsvärde jämförs med ett andra (dvs ingen matchning alls) och 100% jämförelsekriterium i form av förutbestämt tröskelvärde, steg 48, som kan finnas lagrat i den privata delen av templatet. Om matchningsvärdet är lika med eller större än tröskelvärdet sä betraktas identiteten som verifierad, steg 49, och användaren kan fä tillgång till den känsliga information som finns lagrad pà kortet. Om matchnings- värdet understiger tröskelvärdet anses identiteten som ej 10 l5 20 25 30 35 524 023 17 verifierad, steg 50, och användaren nekas tillgång till den känsliga informationen. Alternativt kan först match- ningsvärdet för varje enskilt delomràde jämföras med ett tröskelvärde och antalet matchande delområden bestämmas.When the transferred subareas of the current fingerprint have been compared with the private subareas of the template, a total match value between 0% (ie full match) is obtained. This match value is compared with a second (ie no match at all) and 100% comparison criterion in the form of a predetermined threshold value, step 48, which can be stored in the private part of the template. If the match value is equal to or greater than the threshold value, the identity is considered verified, step 49, and the user can access the sensitive information stored on the card. If the match value is below the threshold value, the identity is not considered verified, step 50, and the user is denied access to the sensitive information. Alternatively, the matching value for each individual sub-area can first be compared with a threshold value and the number of matching sub-areas determined.

Ytterligare exempel på hur delområden i ett fingeravtryck kan väljas ut och hur ett delomràde i ett referensfingeravtryck kan jämföras med ett delområde i ett aktuellt fingeravtryck finns i sökandens internatio- nella patentansökan med ansökningsnummer PCT/SE99/00553.Further examples of how sub-areas in a fingerprint can be selected and how a sub-area in a reference fingerprint can be compared with a sub-area in a current fingerprint can be found in the applicant's international patent application with application number PCT / SE99 / 00553.

Det skall påpekas att stegen 41-46 ovan utförs i behandlingsenheten 2, exempelvis med hjälp av ett datorprogram i denna, och att stegen 47-50 utförs av processorn 6 på smartcardet 3.It should be pointed out that steps 41-46 above are performed in the processing unit 2, for example by means of a computer program therein, and that steps 47-50 are performed by the processor 6 on the smart card 3.

Alternativa utföringsformer Även om en speciell utföringsform av uppfinningen har beskrivits ovan så är det uppenbart för fackmannen att många alternativ, modifieringar och variationer är möjliga att åstadkomma i ljuset av ovanstående beskriv- ning.Alternative Embodiments Although a particular embodiment of the invention has been described above, it will be apparent to those skilled in the art that many alternatives, modifications, and variations are possible in light of the foregoing description.

Uppfinningen har ovan beskrivits genom ett exempel som hänför sig till fingeravtryck. Principerna för uppfinningen kan emellertid lika gärna tillämpas på andra typer av biometriska data, såsom data avseende hand- avtryck, handgeometri, fotavtryck, näthinnan, iris, rösten och ansiktets morfologi.The invention has been described above by means of an example relating to fingerprints. However, the principles of the invention may equally well be applied to other types of biometric data, such as data on handprints, hand geometry, footprints, retina, iris, voice and facial morphology.

Upplinjeringen mellan aktuella data och referensdata kan, såsom framgått ovan, ske i tid och/eller rum. I exemplet ovan åstadkommes upplinjeringen genom att fingret förflyttas i förhållande till sensorytan väsentligen i dennas plan. En ytterligare upplinjering kan emellertid göras i planet väsentligen vinkelrätt mot sensorns yta. Bredden på linjerna i det registrerade fingeravtrycket och svärtningen hos dessa påverkas nämligen av hur hårt användaren trycker fingret mot sensorytan, dvs i någon mening av fingrets position vinkelrätt mot sensorytan. När man i exemplet ovan har funnit den bästa korreleringspositionen för det publika n coq-o o ovan coca o u 10 15 20 25 30 35 . . Q . u N en ', .- . . n. . v "_ ,: . - ~ ' 2:" . . . . . . . - - - _ , . - ~ _ ,. . . . . .v n. . - - .- __ , _ . . - : z . . u . n n :U _ _ _., .n- s" __ _ , . . . 18 delomràdet i förhällande till det aktuella fingeravtrycket kan man även kontrollera hur väl linjerbredden och/eller svärtningen korrelerar i det publika delomràdet och motsvarande område i det aktuella fingeravtrycket. Om korreleringen (upplinjeringen) inte är tillräckligt bra, kan en indikation ges till användaren om att han skall ändra trycket. Det kan även beräknas hur användaren skall ändra trycket och ges en indikation om detta.The alignment between current data and reference data can, as stated above, take place in time and / or space. In the example above, the alignment is accomplished by moving the finger relative to the sensor surface substantially in its plane. However, a further alignment can be made in the plane substantially perpendicular to the surface of the sensor. Namely, the width of the lines in the registered fingerprint and the blackening of these are affected by how hard the user presses the finger against the sensor surface, ie in some sense the position of the finger perpendicular to the sensor surface. When in the example above one has found the best correlation position for the public n coq-o o above coca o u 10 15 20 25 30 35. . Q. u N and ', .-. . n. v "_,:. - ~ '2:". . . . . . . - - - _,. - ~ _,. . . . . .v n. - - .- __, _. . -: z. . u. nn: U _ _ _., .n- s "__ _,... If the correlation (alignment) is not good enough, an indication can be given to the user that he should change the pressure, it can also be calculated how the user should change the pressure and given an indication of this.

När man kontrollerar om upplinjeringsvillkoret är uppfyllt, dvs i exemplet ovan om tillräckligt mànga privata delområden finns i det aktuella fingeravtrycket för att verifieringen skall ha förutsättning att lyckas, förutsätter man vid kontrollen att användaren har tryckt fingret med ungefär samma tryck mot sensorytan vid registrering av det aktuella fingeravtrycket och vid registrering av referensfingeravtrycket sä att lika mycket av fingeravtrycket avbildas i den givna positionen. Även om fingret hålls i en korrekt position pà sensorytan är det inte säkert att upplinjerings- villkoret uppfylls för om användaren trycker fingret med ojämnt tryck mot sensorytan kan det hända att en del av fingeravtrycket inte kan registreras. Om exempelvis användaren i fig 3b trycker den översta delen av fingret väldigt lätt eller inte alls mot sensorytan kan det hända att den övre delen av fingeravtrycket inte avbildas av sensorn och att därmed de översta bäda privata delomràdena 34' inte finns med i bilden av det aktuella fingeravtrycket trots att de ligger inom ramen för bilden och för sensorytan. För att förhindra att man i ett sådant fall bedömer att upplinjeringsvillkoret är uppfyllt och skickar områden till smartcardet 3 för verifiering, kan man extrahera fingeravtrycket alternativt ta bort bakgrunden 32 ur bilden och bara arbeta med det avbildade fingeravtrycket.When checking whether the alignment condition is met, ie in the example above if there are enough private sub-areas in the current fingerprint for the verification to be successful, the check assumes that the user has pressed the finger with approximately the same pressure against the sensor surface when registering it. the current fingerprint and when registering the reference fingerprint so that an equal amount of the fingerprint is imaged in the given position. Even if the finger is kept in a correct position on the sensor surface, it is not certain that the alignment condition is met because if the user presses the finger with uneven pressure against the sensor surface, some of the fingerprints may not be registered. For example, if the user in Fig. 3b presses the upper part of the finger very lightly or not at all against the sensor surface, it may happen that the upper part of the fingerprint is not imaged by the sensor and thus the upper two private sub-areas 34 'are not included in the image of the current the fingerprint even though they are within the frame of the image and of the sensor surface. To prevent in such a case judging that the alignment condition is met and sending areas to the smartcard 3 for verification, you can extract the fingerprint or remove the background 32 from the image and only work with the imaged fingerprint.

I exemplet ovan används delområden av den digitala representationen av referensfingeravtrycket för 10 15 20 25 30 35 n . . . . u »o I . . u. o l "- u: ß f. ~ . ~ 0 '^' - . . . - . . _ , . . - .u _ . o . n . n o I ' , ,, ~ a u v n o I ... ... .. . - ; . . . . .. - . . - n. ~ ' ,,, u» o nn . a u I °° 19 korrelation, upplinjering och verifiering. Alternativt skulle man kunna använda minutiae-punkter för en eller flera av nämnda ändamål. Den publika delen av templatet skulle exempelvis kunna innehålla information om den inbördes placeringen av ett flertal minutiae-punkter, vilka skickas till behandlingsenheten och korreleras med minutiae-punkter i det aktuella fingeravtrycket. Om upplinjeringsvillkoret är uppfyllt, t ex om ett tillräckligt antal av nämnda mintutiaepunkter återfinns i det aktuella fingeravtrycket, väljs, på basis av resultatet av korreleringen, en delmängd av det aktuella fingeravtrycket och skickas till smartcardet. Delmängden kan exempelvis vara ett eller flera delområden, ytterligare minutiae-punkter eller någon annan information, såsom arten av de korrelerande minutiae- punkterna. Om upplinjeringsvillkoret inte är uppfyllt, kan, på basis av placeringen av de minutiae-punkter som återfinns i det aktuella fingeravtrycket en indikation åstadkommas till användaren om hur han skall flytta fingret för att förbättra upplinjeringen.In the example above, sub-areas of the digital representation of the reference fingerprint are used for 10 n 20 20 25 30 35 n. . . . u »o I. . u. ol "- u: ß f. ~. ~ 0 '^' -... -.. _,.. - .u _. o. n. no I ', ,, ~ auvno I .... .. ... -;.... .. -.. - n. ~ ',,, u »o nn. au I °° 19 correlation, alignment and verification. The public part of the template could, for example, contain information about the mutual placement of a plurality of minutiae points, which are sent to the processing unit and correlated with minutiae points in the current fingerprint. a sufficient number of said minute points are found in the current fingerprint, a subset of the current fingerprint is selected, based on the result of the correlation, and sent to the smart card. such as the nature of the correlating minutiae points t is not satisfied, based on the location of the minutiae points found in the current fingerprint, an indication can be provided to the user on how to move the finger to improve the alignment.

Exemplen avseende fingeravtryck kan enkelt överföras till andra biometriska data.The fingerprint examples can be easily transferred to other biometric data.

Upplinjeringsvillkoren kan vara annorlunda än de som nämnts ovan. Exempelvis kan de avse en upplinjering i tiden, där avståndet i tiden mellan olika delmängder av aktuella data och referensdata jämförs.The alignment conditions may be different from those mentioned above. For example, they may refer to an alignment in time, where the distance in time between different subsets of current data and reference data is compared.

I exemplet ovan används ett publikt delområde. Detta är inte nödvändigt utan fler publika delområden kan användas. Fördelen med detta är att man får en säkrare bestämning av hur templatet är orienterat i förhållande till bilden av det aktuella fingeravtrycket. En annan fördel är att om en användare har fått en skada i fingret efter det att templatet registrerades så att det första delområdet inte korrelerar kan eventuellt ett andra publikt delområde korrelera.In the example above, a public sub-area is used. This is not necessary but more public sub-areas can be used. The advantage of this is that you get a more reliable determination of how the template is oriented in relation to the image of the current fingerprint. Another advantage is that if a user has suffered an injury to the finger after the template was registered so that the first sub-area does not correlate, a second public sub-area may possibly correlate.

Den publika delen av templatet kan också innehålla annan information som gör det möjligt att bestämma en 10 15 20 25 30 35 . . - . .- 524 023 20 referenspunkt i sampelbilden, exempelvis en specifikation av en referenspunkt på basis av ett förhållande mellan linjeövergàngar eller liknade.The public part of the template may also contain other information which makes it possible to determine a 10 15 20 25 30 35. . -. 524 023 reference point in the sample image, for example a specification of a reference point based on a relationship between line transitions or the like.

Man skulle också kunna tänka sig att låta den pub- lika delen av templatet enbart innehålla information, exempelvis koordinater, som anger placeringen av de pri- vata delområdena i förhållande till en referenspunkt och att låta referenspunkten vara en förutbestämd punkt i själva fingeravtrycket, alltså inte i bilden, vilken punkt kan identifieras på ett säkert sätt. I PCT/SE99/00553 beskrivs olika sätt att leta upp en referenspunkt i ett fingeravtryck.It would also be conceivable to let the public part of the template contain only information, for example coordinates, which indicate the location of the private sub-areas in relation to a reference point and to let the reference point be a predetermined point in the fingerprint itself, i.e. not in the image, which point can be identified in a safe way. PCT / SE99 / 00553 describes different ways of finding a reference point in a fingerprint.

I exemplet ovan beskrivs att de privata delområdena väljs enligt vissa kvalitetskriterier. Det är naturligt- vis möjligt att välja dessa områden enligt andra krite- rier. En variant kan vara att alltid välja områdena i ett förutbestämt läge i förhållande till referenspunkten. I sådan fall behöver den publika delen av templatet inte innehålla koordinater för de privata områdenas placering.The example above describes that the private sub-areas are selected according to certain quality criteria. It is of course possible to select these areas according to other criteria. A variant can be to always select the areas in a predetermined position in relation to the reference point. In such cases, the public part of the template does not need to contain coordinates for the location of the private areas.

I exemplet ovan är templatet lagrat på en portabel enhet. Det skulle också kunna vara en fördel att använda det här beskrivna förfarandet vid kommunikation mellan en behandlingsenhet och en stationär enhet, exempelvis en stationär dator. Ett sådant exempel skulle kunna vara när man använder biometrisk information för att verifiera en användares identitet när denne vill koppla upp sig till exempelvis en bank på Internet. Det biometriska templatet kan då vara lagrat i en stationär databärare hos banken, medan användaren har en fingeravtryckssensor och programvara för att utföra den del av det ovan beskrivna förfarandet som utförs i behandlingsenheten. En fördel med att använda förfarandet i denna tillämpning är att användaren snabbare kan registrera en korrekt upplinjerad aktuell bild av sitt fingeravtryck och att verifierings- förfarandet därmed gàr fortare och upplevs som smidigare av användaren. o o . u..In the example above, the template is stored on a portable device. It could also be an advantage to use the method described here for communication between a processing unit and a desktop unit, for example a desktop computer. One such example could be when using biometric information to verify a user's identity when he or she wants to connect to, for example, an Internet bank. The biometric template may then be stored in a stationary data carrier at the bank, while the user has a fingerprint sensor and software for performing the part of the procedure described above which is performed in the processing unit. An advantage of using the method in this application is that the user can more quickly register a correctly aligned current image of their fingerprint and that the verification procedure thus goes faster and is perceived as smoother by the user. o o. u ..

OI I Û - . nu I I. fu: -. . e 1 'z 2 I . . ~-oa. . .. ... - __ _ . -- .- 2 _.. ..- -__- g ; g .. . . -__--_ ~ . » . . f . - ~ ° ' 21 Slutligen skall påpekas att den ovan beskrivna jäm- förelsen av ett publikt delomràde med de aktuella biometriska datana kan göras pà mànga andra sätt än den beräkning av poängsummor som beskrivs ovan. Exempelvis kan man använda multiplikation av mot varandra svarande pixlar och efterföljande integrering för att få fram en korrelation. Matchningen kan alltsà även göras pà icke- binäriserade bilder.OI I U -. nu I I. fu: -. . e 1 'z 2 I. . ~ -oa. . .. ... - __ _. - .- 2 _ .. ..- -__- g; g ... . -__ - _ ~. ». . f. Finally, it should be pointed out that the comparison of a public sub-area with the relevant biometric data described above can be made in many other ways than the calculation of scores described above. For example, you can use multiplication of corresponding pixels and subsequent integration to obtain a correlation. The matching can therefore also be done on non-binary images.

Claims

10 15 20 25 30 35 524 023 awïxz '

A method of verifying a person's identity using biometric data, comprising the step of recording current biometric data input to a sensor by the person, characterized by the steps of comparing previously recorded biometric reference data with the current biometric data. the data to check whether an alignment condition is met, and if not, provide, on the basis of a result of the comparison, an indication that the person should change the input to the sensor to improve the alignment between the current biometric data and the biometric reference data.

The method of claim 1, wherein the indication includes information on how the person is to change the input to the sensor to improve the alignment between the current biometric data and the biometric reference data.

A method according to claim 1 or 2, wherein the biometric data is fingerprint data.

A method according to any one of claims 1-3, wherein the step of recording current biometric data comprises recording current fingerprint data from a finger of the person when the finger is placed in a first position relative to the sensor, and wherein the previously recorded biometric reference data is the reference fingerprint data recorded with the finger placed in a second position in relation to the sensor and said control comprising checking whether the first position substantially corresponds to the second position.

The method of claim 4, wherein the step of indicating how the person is to change the input comprises claim 24, indicating how the person is to move the finger in the feed. relationship to the sensor to improve alignment.

A method according to any one of the preceding claims, wherein said checking whether an alignment condition is met comprises checking whether a blackening condition is met.

A method according to any one of the preceding claims, wherein the step of recording current biometric data comprises recording a first image of the sensor surface, the biometric reference data being recorded on the basis of a second digital image of the sensor surface, and wherein the step of comparing includes determining the extent to which the first image overlaps the second image.

The method of claim 7, wherein the step of further comparing comprises determining whether the overlapping area is large enough for the verification to be performed.

The method of claim 1, wherein the previously recorded biometric reference data comprises a first subset of a digital representation of a previously recorded fingerprint and the current biometric data comprises a digital representation of a current fingerprint and wherein the step of comparing comprises correlating it. the first subset with the digital representation of the current fingerprint. IN

The method of claim 9, wherein the first subset is a first sub-area of the digital representation of a previously registered fingerprint.

The method of claim 10, wherein the first subarea forms part of a template, further comprising additional subareas of the digital representation of the reference fingerprint and information about the location of the additional subareas in the reference fingerprint relative to the first subarea; Claim 24, wherein the step of further comparing comprises determining, with the aid of the information about the location of the additional areas in the reference fingerprint, whether corresponding areas are present in the registered current. fingerprint.

The method of claim 11, further comprising the step of calculating how the person is to move the finger to improve the alignment using the information about the location of the additional sub-areas in the reference fingerprint.

The method of claim 9, wherein the first subset is a plurality of minutiae points in the digital representation of a previously recorded fingerprint.

Methods according to any one of the preceding claims, wherein the step of comparing is performed in a first unit, which receives the biometric reference data from a second unit, in which the verification is to be performed and in which additional biometric reference data is stored.

The method of claim 14, wherein a second subset of the current biometric data is transferred to the second unit only when the alignment condition is met.

A computer program product comprising a computer program for performing a method according to any one of claims 1-14.

An apparatus for verifying a person's identity using biometric data, comprising a sensor for recording current biometric data input to the sensor by the person; characterized by a processor arranged to compare previously recorded biometric reference data with the current biometric data to check if an alignment condition is met, and if not, indicate how the person should change the input to the sensor to improve the alignment between the current biometric data and the biometric reference data. 10 15 20 25 30 35 4 n a a a 52 3 n. Ou a. -n a »_: _ß ^. ._ ._ _, _, I a a u a n 0 I _, _. . _ -. a n 0 4. a. . . a _. an; a n c .U I. z u u u u. now . u n. "~ i n 'ÃnHÉad-ê .pat-: entkrav 25

The apparatus of claim 17, wherein the previously recorded biometric reference data comprises a first subset of a digital representation of a previously recorded fingerprint and the current biometric data comprises a digital representation of a current fingerprint and wherein the processor is arranged to correlate the first subset with the digital representation of the current fingerprint when it compares previously registered biometric reference data with the current biometric data.

Device according to claim 18, in which the first subset consists of a first sub-area of the digital representation of a previously registered fingerprint.

The device of claim 19, wherein the first sub-area forms part of a template, further comprising further sub-areas of the digital representation of the reference fingerprint and information about the location of the additional sub-areas in the reference fingerprint relative to the first sub-area. , wherein the processor is further arranged to determine with the aid of the information about the location of the additional areas in the reference fingerprint whether corresponding areas are present in the registered current fingerprint.

The device of claim 20, wherein the processor is further arranged to calculate how the person is to move the finger to improve the alignment by means of the information about the location of the additional sub-areas in the reference fingerprint.

The device of claim 17, wherein the first subset consists of a plurality of minutiae points in the digital representation of a previously recorded fingerprint.

Device according to any one of claims 17-22, in which the biometric reference data is received from a second unit, in which the verification is to be performed and in which additional biometric reference data is stored. 524 023 n. No o 7 ': n' n '.': "':'" ÅnHi-aïeupatfentkrav 26

The apparatus of claim 23, wherein the processor is arranged to transmit a second subset of the current biometric data to the second unit only when the alignment condition is met.