SE536299C2

SE536299C2 - Procedure for comparing and identifying similarity between images

Info

Publication number: SE536299C2
Application number: SE1150523A
Authority: SE
Inventors: Mikael Loewgren; Ingvar Lindgren
Original assignee: Imtt Svenska Ab
Priority date: 2011-06-08
Filing date: 2011-06-08
Publication date: 2013-08-13
Also published as: SE1150523A2; WO2012169965A9; SE1150523A1; WO2012169965A1

Abstract

The invention is characterized in the steps: a) identifying at least one characteristic part (21-25) in the first image (20) and at least one characteristic part (31-35) in the second image (30) in the form of connected respective sets of pixels; b) identifying a largest (22) characteristic part (21-25) of the first image (20); c) performing at least one statistic calculation based upon the pixels comprised in the parts (22,31-35); d) for the largest characteristic part (22) in the first image (20), comparing the statistic profile to the corresponding statistic profile for a characteristic part (31-35) of the second image (30) for which a statistic profile has been calculated in step c); e) identifying the rate of similarity between the first (20) and the second (30) image.

Description

25 30 536 299 flera karaktäristiska delar av en viss bild identifieras. En sådan karaktäristisk del kan identifieras på olika sätt, men med det gemensamma syftet att vara informationsbärande i den meningen att delen kan användas för att till exempel identi- fiera en bild istället för att hela bilden används. Om den karaktäristiska delen innehåller information som är represen- tativ eller beskrivande för bilden som helhet, är det effek- tivare att i. olika bildanalyser ta hänsyn endast till den karaktäristiska delen snarare än till hela bilden. Several characteristic parts of a particular image are identified. Such a characteristic part can be identified in different ways, but with the common purpose of being information-bearing in the sense that the part can be used to, for example, identify an image instead of using the entire image. If the characteristic part contains information that is representative or descriptive of the image as a whole, it is more effective in different image analyzes to take into account only the characteristic part rather than the whole image.

WO200608586l beskriver ett förfarande för att identifiera eller indexera en digitalt lagrad bild, i vilket karaktäris- tiska delar identifieras i egenskap av kantområden, definie- rade som uppsättningar par av pixlar med hög ljuskontrast.WO2006085861 describes a method for identifying or indexing a digitally stored image, in which characteristic parts are identified as edge areas, defined as sets of pairs of pixels with high light contrast.

Många av de tillämpningar som beskrivits ovan, även sådana där en direkt jämförelse inte är själva målet, involverar jämförelsen mellan två bilder. Exempel innefattar avsyning, där bilder eller delar av bilder kan jämföras med detaljbil- der av kända materialdefekter, eller sökning, där bilder kan jämföras med en viss målbild och rangordnas efter likhet och därmed sökrelevans.Many of the applications described above, even those where a direct comparison is not the goal itself, involve the comparison between two images. Examples include viewing, where images or parts of images can be compared with detail images of known material defects, or search, where images can be compared with a specific target image and ranked according to similarity and thus search relevance.

När man utför en analys baserad pá en karaktäristisk bilddel, till exempel genom att jämföra den med en motsvarande karak- täristisk bilddel i en annan bild, uppstår ofta problem när den bild i vilken den ena karaktäristiska delen ingår föränd- vinkelföränd- ras, till exempel genom perspektivförskjutning, ring, vridning, upplösningsförändring, beskärning, färgför- ändringar och så vidare. Exempel innefattar jämförelse mellan två bilder med hjälp av respektive karaktäristiska delar där den ena bilden är en variant av den andra bilden som besku- rits eller roterats; identifieringen av avvikande bilder i 20 25 30 536 299 ett bildmaterial med hjälp av respektive karaktäristiska delar där vissa bilder har avvikande upplösning men där själ- va upplösningen inte är den egenskap vars avvikande är det som åsyftas med identifieringen; och gruppering av ett stort antal bilder efter motiv utifrån respektive karaktäristiska delar, där vissa bilder innefattar samma motiv men visade från något olika vinklar eller med delvis olika bakgrund. Även i det fall karaktäristiska delar kan identifieras så att väsentligen samma eller motsvarande karaktäristiska delar identifieras på ett konsistent och repeterbart sätt som är väsentligen oberoende av sådana bildmanipulationer soul be- skrivits hur en ovan, föreligger ett problem beträffande jämförelse, baserad på identifierade karaktäristiska delar, mellan två bilder skall göras för att på ett konsistent och repeterbart sätt erhålla ett relevant mått på likhet mellan det fall bilderna även i jämförda bilder manipulerats på olika sätt. Med andra ord vore det önskvärt att med ett så- dant jämförelseförfarande kunna erhålla ett relevant likhets- mått mellan två bilder som är så oberoende som möjligt av bildmanipulationer av typen rotation, beskärning, upplös- ningsförändring, vinkelförändring, fokusförändring, färgför- ändring, och så vidare.When performing an analysis based on a characteristic image part, for example by comparing it with a corresponding characteristic image part in another image, problems often arise when the image in which one characteristic part is included changes angle, e.g. by perspective shift, ring, rotation, resolution change, cropping, color changes and so on. Examples include comparison between two images by means of respective characteristic parts where one image is a variant of the other image that has been cropped or rotated; the identification of deviating images in an image material by means of respective characteristic parts where certain images have deviating resolution but where the resolution itself is not the property whose deviation is what is meant by the identification; and grouping a large number of images by motifs based on the respective characteristic parts, where certain images include the same motif but shown from slightly different angles or with partly different backgrounds. Even if characteristic parts can be identified so that substantially the same or corresponding characteristic parts are identified in a consistent and repeatable manner that is substantially independent of such image manipulations, it is described how one above, there is a problem of comparison, based on identified characteristic parts. between two images shall be made in order to obtain in a consistent and repeatable manner a relevant measure of similarity between the case the images also in compared images have been manipulated in different ways. In other words, with such a comparison procedure, it would be desirable to be able to obtain a relevant measure of similarity between two images that is as independent as possible of image manipulations such as rotation, cropping, resolution change, angle change, focus change, color change, and so on.

Föreliggande uppfinning löser de ovan beskrivna problemen.The present invention solves the problems described above.

Således hänför sig uppfinningen till ett förfarande för att jämföra och identifiera likhetsgrad mellan en första och en andra bild, där båda bilderna bringas att lagras i digitalt format i form av en respektive matris uppbyggd av pixlar, och utmärks av att stegen bringas att utföras att: a) identifiera ätminstone en karaktäristisk. del av den första bilden och ätminstone en karaktäristisk del av den andra bilden i form 10 15 20 25 30 536 299 av sammanhängande respektive mängder pixlar; b) identifiera en största av den eller de i steget a) identifierade karaktä- ristiska delarna av den första bilden; c) beträffande åtmin- stone den största karaktäristiska delen i den första bilden och åtminstone en karaktäristisk del i den andra bilden, utföra åtminstone en statistisk beräkning baserad pà. de i delarna ingående pixlarna, vilken beräkning resulterar i åtminstone en statistisk profil för delen ifråga, och lagra de statistiska profilerna i en databas associerad med respek- tive karaktäristisk del; d) för den största karaktäristiska delen i den första bilden, jämföra den statistiska profilen med motsvarande statistiska profil för en karaktäristisk del hos den andra bilden för vilken en statistisk profil beräk- nats i steget c); e) identifiera likhetsgraden mellan den första och den andra bilden som högre ifall de parvis jämför- da statistiska profilerna i jämförelsen i steget d) befinns vara mer lika än ifall profilerna befinns vara mindre lika; och f) lagra ett mått på identifierad likhetsgrad i digital form på ett lagringsmedium.Thus, the invention relates to a method for comparing and identifying the degree of similarity between a first and a second image, wherein both images are caused to be stored in digital format in the form of a respective matrix made up of pixels, and characterized in that the steps are made to: a) identify at least one characteristic. part of the first image and at least a characteristic part of the second image in the form of contiguous respective sets of pixels; b) identifying a larger of the characteristic part or parts of the first image identified in step a); (c) for at least the largest characteristic part of the first image and at least one characteristic part of the second image, perform at least one statistical calculation based on. the pixels included in the parts, which calculation results in at least one statistical profile for the part in question, and storing the statistical profiles in a database associated with the respective characteristic part; d) for the largest characteristic part of the first image, compare the statistical profile with the corresponding statistical profile for a characteristic part of the second image for which a statistical profile has been calculated in step c); e) identify the degree of similarity between the first and the second image as higher if the statistically compared statistical profiles in the comparison in step d) are found to be more equal than if the profiles are found to be less equal; and f) storing a measure of identified similarity in digital form on a storage medium.

Uppfinningen kommer nu att beskrivas i detalj, med hänvisning till exemplifierande utföringsformer av uppfinningen och de bifogade ritningarna, där: Figur l är en förstorad detalj i en digitalt lagrad bild på vilket ett förfarande enligt föreliggande uppfinning tilläm- pas; Figur 2 är en graf som illustrerar ett tröskelvärde för en jämförelseparameter enligt föreliggande uppfinning; Figur 3 är ett flödesschema som illustrerar identifieringen av ett kantområde i enlighet med föreliggande uppfinning; Figur 4 är en översiktlig illustration av en identifiering av ett karaktäristiskt område enligt föreliggande uppfinning; 10 15 20 25 30 536 299 Figur 5 är ett flödesschema som illustrerar identifieringen av en karaktäristisk del i enlighet med föreliggande uppfin- ning; Figur 6 visar två bilder som kan jämföras med hjälp av ett förfarande enligt föreliggande uppfinning; Figur 7 är ett flödesschema som illustrerar jämförelsen mel- lan två bilder i enlighet med föreliggande uppfinning; Figurerna 8a-8e visar olika statistiska profiler enligt före- liggande uppfinning i form av fördelningar; Figur 1 visar ett kraftigt uppförstorat utsnitt l av en bild.The invention will now be described in detail, with reference to exemplary embodiments of the invention and the accompanying drawings, in which: Figure 1 is an enlarged detail in a digitally stored image to which a method according to the present invention is applied; Figure 2 is a graph illustrating a threshold value for a comparison parameter according to the present invention; Figure 3 is a flow chart illustrating the identification of an edge area in accordance with the present invention; Figure 4 is a schematic illustration of an identification of a characteristic area according to the present invention; Figure 5 is a flow chart illustrating the identification of a characteristic part in accordance with the present invention; Figure 6 shows two images that can be compared by a method according to the present invention; Figure 7 is a flow chart illustrating the comparison between two images in accordance with the present invention; Figures 8a-8e show different statistical profiles according to the present invention in the form of distributions; Figure 1 shows a greatly enlarged section 1 of an image.

I enlighet med uppfinningen är bilden lagrad i digitalt for- mat på ett digitalt lagringsmedium i form av en matris upp- byggd av pixlar. Detta innebär att bilden kan vara en bild vars förlaga är en analogt lagrad bild, exempelvis lagrad på en fotografisk film. I detta fall utförs en konventionell digitalisering av bilden innan den används i ett förfarande enligt föreliggande uppfinning. Lagringsmediet kan vara vil- ket konventionellt digitalt lagringsmedium som helst, såsom en hårddisk, ett interminne i en eller flera datorer eller en CD-skiva.In accordance with the invention, the image is stored in digital format on a digital storage medium in the form of a matrix made up of pixels. This means that the image can be an image whose model is an analogously stored image, for example stored on a photographic film. In this case, a conventional digitization of the image is performed before it is used in a method according to the present invention. The storage medium can be any conventional digital storage medium, such as a hard disk, an internal memory of one or more computers or a CD.

I figur l är utsnittet så förstorat att de enskilda pixlarna framträder tydligt. Ett rutnät är tillagt, enbart i syfte att ytterligare öka tydligheten i figuren.In Figure 1, the section is so enlarged that the individual pixels are clearly visible. A grid has been added, solely for the purpose of further increasing the clarity of the figure.

Figur 3 illustrerar översiktligt de olika stegen som utförs vid en identifiering av ett kantområde i enlighet med en föredragen utföringsform av föreliggande uppfinning.Figure 3 briefly illustrates the various steps performed in identifying an edge area in accordance with a preferred embodiment of the present invention.

I ett första steg 101 sveper man över hela bilden, pixel för pixel, och beräknar för varje par pixlar i bilden, där den ena pixeln befinner sig' i en förutbestämd lokal omgivning 10 15 20 25 30 536 299 till den andra pixeln, en jämförelseparameter som utgör skillnaden mellan de två pixlarna beträffande en intensitets- egenskap över en eller flera kanaler.In a first step 101, one scans over the entire image, pixel by pixel, and calculates for each pair of pixels in the image, where one pixel is located in a predetermined local environment 10 15 20 25 30 536 299 to the other pixel, a comparison parameter which is the difference between the two pixels regarding an intensity property over one or more channels.

Det är föredraget att intensitetsegenskapsskillnaden definie- ras som den absoluta skillnaden i värdet för intensitetsegen- skapen. kan av den absoluta Exempelvis skillnaden utgöras skillnaden i luminans hos två pixlar.It is preferred that the intensity property difference be defined as the absolute difference in the value of the intensity property. can of the absolute For example, the difference is the difference in luminance of two pixels.

Det är även föredraget att en intensitetsskillnad mellan pixeln ifråga och var och en av de pixlar som ingår i en fördefinierad lokal omgivning till pixeln jämförs. Omgivning- en är företrädesvis symmetrisk kring pixeln ifråga, och kan, beroende på bland annat prestandakrav, exempelvis utgöras av 4, 8, 12, 20, 24 eller fler närliggande pixlar.It is also preferred that a difference in intensity between the pixel in question and each of the pixels included in a predefined local environment be compared to the pixel. The environment is preferably symmetrical about the pixel in question, and may, depending on, among other things, performance requirements, for example consist of 4, 8, 12, 20, 24 or more adjacent pixels.

I figur 1 illustreras en pixel 4 för vilken intensitetsskill- naden i jämförelse med var och en av pixlarna 3a-3h i en 8 pixlars 3x3 omgivning 3 (mittpixeln 4 är jämförelsepixeln och tillhör inte omgivningen 3).Figure 1 illustrates a pixel 4 for which the difference in intensity in comparison with each of the pixels 3a-3h in an 8 pixel 3x3 environment 3 (the middle pixel 4 is the comparison pixel and does not belong to the environment 3).

För varje pixel 4 i bilden jämförs således en intensitets- skillnad mellan pixeln 4 och var och en av pixlarna 3a-3h i en omgivning 3 till pixeln 4. Enligt en föredragen utförings- form definierar varje omgivningspixel 3a-3h en riktning i bilden i förhållande till pixeln 4. Tabell l visar de olika riktningar, uttryckta som vinklar i relation till bildens geometri, i förhållande till pixeln 4 sonl de olika omgiv- ningspixlarna 3a-3h definierar i figur l. Det är naturligtvis möjligt att använda färre eller fler riktningar, men det är föredraget att riktningarna är jämnt fördelade mellan O och 360°. 15 20 25 30 536 299 7 Tabell 1 Omgivningspixel Riktning 3a 270° 3b 315° 3c 0° 3d 45° 3e 225° 3f l80° 3g 135” 3h 90° Enligt föreliggande föredragna utföringsform beräknas för varje pixel 4 och för varje använd riktning en jämförelsepa- rameter, beträffande en intensitetsegenskap över en eller flera kanaler, som utgör skillnaden mellan pixeln 4 och den omgivningspixel som definierar riktningen ifråga. En ”kanal” i detta sammanhang är en numerisk uppgift om en viss typ av reflektans eller motsvarande. intensitet, såsom luminans, Exempel innefattar en RGB-kodad bild, där ljusintensitet i det röda, gröna respektive blåa färgbandet anges numeriskt av varsin respektive av tre kanaler, och en gråskalebild, där gråskala anges numeriskt i en enda kanal.Thus, for each pixel 4 in the image, an intensity difference between the pixel 4 and each of the pixels 3a-3h in an environment 3 is compared to the pixel 4. According to a preferred embodiment, each ambient pixel 3a-3h defines a direction in the image in relation to to the pixel 4. Table 1 shows the different directions, expressed as angles in relation to the geometry of the image, in relation to the pixel 4 sonl the different ambient pixels 3a-3h define in figure 1. It is of course possible to use fewer or more directions, but it is preferred that the directions be evenly distributed between 0 and 360 °. 15 20 25 30 536 299 7 Table 1 Ambient pixel Direction 3a 270 ° 3b 315 ° 3c 0 ° 3d 45 ° 3e 225 ° 3f l80 ° 3g 135 ”3h 90 ° According to the presently preferred embodiment, for each pixel 4 and for each direction used, a comparison parameter, regarding an intensity property over one or more channels, which is the difference between the pixel 4 and the ambient pixel that defines the direction in question. A "channel" in this context is a numerical information about a certain type of reflectance or equivalent. intensity, such as luminance, Examples include an RGB-coded image, where light intensity in the red, green and blue ribbons is indicated numerically by each of three channels, respectively, and a grayscale image, where grayscale is indicated numerically in a single channel.

Enligt en föredragen utföringsform är intensitetsegenskapen för en viss pixel den totala luminansen hos pixeln ifråga över hela det synliga färgspektrumet. I det fall ursprungs- bilden innehåller färginformation är det föredraget att bil- den i ett inledande steg, till exempel i samband med den ovan beskrivna eventuella digitaliseringen, konverteras till en gråskalebild, i vilken den totala luminansen för en viss pixel utgörs av värdet på dess gräton. Genom att på detta sätt bortse från färginformation i bilden kan en karaktäris- 10 15 20 25 30 536 299 tisk del av bilden identifieras på ett sätt som är repeter- bart även i. många fall då ursprungsbildens färginformation manipulerats.According to a preferred embodiment, the intensity property of a given pixel is the total luminance of the pixel in question over the entire visible color spectrum. In case the original image contains color information, it is preferable that the image in an initial step, for example in connection with the above-described possible digitization, is converted to a grayscale image, in which the total luminance for a certain pixel consists of the value of its gräton. By ignoring color information in the image in this way, a characteristic part of the image can be identified in a way that is repeatable even in many cases when the color information of the original image has been manipulated.

För alla pixlar i bilden lagras det beräknade jämförelsevär- det för var och en av omgivningspixlarna i omgivningen till varje respektive pixel. Den sålunda erhållna mängden jämfö- relsevärden kan för var och en av de använda riktningarna i bilden åskädliggöras i en graf av den typ som illustreras i figur 2, som längs med en axel d visar skillnad i intensi- tetsegenskap och längs med, en annan axel n visar antalet pixlar i bilden som uppvisar denna intensitetsegenskapsskill- nad för den aktuella riktningen. Med andra ord kan åtta såda- na grafer upprättas för det svep som illustreras i figur l som använder sig av en 3x3 pixelomgivning. ett För varje graf identifieras därefter, i ett steg 102, tröskelvärde dl, som utgörs av det första lokala minimumet hos den funktion n(d) som för en viss riktning illustreras i figur 2. Vid beräkning av värdet dl är det föredraget att först utföra en filtrering av funktionen f(n) så att den blir jämnare och/eller införa en viss toleransparameter som igno- rerar mindre fluktuationer i funktionens värde. Detta säker- ställer att det är det första mer markant framträdande mini- mumet som väljs ut som tröskelvärdet dl.For all pixels in the image, the calculated comparison value is stored for each of the surrounding pixels in the environment for each respective pixel. The amount of comparison values thus obtained can be illustrated for each of the directions used in the image in a graph of the type illustrated in Figure 2, which along one axis d shows difference in intensity property and along, another axis n shows the number of pixels in the image that show this intensity property difference for the current direction. In other words, eight such graphs can be created for the sweep illustrated in Figure 1 using a 3x3 pixel environment. For each graph, then, in a step 102, threshold value d1 is identified, which constitutes the first local minimum of the function n (d) which for a certain direction is illustrated in Figure 2. When calculating the value d1, it is preferable to first perform filtering the function f (n) so that it becomes smoother and / or introducing a certain tolerance parameter that ignores minor fluctuations in the value of the function. This ensures that it is the first more prominent minimum that is selected as the threshold value dl.

I ett steg 103 identifieras därefter ett kantområde i bilden som ett sammanhängande område kantpixlar. Uttrycket ”kantpix- el” i detta sammanhang skall tolkas som de pixlar för vilka jämförelseparametern vid jämförelse med en annan pixel i steget 101 befanns vara större än tröskelvärdet dl. Med andra ord kan kantpixlar sägas vara de pixlar i bilden som uppvisar högst kontrast i jämförelse med sina respektive lokala omgiv- 10 20 25 30 536 299 ningar. Samma bild kan innefatta vilket antal sådana samman- hängande områden som helst, men det är föredraget att varje sammanhängande och isolerat område definieras som ett enskilt kantområde, möjligen med användning av vissa tröskelvärden i form av exempelvis minsta tillåtna storlek för ett kantomràde eller minsta tillåtna storlek för förbindelser mellan kantom- råden. Även om det är föredraget att utföra jämförelserna och be- stämningarna av tröskelvärden enligt det ovan beskrivna i var och en av vissa förutbestämda riktningar i bilden är det även möjligt att utföra intensitetsegenskapsjämförelsen mellan pixeln 4 och omgivningspixlarna 3a-3h utan att ta hänsyn till riktningar, vilket i det fall som illustreras i figur 1 skul- le resultera i, 8 olika jämförelsevärden för varje pixel i bilden, och där samtliga dessa jämförelsevärden analyseras i en och samma funktion f(n), varför endast ett tröskelvärde dl kommer att fastställas.In a step 103, an edge area in the image is then identified as a contiguous area of edge pixels. The expression "edge pixel" in this context is to be interpreted as the pixels for which the comparison parameter in comparison with another pixel in step 101 was found to be greater than the threshold value dl. In other words, edge pixels can be said to be the pixels in the image that show the highest contrast in comparison with their respective local environments. The same image may include any number of such contiguous areas, but it is preferred that each contiguous and isolated area be defined as a single edge area, possibly using certain threshold values in the form of, for example, the minimum allowable size for an edge area or the minimum allowable size. for connections between edge areas. Although it is preferable to perform the comparisons and determinations of threshold values as described above in each of certain predetermined directions in the image, it is also possible to perform the intensity property comparison between the pixel 4 and the surrounding pixels 3a-3h without taking into account directions. which in the case illustrated in Figure 1 would result in, 8 different comparison values for each pixel in the image, and where all these comparison values are analyzed in one and the same function f (n), so that only a threshold value dl will be determined.

I det fall riktningar används, kommer med andra ord en viss pixel 4 att anses vara en kantpixel ifall intensitetsskillna- den mellan pixeln 4 och någon av dess omgivningspixlar 3a-3h är större än tröskelvärdet för den riktning som definieras av omgivningspixeln ifråga. I det fall riktningar inte används kommer å ifall andra sidan pixeln 4 att anses vara en kantpixel intensitetsegenskapsskillnaden mellan pixeln 4 och någon av omgivningspixlarna 3a-3h är större än det för samt- liga riktningar gemensamma tröskelvärdet.In other words, if directions are used, a particular pixel 4 will be considered an edge pixel if the intensity difference between the pixel 4 and any of its ambient pixels 3a-3h is greater than the threshold value for the direction defined by the ambient pixel in question. In the event that directions are not used, on the other hand, if the pixel 4 is considered to be an edge pixel, the intensity property difference between the pixel 4 and one of the surrounding pixels 3a-3h is greater than the threshold value common to all directions.

Enligt en föredragen utföringsform associeras varje sålunda identifierad kantpixel med ett binärt tal, i vilket varje bit motsvarar en viss riktning, och där den respektive bitens värde (0 eller 1) hänför sig till huruvida jämförelseparame- 10 15 20 25 30 535 299 lO tern för kantpixeln ifråga i den riktning som motsvaras av biten befanns vara större än tröskelvärdet för åtminstone en av de förutbestämda riktningarna. Om exempelvis pixeln 4 i figur 1 befanns vara en kantpixel eftersom dess intensitets- skillnad i jämförelse med omgivningspixlarna 3d, 3e och 3g var större än de för dessa tre riktningars respektive beräk- nade tröskelvärden, kan det binära talet beräknas enligt Tabell 2: Tabell 2 Omgivningspixel Riktning Bitvärde 3a 270° 0 3b 315° 0 3c O° 0 3d 45° 1 3e 225° 1 3f 180° 0 3g 135° 1 3h 90° 0 Alltså blir det binära talet 00011010, vilket motsvarar det decimala talet 26. En sådan representation, där ett unikt binärt tal identifierar de riktningar längs med vilka kant- pixeln 4 ifråga uppfyller kriteriet för att anses vara en kantpixel, medger effektiv sökning bland identifierade kant- pixlar eftersom varje kantpixel är associerad med information som anger' i vilka riktningar angränsande pixlar åtminstone sannolikt också är kantpixlar.According to a preferred embodiment, each edge pixel thus identified is associated with a binary number, in which each bit corresponds to a certain direction, and where the value of the respective bit (0 or 1) relates to whether the comparison parameter for the the edge pixel in question in the direction corresponding to the bit was found to be greater than the threshold value for at least one of the predetermined directions. For example, if the pixel 4 in Figure 1 was found to be an edge pixel because its difference in intensity compared to the surrounding pixels 3d, 3e and 3g was larger than the calculated threshold values for these three directions, the binary number can be calculated according to Table 2: Table 2 Ambient pixel Direction Bit value 3a 270 ° 0 3b 315 ° 0 3c O ° 0 3d 45 ° 1 3e 225 ° 1 3f 180 ° 0 3g 135 ° 1 3h 90 ° 0 Thus the binary number 00011010, which corresponds to the decimal number 26. A such representation, where a unique binary number identifies the directions along which the edge pixel 4 in question meets the criterion of being considered an edge pixel, allows efficient searching among identified edge pixels because each edge pixel is associated with information indicating 'in which directions adjacent pixels at least probably also are edge pixels.

Enligt en föredragen utföringsform används ett identifierat kantområde, bestående av en sammanhängande mängd kantpixlar som tillsammans bildar ett kantomràde i bilden, exempelvis 10 20 25 30 536 299 ll mellan två angränsande fält, för att identifiera ett karaktä- ristiskt område. Det är föredraget men inte nödvändigt att använda ett förfarande i enlighet med det som beskrivits ovan för att identifiera kantområdet. Genom. att som kantpixlar identifiera sådana pixlar som har en stor intensitetsegen- skapsskillnad i jämförelse med andra pixlar i en lokal omgiv- ning, åstadkoms ett kantomráde som dels effektivt fångar upp relevanta delar av bilden, dels på många sätt är oberoende av de typer av förändringar av originalbilden som beskrivits ovan. Genom att därutöver även utföra analysen i ett antal förutbestämda riktningar förbättras precisionen.According to a preferred embodiment, an identified edge area, consisting of a continuous amount of edge pixels which together form an edge area in the image, for example ll between two adjacent fields, is used to identify a characteristic area. It is preferred but not necessary to use a method in accordance with that described above to identify the edge area. By. to identify as edge pixels such pixels that have a large difference in intensity property in comparison with other pixels in a local environment, an edge area is created which partly effectively captures relevant parts of the image, and in many ways is independent of the types of changes of the original image described above. By also performing the analysis in a number of predetermined directions, the precision is improved.

Flödesschemat i figur 5 illustrerar ett förfarande enligt föreliggande uppfinning, där identifieringen av kantområdet utgör ett första steg 201.The flow chart in Figure 5 illustrates a method according to the present invention, where the identification of the edge area constitutes a first step 201.

Figur 4 visar i en matris ett visst kantomráde l0 som identi- fierats i steget 201 för en viss bild. Själva bildinformatio- nen visas inte, av tydlighetsskäl, utan endast kantområdets 10 utbredning i bildens pixelmatris. De pixlar som tillhör det identifierade kantområdet 10 är nmrkerade med grå bak- grund.Figure 4 shows in a matrix a certain edge area 10 which has been identified in step 201 for a certain image. The image information itself is not displayed, for the sake of clarity, but only the extent of the edge area 10 in the pixel matrix of the image. The pixels belonging to the identified edge area 10 are marked with a gray background.

I enlighet med uppfinningen identifieras i ett steg 202 en första riktning Al i bilden. Den första riktningen Al kan vara vilken riktning som helst, och kan speciellt vara en riktning i. förhållande till bildens axelriktningar eller i förhållande till en viss geometrisk egenskap hos det identi- fierade kantområdet, såsom dess längsta diameter. Den rikt- ning Al som illustreras i figur 4 utgörs av en av bildens axelriktningar. 10 20 25 30 536 299 12 I ett steg 203 genomlöps därefter hela det identifierade kantomràdet 10 längs med den första riktningen A1, i det i figur 4 illustrerade exemplifierande utföringsexemplet ned- ifrån och uppåt i figuren. För varje pixel längs med den första riktningen A1 undersöks bredden för kantområdet 10 vid läget för pixeln ifråga. Med uttrycket ”bredden” menas i detta sammanhang en ytterligare riktning som inte är paral- lell med den första riktningen A1. Denna breddriktning är företrädesvis vinkelrät mot den första riktningen A1, men kan även utgöras exempelvis av en med A1 icke parallell axelrikt- ning i bilden.In accordance with the invention, a step 202 identifies a first direction A1 in the image. The first direction A1 can be any direction, and can in particular be a direction in relation to the axis directions of the image or in relation to a certain geometric property of the identified edge area, such as its longest diameter. The direction A1 illustrated in Figure 4 is one of the axis directions of the image. In a step 203, the entire identified edge area 10 is then traversed along the first direction A1, in the exemplary embodiment from below and upwards in the figure illustrated in Figure 4. For each pixel along the first direction A1, the width of the edge area 10 at the position of the pixel in question is examined. In this context, the term “width” means an additional direction that is not parallel to the first direction A1. This width direction is preferably perpendicular to the first direction A1, but can also consist, for example, of an axis direction not parallel to A1 in the image.

Genom sàdana successiva undersökningar av bredden längs med den första riktningen A1 identifieras i ett steg' 203 ett lokalt kantomráde 11. För varje undersökt bredd läggs till det lokala kantområdet 11 de pixlar som är belägna längs med bredden ifråga.By such successive examinations of the width along the first direction A1, a local edge area 11 is identified in a step 203. For each examined width, the pixels located along the width in question are added to the local edge area 11.

Enligt en föredragen utföringsform. identifieras det lokala kantomràdet 11 så att bredden i. det lokala. kantområdet 11 längs med den första riktningen A1 saknar lokala maximum förutom ett enda globalt maximum. Detta kan praktiskt utföras genom genomlöpningen fortsätter till nästa bredd längs med den första riktningen A1 så länge som bredden inte åter bör- jar öka efter att först ha minskat. Med andra ord avbryts identifieringen av det lokala kantområdet 11 när det första lokala minimumet hos bredden har nåtts längs med den första riktningen A1, alternativt när den sista bredden i kantomrà- det 10 har nåtts.According to a preferred embodiment. the local edge area 11 is identified so that the width in. the local. the edge area 11 along the first direction A1 lacks local maximums except for a single global maximum. This can practically be done by continuing the passage to the next width along the first direction A1 as long as the width does not start to increase again after first decreasing. In other words, the identification of the local edge area 11 is interrupted when the first local minimum of the width has been reached along the first direction A1, alternatively when the last width in the edge area 10 has been reached.

Enligt en föredragen utföringsform används de tidigare lagra- de binära talen för varje respektive kantpixel för att utföra genomlöpningen av kantområdet 10. Detta utförs så att kantom- 10 15 20 25 30 535 299 13 rådet 10 genomlöps pixel för pixel, där den bit i det binära talet som motsvarar en viss riktning avgör huruvida genomlöp- ningen skall fortsätta i denna riktning eller inte på så sätt att bitvärdet ”O” innebär att genomlöpning inte skall fort- sätta i. den riktningen. Ett sådant förfarande medför snabb genomlöpning av samtliga pixlar i ett kantområde 10.According to a preferred embodiment, the previously stored binary numbers of each respective edge pixel are used to perform the traversal of the edge area 10. This is done so that the edge area 10 traverses pixel by pixel, where the bit in the the binary number that corresponds to a certain direction determines whether the traversal should continue in this direction or not in such a way that the bit value “O” means that traversal should not continue in that direction. Such a method results in rapid traversal of all the pixels in an edge area 10.

Det på detta sätt identifierade lokala kantområdet ll är i figur 4 illustrerat med hjälp av streckade linjer.The local edge area 11 thus identified, is illustrated in Figure 4 by means of broken lines.

Därefter kan ytterligare lokala kantområden identifieras utifrån de eventuella delar av ett identifierat kantområde 10 som inte redan utgör en del av ett identifierat lokalt kant- område ll. Förfarandet kan även fortsätta för alla identifie- rade kantområden i bilden, så att slutligen samtliga identi- fierade kantområden har delats in i ett antal lokala kantom- råden.Thereafter, additional local edge areas can be identified based on the possible parts of an identified edge area 10 which do not already form part of an identified local edge area 11. The procedure can also continue for all identified edge areas in the image, so that finally all identified edge areas have been divided into a number of local edge areas.

I ett steg 204 identifieras därefter en andra riktning A2 för det lokala kantområdet ll. Denna andra riktning A2 kan, på ett sätt som liknar det för den först riktningen Al, vara antingen relaterad till geometrin för bilden eller det lokala kantområdet ll, exempelvis till en längsta diameter hos det lokala kantområdet ll eller till en axelriktning hos bilden.In a step 204, a second direction A2 is then identified for the local edge area 11. This second direction A2 can, in a manner similar to that of the first direction A1, be either related to the geometry of the image or the local edge area 11, for example to a longest diameter of the local edge area 11 or to an axis direction of the image.

Speciellt kan den andra riktningen Al väljas att vara bredden som diskuterats ovan eller samma riktning som den första riktningen Al. I den exemplifierande utföringsform som illu- streras i figur 4 väljs den andra riktningen Al till bredden som diskuterats ovan. ett tilläggsområde Efter detta identifieras, i ett steg 205, 12 kring det lokala kantområdet ll. Tilläggsområdet 12 illu- streras i figur 4 med streckad bakgrund. Enligt uppfinningen 10 15 20 25 30 536 299 14 väljs vid identifieringen av tilläggsområdet 12 pixlar l4a, l4b som är belägna i omedelbar anslutning till en periferiskt belägen gränspixel 13 hos det lokala kantområdet 11 och vida- re bort från gränspixeln 13, längs med den andra riktningen A2, fram till ett visst avstånd i den andra riktningen A2 från gränspixeln 13.In particular, the second direction A1 can be chosen to be the width discussed above or the same direction as the first direction A1. In the exemplary embodiment illustrated in Figure 4, the second direction A1 is selected to the width discussed above. an additional area After this, in a step 205, 12 around the local edge area 11 is identified. The additional area 12 is illustrated in Figure 4 with a dashed background. According to the invention, in identifying the additional area 12, pixels 14a, 14b are located which are located in immediate connection with a peripherally located boundary pixel 13 of the local edge area 11 and further away from the boundary pixel 13, along the second direction A2, up to a certain distance in the other direction A2 from the boundary pixel 13.

Uttrycket ”gränspixel” betyder häri en sådan pixel som i den andra riktningen A2 angränsar till en pixel l4b som inte ingår i det lokala kantområdet 11. el 13 i det lokala kantområdet 12 till tilläggsområdet 12.The term "boundary pixel" as used herein means a pixel which in the other direction A2 is adjacent to a pixel 14b which is not included in the local edge area 11. or 13 in the local edge area 12 to the additional area 12.

För en viss sådan kantpix- läggs alltså den angränsande pixeln 14b som inte ingår Dessutom läggs till tilläggsområdet 12 nästa pixel l4a j. den andra riktningen A2, och så vidare, fram till det nämnda avståndet från gränspixeln 13. Enligt en föredragen utföringsform är avståndet proportionellt mot det lokala kantområdets 11 bredd i den andra riktningen A2 vid gränspixeln 13. Proportionen mellan tilläggsområdets 12 avstånd och det lokala kantområ- dets 11 bredd kan vara vilken lämplig konstant son1 helst, enligt en föredragen utföringsfornl mellan 1 och 5, hellre mellan 1 och 3, helst 1. I föreliggande exemplifierande utfö- ringsform används konstanten 1, vilket alltså betyder att avståndet väljs till samma som bredden.Thus, for a certain such edge pixel, the adjacent pixel 14b which is not included is added. In addition, the next pixel 14a j. against the width of the local edge area 11 in the other direction A2 at the boundary pixel 13. The proportion between the distance of the additional area 12 and the width of the local edge area 11 may be any suitable constant son1, according to a preferred embodiment between 1 and 5, more preferably between 1 and 3. , preferably 1. In the present exemplary embodiment, the constant 1 is used, which means that the distance is selected to be the same as the width.

För den illustrerade gränspixeln 13 är bredden vid gränspix- eln 13 i den andra riktningen A2 två pixlar, varför två yt- terligare pixlar l4a, l4b, som inte ingår i det lokala kant- området 11, väljs att ingå i tilläggsområdet 12 i den andra riktningen A2. Men avståndets storlek är alltså variabelt över olika gränspixlar. Såsom tydligt framgår av figur 4 varierar avståndet mellan 1 och 5 pixlar för olika gränspix- lar. 10 15 20 25 30 536 299 15 Enligt en föredragen utföringsform identifieras tilläggsområ- den på detta sätt för alla gränspixlar i det lokala kantområ- det ll, och alla således identifierade tilläggsområden bildar tillsammans tillägqsområdet för det lokala kantområdet ll.For the illustrated boundary pixel 13, the width at the boundary pixel 13 in the second direction A2 is two pixels, so two additional pixels 14a, 14b, which are not included in the local edge area 11, are selected to be included in the additional area 12 in the second direction. direction A2. But the size of the distance is thus variable over different boundary pixels. As is clear from Figure 4, the distance varies between 1 and 5 pixels for different boundary pixels. According to a preferred embodiment, additional areas are identified in this way for all boundary pixels in the local edge area 11, and all additional areas thus identified together form the additional area of the local edge area 11.

Detta medför hög identifieringen repeterbarhet vid av en karaktäristisk del.This results in high identification repeatability at of a characteristic part.

Enligt en föredragen utföringsform identifieras därefter den karaktäristiska delen av bilden så att den innefattar det lokala kantomràdet och tilläggsområdet. Med andra ord kommer den karaktäristiska delen att utgöra ett sammanhängande områ- de av bilden, innefattande dels kantpixlar, dels tilläggspix- lar. Den karaktäristiska delen lagras därefter i digital form på ett lagringsmedium, som kan vara vilket konventionellt lagringsmedium som helst såsom beskrivits ovan.According to a preferred embodiment, the characteristic part of the image is then identified so as to include the local edge area and the additional area. In other words, the characteristic part will constitute a coherent area of the image, including partly edge pixels and partly additional pixels. The characteristic part is then stored in digital form on a storage medium, which can be any conventional storage medium as described above.

Således utgår föreliggande uppfinnings förfarande från ett kantomràde i en bild. Sådana kantområden kan i allmänhet identifieras automatiskt för olika bilder på ett i hög grad repeterbart sätt. Efterson1 den intressanta informationen i fotografiska bilder i många fall tenderar att vara associerad med. partier med. relativt hög kontrast och/eller som utgör gränser mellan i bilden förekommande fält exempelvis mellan för- och bakgrund i bilden, kommer de kantområden som identi- fieras av en automatisk algoritm i allmänhet att vara belägna i partier av bilden som är intressanta ur till exempel en jämförelsesynpunkt. Speciellt god repeterbarhet har av före- liggande uppfinnare uppnåtts med hjälp av det ovan beskrivna förfarandet för att identifiera ett kantområde. Genom att välja ett lokalt kantområde med endast ett lokalt maximum kan rumsligt begränsade, distinkta kantområden av lagom storlek erhållas snabbt och på ett repeterbart sätt. 10 15 20 25 30 536 299 16 Genom att identifiera en karaktäristisk del som unionen av ett kantområde och ett tilläggsområde på det ovan angivna sättet, kommer den karaktäristiska delen även att innefatta partier i bilden som omger ett kantområde. Det har överras- kande visat sig att sådana kringpartier ofta innehåller hög- relevant bildinformation. Genom att välja tilläggsområde vars dimensioner är proportionella mot kantområdets dimensioner erhålls en karaktäristisk del vars utsträckning i en bild blir repeterbar i hög utsträckning. Med andra ord kommer av* bilden med avseende på själva ifall bilden ungefärligen samma parti bildinformationen att identifieras även har modifierats med avseende på upplösning, vinkelförändringar, fokusering, rotation, färginställningar, etc. Eftersom kant- området är identifierat enbart på basis av själva bildinne- hållet, och eftersom tilläggsomràdet är identifierat på basis av kantområdet, finns inga beroenden till exempelvis bildma- trisens yttre geometri.Thus, the method of the present invention is based on an edge area in an image. Such edge areas can generally be automatically identified for different images in a highly repeatable manner. Efterson1 the interesting information in photographic images in many cases tend to be associated with. parties with. relatively high contrast and / or which constitute boundaries between fields present in the image, for example between foreground and background in the image, the edge areas identified by an automatic algorithm will generally be located in parts of the image that are interesting from e.g. comparison point of view. Particularly good repeatability has been achieved by the present inventors by means of the method described above for identifying an edge area. By selecting a local edge area with only a local maximum, spatially limited, distinct edge areas of suitable size can be obtained quickly and in a repeatable manner. 10 15 20 25 30 536 299 16 By identifying a characteristic part as the union of an edge area and an additional area in the manner indicated above, the characteristic part will also include portions of the image surrounding an edge area. It has surprisingly been found that such surrounding areas often contain highly relevant image information. By selecting an additional area whose dimensions are proportional to the dimensions of the edge area, a characteristic part is obtained whose extent in an image becomes highly repeatable. In other words, of * the image with respect to itself if the image approximately the same portion of the image information to be identified has also been modified with respect to resolution, angular changes, focusing, rotation, color settings, etc. Since the edge area is identified solely on the basis of the image itself. and since the additional area is identified on the basis of the edge area, there are no dependencies on, for example, the external geometry of the image matrix.

Detta medför slutligen att karaktäristiska delar som identi- fierats genom ett förfarande enligt föreliggande uppfinning med stor sannolikhet ger repeterbara resultat när de används såsom automatiska för ett brett spektrunl av olika syften, jämförelser mellan bilder.Finally, this means that characteristic parts identified by a method according to the present invention in all probability give repeatable results when used as automatic for a wide range of different purposes, comparisons between images.

Det är föredraget att den digitalt lagrade karaktäristiska delen bringas innefatta information beträffande vilka pixlar som utgör kantpixlar, och även den ursprungliga pixelinforma- tionen från bilden. Lagringen av en karaktäristisk del på detta sätt gör att delen på ett enkelt sätt kan användas i analyser som även tar hänsyn till vilka pixlar som utgör kantpixlar. Detta kan i många tillämpningar vara en intres- sant parameter vid exempelvis jämförelser mellan bilder, 20 25 30 536 299 17 eftersom dessa pixlar till exempel kan markera gränser mellan fält i bilden.It is preferred that the digitally stored characteristic part be brought to include information regarding which pixels constitute edge pixels, and also the original pixel information from the image. The storage of a characteristic part in this way means that the part can be used in a simple way in analyzes that also take into account which pixels constitute edge pixels. In many applications this can be an interesting parameter in, for example, comparisons between images, since these pixels can, for example, mark boundaries between fields in the image.

Enligt en föredragen utföringsform väljs inte endast en för- sta riktning, utan två första riktningar. Dessa riktningar kan, på samma sätt som beskrivs ovan för den första riktning- en, vara vilka riktningar som helst som är relaterade till bildens dimensioner eller till det identifierade kantområdets dimensioner, så länge som de två första riktningarna inte är parallella. Sedan utförs identifieringen av det lokala kant- området på motsvarande sätt såsom beskrivs ovan, men med användning av båda de första riktningarna var för sig. Alltså väljs det lokala kantområdet som en del av det identifierade kantområdet som enbart har ett lokalt maximum längs med båda de respektive första riktningarna. Detta medför högre repe- terbarhet vid identifiering av karaktäristiska delar även i det fall bilden roteras och även i fallet lángsträckta kant- områden. Det är föredraget att de båda första riktningarna är vinkelräta. Exempel innefattar riktningen längs med kantomrà- dets längsta diameter respektive dennas normalriktning, samt två vinkelräta axeldimensioner hos bilden. Speciellt det senare möjliggör snabba beräkningar i ett automatiserat för- farande i kombination med hög konsistens och repeterbarhet.According to a preferred embodiment, not only a first direction is selected, but two first directions. These directions can, in the same way as described above for the first direction, be any directions that are related to the dimensions of the image or to the dimensions of the identified edge area, as long as the first two directions are not parallel. Then, the identification of the local edge area is performed in a corresponding manner as described above, but using both of the first directions separately. Thus, the local edge area is selected as a part of the identified edge area that only has a local maximum along both the respective first directions. This results in higher repeatability when identifying characteristic parts even in the case of the image being rotated and also in the case of elongated edge areas. It is preferred that the first two directions be perpendicular. Examples include the direction along the longest diameter of the edge area and its normal direction, respectively, as well as two perpendicular axis dimensions of the image. The latter in particular enables fast calculations in an automated procedure in combination with high consistency and repeatability.

På ett liknande sätt väljs, enligt en föredragen utförings- form, inte endast en andra riktning utan två andra riktning- ar. Dessa båda andra riktningar kan också, såsom som beskrivs ovan för den andra riktningen, vara vilka riktningar som helst som är relaterade till bildens dimensioner eller till det identifierade kantområdets dimensioner. De får dock inte vara parallella. Därefter utförs identifieringen av tilläggs- omrädet pá motsvarande sätt såsom beskrivs ovan för den andra riktningen, men med användning av båda de andra riktningarna. 10 20 25 30 536 299 18 Alltså identifieras först ett tilläggsområde med hjälp av en av de andra riktningarna. Därefter identifieras, på motsva- rande sätt, ett ytterligare tilläggsområde med hjälp av den båda tilläggsområdet för den karaktäristiska delen som unionen av andra av de andra riktningarna. Slutligen väljs dessa identifierade tilläggsomràden. Ett sådant förfarande ger ytterligare förbättrad konsistens och repeterbarhet, eftersonl tilläggsområdet inte kommer att förändra sin form nämnvärt även j. det fall bilden exempelvis har roterats i förhållande till sitt ursprungliga utseende.In a similar manner, according to a preferred embodiment, not only a second direction but two other directions are selected. These two other directions can also, as described above for the other direction, be any directions that are related to the dimensions of the image or to the dimensions of the identified edge area. However, they must not be parallel. Thereafter, the identification of the additional area is performed in a corresponding manner as described above for the other direction, but using both the other directions. 10 20 25 30 536 299 18 Thus, an additional area is first identified by means of one of the other directions. Thereafter, a corresponding additional area is identified, correspondingly, by means of the two additional areas of the characteristic part as the Union of other of the other directions. Finally, these identified additional areas are selected. Such a method provides further improved consistency and repeatability, since the additional area will not change its shape significantly even in the case, for example, the image has been rotated in relation to its original appearance.

Ifall förbättrad önskas är det ytterligare repeterbarhet vidare möjligt att använda ytterligare första respektive andra riktningar.If improvement is desired, further repeatability is further possible to use additional first and second directions, respectively.

Enligt en föredragen utföringsfonn är bilden en fristående fotografisk bild eller en fotografisk bild som ingår i en filmsekvens. Enligt en annan föredragen utföringsform är bilden en mikroskopisk bild eller en bild som utgör resulta- tet av en mätning av ett objekts inre struktur, såsom en röntgenbild av en patient eller en artikel som skall avsynas för materialdefekter, alternativt ett tvärsnitt av ett ob- jekts tredimensionella struktur, såsom en NMR-avbildning av vävnad i en patient.According to a preferred embodiment, the image is a stand-alone photographic image or a photographic image included in a film sequence. According to another preferred embodiment, the image is a microscopic image or an image which is the result of a measurement of an object's internal structure, such as an X-ray image of a patient or an article to be inspected for material defects, or alternatively a cross section of an object. three-dimensional structure, such as an NMR image of tissue in a patient.

Enligt uppfinningen jämförs två bilder med hjälp av en eller flera i varje bild identifierade karaktäristiska delar. Det är föredraget men inte nödvändigt att de karaktäristiska delarna i båda bilderna är identifierade med hjälp av ett förfarande i enlighet med vad som beskrivits ovan.According to the invention, two images are compared by means of one or more characteristic parts identified in each image. It is preferred but not necessary that the characteristic parts of both images be identified by a method as described above.

I figur 6 illustreras två bilder 20, 30 som skall jämföras.Figure 6 illustrates two images 20, 30 to be compared.

Den ena bilden 20 innefattar ett antal i förväg identifierade 10 15 20 25 30 536 299 19 karaktäristiska delar 21-25. På motsvarande sätt innefattar den andra bilden 30 ett antal i förväg identifierade karaktä- ristiska delar 31-35. Själva bildinformationen i bilderna 20, 30 visas av tydlighetsskäl inte, och de karaktäristiska de- larna 21-25, 31-35 visas av samma anledning med grå bakgrund.One image 20 includes a number of pre-identified characteristic parts 21-25. Correspondingly, the second image 30 comprises a number of pre-identified characteristic parts 31-35. The image information itself in the images 20, 30 is not shown for the sake of clarity, and the characteristic parts 21-25, 31-35 are shown for the same reason with a gray background.

Jämförelsen mellan bilderna 20, 30 kan syfta till olika sa- ker. Exempel innefattar att direkt bedöma ifall de har samma motiv eller är identiska; att undersöka ifall den ena bilden 20 innehåller den andra bilden 30 som en delkomponent, exem- pelvis ifall bilden 20 föreställer en tillverkad. komponent som skall avsynas och bilden 30 föreställer en detaljvy av vanligt förekommande materialdefekt; att undersöka hur lika bilderna 20, 30 är för att kunna rangordna många bilder efter likhet med en viss utgângsbild under en bildbaserad sökning; och så vidare.The comparison between pictures 20, 30 can refer to different things. Examples include directly assessing whether they have the same motive or are identical; to examine whether one image 20 contains the other image 30 as a sub-component, for example if the image 20 represents a manufactured one. component to be inspected and the image 30 represents a detailed view of a common material defect; examining how similar the images 20, 30 are in order to be able to rank many images according to the similarity of a certain output image during an image-based search; and so on.

För att kunna uppnå dessa och andra liknande syften är det önskvärt att etablera ett numeriskt mått på likheten mellan bilderna 20, 30. ”likhets- Häri betecknas ett sådant mått grad”. Eftersom ett förfarande i enlighet med föreliggande uppfinning inte tar hänsyn till all bildinformation i en viss bild, utan bara till de pixlar som ingår i de identifierade karaktäristiska bilddelarna, kommer likhetsgraden med nödvän- dighet att vara ett statistiskt mått förknippat med viss osäkerhet, och med vilket det inte är möjligt att fastställa huruvida två bilder verkligen är identiska eller inte med säkerhet. Enligt en föredragen utföringsform kan därför för- farandet enligt föreliggande uppfinning kompletteras, i det fall bilderna har samma pixelupplösning och de bedöms vara mycket lika, med en korrelationsberäkning mellan bilderna 20, 30 eller med en direkt jämförelse pixel för pixel, för att avgöra ifall bilderna 20, 30 är identiska eller inte. 10 20 25 30 536 299 20 Figur '7 illustrerar översiktligt ett förfarande i. enlighet med föreliggande uppfinning. I ett första steg 301 identifie- ras en eller flera karaktäristiska delar 21-25 av den första bilden 20. tiska delar 31-35 av den andra bilden 30. delarna 21-25, Dessutom identifieras en eller flera karaktäris- De karaktäristiska 31-35 är i form av sammanhängande respektive mängder pixlar, med. andra ord. sammanhängande områden i de respektive bilderna 20, 30. Vidare är de identifierade i egenskap av särskilt informationsbärande delar av de respek- tive bilderna. Vilka kriterier som används för sådana infor- mationsbärande delar varierar mellan olika tillämpningar, men ifall ett förfarande i enlighet med det som beskrivs ovan används för att identifiera karaktäristiska delar säkerställs att delarna är särskilt informationsbärande för de flesta tillämpningar, utan att några ytterligare förkunskaper krävs beträffande bilderna 20, 30.In order to be able to achieve these and other similar objects, it is desirable to establish a numerical measure of the similarity between Figures 20, 30. "Similarity In this such measure is denoted degree". Since a method in accordance with the present invention does not take into account all image information in a particular image, but only the pixels included in the identified characteristic image portions, the degree of similarity will necessarily be a statistical measure associated with some uncertainty, and with which it is not possible to determine whether two images are really identical or not with certainty. According to a preferred embodiment, therefore, the method of the present invention can be supplemented, in case the images have the same pixel resolution and they are judged to be very similar, with a correlation calculation between the images 20, 30 or with a direct comparison pixel by pixel, to determine if the images 20, 30 are identical or not. Figure 7 generally illustrates a method in accordance with the present invention. In a first step 301, one or more characteristic parts 21-25 of the first image 20 are identified. is in the form of contiguous and sets of pixels, with. other words. contiguous areas in the respective images 20, 30. Furthermore, they are identified as special information-bearing parts of the respective images. The criteria used for such information-bearing parts vary between different applications, but if a procedure in accordance with what is described above is used to identify characteristic parts, it is ensured that the parts are particularly information-bearing for most applications, without any further prior knowledge being required. pictures 20, 30.

Vidare är de karaktäristiska delarna 21-25, 31-35 enligt uppfinningen identifierade utifrån geometrin hos själva bild- informationen på pixelnivå snarare än beroende av bildens yttre dimensioner.Furthermore, the characteristic parts 21-25, 31-35 according to the invention are identified on the basis of the geometry of the image information itself at the pixel level rather than depending on the external dimensions of the image.

I ett andra steg 302 identifieras en största 22 av de identi- fierade delarna 21-25 av den första bilden 20. Olika kriteri- er kan användas för att identifiera den största karaktäris- tiska delen: Enligt ett första föredraget kriterium är den största karak- täristiska delen i en bild den som har den största utbred- ningen i en viss förutbestämd riktning. Den förutbestämda riktningen kan antingen vara relaterad till bildens geometri, vilket är föredra- såsom en av bildens axelriktningar, eller, 10 15 20 25 30 536 299 21 get, kan den vara relaterad till den karaktäristiska delens utsträckning i bilden. Enligt en speciellt föredragen utfö- ringsform, som även används i föreliggande exemplifierande utföringsexempel, är riktningen den för den längsta diametern hos den karaktäristiska delen, dvs. för den längsta linjen mellan två i den karaktäristiska delen innefattade pixlarna.In a second step 302, a largest 22 of the identified parts 21-25 of the first image 20 is identified. Different criteria can be used to identify the largest characteristic part: According to a first preferred criterion, the largest characteristic is the tertiary part of an image is the one that has the greatest extent in a certain predetermined direction. The predetermined direction may either be related to the geometry of the image, which is preferred as one of the axis directions of the image, or, goat, it may be related to the extent of the characteristic part in the image. According to a particularly preferred embodiment, which is also used in the present exemplary embodiment, the direction is that of the longest diameter of the characteristic part, i.e. for the longest line between two pixels included in the characteristic part.

En sådan längsta diameter 22D är markerad för delen 22 med en streckad linje i figur 6.Such a longest diameter 22D is marked for the part 22 with a dashed line in Figure 6.

Enligt ett andra föredraget kriterium är den största karaktä- ristiska delen i en bild den som har den största utbredningen i någon riktning i bilden. Detta kriterium liknar det första kriteriet, men de karaktäristiska delarna jämförs beträffande sina respektive utbredningar i alla riktningar.According to a second preferred criterion, the largest characteristic part of an image is the one that has the largest spread in any direction in the image. This criterion is similar to the first criterion, but the characteristic parts are compared with respect to their respective distributions in all directions.

Enligt ett tredje föredraget kriterium är den största karak- täristiska delen i en bild den som har det största antalet pixlar som ingår i delen ifråga.According to a third preferred criterion, the largest characteristic part of an image is the one with the largest number of pixels included in the part in question.

Den vidare jämförelsen mellan bilderna 20, 30 baseras däref- ter åtminstone till del på den identifierade största karaktä- ristiska delen 22, genom att átminstone den största delen 22 används vid jämförelsen med den andra bilden 30. Detta är en mycket väsentlig aspekt av uppfinningen, eftersom detta möj- liggör att jämförelsen väsentligen inte blir beroende av eventuella manipulationer av den första bilden 20. Även om den första bilden 20 till exempel roteras, beskärs eller ändrar upplösning, kommer med stor sannolikhet samma ungefär- liga pixelområde identifieras som den största karaktäristiska delen 22, som därför kommer att innefatta ett motsvarande utsnitt pixlar i den första bilden 20. 10 15 20 25 30 536 299 22 I ett tredje steg 303 utförs därefter för åtminstone den största karaktäristiska delen 22 i den första bilden 20 och för åtminstone en karaktäristisk del i den andra bilden 30 en eller flera statistiska beräkningar, baserade på de i delarna ifråga ingående pixlarna.The further comparison between the images 20, 30 is then based at least in part on the identified largest characteristic part 22, in that at least the largest part 22 is used in the comparison with the second image 30. This is a very essential aspect of the invention. since this allows the comparison to be substantially independent of any manipulations of the first image 20. For example, even if the first image 20 is rotated, cropped or changes in resolution, the same approximate pixel area will most likely be identified as the largest characteristic portion. 22, which will therefore include a corresponding section of pixels in the first image 20. In a third step 303, it is then performed for at least the largest characteristic part 22 in the first image 20 and for at least one characteristic part in the second image 30 one or more statistical calculations, based on the pixels included in the parts in question.

Vilken eller vilka statistiska beräkningar som utförs beror på den aktuella tillämpningen, men resulterar alltid i åtmin- stone en statistisk profil för delen ifråga. Åtminstone en sådan statistisk profil för de delar för vilka beräkningar utförts lagras sedan i en databas associerad med respektive karaktäristisk del. Databasen kan vara vilken konventionell databas som helst, såsom en fil på en hårddisk, ett lokalt minnesutrymme på en dator eller en separat databas.Which statistical calculation or calculations are performed depends on the current application, but always results in at least one statistical profile for the part in question. At least one such statistical profile for the parts for which calculations have been performed is then stored in a database associated with the respective characteristic part. The database can be any conventional database, such as a file on a hard disk, a local memory space on a computer or a separate database.

Enligt en föredragen utföringsform utgörs en statistisk pro- fil för en karaktäristisk del i allmänhet av en fördelning av ett visst mätvärde över samtliga i den karaktäristiska delen ingående pixlarna. Mätvärdet kan exempelvis utgöras av en egenskap hos antingen en viss pixel, såsom intensitetsegen- skap eller huruvida pixeln är en kantpixel, eller en relation mellan egenskaperna för de i en omgivning till en viss pixel ingående pixlarna och eventuellt pixeln själv.According to a preferred embodiment, a statistical profile for a characteristic part generally consists of a distribution of a certain measured value over all the pixels included in the characteristic part. The measured value can, for example, consist of a property of either a certain pixel, such as intensity property or whether the pixel is an edge pixel, or a relation between the properties of the pixels included in an environment to a certain pixel and possibly the pixel itself.

Det är föredraget att fördelningen beräknas över mindre än 100, företrädesvis maximalt 64, olika möjliga värden för mätvärdet. I det fall mätvärdet mäts på en skala med fler steg än det antal som används för att beräkna fördelningen är det föredraget att aggregera värden för mätvärdet i mindre än 100, företrädesvis maximalt 64, olika värdeintervaller. Detta garanterar att mängden data som lagras för varje karaktäris- tisk del begränsas utan att jämförelsens precision eller repeterbarhet påverkas nämnbart. 15 20 25 30 536 299 23 Figur 8a visar en första föredragen statistisk profil för den karaktäristiska delen 22, i form av en fördelning av en pixe- lintensitetsegenskap över alla pixlar i delen 22. Pixelinten- sitetsegenskapen kan bestämmas över en eller flera kanaler, i enlighet med det ovan sagda beträffande intensitetsegenska- per, men är i föreliggande exemplifierande utföringsform ett värde mellan 0 och 63 beträffande gråskalan hos varje pixel, där O är svart och 63 är vitt. I det fall färgdjupet är stör- re än 8 bitar kan, såsom angetts ovan, varje respektive grå- skala i fördelningen hänföras till ett visst intervall, såsom pixelintensitet OSx inte någon hänsyn till inbördes placering mellan olika pix- lar.It is preferred that the distribution be calculated over less than 100, preferably a maximum of 64, different possible values for the measured value. In case the measured value is measured on a scale with more steps than the number used to calculate the distribution, it is preferable to aggregate values for the measured value in less than 100, preferably a maximum of 64, different value ranges. This ensures that the amount of data stored for each characteristic part is limited without appreciably affecting the precision or repeatability of the comparison. Figure 8a shows a first preferred statistical profile for the characteristic part 22, in the form of a distribution of a pixel intensity property over all pixels in the part 22. The pixel intensity property can be determined over one or more channels, in in accordance with the above with respect to intensity properties, but in the present exemplary embodiment, a value is between 0 and 63 with respect to the grayscale of each pixel, where 0 is black and 63 is white. In case the color depth is greater than 8 bits, as stated above, each respective grayscale in the distribution can be attributed to a certain range, such as pixel intensity OSx no consideration for mutual placement between different pixels.

Figur 8b illustrerar en andra föredragen fördelning, nämligen av antalet pixlar i omgivningen till en viss pixel som utgörs av kantpixlar. Alternativt kan det ovan beskrivna med varje pixel associerade binära talet som representerar i vilka riktningar en viss pixel uppfyller kriterierna för att vara en kantpixel användas istället för antalet pixlar i omgiv- ningen till pixeln som utgörs av kantpixlar. Eftersom antalet pixlar i föreliggande exemplifierande utföringsexempel är 8, förekommer värden mellan O och 8 i det illustrerade diagram- met. För att använda denna fördelning krävs att den karaktä- ristiska delen innefattar information beträffande vilka pix- lar i delen som utgörs av kantpixlar.Figure 8b illustrates a second preferred distribution, namely of the number of pixels in the environment to a certain pixel which consists of edge pixels. Alternatively, the binary number associated with each pixel described above, which represents in which directions a particular pixel meets the criteria for being an edge pixel, may be used instead of the number of pixels in the vicinity of the pixel which is edge pixels. Since the number of pixels in the present exemplary embodiment is 8, values between 0 and 8 appear in the illustrated diagram. To use this distribution, it is required that the characteristic part includes information regarding which pixels in the part consist of edge pixels.

Figur 8c illustrerar, på ett sätt som liknar det i figur 8b, en tredje föredragen fördelning, nu av antalet pixlar i om- givningen till en viss pixel som har en pixelintensitet som är större än pixeln ifråga och där skillnaden i pixelintensi- tet är åtminstone ett visst förutbestämt värde över en eller 15 20 25 30 536 299 24 flera kanaler. Det förutbestämda värdet beror på den aktuella tillämpningen, men är företrädesvis mellan 0 och 50% av det aktuella intensitetsintervallet för pixelintensitet. illustrerade figuren, men Figur 8d liknar den i figur 8c visar en fjärde föredragen fördelning, nämligen av antalet pixlar i omgivningen till en viss pixel som har en pixelin- tensitet som är mindre än pixeln ifråga och där skillnaden i pixelintensitet är åtminstone ett visst förutbestämt värde flera kanaler. Det förutbestämda värdet är och 50% let för pixelintensitet. över en eller helst mellan 0% av det aktuella intensitetsinterval- Figur 8e visar slutligen en femte föredragen fördelning, nämligen av den största pixelintensitetsgradienten över en eller flera kanaler inom omgivningen till en viss pixel.Figure 8c illustrates, in a manner similar to that of Figure 8b, a third preferred distribution, now of the number of pixels in the environment to a particular pixel having a pixel intensity greater than the pixel in question and where the difference in pixel intensity is at least a certain predetermined value over one or more channels. The predetermined value depends on the current application, but is preferably between 0 and 50% of the current intensity range for pixel intensity. illustrated figure, but Figure 8d is similar to that in Figure 8c shows a fourth preferred distribution, namely of the number of pixels in the environment to a certain pixel having a pixel intensity which is less than the pixel in question and where the difference in pixel intensity is at least a certain predetermined value several channels. The predetermined value is and 50% let for pixel intensity. Finally, Figure 8e shows a fifth preferred distribution, namely of the largest pixel intensity gradient over one or more channels within the environment to a certain pixel.

Gradienten kan variera över hela det använda intensitetsin- tervallet för pixlar i den karaktäristiska delen, i förelig- gande exempel mellan 0 och 63.The gradient can vary over the entire intensity range used for pixels in the characteristic part, in the present example between 0 and 63.

Utseendet hos sådana statistiska fördelningar kommer att vara förhållandevis opåverkade av ndndre variationer beträffande exakt vilka pixlar som ingår i identifierade karaktäristiska som samma ungefärliga bildområde träffas delar, så länge varje gång en viss karaktäristisk del identifieras. Detta medför att de ovan angivna fördelningarna kommer att ha vä- sentligen samma principiella egenskaper oberoende av ifall en bild har manipulerats på olika sätt, vilket i sin tur medför att en jämförelse mellan två bilder enligt uppfinningen och med hjälp av sådana fördelningar kommer att resultera i ett liten utsträckning vid likhetsmått som förändras endast i manipulering av bilderna. 10 15 20 25 30 536 299 25 I ett fjärde steg 304 jämförs därefter enligt uppfinningen den eller de beräknade statistiska profilerna för den största karaktäristiska delen 22 i den första bilden 20 parvis med motsvarande statistiska profil eller profiler för åtminstone en av den eller de karaktäristiska delar 31-35 hos den andra bilden 30 för vilka en statistisk profil beräknats. I det fall olika statistiska profiler har beräknats för olika ka- raktäristiska delar jämförs enligt en föredragen utförings- form endast de som är gemensamma mellan delarna.The appearance of such statistical distributions will be relatively unaffected by other variations in exactly which pixels are included in identified characteristic parts of the same approximate image area, as long as each time a certain characteristic part is identified. This means that the above distributions will have substantially the same principal properties regardless of whether an image has been manipulated in different ways, which in turn means that a comparison between two images according to the invention and by means of such distributions will result in to a small extent in similarity measures that change only in the manipulation of the images. In a fourth step 304, according to the invention, the calculated statistical profile or profiles for the largest characteristic part 22 in the first image 20 are then compared in pairs with the corresponding statistical profile or profiles for at least one of the characteristic part or parts. 31-35 of the second image 30 for which a statistical profile has been calculated. In the case where different statistical profiles have been calculated for different characteristic parts, only those that are common between the parts are compared according to a preferred embodiment.

I ett femte steg 305 identifieras likhetsgraden mellan den första 20 och den andra 30 bilden som ett numeriskt värde som är högre ifall de parvis jämförda statistiska profilerna befinns vara mer lika än ifall profilerna befinns vara mindre lika. Därefter lagras likhetsgraden lagras i digital form på ett lagringsmedium. Lagringsmediet kan vara vilket konventio- nellt lagringsmedium som helst, såsom beskrivs ovan.In a fifth step 305, the degree of similarity between the first 20 and the second image is identified as a numerical value that is higher if the paired statistical profiles are found to be more equal than if the profiles are found to be less equal. Thereafter, the degree of similarity is stored in digital form on a storage medium. The storage medium can be any conventional storage medium, as described above.

Enligt en föredragen utföringsform utförs jämförelsen mellan två statistiska profiler genom att beräkna ett eller flera mätvärden som är karaktäristiska för varje respektive statis- tisk profil, och därefter jämföra motsvarande mätvärden för de två statistiska profilerna. Exempel på användbara sådana karaktäristiska mätvärden innefattar medelvärdet, medianen, variansen, standardavvikelsen och differensen för den statis- tiska profilen. ”Differensen” syftar här på skillnaden mellan det minsta och största värdet i fördelningen. Genom att på detta sätt reducera jämförelsen mellan två karaktäristiska delar till den parvisa jämförelsen mellan ett eller flera mätvärden hörande till en eller flera statistiska profiler, blir det möjligt att åstadkomma en mycket snabb men ändå precis jämförelse mellan två bilder, eftersom mätvärdena för 10 15 20 25 30 535 299 26 varje identifierad karaktäristisk del kan beräknas på förhand och lagras i en databas associerad med bilden ifråga.According to a preferred embodiment, the comparison between two statistical profiles is performed by calculating one or more measured values that are characteristic of each respective statistical profile, and then comparing the corresponding measured values for the two statistical profiles. Examples of useful such characteristic measurement values include the mean, the median, the variance, the standard deviation and the difference for the statistical profile. The "difference" here refers to the difference between the smallest and largest value in the distribution. By in this way reducing the comparison between two characteristic parts to the pairwise comparison between one or more measured values belonging to one or more statistical profiles, it becomes possible to achieve a very fast but still accurate comparison between two images, since the measured values for 10 15 20 Each identified characteristic part can be calculated in advance and stored in a database associated with the image in question.

Enligt en ytterligare föredragen utföringsform anses likhet mellan tvä statistiska profiler föreligga i det fall den parvisa skillnaden mellan samtliga par motsvarande beräknade mätvärden för de båda statistiska profilerna är mindre än ett för varje typ av nëtvärde förutbestämt värde. Det förutbe- stämda värdet väljs, beroende på tillämpning och toleransen för när likhet mellan två karaktäristiska områden skall anses föreligga, individuellt för varje använd typ av karaktäris- tiskt mätvärde. Detta möjliggör att en enkel numerisk jämfö- relse mellan två olika värden kan ligga till grund för jämfö- relsen mellan två statistiska profiler, vilket medför att en jämförelse mellan två bilder enligt föreliggande uppfinning kan bli mycket snabb.According to a further preferred embodiment, similarity between two statistical profiles is considered to exist in the case where the pairwise difference between all pairs correspondingly calculated measured values for the two statistical profiles is less than one for each type of net value predetermined value. The predetermined value is selected, depending on the application and the tolerance for when similarity between two characteristic areas is to be considered to exist, individually for each type of characteristic measured value used. This enables a simple numerical comparison between two different values to form the basis for the comparison between two statistical profiles, which means that a comparison between two images according to the present invention can be very fast.

Det är nbjligt att jämföra de två bilderna 20, 30 enbart genom att jämföra den identifierade största karaktäristisk delen. 22 i den första, bilden 20 med. en eller flera av de karaktäristiska delarna i den andra bilden 30. För att åstad- komma en bättre precision är det emellertid föredraget att parvis jämföra ett flertal karaktäristiska delar av den för- sta bilden 20 med ett flertal karaktäristiska delar av den andra bilden 30, och låta denna mångfald jämförelser ligga till grund för ett likhetsmått mellan de båda bilderna.It is advisable to compare the two images 20, 30 only by comparing the identified largest characteristic part. 22 in the first, picture 20 with. one or more of the characteristic parts of the second image 30. However, in order to achieve a better precision, it is preferable to compare in plurality a plurality of characteristic parts of the first image 20 with a plurality of characteristic parts of the second image 30, and let this diversity of comparisons form the basis of a measure of similarity between the two images.

Valet av karaktäristiska delar av den första bilden 20 som skall jämföras med en eller flera karaktäristiska delar i den andra bilden 30 kan ske på olika sätt. Enligt en föredragen utföringsform sker en initial sållning av karaktäristiska delar innan steget 301 inleds. Detta syftar i allmänhet till att rensa bort sådana karaktäristiska delar som kan antas 10 15 20 25 30 536 299 27 bidra i relativt liten utsträckning till precisionen hos det slutligen beräknade likhetsmåttet mellan bilderna 20, 30.The selection of characteristic parts of the first image 20 to be compared with one or more characteristic parts of the second image 30 can take place in different ways. According to a preferred embodiment, an initial screening of characteristic parts takes place before the step 301 begins. This is generally intended to clear away such characteristic parts which can be assumed to contribute to a relatively small extent to the precision of the finally calculated similarity measure between the images 20, 30.

Som ett exempel identifieras enligt en föredragen utförings- fornl således i. ett förberedande steg karaktäristiska delar för en mångfald olika bilder, företrädesvis ett mycket stort antal bilder, såsom åtminstone 1000 bilder, ännu hellre åt- minstone 10000 bilder. Det är föredraget att de i detta steg analyserade bilderna liknar de som i senare steg skall jämfö- ras, exempelvis genom att de föreställer liknande motiv.Thus, as an example, according to a preferred embodiment, in a preparatory step, characteristic parts of a variety of images, preferably a very large number of images, such as at least 1000 images, more preferably at least 10,000 images, are identified. It is preferred that the images analyzed in this step are similar to those to be compared in later steps, for example by representing similar motifs.

Därefter beräknas en eller flera statistiska profiler, pà samma sätt som beskrivits ovan och baserade på varje identi- fierad karaktäristisk del för alla bilder, varefter de sta- tistiska profilerna lagras i en databas.Then one or more statistical profiles are calculated, in the same way as described above and based on each identified characteristic part for all images, after which the statistical profiles are stored in a database.

Innan en första bild 20 skall jämföras med en andra bild 30 analyseras sedan varje identifierad karaktäristisk del 21-25 i den första bilden 20, och eventuellt även i den andra bil- den 30, varvid en statistik jämförelse utförs mellan varje beräknad statistisk profil för varje identifierad karaktäris- tisk del i den första bilden 20 och mängden statistiska pro- filer för mångfalden olika bilder. Denna analys kan utföras med hjälp av j. sig konventionella statistiska metoder, och syftar till att sålla bort alla i den första bilden 20 iden- tifierade karaktäristiska delar vars statistiska profiler liknar de i databasen lagrade karaktäristiska delarnas sta- tistiska profiler mest, och med andra ord till att endast sådana identifierade karaktäristiska delar i den första bil- den 20 vars statistiska profiler är mer unika än ett visst förutbestämt värde i förhållande till mängden statistiska profiler i mångfalden olika bilder väljs ut för att användas vid jämförelsen mellan den första 20 och den andra 30 bilden.Before a first image 20 is to be compared with a second image 30, each identified characteristic part 21-25 is then analyzed in the first image 20, and possibly also in the second image 30, whereby a statistical comparison is performed between each calculated statistical profile for each identified characteristic part of the first image 20 and the amount of statistical profiles for the diversity of different images. This analysis can be performed using conventional statistical methods, and aims to sift out all in the first image 20 identified characteristic parts whose statistical profiles are most similar to the statistical profiles of the characteristic parts stored in the database, and with others words that only those identified characteristic parts of the first image 20 whose statistical profiles are more unique than a certain predetermined value in relation to the amount of statistical profiles in the plurality of different images are selected for use in the comparison between the first 20 and the second 30 image.

Ett exempel på hur analysen kan utföras är att de karaktäris- 10 15 20 25 30 536 299 28 tiska delarna i den första bilden 20 rangordnas, så att delar vars statistiska profiler är identiska med ett större antal av de statistiska. profilerna j. databasen rangordnas lägre, och av att endast de högst rangordnade delarna väljs ut för att användas vid jämförelsen med den andra bilden 30. Det är föredraget att endast cirka 20%, hellre cirka 10%, av alla identifierade karaktäristiska delar av en första bild 20 väljs ut, och att resten sållas bort i det förberedande ste- get.An example of how the analysis can be performed is that the characteristic parts of the first image 20 are ranked, so that parts whose statistical profiles are identical to a larger number of the statistical ones. the profiles j. the database are ranked lower, and that only the highest ranked parts are selected for use in the comparison with the second image 30. It is preferred that only about 20%, preferably about 10%, of all identified characteristic parts of a first Fig. 20 is selected, and the rest is screened out in the preparatory step.

I kombination med eller istället för en sådan förberedande sållning kan enligt en föredragen utföringsform de identifie- rade karaktäristiska delarna. 21-25 i den första bilden 20 rangordnas i storleksordning enligt något av de ovan beskriv- företrä- na storleksmátten. Därefter väljs endast de största, desvis endast de 20-40 största, karaktäristiska delarna ut för att användas vid jämförelsen med den andra bilden 30.In combination with or instead of such a preparatory screening, according to a preferred embodiment, the identified characteristic parts can. 21-25 in the first image 20 are ranked in order of magnitude according to any of the preferred magnitudes described above. Then only the largest, unfortunately only the 20-40 largest, characteristic parts are selected for use in the comparison with the second image 30.

Motsvarande överväganden beträffande vilka karaktäristiska områden som skall användas vid jämförelsen mellan bilderna 20, 30 kan med fördel göras för den andra bilden 30 i ett inledande steg innan steget 301 påbörjas.Corresponding considerations as to which characteristic areas to use in the comparison between the images 20, 30 can advantageously be made for the second image 30 in an initial step before the step 301 begins.

När valet av karaktäriska delar som skall användas är klart för båda bilderna 20, 30, jämförs de varvid en likhetsgrad mellan bilderna 20, 30 fastställs baserat på en statistisk jämförelse mellan de respektive karaktäristiska delarnas beräknade statistiska profiler. Härvidlag identifieras lik- hetsgraden mellan bilderna 20, 30 som högre ifall samlingen av de statistiska profilerna för den första bilden 20 statis- tiskt är mer lik samlingen statistiska profiler för den andra bilden enligt ett visst förutbestämt statistiskt mätt. 15 20 25 30 536 299 29 Det förutbestämda statistiska måttet kan vara ett i sig kon- ventionellt mått för att jämföra två olika grupper statistis- ka data som inte nödvändigtvis har samma gruppstorlek, men enligt en föredragen utföringsform är det förutbestämda sta- tistiska måttet för likhet mellan två karaktäristiska delar samlingar av karaktäristiska delars respektive statistiska profiler antalet parvis jämförda statistiska profiler som befinns vara lika. Med andra ord jämförs de statistiska pro- filerna parvis mellan varje par karaktäristiska delar, och likhetsmåttet är antalet par som befanns vara identiska vid jämförelsen. identiska desto Ju fler par som ansågs vara högre likhetsgrad mellan bilderna 20, 30. Huruvida två sta- tistiska profiler skall anses vara lika eller inte kan exem- såsom beskrivits ovan. Endast statistiska pelvis avgöras profiler av samma typ jämförs med varandra.When the selection of characteristic parts to be used is clear for both images 20, 30, they are compared, a degree of similarity between the images 20, 30 being determined based on a statistical comparison between the calculated statistical profiles of the respective characteristic parts. In this respect, the degree of similarity between the images 20, 30 is identified as higher if the collection of the statistical profiles for the first image 20 is statistically more similar to the collection of statistical profiles for the second image according to a certain predetermined statistical measure. 15 20 25 30 536 299 29 The predetermined statistical measure may be a conventional measure in itself for comparing two different groups of statistical data which do not necessarily have the same group size, but according to a preferred embodiment the predetermined statistical measure for similarity between two characteristic parts collections of characteristic parts and statistical profiles respectively The number of statistically compared statistical profiles that are found to be equal. In other words, the statistical profiles are compared in pairs between each pair of characteristic parts, and the measure of similarity is the number of pairs that were found to be identical in the comparison. identical the more pairs that were considered to be higher degree of similarity between images 20, 30. Whether two statistical profiles are to be considered equal or not can be exemplified as described above. Only statistical pelvises are determined profiles of the same type are compared with each other.

En sådan likhetsgrad utgör ett relativt mått på likhet mellan två jämförda bilder, som på ett snabbt sätt kan beräknas och som ger god precision även i det fall en eller båda av de jämförda bilderna manipuleras.Such a degree of similarity constitutes a relative measure of similarity between two compared images, which can be calculated quickly and which provides good precision even in the event that one or both of the compared images are manipulated.

Enligt en föredragen utföringsform tilldelas emellertid olika karaktäristiska delar olika betydelse vid jämförelsen mellan bilderna 20, 30. Detta sker med fördel med hjälp av viktfak- torer, så att statistiska profiler för högre viktade karaktä- ristiska delar bidrar i relativt större utsträckning till utfallet av likhetsgraden mellan bilderna 20, 30. Enligt en föredragen utföringsform beräknas först viktfaktorer för alla de karaktäristiska delar i den första bilden 20 som skall användas vid jämförelsen. Därefter utförs jämförelsen parvis med hjälp av de statistiska profilerna, såsom beskrivits ovan. För varje identiskt par statistiska profiler läggs dock den viktfaktorn för den aktuella karaktäristiska delen i 10 20 25 30 536 299 30 första bilden till värdet för likhetsgraden, så att högre viktade karaktäristiska delar får större påverkan på den slutliga likhetsgraden.According to a preferred embodiment, however, different characteristic parts are assigned different importance in the comparison between Figures 20, 30. This is done with the aid of weighting factors, so that statistical profiles for higher weighted characteristic parts contribute to a relatively greater extent to the outcome of the degree of similarity. between the images 20, 30. According to a preferred embodiment, weight factors are first calculated for all the characteristic parts of the first image 20 to be used in the comparison. Thereafter, the comparison is performed in pairs using the statistical profiles, as described above. For each identical pair of statistical profiles, however, the weight factor for the relevant characteristic part in the first image is added to the value of the degree of similarity, so that higher weighted characteristic parts have a greater influence on the final degree of similarity.

Det har överraskande visat sig att den största karaktäristis- ka delen 22 :L den första bilden i allmänhet oftast är den mest utmärkande och informationsbärande. Därför är det före- draget att den största delen 22 erhåller den högsta viktfak- viktas resterande utvalda karaktäristiska torn. Därefter delar i geometrisk relation till den största delen 22.It has surprisingly been found that the largest characteristic part 22: L the first image is generally usually the most distinctive and information-bearing. Therefore, it is preferred that the largest part 22 obtain the remaining selected characteristic weight of the highest weight box weight. Then parts in geometric relation to the largest part 22.

Enligt en första föredragen utföringsform baseras, för alla utvalda delar förutom den största delen, viktfaktorn på det euklidiska avståndet i bilden 20 mellan den utvalda delen och den största delen 22. l/di, i den första bilden 20.According to a first preferred embodiment, for all selected parts except the largest part, the weight factor is based on the Euclidean distance in the image 20 between the selected part and the largest part 22. l / di, in the first image 20.

Exempelvis sätts varje viktfaktor till där är avståndet mellan del i och den största delen 22 En sådan viktfaktorstruktur reflekte- rar det förhållandet att den största karaktäristiska delen i många fall är belägen i närheten av bildens för jämförelse- syften mest intressanta parti, varför de karaktäristiska delar som är belägna i närheten av den största delen också med hög sannolikhet är speciellt informationsbärande.For example, each weight factor is added to which is the distance between part i and the largest part 22 Such a weight factor structure reflects the fact that the largest characteristic part is in many cases located near the image of the image most interesting for comparison purposes, so the characteristic parts which are located in the vicinity of the largest part also with high probability are particularly information-bearing.

Enligt en andra föredragen utföringsform baseras istället viktfaktorn för en utvald del på storleksförhållandet mellan delen ifråga och den största delen 22. Exempelvis sätts vikt- faktorn till sf/S, där sf är storleken, enligt något av de storleksmått som diskuterats ovan, för delen i och S på mot- svarande sätt är storleken för den största delen. Sådana viktfaktorer avspeglar det faktum att större karaktäristiska informationsbärande än mindre delar ofta är relativt mer karaktäristiska delar. 20 536 299 31 Enligt en tredje föredragen utföringsform baseras viktfaktorn för en utvald del pä vinkeln i den första bilden 20 mellan den största diametern för delen ifråga och den största diame- tern för den största delen 22. Detta illustreras i figur 6, där den största diametern 23D för delen 23 illustreras till- sammans med den största diametern 22D för den största delen 22, och där vinkeln a mellan dessa diametrar 22D, 23D också är markerad. Det är föredraget att mindre vinklar a renderar höga viktfaktorer, dvs. karaktäristiska delar vars största diameter är närmare en riktning som är parallell med den största diametern 22D hos den största karaktäristiska delen 22 viktas högt. Ett sådant val av viktfaktorer reflekterar den omständighet som föreliggande uppfinnare upptäckt att i hög' grad informationsbärande karaktäristiska delar i många fall är ungefärligen parallella.According to a second preferred embodiment, the weight factor for a selected part is instead based on the size ratio between the part in question and the largest part 22. For example, the weight factor is set to sf / S, where sf is the size, according to one of the sizes discussed above, for the part in and S correspondingly is the size for the most part. Such weighting factors reflect the fact that larger characteristic information carriers than smaller parts are often relatively more characteristic parts. According to a third preferred embodiment, the weight factor for a selected part is based on the angle in the first image 20 between the largest diameter of the part in question and the largest diameter of the largest part 22. This is illustrated in Figure 6, where the largest the diameter 23D of the part 23 is illustrated together with the largest diameter 22D of the largest part 22, and where the angle α between these diameters 22D, 23D is also marked. It is preferred that smaller angles a render high weight factors, i.e. characteristic parts whose largest diameter is closer to a direction parallel to the largest diameter 22D of the largest characteristic part 22 are highly weighted. Such a choice of weighting factors reflects the fact that the present inventors have discovered that highly information-bearing characteristic parts are in many cases approximately parallel.

Ovan har föredragna utföringsformer beskrivits. Emellertid är det uppenbart för fackmannen att många förändringar kan göras av de beskrivna utföringsformerna utan att frångå uppfinning- ens tanke. Sålunda skall uppfinningen inte vara begränsad av de beskrivna utföringsformerna, utan kan varieras inom ramen för de bifogade kraven.Preferred embodiments have been described above. However, it will be apparent to those skilled in the art that many changes may be made to the described embodiments without departing from the spirit of the invention. Thus, the invention should not be limited by the described embodiments, but may be varied within the scope of the appended claims.

Claims

10 15 20 25 30 536 299 32 P A T E N T K R. A V

A method for comparing and identifying the degree of similarity (20) (30) of an image, wherein both cars are stored in digital format in the form of between a first and a second one (20,30) a respective matrix made up of pixels, k Characteristics - of the following steps: a) identifying at least one characteristic part (21-25) (20) and at least one characteristic (30) of the first image critical part (31-35) of the second image in the form of respective quantities pixels that form respective contiguous parts in the respective image; b) identifying a largest (22) of the characteristic part (21-25) of the first image (20) identified in step a): largest characteristic (20) in the second image c) regarding at least that and at least one ( 30), (22) in the first image (31-35) part characteristic part perform at least one statistical calculation based on the pixels included in the parts (22,3l-35), which calculation results in at least one statistical profile for the part in question, and store the statistical profiles in a database associated with the respective characteristic part; d) for the largest characteristic part of the pre- (20), corresponding statistical profile for a characteristic part (31-35) (30) statistical profile calculated in step c); (22) the first image compares the statistical profile with that of the second image for which one e) identifies the degree of similarity between the first (20) and the second (30) image as higher if the statistically compared statistical profiles in the comparison in step 10 20 25 30 535 299 33 d) is found to be more similar than if the profiles are found to be less similar; and f) storing a measure of identified similarity in digital form on a storage medium. characterized by (21-25,31-35) largest diameter in a certain predetermined

Method according to claim 1, a characteristic part size (21-25,31-35) that in step c) is the tuned direction of the part. k ä n n e t e c k n a t a v (21-25,31-35)

A method according to claim 1, that in step c) the size (21-25,31-35) of the characteristic part (20-25,31-35). is the largest diameter of the part in any direction in

4. A method according to claim 1, characterized in that in step c) the size of a characteristic part (21-25.31-35) is the number of pixels included in the part (21-25.31-35).

A method according to any one of the preceding claims, characterized in that a number of those drawn (20) in the first image (21-25) to be selected together with the identified largest ka of identified characteristics are brought to the characteristic part (30). ), the selected parts a statistical profile is made to be compared with (22) for use in the comparison with the second image and by that in step d) for all of them a statistical profile for at least one characteristic part of the second image (30).

Method according to claim 5, characterized in that, in an initial step before step a), characteristic parts are made to be identified for a plurality of different images, in that at least one statistical profile is made to be calculated based on each identified respective characteristic part in 10 15 20 25 30 536 299 34 the diversity of different images, in that a statistical comparison is made between a statistical profile for each (20) identified characteristic part of the first image and the set of statistical profiles for the diversity of different images, and in that only those identified characteristic parts in (20) value in relation to the amount of statistical profiles in the plurality of the first image which are more unique than a predetermined fall different images are brought to be selected together with the identified largest characteristic part to be used in the comparison with the second image ( 30).

Method according to claim 5 or 6, characterized in that a ranking is caused to be performed by the characteristic parts identified in the first image (20) in order of magnitude, and by only a certain number of the largest characteristic parts being brought to be selected.

A method according to any one of the preceding claims, characterized in that in step d) at least one statistical profile for one or more identified characteristic parts in the first image (20) is compared with at least one statistical profile for one or more characteristic parts (30), (20, 30) of the second image and that in step e) the degree of similarity between the images if they are to be identified as higher and the statistical profiles of the collection compared parts of the first image (20) are statistically more similar to those the respective statistical profiles for the collection of compared parts of the second image (30) according to a certain predetermined statistical measure.

Method according to claim 8, characterized in that the certain predetermined statistical measure for similarity between two sets of characteristic parts is the number of comparatively compared statistical profiles that are found to be equal according to a certain predetermined statistical measure for similarity. between two characteristic parts.

A method according to claim 8 or 9, characterized in that a weight factor is made to be associated with each characteristic part identified in the first image (20), wherein the weight factor is made to be calculated based on the geometric relation of the respective characteristic part to the largest identified characteristic part (22) in the first image (20), certain characteristic part in the first image and that in step e) the significance of the similarity between one (20) and one or (30) several characteristic parts in the the second image is made to be weighted by means of the respective weight factor.

Method according to claim 10, characterized in that the weight factor is brought to include the Euclidean distance (20) part in question and the identified largest characteristic part (22). it in. the image between the identified characteristic

A method according to claim 10, characterized in that the weight factor is caused to include the size ratio between the identified characteristic part in question and the identified largest characteristic part (22).

A method according to claim 10, characterized in that the weight factor is caused to include the angle in the image (20) between the largest diameter of the identified characteristic part in question and the largest diameter of the identified largest characteristic part (22).

A method according to any one of the preceding claims, characterized in that each identified characteristic part (II) and in that each is made to comprise one or more edge pixels and one or more further pixels (12), 536 The profile is made to comprise at least one distribution of a certain measured value over all the pixels included in the part, where the certain measured value is made to be selected from the following: i) pixel intensity over one or more channels; ii) the number of pixels in the environment (3) to a pixel (4) which are edge pixels; iii) the number of pixels in the environment (3) of a pixel (4) which have a pixel intensity which is greater than that of the pixel (4) in question and where the difference in the pixel intensity is at least a certain predetermined value over one or more channels; iv) the number of pixels in the environment (3) of a pixel (4) which have a pixel intensity which is less than that of the pixel (4) in question and where the difference in the pixel intensity is at least a certain predetermined value over one or more channels; v) the largest pixel intensity gradient over one or (4): several channels within the environment (3) to one pixel

Method according to claim 14, characterized in that a comparison between two statistical profiles is made by calculating at least one measured value selected from mean, standard deviation and median, variance, difference for both the respective statistical profiles, and that are the corresponding calculated measured values for two statistical- when the statistical profiles tical profiles that are compared are compared.

Method according to claim 15, characterized in that similarity between two statistical profiles is considered to exist in the event that the pairwise difference between all pairs of corresponding calculated measured values for the two statistical profiles is less than one for each type. of measured value predetermined value.

A method according to any one of the preceding claims, characterized in that a stored image (1) is digitally identified by a characteristic part of an image by first identifying an edge area (10) in the image (1) consisting of one in the image (1). ) a continuous amount of edge pixels which together form an edge area (10) in the image (1); then identifying a first direction (A1) in the image (1) for the edge area (10): then identifying a local edge area (ll) consisting of a plurality of pixels in the image (1) for which local (ll) (A1) to edge area width along the first direction lacks local maximums except for a single global maximum; then identify a second direction (A2) for the local (ll); then identifying an additional area (11) the edge area (12) around the local edge area (14a, 14b) which comprises pixels located in immediate connection to a peri- (13) of the local edge area (13) up to an (A2) from the boundary pixel (13) as (ll) width in and that the finely located boundary pixel (ll) and further away from the boundary pixel distance in the second direction is proportional to the second direction (A2) of the local edge area at the boundary pixel (13): identifying the characteristic part of the image (1) so as to include the local edge area (ll) (12), and the additional area and storing the characteristic part in digital form on a storage medium.