SE0950140A1 - Förfarande för att tolka bilder - Google Patents

Abstract

Forfarande for att klassificera en bild. Uppfinningen utmarks av att förfarandet innefattar stegen atten dator eller flera sammankopplade datorer a) bringas att påett digitalt lagringsmedium lagra en första bild som skallklassificeras i form av en uppsåttning pixlar, dar varjepixel ar associerad med bildinformation i åtminstone en kanalfor ljusintensitet; b) bringas att utfora en forsta klassifi-cering av bilden, vilken klassificering bringas att baseraspå varje respektive pixels bildinformation och bringas attassociera varje pixel med en viss klass i en forsta uppsatt-ning klasser, och i en forsta databas bringas att lagra dessaassocieringar; c) for varje pixel och for flera klasser i denforsta uppsåttningen klasser bringas att berakna det minstaavståndet i bilden mellan pixeln ifråga och den narmastepixel som i den forsta databasen år associerad med klassenifråga, samt i en andra databas bringas att lagra en associa-tion mellan varje pixel och det for pixeln beråknade minstaavståndet for varje klass for vilket ett avstånd beraknats;d) bringas att utfora en andra klassificering av den i denandra databasen lagrade datamangden, vilken klassificeringbringas att baseras på varje pixels minsta avstånd till varjerespektive klass, och associera varje pixel med en viss klass i en andra uppsattning klasser; och e) på ett digitalt lag-ringsmedium bringas att lagra den klassificerade bilden iforn1 av en 'uppsåttning' pixlar, dar varje pixel innefattardata betraffande pixelns association med den vissa klassen iden andra uppsattningen klasser och dar den klassificerade bilden har samma dimensioner som den forsta bilden. P:\patra.nor\docs\docternp\~20090310032846292.doc, 2009-03-10

Description

15 20 25 30 uppbyggd av ett antal individuella pixlar. Varje pixel asso- cieras sedan med en viss respektive pixelklass, vald bland ett antal sådana klasser, vars syfte är att representera en viss typ av pixel. När alla pixlar har associerats med en respektive klass kan varje klass inventeras för att på detta sätt få en samlad bild över var i bilden pixlar av en viss ”klassifi- typ förekommer. Ett sådant förfarande benämns häri cering”. En viss klass kan sålunda till exempel representera ”väg”, ”muskelvävnad” eller ”materialdefekt”.

Typiskt används klassificeringstekniker för att lokalisera objekt och gränser, såsom linjer, i en bild. kurvor, fält etc., Flera försök har gjorts för att åstadkomma ett förfarande för att automatiskt kunna utföra användbara klassificeringar av bilder där kunskapen om bildinnehållet är begränsad före klassificeringen.

Det har exempelvis föreslagits ett förfarande där ett rörligt ”fönster” bringas att röra sig över bilden och på så sätt försöka karaktärisera en i fönstrets mitt belägen pixel till en viss klasstillhörighet genom att med hjälp av statistiska metoder studera ndttpixelns omgivande pixlar (kernelbaserad segmentering). För vissa typer av bilder kan ett sådant för- farande vara effektivt, men klassificeringen blir ofta mycket splittrad med klasser som innefattar pixlar från många olika delar av bilden. Detta medför att det blir svårt att uttyda användbar information ur klassificeringen utan stort manuellt arbete.

Det har även föreslagits en automatisk klassificering av en bild som tar samtidig hänsyn till samtliga pixlar i ett ite- rativt förfarande (fönsteroberoende klassificering). Ett P:\paira.nor\docs\doctemp\~200903100333018222.doc, 2009-0340 10 15 20 25 30 exempel på en algoritm som kan användas i ett sådant förfa- rande är en klusteranalys av K-meanstyp. Även sådana förfa- randen resulterar ofta i splittrade klassificeringar när de används för att klassificera digitalt lagrade bilder. of Brain I artikeln ”Automated Segmentation of MR Images Tumors”, Michael R., 2l8:586- 591, Kaus, et al., Radiology 2001; beskrivs en iterativ klassificering av en tredimensio- skalle. nell MR-avbildning' av en mänsklig Klassificeringen utförs iterativt, med hjälp av bland annat lokala segmente- ringsstrategier och en avståndstransform som beräknar avstån- och en det mellan en viss voxel (en tredimensionell pixel) viss klass, samt på basis av information beträffande gråska- leintensitet hos de i avbildningen ingående voxlarna.

Ett sådant förfarande utgörs till stor del avc moment som måste utföras manuellt för att uppnå tillräcklig tillförlit- lighet i det färdigklassificerade resultatet. Dessutom krävs en förhållandevis stor kunskap om objektet innan klassifice- ringen påbörjas, exempelvis en jämförelsebild som illustrerar ett ”normalfall” eller motsvarande.

Föreliggande uppfinning löser de ovan beskrivna problemen.

Således hänför sig uppfinningen till ett förfarande för att klassificera en bild, och utmärks av att förfarandet innefat- tar stegen att en dator eller flera sammankopplade datorer a) bringas att på ett digitalt lagringsmedium lagra en första bild som skall klassificeras i form av en uppsättning pixlar, där varje pixel år associerad med bildinformation i åtminsto- att utföra en ne en kanal för ljusintensitet; b) bringas första klassificering av bilden, vilken klassificering bring- as att baseras på varje respektive pixels bildinformation och klass i en bringas att associera varje pixel med. en viss P:\paira.nor\docs\doctemp\~200903100333018222.doc, 2009-0340 10 15 20 25 30 första uppsättning klasser, och i en första databas bringas att lagra dessa associeringar; c) för varje pixel och för flera klasser i den första uppsättningen klasser bringas att beräkna det minsta avståndet i bilden mellan pixeln ifråga och den närmaste pixel som i den första databasen är associe- rad med klassen ifråga, samt i en andra databas bringas att lagra en association mellan varje pixel och det för pixeln beräknade minsta avståndet för varje klass för vilket ett avstånd beräknats; d) bringas att utföra en andra klassifice- ring av den i den andra databasen lagrade datamängden, vilken klassificering bringas att baseras på varje pixels minsta avstånd till varje respektive klass, och associera varje pixel med en viss klass i en andra uppsättning klasser; och e) på ett digitalt lagringsmedium bringas att lagra den klas- sificerade bilden i form av en uppsättning pixlar, där varje pixel innefattar data beträffande pixelns association med den vissa klassen i den andra uppsättningen klasser och där den klassificerade bilden har samma dimensioner som den första bilden.

Uppfinningen kommer nu att beskrivas i detalj, med hänvisning till exemplifierande utföringsformer av uppfinningen och de bifogade ritningarna, där: Figur l är en fotografisk, digital satellitbild i gråskala över ett delvis bebyggt område; Figur 2 visar en konventionell, kernelbaserad segmentering i fem klasser för den satellitbild som illustreras i figur l; Figur 3 visar en konventionell, fönsteroberoende klassifice- ring i tjugonio klasser för den satellitbild som illustreras i figur l; Figur 4 är en grafisk illustration över fördelningen av mins- ta avstånd från varje respektive pixel till en av de klasser som visas i figur 3; P:\paira.nor\docs\doctemp\~200903100333018222.doc, 2009-0340 10 15 20 25 30 Figur" 5 visar en klassificering enligt uppfinningen. i tio klasser för den satellitbild som illustreras i figur l; och Figur 6 är ett flödesschema som illustrerar ett förfarande enligt föreliggande uppfinning.

Figur l är således en fotografisk satellitbild med en pixel- upplösning på lOxlO m over ett visst delvis bebyggt geogra- fiskt område. Att bilden ar ”fotografisk” syftar häri på att den är framställd genom att ljus har uppfångats och tolkats av en bildsensor. Med andra ord kan bilden vara framställd genom avläsning av ljus över ett eller flera våglängdsområ- den. Bilden i figur l är en så kallad kompositbild, baserad på 3 olika spektralband som sedan på i sig konventionellt sätt konverterats till en gråskala. Bilden ar lagrad i digi- tal form på ett lämpligt lagringsmedium i form av en uppsätt- ning pixlar, där varje pixel är associerad med bildinforma- tion i åtminstone en kanal för ljusintensitet. I figur l visas en tvådimensionell bild, där pixlarna är ordnade i ett tvådimensionellt koordinatsystem, och där varje pixel är associerad med en enda kanal för ljusintensitet (grå nyans).

Det inses emellertid att även bilder med fler än två dimen- (ex- sioner, och med ljusintensitet över fler kanaler än två empelvis ljusintensitetsinformation lagrad enligt RGB- standard), kan användas enligt föreliggande uppfinning.

Det är önskvärt att åstadkomma en automatisk klassificering av sådana bilder, för att på ett enkelt sätt och med hög noggrannhet särskilja. olika typer" av företeelser i. bilden, såsom vägar, husbebyggelse, skog, åkermark, parker, etc.

Den bild som visas i figur 2 är samma bild som den i figur l, men där bilden har behandlats genom en konventionell, kernel- baserad segmentering. Ett fönster bestående av 5x5 pixlar har låtits svepa över bilden och för varje pixel har standardav- P:\paira.nor\docs\doctemp\~200903100333018222.doc, 2009-03-10 10 15 20 25 30 vikelse beräknats med avseende på ljusintensiteten hos pixeln ifråga. Dessa metriker har därefter legat till grund för en konventionell klassindelning baserad på tröskelvärden, vilken har resulterat i den illustrerade klassificeringen. Resulta- tet illustreras i figur 2, där olika klasser illustreras med hjälp av olika grå nyanser. Det framgår tydligt ur figuren att ett sådant forfarande är framgångsrikt for att finna olika klasser och för att för varje pixel tilldela pixeln en association med en viss specifik klass. Dessutom är många av de pixlar som utgör olika typer av terräng, såsom till exem- pel ”väg”, i den bild som visas i figur l grupperade i och med att de är associerade med en och samma klass. Däremot finns ett förhållandevis kraftigt brus i den klassificerade bilden. Alltför många pixlar har associerats med en annan klass än de flesta pixlar som utgör samma marktyp i den ur- sprungliga bilden. Därför är det svårt att till exempel utfö- ra en automatisk kartering baserat på en sådan klassifice- ring. en klas- Figur 3 visar, på ett sätt som liknar det i figur 2, sificering av bilden som visas i figur l, med den skillnaden att klassificeringen i figur 3 är utförd i enlighet med en konventionell, fönsteroberoende klusteranalys av K-meanstyp över 29 klasser. Såsom tydligt framgår från figur 3 är denna klassificering behäftad med samma typer av problem som den enligt figur 2.

Figur 6 visar ett flödesschema som illustrerar ett förfarande i enlighet med föreliggande uppfinning.

I enlighet med uppfinningen bringas således i ett första steg lOl en dator, eller flera sammankopplade datorer, att lagra bilden digitalt på ett digitalt lagringsmedium i form av en P:\paira.nor\docs\doctemp\~200903100333018222.doc, 2009-0340 10 15 20 25 30 uppsättning pixlar, där varje pixel är associerad med bildin- formation i åtminstone en kanal för ljusintensitet.

I ett andra steg lO2 bringas datorn eller datorerna därefter att utföra en första klassificering av den digitalt lagrade bilden och lagra resultatet från denna klassificering i en forsta databas. I föreliggande exemplifierande utföringsexem- pel lagras den klassificering som visas i figur 3 i den för- sta databasen. Häri benämns resultatet av denna klassifice- ring ”den första klassificeringen”. Databasen kan utgöras av den opererande datorns internminne, en fil på en hårddisk eller en annan typ av intern eller extern databas. Det som är väsentligt är att en association med en viss specifik klass i den uppsättning klasser (den första uppsättningen klasser) som använts i den första klassificeringen lagras i den första databasen för varje pixel i ursprungsbilden.

Den första klassificeringen kan vara en klusteranalys av K- meanstyp, eller vilken lämplig kernelbaserad eller fönster- oberoende klassificering som helst, så länge som klassifice- ringen baseras på varje respektive pixels lagrade bildinfor- mation. Den första klassificeringen kan baseras på i förväg definierade, statiska klasser, ett i förväg definierat antal men variabla klasser, eller så kan klasserna och deras defi- nition ta form under loppet av klassificeringen.

Den första klassificeringen kan även vara en övervakad eller en icke övervakad klassificering. En övervakad klassificering består av två steg. I det första steget identifieras repre- sentativa områden i en representativ bild, och en numerisk beskrivning av de representativa områdenas egenskaper åstad- koms. I det andra steget används de numeriska beskrivningarna av representativa områden som klasser i en slutlig klassifi- cering av en bild. I en icke övervakad klassificering associ- P:\paira.nor\docs\doctemp\~200903100333018222.doc, 2009-0340 10 15 20 25 30 eras varje pixel i en viss bild till en viss klass, där egen- skaperna för samtliga klasser bestäms under processens gång, dvs. utan förkunskap om vilka typer av bildområden som kan förekomma. Det ar enligt uppfinningen föredraget att använda en icke övervakad klassificering, eftersom en sådan kan fun- gera över ett bredare spektrum av olika bilder utan speciella anpassningar.

Exempel på användbara övervakade klassificeringar är ”Mini- mum-Distance-to-Means classifier”, ”Parallelepiped Classifi- l/ er “Gaussian Maximum Likelihood Classifier”, ”K-nearest neighbor” samt ”Maximum Likelihood classification”.

Exempel på användbara icke övervakade klassificeringar är diverse hierarkiska klustringsmetoder, partitionsklustrings- metoder, ”K-mean”-klustring och ”Self organizing maps”.

Efter denna inledande klassificering bringas, enligt uppfin- ningen, datorn eller datorerna i ett tredje steg 103 att för varje pixel i den ursprungliga bilden beräkna det minsta avståndet, företrädesvis det minsta euklidiska avståndet, i bilden mellan pixeln ifråga och den närmaste pixel som i den första klassificeringen associerats med en viss specifik klass av klasserna som användes vid denna första klassifice- ring. Detta beräknade avstånd associeras med varje respektive som kan pixel, och associationen lagras i en andra databas, vara samma som den första databasen eller en annan. I det senare fallet kan denna andra databas vara av den typ som beskrivs ovan i samband med den första databasen.

Sådana minsta avstånd. beräknas för samtliga pixlar i den ursprungliga bilden och för flera av klasserna från den för- sta klassificeringen.

P:\paira.nor\docs\doctemp\~200903100333018222.doc, 2009-0340 10 15 20 25 30 Figur 4 illustrerar grafiskt det beräknade minsta avståndet mellan varje pixel och en av de klasser som illustreras i figur 3. Det minsta avståndet mellan varje respektive pixel och klassen ifråga illustreras med hjälp av gråskalor - ju mörkare färg pixeln har desto längre befinner den sig från den närmaste pixel som associerats med klassen ifråga.

Enligt uppfinningen utför därefter datorn eller datorerna, i ett fjärde steg l04, en andra klassificering, denna gång baserad på de data som finns lagrade i den andra databasen och företrädesvis för och baserad på samtliga pixlar i den ursprungliga bilden. Enligt uppfinningen är den för denna andra klassificering relevanta metriken för varje pixel det eller de beräknade minsta avstånden till klasser som beräk- nats i steget 103. Dessa beräknade minsta avstånd kan således utgöras av ett eller flera mätvärden per pixel, varför det kan vara nödvändigt att exempelvis utföra en flerdimensionell klusteranalys som ett led i den andra klassificeringen.

Lämpliga typer av klassificeringar för den andra klassifice- ringen är de som ovan angivits som lämpliga för den första klassificeringen, och den andra klassificeringen kan vara av samma typ som, eller en annan typ än, den första klassifice- ringen. Emellertid är det föredraget att den andra klassifi- ceringen är av en icke övervakad typ. Dessutom är det före- draget att den andra klassificeringen är av en icke övervakad typ oavsett ifall den första klassificeringen är av övervakad eller icke övervakad typ. Ett sådant förfarande medger auto- matisk och precis klassificering över ett brett spektrum av olika ursprungsbilder.

Utfallet av denna andra klassificering är således en associa- tion mellan varje respektive pixel i ursprungsbilden och en viss specifik klass av en andra uppsättning klasser som an- P:\paira.nor\docs\doctemp\~200903100333018222.doc, 2009-0340 10 15 20 25 30 10 tingen definierats i förväg eller som definieras under det att den andra klassificeringen utförs.

Därefter lagrar datorn eller de sammankopplade datorerna enligt uppfinningen, i ett femte steg 105, denna association för varje respektive pixel. på. ett digitalt lagringsmedium, som är samma som det på vilket ursprungsbilden lagrades eller ett annat, och dar lagringstekniken kan vara såsom beskrivs ovan beträffande den ursprungliga bilden. Det som är väsent- ligt är att uppsättningen pixlar, var och en med en associa- tion till en viss specifik klass, lagras på ett sätt som medger att denna information representeras som en klassifice- rad bild, där varje pixels position i den klassificerade bilden motsvarar positionen för pixeln i den ursprungliga bilden, såsom färgintensitet i en och där pixelns värde, eller flera kanaler, motsvarar den klass med vilken pixeln ifråga associerats. Det följer att den klassificerade bilden har samma dimensioner beträffande antalet pixlar som den ursprungliga bilden. I efterföljande steg kan därefter natur- ligtvis den klassificerade bildens upplösning justeras.

Figur 5 illustrerar en sådan slutgiltigt klassificerad bild, baserad på den ursprungliga bild som visas i figur 1, och där olika klasser representeras med olika gråskalor. Den i figur 5 illustrerade klassificeringen är alltså baserad på de mins- ta euklidiska avstånden för varje pixel i ursprungsbilden till var och en av de klasser som resulterade från den första klassificeringen och som illustreras i figur 3.

Ett sådant förfarande, där en första klassificering följs av en beräkning av minsta avståndet till en eller flera klasser, och sedan av en andra klassificering baserad på dessa beräk- nade minsta avstånd, löser de ovan beskrivna problemen.

P:\paira.nor\docs\doctemp\~200903100333018222.doc, 2009-0340 10 15 20 25 30 ll Eftersom det minsta avståndet till en viss klass används för den andra klassificeringen kommer sannolikheten för att när- liggande pixlar associeras med samma slutgiltiga klass att vara förhållandevis stor. På ett liknande sätt blir sannolik- heten liten för att en pixel, som liknar en grupp pixlar som i den slutgiltiga klassificeringen faller under en viss klass men som är avståndsmässigt isolerad från dessa andra pixlar i bilden, faller under samma klass. Med andra ord har ett för- farande enligt föreliggande uppfinning en stark tendens att gruppera närliggande pixlar i samma klass och därmed skapa sammanhängande områden av pixlar som är associerade med en och samma klass. Dessa effekter medför låg splittring i den färdigklassificerade bilden. Å andra sidan kommer de beräknade minsta avstånden till en viss klass att förändras snabbt mellan närliggande pixlar i det fall sammansättningen av klasser i den första klassifice- ringen förändras snabbt lokalt i ett område av bilden. Detta medför att ett förfarande i enlighet med föreliggande uppfin- ning på ett relativt precist sätt kommer att producera en slutgiltig klassificering där gränser mellan de slutgiltiga klasserna verkligen representerar relevanta gränser och över- gångar i den ursprungliga bilden.

Det noteras att resultatet från den första klassificeringen inte nödvändigtvis är användbart i sig. Vissa av klasserna kommer eventuellt att åstadkomma en gruppering av pixlar på ett sätt som bra återspeglar den verkliga uppbyggnaden av ursprungsbilden. Däremot kommer i de flesta fall åtminstone någon klass mestadels att gruppera pixlar på ett svårtytt, brusigt sätt såsom beskrivits ovan. Denna omständighet påver- kar dock inte slutresultatet efter den andra klassificering- en, även i det fall att denna andra klassificering använder P:\paira.nor\docs\doctemp\~200903100333018222.doc, 2009-03-10 10 15 20 25 30 l2 samtliga klasser* från den första klassificeringen. på samma sätt.

Sammantaget kan det ovan beskrivna förfarandet användas för att automatiskt och utan omfattande förkunskaper om en viss bilds innehåll erhålla en relevant klassificering med låg splittring.

Enligt en föredragen utföringsform beräknas i steget l03 för varje pixel det minsta avståndet till var och en av samtliga de klasser som användes vid den första klassificeringen, och samtliga klasser vid den första klassificeringen används även i detta fall i den andra klassificeringen. Detta maximerar utnyttjandet av den information som finns i den ursprungliga bilden. utföringsform innefattar den första Enligt en föredragen klassificeringen en klassificering mecí hjäljn av en K- meansklusteranalys följd av en klassificering med hjälp av en maximum likelihoodklusteranalys, i vilken resultatet från K- meansklassificeringen används som utgångspunkt. Enligt en ytterligare föredragen utföringsform innefattar den andra klassificeringen <¶1 K-meansklusteranalys. Föreliggande upp- finnare har upptäckt att ett sådant förfarande ger ett gott slutresultat.

Föreliggande uppfinnare har vidare uppnått goda resultat i det fall antalet klasser i den första klassificeringen an- tingen i förväg sattes till mellan 20 och l00, eller när den första klassificeringen arbetade med ett variabelt antal klasser och där klassificeringen i detta fall anpassades så att det resulterande antalet klasser blev mellan 20 och l00.

Enligt en speciellt föredragen utföringsform används det så att bestämma ett kallade Akaike-informationskriteriet för P:\pa1ra.nor\docs\doctemp\~200903100333018222.doc, 2009-0340 10 15 20 25 30 l3 optimalt antal klasser i_ den första klassificeringen. genom att balansera modellens komplexitet mot inomklassvariansen. ett Akaike- Med andra ord väljs antalet klasser så att informationskriterium maximeras för klassificeringen vid detta val av antal klasser. Se Akaike H., “A new look at the statistical model identification", IEEE Trans. Automat.

Contr. AC-l9:7l6-23, I974 [Institute of Statistical Mathemat- ics, Minato-ku, Tokyo, Japan].

På nwtsvarande sätt har det funnits att ett lämpligt antal klasser i den andra klassificeringen ar mellan 5 och 20, speciellt när antalet klasser i den första klassificeringen är mellan 20 och 100. Beroende på den detaljerade tillämp- ningen ger ett sådant antal klasser nämligen i allmänhet en slutgiltigt klassificerad bild med relevant klassning av enskilda pixlar och med begränsat brus i de flesta klasser.

Valet av antalet klasser i den andra klassificeringen beror dels på vilken typ av resultat som önskas utifrån förfarandet enligt föreliggande uppfinning, dels på ifall ytterligare bearbetning av den erhållna klassificeringen skall utföras i senare steg. Det är speciellt föredraget att använda Akaike- kriteriet för att bestämma antalet klasser även i den andra klassificeringen, på motsvarande sätt såsom beskrivits ovan.

Enligt en föredragen utföringsform viktas varje beräknat minsta avstånd mellan en pixel och en viss klass innan det lagras i. den andra databasen. Genonl en sådan viktning' kan skillnaden i beräknat minsta avstånd till en viss klass ges större genomslagskraft i den andra klassificeringen. I sam- band härmed är det föredraget att viktningen utförs så att kortare beräknade minsta avstånd får större relativ påverkan i den andra klassificeringen jämfört med längre beräknade minsta avstånd. Detta kan exempelvis uppnås genom att trans- P:\paira.nor\docs\doctemp\~200903100333018222.doc, 2009-0340 10 15 20 25 30 l4 formera alla beräknade minsta avstånd med hjälp av en konvex funktion. Ett exempel på en sådan transformation är där xf är det beräknade minsta avståndet mellan pixel i och den närmaste pixeln som associerats med klass j, och df är värdet för det minsta avståndet mellan pixeln i och klassen j som verkligen lagras i den andra databasen.

En sådan viktning ökar relevansen för den slutgiltiga klassi- ficeringen av pixlarna.

I det fall det minsta avståndet skall beräknas mellan en viss pixel och en viss klass, och där den klass som pixeln associ- erats med i den första databasen är densamma som den klass för vilket det minsta avståndet skall beräknas, med andra ord när i = gj i formeln ovan, finns två alternativ beträffande vilket som skall anses vara det minsta avståndet mellan pix- eln och klassen. Antingen kan det minsta avståndet sättas till O, vilket reflekterar att avståndet mellan pixeln ifråga till sig själv är O, eller så kan avståndet sättas till det minsta avståndet mellan pixeln och den närmaste andra pixel som är associerad med samma klass som pixeln. Dessa båda angreppssätt kan vara bra för olika tillämpningar, men i allmänhet är det föredraget att sätta det minsta avståndet till O i det fall i = j.

Såsom diskuterats ovan kan ett förfarande enligt föreliggande uppfinning med fördel användas för att automatiskt erhålla en relevant klassificering av tvådimensionella bilder, speciellt för fotografiska bilder. Klassificering av sådana fotografis- P:\paira.nor\docs\doctemp\~200903100333018222.doc, 2009-0340 10 15 20 25 30 l5 ka bilder innehållande bildinformation i en kanal, såsom gråskaleljusintensitet, har befunnits ge goda resultat. Ett förfarande enligt föreliggande uppfinning' är också mycket användbart i fallet fotografiska bilder med bildinformation i tre eller fler kanaler, såsom exempelvis färgintensitetsin- formation enligt något konventionellt färgschema med tre kanaler såsom. RGB eller NCS, eller en representation där flera olika kanaler representerar färgintensitet över olika våglängdsintervall. Den senare typen av färginformationsmo- deller används exempelvis vid satellitavbildning, och då ofta med fyra eller fler kanaler för olika våglängder.

Utifrån en sådan tvådimensionell fotografisk satellitbild kan ett förfarande enligt föreliggande uppfinning således använ- som ett automatiskt verktyg vid kartering, das exempelvis demografiska eller geografiska undersökningar, miljöanalyser, etc. I fallet med andra typer av tvådimensionella fotografis- ka bilder kan ett förfarande enligt föreliggande uppfinning datorseende, användas som en del i system för exempelvis okulärbesiktning av tillverkade detaljer eller av insats- eller råvaror, hjälpsystem för fotografering för att automa- tiskt identifiera olika objekt och/eller hitta lämpliga fo- digital bildbearbetning, mikro- kuspunkter, fjärravläsning, skopi, digital bildanalys och -bearbetning och så vidare.

Det inses även att ett förfarande enligt föreliggande uppfin- ning är användbart för att automatiskt klassificera tredimen- sionella bilder, speciellt, och såsom diskuterats ovan, när det gäller tredimensionella bilder som representerar vävnads- strukturen hos människor och djur inom de medicinska och veterinära områdena. Sådana tredimensionella bilder utgör i själva verket tredimensionella avbildningar av tredimensio- nella objekt, där varje pixel innefattar bildinformation som anger värdet för en eller flera materialegenskaper i det läge P:\paira.nor\docs\doctemp\~200903100333018222.doc, 2009-0340 10 15 20 25 30 16 i objektet som motsvaras av pixeln ifråga. Materialegenska- perna kan exempelvis vara materialtäthet och/eller förekoms- ten av en markörsubstans. Det är vanligt att sådana bilder endast har bildinformation i en kanal. Speciellt kan automa- tiskt segmenterade tredimensionella avbildningar med fördel användas för att analysera människokroppen, som stöd för kirurger under ingrepp samt för att analysera tredimensionel- la avbildningar inom de mikro- och nanotekniska områdena.

För att förbättra användbarheten av den första klassifice- ringen applicerar datorn eller datorerna före den första klassificeringen enligt en föredragen utföringsform en ker- nelbaserad bearbetning på den ursprungliga bilden, och resul- tatet från denna ligger sedan till grund för den första klas- sificeringen tillsammans med den ursprungliga bildens bildin- formation. Ett exempel på detta år att ett värde för varje pixel beräknas för texturen i ett begränsat område kring pixeln ifråga, exempelvis en 9x9 matris med pixeln ifråga i centrum, och att detta beräknade värde sedan införlivas i den befintliga bildinformationen för pixeln ifråga, som ytterli- gare en kanal, innan den första klassificeringen utförs. På detta sätt kommer viss information från omgivande pixlar att påverka vilken klass en viss pixel associeras med i den för- sta databasen, vilket i vissa tillämpningar kan öka noggrann- heten hos den slutgiltiga klassificeringen.

Enligt en föredragen utföringsform biläggs till färgintensi- tetsinformationen ytterligare på förhand känd information som en ytterligare kanal eller ytterligare kanaler till varje pixel före den första klassificeringen. Exempel på sådan ytterligare information i det fall en satellitbild skall klassificeras inkluderar lokala mätvärden för geografiska data såsom lutning, nederbörd, höjd över havet och landut- bredning, samt demografiska data såsom populationsdensitet P:\paira.nor\docs\doctemp\~200903100333018222.doc, 2009-0340 10 15 20 25 30 17 och markägande. Denna ytterligare information används däref- ter i den första klassificeringen på motsvarande sätt som det som beskrivits ovan för texturdata.

Enligt en annan föredragen utföringsform inhämtas ytterligare data, men dessa ytterligare data används inte i den första klassificeringen på samma sätt som färgintensitetsdata.

Istället utnyttjas de ytterligare data som initialvillkor för klassificeringen. Ett exempel på detta är att ett visst vär- de, såsom utbredningen av en tätort, används för att i ett initialt steg urskilja de pixlar som uppfyller ett visst villkor, såsom ”faller pixeln ifråga innanför gränserna till en tätort?”. Därefter kan den första klassificeringen utföras endast på de urskiljda pixlarna, och de pixlar som inte skiljdes ur, i föreliggande exempel alltså de som inte ingick i en tätort i den ursprungliga bilden, kan placeras i en separat klass förutom de klasser som används i den första klassificeringen.

Det som här sagts om att använda ytterligare data i samband med en klassificering är även användbart beträffande den andra klassificeringen. Dessa val beror på den aktuella till- lämpningen och vilka data som finns tillgängliga för att ytterligare öka precisionen i klassificeringen.

Ovan har föredragna utföringsformer beskrivits. Emellertid är det uppenbart för fackmannen att många förändringar kan göras av de beskrivna utföringsformerna utan att frångå uppfinning- ens tanke.

Exempelvis kan föreliggande förfarande utföras iterativt. Med andra ord kan, efter en första klassificering, beräkning av minsta avståndet till klasser och en andra klassificering, ytterligare en beräkning utföras av det minsta euklidiska P:\paira.nor\docs\doctemp\~200903100333018222.doc, 2009-03-10 10 l8 avståndet till en eller flera av de klasser som resulterade från den andra klassificeringen, och därefter kan ytterligare en klassificering utföras baserat på dessa beräknade minsta avstånd. Den senare beräkningen av minsta avstånd och klassi- ficeringen kan varieras inom ramen for det som angetts ovan for en sådan beräkning och for den andra klassificeringen.

For vissa tillämpningar kan en sådan klassificering i flera iterativa steg ge ännu bättre resultat.

Sålunda skall uppfinningen inte vara begränsad av de beskriv- na utforingsformerna, utan kan varieras inom ramen for de bifogade kraven.

P:\paira.nor\docs\doctemp\~200903100333018222.doc, 2009-0340

Claims (16)

5 10 15 20 25 30 l9 P A T E N T K R A V

1. l. Förfarande t e c k n a t för att klassificera en bild, k ä n n e - a v att förfarandet innefattar stegen att en dator eller flera sammankopplade datorer a) b) bringas att på ett digitalt lagringsmedium lagra en första bild som skall klassificeras i form av en upp- sättning pixlar, där varje pixel är associerad med bildinformation i åtminstone en kanal för ljusinten- sitet; bringas att utföra en första klassificering av bil- den, vilken klassificering bringas att baseras på varje respektive pixels bildinformation och bringas att associera varje pixel med en viss klass i en för- sta uppsättning klasser, och i en första databas bringas att lagra dessa associeringar; för varje pixel och för flera klasser i den första uppsättningen klasser bringas att beräkna det minsta avståndet i bilden mellan pixeln ifråga och den när- maste pixel som i den första databasen är associerad klassen ifråga, med samt i en andra databas bringas att lagra en association mellan varje pixel och det för pixeln beräknade minsta avståndet för varje klass för vilket ett avstånd beräknats; bringas att utföra en andra klassificering av den i den andra databasen lagrade datamängden, vilken klas- sificering bringas att baseras på varje pixels minsta avstånd till varje respektive klass, och associera varje pixel med en viss klass i en andra uppsättning klasser; och på ett digitalt lagringsmedium bringas att lagra den klassificerade bilden i form av en uppsättning pix- lar, där varje pixel innefattar data beträffande pix- elns association med den vissa klassen i den andra P:\paira.nor\docs\doctemp\~20090310032846292.doc, 2009-03- 10 10 15 20 25 30 35 20 uppsättningen klasser och där den klassificerade bil- den har samma dimensioner som den första bilden. k ä n n e t e c k n a t a v

2. Förfarande enligt krav l, att i steg c) det minsta avståndet bringas att beräknas mel- lan varje pixel och samtliga klasser i den forsta uppsätt- ningen klasser.

3. Förfarande enligt krav 2, känne te ckna t av att den första klassificeringen bringas att innefatta en K- meansklassificering följd av en maximum likelihoodklassifice- ring, i vilken resultatet från K-meansklassificeringen an- vänds som utgångspunkt.

4. Förfarande enligt något av föregående krav, k ä11r1e - t e c k n a t a v att den andra klassificeringen bringas att innefatta en K-meansklassificering.

5. Förfarande enligt något av föregående krav, k är1n.e - t e c k n a t a v att antalet klasser i den första uppsätt- ningen klasser bringas att vara det antal som maximerar ett Akaike-informationskriterium för klassificeringen.

6. Förfarande enligt något av föregående krav, k ä11n.e - t e c k n a t a v att antalet klasser i den första uppsätt- ningen klasser bringas att vara mellan 20 och l00.

7. Förfarande enligt något av föregående krav, k är1n.e - t e c k n a t a v att antalet klasser i den andra uppsätt- ningen klasser bringas att vara det antal som maximerar ett Akaike-informationskriterium för klassificeringen.

8. Förfarande enligt något av föregående krav, k är1n.e - t e c k n a t a v att antalet klasser i den andra uppsätt- ningen klasser bringas att vara mellan 5 och 20. P:\paira.nor\docs\doctemp\~20090310032846292.doc, 2009-03- 10 10 15 20 25 30 35 21

9. Förfarande enligt något av föregående krav, k ä11n.e - t e c k n a t a v att datorn eller de sammankopplade dato- rerna i steg c) bringas att vikta varje beräknat minsta av- stånd innan det lagras i den andra databasen, dar viktningen utförs så att kortare beräknade minsta avstånd. får större relativ påverkan jämfört med längre beräknade minsta avstånd i den andra klassificeringen i steg d).

10. Förfarande enligt något av kraven 1-9, k ä n n e t e c k - n a t att den första bilden är en tvådimensionell foto- grafisk bild, a v och av att varje pixel innefattar bildinforma- tion i åtminstone tre kanaler som var och en anger ljusinten- sitet för ett visst våglängdsspektrum.

11. Förfarande enligt krav 10, k ä n n e t e c k n a t a v att den första bilden är en satellitbild.

12. Förfarande enligt något av kraven 1-9, k ä n n e t e c k - n a t a v att den första bilden är en tredimensionell av- bildning av ett tredimensionellt objekt, och av att varje pixel innefattar bildinformation i en kanal som anger värdet för en materialegenskap i det läge i objektet som motsvaras av pixeln ifråga. k ä n n e -

13. Förfarande enligt något av föregående krav, t e c k n a t a v att datorn eller datorerna bringas att använda. på förhand given eller beräknad. ytterligare data, förutom färgintensitet, för varje pixel i den första bilden i den första och/eller den andra klassificeringen som en eller flera ytterligare kanaler tillsammans med den eller de kana- ler som anger färgintensitetsdata.

14. Förfarande enligt något av föregående krav, k är1n.e - t e c k n a t a v att datorn eller datorerna bringas att P:\paira.nor\docs\doctemp\~20090310032846292.doc, 2009-03- 10 10 15 20 22 använda. på förhand given eller beräknad. ytterligare data, förutom färgintensitet, för varje pixel i den första bilden i den första och/eller den andra klassificeringen för att, innan ifrågavarande klassificering påbörjas, associera de pixlar som uppfyller ett visst initialvillkor i termer av de ytterligare data med en viss klass och sedan utföra klassifi- ceringen ifråga enbart på återstoden av pixlar.

15. Förfarande enligt krav» l3 eller* l4, k ä n n e t e c k - n a t a v att den första bilden är en satellitbild och de ytterligare data innefattar åtminstone något av [på förhand givna variabler såsom lutning, nederbörd, höjd över havet, landutbredning, populationsdensitet eller' markägande, eller ett beräknat värde för textur i en lokal omgivning till den pixel för vilken texturen beräknats.

16. Förfarande enligt något av föregående krav, k är1n.e - t e c k n a t a v att det minsta. avståndet är det minsta euklidiska avståndet i bilden. P:\paira.nor\docs\doctemp\~20090310032846292.doc, 2009-03- 10