SE528068C2 - Igenkänning av 3D föremål - Google Patents

Description

25 30 35 528 068 2 Wheeler G.V, Walker l<.N and Taylor C.J., View-based Active Appearance Models, Image and Vision Computing, 20(9-10), p.657-664, 2002.) där flervymodeller används men modellerna innehåller ingen explicit eller konsistent 3D data. Det existerar också metoder för att deformera en 3D modell av ett objekt för att anpassa till 2D projektioner av föremålet I bilder så som i Blanz and Vetter ([3]: Blanz V. and Vetter T., Face Recognition Based on Fitting a 3D Morphab/e Model, IEEE Trans. on Pattern Analysis and Machine Intelligence, 25(9), p.1063-1073, 2003.). Dessa metoderär väldigt beräkningskrävande och kräver ofta manuellt ingripande. Relaterade patent är US6556196/EP1039417 (Method and apparatus for the processing of images) som beskriver en metod för morning av en 3D modell så att den blir en 3D representation av objektet I bilden genom att minimera projektionsfelet i bilden.

Ett vanligt problem för bildbaserad igenkänning är att detektera 2D formen av objektet i bilden, dvs. att hitta relevanta bildområden. Nyare metoder för att detektera objekt i bilder medför vanligtvis en skanning av hela bilden i olika skalor efter föremålsspecifika bildmönster och en användning av klassificerare för att avgöra om området är relevant eller inte. De senaste utvecklingarna föreslår användandetav Support Vector Machines (SVM) för detta ändamål. Ett nyckelsteg är extraherandet av särdrag i bilden, dvs. områden i bilden såsom hörn, kanter och andra intressepunkter. Detta görs vanligtvis med hjälp av korrelationsbaserade metoder med templat eller med hjälp av kantbaserade metoder med bildgradienter.

För en översikt av metoder för ansiktsdetektion, se Zhao and Chellappa ([4}: Zhao W., Chellappa R., Rosenfeld A and Phillips P.J, Face Recognition: A Literature Survey, Technical report CAR-TR-948, 2000.) och referenser däri. En översikt av nuvarande bildbaserade metoder för ansiktslgenkänning presenteras i [4].

Vid användandet av bildbaserade metoder för identifiering och verifiering finns det två huvudsakliga problem,åbelysningsvariation och pose-variation.

Belysningsvariation kommer att påverka alla korrelationsbaserade metoder där områden av bilder jämförs eftersom pixelvärden varierar med förändrad belysning.

Dessutom kan spekulära reflektioner ge upphov till höga förändringar i pixelintensitet. Pose-variation inträffar eftersom projektionen i bilden kan förändras drastiskt när ett föremål roterar. Dessa två problem har dokumenterats i många ansiktsigenkänningssystem och är oundvikliga när bilder tas i okontrollerade miljöer. De flesta kända metoder misslyckas med att robust hantera dessa problem. 10 15 20 25 30 35 528 068 3 Belysningsproblemet hanteras av uppfinningen eftersom ingen bildkorrelation eller jämförelse av bildområden utförs. Särdrag såsom horn, vilka är robusta för intensitetsförändringar, beräknas istället, vilket gör form rekonstruktionen i stort sett okänslig för belysning och spekulära reflektioner. Uppfinningen hanterar pose- problemet genom att använda ett godtyckligt antal bilder med olika pose för att träna den statistiska modellen. Vilken delmängd som helst av bilderna, så få som en enda bild, kan sedan användas för att beräkna föremålets 3D form.

Sammanfattning av uppfinningen Uppfinningen består av en statistisk modell för formvariationer inom en klass av föremål som relaterar den tvådimensionella (2D) projektionen i bilder till föremålets tredimensionella (3D) form samt användandet av 3D formlnformation för identifiering eller verifiering av föremålet. Dessutom relaterar föreliggande uppfinning till en anordning för bildbehandling eller ett system för att implementera en sådan metod. Processen är helt automatisk och kan t.ex. användas för biometrisk identifiering från ansiktsbilder eller identifiering av föremål i t.ex. röntgenbilder för flygplatssäkerhet. Den beräknade 3D formen är den troligaste formen som är konsistent med 2D projektionerna, dvs. bilderna. Den statistiska modellen behöver en databank, kallad träningsdata, där 3D positioner för bild- särdragen är kända, för att träna modell parametrarna. Sådan datasampling kan göras med hjälp av t.ex. två- eller flervystereo eller 3D skanners. När modellparametrarna väl är tränade, kan 3D form beräknas med hjälp av en eller flera bilder. Med föreliggande uppfinning används sedan 3D formen tillsammans med 2D bilddata för att identifiera eller verifiera föremålet som en specifik instans av enhgiven klass, t.ex. ett ansikte som tillhör en specifik individ. En positiv (eller negativ) identifiering initierar korrekt handling i enlighet med den föreliggande uppfinningen.

I en föredragen utföringsform av uppfinningen presenteras en metod för föremålsigenkänning av tre dimensionella (3D) föremål, metoden består av stegen: - Erhålla minst en tvådimensionell (2D) representation av föremålet; - Detektera bildsärdrag i den erhållna 2D representationen; - Beräkna en högst trolig 3D form av ett föremål tillhörande en viss klass av i föremål som är konsistent med 2D bilder av föremålet med hjälp av minst en bild där 2D särdrag detekterats och med hjälp av en statistisk multi-vy formmodell av formvariationen; och 10. 15 20 25 30 35- ,528 068 4 - Jämföra den beräknade 3D formen med en referensrepresentation av minst ett föremål av klassen.

I, metoden kan den erhållna 3D formen vara en fullständig ytmodell.

Fortfarande i metoden, kan den fullständiga ytmodellen beräknas från 2D eller 3D särdrag.

I en annan aspekt av metoden enligt föreliggande uppfinning, kan föremålsklassen innehålla icke-rigida föremål och den statistiska formmodellen kan tränas med hjälp av 2D och 3D data specifika för möjliga deformationer av föremålen i den icke- rigida föremålsklassen.

Metoden kan vidare omfatta steget att identifiera ett specifikt föremål från en föremålsklass eller stödja ldentifieringen av ett specifikt föremål med hjälp av den beräknade 3D formen.

Metoden kan dessutom omfatta steget att verifiera identiteten för ett specifikt Föremål från en föremålsklass eller stödja verifieringen av identiteten av ett specifikt föremål med hjälp av den beräknade 3D formen.

Metoden kan vidare omfatta steget att: anpassa en yta till den beräknade 3D formen med hjälp av en tränad statistisk formmodell för föremålets yta för att regularisera ytformen på ett sätt som är specifikt för föremålsklassen.

I metoden kan föremålet vara ett eller flera av: ett mänskligt ansikte, en människokropp, inre organ i en människokropp, blodkärl, djur, inre organ i ett djur, en tumör, tillverkade produkt(er) från en industriprocess, ett fordon, ett flygplan, ett fartyg, militära föremål.

I metoden kan referensrepresentationen lagras i minst en av ett icke-flyktigt minne, en databas server och ett personligt id-kort.

I en annan uföringsform av den föreliggande uppfinningen presenteras en anordning för föremålsigenkänning av tre dimensionella (3D) föremål, bestående av: 10 15 20 25 30 35 528 068 5 - Medel för att erhålla åt minstonde en tvådimensionell (2D) representation av föremålet; - Medel föratt detektera bildsärdrag i den erhållna 2D representationen; - Medel för att beräkna en högst trolig 3D form av ett föremål, tillhörande en viss klass av föremål, som är konsistent med 2D bilder av föremålet (607) med hjälp av en eller flera bilder där 2D särdrag detekterats och med hjälp av en statistisk multi-vy formmodell av formvariationen; och - Medel för att jämföra den beräknade 3D formen med en referensrepresentation av minst ett föremål av klassen.

Il anordningen kan den erhållna 3D formen vara en fullständig ytmodell och den fullständiga ytmodellen kan beräknas från 2D eller 3D särdrag.

I anordningen kan föremålsklassen innehålla icke-rigida föremål och den statistiska formmodellen kan tränas med hjälp av 2D och 3D data specifika för möjliga deformationer av föremålen i den icke-rigida föremålsklassen.

Anordningen-kan vidare omfatta medel för att identifiera ett specifikt föremål från en föremålsklass eller stödja identifieringen av ett specifikt föremål med hjälp av den beräknade 3D formen.

Anordningen kan dessutom omfatta medel för att verifiera identiteten för ett specifikt föremål från en föremålsklass eller stödja verifieringen av identiteten av ett specifikt föremål med hjälp av den beräknade 3D formen.

Anordningen kan vidare omfatta medel för att: anpassa en yta till den beräknade 3D formen med hjälpe av en tränad statistisk formmodell för föremålets yta för att regularisera ytformen på ett sätt som är specifikt för föremålsklassen.

I anordningen kan föremålet vara ett eller flera av: ett mänskligt ansikte, en människokropp, inre organ i en människokropp, blodkärl, djur, inre organ i ett djur, en tumör, tillverkade produkt(er) från en lndustriprocess, ett fordon, ett flygplan, ett fartyg, militära föremål.

I anordningen kan den beräknade 3D formen av blodkärl eller organ beräknad från 2D projektioner, t.ex. med hjälp av röntgenbilder, användas för att navigera styrbara katetrar eller stödja läkare genom att visa den beräknade 3D formen. 10 15 20 25 30 35 523 (168 De beräknade 3D formerna av ansiktssärdrag kan användas i anordningen för att identifiera eller verifiera identiteten av en individ i ett passagekontrollssystem eller säkerhetssystem, vilket resulterar i att individen accepteras eller refuseras.

Anordningen kan vidare omfatta ett gränssnitt för att kommunicera med ett personligt id-kort där referensrepresentationen är lagrad.

I ännu en utföringsform av den föreliggande uppfinningen presenteras ett datorprogram lagrat i ett av dator läsbart lagringsmedia och utförd i en beräkningsenhet för föremålsigenkänning av tre dimensionella (3D) föremål, bestående av: - En instruktionsuppsättning för att erhålla minst en externt förvärvad två- dimensionell (2D) representation av föremålet; ~ En instruktionsuppsättning för att detektera bildsärdrag i den erhållna 2D representationen ; - En instruktionsuppsättning för att beräkna en högst trolig 3D form av ett föremål, tillhörande en viss klass av föremål, som är konsistent med 2D bilder av föremålet med hjälp av en eller flera bilder där 2D särdrag detekterats och med hjälp av en statistisk multi-vy formmodell av formvariationen; och - En instruktionsuppsättning för att jämföra den beräknade 3D formen med en referensrepresentation av minst ett föremål av klassen.

Datorprogrammet kan vidare omfatta en instruktionsu ppsättning för att identifiera och/eller verifiera identitet av ett individuellt föremål från en föremålsklass eller stödja identifiering och/eller verifiering av ett individuellt föremål med hjälp av den beräknade 3D formen.

I en annan utföringsform av den föreliggande uppfinningen presenteras ett system för föremålsigenkänning av ett tre dimensionellt (3D) föremål, bestående av: - Medel för att erhålla åtminstone en tvådimensionell (2D) representation av föremålet; - Medel för att detektera bildsärdrag i den erhållna 2D representationen; - Medel för att beräkna en högst trolig 3D form av ett föremål, tillhörande en viss klass av föremål, som är konsistent med 2D bilder av föremålet med 15 _20 25 30 35 528 oss 7 hjälp av en eller flera bilder där 2D särdrag detekterats och med hjälp av en statistisk multi-vy formmodell av formvariationen; - Medel för att jämföra den beräknade 3D formen med en referensrepresentation av minst ett föremål av klassen; och - Medel för att reagera på ett resultat från medlet för jämförelse.

Systemet kan vidare omfatta medel för att identifiera och/eller verifiera identitet av ett individuellt föremål- från en föremålsklass eller stödja identifiering och/eller i verifiering av ett individuellt föremål med hjälp av den beräknade 3D formen. 10 I systemet kan referensrepresentationen lagras i minst en av ett icke-flyktigt minne, en databas server och ett personligt id-kort.

Kort beskrivning av ritningarna I det följande kommer uppfinningen beskrivas på ett icke begränsande sätt och mer i detalj med referens till exemplifierade utföringsformer illustrerade i medföljande ritningar, i vilka: Fig. 1 illustrerar' en tvåstegsprocedur för att beräkna 3D data från en indatabild.

Fig. 2 illustrerar en process för att anpassa en yta till en beräknad 3D form.

Fig. 3 är ett schematiskt blockdiagram av en anordning enligt föreliggande uppfinning. , Fig. 4 illustrerar ett schematiskt blockdiagram av stegen för en metod enligt föreliggande uppfinning.

Fig. 5 är en schematiskt illustration av ett system enligt föreliggande uppfinning.

Detaljerad beskrivning av uppfinningen Uppfinningen består av ett bildbehandlingssystem för automatisk återskapande av 3D form från bilder av föremål tillhörande en bestämd klass. Denna 3D 10 15 20 25 30 35 528 068 8 rekonstruktion görs genom att upprätta en statistisk formmodell, betecknad särdragsmodellen, som relaterar 2D bildsärdrag, t.ex. punkter eller kurvor, till deras motsvarande 3D positioner. En sådan modell tränas, d.v.s. modellparametrarna skattas från träningsdata där 2D-3D korrespondensen är känd.

Denna träningsfas (inlärningsfas) kan göras med hjälp av något lämpligt system för att erhålla sådan 2D-3D korrespondens, detta inkluderar, men är inte begränsat till, binokulära och multi-vy bildframtagningssystem, 3D skanners (djupskanners) eller liknande uppställningar. I denna process mäts det intressanta föremålet och en referensmodell av föremålet beräknas vilken kan användas i vidare bildanalys såsom kommer att 'beskrivas nedan.

Givet en indatabild är proceduren för att återskapa 3D formen en tvåstegsprocedur.

Först hittas bildsärdrag som t.ex. punkter, kurvor och konturer i bilderna, t.ex. med hjälp av tekniker såsom t.ex. ASM [1] eller gradientbaserade metoder eller klassificerare såsom t.ex. SVM. Sedan beräknas 3D form med hjälp av den tränade särdragsmodellen. Detta illustreras i Figur 1. Fig 1a illustrerar en bild av ett ansikte som ska analyseras, Fig. 1b illustrerar detektionen av föremåls-särdrag för att användas i analysen och forminformationsprocessen, och Fig. lc illustrerar den beräknade 3D formen som kan användas i igenkänningsprocessen.

Möjligheten att utöka 3D formrepresentationen från punkter och kurvor till en fullständig ytmodell genom att anpassa en yta till 3D data finns också. Detta illustreras i Figur 2, där Fig. 2a illustrerar den beräknade 3D formen, 2b illustrerar en anpassad yta till 3D data, och Fig. 2c illustrerar en 3D renderad ytmodell av den anpassade ytan.

Särdragsmodellen Antag att det finns ett antal element i en d-dimensionell vektor t, till exempel, en samling av 3D punkter i något normalíserat koordinatsystem. Startpunkten för härledningen av modellen är att elementen i t kan relateras till någon underliggande vektor u av dimension q där förhållandet är linjärt: t=Wu+y _ (1) där W är en matris av storlek d x q och p är en d-vektor som tillåter nollskilt medelvärde. När modellparametrarna W och ,u har tränats från exempel hålls de 10_ 15 2G 25 30 528 06% 9 fixa. Mätningarna görs emellertid i bilderna, vilka vanligtvis är en olinjär funktion av 3D särdragen enligt projektionsmodellen för den relevanta bildgivande anordningen.

Beteckna projektionsfunktionen som projicerar alla 3D särdrag till 2D särdrag med f : Rd -> Re, för en eller flera bilder. Dessutom behövs ett koordinatbyte på 3D särdragen för att passa den faktiska projektionsfunktlonen. Beteckna denna avbildning T : R” -> Rd . Typiskt är Ten likformighetstransformation på världskoordinatsystemet. Alltså projicerar f(T(t)) all normaliserad 3D data till alla bilder. Slutligen behövs en brusmodell specificeras. Man kan anta att bildmätningarnaär oberoende och normalfördelade, på samma sätt kan de underliggande variablerna antas vara Gaussfördelade med varians ett u ~ N(0,I).

Alltså, totalt sett: En =f(T(f))+$=f(T(W“+/1))+2 (2) där e ~ N(0, 0-2 I) för någon skalär o. Modellen är relaterad till PPCA, cf. Tipping and Bishop ([5]: 'fipping M.E., Bishop C.M., Probabilistic Principal Component Analysis, Phil. Trans. Royal Soc. London B, 61(3), p.611-622, 1999.), men det finns också skillnader p.g.a. olinjariteten i f(.). Innan modellen kan användas behöver modellens parametrar skattas från träningsdata. Givet att det är en probabilistisk modell görs detta bäst med maximum likelihood (ML). Antag att det finns givet n exempel {t,,,_, , ML skattningen för W och ,u erhålls genom att minimera: fl ll f... -flzotmlz + ll u. lf] (sl 1:1 över alla -okända parametrar. Standardavvikelsen o kan skattas a priori från data.

När modellparametrarna W och u har tränats från exempel hålls de fixa. I praktiken optimerar man alternerande över (WW) och {u,}'.“ |= , med gradientmetoder för att minimera (A3). Startskattningar kan fås genom att triangulera 3D struktur från varje mängd bilder och sedan använda PPCA algoritmer för den linjära delen.

Normaliseringen IK.) kan väljas så att varje normaliserat 3D exempel har medelvärde noll och varians ett. 10 15 20A 25 30 35 528 068 10 Det finns tre olika typer av geometriska särdrag inbäddade i modellen.

Punkter: En 3D punkt som är synlig i m>1 bilder representeras i vektorn t med sina 3D koordinater (X,Y,Z). För punkter synliga i endast en bild, m=1, finns ingen djupinformation tillgänglig, och sådana punkter representeras liknande som för konturpunkter.

Kurvor: En kurva representeras i modellen av ett antal punkter längs kurvan. Vid träning av modellen är det viktigt att parametrise ra varje 3D kurva så att varje punkt på kurvan approximativt motsvarar samma punkt på korresponderande kurva i de andra exemplen.

Konturer: Som för kurvor, kan konturer samplas (i bilderna). Det finns emellertid ingen 3D information tillgänglig för konturerna eftersom de är vyberoende. Ett enkelt sätt att hantera detta är att behandla punkter på konturer som 3D punkter med en konstant approximativ (men grov) djupskattning.

Hitta bildsårdrag Vid en online-händelse av ett nytt indata exempel vill man automatiskt hitta de underliggande variablerna u och, i tur och ordning, beräkna skattningar av 3D särdrag t. Den komponent som saknas i modellen är förhållandet mellan 2D bildsårdrag och de underliggande grånivå- (eller färg-) värdena vid dessa pixlar.

Det finns flera sätt att lösa detta, t.ex. med hjälp av en ASM (betecknad grånivåmode/I) eller detektorbaserade metoder.

Grånivåmodellen Återigen används en linjär modell (PPCA). Med användandet av samma notation som i (1), men nu med underskript gl för grånivå, kan modellen skrivas tg! = glugz +flg1+3g1 (4) där tg, är en vektor innehållande grånivåvärdena för alla 2D bildsårdrag och ag, är Gaussfördelat brusi mätningarna. I träningsfasen normaliseras grånivåerna för 10 15 20 25 30 35 528 068 11 varje data exempel genom att subtrahera medelvärdet och skala till varians ett.

ML-skattningen av Wg, och pg, beräknas med EM-algoritmen [5].

Detektor-baserade metoder Intressanta bíldpunkter och kurvor kan detekteras genom att analysera bildgradienten med hjälp av t.ex. Harris hörndetektor. Dessutom kan man använda _ speciellt designade filter som detektorer för bildsärd rag. Genom att designa filter så att svaret för särskilda lokala särdrag är högt kan bildsärd rag detekteras med hjälp av en 2D faltning.

Klassificeringsmetoder Med hjälp av klassificerare som t.ex. SVM kan bildregioner klassificeras som tillhörande ett särskilt särdrag eller inte. Genom att kombinera en serie av sådana klassificerare, en för varje särdrag (punkter, kurvor, konturer etc.), och skanna bilden vid alla lämpliga skalor kan bildsärdrag extraheras. Exempel kan vara t.ex. en ögondetektor för ansiktsbilder.

Deformerbara model/er Användandet av en deformerbar model som t.ex. Active Contour Models, även kallade snakes, för ett särskilt bildsärdrag är väldigt vanligt inom bildsegmentering.

Oftast är dessa särdrag kurvor. Proceduren är iterative och försöker optimera en energifunktion. En initial kurva deformeras gradvis till den bästa passformen enligt en energifunktion som kan innehålla termer för att reglera jämnheten på anpassningen så väl som andra egenskaper för kurvan.

Ytanpassning till 3D Data När 3D data har återskapats kan en ytmodell anpassas till 3D strukturen. Detta kan vara önskvärt i de fall som tvåstegsproceduren ovan enbart producerar en gles mängd av särdrag i 3D rymden såsom t.ex. punkter och kurvor. Även om dessa kurvor är karakteristiska för ett givet exemplar (eller individ) är det ofta inte tillräckligt för att bestämma en fullständig ytmodell och detta är särskilt svårt i områden där särdragen är glesa. Därför introduceras en 3D ytmodell bestående av en fullständig medelyta. Denna tjänar som en domänspecifik regulariserare, dvs. 10, 15 20 25 30 35 528 068 12 specifik för en given klass av föremål. Denna metod kräver att det finns tät 3D forminformation tillgängligt för några träningsexempel i träningsdata för föremålsklassen, erhållna från t.ex. laser-skanningar, eller i fallet av medicinska bilder från t.ex. MRI eller datortomografi. Från dessa täta 3D former kan en model, separat från särdragsmodellen ovan, byggas. Detta betyder att givet beräknad 3D form, i form av punkter och kurvor, från särdragsmodellen kan den bästa täta 3D form beräknas. Denna täta forminformation kan användas för att förbättra ytanpassning.

För att illustrera med ett exempel, betrakta fallet av föremålsklassen ansikten.

Modellen tränas med hjälp av t.ex. punkter, kurvor och konturer i bilder tillsammans med den sanna 3D formen motsvarande dessa särdrag, erhållen från t.ex. multi-vy stereotekniker. En andra modell skapas och tränas med hjälp av t.ex. laser-skanningar av ansikten, vilket ger en uppsättning ansiktsytor. Denna andra modell kan användas för att hitta den mest troliga (eller åtminstone högst trolig) medel-ansiktsyta (enligt den andra modellen) motsvarande särdragen eller den beräknade 3D formen. En yta kan sedan anpassas till 3D formen med det extra kravet 'att där det inte finns någon beräknad 3D form ska ytan likna den mest troliga medel-ansiktsytan.

Som ett andra exempel, betrakta fallet av föremålsklassen som ett specifikt blodkärl, t.ex. aorta. Modellen tränas då t.ex. med hjälp av kurvor och konturer i bilder tillsammans med den sanna 3D formen erhållen som t.ex. en 3D MRI bild.

Från de sanna 3D formerna tränas en andra modell bestående av ytan på aorta.

(Den mest troliga (eller högst troliga) aortaytan kan då beräknas från bildsärdragen eller från 3D formen beräknad från den första formmodellen.

Metoden tillhandahåller den mest troliga eller åtminstone en högst trolig 3D form, för många tillämpningar är detta tillräckligt och identifierings- och/eller verifieringsprocessen är inte nödvändig för den slutliga tillämpningen.

Vi har nu beskrivit den underliggande metoden för verifierings- och/eller identifieringsändamål. Vi hänvisar nu till Fig. 3 där en beskrivning av en anordning 400 som implementerat den föredragna metoden enligt föreliggande uppfinning kommer ges. En sådan anordning 400 kan vara vilken lämplig beräkningsanordning som helst såsom, men inte begränsat till, en persondator (PC), arbetsstation, ' inbyggd dator, eller en självständig anordning med en beräkningsenhet 401, såsom 10 15 20 25 30 35 528 068 13 en mikroprocessor, DSP (digital signal processor), FPGA (field programmable gate array), eller ASIC (application specific integrated circuit). Anordningen 400 har några medel för indata 404 för att erhålla bilder för analys och slutlig identifiering och/eller verifierlng. Medel för indata 404 kan vara vilket lämpligt kommunikationsgränssnitt som helst beroende på typ av bild och inkluderar, men inte begränsat till, USB (universal seriai bus), frame grabber, Ethernet eller Firewire. Bilddata flyttas till en beräkningsenhet 401 där mjukvara finns för att exekvera ovan beskriven metod enligt föreliggande uppfinning. Anordningen 400 kan vidare innefatta flyktigt eller icke-flyktigt minne 402 innehållande information relaterat till referensmaterial för jämförelse- och/eller analysändamål, t.ex. kända 2D-3D förhållanden för intressanta föremål. Anordningen 400 kan vidare innefatta kommunikationsmedel för att kommunicera med andra beräkningsenheter över t.ex. ett nätverksprotokoll (såsom Ethernet eller liknande protokoll) och medel för utdata 405 för att vidarebefordra resultat till exempelvis en skärm för behändig visualisering eller till en kontrollenhet (inte visad) för att kontrollera en extern process där de intressanta föremålen är delar. Sådana processer kan inkludera, men ärinte begränsade till, industriella produktionsprocesser där föremål kan väljas ut eller väljas bort beroende på resultatet från identifierings- och/eller verifieringsmetoden enligt föreliggande uppfinning, säkerhetsprocesser återigen för ändamål att välja ut eller välja bort i t.ex. flygplatssäkerhetssystem för undersökandet av innehåll i resväskor, väskor eller annan bagageutrustning, eller medicinska tillämpningar där den beräknade 3D formen kan användas för t.ex. navigering av instrument eller medicinska anordningar.

Metoden för igenkänning av föremål enligt föreliggande uppfinning kan illustreras med hjälp av Fig. 4. Metoden kan innefatta följande steg: 1. Erhålla minst en bild av ett föremål att identifieras och/eller verifieras (501); 2. Detektera bildsärdrag såsom t.ex. kurvor, punkter och konturer (502). 3. Analysera erhållen bild och återskapa 3D form som korresponderar till bildsärdragen med hjälp av en statistisk formmodell (503); 4. Jämföra analysen med tidigare erhållna referensbilder och jämföra 3D formen i gles eller tät form med tidigare erhållen referens 3D form (504); och 5. Reagera på utdata från jämförelseprocessen (505). 528 068 14 I en annan utföringsform av den föreliggande uppfinningen används ett system för . att erhålla bilder, analysera och reagera på resultat från identifiering och/eller I verfieringsprocessen, vilken kan ses i Fig. 5. Ett sådant system kan innehålla åtminstone en anordning för att förvärva bilder 601, en beräkningsanordning 400, 5 603 som beskrivet ovan, och någon form av svarsutrustning såsom t.ex. den industriella processutrustning eller säkerhetsprocessutrustning beskriven ovan.

Minst en anordning förjatt erhålla bilder 601 används för att erhålla en eller flera bilder som flyttas 602 till en beräkningsanordning 603 för analys och verifiering och/eller identifiering. Resultatet från denna process skickas till ett kontrollsystem 10 eller displaysystem 604. I fallet med ett ansiktsigenkänningssystem erhålls minst en bild av en person, till exempel personens ansikte, och bilden eller bilderna skickas till beräkningsanordningen 603, med hjälp av vilket lämpligt kommunikationsmedel som helst (trådat eller trådlöst), för analys och jämförelse av den erhållna bilden eller bilderna med data erhållet från referensmätningar t.ex. 15 med kända 2D-3D förhållande;_jämförelse kan emellertid göras mellan beräknad 3D form och lagrad 3D referensdata eller mellan en 2D ytmodell och en lagrad 2D referensytmodell. Resultatet kan göras tillgängligt genom t.ex. en displayenhet 604 och kan för illustrativa ändamål visas med både en referensbild 605 och den erhållna bilden 606 eller bilder renderade från den beräknade 3D formen såsom 20 visas i Fig. 5. Det bör uppskattas av fackmannen att bildinhämtningssystemet och/eller display/kontrollsystemet kan inkorporeras med beräkningsanordningen bildande en integrerad enhet och att resultatet kan visas på vilket lämpligt sätt som helst och begränsas inte till ovan beskrivna exempel. Istället för att skicka resultatet till en displayenhet 604 kan det användas i vilken lämplig kontrollprocess 25 som helst för att kontrollera t.ex. ett alarm, ett passagesystem, kontrollport, tullgrind, och så vidare.

Några av fördelarna föreliggande uppfinning bidrar med till det tekniska området kan illustreras med följande lista: 30 o Vilket antal bilder som helst, även så få som en enda bild, kan användas för att automatiskt återskapa 3D formen av ett föremål tillhörande föremålsklassen.

~ En statistisk multi-vy modell som representerar 2D och 3D data på ett 35 konsistent vis. o Processen ärautomatisk och beräkningseffektiv. 10 15 20 25 30 35 528 068 15 o Processen är robust med avseende till belysning och spekulära reflektioner vilketär ett problem för 3D rekonstruktionsmetoder baserade på bildkorrelation eller fotokonsistens. o Ytor kan anpassas till 3D strukturen med hjälp av domänspecifik regularisering tränad med statistiska formmodeller.

Flexibiliteten av föreliggande uppfinning kan illustreras med följande lista: o Den statistiska formmodellen kan användas för vilken föremålsklass som helst och projektionen av dessa föremål i bilder. o Metoden kan användas för vilken form av bildgivande anordning som helst (kamera, röntgen, multi-spektral, värme, etc.). o Uppfinningen kan användas med vilket antal blldgivande anordningar som helst (en eller flera). o Uppfinningen inkluderar möjligheten att kombinera många olika tekniker för att etablera 2D till 3D korrespondens (bildgivande system, 3D- (djup)sl etc.). o Uppfinningen inkluderar möjligheten att använda olika tekniker såsom ASM, gradientbaserade metoder eller deformerbara modeller, för att hitta bildsärdrag. o Omlföremålsklassen innehåller icke-rigida föremål, inkluderar uppfinningen möjligheten att etablera 2D tlll 3D modeller för olika dafarmatlarlar av föremålet (t.ex. olika ansiktsuttryck). o Uppfinningen inkluderar möjligheten att använda en statistisk formmodell för ytanpassning till den beräknade 3D formen.

Referensrepresentationer av föremål kan lagras på flera olika platser och med olika _ typer av system, såsom, men inte begränsat till, lokalt på något icke-flyktigt minne i en anordning som utnyttjar föremålsigenkänning enligt föreliggande uppfinning, på en centraliserad server t.ex. en databasserver eller ett personligt id-kort innehållande en referensrepresentation av ett föremål såsom en person och detta id-kort kan användas i t.ex. ett passersystem. Kommunikation mellan ett Iföremålsigenkänningssystem och ett lagringssystem för referensrepresentationer kan utnyttja olika typer av säkerhetsnivåer och/eller metoder såsom RADIUS, DIAMETER, SSL, SSH, eller vilket annat krypterat kommunikationssystem som helst som förstås av fackmannen. ...,, 528 068 Möjliga tillämpningsområden för ovan beskrivna uppfinning spänner över igenkänning och verifiering av föremål i industriella processer, fastställa och/eller identifiera föremål för säkerhetsändamål, föremålsigenkänning för militära ändamål 5 t.ex. automatisk bestämning av militära fordon, militära fartyg, flygmaskiner och så vidare, ansiktsigenkänningssystem för många olika tillämpningar t.ex. biometri, informationssäkerhet, polisiära tillämpningar, smarta kort, passagesystem och så vidare. i 10 Ovanstående nämnda och beskrivna utföringsformer är givna enbart som exempel och skall inte vara begränsande för den föreliggande uppfinningen. Andra lösningar, användningar, ändamål och funktioner inom ramen för uppfinningen så som yrkas i .nedan beskrivna patentkrav skall vara uppenbara för fackmannen.

Claims (1)

1. ___., 10 15 20 25 30 35 KYBV 528 068 17 . En metod för föremålsigenkänning av ett tredimensionellt (3D) föremål, »bestående av följande steg: - erhålla minst en tvådimensionell (2D) representation av sagda föremål; - detektera bildsärdrag i sagda erhållna 2D representation; - återskapa en högst trolig 3D form av sagda föremål, tillhörande en viss klass av föremål, som är konsistent med 2D bilder av sagda föremål med hjälp av minst en erhållen bild där 2D särdrag detekterats och med hjälp av en statistisk multi-vy formmodell av formvariationen; och - jämföra sagda återskapade 3D form med en referensrepresentation av minst ett föremål av sagda föremålsklass. Metoden enligt krav 1, vari sagda återskapade 3D form är en fullständig ytmodell. . Metoden enligt krav 2, vari sagda fullständiga ytmodell beräknas från 2D eller 3D särdrag. Metoden enligt krav 1 till 3, vari sagda föremålsklass innehåller icke-rigida föremål och sagda statistiska formmodell tränas med hjälp av 2D och 3D data specifika för möjliga deformationer av föremålen i sagda icke-rigida föremålsklass. Metoden enligt något av kraven 1 - 4, vidare omfattande steget att identifiera ett specifikt föremål från en föremålsklass eller stödja identifieringen av ett specifikt föremål med hjälp av sagda återskapade 3D form. Metoden enligt något av kraven 1 - 4, vidare omfattande steget att verifiera identiteten för ett specifikt föremål från en föremålsklass eller stödja verifieringen av identiteten av ett specifikt föremål med hjälp av sagda beräknade 3D form. . Metoden enligt krav 2 eller 3, vidare omfattande steget att: anpassa en yta till sagda återskapade 3D form med hjälp av en tränad statistisk formmodell ___., 10 15 20 25 30 35 528 068 18 för sagda föremåls yta för att regularisera sagda ytform på ett sätt som är 'specifikt för sagda föremålsklass. 8. Metoden enligt krav 1 - 7, vari sagda föremål kan vara ett eller flera av: ett mänskligt ansikte, en människokropp, inre organ i en människokropp, blodkärl, djur, inre organ i ett djur, en tumör, tillverkade produkt(er) från en industriprocess, ett fordon, ett flygplan, ett fartyg, militära föremål. 9. Metoden enligt krav 1, vari sagda referensrepresentation lagras i minst en av ett icke-flyktigt minne, en databas server och ett personligt id-kort. 10. En anordning (400) för föremålsigenkänning av ett tredimensionellt (3D) föremål, bestående av: medel för att erhålla (404) åtminstone en tvådimensionell (ZD) representation av sagda föremål (607) ; medel för att detektera (401) bildsärdrag i sagda erhållna 2D representation ; medel för att återskapa (401) en högst trolig 3D form av sagda föremål, tillhörande en viss klass av föremål, som är konsistent med 2D bilder av sagda föremål (607) med hjälp av en eller flera bilder där 2D särdrag detekterats och med hjälp av en statistisk multi-vy formmodell av formvariationen; och medel för att jämföra (401) sagda återskapade 3D form med en referensrepresentation av minst ett föremål av sagda föremålsklass. 11.Anordningen (400) enligt krav 10, vari sagda återskapade 3D form är en fullständig ytmodell. 12.Anordningen (400) enligt krav 11, vari sagda fullständiga ytmodell beräknas från 2D eller 3D särdrag. 13.Anordningen (400) enligt krav 10 - 12, vari sagda föremålsklass innehåller icke-rigida föremål och sagda statistiska formmodell tränas med hjälp av 2D och 3D data specifika för möjliga deformationer av föremålen l sagda icke- rigida föremålsklass. ___., 10 15 20 25 30 35 528 068 19 14. Anordningen (400) enligt något av krav 10 - 13, vidare omfattande medel att identifiera ett specifikt föremål från en föremålsklass eller stödja identifieringen av ett specifikt föremål med hjälp av sagda beräknade 3D form. 15,. Anordningen (400) enligt något av krav 10 - 13, vidare omfattande medel att verifiera identiteten för ett specifikt föremål från en föremålsklass eller stödja verifieringen av identiteten av ett specifikt föremål med hjälp av sagda återskapade. 3D form. 16. Anordningen (400) enligt krav 11 eller 12, vidare omfattande medel att: anpassa en yta till sagda återskapade 3D form med hjälp av en tränad statistisk formmodell för sagda föremåls yta för att regularisera sagda ytform på ett sätt som är specifikt för sagda föremålsklass. 17. Anordningen (400) enligt något av krav 10 - 16, vari sagda föremål kan vara ett eller flera av: ett mänskligt ansikte, en människokropp, inre organ i en människokropp, blodkärl, djur, inre organ i ett djur, en tumör, tillverkade produkt(er) från en industriprocess, ett fordon, ett flygplan, ett fartyg, militära föremål. _ 18. Anordningen (400) enligt krav 17, vari sagda beräknade 3D former av blodkärl eller organ beräknade från 2D projektioner, t.ex. med hjälp av röntgenbilder, används för att navigera styrbara katetrar eller för att stödja läkare genom att visa sagda beräknade 3D form. 19.Anordningen (400) enligt krav 17, vari sagda återskapade 3D former av ansiktssärdrag används för att identifiera eller verifiera identiteten av en individ i ett passagekontrollssystem eller säkerhetssystem, vilket resulterar i att sagda individ accepteras eller refuseras. 20. Anordningen (400) enligt krav 10, vidare omfattande ett gränssnitt för att kommunicera med ett personligt id-kort där sagda referensrepresentation är lagrad. 10. 15 20 25 30 35 21. 22. 23. 528 068 20 Ett datorprogram lagrat i ett för dator läsbart lagringsmedia (402) och utförd l en beräkningsanordning (401) för föremålsigenkänning av ett tre dimensionellt (3D) föremål, bestående av: - . en instruktionsuppsättning för att erhålla minst en externt förvärvad två- dimensionell (2D) representation av sagda föremål (607); - en instruktionsuppsättning för att detektera bildsärdrag i sagda erhållna 2D representation; - en instruktionsuppsättning för att återskapa en högst trolig 3D form av 'sagda föremål, tillhörande en viss klass av föremål, som är konsistent med 2D bilder av sagda föremål (607) med hjälp av en eller flera bilder där 2D särdrag detekterats och med hjälp av en tränad statistisk multi- vy formmodell av formvariationen; och - en instruktionsuppsättning för att jämföra sagda återskapade 3D form med en referensrepresentation av minst ett föremål av sagda klass. Datorprogrammet enligt krav 21, vidare omfattande en instruktionsuppsättning för att identifiera och/eller verifiera ett individuellt föremål från en föremålsklass eller stödja sagda identifiering och/eller verifiering av sagda individuella föremål med hjälp av sagda återskapade 3D form. Ett system för föremålsigenkänning av ett tredimensionellt (3D) föremål, bestående av: - medel för att erhålla (601) åtminstone en tvådimensionell (2D) representation av sagda föremål (607) ; - medel för att detektera (401) bildsärdrag i sagda erhållna 2D representation; - medel för att återskapa (401, 603) en högst trolig 3D form av sagda föremål, tillhörande en viss klass av föremål, som är konsistent med 2D bilder av sagda föremål (607) med hjälp av en eller flera bilder där 2D särdrag detekterats och med hjälp av en tränad statistisk multi-vy formmodell av formvariationen; - medel för att jämföra (401) sagda återskapade 3D form med en referensrepresentation av minst ett föremål av sagda föremålsklass; och i - medel för att reagera (604) på ett resultat from sagda medel för att jämföra (401). 528 063 21 24. Systemet enligt krav 23, vidare omfattande medel att identifiera och/eller verifiera ett specifikt föremål från en föremålsklass eller stödja sagda identifiering och/eller verifiering av sagda specifika föremål med hjälp av sagda återskapacle 3D form. 25. Systemet enligt krav 23, där sagda referensrepresentation lagras i minst en av ett icke-flyktigt minne, en databas server och ett personligt id-kort. 10