SE537484C2 - Förfarande för bildbearbetning och värmebildkamera - Google Patents

Abstract

Sammandrag Vid en varmekamera (1) foreslas aft, ur en foljd av minst tva IR-bilder (10, 11) eller till dessa hOrande VIS-bilder (19, 20) extrahera sardrag med en sardragsanalys och aft bestamma en optimal Overensstammelse mellan ur bilderna (9, 10, 19, 20) extraherade sardrag och fOr bildpositionerna (16, 17) med de overensstammande sardragen faststalla en translationsvektor (18), vilken relaterar bildpunkterna av den fOrsta IR-bilden (10) till bildpunkterna av den andra IR-bilden (11)

Description

F6rfarande f6r bildbearbetning och varmebildkamera Uppfinningen avser ett forfarande for bildbearbetning av en foljd av infraroda bilder (IRbilder), dar foljden minst omfattar en forsta IR-bild och en andra IR-bild, dar den forsta IR- bilden hor till en forsta tidpunkt och den andra IR-bilden hor till en andra senare tidpunkt.

Uppfinningen avser vidare en varmebildkamera med bildbearbetningsmedel.

Det är forut [cant att av en scen framstalla en foljd av IR-bilder, exempelvis i form av en film, for att dokumentera en over tid lopande process eller genomfora langtidsmatningar.

Det har visat sig att vid handhallna varmebildkameror är det svart, sarskilt att sikta pa och uppfatta mindre objekt exakt Over en langre tidsperiod. Det är darfor lampligt att montera sadana varmebildkameror pa stativ eller liknande under den tid matningen tar.

Uppfinningen har som andamal att forenkla matningar med en varmebildkamera, som stracker sig Over en langre mattid.

For att losa detta problem tillhandahaller uppfinningen ett forfarande for bildbearbetning enligt inledningsvis kand teknik dar, till den forsta tidpunkten skapas en forsta bild av en scen, till den andra tidpunkten skapas en andra bild av scenen, i den fOrsta bilden ett fOrsta bildomrade valjs ut, for det forsta bildomradet minst ett sardrag extraheras ur den forsta bilden, i den andra bilden ett andra bildomrade bestams och valjs ut med en algoritm for igenkanning av sardrag och/eller monster pa sa satt att for det utvalda andra bildomradet overensstammelsen av minst ett extraherat sardrag är optimal med minst ett extraherat sardrag av det forsta bildomradet extraherade minst ena sardrag och att genom en jamforelse av bildpositionen for det forsta bildomradet i den forsta bilden med bildpositionen for det andra bildomradet i den andra bilden en translationsvektor faststalls, vilken relaterar minst en bildpunkt av den forsta bilden till minst en bildpunkt i den andra IR-bilden.

Uppfinningen tillhandahaller fordelen att en pa de upptagna IR-bilderna skenbart pga. en okontrollerad egenrorelse av upptagningsapparaten, alltsa varmebildkameran, eller huvudsakligen rorlig scen kan foljas over flera IR-bilder.

En konstruktiv sarskilt enkel utfOringsform kan tillhandahallas sa att som forsta bild den forsta IR-bilden och som andra bild den andra IR-bilden anvands. 1 Nar varmebildkameran som anvands dessutom forfogar over en VIS-kamera (ty. VISKamera; kamera for det synliga spektrat), s5 kan det vara anordnat s5 att den forsta bilden och den andra bilden upptas i det synliga spektrat. Uppfinningen bygger pa kunskapen att extraktionen av sardragen kan genomforas enklare for VIS-bilder (ty. VIS-Bilder; bilder i det synliga spektrat).

Anvands som forsta eller andra bild inte IR-bilderna s5 kan det vara ordnat s5 att for att faststalla translationsvektorn en viss korrespondens mellan bildpunkterna (pixlarna) av en vid en tidpunkt faststalld bild och bildpunkterna (pixlarna) av till denna tidpunkt tillhorande IR-bild anvands. I detta fall definierar den forbestamda korrespondensen ett protokoll hur IRbilderna ska bringas i tackning med tillhorande bilder.

FOr att kunna [canna igen en optimal Overensstammelse av sardragen kan en sannolikhetsfunktion definieras och tillhandahallas, dar en optimal overensstammelse faststalls, da sannolikhetsfunktionen overskrider ett forutbestamt troskelvarde.

Forfarandet for bildbearbetning enligt uppfinningen kan sarskilt anvandas p5 foljder av IRbilder, vilka bildas av ramar av en filmsekvens.

For att f5 sa korta bearbetningstidsspann som mojligt kan urvalet av det andra bildonnradet utforas samtidigt med upptagningen av ytterligare bilder av foljden.

Generellt kan de utvalda bildomradena vara utformade punktformigt eller ytformigt utbredda.

For att mojliggora matning och/eller betraktelse av ett objekt Over flera IR-bilder av en filmsekvens kan foljden omfatta en tredje IR-bild, dal- den tredje IR-bilden är horande till en tredje IR-bild, som i tid ligger efter den andra tidpunkten, att till den tredje tidpunkten en tredje bild av en scen faststalls, att i den andra bilden ett nytt forsta bildomrade valjs ut, vilket är avlett fran det tidigare faststallda andra bildomradet, att for det nya forsta bildomradet minst ett sardrag extraheras ur den andra bilden, att i den tredje bilden ett nytt andra bildomrade bestams och valjs ut med en algoritm for att kanna igen ett sardrag- och/eller ett monster p5 s5 satt, att for det utvalda nya andra bildomr5det overensstammelsen hos minst ett sardrag är optimal med det till det nya forsta bildomradet extraherade minst ena sardraget och att genom en jamforelse av bildpositionen av det nya bildomradet i den andra bilden med bildpositionen for det nya andra bildomr5det i den tredje bilden en ny translationsvektor faststalls, som relaterar minst en bildpunkt hos den andra IR-bilden till minst en bildpunkt i 2 den tredje IR-bilden. Foretradesvis valjs det nya bildomradet i den andra bilden identiskt med det andra bildomradet for den andra bilden i forfarandets forsta steg eller sa valjs ett nytt andra bildomrade med avseende pa den forst faststallda translationsvektorn, sarskilt med avseende pa objektets forflyttning. Darmed kan man undvika att foreliggande utvalda och utvarderade bildomrade ligger mellan filmsekvensens bilder, varigenom en kontinuerlig upptagning av ett objekt under loppet av flera bilder mojliggors.

Det kan aven vara anordnat sa aft det nya forsta bildomradet avleds fran tidigare faststallda andra bildomrade med avseende pa en temperaturforandring mellan tva genom en translationsvektor relaterade bildpunkter for tva IR-bilder. En fordel i detta fall är att forflyttningen eller utvecklingen av ett objekt da aven kan foljas, nar dess temperatur forandras over tiden och pga. dessa temperaturforandringar formen, ljusstyrkan och/eller kontrasten varierar.

For att genomfora temperaturmatningar over lang tid kan en foljd av minst tva, sarskilt minst tre, temperaturvarden bestammas och utmatas till translationsvektorer relaterade till bildpunkter av foreliggande IR-bilder. Alternativt eller dessutom kan en foljd av minst ett temperaturdifferensvarde, sarskilt minst tva temperaturdifferensvarden bestammas och utmatas till translationsvektorer relaterade till bildpunkter fran fOreliggande IR-bilder.

For att utjamna perspektivliknande distorsioner kan den forsta och den andra bilden eller IRbilderna rektifieras. Foretradesvis genomfors denna rektifiering innan extraktionen av sardragen och/eller innan urvalet av bildomrade. I detta fall avses med rektifiering en bildbearbetningsprocess, i vilken distorsionen av en avbild av en huvudsakligen platt scen korrigeras. En fordel i detta fall är att efter rektifieringen kan en optimal overensstammelse av sardragen ges pa ett enkelt satt och med fa fel.

Det kan vara utformat sa att overlagringen av den forsta IR-bilden relativt den forsta IRbilden med translationsvektom forskjutna andra IR-bilden kan tillhandahalls och/eller matas ut. Darmed kan andringar Over tid vid de upptagna objekten i IR-bilderna pa enkelt satt framstallas eller visas.

For att losa detta problem är en varmebildkamera enligt inledningsvis angiven typ utformad sa att bildbearbetningsmedlen är konfigurerade fOr att ut-fora eft fOrfarande far bildbearbetning enligt uppfinningen. I detta fall kan bildbearbetningsmedlen uppvisa en databearbetningsanordning med ett driftprogram, dar driftprogrammet är programmerat pa sa satt att forfarandet for bildbearbetning enligt uppfinningen utfors med driftprogrammet. 3 Sarskilt fordelaktigt är det nar varmebildkameran är utformad som en handhallen varmebildkamera och/eller uppvisar en visningsenhet for utmatning av IR-bilderna och/eller av VIS-bilderna.

Uppfinningen beskrivs i anslutning till en utforingsform, men al- dock inte begransad till denna utforingsform. Ytterligare utforingsformer fas genom att kombinera enskilda eller flera sardrag ur underkraven och/eller enskilda eller flera sardrag av utforingsformerna.

Delvis forenklat visar: Fig. 1 en varmebildkamera enligt uppfinningen i en perspektivvy framifran, Fig. 2 varmebildkameran enligt Fig. 1 i en perspektivvy bakifran, Fig. 3 en forsta IR-bild bearbetad med forfarandet for bildbearbetning enligt uppfinningen, Fig. 4 en andra IR-bild bearbetad med forfarandet for bildbearbetning enligt Fig. 3, Fig. 5 en ytterligare forsta bild och IR-bild bearbetad med forfarandet for bildbearbetning enligt uppfinningen och Fig. 6 en andra bild och andra IR-bild bearbetad med forfarandet for bildbearbetning enligt Fig. 5.

En i Fig. 1 och Fig. 2 visad varmebildkamera 1 enligt uppfinningen uppvisar en IR-optik 2, bakom vilken en i sig kand och inte mera askadliggjord IR-sensoranordning 3 for upptagning av IR-bilder är anordnad.

Varmebildkameran 1 uppvisar vidare en VIS-kamera 4, vilken är konfigurerad far upptagning av VIS-bilder.

Pa en som display utformad presentationsenhet 5 kan de upptagna IR- eller VIS-bilderna visas enskilt eller med overlagring eller overblandning, dar formatet som visas kan valjas eller fOrandras med styrelementen 6. I de visade bilderna kan vid motsvarande bildpositioner uppmatta temperaturvarden blandas in.

Varmebildkameran 1 är som handapparat forsedd med ett grepp 7, dar i greppets 7 greppomrade en utlosare 8 for upptagning av IR-bilderna eller VIS-bilderna är anordnad och konfigurerad.

Den energi som behovs for drift av varmebildkameran 1 tillhandahalls av en i greppet 7 eller allmant i varmebildkameran 1 integrerad energiforsorjningsenhet. 4 I varmebildkameran 1 är icke narmare visade bildbearbetningsmedel 9 utformade, som omfattar en databearbetningsenhet.

I databearbetningsenheten är ett driftprogram anordnat, vars programsteg tillhandahaller forfarandet for bildbearbetning enligt uppfinningen, vilket beskrivs narmare sasom foljer.

Fig. 3 och Fig. 4 visar valdigt schematiskt for att fortydliga uppfinningens princip en forsta IRbild 10 och en andra IR-bild 11 av en foljd av med IR-sensoranordningen 3 upptagna IR- bilder. IR-bilderna 10 och 11 innehaller olika avbilder 12 och 13 av ett objekt av en scen, dar i den andra IR-bilden 11 avbilden 12 av den forsta IR-bilden 10 for fortydligande av uppfinningens princip upprepas.

Vid en jamfOrelse mellan Fig. 3 och 5 framgar att varmebildkameran 1 och scenen som innehaller objektet mellan upptagningarna har rod sig relativt varandra.

For att kunna kompensera eller folja denna rorelse valjs i den forsta IR-bilden 10 ett forsta bildomrade 14 ut, for vilket ett icke synligt sardrag extraheras ur den forsta IR-bilden 10. Detta urval kan ske manuellt eller med styrelementen 6 eller automatiserat genom identifiering av signifikanta sardrag. Med sardrag kan i detta fall varje i bildbearbetning anvandbart eller kant sardrag, exempelvis en kant eller liknande geometrisk struktur, en ljushets- eller fargfordelning, ett bildinnehall eller liknande extraheras.

Darefter bestams och utvaljs i den andra IR-bilden 11 ett andra bildomrade 15 pa sã satt att for det utvalda andra bildomradet 15 overenstammelsen av minst ett extraherat sardrag är optimalt med det till det forsta bildomr5det 14 extraherade minst ena sardraget.

I detta fall extraheras darefter till den andra IR-bilden ett flertal sardrag ur ett flertal bildomraden och vilket sardrag som heist sOks ut, som visar den storsta Overensstammelsen med det ur den forsta IR-bilden 10 extraherade sardraget. Vilket som heist bildomrade, ur vilket detta sardrag extraherades, valjs da ut som andra bildomr5de 15.

I detta fall kan en sannolikhetsfunktion anvandas, med vilken sardragen utvarderas, dar overskridandet av ett forutbestamt troskelvarde genom sannolikhetsfunktionen visar en optimal overenstammelse av sardragen.

Genom jamforelse av till det forsta bildomradet 14 och det andra bildomradet 15 tillhorande bildpositioner 16 och 17, sarskilt genom differensbildning, faststalls nu en translationsvektor 18.

Denna translationsvektor 18 relaterar bildpunkter 16, 17 och 5N/en de ovriga bildpunkterna av IR-bilder 10, 11 till varandra p5 sa satt att IR-bilderna 10, 11 genom en forskjutning mot varandra med translationsvektorn 18 avbilderna 12, 13 i det narmaste eller rent av exakt kan bringas aft tacka varandra.

Nu kan for bildpositionerna 16, 17 temperaturvarden av IR-bilderna 10, 11 avledas, som Merger en forandring av temperaturen av det upptagna objektet over tid.

Forfarandet for bildbearbetning enligt uppfinningen kan nu fortsatta med en tredje, icke narmare visad IR-bild sa att det andra bildomradet 15 av den andra IR-bilden 11 anvands som nytt forsta bildomrade.

Med den faststallda translationsvektorn 18 är det vidare mojligt att visa IR-bilderna 10, 11 vid presentationsenheten 5 i en overblandning eller overlagring forskjutna motvarandra s5 aft avbilderna 12, 13 är bringade till tackning.

Fig. 5 och Fig. 6 visar i kraftigt forenklad principiell vyer ett ytterligare forfarande enligt uppfinningen. I detta fall är komponenter, som är desamma som de som visats i tidigare beskrivna forfaranden, forsedda med samma hanvisningsbeteckningar och beskrivs inte annu en gang.

Till skillnad mot tidigare beskrivna fOrfarande upptas vid detta forfarande foreliggande lika i tid eller nastan lika i tid till den forsta IR-bilden 10 en forsta VIS-bild 19 och lika i tid eller nastan lika i tid till den andra IR-bilden 11 en andra VIS-bild 20.

VIS-bildema 19, 20 innehaller i det synliga spektrat upptagna VIS-avbilder 21, 22 av objektet eller scenen, vilken är 5tergiven, vilka ar atergivna aven med avbilderna 12, 13 i IR-bilderna 10, 11.

Aven hat- visas i den andra VIS-bilden 20 VIS-avbilden 21 av VIS-bilden 19 kir fortydligande av principen, aven om denna inte nodvandigtvis foreligger i den andra VIS-bilden 20. 6 Darefter utvaljs i den forsta VIS-bilden 19 ett forsta bildomrade 14, for vilket ett sardrag avleds fran den forsta VIS-bilden 19.

Urvalet av det fOrsta bildomradet 14 kan vid uppfinningen ske manuellt eller automatiserat genom faststallande av ett optimalt lampligt bildomrade.

Darefter valjs sasom redan beskrivits i anslutning till Fig. 3 och 4, dock nu i den andra VIS- bilden 20, ett andra bildomrade 15 ut, for vilket ett extraherat sardrag overensstammer optimalt med det far det fOrsta bildomradet 14 extraherade sardraget.

Genom jamforelse av bildpositionerna 16, 17 av bildomradet 14, 15 faststalls slutligen en translationsvektor 18, vilken relaterar dessa bildpositioner 16, 17.

FOr att kunna anvanda den faststallda translationsvenkorn 18 pa de dartill horande IR- bilderna 10,11 an i varmebildkameran 1 en korrespondens 23 mellan bildpunkterna av den fOrsta VIS-bilden 19 och den forsta IR-bilden 10 eller mellan den andra VIS-bilden 20 och den andra IR-bilden 11 sparad, med vilken korrespondens 23 translationsvektorn 18 kan omraknas i en motsvarande translationsvektor for IR-bilderna 10, 11.

Genom att den fOrsta IR-bilden 10 forskjuts relativt den andra IR-bilden 11 med den faststallda translationsvektorn, kan avbildema 12, 13 sasom beskrivits helt eller nastan helt bringas till tackning.

Sasom antyds genom gitterrutlinjen 24 rektifieras i forfarandet far bildbearbetning enligt uppfinningen IR-bilderna 10, 11 eller VIS-bilderna 19, 20 for att korrigera perspektivdistorsioner, vilka kan leda till matfel.

Forfarandet for att bearbeta bilder enligt uppfinningen ' Pa detta satt är det mojligt att bearbeta filmsekvenser av IR-bilder 10, 11 i realtid och mata ut dessa till presentationsenheten 5.

Vid varmebildkameran 1 enligt uppfinningen kan presentationsenheten 5 vara utformad som en tryckkanslig display, sa att det forsta bildomradet 14 kan valjas ut manuellt genom markering pa denna tryckkansliga display. 7 Med hjalp av den tryckkansliga displayen och/eller med hjalp av styrelementen 6 kan bildomradet i IR-bilderna 10, 11 som ska undersokas dessutom begransas, for att forbattra noggrannheten.

Vid varmebildkameran 1 är det mojligt att ur en foljd med minst tva IR-bilder 10, 11 eller till dessa dartill horande VIS-bilder 19, 20 extrahera sardrag genom en sardragsanalys och att bestamma en optimal overensstammelse mellan ur bilderna 9, 10, 19, 20 extraherade sardrag och kir bildpositionerna 16, 17 overensstammande sardrag faststalla en translationsvektor 18, som relaterar bildpunktema av den forsta IR-bilden 10 med bildpunkterna av den andra IR-bilden 11. 8

Claims (8)

Patentkrav

1. Forfarande far bildbearbetning av en foljd infrarOda bilder, IR-bilder, (10, 11) upptagna med en varmebildkamera (1), dar foljden minst omfattar en forsta IR-bild 10. och en andra IR-bild (11), dar den forsta IR-bilden (10) hot- till en forsta tidpunkt och den andra IR-bilden (11) hor till en andra, senare tidpunkt, till den forsta tidpunkten skapas en med en ytterligare kamera for det synliga spektrat, VIS-kamera, (4) upptagen forsta bild i det synliga spektrat, VIS-bild, (19) i det synliga spektrat av en scen och till den andra tidpunkten skapas en med VIS-kameran (4) upptagen andra VIS-bild (20) i det synliga spektrat av scenen, dar den forsta VIS-bilden (19) i tid tas samtidigt eller nastan samtidigt med den forsta IR-bilden (10) och den andra VIS-bilden (20) i tid tas samtidigt eller nastan samtidigt med den andra IR-bilden (11), att i den forsta VIS-bilden (19) ett forsta bildomrade (14) valjs ut, att fOr det forsta bildomradet (14) minst ett sardrag extraheras ur den forsta VIS-bilden (19), att i den andra VIS-bilden (20) ett andra bildomrade (15) bestams och valjs ut med en algoritm for igenkanning av sardrag och/eller monster p5 sa satt att for det utvalda andra bildomr5det (15) minst ett extraherat sardrag overensstammer med minst ett extraherat sardrag av det forsta bildomradet (14) extraherade minst ena sardrag och att genom en jamforelse av bildpositionen (16) for det forsta bildomradet (14) i den forsta VIS-bilden (19) med bildpositionen (17) for det andra bildomradet (15) i den andra VIS-bilden en VIS-translationsvektor (18) faststalls och att en sparad overensstamning mellan bildpunkterna for den forsta VIS-bilden (19) och den forsta IR-bilden (10) eller den andra VIS-bilden (20) och den andra IR-bilden (11) anvands for att omrakna VIS-translationsvektorn till en motsvarande IR-translationsvektor, vilken relaterar minst en bildpunkt av den forsta IR-bilden (10) till minst en bildpunkt i den andra IR-bilden (11) och att den forsta IR-bilden (10) relativt den andra IR-bilden 11. är forskjuten med IR-translationsvektorn s5 att avbilderna (12, 13) av IR-bilderna (10, 11) bringas till tackning, kannetecknat av att minst ett temperaturdifferensvarde faststalls och utmatas till genom IR-translationsvektorer relaterade bildpunkter av foreliggande IR-bilder (10, 11).

2. Forfarande for bildbearbetning enligt krav 1, kannetecknat av att en Overensstammelse ges da en sannolikhetsfunktion overskrider ett fOrutbestamt troskelvarde. 9

3. Forfarande for bildbearbetning enligt nagot av kraven 1 eller 2, kannetecknat av att foljden med IR-bilder (10, 11) bildas av ramar av en filmsekvens och/eller att urvalet av det andra bildomradet (15) utfors simultant med upptagningen av ytterligare IRbilder (10, 11) av foljden.

4. Forfarande for bildbearbetning enligt nagot av kraven 1 till 3, kannetecknat av att foljden omfattar en tredje IR-bild, dar den tredje IR-bilden är horande till en tredje tidpunkt, som är vasentligt efter den andra tidpunkten, att till den tredje tidpunkten en tredje VIS-bild av en scen faststalls, att i den andra VIS-bilden (20) en nytt forsta bildomrade valjs, vilket är avdelat fran det tidigare faststallda andra bildomradet (15) av den andra VIS-bilden (20), att for det nya forsta bildomradet minst ett sardrag extraheras ur den andra VIS-bilden (20), att i den tredje VIS-bilden ett nytt andra bildomrade bestams och valjs ut med en algoritm for att karma igen ett sardrag och/eller ett monster, pa sa satt att far det utvalda nya andra bildomradet overensstammelsen är till namnda minst ena sardrag och att genom en jamforelse av bildpositionen for det nya forsta bildomradet i den andra VIS-bilden (20) med bildpositionen for det nya andra bildomradet i den tredje VIS-bilden en ny IRtranslationsvektor faststalls, vilken relaterar minst en bildpunkt av den andra IR-bilden (20) med minst en bildpunkt i den tredje IR-bilden.

5. Forfarande for bildbearbetning enligt nagot av kraven 1 till 4, kannetecknat av att det nya forsta bildomradet i den andra VIS-bilden (20) är identiskt med det tidigare faststallda andra bildomradet (15) i den andra VIS-bilden (20).

6. Forfarande for bildbearbetning enligt nagot av kraven 1 till 5, kannetecknat av att den forsta (19) och andra (20) bilden och/eller IR-bilderna (10, 11), sarskilt innan extraktionen av sardrag, rektifieras.

7. Forfarande for bildbearbetning enligt nagot av kraven 1 till 6, kannetecknat av att Overlagringen av den forsta IR-bilden (10) faststalls och/eller utmatas med den relativt den forsta IR-bilden (10) med IR-translationsvektorn forskjutna andra IR-bilden (11).

8. Varmebildkamera (1) med medel for bildbearbetning (9), kannetecknad av att namnda medel for bildbearbetning (9) är konfigurerade for att utova ett forfarande for bildbearbetning enligt nagot av foregaende krav. 1/4