SE536679C2 - Förfarande för mappning vid upptagning av videoflöden medelst kamera - Google Patents

Description

25 30 536 679 mappama gjordes. Denna förflyttning från integrationstiden när mappama gjordes ger upphov till en lågfrekvent bildoj ärnnhet. Ett extra spatialt, fast-mönster brus, spatial fixed pattem noise, tillkommer som syns vid lågkontrastscener. En tidigare känd lösning på detta har varit att endast tillåta ändring av integrationstiden i samband med att offsetmappen uppdateras vid en så kallad NUC, gon gnifonnity gorrection.

Lösningen kräver för att fungera adekvat att en NUC görs så fort som scenen ändrats markant, exempelvis vid panorering.

För exempel på känd teknik där integrationstiden ändras kan hänvisas till WO 2008/ 1 071 17 A1 som beskriver ett förfarande för ändring av integrationstid i beroende av temperatur hos en IR-sensor.

Sammandrag av uppfinningen Ändamålet med föreliggande uppfinningen är att åstadkomma ett förfarande som anpassar integrationstiden dynamiskt utifrån sceninnehåll för att uppnå maximal prestanda i varje scen utan krav på ständiga uppdateringar av mappar genom NUC- processande och utan att lagra mappar för ett stort antal fasta integrationstider.

Uppfinningsändarnålet uppnås genom ett förfarande kännetecknat av: a) att minst två referensbilder upptas i produktion mot en svartkroppsstrålare vid samma temperatur vid två eller flera skilda integrationstider. b) att vid uppdatering av en offsetmapp lagras för vilken integrationstid offsetmappen uppdaterades, c) att under drift aktuell integrationstid jämförs med integrationstiden för senaste uppdateringen av offsetmappen, d) att som referens väljs den upptagna referensbilden som ligger närmast aktuell integrationstid, e) att en kompensation per pixel för integrationstidsändringen beräknas genom linjär interpolation mellan den valda referensbilden och senast uppdaterade offsetmappen resulterande i en kompensationsmapp, f) att kompensationsmappen adderas till en inkommande videobild. 10 15 20 25 30 536 679 Genom utnyttjande av referensbilder, senaste uppdateringen av offsetmappen och dess integrationstid, samt linjär interpolation kan en kompensationsmapp skapas som nära svarar mot aktuell integrationstid. Förfarandet möjliggör att integrationstiden kan ändras kontinuerligt och helt automatiskt utan att behöva genomgå en förnyad NUC- pfOCCSS.

Med fördel normeras kompensationsmappen före addering genom att kompensationsmappens medelvärde dras av från alla pixlar för centrering av kompensationsmappen runt noll.

Altemativt kan referensbildema norrneras före interpolationen genom att referensbildens medelvärde dras av från alla pixlar för centrering av referensbilden runt noll.

Enligt ett fördelaktig förfarande upptas specifikt två referensbilder i produktion mot en svartkroppsstrålare vid samma temperatur vid två skilda integrationstider. Genom att hålla nere antalet referensbilder till två kan mappningsprocessen hållas förhållandevis enkel lagrings- och beräkningsmässigt.

Lämpligen kan enligt föreslaget förfarande referensbildema upptas för integrationstider inom millisekundornrådet med en skillnad i integrationstid av storleksordningen 10 millisekunder.

Uppfinningen avser även ett datorprogram innefattande programkod, vilket när nämnda programkod exekveras i en dator åstadkommer att nämnda dator utför förfaranden enligt ovan för uppnående av uppfinningsändamålet, samt en datorprograrnprodukt innefattande ett datorläsbart medium och ett datorprogram enligt ovan, varvid nämnda datorprogram är innefattat i nämnda datorläsbara medium Kortfattad beskrivning av ritningarna Uppfinningen kommer att beskrivas ytterligare nedan i exemplifierad förrn under hänvisning till bifogade ritningar där: 10 15 20 25 30 536 679 Figur 1 schematiskt visar exempel på en kurva som visar scentemperatur som funktion av integrationstid för optimerad bildprestanda.

Figur 2 schematiskt visar ett exempel i blockschemaform på principerna för mappning av enligt uppfinningsfrårfarandet.

Figur 3 schematiskt visar ett exempel på en kurva som visar signal per pixel som funktion av integrationstid för en pixel som genomgått mappningen enligt uppflnningsfórfarandet.

Detalierad utförandebeskrivning Den i figur 1 visade kurvan l visar exempel på scentemperatur T som funktion av integrationstid t för optimerad bildprestanda. I figuren har två fasta integrationstider t1 och t; lagts in. Enligt känd metod är en egen mapp kopplad till vardera integrationstiden. I det fall att en annan lämplig integrationstid används kommer man att flytta sig från intrgrationstidema för vilka mappama gjordes och dänned uppstår lågfrekventa bildojämnheter. Enligt föreslaget förfarande för mappning och som beskrivs närmare under hänvisning till figur 2 skapas kompensationsmappar som erbjuder relevant mappning utmed scentemperaturkurvan mellan fasta referenser.

Principerna för mappning enligt uppfinningsfórfarandet beskrivs nu under hänvisning till figur 2.

Genom ett block 2 finns ett inkommande videoflöde tillgängligt. Flödet kan levereras från sensordelen av en IR-kamera, vilken sensordel kan innefatta exempelvis en eller flera fokalplansarrayer. För videoflödet har den aktuella integrationstiden betecknats med tp.

Ett block 3 markerar tillgänglighet av två referensbilder tagna i produktion. Bilderna är tagna på en svartkroppsstrålare vid samma temperatur vid två olika integrationstider. Den forsta referensbilden benämns här Bæfl och är tagen med en 10 15 20 25 30 536 679 integrationstid trefl som i ett exempel här kan uppgå till 3 ms. Den andra referensbilden benämns Brer; och är tagen med en integrationstid trerg som i exemplet här kan uppgå till 14 ms. Referensbilden Brefl markeras lagrad i blocket 4, medan referensbilden Bref; markeras lagrad i blocket 5.

Under en IR-kameras drift utförs kalibreringar av kameran under en känd process benämnd NUC, non unifonnity correction. Ett block 6 indikerar denna NUC-process.

Vid denna NUC-process sparas utöver senaste mapp även med vilken integrationstid, trrrre, NUC-processen utfördes. Blocket 6 tillhandahåller således dels senaste mapp och dels senaste integrationstid trrrre.

Ett block 7 hanterar valet av närrnaste referensbild. Om ltrefl 'tpl < l tref2"tp l väljs referensbilden Bref; eftersom den ligger närmast den nya aktuella integrationstiden tp. I annat fall väljs referensbilden Breg eftersom den då anses ligga närmast den nya aktuella integrationstiden tp.

När integrationstiden skall ändras jämförs den aktuella integrationstiden tr, med integrationstiden trrrre från senaste NUC och som referensbild väljs den referens som ligger närmast den nya aktuella integrationstiden tr, och tillhandahålls av blocket 7.

I blocket 8 beräknas en kompensation per pixel genom linjär interpolation mellan utvald referensbild, antingen referensbild Bref; eller Breg, och mappen från senaste NUC. Resultatet av beräkningen blir en mapp i denna beskrivning benämnd kompensationsmapp. Ett block 9 utför nonnering av korrigeringsmappen innan den via en adderare 10 adderas till det inkommande videoflödet från blocket 2 för att leverera ett videoflöde ut genom ett block 11. Videoflödet ut kan kopplas till exempelvis en display för visning eller ett minnesmediurn för lagring. Display och minnesmedium har inte visats i figuren. 10 15 20 25 536 679 Altemativt kan normeringen av referensbilden utföras före interpolationen och i figur 2 indikeras med streckade block 13 och 15 två möjliga placeringar av ett block för normering av referensbilden Bmfl. På motsvarande sätt indikerar två streckade block 14 och 15 två möjliga placeringar av ett block för normering av referensbilden Brefl- I figur 3 illustreras schematiskt resultatet av linjär interpolation per pixel. I kurvan 12 visas signalen S per pixel som funktion av integrationstid t. Utmed tidsaxeln t har integrationstiderna tmfl och tm; för referensbildema Bmfl och Bm; lagts in liksom integrationstiden tm för senaste NUC. Dessutom har den aktuella integrationstiden tp lagts in. I det visade exemplet ligger referensbilden Bmfl närmare den aktuella integrationstiden tp än referensbilden Bmfg. I analogi med vad som beskrivits under hänvisning till blocket 8 i figur 2 utförs en linjär interpolation mellan referensbilden Breg med integrationstiden tmfl och mappen från senaste NUC med integrationstiden tIlUC' Uppfinningen har ovan beskrivits under hänvisning till en schematisk blockstruktur visad i figur 2. Denna beskrivning skall endast ses som en förklaring av den principiella strukturen. Utförandet av beskrivna funktioner kan göras på många sätt inom uppfinningens ram och särskilt pekas på användandet av ett datorprogram för funktionemas genomförande.

Uppfinningen är inte begränsad till de i ovanstående såsom exempel beskrivna förfarandena, utan den kan underkastas modifikationer inom ramen för efterföljande patentkrav

Claims (7)

10 15 20 25 30 536 679 Patentkrav

1. Förfarande för mappning vid upptagning av videoflöden medelst kamera, såsom IR-kamera, kännetecknat av a) att minst två referensbilder upptas iproduktion mot en svartkroppsstrålare vid samma temperatur vid två eller flera skilda integrationstider. b) att vid uppdatering av en offsetmapp lagras för vilken integrationstid offsetmappen uppdaterades, c) att under drift aktuell integrationstid jämförs med integrationstiden för senaste uppdateringen av offsetmappen, d) att som referens väljs den upptagna referensbilden som ligger närmast aktuell integrationstid, e) att en kompensation per pixel för integrationstidsändringen beräknas genom linjär interpolation mellan den valda referensbilden och senast uppdaterade offsetmappen resulterande i en kompensationsmapp, f) att kompensationsmappen adderas till en inkommande videobild.

2. Förfarande enligt patentkravet 1, kännetecknat av att kompensationsmappen före addering normeras genom att kompensationsmappens medelvärde dras av från alla pixlar för centrering av kompensationsmappen runt noll.

3. Förfarande enligt patentkravet 1, kännetecknat av att referensbilderna normeras före interpolationen genom att referensbildens medelvärde dras av från alla pixlar för centrering av referensbilden runt noll.

4. Förfarande enligt något av föregående patentkrav, kännetecknat av att två referensbilder upptas iproduktion mot en svartkroppsstrålare vid samma temperatur vid två skilda integrationstider.

5. Förfarande enligt något av föregående patentkrav, kännetecknat av att referensbilderna upptas för integrationstider inom rnillisekundornrådet med en skillnad i integrationstid av storleksordningen 10 millisekunder. 536 679

6. Datorprogram innefattande pro gramkod, vilket när nämnda pro grarnkod exekveras i en dator åstadkommer att nämnda dator utför förfarandet enligt något av patentkraven 1-4.

7. Datorprogramprodukt innefattande ett datorläsbart medium och ett datorprogram enligt patentkrav 6, varvid nämnda datorprogram är innefattat i nämnda datorläsbara medium.