SE522328C2 - System för avbildning och övervakning av olika våg längdsområden - Google Patents

Description

25 30 522 328 2 Andra sorters lösningar ges i US 5 109 277 och US 5 219 226 med sökanden Quadtech Inc. Här beskrivs ett avbildnings- och temperaturövervakningssystem. En bild av ett objekt tillsammans med temperaturen hos referenspunkter beskrivs. En pyrometer är justerbart belägen för rörelse i ett plan som är ortogonalt mot den op- tiska axeln hos den IR-stråle som infaller på pyrometern. Det är därför möjligt att mäta temperaturen hos olika delar av avbildningssystemet. Dessa delar kunde nås genom att förflytta en markör över skärmen med en mus eller liknande. Pyrometern i flyttas sedan till en belägenhet som svarar mot markörpositionen i bilden. Det skall noteras att förflyttningen av pyrometern utförs mekaniskt. Emellertid föreligger en- dast ett temperaturmätelement, en pyrometer, och följaktligen kunde mycket få punkter mätas i realtid. En temperaturmätning görs endast i ett fåtal verkliga fläckar i bilden. Sedan är det omöjligt att veta vad som händer i resten av bilden.

En nackdel med det system som beskrivs ovan är också att det kräver mekanisk förflyttning av en pyrometer. Snabba temperaturförändringar är omöjliga att ange.

Temperaturinformation i bilden förloras.

Observera att kombinationen av IR och visuell som nämndes ovan är ett exempel.

Det är möjligt att ha upptagningar på mer än två våglängdsområden och att presen- tera dem mixade och/eller multiplexade samtidigt. Andra källor att kombinera på alla sätt skulle kunna vara: UV, röntgen, överlagd grafik, etc.

UPPFINNINGEN Ett syfte med uppfinningen är att tillhandahålla ett avbildningssystem, som har flera videokällor och videoskärmar och att mixa och/eller multiplexa signalerna från dessa så fritt som möjligt.

Ett annat syfte med uppfinningen är att tillhandahålla ett avbildningssystem i stånd att övervaka drag i multipla våglängdsområden och att helt fritt mixa och/eller mul- tiplexa ett godtyckligt antal videokällor på bildpunktsupplösningsbas. 10 15 20 25 30 one u o ø v r ø n o u se - - : n o .- 522 328 3 Ytterligare ett syfte med uppfinningen är att tillhandahålla ett avbildnings- och tem- peraturövervakningssystem innefattande upptagningsdon för synlig video för över- vakning av ett objekt inom det synliga våglängdsområdet och IR-videoupptagnings- don för övervakning av samma objekt i IR. En fritt mixad och/eller multiplexad bild av de upptagna videosignalema skall visas på en skärm.

Dessa och andra syften skulle kunna utföras med ett avbildnings- och övervaknings- system med de egenskaper som beskrevs i den karakteriserade delen av det obero- ende kravet. Andra egenskaper och utvecklingar av uppfinningen är uppenbara uti- från resten av kraven.

En digital videoström kan uppdelas i bildpunkter, dess minsta del. Enligt uppfin- ningen tillhandahålls en uppsättning bildpunkter för varj e våglängdsområde som skall rnixas och/eller multiplexas med varandra. Dessa pixelområden kunde sedan bearbetas individuellt i enlighet med operatörens önskan och därefter fritt bearbetas i relation till varandra. På detta sätt skulle många varianter kunna bildas.

Uppfinningen inriktar sig mot ett system för avbildning och övervakning av olika våglängdsområden innefattande minst två videoupptagningsdon för att övervaka ett och samma objekt inom ömsesidigt olika våglängdsområden, och minst en skärm på vilken en bild av de upptagna videosignalerna visas. Uppfinningen kännetecknas av att U var och en av videoupptagningarna tillhandahåller ett upptagningsmedium med ett bildpunktsoniråde, där varje bildpunkt är åtkomlig individuellt och väsentli- gen samtidigt; o de olika upptagningarnas bildpunktsuppställningar är sådana att ett bildpunkts- område i ett av områdena är identifierbart i de andra; cl don för en operatör att välja mellan olika former av förutbestämda alternativ att visa mixade och/eller multiplexade bilder på skärmen n och 10 15 20 25 30 522 328 4 a. .- . u n . . ; | o nu c: bearbetningsdon för att göra en godtycklig mixning av och/eller utbyte mellan upptagningarna hos upptagningsdonen och/eller tillägg av information från en bildpunktsuppställning till den andra inom godtyckliga områden hos bilden som visas på skärmen i överensstämmelse med förutbestämda villkor.

Alla de minst två upptagningsmedierna skulle kunna innefatta fokalplanuppställ- ningar (FPA) anpassade till deras respektive våglängdsomräden och en analog- /digital omvandling av de registrerade bildpunktsvärdena som de matas ut. Som ett alternativ skulle de minst två mediema kunna innefatta var sina minnesorriråden, i vilka de upptagna värdena på varje bildpunkt från dess upptagning lagras, åtminsto- ne tillfälligt Om upptagningsmedia består av en FPA för det synliga våglängdsområdet och en FPA för IR, skulle bearbetningsdonen kunna styra skärmen till att visa en bild från synligupptagningsmediet och temperaturvärden vid bildlägen som svarade mot fläc- kar utpekade med ett pekdon. Temperaturvärdena skulle kunna visas i bilden i när- heten av de utpekade fläckarna. De förutbestämda villkoren skulle kunna vara att bildornråden i FPA:n för IR som anger temperaturer inom ett förutbeståmt tempera- turområde visas på skärmen, medan de motsvarande bildområdenai FPA:n för det synliga våglängdsorrirådet hindras från att visas på skärmen, och resten av bildpunk- tema hos FPA:n för det synliga våglängdsorrirådet visas.

FÖRDELAR En fördel med uppfinningen är att temperaturmätningar utförs i praktiskt taget alla bildpunkterna i en bild. Det är därför möjligt att få en full överblick över vad som händer i hela bilden.

Snabba temperaturförändringar skulle lätt kunna anges. Ingen temperaturinfonnation i bilden går förlorad. 10 15 20 25 30 522 328 5 a. .n . : ø Q @ ~ ø o nu KORT BESKRIVNING AV RITNINGARNA För en mer komplett förståelse av uppfinningen och för ytterligare syften och fördelar därmed, hänvisas nu till följande beskrivning av exempel på utföringsforrner därav - som visas i de bifogade ritningama, i vilka: FIG. 1 illustrerar ett fiinktionsdiagram över en kretslösning för att genomföra de olika utfóringsformerna av uppfinningen; FIG. 2 illustrerar schematiskt en första utföiingsfoiin av uppfinningen; i FIG. 2 illustrerar schematiskt en andra utföringsform av uppfinningen; FIG. 2 illustrerar schematiskt en tredje utfóringsform av uppfinningen; DETALJERAD BESKRIVNING AV F ÖREDRAGNA UTFÖRINGSFORMER Med hänvisning till figur 1 matas ett antal inmatningar från var och en av de olika videoupptagningama var och en på ett upptagningsmedium med ett bildpunktsområ- de, där varje bildpunkt är åtkomlig individuellt och väsentligen samtidigt, till en pro- grammerbar logik 1”. Den programmerbara logiken 1' styrs av en CPU (Central Processing Unit) i en dator. De olika upptagningarna (inmatningarna I0 till In) har sina bildpunktsomrâden ordnade så att bildpunktsstrukturen i ett av bildpunktsom- rådena är identifierbar i de andra.

Den programmerbara logiken (FGPA/ASIC) 1', som ger alla möjligheter att utföra varje slags bildbearbetning som använder de digitaliserade bildpunkterna som till- handahälls i en bildforin, har följande egenskaper: 0 Varje inmatning IO till In är en digital videoström av godtyckligt slag (bredd, format, etc) oberoende av källa. (IR, visuellt, UV, röntgen, överläggningsgrafik, etc.). Varje videoström är relaterad till en uppställning av bildpunkter tillhanda- hållna i ett rektangulärt format i relation till en skärm för visning av bilder. Ett antal inmatningar illustreras i figur l. Det är emellertid förmånligt att ha endast 10 15 20 25 30 522 328 6 . .- . o o . | n u u un två eller tre, till exempel en visuell och en IR och möjligen en grañsk inmatning.

Utföringsformer ges nedan som använder dessa slag av inmatningar. 0 Varje utgång U0 till Un utgör en videoström av godtycklig sort (bredd, format, etc.) oberoende av om presentationsmålet är en monitor, LCD, RGB, etc. Det är emellertid en skärm på vilken bilder kan visas. Flera utmatningar visas och an- vändaren kan välja mellan dem vilken som skall visas på en skärm. Det kan också finnas mer än en skärm, på vilka olika bearbetade data från inmatningama visas samtidigt. Antalet inmatningar och utmatningar skulle alltså kunna vara olika, även om antalet för dem visas vara n. Talet n i figur l anger således vilket antal som helst. 0 Varje ALU (Arithmetic Logic Unit) A1 till A5 skulle kunna ha samma antal n lager som det finns ingångar. Det är emellertid möjligt att ha mer än en ALU för varje ingång. Varje ALU har följ ande egenskaper: Vilken matematisk operation som helst kan utföras på vilken som helst av de n videoströminsignalema i sin direkta eller konverterade form.

Vilket antal som helst av de n videoströminsignalerna skulle kunna användas i vilken kombination som helst som inmatning i operationen.

Resultatet av en operation kan matas ut på vilken som helst av utvideoström- signalema UO till Un. 0 Det finns n uppslagstabeller L och varje uppslagstabell har följande egenskaper: Vilken uppslagstabell som helst kan fiillt ut programmeras av en CPU anslu- ten till kretslösningama.

Varje uppslagstabell kan ha godtycklig storlek. Vilken som helst av de n in- videoströmmarna kan vara inmatning till vilken som helst av de n uppslags- tabellema. Varje uppslagstabellutrnatning kan matas ut via ALU:n A2, en multiplexor M1, ALU:n A4, en multiplexor M2, och ALU:n A5 till vilken som helst av videoutströmmarna U0 till Un. 10 15 20 25 30 522 328 i' CPU:n laddar uppslagstabellen L med utdata för givna indata. Uppslagstabel- len utför därefter en standardomvandlingsprocedur med användning av de in- laddade data. Denna uppslagstabell gör det möjligt att konvertera mellan olika videostandarder, till exempel RGB till någon annan lämplig standard, eller bara visa några av färgerna i en synlig bild och omvandla resten av fargema till svart. Det är också möjligt att ändra vissa färger till andra specifika färger etc. 0 Varje multiplexor M1 till M3 har n lager och har följande egenskaper: Varje inmatning kan multiplexas med varje utmatning.

Varje anpassningsvärde från en anpassningsenhet Cl, C2 respektive C3, ansluten till den kan muliplexas med varje utmatning.

Alla kriterier i de n kriterieenhetema CR kan tillämpas på vilken som helst av multiplexorema. 0 Varje anpassningsenhet Cl, C2, C3 representerar kundens godtyckliga val. Data till varje anpassningsenhet laddas från CPU:n. Varje anpassningsenhet skulle också kunna ha samverkan med en ALU som har sin utmatning till samma multiplexor som anpassningsenheten. 0 Varje kriterium i kriterieenhetema CR har följande egenskaper: Varje kriterium kan programmeras från CPU:n.

Kriterier kan också alstras från vilken som helst av invideosignalema eller ALU.

Kriteriema styr multiplexorema för att ge den avsedda bildbearbetningen som styrd av CPU:n.

Tillämpningar Anordningen har utformats med vissa bestämda tillämpningar i sinnet, framför allt en kombination av två våglängdsområden, det synliga och infraröda (IR). Vissa av dem beskrivs nedan. 10 15 20 25 30 522 328 å 0 Använd temperaturinforrnation för att bestämma användningen av IR / visuell vi- deokälla. Information kan bestå av godtyckligt antal av specificerade intervall av videonivåer. Nivåer kan också förändras ”levande”, det vill säga jämförelse (till exempel <, > etc,) mellan intervallbredder är också helt fritt anpassningsbara. Ex- empeltillämpning: En ”levande” visuell video visas av en skog. En kanin springer förbi, visad i IR, Denna tillämpning kommer att vidare beskrivas i relation till fi- gur 2.

Använd visuell information för att bestämma användningen av IR / visuell video- källa. Information kan bestå av godtyckligt antal av specificerade intervall av vi- deonivåer. Nivåer kan också förändras ”levande”, det vill säga jämförelse (till ex- empel <, > etc,) mellan intervallbredder är också helt fritt anpassningsbara.

Exempeltillämpning: En ”levande” visuell video visas av en skymning. Svagt be- lysta områden visas i IR.

Ersätt IR-färgstyrka med visuell färgstyrka. Exempeltillämpning: Uppvärmda om- råden i IR-video uppträder framhävda som vanligt men områdets färger är de för visuell video.

Ersätt visuell färgstyrka med IR-färgstyrka. Exempeltillärnpning: Uppvärmda om- råden i visuell video uppträder framhävda som vanligt men områdets färger är de för IR-video.

Observera att kombinationen av IR och video är ett exempel. Andra källor att kom- binera på godtyckligt sätt skulle kunna vara: UV, röntgen, grafiköverlägg, etc.

Med hänvisning till figur 2, en IR-kamera 1 med en fokalplansuppställning (FPA) för IR som upptagande medium och en videokamera 2 med en fokalplansuppställ- ning (FPA) som upptagande medium för synligt ljus. IR-videoströmmen från IR- kameran l och den synliga videoströmmen från IR-videokameran 2 matas som två inmatningar till bearbetningsenheten 3 som illustreras i figur 1. En styrdataenhet 4 10 15 20 25 30 522 328 9 n n | n o q a ø u u nu styr bearbetningsenheten 3 att tillhandahålla varje slag av bearbetning av upptag- ningama från kamerorna 1 och 2 före matning av den bearbetade bilden för visning på en skärm 5. Den önskade bearbetningen matas till styrdataenheten 4 av en inmat- ningsenhet 6.

Kamerorna 1 och 2 är inriktade för att ta upp samma objekt (visas ej). Kamerorna skulle då kunna placeras bredvid varandra. Det kommer då att bli en Smärre paral- laxskillnad mellan de upptagna bilderna. Bearbetningsenheten 3 skulle kunna vara försedd med ett program för att korrigera detta innan bilderna bearbetas på andra sätt. Det är också tidigare känt att ha båda kamerorna 1 och 2 att se koaxialt på sam- ma objekt genom att tillhandahålla en lutad halvgenomskinlig spegel framför objek- tivet hos videokameran 2 för synligt ljus och mata den reflekterade IR-ljusstrålen mot IR-kameran 1. Egenskaper som avser hur kamerorna skall riktas mot och foku- seras på objektet är inte del av uppfinningen och beskrivs därför inte vidare i detalj.

Man skall observera att utmatningen fiån varje sensorelement i båda fokalplansupp- ställningarna digitaliseras och att fokalplansuppställningarna i detta avseende skulle kunna betraktas som två minnen för de digitala värdena av alla sensorelementen, där värdena hos varje sensorelement skulle kunna åtkommas godtyckligt. Det år därför möjligt för bearbetningsenheten 3 att analysera data i videoströmmarna från kamerorna 1 och 2. Olika önskade selektionskriteria skulle kunna ställas in för vil- ken av videokällorna som skulle visas i olika lägen på skärmen 5. Kriterierna kunde grunda sig på belägenhet i bilden, data i någon av videoströmmarna, etc.

På grund av de digitaliserade signalerna från FPA:ema är det möjligt att bilda många nya möjligheter som inte har varit möjliga att implementera tidigare Till exempel: ü Delar i IR-bilden som har en temperatur mellan två gränstemperaturer skulle kunna avsökas. Dessa delar från IR-sensorerna skulle kunna visas och de motsvarande delarna från de synliga sensorerna skulle kunna undertryckas. Till exempel skulle man kunna ta en film av en skog i vilken en hare springer.

Skogen runt haren skulle kunna visas synligt och haren i IR. 10 15 20 25 30 522 328 10 u Delar av en synlig vy kan vara svagt upplysta. Dessa delar skulle kunna förstär- kas genom att blanda dem med upptagningen från IR-kameran. n En IR-bild skulle kunna visas med en synlig bild visad till exempel i ett hörn.

Sättet att ha de två bilderna från de två kamerorna 1 och 2 i en 2D-uppställning sam- tidigt tillgängliga vid varje punkt i bilden gör det möjligt att utföra bearbetning i realtid på ett sätt som inte har varit möjligt tidigare. Samtidig mixning och komplet- tering är möjlig i samma bild.

I figur 2 utförs bearbetningen och presentation av önskade egenskaper i realtid utan någon mellanliggande lagring. Tekniken för att avläsa sensorelementen i en FPA är att avkänna dem i sekvens och göra en analog/digitalomvandling av varje avkänt värde. Det är därför inte möjligt att hoppa godtyckligt i uppställningen.

Med hänvisning till figur 3 visas en utfóringsforrn i vilken IR-upptagningar ll lagras i ett minne 13 för IR-bilden. Synliga upptagningarna 12 lagras i ett minne 14 för den synliga bilden. Lagringen i minnena 13 och 14 kan vara tillfällig. Varje minne skulle kunna ha två minnesfält så att läsning och bearbetning av det ena av dem kunde tillhandahållas under läsning till det andra. F älten är således alternativt - åtkomliga av sina upptagningsenheter och av bearbetningsenheten 15. Elementen 4 till 6 har samma funktion som samma element i figur 2. Denna utföringsforrn tillhandahåller också en skärm, som för användaren verkar visas i realtid. Eftersom varje bildpunkt i var och en av de lagrade presentationema är momentant tillgänglig från var som helst i presentationen ger det emellertid möjlighet till en mer sofistikerad bearbetning av bildema både före och efter en mixning och/eller multiplexning av dem än vad som var möjligt med en rent sekvenserad och digitaliserad utmatning direkt från F PA:ar.

Med hänvisning till figur 4 är en upptagningsanordning 30 för synliga videobilder utrustad med FPA, vars digitaliserade bildpunktsvärden matas till bearbetningsenhe- ten 31 för att visas på skärmen 32. IR-kameran har en F PA-enhet 33 som upptag- 10 15 522 328 šFïñß' 11 n an: n. ningsmedium. De digitala värdena av de avsökta F PA-elementen matas till en grafiköverläggningsanordning 34. Den grafiska anordningen 34 är försedd med information avseende flåckar på skärmen 32, för vilka temperaturen skulle visas.

Användaren kan här få ett intryck av temperaturrnätning gjort direkt i den synliga vyn. Användaren kan sedan ha en mus, en pekpenna eller liknande för att i den syn- liga vyn peka på var han/hon önskar veta temperaturen.

I denna utföringsforrn visas presentationen av temperaturvärden med siffror direkt på skärmen i närheten av den mätta fläcken. Andra sorters grafiköverläggning skulle kunna tillhandahållas, där till exempel isotermer för förutbestämda temperaturer läggs ovanpå den synliga vyn. Även om uppfinningen har beskrivits med avseende på exempel på utföringsformer skall det förstås att modifikationer kan göras utan att avvika från dess omfattning.

Följaktligen skall uppfinningen inte anses begränsad till de beskrivna utföringsfor- mema, utan definierad endast av följande krav, som är avsedda att omfatta att ekvi- valenter därav.

Claims (7)

10 15 20 25 30 522 328 13 PATENTKRAV

1. System för avbildning och övervakning av olika váglängdsområden innefattande minst två videoupptagningsdon (1, 2; 1 1, 12, 13, 14; 30, 33) för övervakning av ett och samma objekt inom ömsesidigt olika våglängdsområden, och minst en skärm (5) på vilken en bild av den upptagna videosignalema visas, kännetecknad av att 0 var och en av videoupptagningama (13, 14) har ett upptagningsmedium med ett bildpunktsområde, där var och en av bildpunktema är åtkomlig individuellt; 0 de olika upptagningama har sina bildpunktsområden så att ett bildpunktsornråde i ett av områdena är identifierbart i de andra; 0 don (6) för en operatör att välja bland olika fonner av förutbestämda altemativ för att visa mixade och/eller multiplexade bilder på skärmen; och 0 bearbetningsdon (1 '; 3; 15; 31) för att utföra en godtycklig mixning av och/eller utbyte mellan upptagningama på upptagningsmediet hos upptagningsdonen och/eller tillägg av information från en bildpunktsuppställning till den andra i godtyckliga områden av bilden som visas på skärmen i enlighet med förutbe- stämda villkor.

2. Övervakningssystem i enlighet med krav 1, kännetecknat av att de minst två upptagningsmediema (1, 2; 30, 33) innefattar fokalplansuppställningar (FPA) anpas- sade till sina respektive våglängdsområden och en analog/digitalomvandling av de upptagna bildpunktsvärdena när de matas ut.

3. Övervakningssystem i enlighet med krav 1 kännetecknat av att de minst två upptagningsmediema (13, 14) innefattar ett minnesområde vardera, i vilket de upptagna värdena av varje bildpunkt från dess upptagning (1 1, 12) är lagrade, åtminstone tillfälligt.

4. Övervakningssystem i enlighet med krav 1 i vilket upptagningsmediema består av en FPA för det synliga våglängdsområdet och en FPA för IR, kännetecknad av att 10 15 20 522 328 13» bearbetningsdonen (31) styr skärmen (32) att visa en bild från upptagningsmediet för det synliga och temperaturvärden vid bildpositioner (3 5) som motsvarar fläckar som utpekats med pekdon.

5. Övervakningssystem i enlighet med krav 4, kännetecknat av att temperaturvärdena visas i bilden i närheten av de utpekade fläckama.

6. Övervakningssystem i enlighet med något av de föregående kraven, i vilka upp- tagningsmediema består av en FPA för det synliga våglängdsområdet och en FPA för IR, kännetecknat av att de förutbestämda villkoren skulle kunna vara att bildområden i F PA:n för IR som anger temperaturer inom ett förutbestämt temperaturornråde visas på skärmen, me- dan motsvarande bildområden i F PA:n för det synliga våglängdsornrådet hindras från att visas på skännen, och resten av bildpunktema hos F PA:n för det synliga våglängdsområdet visas.

7. Övervakningssystem i enlighet med något av föregående krav, kännetecknat av en programmerbar logik (1 ”) innefattad i bearbetningsdonen, i vilka används digitalise- rade bildpunkter och förutbestämda villkor är programmerbara i element sådana som uppslagstabeller (L) och/eller anpassningsenheter (C11 till C3) och/eller förut- bestämda kriterieenheter (CR) för att utför bearbetningen av videoupptagningar.