NL8600606A - Signal processor for forward looking infrared surveillance system - processes outputs of multiple sensors and has temperature reference comparison cycle - Google Patents
Signal processor for forward looking infrared surveillance system - processes outputs of multiple sensors and has temperature reference comparison cycle Download PDFInfo
- Publication number
- NL8600606A NL8600606A NL8600606A NL8600606A NL8600606A NL 8600606 A NL8600606 A NL 8600606A NL 8600606 A NL8600606 A NL 8600606A NL 8600606 A NL8600606 A NL 8600606A NL 8600606 A NL8600606 A NL 8600606A
- Authority
- NL
- Netherlands
- Prior art keywords
- signals
- analog
- digitized
- signal processor
- correction
- Prior art date
Links
- 230000026676 system process Effects 0.000 title 1
- 238000000034 method Methods 0.000 claims abstract description 27
- 238000012545 processing Methods 0.000 claims abstract description 19
- 230000008569 process Effects 0.000 claims abstract description 12
- 238000012937 correction Methods 0.000 claims description 47
- 230000015654 memory Effects 0.000 claims description 30
- 230000006870 function Effects 0.000 claims description 26
- 230000004044 response Effects 0.000 claims description 12
- 238000012546 transfer Methods 0.000 claims description 10
- 238000011084 recovery Methods 0.000 claims description 9
- 238000003702 image correction Methods 0.000 claims 2
- 230000003247 decreasing effect Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 9
- 238000006243 chemical reaction Methods 0.000 description 8
- 238000004364 calculation method Methods 0.000 description 3
- 238000005056 compaction Methods 0.000 description 3
- 238000003384 imaging method Methods 0.000 description 3
- 238000005070 sampling Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 238000013139 quantization Methods 0.000 description 2
- 230000035945 sensitivity Effects 0.000 description 2
- 238000013519 translation Methods 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 230000003321 amplification Effects 0.000 description 1
- 238000003491 array Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 239000003153 chemical reaction reagent Substances 0.000 description 1
- 238000009833 condensation Methods 0.000 description 1
- 230000005494 condensation Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 230000006866 deterioration Effects 0.000 description 1
- 238000001914 filtration Methods 0.000 description 1
- 238000003331 infrared imaging Methods 0.000 description 1
- 238000013507 mapping Methods 0.000 description 1
- 230000004297 night vision Effects 0.000 description 1
- 238000010606 normalization Methods 0.000 description 1
- 238000003199 nucleic acid amplification method Methods 0.000 description 1
- 230000035484 reaction time Effects 0.000 description 1
- 230000007420 reactivation Effects 0.000 description 1
- 230000009257 reactivity Effects 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 230000009466 transformation Effects 0.000 description 1
- 230000004304 visual acuity Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N5/00—Details of television systems
- H04N5/30—Transforming light or analogous information into electric information
- H04N5/33—Transforming infrared radiation
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Picture Signal Circuits (AREA)
- Transforming Light Signals Into Electric Signals (AREA)
Abstract
Description
Korte aanduiding: Signaalbewerker (processor).Short designation: Signal processor (processor).
De uitvinding heeft in het algemeen betrekking op signaalbewerkers voor gebruik bij het bewerken van videogegevens en dergelijke, en meer in het bijzonder op signaalbewerkers voor gebruik bij multi-sensor afbeeldings-systemen, zoals voorwaarts kijkende infrarode afbeeldingssystemen en dergelijke, die elektronisch verbeterde videobeelden verschaffen, afgeheeld op een videomonitor.The invention generally relates to signal processors for use in video data processing and the like, and more particularly to signal processors for use in multi-sensor imaging systems, such as forward-looking infrared imaging systems and the like, which provide electronically enhanced video images, slanted on a video monitor.
Conventionele voorwaarts kijkende infrarode (FLIR) sensorsystemen en dergelijke worden toegepast als nacht ziende systemen in vliegtuigen, tanks, schepen en andere militaire voertuigen. Het conventionele FLIR-systeem bijv. bevat een sensor systeem, een signaalbewerker en een videobeeldvenster (display). De sensor bevat een groot aantal detectors, waarvan de uitgangssignalen zijn gemultiplexeerd (bijeengebracht in een gemeenschappelijk kanaal) en worden aangelegd op de signaalbewerker. De signaalbewerker de-multiplexeert (scheidt de afzonderlijke signalen weer) langs elektronische weg, verbetert en zet de sensorsignalen om in videosignalen die verenigbaar zijn met de videobeeldweergave (display), en voert de verbeterde videosignalen naar het beeldscherm (display) om door de bedieningsman van het voer-of vaartuig bekeken te worden.Conventional forward looking infrared (FLIR) sensor systems and the like are used as night vision systems in aircraft, tanks, ships and other military vehicles. For example, the conventional FLIR system includes a sensor system, a signal processor and a video display (display). The sensor contains a large number of detectors, the output signals of which are multiplexed (grouped in a common channel) and applied to the signal processor. The signal processor electronically de-multiplexes (separates the individual signals again), enhances and converts the sensor signals into video signals compatible with the video image display (display), and transfers the enhanced video signals to the display (display) by the operator of the vehicle or vessel to be viewed.
Ofschoon alle FLIR systemen ingebouwde signaalbewerkers bezitten, variëren de nodeloze ingewikkeldheid en beeldverbeteringsmogelijkheden enorm van systeem tot systeem. Zo zijn bij bekende systemen typisch schakelingen ingebouwd voor gelijkmaking van het reactievermogen, voor automatische sterkteregeling en voor videoverdichting. Deze bekende systemen hebben echter analoge circuits toegepast om de sterkteregelings- en videoverdich-tingsfuncties te vervullen, en bezitten ingebouwde met de hand bedienbare potentiometers voor het realiseren van de functie tot gelijkmaking van het reageervermogen. Het gebruik van met de hand geijkte, analoge systemen in bekende FLIR signaalbewerkers en dergelijke heeft geresulteerd in minder dan optimaal gedrag van deze systemen.Although all FLIR systems have built-in signal processors, the unnecessary complexity and image enhancement options vary greatly from system to system. In known systems, for example, circuits are built in for equalization of the reaction power, for automatic strength control and for video compaction. However, these prior art systems have employed analog circuits to perform the gain control and video compaction functions, and have built-in hand-operated potentiometers for realizing the reaction power equalization function. The use of manually calibrated analog systems in known FLIR signal processors and the like has resulted in less than optimal behavior of these systems.
Ofschoon in een publikatie getiteld "Reference-free nonuniformity compensation for IR imaging arays", SPIE, deel 252, Smart Sensors II, 1980, biz. 10-17 in het algemeen verwezen wordt naar niet-accomoderende ("staring") in het brandvlak opgestelde detectorrangschikkingen, worden daarin besproken enige problemen met betrekking tot conventionele bewerking van infrarode signalen, en daarin beschreven een referentievrij compensatieschema voor het tot stand brengen van het automatisch gelijkmaken van het reageervermogen. Het in dit artikel beschreven compensatieschema maakt gebruik van scene-statistieken om signalen te ontwikkelen, die geschikt zijn voor het realiseren van temperatuurcompensatie.Although in a publication entitled "Reference-free nonuniformity compensation for IR imaging arays", SPIE, vol. 252, Smart Sensors II, 1980, biz. 10-17 generally refer to non-accommodating ("staring") focal plane detector arrays, discussing therein some problems related to conventional infrared signal processing, and describing a reference-free compensation scheme for accomplishing the automatic equalization of the reaction time. The compensation scheme described in this article uses scene statistics to develop signals suitable for realizing temperature compensation.
Teneinde de beperkingen van bekende signaalbewerkingssystemen te overwinnen, verschaft de uitvinding een signaalbewerker, die kan worden toegepast bij een afbeeldingssensorsysteem, zoals een naar voren kijkend infrarood (FLIR) systeem o.i.d.. Het FLIR systeem bevat bijvoorbeeld een aantal sensors, of detectors, die men laat zwaaien over een beeldscene gedurende een eerste gedeelte van een aftastcyclus (het actieve gedeelte), en gezwaaid worden over een inwendige referentietemperatuurbron tijdens een tweede gedeelte van de aftastcyclus (het inactieve of terugslaggedeelte). De signaalbewerker volgens de uitvinding verschaft verbeterde videouitgangs-signalen aan een videobeeldscherm of monitor, die representatief zijn voor de beeldscene.In order to overcome the limitations of known signal processing systems, the invention provides a signal processor which can be used in an image sensor system, such as a forward looking infrared (FLIR) system, etc. The FLIR system includes, for example, a number of sensors, or detectors, which are sweep across an image scene during a first portion of a scan cycle (the active portion), and swing over an internal reference temperature source during a second portion of the scan cycle (the idle or flyback portion). The signal processor according to the invention provides improved video output signals to a video display or monitor that are representative of the image scene.
De signaalbewerker bevat een ingangsbewerker gekoppeld met het af-beeldings-sensorsysteem, dat analoge signalen bewerkt, ontleend aan elk van het aantal detectoren. De ingangsbewerker is ingericht om de analoge signalen ten opzichte van elkaar te normaliseren tijdens het actieve gedeelte van de aftastcyclus gebaseerd op opgeslagen gegevens afkomstig van een voorafbepaalde ijk-procedure over het reageervermogen van de sensor. Deze normaliseringsfunctie zorgt voor het gelijkmaken van de versterkingsfactoren behorend bij alle kanalen van het sensorsysteem, De ingangsprocessor bewerkt eveneens de analoge signalen teneinde de gelijkstroomniveaus van elk der sensorkanalen terug te stellen naar respectieve gelijkstroomwaarden die gerelateerd zijn aan de referentie-temperatuurbron tijdens het inactieve gedeelte van de aftastcyclus. Deze gelijkstroom terugsteifunctie wordt uitgevoerd tijdens de ijkprocedure en terwijl het systeem in bedrijf is.The signal processor includes an input processor coupled to the image sensor system, which processes analog signals derived from each of the plurality of detectors. The input editor is arranged to normalize the analog signals relative to each other during the active portion of the scan cycle based on stored data from a predetermined calibration procedure on the sensor's response power. This normalization function ensures equalization of the gain factors associated with all channels of the sensor system. The input processor also processes the analog signals to reset the DC levels of each of the sensor channels to respective DC values related to the reference temperature source during the idle portion of the sensor. the scan cycle. This DC recoil function is performed during the calibration procedure and while the system is operating.
De ingangprocessor bewerkt de genormaliseerde en gelijkstroom teruggestelde signalen ter verschaffing van gedigitaliseerde eerste uitgangssignalen daarvan.The input processor processes the normalized and DC reset signals to provide digitized first output signals thereof.
De signaalbewerker bevat eveneens een aftast-omzetter gekoppeld met de ingangsbewerker, die de gedigitaliseerde eerste uitgangssignalen in het geheugen opslaat en de opgeslagen gedigitaliseerde signalen bewerkt ter verschaffing van gedigitaliseerde tweede uitgangssignalen, die verenigbaar zijn met de videomonitor. De aftast-omzetter fungeert als een demultiplexer en interpolator voor de signaalbewerker. Een uitgangsbewerker is gekoppeld met de aftast-omzetter, die wordt toegepast om de gedigitaliseerde tweede uitgangssignalen te bewerken op een wijze, die een verbetering van het met software gestuurde gedigitaliseerde beeld ervan mogelijk maakt, en welke de verbeterde gedigitaliseerde tweede uitgangssignalen omzet in analoge videouitgangssignalen, die verenigbaar zijn met de videomonitor.The signal processor also includes a scan converter coupled to the input processor, which stores the digitized first output signals in memory and processes the stored digitized signals to provide digitized second output signals that are compatible with the video monitor. The scan converter acts as a demultiplexer and interpolator for the signal processor. An output processor is coupled to the scan converter, which is used to process the digitized second output signals in a manner that allows an improvement of its software-controlled digitized image, and which converts the improved digitized second output signals to analog video output signals, that are compatible with the video monitor.
Tijdens bedrijf wordt het FLIR systeem met ingebouwd de signaalbewerker volgens de uitvinding, eerst geijkt. Het FLIR systeem kan bijvoorbeeld 160 detector-elementen bevatten, waarvan de uitgangen gemultiplexeerd zijn alvorens te worden aangelegd aan de signaalbewerker. De detectors zijn in een typerend geval verticaal georiënteerd en worden horizontaal gezwaaid over een beeldscene. Tijdens de ijkprocedure worden de detectors gezwaaid over een gelijkmatige als zwart lichaam fingerende temperatuurbron. Elk der detector-elementen heeft een verschillende reageervermogen (versterking) factor, en elk heeft verschillende gelijkstroomniveaufouten tijdens elke aftastcyclus. De sensors worden gezwaaid over de gelijkmatige temperatuurbron tijdens het actieve gedeelte van de aftastcyclus, en worden vervolgens gedurende een terugslaggedeelte van de cyclus gezwaaid over een inwendige referentietemperatuurbron. De ijkprocedure wordt uitgevoerd gedurende circa 30 tot 40 aftastcycli.During operation, the FLIR system with built-in the signal processor according to the invention is first calibrated. For example, the FLIR system may contain 160 detector elements, the outputs of which are multiplexed before being applied to the signal processor. The detectors are typically vertically oriented and swung horizontally across an image scene. During the calibration procedure, the detectors are swept over an even temperature body that acts as a black body. Each of the detector elements has a different response power (amplification) factor, and each has different DC level errors during each scan cycle. The sensors are swept over the uniform temperature source during the active portion of the scan cycle, and then swept over an internal reference temperature source during a retrace portion of the cycle. The calibration procedure is performed for about 30 to 40 scan cycles.
Sterkte-correctieconstanten voor alle detectorkanalen worden automatisch berekend tijdens de ijkprocedure. De sterkte-correctieconstanten worden gefixeerd voor elke. detector en veranderen niet tijdens normaal bedrijf. De sterktecorrectieconstanten worden ongeslagen in een niet vluchtig geheugen in de ingangsbewerker en worden teruggewonnen wanneer het systeem ingeschakeld wordt. De gelijkstroom foutcorrectiefactoren worden berekend tijdens elke aftastcyclus en toegevoerd aan de sensorsignalen, die op dat ogenblik worden bewerkt. Een microprocessor o.d. wordt toegepast om het in de ingangsprocessor bewerkte signaal te berekenen en te controleren.Strength correction constants for all detector channels are automatically calculated during the calibration procedure. The strength correction constants are fixed for each. detector and do not change during normal operation. The strength correction constants are stored in a non-volatile memory in the input editor and are recovered when the system is turned on. The DC error correction factors are calculated during each scan cycle and applied to the sensor signals currently being processed. A microprocessor or the like. is used to calculate and check the signal processed in the input processor.
De qua sterkte en gelijkstroomniveau gecorrigeerde signalen worden vervolgens gedigitaliseerd en opgeslagen in een aftast-omzettergeheugen.The signals corrected for strength and DC level are then digitized and stored in a scan converter memory.
De aftast-omzetter omvat een interpolatiesectie, die de digitale gegevens behorend bij elke aftastcyclus omzet in een veld van gegevens, die verenigbaar zijn met de videomonitor. Het sensorsysteem kan bijvoorbeeld 160 video-lijnen hebben, als gevolg van het feit dat het 160 verticaal uitgerichte detectors bevat, die omgezet moeten worden in 480 videolijnen bewerkt door de videomonitor.The scan converter includes an interpolation section, which converts the digital data associated with each scan cycle into a field of data compatible with the video monitor. For example, the sensor system may have 160 video lines, due to the fact that it contains 160 vertically aligned detectors, which must be converted into 480 video lines processed by the video monitor.
De uitgangsprocessor omvat een opzoektabel, die opgeslagen is in een niet vluchtig geheugen. De opzoektabel bevat een opgeslagen overdrachts-kromme, die beeldverbeteringsfuncties realiseert. De opzoektabel wordt opgewekt door toepassing van statistieken ontleend aan een histogram en een histogram gelijkmakingsalgoritme, gerealiseerd in de microprocessor.The output processor includes a look-up table stored in a non-volatile memory. The look-up table contains a stored transfer curve, which realizes image enhancement functions. The lookup table is generated by applying statistics derived from a histogram and a histogram equalization algorithm realized in the microprocessor.
Een door software gestuurd programma, gerealiseerd in de microprocessor, voert functies uit voor beeldverbetering, waardoor het beeld op de videomonitor verbeterd wordt. Dergelijke functies zoals automatische volume- regeling, automatische sterkteregeling, videoverdichting, beeldomkering en gammacorrectie kunnen worden gerealiseerd. De uitgangsbewerker omvat eveneens een apertuur correctieschakeling, die ingericht is om de horizontale modulatie overdrachtsfunctie (MTF) van het systeem te verbeteren teneinde de systeemfrequentieresponsie te verbeteren.A software-controlled program, realized in the microprocessor, performs image enhancement functions, improving the image on the video monitor. Such functions as automatic volume control, automatic strength control, video compaction, image reversal and gamma correction can be realized. The output editor also includes an aperture correction circuit, which is arranged to improve the horizontal modulation transfer function (MTF) of the system in order to improve the system frequency response.
De met software gestuurde digitale beeldverbeteringskenmerken van de onderhavige uitvinding kunnen worden gerealiseerd door gebruikmaking van een relatief kleine hoeveelheid standaard geïntegreerde schakelingen. Het systeem verschaft een adaptieve ijking, doordat de versterkingsfactoren van alle sensor-kanalen gelijk gemaakt worden tijdens de ijkprocedure en de ijkfactoren voor onbepaalde tijd worden opgeslagen voor gebruik door het systeem. De temperatuur van de referentietemperatuurbron behoeft niet bekend te zijn voor het systeem om toch op juiste wijze te werken. De gelijkstroom-niveaus van alle detectors in het systeem worden automatisch teruggesteld naar de gelijkstroomreferentie-temperatuur bepaald door de referentietemperatuurbron. Er behoeven geen handinstellingen te worden gemaakt tijdens ijking of bedrijf.The software-driven digital image enhancement features of the present invention can be realized using a relatively small amount of standard integrated circuits. The system provides adaptive calibration by equalizing the gain factors of all sensor channels during the calibration procedure and storing the calibration factors indefinitely for use by the system. The temperature of the reference temperature source need not be known for the system to still operate properly. The DC levels of all detectors in the system are automatically reset to the DC reference temperature determined by the reference temperature source. No manual adjustments need to be made during calibration or operation.
Beeldverbeteringsfuncties worden voorzien in een opzoektabel in plaats dat ze worden berekend door middel van analoge circuits zoals in conventionele signaalbewerkers. Een ruim dynamisch bereik wordt verkregen door gebruikmaking van een digitale beeldbewerkingsschakeling en technieken. Vergrote systeemfrequentieresponsie wordt verkregen door middel van de apertuurcorrectieschakeling. Flexibiliteit en groei van het systeem is mogelijk en kan worden gerealiseerd door middel van veranderingen in de software programma's.Image enhancement functions are provided in a look-up table instead of calculated by analog circuits as in conventional signal processors. A wide dynamic range is obtained using a digital image processing circuit and techniques. Enlarged system frequency response is obtained through the aperture correction circuit. System flexibility and growth is possible and can be achieved through changes in software programs.
De uitvinding zal hieronder aan de hand van enige in de figuren der bijgaande tekeningen weergegeven uitvoeringsvoorbeelden nader worden toegelicht.The invention will be explained in more detail below with reference to some exemplary embodiments shown in the figures in the accompanying drawings.
Figuur 1 toont een blokschema van een signaalbewerker in overeenstemming met de principes van de onderhavige uitvinding;Figure 1 shows a block diagram of a signal processor in accordance with the principles of the present invention;
Figuur 2 toont een blokschema van een uitvoeringsvorm van een ingangs-bewerker voor gebruik bij de signaalbewerker van figuur 1;Figure 2 shows a block diagram of an embodiment of an input processor for use with the signal processor of Figure 1;
Figuur 3 toont een blokschema van een uitvoeringsvorm van een uitgangsbewerker voor gebruik bij de signaalbewerker van figuur 1;Figure 3 shows a block diagram of an embodiment of an output processor for use with the signal processor of Figure 1;
Figuur 4 toont een blokschema van een uitvoeringsvorm van een aper-tuurcorrectiecircuit voor gebruik bij de uitgangsbewerker van figuur 3;Figure 4 shows a block diagram of an embodiment of an amperage correction circuit for use with the output processor of Figure 3;
Figuur 5 toont een functioneel blokschema van de signaalbewerker van figuur 1; en heen een representatieve overdrachtskrorame gerealiseerd door de uitgangs-bewerker volgens de onderhavige uitvinding.Figure 5 shows a functional block diagram of the signal processor of Figure 1; and a representative transfer frame realized by the output processor of the present invention.
Onder verwijzing naar figuur 1 wordt daarin een blokschema weergegeven van een signaalbewerker 20 volgens de beginselen van de onderhavige uitvinding. De signaalbewerker 20 is ingericht voor het ontvangen van analoge ingangssignalen afkomstig van een videosignaalbron, en om de bewerkte signalen toe te voeren aan een videomonitor. De signaalbewerker 20 zal worden beschreven onder verwijzing naar zijn gebruik in samenhang met een naar voren kijkend infrarood (FLIR)-systeem. Het zal duidelijk zijn echter dat andere afbeeldende sensoren, zoals synthetische apertuur radarsystemen of standaardvideosensors eveneens de signaalbewerker 20 kunnen gebruiken, en dat de bescher-mingsomvang van de onderhavige uitvinding niet beperkt is tot FLIR-systernen.Referring to Figure 1, there is shown a block diagram of a signal processor 20 according to the principles of the present invention. The signal processor 20 is arranged to receive analog input signals from a video signal source, and to supply the processed signals to a video monitor. The signal processor 20 will be described with reference to its use in conjunction with a forward looking infrared (FLIR) system. It will be understood, however, that other imaging sensors, such as synthetic aperture radar systems or standard video sensors, can also use the signal processor 20, and that the scope of the present invention is not limited to FLIR systems.
De signaalbewerker 20 bevat een ingangsprocessor 21 die ingangen bezit die ingericht zijn om analoge ingangssignalen te ontvangen afkomstig uit de FLIR sensor. De ingangsprocessor 21 voert functies uit betreffende het automatisch gelijkmaken van het reageervermogen en het gelijkstroom terugstellen, en zet analoge signalen om in digitale signalen die verenigbaar zijn met een digitale aftast-omzetter 22, die gekoppeld is met zijn uitgang.The signal processor 20 includes an input processor 21 which has inputs adapted to receive analog input signals from the FLIR sensor. The input processor 21 performs functions of automatic equalization of the reaction power and the DC reset, and converts analog signals into digital signals compatible with a digital scan converter 22 coupled to its output.
De digitale aftast-omzetter 22 is ingericht voor het demultiplexeren van de aangelegde signalen en om deze om te zetten in signalen die verenigbaar zijn met de videomonitor. De aftast-omzetter 22 zet beeldgegevens om die afkomstig zijn van een verticale detectorrangschikking, welke horizontaal gezwaaid wordt, in gegevens die verenigbaar zijn met standaard TV-formaat, welke een horizontale rangschikking is, die verticaal gezwaaid wordt. De aftast-omzetter 22 volvoert dus een orthogonale rotatie van de beeldgegevens tijdsbepaling en is derhalve werkzaam om de gegevens van de afbeeldscene te reformeren of in een nieuw formaat te brengen.The digital scan converter 22 is arranged to demultiplex the applied signals and convert them into signals compatible with the video monitor. The scan converter 22 converts image data from a vertical detector array, which is swept horizontally, into data compatible with standard TV format, which is a horizontal arrangement, which is swung vertically. Thus, the scan converter 22 performs an orthogonal rotation of the image data timing and thus operates to reformat or resize the image scene data.
De aftast-omzetter 22 bezit een uitgang, die gekoppeld is met een uitgangbewerker 23. De uitgangbewerker 23 wordt toegepast om de in nieuw formaat gebrachte gegevens te bewerken op een wijze, die een met software gestuurde gedigitaliseerde beeldversterking ervan mogelijk maakt. Daarnaast zet de uitgangbewerker 23 deze versterkte, in nieuw formaat gebrachte signalen om in analoge videouitgangssignalen die verenigbaar zijn met de videomonitor.The scan converter 22 has an output coupled to an output processor 23. The output processor 23 is used to process the resized data in a manner that allows its software-controlled digitized image enhancement. In addition, the output editor 23 converts these amplified, resized signals into analog video output signals that are compatible with the video monitor.
Een tijdsbepalende schakeling 24 wordt toegepast om het klokken van signalen door de signaalbewerker 20 te regelen en de doorvoer van gegevens uit de FLIR signaalbron naar de videomonitor te synchroniseren. Een computer-bewerker, zoals een microprocessor 25 of dergelijke is gekoppeld met de componenten van de signaalbewerker 20 teneinde de gegevensbewerkingsfuncties ervan te sturen. De microprocessor 25 bestuurt het bewerken van de analoqe ingangsgegevens teneinde de sterkte gelijkmakingsfunctie in de ingangsbe-werker 21 te realiseren, en stuurt het berekenen van algoritmen, die het histogram en opzoektabel overdrachtsfunctie in de uitgangprocessor 23 opwekken. Een meer gedetailleerd begrip van de functie van de microprocessor 25 zal worden verkregen onder verwijzing naar de hieronder te bespreken gedetailleerde figuren.A timing circuit 24 is used to control clocking of signals by the signal processor 20 and synchronizing the throughput of data from the FLIR signal source to the video monitor. A computer processor, such as a microprocessor 25 or the like, is coupled to the components of the signal processor 20 to control its data processing functions. The microprocessor 25 controls the processing of the analog input data to realize the strength equalizing function in the input processor 21, and controls the calculation of algorithms that generate the histogram and lookup table transfer function in the output processor 23. A more detailed understanding of the function of the microprocessor 25 will be obtained with reference to the detailed figures to be discussed below.
Onder verwijzing naar figuur 2 wordt een gedetailleerd blokschema van een eerste uitvoeringsvorm van de ingangsbewerker 21 weergegeven. Dit gedeelte van de signaalbewerker 20 bevat een optelketen 31, die als ingangen de analoge ingangssignalen uit de FLIR-signaalbron ontvangt, alsmede analoge signalen die representatief zijn voor de automatische reageervermogen ge-lijkmakings (ARE) correctieconstanten en gelijkstroomterugstelling (DCR) correctiefactoren. Het uitgangssignaal van de optelketen 31 wordt bewerkt door een eerste analoog-naar-digitaal-omzetter 32 en vervolgens toegevoerd aan de aftast-omzetter 22.Referring to Figure 2, a detailed block diagram of a first embodiment of the input processor 21 is shown. This portion of the signal processor 20 includes an adder circuit 31, which receives as inputs the analog input signals from the FLIR signal source, as well as analog signals representative of the Auto Reactivation Equalization (ARE) correction constants and DC Reset (DCR) correction factors. The output of the adder circuit 31 is processed by a first analog-to-digital converter 32 and then supplied to the scan converter 22.
Concepten betreffende het automatisch gelijkmaken van het reageervermogen en gelijkstroomterugstelling zijn globaal gesproken algemeen bekend in de techniek van de signaalbewerking. Als voorbeeld van een schakeling voor automatische sturing van het reageervermogen wordt gewezen op het Amerikaanse octrooischrift 4.345.148 getiteld "Automatic responsivity control for a CCD-imager". Dienovereenkomstig kan een gedetailleerde discussie van deze concepten achterwege blijven.Concepts of automatic equalization of the reaction power and direct current reset are generally known in the art of signal processing. As an example of a circuit for automatic control of the reactive power, reference is made to US patent 4,345,148 entitled "Automatic responsivity control for a CCD imager". Accordingly, a detailed discussion of these concepts can be omitted.
De automatische reageervermogen gelijkmaking (ARE) en gelijkstroom terugstelling (DCR) factoren worden opgewekt door de volgende schakeling.The automatic reactive power equalization (ARE) and direct current reset (DCR) factors are generated by the following circuit.
Een referentieklemspanning wordt opgewekt door een DCR referentieklemschake-ling 33, die gekoppeld is met de uitgang van de digitaal-naar-analoog omzetter 32. De DCR referentieklemschakeling wordt gekoppeld aan een op/neer-teller 34, waarvan de uitgang ingericht is om gelijkstroomterugstelfactoren met stapjes te laten toenemen of afnemen. De microprocessor 25 is gekoppeld met een RAM geheugen 35, een niet-vluchtig geheugen 39 en automatische reageervermogen gelijkmaking en gelijkstroomterugstel registercircuits 36 resp. 37. Het gelijkstroomterugstelcircuit 37 is gekoppeld via een eerste digitaal-naar-analoog-omzetter 38 naar de optelketen 31, terwijl het automatische reageervermogen gelijkmakingscircuit 36 gekoppeld is via een vermenigvuldigende digitaal-naar-analoog-omzetter 39 met de optelketen 31.A reference terminal voltage is generated by a DCR reference terminal circuit 33, which is coupled to the output of the digital-to-analog converter 32. The DCR reference terminal circuit is coupled to an up / down counter 34, the output of which is adapted to DC reset factors with increase or decrease steps. The microprocessor 25 is coupled to a RAM memory 35, a non-volatile memory 39, and automatic response power equalization and DC reset register circuits 36, respectively. 37. The DC reset circuit 37 is coupled through a first digital-to-analog converter 38 to the adder circuit 31, while the automatic response power equalization circuit 36 is coupled through a multiplier digital-to-analog converter 39 to the adder circuit 31.
De aftast-omzetter 22 van figuur 1 is in geen enkele figuur in detail weergegeven. Digitale aftast-omzetters zijn algemeen bekend in de techniek, en de constructie van deze component van de signaalbewerker 20 zal niet in detail hierin besproken worden. Echter wordt een representatief monster van een aftast-omzetter, die zou kunnen worden aangepast voor gebruik in de onderhavige uitvinding, beschreven in het Amerikaanse octrooischrift 3.947.826, getiteld "Scan Converter".The scan converter 22 of Figure 1 is not shown in detail in any figure. Digital scan converters are well known in the art, and the construction of this component of the signal processor 20 will not be discussed in detail herein. However, a representative sample of a scan converter, which could be adapted for use in the present invention, is described in U.S. Pat. No. 3,947,826 entitled "Scan Converter".
De interpolatiesectie van de aftast-omzetter 22 bevat een algoritme gerealiseerd in hardware, die bijvoorbeeld FLIR aftastlijnformaat (160 lijnen per heel beeld) omzet in TV video aftastlijnformaat (240 lijnen per beeld). De speciale realisatie toegepast bij de onderhavige uitvinding brengt met zich mee het in kaart brengen van vier opeenvolgende IR aftast-lijnen tot zes TV aftastlijnen op een voorafbepaalde combinatorische wijze.The interpolation section of the scan converter 22 includes an algorithm realized in hardware that converts, for example, FLIR scan line format (160 lines per whole picture) into TV video scan line format (240 lines per picture). The special realization employed in the present invention involves mapping four consecutive IR scan lines to six TV scan lines in a predetermined combinatorial manner.
De speciale algoritme brengt in kaart vier IR aftastlijnen (A, B, C en D) tot zes TV aftastlijnen (A, 1/2A+1/2B, B, C, 1/2C+1/2D, D).The special algorithm maps four IR scan lines (A, B, C and D) to six TV scan lines (A, 1 / 2A + 1 / 2B, B, C, 1 / 2C + 1 / 2D, D).
Onder verwijzing naar figuur 3 wordt daarin een blokschema weergegeven van een uitvoeringsvorm van een uitgangsbewerker 23 voor gebruik bij de signaalbewerker 20 van figuur 1. De uitgangsprocessor 23 bevat een histogram opwekkingsschakeling 41, omvattende een vensterschakeling 45, een poort-circuit 42, een histogramcircuit 43 en een stapsgewijs werkend telwerk 44.Referring to Figure 3, there is shown a block diagram of an embodiment of an output processor 23 for use with the signal processor 20 of Figure 1. The output processor 23 includes a histogram generating circuit 41 including a window circuit 45, a gate circuit 42, a histogram circuit 43 and a step-by-step counter 44.
De histogram opwekkende schakeling 41 is ingericht om gedigitaliseerde uitgangssignalen te bewerken, afkomstig van de aftast-omzetter 22 en een histogram op te wekken uit het aantal optredens van signalen bij elk infrarood detector intensiteitsniveau gedurende elke beeldtijd. De microprocessor 25 is gekoppeld met de histogram opwekkende schakeling 41 om toegang te verschaffen tot de histogram gegevens.The histogram generating circuit 41 is arranged to process digitized output signals from the scan converter 22 and generate a histogram from the number of occurrences of signals at each infrared detector intensity level during each image time. The microprocessor 25 is coupled to the histogram generating circuit 41 to provide access to the histogram data.
Histogram gelijkmaking is in hoofdzaak algemeen bekend bij de signaal bewerkingstechniek en dus zal niet in detail hier besproken worden. Representatief voor histogram gelijkmakingsmethoden bekend in de techniek worden beschreven in het Amerikaanse octrooischrift no. 3.979.555 getiteld "Histogram equalization system for display improvement", en Amerikaans octrooischrift no. 3.983.320 getiteld "Raster display histogram equalization".Histogram equalization is generally well known to the signal processing technique and thus will not be discussed in detail here. Representative histogram equalization methods known in the art are described in U.S. Patent No. 3,979,555 entitled "Histogram Equalization System for Display Improvement", and U.S. Patent No. 3,983,320 entitled "Raster Display Histogram Equalization".
De microprocessor 25 maakt gebruik van de histogramgegevens voor het opwekken van een opzoektabel 46, die fysisch opgeslagen is in een RAM-geheugen. De histogram gegevens worden toegepast om de gedigitaliseerde, in een nieuw formaat gebrachte, niet-verbeterde signalen afkomstig van de aftast-omzetter 22 om te zetten in wél verbeterde beeldgegevens onder besturing van de microprocessor 25. De opzoektabel 46 bevat gegevens, die de microprocessor 25 in staat stellen verscheidene beeldverbeteringsfuncties uit te voeren waaronder automatische volume of niveaucorrectie, automatische sterkteregeling, polariteitomkering en gammacorrectie.The microprocessor 25 uses the histogram data to generate a look-up table 46, which is physically stored in a RAM. The histogram data is used to convert the digitized, resized, unimproved signals from the scan converter 22 into improved image data under the control of the microprocessor 25. The look-up table 46 contains data representing the microprocessor 25 enable various image enhancement functions including auto volume or level correction, auto gain control, polarity reversal, and gamma correction.
De uitgangsprocessor 23 bevat eveneens een digitaal-naar-analoog-omzetter 47, die ingangen accepteert komende van de opzoektabel 46. De uitgang van de digitaal-naar-analoog-omzetter 47 bevat videosignalen, die verenigbaar zijn met de intensiteitsniveaus van de monitor. De uitgang van de digitaal-naar-analoog-omzetter is gekoppeld via een apertuurcorrectieschakeling 49 met een uitgangsversterker 50, waarvan de uitgang gekoppeld is met de videomonitor.The output processor 23 also includes a digital-to-analog converter 47, which accepts inputs from look-up table 46. The output of the digital-to-analog converter 47 contains video signals compatible with the intensity levels of the monitor. The output of the digital-to-analog converter is coupled via an aperture correction circuit 49 to an output amplifier 50, the output of which is coupled to the video monitor.
Figuur 4 toont een uitvoeringsvorm van de apertuurcorrectieschakeling 49 voor gebruik in de uitgangprocessor 23. De apertuurcorrectieschakeling 49 is ingericht om de frequentieresponsie van het systeem te versterken en dus de modulatie overdrachtsfunctie (MTF) van het systeem te verbeteren.Figure 4 shows an embodiment of the aperture correction circuit 49 for use in the output processor 23. The aperture correction circuit 49 is arranged to enhance the frequency response of the system and thus improve the modulation transfer function (MTF) of the system.
De schakeling 49 maakt gebruik van een tijdsvertragingsketen 52 en een variabel weerstandsnetwerk 53, dat signalen toevoert aan een optelketen 54. Dit circuit werkt als een cosinusfilter. De werking van het combineren van in tijd vertraagde signalen met momenteel bewerkte signalen versterkt de versterkingsfactor boven zekere frequenties en verbetert de frequentieresponsie van het systeem.The circuit 49 uses a time delay circuit 52 and a variable resistance network 53, which supplies signals to an adder circuit 54. This circuit functions as a cosine filter. The operation of combining time delayed signals with currently processed signals amplifies the gain above certain frequencies and improves the system's frequency response.
De werking van de signaalbewerker 20 volgens de uitvinding zal onder verwijzing naar figuur 5 worden toegelicht, welke een functioneel blokschema van de signaalprocessor 20 weergeeft. Het systeem zal beschreven worden onder verwijzing naar het gebruik ervan bij het FLIR aftastsysteem. De FLIR sensor bevat een aantal detectoren, 160, voor het doel van deze bespreking.The operation of the signal processor 20 according to the invention will be explained with reference to Figure 5, which shows a functional block diagram of the signal processor 20. The system will be described with reference to its use in the FLIR scanning system. The FLIR sensor contains a number of detectors, 160, for the purpose of this discussion.
De uitgangen van de 160 kanalen worden gemultiplexeerd in de FLIR sensor voorafgaande aan hun toepassing in de signaalbewerker 20.The outputs of the 160 channels are multiplexed in the FLIR sensor prior to their application in the signal processor 20.
De gemultiplexeerde FLIR ingangssignalen worden aangelegd aan de optelketen 31. De uitgang van de optelketen 31 wordt bewerkt door de automatische reageervermogen gelijkmakingsschakeling 36. Versterkingsfactoren worden uitgelezen uit het niet vluchtige geheugen 39 in het RAM geheugen 35. De opgeslagen waarden worden dan vermenigvuldigd met de versterkingsfactoren en toegevoegd aan de FLIR analoge signalen in de optelketen 31. Daarenboven worden gelijkstroomterugstelfactoren vastgesteld en opgeteld bij de FLIR signalen in de optelketen 31.The multiplexed FLIR input signals are applied to the adder circuit 31. The output of the adder circuit 31 is processed by the automatic reaction power equalizing circuit 36. Gain factors are read from the non-volatile memory 39 in the RAM memory 35. The stored values are then multiplied by the gain factors and added to the FLIR analog signals in the adder circuit 31. In addition, DC reset factors are determined and added to the FLIR signals in the adder circuit 31.
De uitgang van de optelketen 31 bevat signalen, die gelijkstroom teruggesteld en ten opzichte van elkaar genormaliseerd worden. Deze signalen worden dan omgezet in digitale gegeven in de analoog-naar-digitaal-omzetter 32 en opgeslagen in de aftast-omzetter 23. De aftast-omzetter werkt op een wijze, welke de digitale gegevens op een nieuw formaat brengt en deze interpoleert teneinde het aantal aftastlijnen in te stellen op een aantal, dat verenigbaar is met de videomonitor. De uitgang van de aftast-omzetter 22 wordt dan aangelegd aan de uitgangprocessor 23.The output of the adder circuit 31 contains DC current reset and normalized signals. These signals are then converted into digital data in the analog-to-digital converter 32 and stored in the scan converter 23. The scan converter operates in a manner that resizes the digital data and interpolates it to number of scan lines to be set to a number compatible with the video monitor. The output of the scan converter 22 is then applied to the output processor 23.
De uitgangprocessor 23 maakt gebruik van de histogram opwekkende scha- keling 43 en de microprocessor 25 voor het opwekken van een opzoektabel 46 in het RAM geheugen, wélke een overdrachtsfunctie bevat, die het bewerkt wordende digitale videobeeld verbetert. De opzoektabel bevat vermenigvuldigende factoren, die worden toegevoerd aan de digitale videogegevens om automatische sterkteregeling, automatische volumecorrectie, polariteit-omkering en gammacorrectie te realiseren. De signalen, die tevoorschijn komen uit de opzoektabel 46, bevatten verbeterde digitale videosignalen, die worden omgezet in analoge videosignalen in de digitaal-naar-analoog-omzetters 47 en aangelegd aan de apertuurcorrectieschakeling 49. De apertuurcorrectie-schakeling 49 maakt de signaalversterking bij vooraf bepaalde frequenties sterker. De apertuurcorrectie biedt compensatie voor "roll-off" van de modulatie-overdrachtsfunctie veroorzaakt door minder dan volmaakte optische elementen, een achteruitgegaan oplossend vermogen van de videomonitor en detectorbemonstering in de FLIR-sensor.The output processor 23 uses the histogram generating circuit 43 and the microprocessor 25 to generate a look-up table 46 in the RAM, which includes a transfer function which improves the processing digital video image. The lookup table includes multiplying factors which are applied to the digital video data to realize automatic gain control, automatic volume correction, polarity reversal and gamma correction. The signals emerging from the look-up table 46 include enhanced digital video signals which are converted to analog video signals in the digital to analog converters 47 and applied to the aperture correction circuit 49. The aperture correction circuit 49 makes the signal gain at predetermined frequencies stronger. The aperture correction compensates for the "roll-off" of the modulation transfer function caused by less than perfect optical elements, deteriorated resolution of the video monitor and detector sampling in the FLIR sensor.
Hieronder wordt een algemene beschrijving gepresenteerd van een sig-naalbewerker geconstrueerd in overeenstemming met de principes van de onderhavige uitvinding en toegepast als deel van een naar voren kijkend infrarood (FLIR) systeem. De signaalbewerker zal niet beschreven worden door naar enige specifieke figuur te verwijzen. De signaalprocessor bewerkt acht parallelle kanalen bevattende 20 gemultiplexeerde signalen voor het realiseren van het in een nieuw formaat brengen van een beeld en videobewerking om 160 parallelle infrarode detectoruitgangen te zetten in standaard 525 lijnen TV video-uitgang (waarvan 480 lijnen worden afgeheeld).Presented below is a general description of a signal processor constructed in accordance with the principles of the present invention and used as part of a forward-looking infrared (FLIR) system. The signal processor will not be described by referring to any specific figure. The signal processor processes eight parallel channels containing 20 multiplexed signals to realize image resizing and video editing to convert 160 parallel infrared detector outputs into standard 525 lines TV video output (480 lines of which are cut off).
De acht parallelle gemultiplexeerde infrarode videokanaal-ingangen bevatten 20 detectoren per kanaal. De ingangssignalen uit elk van de 20 kanalen zijn gelijkstroomteruggesteld, op reageervermogen gecorrigeerd en gedigitaliseerd tot een 9 bit intensiteitsniveau in acht ingangsbewerker-circuits. Het digitale infrarode videosignaal wordt in een nieuw formaat' gebracht door middel van een orthogonale translatie en opgeslagen in het geheugen van de aftast-omzetter. Het beeld wordt opgeslagen in TV-coördinaten bevattende 320 lijnen met 752 monsters per lijn. Het aftast-omzettergeheugen gebruikt 64K RAM IC's en slaat elk beeld van de afbeelding op in 36 IC's.The eight parallel multiplexed infrared video channel inputs contain 20 detectors per channel. The input signals from each of the 20 channels are DC-reset, response-corrected, and digitized to a 9-bit intensity level in eight input processor circuits. The digital infrared video signal is resized by an orthogonal translation and stored in the memory of the scan converter. The image is stored in TV coordinates containing 320 lines with 752 samples per line. The scan converter memory uses 64K RAM ICs and stores each image of the image in 36 ICs.
De opgeslagen afbeelding wordt uitgelezen met vier IR lijnen parallel en geïnterpoleerd ter verschaffing van zes TV lijnen op de videomonitor.The stored image is read with four IR lines in parallel and interpolated to provide six TV lines on the video monitor.
Het geïnterpoleerde videosignaal wordt bemonsterd in het histogramgeheugen, dat de frequentie van het optreden van elk van de 512 (9 bit) intensiteits-niveaus opslaat. Het histogram wordt bewerkt ter verschaffing van automatische volume en sterkte translatie voor de videodisplay. De volume en sterktestuurfuncties worden gerealiseerd in de RAM opzoektabel, die elk IRThe interpolated video signal is sampled in the histogram memory, which stores the frequency of occurrence of each of the 512 (9 bit) intensity levels. The histogram is edited to provide automatic volume and strength translation for the video display. The volume and strength control functions are realized in the RAM lookup table, each of which is IR
intensiteitsniveau vertaalt in een videomonitor intensiteitsniveau. Display-gamma en beeldinversie-correctiefactoren worden eveneens opgeslagen in de opzoektabel. De uitgang van de opzoektabel wordt omgezet in een analoog signaal, apertuur gecorrigeerd door middel van de cosinus filtertechniek en vervolgens aan de videomonitor toegevoerd om te kunnen bekijken.intensity level translates into a video monitor intensity level. Display gamma and image inversion correction factors are also stored in the lookup table. The look-up table output is converted to an analog signal, aperture corrected by the cosine filter technique, and then fed to the video monitor for viewing.
De hoofdfuncties die de videouitgang aantasten zijn automatische reageervermogen gelijkmaking (ARE), gelijkstroomterugstelling of -herstel (DCR), interpolatie, automatische volumecorrectie (ALC), automatische sterktecorrectie (AGC), gammacorrectie en apertuurversterking. De automatische reageervermogen gelijkmaking- en gelijkstroomherstelfuncties worden evenwijdig bewerkstelligd aan elk van de acht gemultiplexeerde infrarode videokanalen. Het RAM-geheugen wordt gevuld met ARE-waarden vanuit een niet-vluchtig geheugen bij het inschakelen van het systeem. Gelijkstroomherstel wordt continu uitgevoerd om automatische condensatie te verschaffen voor de thermische omgeving van elke detector in de infrarode sensor.The main functions affecting the video output are Auto Reaction Equalization (ARE), DC Reset or Restore (DCR), Interpolation, Automatic Volume Correction (ALC), Automatic Strength Correction (AGC), Gamma Correction and Aperture Gain. The auto-response equalization and DC recovery functions are accomplished in parallel to each of the eight multiplexed infrared video channels. The RAM is filled with ARE values from a non-volatile memory when the system is turned on. DC recovery is performed continuously to provide automatic condensation for the thermal environment of each detector in the infrared sensor.
Automatische reageervermogengelijkmakingswaarden worden opgewekt en bijgewerkt (updated) door middel van de ijkprocedure. Zowel de gelijkstroom herstel- als reageervermogen gelijkmakingsijking worden gebaseerd op de detectorrangschikking, die een gelijkmatige thermische referentiebron aftast tijdens de inactieve aftasttijd (terugslagtijd). De verblijfstijd aan deze bron is relatief kort (circa 300 microseconden) maar verschaft genoeg monsters (32) om te corrigeren voor een eventuele gelijkspanningsval en thermische verandering in de scene gedurende de tijdsperiode dat een beeldvlak ("field") afgetast wordt.Automatic Reactor Equalization Values are generated and updated (updated) using the calibration procedure. Both the DC recovery and reaction power equalization calibration are based on the detector array, which scans an even thermal reference source during the inactive scan time (retrace time). The residence time at this source is relatively short (about 300 microseconds) but provides enough samples (32) to correct for any DC voltage drop and thermal change in the scene during the time period that an image field is scanned.
In de normale bedrij fsmode, wordt elk analoog infrarood detector ingangssignaal naar de signaalbewerker gecompenseerd door het toevoegen van een gelijkstroomherstelterm en het vermenigvuldigen door een reageervermogen correctie term ter verschaffing van een spanning aan de analoog-naar-digitaal-omzetter. De vergelijking, die deze betrekking definieert, is: eQ = (2.5 + e^ - DCR) / (1 + ARE).In the normal operating mode, each analog infrared detector input signal to the signal processor is compensated by adding a DC recovery term and multiplying by a reactivity correction term to provide a voltage to the analog-to-digital converter. The equation defining this relationship is: eQ = (2.5 + e ^ - DCR) / (1 + ARE).
De 2,5 volt constante centreert het uitgangssignaal, dat aangelegd wordt aan de analoog-naar-digitaal-omzetter.The 2.5 volt constant centers the output signal, which is applied to the analog-to-digital converter.
De vergelijking e± = GK T + L, waarin G = de kanaalversterkingsfactor, K = de reageervermogensfactor, T = het temperatuurverschil gezien door een detector, en L = een niveauverspringing geïntroduceerd door de elektronische onderdelen, impliceert dat, indien ARE ingesteld wordt gelijk aan K-l, dan elke detector-uitgang wordt genormaliseerd. Deze ARE-waarden worden berekend in de begin ijkprocedure en opgeslagen in een niet-vluchtig geheugen. Andere relevante vergelijkingen omvatten: ARE = K - 1, DCR = V- + GK T + L. - V „ (1 + ARE) , en 0 s. i DCR ' en = V _ + G (t's + T,) .The equation e ± = GK T + L, where G = the channel gain factor, K = the reagent power factor, T = the temperature difference seen by a detector, and L = a level offset introduced by the electronic components, implies that if ARE are set equal to Kl, then each detector output is normalized. These ARE values are calculated in the initial calibration procedure and stored in a non-volatile memory. Other relevant equations include: ARE = K - 1, DCR = V- + GK T + L. - V '(1 + ARE), and 0 s. DCR 'and = V _ + G (t's + T,).
0 DCR s. 1 Λ0 DCR s. 1 Λ
De DCR-waarden worden bijgewerkt bij elke aftasting van het beeldvlak ("field"). Wanneer de detector-rangschikking wordt gezwaaid over de thermische referentiebron, wordt de uitgang van de analoog-naar-digitaal-omzetter vergeleken met 1,5 volt, hetgeen correspondeert met een verwachte referentiebrontemperatuur van 20°C boven de omgevingstemperatuur en een gevoeligheid van 0,075 v/°C. Daar elke detector wordt gemultiplexeerd naar de ingangsprocessor, wordt de corresponderende DCR correctieterm uit het geheugen uitgelezen en toegevoegd aan de detectorspanning. De DCR term wordt eveneens gebruikt voor het voor-instellen van het op/neer .telwerk. De spanningscomparator peilt het telwerk af hetzij "op" danwel "neer" afhankelijk van het ingangssignaal aan de analoog-naar-digitaal-omzetter.The DCR values are updated with each scanning of the image plane ("field"). When the detector array is swept over the reference thermal source, the analog-to-digital converter output is compared to 1.5 volts, which corresponds to an expected reference source temperature of 20 ° C above the ambient temperature and a sensitivity of 0.075 V / ° C. Since each detector is multiplexed to the input processor, the corresponding DCR correction term is read from memory and added to the detector voltage. The DCR term is also used to pre-set the up / down counter. The voltage comparator gauges the counter either "up" or "down" depending on the input signal to the analog-to-digital converter.
Indien de FLIR-detectoringang plus de oude DCR correctieterm laag is, dan wordt het telwerk afgepeild om "omhoog" te tellen totdat de ingang plus de DCR correctie gelijk is (genormaliseerd) aan 1,5 volt. Indien de FLIR-detectoringang plus de oude term hoog is, dan wordt het telwerk afgepeild om "omlaag" te tellen totdat de ingang genormaliseerd is. Door verscheidene monsters van de ingang aan het telwerk te verschaffen, wordt de ruis uitgemiddeld tot +_ 1 minst significant bit (LSB) van de DCR-term. De DCR correctie is ± 2 volt met 8 bit kwantisering, waardoor een DCR-correctie verkregen wordt tot ±. 16 millivolt of ±0,3 procent van het dynamische ingangs-bereik van de analoog-naar-digitaal-omzetter. De nieuwe DCR correctie wordt in het geheugen opgeslagen en gebruikt om de eerstvolgende actieve beeld-vlakaftasting van de FLIR te corrigeren.If the FLIR detector input plus the old DCR correction term is low, the counter is tilted to count "up" until the input plus DCR correction equals (normalized) 1.5 volts. If the FLIR detector input plus the old term is high, the counter is tilted to count "down" until the input has normalized. By providing several samples of the input to the counter, the noise is averaged to + 1 least significant bit (LSB) of the DCR term. The DCR correction is ± 2 volts with 8 bit quantization, resulting in a DCR correction to ±. 16 millivolts or ± 0.3 percent of the dynamic input range from the analog-to-digital converter. The new DCR correction is stored in memory and used to correct the next active image plane scan of the FLIR.
De begin-ijking van de ARE-waarden wordt uitgevoerd tijdens de ijk-mode. In deze mode, kijkt de aftastende FLIR-rangschikking naar een tref-plaat met gelijkmatige temperatuur. De FLIR tast dus een gelijkmatige bron-temperatuur af tijdens de actieve aftasttijd van het beeldvlak (field) en tast de thermische referentiebron af tijdens het inactieve (terugslag) gedeelte van de aftasting van het beeldvlak. Wanneer alle detectors kijken naar hetzelfde temperatuurverschil tussen het actieve gezichtsveld en de thermische referentie, worden de enige verschillen in het uitgangssignaal veroorzaakt door verschillen in reageervermogen tussen de detectors.The initial calibration of the ARE values is performed during the calibration mode. In this mode, the scanning FLIR array looks at a target plate of uniform temperature. Thus, the FLIR senses an even source temperature during the active scan time of the image plane (field) and senses the thermal reference source during the inactive (flyback) portion of the scan of the image plane. When all detectors are looking at the same temperature difference between the active field of view and the thermal reference, the only differences in the output signal are caused by differences in response power between the detectors.
Aanvankelijk worden de ARE-waarden ingesteld op nul, en worden de voor een gelijkmatige uitgang vereiste OCR verspringingen opgewekt. De gemiddelde ijk-scene-temperatuur wordt dan berekend uit acht successieve histogrammen. Deze gemiddelde scene-temperatuur wordt gebruikt als de comparator referentiespanning voor het bepalen van ARE-waarden. Deze zelf-aanpassende comparator-referentie maakt ijking mogelijk van de detector-rangschikking met verschillende ijkscene-invoer, zoals lucht, aarde of testbeeld en dergelijke. De ARE-waarden worden opgewekt op een wijze soortgelijk aan de DCR-termen door de comparator te gebruiken om het op/neer-telwerk af te peilen voor het corrigeren van de ARE-waarden. De opwekking van ARE en DCR-waarden is een iteratie-proces. De nieuwe ARE-waarden verschuiven de DCR-waarden, die op hun beurt de ARE-waarden instellen. Dit proces is convergerend, en na verscheidene beeldjes ("fields"), zijn de ARE- en DCR-termen stabiel.Initially, the ARE values are set to zero, and the OCR offsets required for a steady output are generated. The mean calibration scene temperature is then calculated from eight successive histograms. This average scene temperature is used as the comparator reference voltage for determining ARE values. This self-adjusting comparator reference allows calibration of the detector array with different calibration scene inputs, such as air, ground or test image and the like. The ARE values are generated in a manner similar to the DCR terms by using the comparator to gauge the up / down counter to correct the ARE values. The generation of ARE and DCR values is an iteration process. The new ARE values shift the DCR values, which in turn set the ARE values. This process is convergent, and after several frames ("fields"), the ARE and DCR terms are stable.
Voor het verder reduceren van de ruisgevoeligheid van de ARE-termen, geven de werkelijk opgeslagen ARE-waarden het gemiddelde weer van 32 opeenvolgende ARE-correcties. Aangezien de DCR- en ARE-ijking een gesloten lus-systeem is rondom de analoog-naar-digitaal-omzetter, worden eventuele be-werkingsverschillen van kanaal naar kanaal eveneens gecompenseerd automatisch door dezelfde digitale uitgang te verschaffen voor elke detector door dezelfde delta-temperatuur-ingang. De ARE-compensatie verschaft een bereik van een 1 ± 0,5 vermenigvuldigingsfactor met 3 bit kwantisering voor een nauwkeurigheid van +0,21 procent aan de ingang van de analoog-naar-digitaal-omzetter.To further reduce the noise sensitivity of the ARE terms, the actually stored ARE values represent the average of 32 consecutive ARE corrections. Since the DCR and ARE calibration is a closed loop system around the analog-to-digital converter, any operation differences from channel to channel are also compensated automatically by providing the same digital output for each detector by the same delta temperature -Entrance. The ARE compensation provides a range of a 1 ± 0.5 multiplier with 3 bit quantization for +0.21 percent accuracy at the analog-to-digital converter input.
Interpolatie van de IR aftastlijnen naar TV lijnen is vereist voor het in kaart brengen van 320 IR-lijnen naar een TV-afbeelding van 525 lijnen, waarvan 480 er worden gebruikt. De interpolatie-algoritme brengt vier opeenvolgende IR aftastlijnen op sex TV-lijnen in kaart. De interpolatie wordt uitgevoerd op een IR/TV beeldveld-basis voor het elimineren van instorting van het beeld dat het gevolg zou zijn, indien het gehele IR/TV-raster (twee beeldvelden) zou worden geïnterpoleerd. Deze enkele veldinterpolatie, waarbij beeldinstorting veroorzaakt door beeld- of sensor-beweging wordt geëlimineerd, introduceert wél enige achteruitgang van het oplossend vermogen in de verticale dimensie. Echter in de omgeving van de dynamische scene bij het vliegen op lage hoogte bijvoorbeeld, is de resulterende beeldkwaliteit beter met deze vorm van veldinterpolatie.Interpolation of the IR scan lines to TV lines is required to map 320 IR lines to a 525 line TV picture, 480 of which are used. The interpolation algorithm maps four consecutive IR scan lines on sex TV lines. The interpolation is performed on an IR / TV image field basis to eliminate collapse of the image that would result if the entire IR / TV frame (two image fields) were interpolated. This single field interpolation, which eliminates image collapse caused by image or sensor motion, does introduce some deterioration in the vertical dimension. However, in the vicinity of the dynamic scene when flying at low altitudes, for example, the resulting image quality is better with this form of field interpolation.
Automatische sterkte- en volume-instelling wordt verkregen door het verzamelen van een histogram van de scene-intensiteiten, het bepalen van zowel de minimale als de maximale intensiteit uit een 7,5 bij 10 graden venster in het onderste centrum van het gezichtsveld, of uit de totale scene. Het gezichtsveld wordt geselecteerd door het gebruik van poortschakelingen.Automatic strength and volume adjustment is obtained by collecting a histogram of the scene intensities, determining both the minimum and maximum intensity from a 7.5 by 10 degree window in the lower center of the field of view, or from the total scene. The field of view is selected through the use of gate circuits.
De sterkte en volume worden dan ingesteld voor het afbeelden van slechts de video-intensiteiten, die terrein kenmerken representeren.The strength and volume are then adjusted to display only the video intensities representing terrain features.
De in de microprocessor gerealiseerde software algoritme werkt als een laagdoorlaatfilter ten opzichte van de maxima en minima van raster tot raster onder gebruikmaking van de volgende betrekking: M. = K(I-M. ,) + M. , 1 ï-l ï-l waarin I = het gedetecteerde maximum of minimum, M = het maximum of minimum gebruik voor daaropvolgende berekening, M = maximum of minimum uit het vorige raster, en K = een weegfactor.The software algorithm realized in the microprocessor acts as a low-pass filter with respect to the maxima and minima from frame to frame using the following relationship: M. = K (IM.,) + M., 1 ï-1 ï-1 where I = the maximum or minimum detected, M = the maximum or minimum usage for subsequent calculation, M = maximum or minimum from the previous grid, and K = a weighting factor.
Onder gebruikmaking van de maximum en minimum waarden na het filteren kunnen de sterkte- en volumewaarden berekend worden uit de volgende betrekkingen: G = 2N/ (Max + Min) L = (Max + Min)/2 waarin G = de versterkingsfactor, L = het volume, en N = het aantal bits voor een volledig dynamisch bereik van de afbeeldingUsing the maximum and minimum values after filtering, the strength and volume values can be calculated from the following relations: G = 2N / (Max + Min) L = (Max + Min) / 2 where G = the gain, L = the volume, and N = the number of bits for a full dynamic range of the image
De uitgangstransformatie kan worden berekend uit de volgende betrekkingen : X(I) = G(I-L) + (2N/2 - 1) X(I) < 0, X(I) = 0 X(I) >2N - 1, X(I) = 2N - 1 waarin X(I) = de uitgangswaarde voor een ingang I,The output transformation can be calculated from the following relations: X (I) = G (IL) + (2N / 2 - 1) X (I) <0, X (I) = 0 X (I)> 2N - 1, X (I) = 2N - 1 where X (I) = the output value for an input I,
MM
I = de ingang voor 0 tot 2 - 1, en M = het aantal ingangsbits.I = the input for 0 to 2 - 1, and M = the number of input bits.
De digitale video uit de interpolator wordt gepoort naar het histogram jeheugen. Ofwel het totale gezichtsveld danwel het kleine venster wordt bemonsterd op alternatieve TV-velden. Elk intensiteitsniveau verhoogt de tel-Ling opgeslagen in het geheugen voor de speciale intensiteit. Aan het einde ran één IR beeldveldtijd, wordt het histogram uitgelezen uit de microprocessor :>m berekening mogelijk te maken van de sterkte- en volume-instellingen.The digital video from the interpolator is ported to the histogram memory. Either the total field of view or the small window is sampled on alternative TV fields. Each intensity level increases the count-ling stored in the memory for the special intensity. At the end of one IR image field time, the histogram is read from the microprocessor:> m allow calculation of the strength and volume settings.
)e microproccesor voert ook een laagdoorlaatfilter operatie uit voor het .ntegreren van verscheidene gegevensrasters. Vervolgens worden de sterkteen volume-afstellingen berekend uit de gefilterde gegevens.The microprocessor also performs a low-pass filter operation to integrate various data frames. Then the strength and volume adjustments are calculated from the filtered data.
De sterkte- en volume-overdrachtsfunctie is aanwezig in de opzoek-tabel, die gevuld wordt in RAM door de microprocessor. De opzoektabel wordt gebruikt om elke 9 bit digitale FLIR intensiteit om te zetten in een 8 bit afbeeldingsvideo-intensiteit. De vereiste gammacorrectie-factoren voor de afbeelding en beeldpolariteitsfactoren worden eveneens opgeslagen in de opzoektabel. Apertuurversterking wordt verkregen na digitaal-naar-analoog-conversie van de videosignalen om te compenseren voor MTF-"roll-off" veroorzaakt door de optische elementen, het oplossend vermogen van de afbeelding en detectorbemonstering. De apertuurcorrectie verschaft een versterking van 6 dB bij de Nyquist bemonsteringsfrequentie (0,54 cycle/mrad, T + 0,66 microseconden).The strength and volume transfer function is provided in the look-up table, which is populated in RAM by the microprocessor. The lookup table is used to convert every 9 bit digital FLIR intensity into an 8 bit image video intensity. The required gamma correction factors for the image and image polarity factors are also stored in the look-up table. Aperture gain is obtained after digital-to-analog conversion of the video signals to compensate for MTF "roll-off" caused by the optical elements, image resolving power and detector sampling. The aperture correction provides a gain of 6 dB at the Nyquist sampling frequency (0.54 cycle / mrad, T + 0.66 microseconds).
Er is dus hier beschreven een nieuwe en nuttige signaalbewerker, die kan worden toegepast voor het verschaffen van een in elektronisch opzicht verbeterde video-beeldmakerij. Met software gestuurde digitale beeldverbe-teringsmaatregelen volgens de onderhavige uitvinding kunnen worden gerealiseerd onder gebruikmaking van een bétrekkelijk kleine hoeveelheid standaard geïntegreerde circuits. Het systeem zorgt voor aangepaste ijking en de ijkfactoren worden voor onbepaalde tijd opgeslagen voor gebruik door het systeem. De temperatuur van de referentie-temperatuurbron gebruikt voor het ijken van het systeem, hoeft niet bekend te zijn om het systeem op de juiste wijze te laten werken. De gelijkstroomniveaus van alle detectoren in het systeem worden automatisch teruggesteld op de DC referentietemperatuur bepaald door de referentietemperatuurbron. Er behoeven geen handinstellingen te worden gemaakt tijdens het ijken of tijdens het bedrijf.Thus, a new and useful signal processor has been described herein which can be used to provide an electronically enhanced video image maker. Software-driven digital image enhancement measures of the present invention can be realized using a relatively small amount of standard integrated circuits. The system provides custom calibration and the calibration factors are stored indefinitely for use by the system. The temperature of the reference temperature source used to calibrate the system does not need to be known for the system to function properly. The DC levels of all detectors in the system are automatically reset to the DC reference temperature determined by the reference temperature source. No manual adjustments need to be made during calibration or operation.
Beeldverbeteringsfuncties zijn aanwezig in een opzoektabel in plaats dat zij moeten worden berekend door middel van analoge circuits zoals in conventionele signaalbewerkers. Een wijd dynamisch bereik wordt verkregen onder gebruikmaking van digitale beeldbewerkingsschakelingen en technieken. Een toegenomen systeemfrequentieresponsie wordt verkregen door middel van de apertuurcorrectieschakeling. Flexibiliteit en groei van het systeem is mogelijk en kan worden gerealiseerd door middel van veranderingen in software programma's.Image enhancement functions are provided in a look-up table instead of having to be calculated by analog circuits as in conventional signal processors. A wide dynamic range is obtained using digital image processing circuits and techniques. An increased system frequency response is obtained by means of the aperture correction circuit. System flexibility and growth is possible and can be achieved through changes in software programs.
Het zal duidelijk zijn dat de boven beschreven uitvoeringsvorm enkel dient ter illustratie van één der vele specifieke uitvoeringsvormen, die toepassingen weergeven van de beginselen, waarop de onderhavige uitvinding berust. Het is duidelijk dat talloze en gevarieerde andere opstellingen kunnen worden ontworpen door een deskundige op dit vakgebied zonder buiten de beschermingsomvang van de onderhavige uitvinding te geraken.It will be understood that the above-described embodiment is merely illustrative of one of many specific embodiments illustrating applications of the principles upon which the present invention is based. It is clear that numerous and varied other arrangements can be designed by one skilled in the art without departing from the scope of the present invention.
Claims (8)
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
NL8600606A NL192135C (en) | 1986-03-07 | 1986-03-07 | Signal processing device. |
Applications Claiming Priority (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
NL8600606A NL192135C (en) | 1986-03-07 | 1986-03-07 | Signal processing device. |
NL8600606 | 1986-03-07 |
Publications (3)
Publication Number | Publication Date |
---|---|
NL8600606A true NL8600606A (en) | 1994-12-01 |
NL192135B NL192135B (en) | 1996-10-01 |
NL192135C NL192135C (en) | 1997-02-04 |
Family
ID=19847680
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
NL8600606A NL192135C (en) | 1986-03-07 | 1986-03-07 | Signal processing device. |
Country Status (1)
Country | Link |
---|---|
NL (1) | NL192135C (en) |
-
1986
- 1986-03-07 NL NL8600606A patent/NL192135C/en not_active IP Right Cessation
Also Published As
Publication number | Publication date |
---|---|
NL192135B (en) | 1996-10-01 |
NL192135C (en) | 1997-02-04 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US5083204A (en) | Signal processor for an imaging sensor system | |
US5631466A (en) | Apparatus and methods of closed loop calibration of infrared focal plane arrays | |
EP0406410B1 (en) | Scene based nonuniformity compensation of detector sensitivity of an image detector array | |
EP0450525B1 (en) | Image restoration and faulty sensor detection and compensation system and process | |
US9787911B2 (en) | Systems and methods for photometric normalization in array cameras | |
KR100202343B1 (en) | Shading correcting apparatus | |
US4343021A (en) | Image sensor sensitivity variation compensator | |
US5157497A (en) | Method and apparatus for detecting and compensating for white shading errors in a digitized video signal | |
US6901173B2 (en) | Scene-based non-uniformity correction for detector arrays | |
US6075903A (en) | Process for correcting the intensity of images from a digital infrared camera | |
US5528035A (en) | Digital signal processing system for removing DC bias in the output of pyroelectric and similar detectors | |
US5591973A (en) | Signal processor for infrared camera | |
US4051458A (en) | Video amplitude related measurements in image analysis | |
WO2000024193A9 (en) | Adaptive non-uniformity compensation using feedforward shunting | |
EP0603593B1 (en) | Automatic channel gain and offset balance for video cameras employing multichannel sensors | |
AU647832B2 (en) | Noise reduction of video signal | |
NL8600606A (en) | Signal processor for forward looking infrared surveillance system - processes outputs of multiple sensors and has temperature reference comparison cycle | |
US6324308B1 (en) | Non-uniformity correction method and apparatus for imaging systems | |
GB2205464A (en) | Image processing apparatus | |
US5739531A (en) | Sprite thermal imaging system | |
Mooney | Staring sensor MRT measurement and modeling | |
JPS6040230B2 (en) | infrared imaging device | |
JP2669140B2 (en) | Imaging device | |
JPH05122596A (en) | Image pickup device | |
JPH1127684A (en) | Automatic color temperature correction device |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A1C | A request for examination has been filed | ||
SNR | Assignments of patents or rights arising from examined patent applications |
Owner name: RAYTHEON COMPANY;HE HOLDINGS, INC. |
|
V1 | Lapsed because of non-payment of the annual fee |
Effective date: 20011001 |