NL9002707A

NL9002707A - IMAGE SYSTEM FOR PROVIDING COMPOSITE SIMULTANEOUS DIRECT IMAGES.

Info

Publication number: NL9002707A
Application number: NL9002707A
Authority: NL
Original assignee: Hughes Aircraft Co
Priority date: 1990-12-10
Filing date: 1990-12-10
Publication date: 1992-07-01
Also published as: GB9024522D0; GB2249897B; GB2249897A

Description

Korte aanduiding: Afbeeldingssysteem voor het verschaffen van samen¬gestelde gelijktijdige directe beelden.Short designation: Imaging system for providing composite simultaneous direct images.

De uitvinding heeft betrekking op afbeeldingssystemen. Meer inhet bijzonder heeft de uitvinding betrekking qp systemen voor het ver¬schaffen van samengestelde gelijktijdige beelden.The invention relates to imaging systems. More particularly, the invention relates to systems for providing composite simultaneous images.

Hoewel de uitvinding hierin beschreven wordt met verwijzing naareen bijzondere uitvoeringsvorm voor een illustratieve toepassing, zalhet duidelijk zijn dat de uitvinding hiertoe niet beperkt is. Expertszullen met de hierin verschafte kennis aanvullende modificaties, toe¬passingen en uitvoeringsvormen binnen de canvang van de uitvinding her¬kennen.While the invention is described herein with reference to a particular embodiment for an illustrative application, it will be understood that the invention is not limited thereto. Experts will, with the knowledge provided herein, recognize additional modifications, applications, and embodiments within the scope of the invention.

In vele toepassingen bestaat er een noodzaak tot het verschaffenvan een groothoekafbeelding en ook één of meer inzocmafbeeldingen methoge resolutie. Dit vereist gewoonlijk één sensor per afbeelding. Hetzou van voordeel zijn om al deze afbeeldingen door één enkele sensorte verschaffen. In bijvoorbeeld voorwaartse infrarood zoek (FUR) sys¬temen doen zich vele situaties voor, waarin gelijktijdige groothoek¬en inzoomafbeeldingen van een omgeving wenselijk zou zijn. Een groot¬hoekafbeelding kan gebruikt worden voor het opsporen en aanduiden vandoelen, terwijl inzoomafbeeldingen van elk van de doelen gébruikt kun¬nen worden voor het identificeren van elk doel en desgewenst voor hetrichten van het wapentuig. Een bestuurder kan bijvoorbeeld een groot¬hoek gezichtsveld vereisen en een boordschutter kan gelijktijdige in¬zoomafbeeldingen van bijzondere delen van een omgeving vereisen.In many applications, there is a need to provide a wide angle image and also one or more high resolution zoom images. This usually requires one sensor per image. It would be advantageous to provide all of these images through a single sensor. For example, in forward infrared search (FUR) systems, many situations arise where simultaneous wide-angle and zoom images of an environment would be desirable. A wide-angle image can be used to locate and indicate targets, while zoom-in images of each of the targets can be used to identify each target and, if desired, to target the weaponry. For example, a driver may require a wide-angle field of view, and a gunner may require simultaneous zoom images of particular areas of an environment.

Voor het verkrijgen van zowel een groothoek gezichtsveldafbeel-ding als één of meer inzoomafbeeldingen, vereisten afbeeldingssystemenvoorheen één reeks van lenzen en bijbehorende optische inrichtingenvoor elke gewenste gezichtsveldafbeelding. Kenmerkend voor uitgelijndeoptische gezichtsvelden, bevatten deze systemen vaak een optische ge¬zichtsveld schakelaar, welke geactiveerd zou kunnen worden steeds wan¬neer de bediener een wisselend gezichtsveld wenste. Qngunstigerwijstreden er verscheidene beperkingen op in verband met de eenvoudigevoorziening van sequentiële optische inrichtingen voor het verschaf¬fen van opeenvolgende directe gezichtsvelden van een object.To obtain both a wide-angle field of view image and one or more zoom-in images, imaging systems previously required one set of lenses and associated optical devices for each desired field of view image. Typically for aligned optical fields of view, these systems often include an optical field of view switch, which could be activated whenever the operator desired a varying field of view. There are also several restrictions on the simple provision of sequential optical devices for providing successive direct fields of view of an object.

In de mate waarin met dergelijke sequentiële inrichtingen uit¬geruste systemen samengestelde afbeeldingen van een omgeving verschaf¬fen, is de inzoamafbeelding in het algemeen beperkt tot het midden vanhet groothoekgezichtsveld. Deze gebruikelijke uitlijnbeperking verhin¬derd een tweede bediener van het inzoomen op een gedeelte van het beeld nabij de grens van het groothoek gezichtsveld.To the extent that systems equipped with such sequential devices provide composite images of an environment, the zoom-in image is generally limited to the center of the wide angle field of view. This usual alignment restriction prevents a second operator from zooming in on a portion of the image near the boundary of the wide angle field of view.

Een bijzondere aanzienlijke beperking van de sequentiële opti¬sche inrichtingsbenadering is bovendien, dat deze systemen niet nood¬zakelijkerwijs gelijktijdige afbeeldingen verschaffen. Dat wil zeggen,wanneer slechts één reeks van optische elementen tegelijkertijd gese¬lecteerd kan worden, is slechts één beeld tegelijk beschikbaar. Dit iseen duidelijke beperking in situaties, waarin het gewenst is om eengezichtsveld voor meer dan één bediener tegelijk te verschaffen, zoalshet geval is bij militaire systemen.Moreover, a particularly significant limitation of the sequential optical device approach is that these systems do not necessarily provide simultaneous images. That is, when only one set of optical elements can be selected at a time, only one image is available at a time. This is a clear limitation in situations where it is desirable to provide a field of view for more than one operator at a time, as is the case with military systems.

44

Een aanvullende beperking van de sequentiële optische inrich¬tingsbenadering is, dat de versterking van de lenzen gewoonlijk vasten afzonderlijk beperkt is. Slechts één versterking tegelijk is moge-lijk.An additional limitation of the sequential optical device approach is that the gain of the lenses usually fasting is limited separately. Only one gain at a time is possible.

Meervoudige gelijktijdige optische inrichtingen overwinnen som¬mige van de met sequentiële optische inrichtingen geassocieerde pro¬blemen door het verschaffen van meervoudige gelijktijdige beelden,maar deze systemen kunnen aanzienlijk bijdragen tot de kostprijs, om¬vang en het gewicht van een afbeeldingssysteem. (Dit is in het bijzon¬der problematisch met betrekking tot FIIR systemen, welke in het alge¬meen zeer kostbaar zijn). Deze systemen zijn in het algemeen mecha¬nisch complex en hebben enge vervaardigingstoleranties, welke precisieassemblage en onderhoud vereisen. Meervoudige gelijktijdige optischeinrichtingen verhogen verder in het algemeen het gewicht op de de sen¬sor ondersteunende cardanusring en beperken daardoor de werking vanhet ondersteuningssysteem. Wanneer de optische inrichtingen een ge¬meenschappelijk brandvlak delen, reduceren zij het aftastvermogen(aangezien elk beeld slechts een fractie van de aftasting gébruikt).Multiple simultaneous optical devices overcome some of the problems associated with sequential optical devices by providing multiple simultaneous images, but these systems can contribute significantly to the cost, size and weight of an imaging system. (This is particularly problematic with regard to FIIR systems, which are generally very expensive). These systems are generally mechanically complex and have narrow manufacturing tolerances, which require precision assembly and maintenance. Furthermore, multiple simultaneous optical devices generally increase the weight on the sensor supporting gimbal and thereby limit the operation of the support system. When the optical devices share a common focal plane, they reduce the scanning power (since each image uses only a fraction of the scan).

Tenslotte zijn er vele systemen in het werkveld waarvoor dezemogelijkheid van het weergeven van meervoudige gelijktijdige afbeel¬dingen gewenst zou zijn. Het heraanpassen van bestaande systemen, voorhet verschaffen van deze beperkte conventionele mogelijkheid, zounochtans te kostbaar zijn voor het verschaffen van een praktische op¬tie.Finally, there are many systems in the field for which the possibility of displaying multiple simultaneous images would be desirable. However, retrofitting existing systems to provide this limited conventional capability may be too expensive to provide a practical option.

Het verschaffen van meervoudige gezichtsvelden door een enkeleoptische inrichting lost vele van de met meervoudige gelijktijdigeoptische inrichtingen geassocieerde problemen op. De samenhangende USoctrooiaanvrage nr. 07311785, ingediend door R. Zwim qp 14 februari1989 beschrijft bijvoorbeeld een techniek voor het tot stand brengenvan gelijktijdige gezichtsvelden door een enkele optische inrichting.The provision of multiple fields of view by a single optical device solves many of the problems associated with multiple simultaneous optical devices. For example, copending U.S. Patent Application No. 07311785, filed by R. Zwim qp February 14, 1989, describes a technique for establishing simultaneous fields of view through a single optical device.

Dit systeem echter vereist één beeldweergave voor elk gezichtsveld.However, this system requires one image display for each field of view.

Er bestaat dus de behoefte in de techniek voor een niet-kost-baar, niet-mechanisch systeem of techniek voor het verschaffen vanmeervoudige gelijktijdige directe afbeeldingen met variërende ge¬zichtsvelden cp een enkele beeldweergaveinrichting. In het ideale ge¬val zou het systeem een directe inpassing in bestaande systemen moge-lijk dienen te maken en zou de werking daarvan niet mogen aantasten.Thus, there is a need in the art for a cost-effective, non-mechanical system or technique for providing multiple simultaneous direct images with varying fields of view on a single image display device. Ideally, the system should allow direct integration into existing systems and should not affect its operation.

De behoefte in de techniek wordt aangegeven door het systeem vande uitvinding, welke meervoudige gelijktijdige directe afbeeldingendoor een enkele beeldsensor verschaft. Het systeem is geschikt voorgebruik bij een beeldsensor, welke een eerste reeks van electrischesignalen verschaft in response cp van een cmgevingssoene ontvangenelectromagnetische energie. Het systeem bevat een processor voor hetbewerken van de eerste reeks van electrische signalen, cm een tweedereeks van electrische signalen te verschaffen en tenminste één beeld¬weergaveinrichting voor het weergeven van de combinatie van niet-inge-zoorrde delen van de scene plus door de tweede reeks van electrischesignalen weergegeven versterkte afbeeldingen van andere delen van descene.The need in the art is indicated by the system of the invention, which provides multiple simultaneous direct images through a single image sensor. The system is suitable for use with an image sensor, which provides a first series of electrical signals in response cp of an environmentally received electromagnetic energy. The system includes a processor for processing the first series of electrical signals, to provide a second series of electrical signals, and at least one image display device for displaying the combination of non-input parts of the scene plus through the second series amplified images of other parts of the scene.

In een voorkeursuitvoeringsvorm bevat de processor schakelingenvoor het vergroten van de bemonstersnelheid van de beeldsensor en eenfilterinrichting voor het bewerken van de sterk bemonsterde signalenzodanig dat de versterkte beelden van delen van de cmgevingsscene ver¬grote beelden met hoge resolutie zijn van deze delen van de cmgevings¬scene.In a preferred embodiment, the processor includes circuitry for increasing the sampling rate of the image sensor and a filtering device for processing the strongly sampled signals such that the amplified images of parts of the scene scene are enlarged, high-resolution images of these parts of the scene scene .

Fig. 1 toont een blokschema van een uitvoeringsvorm van hetafbeeldingssysteem van de uitvinding.Fig. 1 shows a block diagram of an embodiment of the imaging system of the invention.

Fig. 2(a) toont de intensiteit als een functie van de positieover het beeldvlak van de in de uitvinding toegepaste sensor, van eenoorspronkelijk object en zijn vervaagde afbeelding.Fig. 2 (a) shows the intensity as a function of the position across the image plane of the sensor used in the invention, of an original object and its faded image.

Fig. 2(b) toont de hoge frequenties, die hersteld zullen wordendoor het oonvolutieproces van de uitvinding.Fig. 2 (b) shows the high frequencies that will be restored by the involution process of the invention.

Fig. 2(c) toont een versterkt (vervaging onderdrukt) beeld, re¬sulterend uit het in de voorkeurs uitvoeringsvorm van de uitvindingtoegepaste deconvolutie proces.Fig. 2 (c) shows an amplified (blur-suppressed) image, resulting from the deconvolution process used in the preferred embodiment of the invention.

Fig. 3 is een grafisch aanzicht in perspectief van een oppervlakcorresponderend met het door de beeldprooessor van het afbeeldingssys¬teem van de uitvinding gébruikte convolut iemasker.Fig. 3 is a graphical perspective view of a surface corresponding to the convolutional mask used by the image processor of the imaging system of the invention.

Fig. 4(a) en 4(b) illustreren een werkelijk beeld en de op de beeldweergave door de in het afbeeldingssysteem van de uitvinding toe¬gepaste beeldprooessor gegenereerde beelden.Fig. 4 (a) and 4 (b) illustrate an actual image and the images generated on the image display by the image processor applied in the imaging system of the invention.

Fig. 1 toont een blokschema van een uitvoeringsvorm van hetafbeeldingssysteem 10 van de uitvinding. Het systeem 10 bevat een con¬ventionele televisiecamera of videcbeeldvormer 12, welke een eerstereeks van electrische uitgangssignalen verschaft, die representatiefzijn voor een cmgevingssoene binnen het gezichtsveld daarvan. Elk typetelevisiecamera of videobeeldvormer kan toegepast worden. In de voor¬keursuitvoeringsvorm is de televisiecamera of videobeeldvormer 12 eenniet integrerend type beeldvormer, zoals bijvoorbeeld een voorwaartsinfrarood zoek (FUR) sensor.Fig. 1 shows a block diagram of an embodiment of the imaging system 10 of the invention. The system 10 includes a conventional television camera or video imager 12, which provides a first series of electrical output signals representative of an environment within its field of view. Any type of television camera or video converter can be used. In the preferred embodiment, the television camera or video imager 12 is a non-integrating type imager, such as, for example, a forward infrared search (FUR) sensor.

In de uitvoeringsvorm van fig. 1 wordt de uitgang van camera 12geleverd aan een beeldprooessor 16. De beeldprooessor 16 genereert eentweede reeks van electrische signalen, welke in de voorkeursuitvoe¬ringsvorm representatief is voor een combinatie van een groothoekbeeldvan camera 12 plus één of meer scherpe, versterkte beelden roet hogeresolutie van een gedeelte van het groothoekbeeld. De uitgang van deprocessor 16 wordt toegevoerd aan een beeldweergave inrichting 18,welke gelijktijdig aan de bediener het groothoekbeeld van de camera12 en de daarvoor opgenamen inzocmbeelden toont. Experts in de tech¬niek zullen herkennen dat de resolutie van de camera 12, de beeldpro-cessor 16 en de beeldweergaveinrichting 18 variëren kan zonder buitende beschermingsomvang van de uitvinding te treden. Bovendien kunnen deontvang van het groothoekgez ichtsveld en de inzoamvergrotingsfactorenvariëren zonder buiten de beschermingsomvang van de uitvinding te tre¬den.In the embodiment of Fig. 1, the output of camera 12 is supplied to an image processor 16. The image processor 16 generates a second series of electrical signals, which in the preferred embodiment is representative of a combination of a wide-angle image of camera 12 plus one or more sharp, enhanced images soot high resolution of a portion of the wide angle image. The output of the processor 16 is applied to an image display device 18, which simultaneously shows the operator the wide-angle image of the camera 12 and the recorded images thereof. Those skilled in the art will recognize that the resolution of the camera 12, the image processor 16 and the image display device 18 may vary without departing from the scope of the invention. In addition, the wide angle field of view and zoom magnification factors may vary without departing from the scope of the invention.

De processor 16 bevat een meervoudig beeldregistratiecircuit 26,een rastergéheugen 28, een filterinrichting 30 en een puntspreidings-functie circuit 36. Het systeem 10 bevat verder een bedienerbesturing20 voor het kiezen van de in te zoemen gebieden en een formatbesturing22 voor het verschaffen van de noodzakelijke stuursignalen aan de pro¬cessor 16 cm het inzoemen te besturen. Het systeem 10 bevat bovendieneen servo 24 voor het besturen van de richtingshoek van de camera 12.De bedienerbesturing 20 kan uitgevoerd zijn met een joystick of eenlichtpen. De formatbesturing 22 kan uitgevoerd zijn met digitale buf¬fers. Experts zullen herkennen, dat andere methoden toegepast kunnenworden voor het uitvoeren van de bedienerbesturing 20 en de formatbe¬sturing 26 zonder buiten de beschermingsomvang van de uitvinding tetreden.The processor 16 includes a multiple image recording circuit 26, a frame memory 28, a filter device 30 and a point spread function circuit 36. The system 10 further includes an operator controller 20 for selecting the areas to be zoomed in and a format controller 22 for providing the necessary control signals. to control the zooming at the processor 16 cm. The system 10 also includes a servo 24 for controlling the direction angle of the camera 12. The operator control 20 may be implemented with a joystick or a light pen. The format controller 22 may be equipped with digital buffers. Experts will recognize that other methods can be used to perform the operator control 20 and the format control 26 without departing from the scope of the invention.

Bij bediening kiest de bediener het gezichtsveld van de camera12 via de bedienerbesturing 20. De besturing 20 bestuurt de richtings-hoek van de camera 12 via de servo 24. Experts zullen herkennen, dathet type gebruikte servo kan variëren zonder tuiten de beschermingsom-vang van de uitvinding te treden. De bediener kiest ook via de bestu¬ring 20 de gebieden van het groothoekbeeld, welke ingezoomd dienen teworden. Het aantal van inzocmgebieden dat gekozen kan worden wordtslechts beperkt door het aantal van inzocmbeelden, die weergegevenkunnen worden op een scherm. De besturing 20 levert deze informatieaan de formatbesturing 22. De formatbesturing 22 bestuurt de beeldpro-cessor 16, welke op zijn beurt ook de servo 24 bestuurt.When operated, the operator selects the field of view of the camera 12 via the operator controller 20. The controller 20 controls the angle of the camera 12 through the servo 24. Experts will recognize that the type of servo used may vary without affecting the scope of protection of the invention. The operator also selects through the control 20 the areas of the wide angle image to be zoomed. The number of viewable areas that can be selected is limited only by the number of viewable images that can be displayed on a screen. The controller 20 provides this information to the format controller 22. The format controller 22 controls the image processor 16, which in turn also controls the servo 24.

De formatbesturing 22 bestuurt de beeldprocessor 16 door hetverschaffen van signalen, die aangeven waar de processor 16 de met eengroothoekbeeld van de camera 12 corresponderende signalen dient af tegeven en waar de processor 16 de met een inzoombeeld van een deel vanhet groothoekbeeld van de camera 12 corresponderende signalen dient afte geven. Daar waar een inzoombeeld vereist wordt, vergroot de beeld¬processor 16 de bemonstersnelheid van de camera 12 boven de Nyquiststandaard en ontfiltert de sterk bemonsterde signalen zodanig dat voorhet gekozen deel van de beeldweergave de tweede reeks van electrischesignalen overeenkomen met het scherpe vergrote beeld met hoge resolu¬tie van een deel van het groothoekbeeld van de camera 12.The format controller 22 controls the image processor 16 by providing signals which indicate where the processor 16 is to output the signals corresponding to a wide-angle image of the camera 12 and where the processor 16 is the signals corresponding to a zoom-in image of part of the wide-angle image of the camera 12 needs to give up. Where a zoom-in image is required, the image processor 16 increases the sampling rate of the camera 12 above the Nyquist standard and filters out the strongly sampled signals such that for the selected portion of the image display, the second series of electrical signals correspond to the sharp enlarged image with high resolution. ¬tion of part of the camera's wide-angle image 12.

Het aan R. Zwim et. al. op 14 mei 1985 verleende US octrooi4.517.599 (kennis waarvan hierin door middel van verwijzing cpgenomenis) beschrijft een techniek voor het bewerken van de uitgang van decamera 12 voor het verschaffen van een dergelijk versterkt beeld. Deverhoogde bemonstering van een deel van de cmgevingsscene wordt ver¬schaft door het meervoudige beeldregistratiecircuit 26, welke eenmeervoudig geregistreerd deel van een videoraster, bestaande uit eengroot aantal subbeeldpunten van gereduceerd oppervlak, produceert uiteen kleiner aantal door de camera 12 verschafte normale videorasters.De beeldbeweging of cameratrill ing tussen opeenvolgende normale video¬rasters bepaalt de subbeeldpuntverplaatsing in het meervoudig-geregis-treerde deel van het videoraster. Het meervoudige beeldregistratiecir¬cuit 26 vormt als resultaat een mozaïek van verplaatste subbeeldpuntenvan door de camera 12 gegenereerde opeenvolgende videorasters. De uit¬voering van meervoudige beeldregistratie in bestaande systeem hardwarekan tot stand gébracht worden door gebruik te maken van een correlatievolger beeldbeweging, welke servofouten of cameraplatvorm stabilise rende gyrofouten compenseert. Het meervoudige beeldregistratiecircuit26 bevat typerend een voorziening voor het veranderen van de adressenwaarin overeenkomstig verplaatste beeldpuntgegevens geplaatst wordenin het rastergéheugen 28. Het zal duidelijk zijn voor experts, datandere technieken toegepast kunnen worden voor het verhogen van debemonstersnelheid van de camera, inclusief het gébruik van kleineredetectors voor het verkrijgen van dichte bemonstering in een enkelraster.It to R. Zwim et. al. issued May 14, 1985, U.S. Patent 4,517,599 (knowledge of which is incorporated herein by reference) discloses a technique for processing the output of camera 12 to provide such an enhanced image. The increased sampling of a portion of the scene scene is provided by the multiple image recording circuit 26, which produces a multiple recorded portion of a video frame consisting of a large number of sub-pixels of reduced area, a smaller number of normal video frames provided by the camera. camera shake between consecutive normal video frames determines the sub-pixel displacement in the multi-recorded portion of the video frame. As a result, the multiple image recording circuit 26 forms a mosaic of displaced sub-pixels of successive video frames generated by the camera 12. The implementation of multiple image registration in existing system hardware can be accomplished by using a correlation follower image motion, which compensates for servo errors or camera platform stabilizing gyro errors. The multiple image recording circuit 26 typically includes a means for changing the addresses into which correspondingly moved pixel data is placed in the frame memory 28. It will be appreciated by those skilled in the art that other techniques may be employed to increase the sampling rate of the camera, including the use of smaller detectors for obtaining dense sampling in a single grid.

Het meervoudige beeldregistratiecircuit 26 ontvangt stuursigna¬len van de formatbesturing 22 en levert voorgenomen verplaatsingen aande servo 24 en adresverschuivingen aan het rastergéheugen 28. Het ras-tergeheugen 28 slaat door het meervoudige beeldregistratiecircuit 26geproduceerde meervoudig-geregistreerde delen van videorasters op, ge¬combineerd met de resterende normale delen van de door de camera 12geproduceerde videorasters. Daar waar de bediener aangeeft dat hetgroothoékbeeld van de camera 12 weergegeven dient te worden, geeft hetmeervoudige beeldregistratiecircuit 26 eenvoudig deze gegevens dooraan het rastergeheugen 28 op zijn oorspronkelijke adressen. Daar waarde bediener aangeeft dat een inzocmbeeld van een deel van het groot¬hoékbeeld weergegeven dient te worden, werkt het meervoudige beeldre¬gistratiecircuit 26 zoals hierboven uiteengezet voor het genereren vaneen mozaïek van subbeeldpunten, welke dit inzocmbeeld representeren.The multiple image recording circuit 26 receives control signals from the format controller 22 and provides intended displacements to the servo 24 and address shifts to the frame memory 28. The frame memory 28 stores multiple-recorded portions of video frames produced by the multiple image recording circuit 26, combined with the remaining normal parts of the video frames produced by the camera 12. Where the operator indicates that the wide angle image of the camera 12 is to be displayed, the multiple image recording circuit 26 simply passes this data to the frame memory 28 at its original addresses. Since the operator value indicates that a view image of a portion of the wide angle image is to be displayed, the multiple image recording circuit 26 operates as set forth above to generate a mosaic of sub pixels representing this view image.

De normale video wordt opgeslagen in het rastergeheugen 28 alsvan de camera 12 via het registratiecircuit 26 ontvangen opeenvolgendebemonsteringen. De meervoudig geregistreerde video wordt echter dis¬continue opgeslagen in het rastergéheugen 28. De vergrotingsfactorbepaalt hoe de meervoudig geregistreerde beeldpunten gedistribueerdworden. Bijvoorbeeld voor een vergroting van twee, worden elk anderadres en elke andere lijn overgeslagen als de videogegevens opgeslagenworden. Een halve beeldpuntverschuiving horizontaal in de gezichtslijnvan de camera 12 voorafgaand aan het volgende raster maakt het moge¬lijk dat de alternerende adressen die overgeslagen werden langs dezelijnen, ingevuld kunnen worden. Het invullen van de ontbrekende rijenvereist een halve beeldpuntverschuiving verticaal in de gezichtslijnen een volle beeldpuntverschuiving in de géheugenadressen verticaalvoor het invullen van elk ander beeldpunt in de overgeslagen rijen.Als laatste zal een halve beeldpuntverschuiving horizontaal vooraf¬gaand aan het volgende raster het mogelijk maken dat de ontbrekendebeeldpunten in de eerder overgeslagen rijen ingevuld kunnen worden.The normal video is stored in the frame memory 28 as consecutive samples received from the camera 12 via the recording circuit 26. However, the multi-registered video is stored continuously in the frame memory 28. The magnification factor determines how the multi-registered pixels are distributed. For example, for an enlargement of two, every other address and every other line is skipped when the video data is stored. A half pixel shift horizontally in the line of sight of the camera 12 prior to the next frame allows the alternating addresses skipped along these lines to be filled. Filling in the missing rows requires half a pixel shift vertically in the line of sight and a full pixel shift in the memory addresses vertically to fill in every other pixel in the skipped rows. Finally, a half pixel shift horizontally prior to the next frame will allow the missing pixels can be filled in the previously skipped rows.

Een totaal van vier videorasters is vereist cm in aanvang het video-géheugen 28 in te vullen.A total of four video frames are required to initially fill in the video memory 28.

Op een soortgelijke wijze vereist een versterkingsfactor 3, datelk derde beeldpunt en elke derde lijn ingevuld dient te worden gedu¬rende elk raster en dat er een derde beeldpuntverschuiving in de ge-zichtslijn van de camera 12 voorafgaand aan elk opvolgend raster dientte zijn. Een vergroting van drie maal vereist dus 9 videorasters voorhet aanvankelijk vullen van het videogeheugen 28. De formatbesturing22 verschaft de coördinaten aan het rastengeheugen 28 voor het bestu¬ren van de opslag van de videogegevens daarin. Het meervoudige beeld-registratiecircuit 26 verschaft signalen aan de servo 24 voor het be¬sturen van de vereiste beeldpuntverplaatsing en richting van de ver¬plaatsing voorafgaand aan elk opvolgend videoraster.Similarly, a gain factor 3 requires that each third pixel and every third line be filled in during each frame and that there be a third pixel shift in the line of sight of the camera 12 prior to each subsequent frame. Thus, three times magnification requires 9 video frames for initially filling the video memory 28. The format controller 22 provides the coordinates to the frame memory 28 for controlling the storage of the video data therein. The multiple image recording circuit 26 provides signals to the servo 24 to control the required pixel displacement and direction of displacement prior to each subsequent video frame.

De het gecombineerde groothoekbeeld en de gekozen inzoornbeeldenrepresenterende gegevens in het videogeheugen 28 worden in het alge¬meen gefilterd voordat zij weergegeven worden op de beeldweergavein-richting 18. In de voorkeursuitvoeringsvorm zullen de filters variërenafhankelijk van de puntspreidingsfunctie van het gekozen videosysteem.Er zal dus één filter zijn voor delen van de beeldweergave, welke hetgroothoekbeeld representeert en één filter voor elk deel van de beeld¬weergave, welke een bepaalde inzoamvergroting representeert. De fil¬ter inrichting 30 in de beeldprocessor 16 verschaft een dergelijke fil¬tering. De puntspreidingsfunctieschakeling 36 voorziet de filter in¬richting 30 van de geschikte puntspreidingsfunctie coëfficiënten over¬eenkomend met de vergrotingsfactor van het gefilterde deel van debeeldweergave.The combined wide-angle image and the selected zoom image representing data in the video memory 28 are generally filtered before being displayed on the image display device 18. In the preferred embodiment, the filters will vary depending on the point spread function of the selected video system. Thus, one filter for parts of the image display, which represents the wide-angle image and one filter for each part of the image display, which represents a certain zoom-in magnification. The filter device 30 in the image processor 16 provides such filtering. The dot spreading function circuit 36 provides the filter device 30 with the appropriate dot spreading function coefficients corresponding to the magnification of the filtered portion of the image display.

De formatbesturing 22 verschaft signalen aan het puntspreidings-functiecircuit 36 en aan de filter inrichting 30 cm aan te geven, welkdeel van de beeldweergave gefilterd wordt en aldus het te gebruikenfilter. De uitgang van de filterinrichting 30 is een tweede reeks vanelectrische uitgangssignalen, die het de geselecteerde inzoornbeeldenvoor beeldweergave op de beeldweergaveinrichting 18 bevattende groot¬hoekbeeld representeren. Experts in de techniek zullen herkennen, dateen verscheidenheid van verschillende filters toegepast kan wordenzonder buiten de beschermingscmvang van de uitvinding te treden.The format controller 22 provides signals to the point spreading function circuit 36 and to indicate the filter device 30 cm, which part of the image display is filtered and thus the filter to be used. The output of the filter device 30 is a second series of electrical output signals representing the wide angle image containing the selected zoom image display image on the image display device 18. Experts in the art will recognize that a variety of different filters can be used without departing from the scope of the invention.

De filtertechniek van de voorkeurs uitvoeringsvorm wordt weerge¬geven door fig. 2(a) tot fig. 2(c). Fig. 2(a) toont de intensiteit vaneen beeld als functie van de positie van het beeld over het beeldvlakvan de camera 12, voor een werkelijk object (volgetrokken lijn) met een scherpe rand daarin en een vervaagd beeld (onderbroken lijn) ver¬vormd ten opzichte van het werkelijke object door de puntspreidings-functie van de camera 12. Fig. 2(b) geeft weer dat de hoge frequentieshersteld zullen worden door het convolutieproces. Het resultaat is hetin fig. 2(c) weergegeven versterkte (niet-vervaagde) beeld en wordtgevoed aan de beeldweergaveinriditing 18. De filterinrichting 30 ge¬bruikt effectief een oonvolutiemasker van de in fig. 3 getoonde vorm.De x-as geeft de positie langs een eerste richting over het beeldvlakvan de camera 12 weer en de y-as geeft de positie langs een tweederichting, loodrecht op de eerste richting, over het beeldvlak van decamera 12 weer. De z-as geeft de intensiteit aan. Zoals beschreven inde bovengenoemde referentie benadert het masker de inverse van de sen-sorreducering gebruikmakend van de negatieve waarde van de puntsprei-dingsfunctie plus een positieve impulsfunctie op het centrale beeld¬punt van wegingsfactor 2, waarbij de totale wegingsfactor van het ge¬hele masker gelijk is aan één.The filtering technique of the preferred embodiment is illustrated by Fig. 2 (a) to Fig. 2 (c). Fig. 2 (a) shows the intensity of an image as a function of the position of the image across the image plane of the camera 12, for an actual object (solid line) with a sharp edge therein and a faded image (broken line) distorted from of the real object by the point spread function of the camera 12. Fig. 2 (b) shows that the high frequencies will be restored by the convolution process. The result is the amplified (non-faded) image shown in Fig. 2 (c) and fed to the image display array 18. The filter device 30 effectively uses an involution mask of the form shown in Fig. 3. The x axis indicates the position along a first direction across the image plane of the camera 12 and the y axis represents the position along a second direction, perpendicular to the first direction, across the image plane of the camera 12. The z-axis indicates the intensity. As described in the above reference, the mask approaches the inverse of the sensor reduction using the negative value of the point spread function plus a positive impulse function at the central pixel of weighting factor 2, the total weighting factor of the whole mask being equal is up to one.

De versterking van het werkelijke beeld van de camera 12 door debeeldprocessor 16 maakt gelijktijdige beeldweergave van het groothoek-beeld, inclusief geselecteerde delen van de beeldweergaveinrichting 18mogelijk, om op een plaats ingezoomde beelden weer te geven met eenvergrote resolutie en minimale vervaging. Fig. 4(a) toont een door decamera 12 qpgencmen werkelijk beeld roet delen 40 en 50 van de beeld¬weergave 18 geselecteerd voor inzooming. Fig. 4(b) toont het versterk¬te beeld, zoals af geheeld op de beeldweergaveinrichting 18 met de ge¬selecteerde delen 40 en 50 vergroot en met een grotere resolutie danhet werkelijke beeld van de camera 12.The enhancement of the actual image from the camera 12 by the image processor 16 allows simultaneous image display of the wide-angle image, including selected portions of the image display device 18, to display zoomed-in images with an enlarged resolution and minimal blurring. Fig. 4 (a) shows an actual image of carbon black parts 40 and 50 of the image display 18 selected by the camera 12 for zooming. Fig. 4 (b) shows the amplified image as healed on the image display device 18 with the selected portions 40 and 50 magnified and at a greater resolution than the actual image from the camera 12.

Hoewel de uitvinding hierin beschreven is met verwijzing naareen illustratieve uitvoeringsvorm en een bijzonder toepassing, zal hetduidelijk zijn dat de uitvinding hiertoe niet beperkt is. Experts zul¬len bijkomende modificaties en toepassingen binnen de omvang van deuitvinding herkennen. De uitvinding is bijvoorbeeld niet beperkt tothet daarbij gébruikte type camera of het type beeldweergaveinrichting.De uitvinding is verder niet beperkt tot een enkele beeldweergavein¬richting. Elk aantal van beeldweergaveinrichtingen en corresponderendebeeldprocessors kan desgewenst gébruikt worden voor de bijzondere toe¬passing. Ook de videoversterking is niet beperkt tot vergroting. Elktype videoversterking kan noodzakelijkerwijs verschaft worden voor debijzondere toepassing.While the invention has been described herein with reference to an illustrative embodiment and a particular application, it will be understood that the invention is not limited thereto. Experts will recognize additional modifications and applications within the scope of the invention. For example, the invention is not limited to the type of camera used or the type of image display device used. The invention is further not limited to a single image display device. Any number of image display devices and corresponding image processors can, if desired, be used for the particular application. Also the video enhancement is not limited to magnification. Any type of video enhancement may necessarily be provided for the particular application.

Het is daarom de bedoeling door middel van de bijbehorende con- clusies al dergelijke modificaties, toepassingen en uitvoeringsvormente omvatten.It is therefore intended, by means of the accompanying claims, to include all such modifications, applications and embodiments.

Claims

An imaging system for providing first and second simultaneous direct images from a sensor for imaging on an image display device or for subsequent processing, wherein the image sensor provides a first series of electrical signals in response to inputs received from a scene scene, characterized by: processing means for processing the first series of electrical signals to provide a second series of electrical signals representative of the first and second simultaneous direct images, the first simultaneous direct image being an image of a portion of the data generated by the the first series of electrical signals depicting the ambient scene and the second simultaneous direct image is an amplified image of part of the environmental scene; and image display means for displaying the second simultaneous direct image within the image display of the first simultaneous direct image in response to the second series of electrical signals.

Imaging system according to claim 1, characterized in that the processing means comprise amplifying means for providing an amplified image of at least part of the setting scene and form control means for controlling the amplifying means.

Imaging system according to claim 2, characterized in that the amplifying means comprise sampling rate means for selectively increasing a sampling rate of the image sensor.

Imaging system according to claim 3, characterized in that the sampling rate means comprises multiple image recording means for forming a multiple-recorded video portion of a frame consisting of a mosaic of displaced sub-pixels from successive video frames generated from the image sensor.

An imaging system according to claim 4, characterized in that the amplifying means includes frame memory means for selectively storing the multi-recorded video frame and the video frame generated by the image sensor when controlled by the format controller.

An imaging system according to claim 5, characterized in that the amplifying means includes filtering means for selectively filtering the multi-recorded video frame and selecting filtering the video frame generated by the image sensor when controlled by the format controller, to provide a series of filtered signals .

The imaging system according to claim 6, characterized in that the filtering means comprises means for filtering the multi-recorded video frame, the inverse of the carbon black, the reductions of the image sensor in the increased sampling rate associated point spreading function.

8. An imaging system according to claim 6, characterized in that the filtering means comprises means for filtering the video frame generated by the image sensor with the inverse of the point spreading function associated with the reductions of the image sensor.

An imaging system according to claim 6, characterized in that the filtering means includes means for amplifying the series of filtered signals to provide the second series of electrical signals displaying the first and second simultaneous direct images.

10. An imaging system according to claim 1, characterized in that the image display means comprises at least one image display device, the soot displaying the editing means and suitable for displaying any combination of parts of the crochet scene and the enhanced images of parts of the crochet scene.

11. Imaging system according to claim 10, characterized in that the enhanced image of the crochet scene is an enlarged image with a large resolution of part of the crochet scene.

Imaging system according to claim 10, characterized in that the enhanced image of the crochet scene is a series of high-resolution magnified images of multiple parts of the environmental scene.

13. Imaging system for providing first and second simultaneous direct images from an image sensor characterized by: sensor means for providing a first series of electric signals in response to the inputs received from a correction scene; processing means for processing the first series of electric signals to provide a second series of electric signals representing the first and second simultaneous direct images, the first simultaneous direct image being an image of a part of the scene, the editing means Containing means for providing amplified images of parts of the scene for providing the second simultaneous direct image and format control means for controlling the amplifying means, the amplifying means comprising: means for effectively increasing a sample rate of the sensor means, means for filtering the video resulting from the increased sampling rate of the sensor means with the inverse of the point spreading function associated with the reductions of the sensor means to provide a series of filtered signals; image display means for displaying the second simultaneous direct image within the image display of the first simultaneous direct image in response to the second series of electrical signals.

Imaging system according to claim 13, characterized in that the means for effectively increasing a sampling rate of the sensor means comprises multiple image recording means for forming a mosaic of displaced sub-pixels of successive video frames generated by the sensor means.

Imaging system according to claim 14, characterized in that the means for effectively increasing a sampling rate of the sensor means comprises raster memory means for selectively storing the mosaic of displaced sub-pixels of the multiple image recording means and for selectively storing by the first series of electrical signals represented parts of the scene.

16. Image system according to claim 13, characterized in that the image display means comprise at least one image display device connected to the editing means and which is suitable for displaying a combination of parts of the scene and the amplified images of parts of the scene.

Imaging system according to claim 16, characterized in that the amplified images are high-resolution magnified images that are part of the scene.

18. Method for providing first and second simultaneous direct images from an image sensor for imaging on an image display device or for subsequent processing, characterized by the steps of: providing a first set of electrical signals in response to inputs received from a random ; processing the first series of electrical signals to provide a second series of electrical signals representative of the first and second simultaneous direct images, the first simultaneous direct image being an image of at least part of the scene and the second simultaneous direct image the image is an amplified image of at least part of the scene, and displaying the second simultaneous direct image within the image representation of the first simultaneous direct image in response to the second series of electrical signals.