NO167243B

NO167243B - IMAGE SYSTEM AND IMAGE SOLUTION INCREASE PROCEDURE IN A IMAGE SYSTEM.

Info

Publication number: NO167243B
Application number: NO84843696A
Authority: NO
Inventors: Robert Zwirn
Original assignee: Hughes Aircraft Co
Priority date: 1984-01-25
Filing date: 1984-09-17
Publication date: 1991-07-08
Also published as: NO843696L; NO167243C

Description

Foreliggende oppfinnelse angår et avbildningssystem av den art som angitt i innledningen til krav 1 samt en fremgangsmåte for bildeoppløsningsøkning i et avbildningssystem som angitt i innledningen til krav 6. The present invention relates to an imaging system of the type stated in the introduction to claim 1 as well as a method for increasing image resolution in an imaging system as stated in the introduction to claim 6.

Bildesystemer som innbefatter fjernsynskamera, radiekoplede bildedanneranordninger, fremoverseende infrarøde sensorer, Imaging systems including television cameras, radio-coupled imaging devices, forward-looking infrared sensors,

og infrarøde ladningskoplede detektoranordninger frembringer et videobilde som har en oppløsning begrenset av bildedannerens samplingshastighet. Konstruktører av slike systemer begrenser i alminnelighet samplingshastigheten til litt mer enn to sampler mellom den første nullen til diffraksjons-uskarpheten i samsvar med Nyquist-kriteriet. Rayleigh-oppløsningsgrensen (beregnet ut fra størrelsen på åpningen og bølgelengden for scene-energien) beskriver grensene for det øyet kan se. En beskrivelse av Rayleigh-grensen er gitt i Jenkins og White: "Fundamentals of Optics", McGraw-Hill, 1957, side 304. Minimumsvinkelen for oppløs-ningen mellom to punkter for en bildedanner som har en sirkulær åpningsdiameter D som avføler lysbølgelengde x and infrared charge-coupled detector devices produce a video image having a resolution limited by the imager's sampling rate. Designers of such systems generally limit the sampling rate to slightly more than two samples between the first zero of the diffraction blur in accordance with the Nyquist criterion. The Rayleigh resolution limit (calculated from the size of the aperture and the wavelength of the scene energy) describes the limits of what the eye can see. A description of the Rayleigh limit is given in Jenkins and White: "Fundamentals of Optics", McGraw-Hill, 1957, page 304. The minimum angle of resolution between two points for an imager having a circular aperture diameter D sensing light wavelength x

0 244X 0 244X

er nærmere bestemt radianer. Avsøkningsbildesystemer er i alminnelighet konstruert slik at avsøkningsvinkelen are more precisely radians. Scanning imaging systems are generally designed so that the scanning angle

0 122X motstående mellom tilliggende sampler er mindre enn —-—^ radianer. 0 122X opposite between adjacent samples is less than —-—^ radians.

Foreliggende oppfinnelse angår et avbildningssystem av den innledningsvis nevnte art hvis karakteristiske trekk fremgår av krav 1 samt en fremgangsmåte for bildeoppløsningsøkning av den art som angitt i innledningen og hvis karakteristiske trekk fremgår av krav 6. Ytterligere trekk ved systemet og fremgangsmåten fremgår av de øvrige uselvstendige kravene. The present invention relates to an imaging system of the type mentioned at the outset, the characteristic features of which are apparent from claim 1, as well as a method for image resolution enhancement of the type stated in the introduction and whose characteristic features are apparent from claim 6. Further features of the system and the method are apparent from the other non-independent claims .

Ved foreliggende oppfinnelse blir oppløsningen for en gjen-stand forstørret først med effektiv reduksjon av avsøknings-vinkelen motstående mellom tilliggende sampler langt under Rayleigh-grensen for å tilveiebringe en bedre vurdering In the present invention, the resolution for an object is enlarged first by effectively reducing the scan angle between adjacent samples well below the Rayleigh limit to provide a better assessment

av et bilde tilsløret av punktsprøytningsfunksjonen (eller of an image obscured by the Spot Spray function (or

diffraksjonsmønsteret) til åpningen. Det neste trinnet er å behandle dette tilslørede bilde ved i det minste delvis å fjerne uskarpheten. Tilsløringsprosessen består i korrelering av hvert lite segment til det tilslørede bilde med tilslørte bilder av forkonstruerte grunnbilder og så syntetisering av et nytt silhuettbilde som innbefatter et mosaikk av rommessig korrelerte elementer av det opprinnelige (utilslørte) grunnbildesettet. Det tilslørte bildet av grunnbildet blir tilveiebragt ut fra et fullstendig sett med grunnbilder, som ideelt innbefatter alle mulige grunnbildeformer. Disse grunnbildene er tilsløret ved konvolusjon med punktspredefunksjonen av bildedannerens åpning. the diffraction pattern) to the aperture. The next step is to process this blurred image by at least partially removing the blur. The masking process consists of correlating each small segment of the masked image with masked images of pre-constructed base images and then synthesizing a new silhouette image that includes a mosaic of spatially correlated elements of the original (unmasked) base image set. The obscured image of the base image is provided from a complete set of base images, which ideally includes all possible base image shapes. These base images are masked by convolution with the point spread function of the imager aperture.

Ved en utførelsesform av oppfinnelsen blir økningen i samplingshastigheten under Rayleigh-grensen ved en vanlig bildedanner som har dens samplingshastighet begrenset av Rayleigh-kriteriet tilveiebragt ved å anvende multippelbilderegistrering. Denne teknikken tillater anvendelse av foreliggende oppfinnelse ved eksisterende bildesystemer. Multippelbilderegistreringen ifølge oppfinnelsen, et In one embodiment of the invention, the increase in sampling rate below the Rayleigh limit of a conventional imager which has its sampling rate limited by the Rayleigh criterion is provided by using multiple image registration. This technique allows the application of the present invention to existing imaging systems. The multiple image registration according to the invention, et

enkelt multippel-registrert videobilde, som består av flere delbildeelementer av redusert område konstruert fra flere normalvideobilder, som hver innbefatter flere stan-dardbildeelementer. Bildebevegelsen eller kameraskjelvingen mellom etterfølgende normale videobilder bestemmer delbildeelementforskyvningen i det multippelregistrerte videobilde. Innføringen, av multippelbilderegistrering ved allerede eksisterende system-hardware kan bli tilveiebragt ved å anvende en korrelasjonssporer eller bildebevegelse som kompenserer ser.vofeil eller kameraplattform som sta-biliserer gyrofeil.. Delbildeelementforskyvningen blir bestemt på denne måten. single multiple-registered video picture, which consists of several subpicture elements of reduced area constructed from several normal video pictures, each of which includes several standard picture elements. The frame motion or camera shake between successive normal video frames determines the field element offset in the multi-recorded video frame. The introduction of multiple image registration with already existing system hardware can be provided by using a correlation tracker or image movement that compensates for servo error or a camera platform that stabilizes gyro error. The partial image element displacement is determined in this way.

En annen utførelsesform av oppfinnelsen kan antall sampler Another embodiment of the invention may number of samples

i en gitt avsøkningsvinkel ved en konvensjonell bildedanner bli øket ved å anvende bildeinterpolering og zoom. Bildeinterpolering og zoom er nyttig hvor der ikke er nok at a given scanning angle by a conventional imager can be increased by applying image interpolation and zoom. Image interpolation and zoom are useful where there is not enough

tid for å behandle flere videobilder for å konstruere et multippelregistrert videobilde. Andre teknikker anvender mindre detektorer for å tilveiebringe tett samling ved et signalbilde. time to process multiple video images to construct a multi-registered video image. Other techniques use smaller detectors to provide dense collection of a signal image.

Oppfinnelsen skal nå beskrives nærmere med henvisning til tegningene, hvor: The invention will now be described in more detail with reference to the drawings, where:

Fig. la viser en typisk åpning og sensor som mottar lys Fig. la shows a typical opening and sensor that receives light

fra to punktkilder. from two point sources.

Fig. lb viser diffraksjonsmønsteret eller punktsprednings-funksjonen som korresponderer med fig. la; Fig. 1b shows the diffraction pattern or point spread function corresponding to Fig. let;

Fig. 2a viser fire multippelregistrerte videobilder. Fig. 2a shows four multiple recorded video images.

Fig. 2b viser en delbildeelementmosaikk syntetisert fra Fig. 2b shows a partial image element mosaic synthesized from

fire multippelregistrerte videobilder på fig. 2a. four multiple recorded video images in fig. 2a.

Fig. 2c viser en bildeanordning egnet for generering av Fig. 2c shows an image device suitable for the generation of

multippelregistrerte videobilder. multiple recorded video images.

Fig. 3 viser et skjema for fast utspørring av multippel registrerte videobilder. Fig. 4 viser en bildeinterpolasjonsteknikk som kan bli anvendt ved oppfinnelsen i stedet for multippel-registreringsteknikken på fig. 2a, 2b og 2c. Fig. 3 shows a diagram for fixed interrogation of multiple recorded video images. Fig. 4 shows an image interpolation technique that can be used in the invention instead of the multiple registration technique of Fig. 2a, 2b and 2c.

Fig. 5 viser et eksempel på sett med grunnbilder. Fig. 5 shows an example of a set of basic images.

Fig. 6a viser grunnbildetilpasningsfilterkorrelasjonstek-nikken for syntetisering av et bilde med øket opp-løsning. Fig. 6b viser anvendelse av teknikken på fig. 6a for et tilpasningsfilter av enkel grunnbildetype som et enkelt eksempel. Fig. 6a shows the basic image matching filter correlation technique for synthesizing an image with increased resolution. Fig. 6b shows application of the technique in fig. 6a for an adaptive filter of simple basic image type as a simple example.

Fig. 6c viser en punktspredefunksjon av samme funksjon Fig. 6c shows a point spread function of the same function

som vist på fig. 6b. as shown in fig. 6b.

Fig. la viser et forenklet skjematisk diagram over to punkter A, B betraktet gjennom en sirkulær åpning 1 (vist i. tverr-snitt) med diameteren Di En linse 3 til et kamera 5 avføler strålingen ved bølgelengden \ strålt ut eller reflektert fra de to punktene A og B. Vinkelen 9, mellom de to punktene A og B ved linsen 3 er lik Rayleigh-grensen 0,244x/D. Fig, lb viser et diagram som viser det korresponderende bøyningsmønster frembragt ved linsen 3 ved hjelp av strålingen fra punktet A (heltruJcket linje) og fra punktet B (stiplet linje) ved hvilken ordinaten korresponderer med fotoninten-siteten og abscissen, korresponderer med posisjonen langs X-aksen på fig. la. Slikt diffraksjonsmønster for punkt-kildebildene er karakteristisk for åpningen og er kalt "punktspredefunksjoner". Fig. la shows a simplified schematic diagram of two points A, B viewed through a circular opening 1 (shown in cross-section) with diameter Di. A lens 3 of a camera 5 senses the radiation at the wavelength \ radiated or reflected from the two the points A and B. The angle 9, between the two points A and B at the lens 3 is equal to the Rayleigh limit 0.244x/D. Fig, 1b shows a diagram showing the corresponding bending pattern produced by the lens 3 by means of the radiation from point A (solid line) and from point B (dashed line) in which the ordinate corresponds to the photon intensity and the abscissa corresponds to the position along X -axis in fig. let. Such a diffraction pattern for the point source images is characteristic of the aperture and is called "point spread function".

Rayleigh-kriteriet etablerer oppløsningsgrensen for to punkter betraktet gjennom en åpning. Rayleigh-kriteriet sier nærmere bestemt at minimum-tydelig separasjonen mellom to punkter A og B forekommer når toppen P(A) for diffrak-sjonstilsløringen for et punkt korresponderer med den første nullen Z(B) for diffraksjonstilsløringen til det andre punktet. Dette er nøyaktig forholdet vist. på fig. lb. The Rayleigh criterion establishes the resolution limit for two points viewed through an aperture. The Rayleigh criterion specifically states that the minimum clear separation between two points A and B occurs when the peak P(A) of the diffraction obscuration for one point corresponds to the first zero Z(B) of the diffraction obscuration of the other point. This is exactly the relationship shown. on fig. lb.

Dette kriteriet er basert på det faktumet at under denne separasjonen er det ikke lengre synlig diffraksjonsdal mellom toppene. Det. er imidlertid et prinsipp ved oppfinnelsen at Rayleigh-kriteriet angår oppførselen til det menneskelige øyet og; er ikke en fundamental grense for oppløsningen av et betraktet bilde gjennom en bestemt åpning og i virkeligheten er en større oppløsning mulig dersom prosessering er anvendt. Formen av det tilslørte bilde av to punkter,, hvis separasjon er nøyaktig ved Rayleigh-grensen, er: nærmere bestemt forskjellig fra det This criterion is based on the fact that during this separation there is no longer a visible diffraction valley between the peaks. The. however, it is a principle of the invention that the Rayleigh criterion relates to the behavior of the human eye and; is not a fundamental limit to the resolution of a considered image through a particular aperture and in reality a greater resolution is possible if processing is applied. The shape of the obscured image of two points, whose separation is exact at the Rayleigh limit, is: specifically different from that

til et enkelt punkt.. Det tilslørte bilde for de to punktene fortsetter dessuten å gå gjennom hårfine endringer under Rayleigh-grens«ne inntil de to punktene virkelig faller sammen i scenen. (Ved sammenfall er de naturligvis klart ikke oppløsbare.) Det er følgelig realiserbar informasjon i et tilslørt bilde av to punkter atskilt av en avstand under den til Rayleigh-kriteriet. Utledning av denne informasjonen blir tilveiebragt ved foreliggende oppfinnelse. to a single point.. Moreover, the obscured image for the two points continues to undergo subtle changes below the Rayleigh limits until the two points actually coincide in the scene. (In case of coincidence, they are of course clearly not resolvable.) Consequently, there is realizable information in an obscured image of two points separated by a distance below that of the Rayleigh criterion. Derivation of this information is provided by the present invention.

Fig. 2a og 2b viser multippelbilderegistreringen anvendt ved foreliggende oppfinnelse med det enkle eksemplet av et videobilde som har kun 16 bildeelementer, fire på hver side. På fig. 2a er et videobilde "a", omgrenset av heltrukne linjer, hvis hjørner er betegnet med a^, a14, <a>41 og <a>44, innbefatter 16 bildeelementer hver sentrert rundt 16 respektive punkter symbolisert som a^j. Lokaliseringen av hvert av senterpunktene a^j for de 16 punktene er vist på fig. 2a, mens mosaikken til selve de korresponderende bildeelementene er vist på fig. 2b ved heltrukken linje. Fig. 2a and 2b show the multiple image registration used in the present invention with the simple example of a video image that has only 16 image elements, four on each side. In fig. 2a is a video image "a", bounded by solid lines, whose vertices are denoted by a^, a14, <a>41 and <a>44, including 16 picture elements each centered around 16 respective points symbolized as a^j. The location of each of the center points a^j for the 16 points is shown in fig. 2a, while the mosaic of the corresponding picture elements themselves is shown in fig. 2b by solid line.

Multippelbilderegistreringen blir tilveiebragt ved sampling og lagring av de 16 bildeelementene med data som innbefatter videobildet på fig. 2a vist med heltrukken linje. Når kamera 5 er forskjøvet i x-retningen for således å sample et andre videobilde b vist med prikkede linjer innbefattende 16 bildeelementer b^j og omgitt av bildeelementene kil' ^14' ^41°^ ^44* Forskyvningen i x-retningen mellom videobildene a og b er lik halve avstanden mellom senterpunktene a^ og a^2« De 16 bildeelementene for data korresponderende med 16 senterpunkter b^j er samplet og lagret. Kameraet ble igjen forskjøvet for å sample et tredsje videobilde c avgrenset av bildeelementene c^, ci4' <c>4i °9 c44 på fig. 2a. Videobildet c er forskjøvet fra det opprinnelige videobilde a i y-retningen med halve avstanden mellom senterpunktene a^ og a2^. De ^ bildeelementene korresponderer med 16 senterpunkter ci .j. og blir samlet og lagret. Kameraet 5 blir så forskjøvet fra stedet som korresponderer med videobildet c i x-retningen med en avstand som korresponderer med halvparten av bildeelementavstanden for å avføle et fjerde videobilde d vist på fig. 2a med strek-prikket linje, hvis hjørnebildeelement har henvisningene ^11' ^14' ^41 °9 ^44" De ^ bildeelementene korresponderer med de 16 senterpunktene d^j til videobildet d og blir samplet og lagret. The multiple image registration is provided by sampling and storing the 16 image elements with data that includes the video image in fig. 2a shown with a solid line. When camera 5 is shifted in the x-direction so as to sample a second video image b shown by dotted lines including 16 image elements b^j and surrounded by the image elements kil' ^14' ^41°^ ^44* The shift in the x-direction between the video images a and b are equal to half the distance between the center points a^ and a^2« The 16 image elements for data corresponding to 16 center points b^j are sampled and stored. The camera was again shifted to sample a third video image c bounded by the picture elements c1, c14' <c>4i °9 c44 in FIG. 2a. The video image c is shifted from the original video image a in the y direction by half the distance between the center points a^ and a2^. The ^ picture elements correspond to 16 center points ci .j. and is collected and stored. The camera 5 is then displaced from the location corresponding to the video image c in the x direction by a distance corresponding to half the picture element distance to sense a fourth video image d shown in fig. 2a with a dash-dotted line, whose corner pixels have the references ^11' ^14' ^41 °9 ^44" The ^ pixels correspond to the 16 center points d^j of the video image d and are sampled and stored.

En sammensetning av lagret data fra videobildene a, b, c A composition of stored data from the video images a, b, c

og d blir så dannet ved gjenkjenning av data i rekkefølgen vist på fig. 2b. Fig. 2b viser nærmere bestemt data som korresponderer med bildeelementsenterpunktene a^, ^11' <c>ll' ^11 ve<* et roultippelregistrert eller sammensatt videobilde som angitt med stiplet linje på fig. 2b. Hvert av and d are then formed by recognizing data in the order shown in fig. 2b. Fig. 2b shows more specifically data corresponding to the picture element center points a^, ^11' <c>ll' ^11 ve<* a roultiple registered or composite video image as indicated by dotted line in fig. 2b. Each of

punktene a^, b.^, og d^^ er nå senter for et korresponderende delbildeelement vist med stiplet linje på the points a^, b.^, and d^^ are now the center of a corresponding partial image element shown with a dashed line on

fig. 2b. Antall delbildeelementer ved resulterende sammensatt mosaikk er lik firkanten til samplingsforbedringen multiplisert med antall bildeelementer i et av de opprinnelige videobildene (ved vårt eksempel 2 2x 16 = 64 delbildeelementer) . De stiplede linjedelbildeelementene på fig. fig. 2b. The number of sub-picture elements in the resulting composite mosaic is equal to the square of the sampling improvement multiplied by the number of picture elements in one of the original video images (in our example 2 2x 16 = 64 sub-picture elements). The dashed line subimage elements in fig.

2b er mindre enn de heltrukne bildeelementene med en faktor lik 2. 2b is smaller than the solid pixels by a factor of 2.

Som en generell regel blir ved en multippelregistrering As a general rule, in the case of a multiple registration

av n videobilder forskjøvet fra hverandre med en del (1/n)^ av bildeelementavstanden. Mens fig. 2b viser en multippelbilderegistrering av fire videobilder ved hvilke bildeelementdimensjonen er redusert med en faktor lik 2, kan således andre r.eduksjonsfaktorer bli tilveiebragt ved multippelbilderegistrering. of n video frames offset from each other by a fraction (1/n)^ of the pixel spacing. While fig. 2b shows a multiple image registration of four video images in which the image element dimension is reduced by a factor equal to 2, other reduction factors can thus be provided by multiple image registration.

Selv om videodataens kornstørrelse er blitt redusert ved multippelbilderegistrering er ikke desto mindre bildet representert av data tilsløret i samsvar med punktspredefunksjonen for åpningen gjennom hvilket bilde blir betraktet. Although the grain size of the video data has been reduced by multiple image recording, the image represented by data is nevertheless obscured in accordance with the point spread function of the aperture through which the image is viewed.

Korrelasjon av rommessig forskyvning mellom videobilder Correlation of spatial displacement between video images

med gjenkjenning av lagret videodata kan i praksis bli gjort ved hjelp av et kamera eller en sensor 5 montert på en styrer 7 som antydet på fig. 2c. Styreren kan være en gyroskopisk stabiliserende plattform for kameraet, hvis gyrofeil kan bli automatisk avfølt og anvendt som video-bildeforskyvning. Plattformen 7 kan alternativt være en bildebevegelseskompensator som anvender gyrostabilisering. Igjen vil gyrofeil definere forskyvningen mellom påfølgende videobilder. En korrelasjonssporer kan også bli anvendt for å spore virkelig forskyvning på grunn av kameraskjelving mellom videobildene.. Data fra korrelasjonssporeren vil definere forskyvningen mellom etterfølgende videobilder. Hver av disse teknikkene kan samordnes med eksisterende systemer. with recognition of stored video data can in practice be done using a camera or a sensor 5 mounted on a controller 7 as indicated in fig. 2c. The controller can be a gyroscopically stabilizing platform for the camera, whose gyro errors can be automatically sensed and used as video image displacement. The platform 7 can alternatively be an image motion compensator that uses gyro stabilization. Again, gyro error will define the offset between successive video frames. A correlation tracker can also be used to track actual displacement due to camera shake between video frames. Data from the correlation tracker will define the displacement between subsequent video frames. Each of these techniques can be coordinated with existing systems.

Med henvisning til fig. 3 blir et videobilde 10 syntetisert ved hjelp av multippelbilderegistreringen av 16 standard videobilder på omkring 500 linjer hver, som ikke kunne bli fullstendig fremvist på en standard videoskjerm. I stedet kunne skjermen tilpasses kun en liten del 10' av multippel-registrert videobilde. Dataen i disse delene 10a, 10c og 10d til videobildet på fig. 3 korresponderer følgelig med unødvendig avsøkninger av bildedanneren 5 i y-retningen. Det er foretrukket ved foreliggende oppfinnelse å begrense avsøkningen til bildedanneren 5 på fig. 2c i y-retningen for å dekke kun delen vist på fig. 3 som 10', 10e og 10b. Data som innbefatter det multippelregistrerte bildet 10' som virkelig er fremvist på en fjernsynsskjerm kan på denne With reference to fig. 3, a video image 10 is synthesized by means of the multiple image recording of 16 standard video images of about 500 lines each, which could not be fully displayed on a standard video screen. Instead, the screen could only fit a small portion 10' of the multiple-recorded video image. The data in these parts 10a, 10c and 10d of the video image in fig. 3 therefore corresponds to unnecessary scans of the imager 5 in the y direction. It is preferred in the present invention to limit the scanning to the image former 5 in fig. 2c in the y direction to cover only the portion shown in fig. 3 as 10', 10e and 10b. Data including the multi-registered image 10' actually displayed on a television screen can on this

måten bli utspurt omkring fire ganger hurtigere enn ellers for en firefolds multippelregistrering. the way to be queried about four times faster than otherwise for a fourfold multiple registration.

Med henvisning til fig. 2b, skal det bemerkes at hver av punktene a^.., b^j, c^j, d^^ korresponderer med et data-videoord som kan bli lagret i en datamaskins lager. Ordet With reference to fig. 2b, it should be noted that each of the points a^.., b^j, c^j, d^^ corresponds to a data-video word that can be stored in a computer's storage. The word

> korresponderer med hvert av punktene a^^, b^j, , d^^ og kan innta ethvert tall i et verdiområde som korresponderer med en analog verdi for strålingsintensiteten avfølt ved > corresponds to each of the points a^^, b^j, , d^^ and can take any number in a value range that corresponds to an analogous value for the radiation intensity sensed at

det punktet av kameraet 5. Ved et lavytrelsessystem kan that point of the camera 5. In the case of a low expression system can

alternativt hvert ord ganske enkelt være en binær verdi alternatively, each word simply be a binary value

i (svart eller hvit, på eller av). Ved foreliggende oppfinnelse er det imidlertid overveid at hvert ord representerer en analog verdi som korresponderer med intensiteten for strålingen avfølt av bildedanneren ved korresponderende senterpunkt a^^, b^j, etc. i (black or white, on or off). In the present invention, however, it is considered that each word represents an analog value that corresponds to the intensity of the radiation sensed by the imager at the corresponding center point a^^, b^j, etc.

) )

Det kan ikke være mulig å anvende multippelbilderegistrering for å generere videodelbildeelementdata. Dette kan f.eks. forekomme når gjenstander som skal bli betraktet på scenen It may not be possible to apply multiple frame registration to generate video subframe element data. This can e.g. occur when objects to be considered on stage

beveges for hurtig i forhold til hastigheten ved hvilke is moved too quickly in relation to the speed at which

i påfølgende videorammer blir generert, slik at det blir utilstrekkelig korrelasjon av hurtig seg bevegende gjenstander mellom påfølgende videobilder. Ved denne spesielle situasjonen kan bildeinterpolarsjon og zoom bli anvendt for å generere delbildeelementer i stedet for multippelbilde-reqistrerinq. in successive video frames is generated, so that there is insufficient correlation of fast moving objects between successive video frames. In this particular situation, image interpolation and zooming can be used to generate partial image elements instead of multiple image registration.

Med henvisning til fig. 4 er et delbildeelement for videodata generert fra et enkelt videobilde. Eksempeldelen av videobildet a på fig.. 4 innbefatter flere lagrede ord med videodata ved hvilke kun ordene som korresponderer med bildeelementsenterpunktene a^» a2i 0<3 a22 rePresenterer en ikke-null intensitet som korresponderer med det skygge-de området for videobildet a på fig. 4. With reference to fig. 4 is a subframe element for video data generated from a single video frame. The sample portion of the video image a in Fig. 4 includes several stored words of video data in which only the words corresponding to the pixel center points a^» a2i 0<3 a22 represent a non-zero intensity corresponding to the shaded area of the video image a in Fig. . 4.

Bildeinterpolasjon blir tilveiebragt ved vurdering av verdien for et punkt lokalisert mellom bildeelementene. Bildedata blir interpolert mellom bildeelementer for å tilveiebringe en lineær overgang mellom de tre punktene <a>12' <a>21 oq a32 som v^st Pa fig- ^ med sterkere heltrukne linjer. Det resulterende interpolerte bilde er vist skravert på fig. 4. Det nye interpolerte bilde, som korresponderer med det skraverte området inneholder mer informasjon en det gamle bilde som korresponderer med det skyg-gede eller stiplede, området. Image interpolation is provided by evaluating the value of a point located between the image elements. Image data is interpolated between picture elements to provide a linear transition between the three points <a>12' <a>21 oq a32 as shown in Fig- ^ with stronger solid lines. The resulting interpolated image is shown shaded in fig. 4. The new interpolated image, which corresponds to the shaded area, contains more information than the old image which corresponds to the shaded or dashed area.

Interpolasjon av analoge intensitetsverdier blant delbil-dene i det skyggelagjte området er gjort i samsvar med følgende ligninger som definerer intensitetsverdiene for dataord som representerer et delbildeelement a'^:Interpolation of analogue intensity values among the partial images in the shaded area is done in accordance with the following equations which define the intensity values for data words representing a partial image element a'^:

dersom a^ er senter.punktet for et sampeldelbilde i det opprinnelige videobildet a. Ellers: a'^j = en lineær interpolasjon mellom analog-verdien for tilliggende a^j fra det opprinnelige videobildet a. if a^ is the center point of a sample partial image in the original video image a. Otherwise: a'^j = a linear interpolation between the analog value for adjacent a^j from the original video image a.

Data fra samplede videobilder kan oppdatere vurderingen Data from sampled video images can update the assessment

fra tidligere interpolerte delbildeelementer dersom kombi-nert med en egnet vektfaktor. Ovenfor nevnte bildeinter-polas jon og zoomtekndkk er velkjent og beskrevet i forskjellige publikasjoner innbefattende f.eks.: Pratt, "Digital Image Processing", Wiley & Sons, New York, s. 110-116. from previously interpolated partial image elements if combined with a suitable weighting factor. The above-mentioned image interpolation and zooming techniques are well known and described in various publications including, for example: Pratt, "Digital Image Processing", Wiley & Sons, New York, pp. 110-116.

Bildeinterpolasjon og zoomteknikk vil følgelig ikke bli beskrevet nærmere her. Image interpolation and zoom techniques will therefore not be described in more detail here.

Bruken av enten multippelbilderegistrering eller bildeinterpolasjon og zoom, et videobilde som omfatter flere fine delbilder kan sammenfattet bli konstruert fra flere videobilder som innbefatter flere normalt dimensjonerte bildeelementer. Et stort antall av små detektorer kan Using either multiple image registration or image interpolation and zoom, a video image comprising several fine sub-images can be constructed from several video images comprising several normally sized image elements. A large number of small detectors can

også bli anvendt for å forbedre samplingstettheten. Informasjon inneholdt i delbildeelementsammensatte videobilde er imidlertid fremdeles tilsløret i samsvar med diffrak-sjonsspredefunksjonen til åpningen gjennom hvilke bildet blir betraktet. Det er således fremdeles tilbake oppgaver med å fjerne tilsløringen i det minste delvis fra bildet og rekonstruksjonen av et ikke tilslørt bilde fra informasjonen i det sterkt samplede videobildet til delbildeelementene. also be used to improve the sampling density. However, information contained in the subframe composite video image is still obscured in accordance with the diffraction spread function of the aperture through which the image is viewed. There are thus still remaining tasks of removing the obscuration at least partially from the image and the reconstruction of an unobscured image from the information in the heavily sampled video image to the partial image elements.

Det sammensatte bildet som innbefatter flere delbildeelementer kan være hovedsakelig ikke tilsløret ved korrelering av hvert lite segment til det sammensatte tilslørte bildet med et fullstendig sett med like små tilslørte grunnbilder. Et eksempelsett med 25 grunnbilder er vist på The composite image comprising multiple sub-image elements can be substantially unobscured by correlating each small segment of the composite obscured image with a complete set of equally small obscured base images. An example set of 25 basic images is shown on

fig. 5. Alltid når en toppkorrelasjon er detektert mellom et bestemt grunnbilde og et bestemt segment til det sammensatte bildet blir et ekvivalent ikke tilslørt grunnbilde erstattet i stedet for det tilslørte segmentet. På denne måten blir et syntetisert rekonstruert silhuettbilde dannet fra et rommessig korrelert sett med grunnbilder som erstat-ter det opprinnelige tilslørte bildesegmentet som de korresponderer med. fig. 5. Whenever a peak correlation is detected between a particular base image and a particular segment of the composite image, an equivalent unobscured base image is substituted in place of the obscured segment. In this way, a synthesized reconstructed silhouette image is formed from a spatially correlated set of base images that replace the original obscured image segment with which they correspond.

Før korreleringen av settet med basisgrunnbilder med de forskjellige segmenter av tilslørte sammensatte bilder blir selve grunnbildene først tilslørt ved konvolvering av dem med sensordegradering som består av både punktsprøytefunk-sjonen til åpningen gjennom hvilke den opprinnelige scenen blir betraktet og detektorformen som sampler det diffrak-sjonsbegrensede bildet. Både det tilslørte sammensatte bildet og grunnbildet med hvilket segmentene er sammenlignet blir følgelig tilslørt av samme punktspredefunksjon som således øker korreleringen. Denne punktspredefunksjonen er en Bessel-funksjon definert av bølgelengden og konfigurasjonen til åpningen gjennom hvilken scenen blir betraktet og kan bli beregnet på en bestemt måte i samsvar med velkjente prinsipper innenfor den klassiske optikken. Tilsløring av grunnbildet, slik som de vist på fig. 5 med sensordegradering, er. utført i samsvar med velkjente prinsipper innenfor konvoiusjonsteorien. Prior to the correlation of the set of basis images with the various segments of obscured composite images, the basis images themselves are first obfuscated by convolving them with sensor degradation consisting of both the point spray function of the aperture through which the original scene is viewed and the detector shape that samples the diffraction-limited image . Both the obscured composite image and the base image with which the segments are compared are consequently obscured by the same point spread function, which thus increases the correlation. This point spread function is a Bessel function defined by the wavelength and configuration of the aperture through which the scene is viewed and can be calculated in a certain way according to well-known principles in classical optics. Obscuration of the basic image, such as those shown in fig. 5 with sensor degradation, is. carried out in accordance with well-known principles within convoy theory.

Ovenfor nevnte prosess er vist skjematisk på f.ig. 6a. Kameraet 5 genererer videodata som blir tilført multippel-bildegeneratoren 15 som funksjonerer i samsvar med enten multippelbilderegistreringen tidligere beskrevet i forbindelse med fig. 2a, 2b, 2c eller bildeinterpoleringen beskrevet i forbindelse med fig. 4. Generatoren 15 mater så videodata som korresponderer med et sammensatt bilde bestående av delbildeelementer inn i et kumulativt lager 17 som lagrer det kombinerte videobildet bestående av delbildeelementer. Segmenter med videdbildedata lagret i lageret 17 blir så kontinuerlig matet til et sett med parallelt tilpassende filtrer 19. Hver av de tilpassede filtrene 19 korresponderer med en tilsløret versjon av et grunnbilde til et komplett sett med grunnbilder slik som de vist på fig. 5. Korrelasjonen mellom hvert segment av videobildet og hvert av de tilpassede filtrer blir detektert ved hjelp av et korresponderende et av korrelasjonstoppdetektorene 21. The above-mentioned process is shown schematically in fig. 6a. The camera 5 generates video data which is supplied to the multiple image generator 15 which functions in accordance with either the multiple image registration previously described in connection with fig. 2a, 2b, 2c or the image interpolation described in connection with fig. 4. The generator 15 then feeds video data corresponding to a composite image consisting of partial image elements into a cumulative storage 17 which stores the combined video image consisting of partial image elements. Segments of widescreen data stored in storage 17 are then continuously fed to a set of parallel adaptive filters 19. Each of the adaptive filters 19 corresponds to a masked version of a base image of a complete set of base images such as those shown in fig. 5. The correlation between each segment of the video image and each of the matched filters is detected by means of a corresponding one of the correlation peak detectors 21.

Dersom en bestemt em av de tilslørte grunnbildene passer med et bestemt segment med videodata lest ut fra lageret 17, vil den korresponderende av toppdetektoren 21 klargjøre korrespondansen av em av grunnbildegeneratorene 23. Den klargjorte grunnbildegéneratoren mater korresponderende opprinnelig (eller utilslørte) grunnbilder til lageret 25, idet det valgte grunnbildet er lagret på et sted bestemt av en adressegenerator 27. Dette lagerstedet korresponderer med lagerstedet for tilpasningssegmentet for det opprinnelige videobildet lagret i lageret 17. Som følge derav bevirker matingen av et kontinuerlig tilsløret bildesegment fra lageret 17 gjennom det tilpassede filteret 19 et nytt silhuettbilde til syntetisering i lageret 25 If a certain em of the obscured basic images matches a certain segment of video data read out from the storage 17, the corresponding of the peak detector 21 will prepare the correspondence of em of the basic image generators 23. The prepared basic image generator feeds corresponding original (or unobscured) basic images to the storage 25, the selected base image being stored in a location determined by an address generator 27. This storage location corresponds to the storage location of the adaptation segment of the original video image stored in the storage 17. As a result, the feeding of a continuously obscured image segment from the storage 17 through the adaptation filter 19 causes a new silhouette image for synthesizing in the warehouse 25

som innbefatter flere tilpasningsgrunnbilder. which includes several customization templates.

Det er antatt at korrelasjonsprosessen på fig. 6a kan bli utført ved å anvende et lager og et transversalt filter-system av ladet koplingsanordningstype, slik som det vist på fig. 6b. På fig. 6b inneholder lageret 17' flere bildeelementer som representerer et bilde med videodata som korresponderer med det sammensatte tilslørte bildet. Bilde-elementen blir organisert i rader og kolonner. Tilpasnings-filterkorrelasjon av den type vist på fig. 6a blir utført ved anvendelse av et transversalt filter av ladet koplings-type som innbefatter flere n-parallelle ladningskoplede serieregistrer 30. I eksemplet på fig. 6b, er n = 6. It is assumed that the correlation process in fig. 6a can be accomplished by using a bearing and a transverse filter system of the charged coupling type, such as that shown in FIG. 6b. In fig. 6b, the storage 17' contains several image elements representing an image with video data corresponding to the composite obscured image. The image element is organized into rows and columns. Matching filter correlation of the type shown in fig. 6a is performed using a charged-coupled-type transverse filter that includes multiple n-parallel charge-coupled series registers 30. In the example of FIG. 6b, n = 6.

De øverste seks radene til CCD-lageret 17' blir overført seriemessig fra venstre til høyre ut av lageret 17<*> gjennom de parallelle CCD-registrene 30 og under en plan rad 32 med ladede avfølingsportelektroder organisert ved n-rader og n-kolonner. Dette definerer størrelsen på hvert av segmentene til videobildet som skal bli sammenlignet eller tilpasset som n bildeelementer ved hjelp av n bildeelementer. n-radene med følerportelektroder i rekke 32 er i vertikal registrering med n-rader av det lagrede bildet 30. Avstanden i x-retningen ved portelektrodene i rekken 32 korresponderer med den seriemessige avstanden til ladningspak-kene til hver av bilderegistrene 30. The top six rows of CCD storage 17' are transferred serially from left to right out of storage 17<*> through the parallel CCD registers 30 and below a planar row 32 of charged sensing gate electrodes organized by n-rows and n-columns. This defines the size of each of the segments of the video image to be compared or matched as n pixels using n pixels. The n-rows of sensor gate electrodes in row 32 are in vertical registration with n-rows of the stored image 30. The distance in the x-direction at the gate electrodes in row 32 corresponds to the serial distance of the charge packets to each of the image registers 30.

Når de seks øverste radene med data fra lageret 17' blir klokket fra venstre til høyre gjennom CCD-registeret 13, blir suksessive segmenter med videodata innbefattende seks rader og seks kolonner lest ut. Størrelsen på hver lad-ningspakke i hvert seks ganger seks segment med data som går under rekken 32, blir nærmere bestemt avfølt ved å avføle det elektriske potensiale til hver individuell føler-portelektrode i rekken 32. Hver tidsdata blir klokket sekvensmessig fra venstre til høyre med et bildeelement gjennom registeret 32, et nytt segment med videodata blir lest ut fra rekken 32 og tilført et korresponderende et av 21' av korrelasjonstoppdetektorene 21. Dette forekommer en gang hver CCD-klokkesyklus. Prosessen fortsetter, bilde for bilde, inntil hele bildet er blitt behandlet. Driften av transversalfilteret av ladningskoplede anord-ningers type er velkjent og vil ikke nå bli beskrevet nærmere. Ladningskoplede bildeanordninger som behandles med transversalfiltrer og CCD-avfølingselektroderekker er beskrevet f.eks. av Nudd et al., "A CCD Image Processor for Smart Sensor Applications", Proceedings of the Society of Photo-Optical Instrumentation Engineers, San Diego, California, 1978, col. 155, s. 15-22. When the top six rows of data from the storage 17' are clocked from left to right through the CCD register 13, successive segments of video data comprising six rows and six columns are read out. The size of each charge packet in each six by six segment of data passing under row 32 is specifically sensed by sensing the electrical potential of each individual sensor gate electrode in row 32. Each time data is clocked sequentially from left to right with a picture element through the register 32, a new segment of video data is read out from the array 32 and applied to a corresponding one of 21' of the correlation peak detectors 21. This occurs once every CCD clock cycle. The process continues, image by image, until the entire image has been processed. The operation of the transverse filter of the charge-coupled device type is well known and will not now be described in more detail. Charge-coupled imaging devices that are processed with transverse filters and CCD sensing electrode arrays are described e.g. by Nudd et al., "A CCD Image Processor for Smart Sensor Applications", Proceedings of the Society of Photo-Optical Instrumentation Engineers, San Diego, California, 1978, col. 155, pp. 15-22.

En forenklet beskrivelse av konvolusjonen og korrelasjonsprosessen for et bestemt et av grunnbildene på fig. 6a vil nå bli gitt med henvisning til fig. 6b. Hvért grunnbilde på fig. 5 er kvantisert i en rekke med n kolonner og n rader dataord, V^j. En kurvefremstilling av rekken som korresponderer med grunnbildet 100 på fig. 5 er vist på fig. 6b. Et eksempel på åpningspunktspredefunksjonen Pxv er vist på fig. 6c. Den kan bli digitalisert i en rekke på m rader og m kolonner med dataord som korresponderer med antall rader og kolonner for delbildeelementene i et fullstendig multippelregistrert bilde. Resultatet er en matrise P^j med m kolonner og m rader dataord som innbefatter punktspredefunksjonmatrisen 200 angitt på A simplified description of the convolution and correlation process for a specific one of the basic images in fig. 6a will now be given with reference to fig. 6b. Each basic image in fig. 5 is quantized into an array of n columns and n rows of data words, V^j. A curve representation of the row corresponding to the basic image 100 in fig. 5 is shown in fig. 6b. An example of the opening point spread function Pxv is shown in fig. 6c. It can be digitized in an array of m rows and m columns of data words corresponding to the number of rows and columns of the sub-picture elements in a complete multiple-registered picture. The result is a matrix P^j with m columns and m rows of data words that includes the point spread function matrix 200 indicated on

fig. 6b. Nedenfor er: vist en spesiell fremstilling av et eksempel på punktspredefunksjonmatrisen: fig. 6b. Below is: shown a special representation of an example of the point spread function matrix:

Por å generere en tilsløret "versjon" av hvert grunnbilde, slik som grunnbilde 100 på fig. 6b, blir grunnbildet 100 konvolvert med punktspredefunksjonmatrisen 200 som gir det tilslørte grunnbildet 100', som antydet på fig. 6b. Hvert dataord v'^j 1 den 1 te raden og den j te kolonnen til det tilslørte grunnbildet 100' er beregnet fra punktspredef unks jonens dataord P^j og de ikke tilslørte grunn-bildedataordene som følger: Por to generate an obfuscated "version" of each base image, such as base image 100 in FIG. 6b, the base image 100 is convolved with the point spread function matrix 200 which gives the obscured base image 100', as indicated in fig. 6b. Each data word v'^j 1 the 1 th row and the j th column of the obfuscated base image 100' is calculated from the point definition data word P^j and the non-obscured base image data words as follows:

Det tilslørte grunnbildet 100' blir så anvendt som et rekke eller tilpasningsfilter 19' med n x n delbildeelementer med dataord. De tilpassede filtrene 19 innbefatter f.eks. hver grunnbilder av fig. 5 konvolvert med punktspredefunksjonen 200 i samsvar med fig. 6b. The obscured base image 100' is then used as a series or adaptation filter 19' with n x n sub-image elements with data words. The adapted filters 19 include e.g. each basic images of fig. 5 convolved with the point spread function 200 in accordance with fig. 6b.

n x n tilpassede filtrer 19' er korrelert med hvert n x n bildesegment avfølt av rekken 32, idet korrelasjonsover-flaten blir operert på av den to dimensjonale korrelasjons-toppdetektoren 21'. Dersom detektoren 21æ avføler en toppkorrelasjon, blir grunnbildegeneratoren 23' klargjort av detektoren 21' for å generere en blokk med n-rader og n-kolonner med dataord som korresponderer med det ikke til-slørte grunnbildet 100. Data fra generatoren 23" blir lagret i lageret 25' i en adresse spesifisert av adressegeneratoren 27'. Adressegeneratoren 27' dirigerer grunn-bildeblokken med data i lageret 25' til lagerstedet som n x n matched filters 19' are correlated with each n x n image segment sensed by the array 32, the correlation surface being operated on by the two-dimensional correlation peak detector 21'. If the detector 21æ senses a peak correlation, the base image generator 23' is prepared by the detector 21' to generate a block of n-rows and n-columns of data words corresponding to the unobscured base image 100. Data from the generator 23" is stored in the storage 25' in an address specified by the address generator 27'. The address generator 27' directs the basic image block with data in the storage 25' to the storage location which

korresponderer med det opprinnelige lagerstedet for det korrelerte datasegmentet til det tilslørte videobildet lagret i lageret 17'.. corresponds to the original storage location of the correlated data segment of the obscured video image stored in the storage 17'..

Beregningen av korrelasjonen av detektoren 21' blir utført i samsvar med velkjent korrelasjonsteknikk ved signal-behandlingsteori og vil derfor ikke bli beskrevet nærmere. The calculation of the correlation of the detector 21' is carried out in accordance with well-known correlation technique by signal processing theory and will therefore not be described in more detail.

Det syntetiserte bildet lagret i lageret 25 innbefatter en mosaikk med valgte' grunnbilder og har en bedre oppløs-ning enn noen av videobildene opprinnelig generert av kamera 5. Det skal forøvrig bemerkes at ytelsene kan bli øket ved anvendelsen av mer fullstendige sett med grunnbilder enn det vist på fig. 5. The synthesized image stored in the storage 25 includes a mosaic of selected base images and has a better resolution than any of the video images originally generated by camera 5. It should be noted that performance can be increased by the use of more complete sets of base images than the shown in fig. 5.

Claims

1. Imaging system including an imager capable of viewing a scene through an aperture characterized by a point spread function and a device responsive to the imager to generate successive images of video data words characterized by a first sampling rate, characterized by a system for increasing image resolution, comprising means for converting the video data words into a synthesized video image of the video data words, the synthesized video image being characterized by a second higher sampling rate, several basic images, each of the basic images including a matrix of video data words, means for convolving each of the base images with the point spread function to generate a set of obscured base images, means for calculating the correlation between each of the obscured base images and each small segment with the synthesized video image and detecting a peak correlation therefrom, a repository to store a mosaic of selected base images , and means responsive whenever the correlation means detects a two-dimensional peak correlation between a particular one of the obscured base images and one of the segments with the synthesized video image for writing a particular one of the unobscured base images into the base image mosaic store at a storage location corresponding to the original storage location of the particular synthesized video image segment in the synthesized video image.

2. System according to claim 1, characterized in that said device for conversion into a synthesized video image includes multiple image recording means for forming a mosaic of mutually offset successive video images generated by the imager.

3. System according to claim 1, characterized in that said device for converting to a synthesized video image includes a device for performing image interpolation in a single one of successive video images.

4. System according to claim 1, characterized in that it includes a series of detectors that have a detector-to-detector sampling rate greater than the Nyquist rate.

5. System according to claim 1, characterized in that each small segment comprises n rows and n columns of data words and said device for generating a synthesized video image includes a storage device for storing the synthesized video image data words and that the correlation device comprises a transverse filter of charge-coupled device type including n- parallel registers receiving data from the charge-coupled storage, the correlation device comprising the equivalent of a planar assembly with n-rows and n-columns of sensor electrodes located above the parallel registers, the electrode assembly further comprising means for detecting each segment of video data transmitted through said parallel registers and which sends detected video data word to a correlation computer, where the correlation computer calculates a correlation between the detected segment of video data word and the digitized version of a corresponding one of the obscured base images.

6. Procedure for image resolution enhancement in an imaging system where a set of basic images is used to enhance an image whose resolution is reduced by system limitations including obscurations caused by focusing, diffraction and sampling, characterized by generating a set of degraded base images by degrading the base images in the same way as the image degraded by system constraints, correlating the intensity distribution of the sampled segment with the degraded image with the intensity distribution of the degraded base images and selecting the most correlating degraded base image, synthesizing an enhanced image by replacing the sampled degraded image segment with the non-degraded version of the selected degraded base image at the image location where the best match occurs between the sampled degraded image segment and the selected degraded base image.

7. Method according to claim 6, characterized by the further step of increasing the sampling density for the degraded image and the degraded basic images before the comparison of the intensity distribution for the degraded basic images and the sample segments for the degraded image.

8. Method according to claim 6, characterized in that the degraded basic images are generated by viewing the basic images through the imaging system so that the degradation effect of the system limitations is given to the basic images at the output of the system.

9. Method according to claim 6, characterized in that correlation of the intensity distributions is carried out between sampled degraded image segments and degraded basic images of similar size in relation to each other.

10. Method according to claim 6, characterized in that the degraded base images are generated mathematically by convolution of the base images with a function representing the system limitation.

11. Method according to claim 6, characterized in that the sampled segments of the degraded image have overlapping parts.