NO164068B - ZOOM SOLUTION INCREASE BY DEGRADATION PROJECTS. - Google Patents

ZOOM SOLUTION INCREASE BY DEGRADATION PROJECTS. Download PDF

Info

Publication number
NO164068B
NO164068B NO84843834A NO843834A NO164068B NO 164068 B NO164068 B NO 164068B NO 84843834 A NO84843834 A NO 84843834A NO 843834 A NO843834 A NO 843834A NO 164068 B NO164068 B NO 164068B
Authority
NO
Norway
Prior art keywords
image
video data
obscured
video
data words
Prior art date
Application number
NO84843834A
Other languages
Norwegian (no)
Other versions
NO843834L (en
NO164068C (en
Inventor
Robert Zwirn
Edward J Dragavon
Brian Smithgall
Original Assignee
Hughes Aircraft Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US06/461,354 external-priority patent/US4517599A/en
Application filed by Hughes Aircraft Co filed Critical Hughes Aircraft Co
Publication of NO843834L publication Critical patent/NO843834L/en
Publication of NO164068B publication Critical patent/NO164068B/en
Publication of NO164068C publication Critical patent/NO164068C/en

Links

Landscapes

  • Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)

Description

Foreliggende oppfinnelse angår et bildesystem for å øke bildeoppløsningen av den art som angitt i innledningen til krav 1 samt en fremgangsmåte for å øke bildeoppløsningen i et bildesystem av den art som angitt i innledningen til krav 6. The present invention relates to an image system for increasing the image resolution of the kind stated in the introduction to claim 1 as well as a method for increasing the image resolution in an image system of the kind stated in the introduction to claim 6.

Konstruktøren av slike systemer begrenser typisk samplings-graden til litt mer enn to sampler mellom første nullen til diffraksjonstilsløringen (i samsvar med Nyquist kriteriet). Eayleigh oppløsningsgrensen (begrenset ut fra størrelsen på åpningen og bølgelengden for sceneenergien) beskriver grensene for det som øyet kan se. Rayleigh grensen er beskrevet av Jenkins og White, "Fundamentals of Optics", McGraw-Hill, 1957 på side 304. En minimumsvinkeloppløsning mellom to punkter for en bildedanner har en sirkulær åpning på en diameter D som avføler lysbølgelengden X er The designer of such systems typically limits the sampling rate to slightly more than two samples between the first zero of the diffraction mask (in accordance with the Nyquist criterion). The Eayleigh resolution limit (limited by the size of the aperture and the wavelength of the scene energy) describes the limits of what the eye can see. The Rayleigh limit is described by Jenkins and White, "Fundamentals of Optics", McGraw-Hill, 1957 on page 304. A minimum angular resolution between two points for an imager having a circular aperture of diameter D sensing the light wavelength X is

radianer. Avsøkningsbildedannersystemene er følgelig typisk konstruert slik at avsøkningsvinkelen motstående mellom tilliggende sampler er mindre enn radians. The scanning imager systems are consequently typically designed so that the scanning angle opposed between adjacent samples is less than

radianer. radians.

Fra "Applied Optics", vol. 21, 15. desember 1982, side 4493 til 4499 er det kjent et f remgangsmåtesystem for å øke bildeoppløsningen ved et bildesystem. Dette bildesystemet innbefatter en avbilder som, betrakter en scene eller et opprinnelig objekt gjennom en begrenset åpning og er kjennetegnet ved en punktspredefunksjon og innbefatter innretning for å generere suksessive delbildevideodataord kjennetegnet av en første samplingshastighet. Ved dette kjente systemet blir de samplede delbildevideodataordene konvolvert med punktspredefunksjonen for å generere et dobbelttilsløret bilde, idet det dobbelttilslørte bildet subtraheres fra det samplede tilslørte bildet for å tilveiebringe en degraderingsverdi som til slutt blir tillagt det samplede tilslørte bildet. From "Applied Optics", vol. 21, 15 December 1982, pages 4493 to 4499, there is known a method system for increasing the image resolution of an imaging system. This imaging system includes an imager which views a scene or original object through a limited aperture and is characterized by a point spread function and includes means for generating successive field video data words characterized by a first sampling rate. In this known system, the sampled subframe video data words are convolved with the dot spread function to generate a doubly obscured image, the doubly obscured image being subtracted from the sampled obscured image to provide a degradation value which is finally added to the sampled obscured image.

Hovedulempen ved det kjente systemet ligger i det faktumet at subtraheringen og adderingen nødvendigvis må suksessivt utføres av en minidatamaskin som øker beregningstiden. Det kjente systemet er ikke brukbart ved sanntidsanvendelser. The main disadvantage of the known system lies in the fact that the subtraction and addition must necessarily be successively carried out by a minicomputer, which increases the calculation time. The known system is not usable in real-time applications.

Foreliggende oppfinnelse angår et bildesystem av den innledningsvis nevnte art hvis karakteristiske trekk fremgår av krav 1 og hvor ytterligere utførelsesformer fremgår av de øvrige uselvstendige kravene. Foreliggende oppfinnelse angår også en fremgangsmåte for å øke bildeoppløsningen i et bildesystem som angitt i innledningen og hvis karakteristiske trekk fremgår av krav 6. The present invention relates to an image system of the kind mentioned at the outset, the characteristic features of which appear from claim 1 and where further embodiments appear from the other non-independent claims. The present invention also relates to a method for increasing the image resolution in an image system as stated in the introduction and whose characteristic features appear in claim 6.

Ved foreliggende oppfinnelse blir oppløsningen til en gjenstand øket ved først effektivt å redusere avsøknings-vinkelen motstående mellom tilliggende sampler til vel under den til Rayleigh grensen for å tilveiebringe et bedre estimat av et bilde tilslørt av punktspredefunksjonen (eller diffraksjonsmønsteret) til åpningen. Det neste trinnet er å behandle dette tilslørede bildet for i det minste delvis å fjerne tilsløringen. Avsløringsprosessen består av konvolvering av dette endelige, samplede, tilslørte bildet med en bestemt konstruert konvolveringsmaske. Denne masken fører ut effektivt et forbedret bildeelement ved hvert konvolverings-trinn. In the present invention, the resolution of an object is increased by first effectively reducing the scan angle opposed between adjacent samples to well below the Rayleigh limit to provide a better estimate of an image obscured by the point spread function (or diffraction pattern) of the aperture. The next step is to process this obfuscated image to at least partially remove the obfuscation. The deconvolution process consists of convolving this final sampled obfuscated image with a specifically constructed convolution mask. This mask effectively outputs an enhanced image element at each convolution step.

Masken utfører samtidig den ekvivalente av følgende opera-sjoner : The mask simultaneously performs the equivalent of the following operations:

1) tilsløring av bildet igjen, 1) obscuring the image again,

2) subtrahering av dette på nytt tilslørte bildet fra det opprinnelige bildet for å danne degraderings-estimatene, og 3) tillegging av estimatet for tapet tilbake på det opprinnelige bildet. 2) subtracting this re-obscured image from the original image to form the degradation estimates, and 3) adding the loss estimate back to the original image.

Ved utførelsesform av oppfinnelsen blir økningen i samplings-graden under Rayleigh grensen ved en konvensjonell bildedanner som har dens sampllngsgrad begrenset av Rayleigh kriteriet tilveiebrakt ved å anvende multlppelbilderegistre-ring. Denne teknikken tillater anvendelsen av foreliggende oppfinnelse på eksisterende bildesystemer. Multippelbilde-registrerlngen av oppfinnelsen, et enkelt multippelregistrert videobilde som består av flere bildeelementer med redusert areal blir konstruert fra flere normalvideobilder, som hver innbefatter flere standardbildeelementer. Bildebevegelsen eller kameradirringen mellom påfølgende normale videobilder bestemmer delbildeforskyvningen ved det multippelregistrerte videobildet. Realisering av multippelbilderegistrering ved allerede eksisterende systemhardware kan bli tilveiebrakt ved å anvende en korrelasjonssporer eller servo for kompensering av feil ved bildebevegelse eller gyro for stabilisering av feil ved kameraplattformen. Delbildeforskyvningen blir bestemt på denne måten. In an embodiment of the invention, the increase in the sampling rate below the Rayleigh limit of a conventional imager which has its sampling rate limited by the Rayleigh criterion is provided by using multiple image registration. This technique allows the application of the present invention to existing imaging systems. In the multiple-frame recording of the invention, a single multiple-recorded video image consisting of several reduced-area picture elements is constructed from several normal video pictures, each of which includes several standard picture elements. The frame movement or camera shake between successive normal video frames determines the subframe offset of the multiple-recorded video frame. Realization of multiple image registration with already existing system hardware can be provided by using a correlation tracker or servo for compensating errors in image movement or gyro for stabilizing errors at the camera platform. The partial image displacement is determined in this way.

Ved en annen utførelsesform av oppfinnelsen kan antall sampler ved en gitt avsøkningsvinkel ved en konvensjonell bildedanner bli øket ved å anvende bildeinterpolasjon og zoom. Bildeinterpolas jon og zoom er nyttig når der ikke er nok tid for å behandle flere videobilder for å konstruere et multippelregistrert videobilde. En annen teknikk er å anvende mindre dimensjonerte detektorer for å tilveiebringe kompakt sampling av et enkelt bilde. In another embodiment of the invention, the number of samples at a given scanning angle with a conventional imager can be increased by using image interpolation and zoom. Image interpolation and zooming are useful when there is not enough time to process multiple video images to construct a multi-registered video image. Another technique is to use smaller sized detectors to provide compact sampling of a single image.

Oppfinnelsen skal nå beskrives nærmere med henvisning til medfølgende tegninger, hvor: Fig. la viser en typisk åpning og sensor som mottar lys The invention will now be described in more detail with reference to accompanying drawings, where: Fig. la shows a typical opening and sensor that receives light

fra to punktkilder. from two point sources.

Fig. lb viser diffraksjonsmønsteret eller punktspredefunksjonen som korresponderer med fig. la. Fig. 2a viser fire multippelregistrerte videobilder. Fig. 2b viser et delbildeelementsmosaikk syntetisert fra fire multippelregistrerte videobilder på fig. 2a. Fig. 2c viser en bildeanordning egnet for å generere Fig. 1b shows the diffraction pattern or point spread function corresponding to Fig. let. Fig. 2a shows four multiple recorded video images. Fig. 2b shows a partial image element mosaic synthesized from four multiple-registered video images in fig. 2a. Fig. 2c shows an image device suitable for generating

multippelregistrerte videobilder. multiple recorded video images.

Fig. 3 viser et skjema for hurtig utspørring av Fig. 3 shows a form for quick interrogation of

multippelregistrerte videobilder. multiple recorded video images.

Fig. 4 viser en bildeinterpolasjonsteknikk som kan bli anvendt ved denne oppfinnelsen blant annet for multippelregistreringsteknikken på fig. 2a, 2b og 2c. Fig. 5a, b og c viser prosessen for fjerning av tilslørin-gen som anvender degraderingsestimater. Fig. 6 viser et blokkdiagram over et system for Fig. 4 shows an image interpolation technique which can be used in this invention, among other things, for the multiple registration technique in fig. 2a, 2b and 2c. Fig. 5a, b and c show the deobfuscation process using degradation estimates. Fig. 6 shows a block diagram of a system for

utførelse av teknikken på fig. 5a, b og c. implementation of the technique in fig. 5a, b and c.

Fig. 7 viser en perspektivgrafikk over overflaten som korresponderer med omhyllingsmasken anvendt ved systemet på fig. 6. Fig. la er et forenklet skjematisk diagram som viser punkter A, B betraktet gjennom en sirkulær åpning 1 (vist i tverr-snitt) med diameteren D ved hjelp av en linse 3 til et kamera 5 som avføler strålingen med bølgelengden X, strålt ut eller reflektert fra de to punktene A og B. Vinkelen G motstående mellom to punkter A og B ved linsen 3 er lik Rayleigh grensen 0,244 X/D. Fig. 7 shows a perspective graphic of the surface which corresponds to the enveloping mask used in the system of fig. 6. Fig. 1a is a simplified schematic diagram showing points A, B viewed through a circular opening 1 (shown in cross-section) of diameter D by means of a lens 3 of a camera 5 which senses the radiation of wavelength X, radiated out or reflected from the two points A and B. The angle G opposite between two points A and B at the lens 3 is equal to the Rayleigh limit 0.244 X/D.

Fig. lb viser en kurve over korresponderende diffraksjons-mønster frembrakt ved linsen 3 ved hjelp av strålingen fra punktet A (heltrukken linje) og fra punktet B (stiplet linje) ved hvilke ordinaten korresponderer med fotonintensiteten og abscissen korresponderer med posisjonen langs X-aksen på fig. la. Slike diffraksjonsmønster av punktkildebilder er enestående karakteristikker over åpningen og blir kalt "punktspredefunksjoner". Fig. 1b shows a curve of the corresponding diffraction pattern produced by the lens 3 by means of the radiation from point A (solid line) and from point B (dotted line) where the ordinate corresponds to the photon intensity and the abscissa corresponds to the position along the X-axis of fig. let. Such diffraction patterns of point source images are unique characteristics across the aperture and are called "point spread functions".

Rayleigh kriteriet etablerer oppløsningsgrensen for to punkter betraktet gjennom en åpning. Nærmere bestemt bekrefter Rayleigh kriteriet at minimumsfølsomhetssepara-sjonen mellom to punkter A og B forekommer når toppen P(A) for diffraksjonstilsløringen i et punkt korresponderer med den første null Z(B) for en diffraksjonstilsløring for det andre punktet. Dette er nøyaktig betingelsen vist på fig. lb. Dette kriteriet er basert på det faktum at under denne separasjonen er der ikke lengre en merkbar diffraksjonsdal mellom toppene. Det er imidlertid et prinsipp ved foreliggende oppfinnelse at Rayleigh kriteriet angår oppførselen til det menneskelige øyet og ikke er en fundamental grense på oppløsningen av et bilde betraktet gjennom en bestemt åpning og i virkeligheten er en større oppløsning mulig, dersom behandlingen blir anvendt. Formen av det tilslørte bildet til to punkter, hvis separasjon er nøyaktig ved Rayleigh grensen, er nærmere bestemt forskjellig fra den til et enkelt punkt. Det tilslørte bildet for to punkter fortsetter dessuten å gå gjennom lette endringer under Rayleigh grensen inntil de to punktene virkelig sammenfaller på scenen. (Ved koinsidens er der naturligvis endelig ikke oppløsbarhet). Der er følgelig realiserbar informasjon i et tilslørt bilde av to punkter adskilt med en avstand under den til Rayleigh kriteriet. Utledelse av denne informasjonen blir tilveiebrakt ved hjelp av foreliggende oppfinnelse. The Rayleigh criterion establishes the resolution limit for two points viewed through an aperture. More specifically, the Rayleigh criterion confirms that the minimum sensitivity separation between two points A and B occurs when the peak P(A) of the diffraction obscuration at one point corresponds to the first zero Z(B) of a diffraction obscuration at the other point. This is exactly the condition shown in fig. lb. This criterion is based on the fact that during this separation there is no longer a noticeable diffraction valley between the peaks. However, it is a principle of the present invention that the Rayleigh criterion relates to the behavior of the human eye and is not a fundamental limit on the resolution of an image viewed through a particular aperture and in fact a greater resolution is possible, if the treatment is applied. Specifically, the shape of the obscured image of two points, whose separation is exact at the Rayleigh limit, is different from that of a single point. Moreover, the obscured image for two points continues to undergo slight changes below the Rayleigh limit until the two points truly coincide on the scene. (In the case of coincidence, there is, of course, finally no dissolvability). There is therefore realizable information in an obscured image of two points separated by a distance below that of the Rayleigh criterion. Derivation of this information is provided by means of the present invention.

Fig. 2a og 2b viser multippelbildereglstreringen anvendt ved denne oppfinnelsen med et enkelt eksempel på et videobilde som har kun seksten bildeelementer, Fire på hver side. På fig.2a innbefatter et videobilde "a", seksten bildeelementer hver sentrert rundt seksten respektive punkter ajj . Stedet for hvert av senterpunktene a^-j for de seksten bildeelementene er vist på fig. 2a, mens mosaikken for korresponderende bildeelementer selv er vist på fig. 2b med heltrukken linje. Fig. 2a and 2b show the multiple picture regulation used in this invention with a simple example of a video picture having only sixteen picture elements, Four on each side. In Fig. 2a, a video image "a" includes sixteen picture elements each centered around sixteen respective points ajj . The location of each of the center points a^-j for the sixteen picture elements is shown in fig. 2a, while the mosaic for corresponding image elements is itself shown in fig. 2b with solid line.

Multippelbilderegistrering blir tilveiebrakt ved sampling og lagring av seksten bildeelementer med data innbefattende videobilde a på fig. 2a vist med heltrukken linje. Kameraet 5 blir så forskjøvet i x-retningen, for således å sample et andre videobilde b vist med stiplet linje innbefattende seksten bildeelementer bjj. Forskyvningen i x-retningen mellom videobildene a og b er lik halvparten av avstanden mellom senterpunktene a^ og a^. Seksten bildeelementer med data som korresponderer med seksten senterpunkter bj-j , blir samplet og lagret. Kameraet 5 blir igjen forskjøvet for å sample et tredje videobilde c vist med stiplet linje på fig. 2a. Videobildet c blir forskjøvet fra det opprinnelige videobildet a i y-retningen med halvparten av avstanden mellom senterpunktene a^ og & 21' De seksten bildeelementene som korresponderer med seksten senterpunkter cj-j blir så samplet og lagret. Kameraet 5 blir så forskjøvet fra stedet som korresponderer med videobildet c i x-retningen, med en avstand som korresponderer med halvparten av bildeelement-mellomrommet for å avføle et fjerde videobilde d vist på fig. 2a, med stiplet-prikket linje. De seksten bildeelementene som korresponderer med seksten senterpunkter djj med videobildet d blir så samplet og lagret. Multiple image registration is provided by sampling and storing sixteen image elements with data including video image a in fig. 2a shown with a solid line. The camera 5 is then shifted in the x-direction, so as to sample a second video image b shown with a dashed line including sixteen image elements bjj. The displacement in the x direction between the video images a and b is equal to half the distance between the center points a^ and a^. Sixteen pixels with data corresponding to sixteen center points bj-j are sampled and stored. The camera 5 is again moved to sample a third video image c shown by dashed line in fig. 2a. The video image c is shifted from the original video image a in the y direction by half the distance between the center points a^ and & 21' The sixteen picture elements corresponding to sixteen center points cj-j are then sampled and stored. The camera 5 is then displaced from the location corresponding to the video image c in the x-direction, by a distance corresponding to half of the pixel spacing to sense a fourth video image d shown in Fig. 2a, with dashed-dotted line. The sixteen picture elements corresponding to sixteen center points djj of the video image d are then sampled and stored.

En sammensetning av lagret data fra videobildene a, b, c og d blir så dannet ved reorganisering av data i den orden vist på A composition of stored data from the video images a, b, c and d is then formed by reorganizing the data in the order shown in

fig. 2b. Fig. 2b viser nærmere bestemt data som korrespon- fig. 2b. Fig. 2b shows more specific data that correspond

derer med bildeelementsenderpunktene a^, b-^, og d-j^ i et multippelregistrert eller sammensatt videobilde angitt med stiplet linje på fig. 2b. Hver av punktene a^j, b^i, c^^, og d^i er nå senteret for et korresponderende delbildeelement vist med stiplet linje på fig. 2b. Antall delbildeelementer i den resulterende sammensatte mosaikken, er lik kvadratet av samplingsforbedringen ganger antall bildeelementer ved ethvert av de opprinnelige videobildene (i vårt eksempel 2<2> x 16 = 64 delbildeelementer). Delbildeelementene med stiplet linje på fig. 2b er mindre enn bildeelementene med heltruk- ders with picture element endpoints a^, b-^, and d-j^ in a multiple registered or composite video image indicated by dashed line in fig. 2b. Each of the points a^j, b^i, c^^, and d^i is now the center of a corresponding partial image element shown with a dashed line in fig. 2b. The number of subframes in the resulting composite mosaic is equal to the square of the sampling enhancement times the number of subframes at any of the original video frames (in our example 2<2> x 16 = 64 subframes). The partial image elements with dashed lines in fig. 2b is smaller than the pixels with solid

ket linje med en faktor lik 2. ket line with a factor equal to 2.

Som en generell regel kan sies at ved en multippelregistre- As a general rule, it can be said that in the case of a multiple register

ring av n videobilder, blir videobildene forskjøvet fra et annet med en del (l/n)<!>/^ med bildeelementmellomrom. Mens fig. 2b viser en multippelbilderegistrering av fire videobilder ved hvilke bildeelementstørrelsen er redusert med en faktor lik 2, kan således andre reduksjonsfaktorer bli tilveiebrakt ved multippelbilderegistrering. ring of n video frames, the video frames are shifted from one another by a fraction (l/n)<!>/^ of pixel spacing. While fig. 2b shows a multiple image registration of four video images in which the image element size is reduced by a factor equal to 2, thus other reduction factors can be provided by multiple image registration.

Selv om kornstørrelsen på videodata har blitt redusert ved multippelbilderegistreringen er ikke desto mindre bildet representert av dataen tilslørt i samsvar med punktspredefunksjonen til åpningen gjennom hvilke bildet blir betraktet. Although the grain size of video data has been reduced by the multiple image recording, the image represented by the data is nevertheless obscured according to the point spread function of the aperture through which the image is viewed.

Korrelasjon av den rommessige forskyvningen mellom video- Correlation of the spatial displacement between video-

bilder med reorganisering av lagret videodata kan i praksis bli gjort ved hjelp av et kamera eller en sensor 5 montert på images with reorganization of stored video data can in practice be done using a camera or a sensor 5 mounted on

en styrer 7 som antydet på fig. 2c. Styreren kan være en gyroskopisk stabiliserende plattform for et kamera, hvis gyrofeil kan bli automatisk avfølt og anvendt som video-rammeforskyvning. Plattformen 7 kan være en bildebevegelses-kompensator som anvender gyrostabilisering. Igjen ville gyrofeilen definere forskyvningen mellom påfølgende video- a controller 7 as indicated in fig. 2c. The controller can be a gyroscopic stabilizing platform for a camera, whose gyro error can be automatically sensed and used as video frame shift. The platform 7 can be an image motion compensator that uses gyro stabilization. Again, the gyro error would define the offset between successive video

bilder. En korrelasjonssporer kan også bli anvendt for å pictures. A correlation tracker can also be used to

spore den virkelige forskyvningen på grunn av kameraskjelving track the real displacement due to camera shake

mellom videobildene. Data fra korrelasjonssporeren vil definere forskyvningen mellom påfølgende videobilder. Hver av disse teknikkene er forenlige med eksisterende systemer. between video frames. Data from the correlation tracker will define the offset between successive video frames. Each of these techniques is compatible with existing systems.

Med henvisning til fig. 3 kunne et videobilde 10 syntetisert ved hjelp av multippelbilderegistrering av seksten stan-dardvideobilder på omkring 500 linjer hver, ikke bli helt fremvist på en standardvideoskjerm. I stedet kunne skjermen tilpasses kun en liten del 10' av multippelregistrerte videobilder. Data som er i disse delene 10a, 10c og 10d til videobildet på fig. 3 korresponderer følgelig med unødvendig avsøkningsutførelse av bildedanneren 5 i Y-retningen. Det er foretrukket ved oppfinnelsen å begrense avsøkning av bildedanneren 5 på fig. 2c i Y-retningen for å dekke kun delen fig. 10 vist på fig. 3 som 10', 10e og 10b. På denne måten kan data som innbefatter et multippelregistrert bilde 10' som er virkelig forskjøvet på en fjernsynsskjerm bli tilveiebrakt ved omkring fire ganger hurtigere enn ellers (for en 4-gangers multippelregistrering). With reference to fig. 3, a video image 10 synthesized by means of multiple image registration of sixteen standard video images of about 500 lines each could not be fully displayed on a standard video screen. Instead, the screen could only fit a small portion 10' of multiple recorded video images. Data that is in these parts 10a, 10c and 10d of the video image of fig. 3 therefore corresponds to unnecessary scanning of the imager 5 in the Y direction. It is preferred in the invention to limit scanning of the image former 5 in fig. 2c in the Y direction to cover only the part fig. 10 shown in fig. 3 as 10', 10e and 10b. In this way, data comprising a multiple registered image 10' which is actually shifted on a television screen can be provided at about four times faster than otherwise (for a 4 times multiple registration).

Med henvisning til fig. 2b skal det bemerkes at hver av punktene ajj , bjj , cj-j , dj-j korresponderer med et videodataord som kan bli lagret i lageret til en datamaskin. Ordet som korresponderer med hver av punktene ajj , bjj , cjj , dj-j kan ta ethvert tall i et område med verdier som korresponderer med en analog verdi for strålingsintensiteten avfølt ved det punktet av kameraet 5. Ved lavt ytelsessystem kan alternativt hvert ord enkelt være en binær verdi (svart eller hvit, på eller av). Det er ved foreliggende oppfinnelse overveid at hvert ord representerer en analog verdi som korresponderer med strålingsintensiteten avfølt av bildedanneren ved korresponderende senterpunkt ajj, bjj, etc. With reference to fig. 2b, it should be noted that each of the points ajj , bjj , cj-j , dj-j corresponds to a video data word that can be stored in the memory of a computer. The word corresponding to each of the points ajj , bjj , cjj , dj-j can take any number in a range of values corresponding to an analog value for the radiation intensity sensed at that point by the camera 5. Alternatively, in a low performance system, each word can simply be a binary value (black or white, on or off). In the present invention, it is contemplated that each word represents an analog value that corresponds to the radiation intensity sensed by the imager at the corresponding center point ajj, bjj, etc.

Det kan være at det ikke er mulig å anvende multippelbilderegistrering for å generere delbildeelementvideodata. Dette kan f.eks. forekomme når gjenstander som skal bli betraktet i scenen beveger seg for hurtig i sammenligning med graden ved hvilken påfølgende videobilder blir generert som er utilstrekkelig korrelasjon for hurtig bevegende gjenstander mellom påfølgende videobilder. Ved denne spesielle situasjonen kan bildeinterpolering og zoom bli anvendt for å generere delbildeelementer i stedet for multippelbilderegistrering. It may not be possible to apply multiple frame registration to generate frame element video data. This can e.g. occur when objects to be viewed in the scene move too fast in comparison to the rate at which successive video frames are generated which is insufficient correlation for fast moving objects between successive video frames. In this particular situation, image interpolation and zooming can be used to generate partial image elements instead of multiple image registration.

Med henvisning til fig. 4 blir et delbildeelement med videodata generert fra et enkelt videobilde. Eksempeldelen av videobildet a på fig. 4 innbefatter flere lagrede ord med videodata ved hvilke kun ordene som korresponderer med bildeelementsenterpunktene a^, & 21 °S a32 representere en ikke-riull intensitet, som korresponderer med det skyggelagte området på videobildet a på fig. 4. With reference to fig. 4, a subframe element with video data is generated from a single video frame. The example part of the video image a in fig. 4 includes several stored words of video data in which only the words corresponding to the picture element center points a^, & 21 °S a32 represent a non-real intensity, which corresponds to the shaded area of the video image a of FIG. 4.

Bildeinterpolasjon blir tilveiebrakt ved å beregne verdien for et punkt lokalisert mellom bildeelementene. Bildedataen blir interpolert mellom bildeelementene for å tilveiebringe en lineær overgang mellom tre punkter &\ 2> a21 °S a32 som vist på fig. 4 med en kraftigere heltrukken linje. Det resulterende interpolerte bildet er vist skravert på fig. 4. Det nye interpolerte bildet som korresponderer med det skraverte området inneholder mer informasjon enn det gamle bildet som korresponderer med det skyggelagte området. Image interpolation is provided by calculating the value of a point located between the image elements. The image data is interpolated between the picture elements to provide a linear transition between three points &\ 2> a21 °S a32 as shown in fig. 4 with a stronger solid line. The resulting interpolated image is shown shaded in fig. 4. The new interpolated image corresponding to the shaded area contains more information than the old image corresponding to the shaded area.

Interpolasjon av analoge lntensitetsverdier blant delbildeelementer i det skyggelagte området blir gjort i samsvar med følgende ligninger som definerer intensitets-verdien for et dataord som representerer delbildeelementet a'ij<: ><a>'ij <a>ij dersom a-^-j er senterpunktet for et sampelbildeelement i det opprinnelige videobildet a. Interpolation of analog intensity values among sub-image elements in the shaded area is done in accordance with the following equations which define the intensity value for a data word representing the sub-image element a'ij<: ><a>'ij <a>ij if a-^-j is the center point of a sample image element in the original video image a.

Ellers gjelder: Otherwise applies:

a'ij - en lineær interpolasjon mellom analogverdier for tilliggende aj-j fra det opprinnelige videobildet a. a'ij - a linear interpolation between analog values for adjacent aj-j from the original video image a.

Data fra samplede videobilder kan oppdatere vurderingen fra tidligere interpolerte delbildeelementer dersom kombinert med en egnet vektfaktor. Ovenfor nevnte bildeinterpolasjon og zoomteknikk er velkjent og er beskrevet i forskjellige publikasjoner innbefattende f.eks. Pratt, "Digital Image Processing", Wiley & Sons, New York, side 110-116. Bildeinterpolasjon og zoomteknikk vil derfor ikke bli beskrevet nærmere her. Data from sampled video images can update the assessment from previously interpolated partial image elements if combined with a suitable weighting factor. The above-mentioned image interpolation and zoom technique is well known and is described in various publications including e.g. Pratt, "Digital Image Processing", Wiley & Sons, New York, pp. 110-116. Image interpolation and zoom techniques will therefore not be described in more detail here.

Kort sagt, ved bruk av enten multippelbilderegistrering eller bildeinterpolasjon og zoom, kan et videobilde som Innbefatter flere fine delbildeelementer bli konstruert ut fra flere videobilder som innbefatter flere normaldimensjo-nerte bildeelementer. Et stort antall med små detektorer kan også bli anvendt for å forbedre samplingstettheten. Informasjonen inneholdt i videobildet sammensatt av delbildeelementet er imidlertid fremdeles tilsløret i samsvar med diffraksjonsspredefunksjonen til åpningen gjennom hvilke bildet blir betraktet. Oppgaven med å fjerne tilsløringen i det minste delvis fra bildet og rekonstruere et ikke-tilslørt bilde fra informasjonen inneholdt i de høyt samplede videobildedelelementene er følgelig fremdeles tilstede. In short, using either multiple image registration or image interpolation and zoom, a video image that includes several fine partial image elements can be constructed from several video images that include several normal-sized image elements. A large number of small detectors can also be used to improve the sampling density. However, the information contained in the video image composed of the sub-picture element is still obscured in accordance with the diffraction spread function of the aperture through which the image is viewed. Accordingly, the task of removing the obscuration at least partially from the image and reconstructing an unobscured image from the information contained in the highly sampled video image sub-elements is still present.

Oppløsningen av et delbildeelementmultippelregistrert eller interpolert bilde kan bli øket ved anvendelse av degrade-ringsanslagsprosessen vist på fig. 5a. The resolution of a subframe multiplexed or interpolated image can be increased using the degradation estimation process shown in FIG. 5a.

Fig. 5a viser intensiteten som en funksjon av posisjonen langs x-aksene til et opprinnelig bilde (heltrukket linje) som har en skarp kant og et tilslørt bilde (stiplet linje) forvrengt fra det opprinnelige bildet ved punktspredefunksjonen til åpningen i kameraet 5. Det tilslørte bildet på fig. 5a kan bli retilslørt ved å konvolvere det med punktspredefunksjonen til kameraets 5 åpning. Et eksempel på denne konvolveringen er vist med prikket linje på fig. 5a og representerer det to ganger tilslørte bildet. Et estimat av degraderingen på grunn av åpningspunktspredefunksjonen kan bli tilveiebrakt ved å subtrahere det to ganger tilslørte bildet (prikket linje) fra det tilslørte bildet (stiplet linje) på fig. 5a. Resultatet av denne subtraheringen er vist på fig. 5b, som representerer degraderingsestimatet på grunn av den andre tilsløringen. Siden punktspredefunksjonen til åpningen i kameraet 5 alltid er den samme kan degraderingen på grunn av den andre tilsløringen på fig. 5b bli anvendt som et estimat av degraderingen på grunn av den første tilslørin-gen mellom det opprinnelige bildet på fig. 5a (heltrukken linje) og det tilslørte bildet (stiplet linje). Et estimat av det opprinnelige bildet kan følgelig bli tilveiebrakt fra det tilslørte bildet ved å tillegge degraderingsestimatet på fig. 5b til det tilslørte bildet (stiplet linje) på fig. 5a. Deres sum er vist med heltrukket linje på fig. 5c. Det vises til den økede hjørneoppløsningen eller skarpheten i det heltrukne linjebildet på fig. 5c. Fig. 5a shows the intensity as a function of the position along the x-axes of an original image (solid line) that has a sharp edge and an obscured image (dashed line) distorted from the original image by the point spread function of the aperture in the camera 5. The obscured the image in fig. 5a can be re-blurred by convolving it with the point spread function of the camera's 5 aperture. An example of this convolution is shown with a dotted line in fig. 5a and represents the twice obscured image. An estimate of the degradation due to the aperture point spread function can be provided by subtracting the twice obscured image (dotted line) from the obscured image (dashed line) in Fig. 5a. The result of this subtraction is shown in fig. 5b, which represents the degradation estimate due to the second obfuscation. Since the point spread function of the opening in the camera 5 is always the same, the degradation due to the second obscuration in fig. 5b be used as an estimate of the degradation due to the first blurring between the original image in fig. 5a (solid line) and the obscured image (dashed line). An estimate of the original image can thus be provided from the obfuscated image by adding the degradation estimate of Fig. 5b to the obscured image (dashed line) of fig. 5a. Their sum is shown with a solid line in fig. 5c. Reference is made to the increased corner resolution or sharpness in the solid line image in fig. 5c.

Systemet vist på fig. 6 utnytter ovenfor nevnte andre tilsløringsestimatteknikk og innbefatter et kamera- eller videobildedanner 5 som mottar et opprinnelig bilde gjennom dets åpning. Punktspredefunksjonen til åpningen danner en tilsløring slik at det opprinnelige bildet blir overført inn I et tilslørt bilde sendt fra videobildedanneren 5 inn i multippelbilderegistreringen 15. I samsvar med beskrivelsen gitt tidligere i forbindelse med fig. 2a og 2b bevirker multippelbilderegistreringen 15 et tilslørt delbildeelement-bilde akkumulert I lageret 17. Lageret 17 lagrer en matrise med videodataord IXy som kunne gjenta et endelig samplet videobilde som innbefatter en mosaikk av flere multippelregistrerte videobilder generert av bildedanneren 5. Hvert videodataord IXy blir ført inn i en konvolverer 40. Matrisen 42 med dataord Pxv definerer punktspredefunksjonen for kameraets 5 åpning. Konvolvereren 40 konvolverer tilslørt bildedata IXy med punktspredefunksjonsmatrisen PXy for å generere et.to ganger tilslørt bilde definert av videodataord 1'ij i samsvar med følgende konvolvering: The system shown in fig. 6 utilizes the above-mentioned second obscuration estimation technique and includes a camera or video imager 5 that receives an original image through its aperture. The point spread function of the aperture forms a masking so that the original image is transferred into a masked image sent from the video imager 5 into the multiple image recording 15. In accordance with the description given earlier in connection with fig. 2a and 2b, the multiple image recording 15 produces a masked sub-picture element image accumulated in the storage 17. The storage 17 stores a matrix of video data words IXy which could repeat a final sampled video image comprising a mosaic of several multiple registered video images generated by the imager 5. Each video data word IXy is entered in a convolver 40. The matrix 42 with data words Pxv defines the point spread function for the camera's 5 aperture. The convolver 40 convolves obscured image data IXy with the point spread function matrix PXy to generate a twice obscured image defined by video data word 1'ij according to the following convolution:

Degraderingsestimatet på grunn av åpningstilsløringen blir tilveiebrakt ved subtrahereren 44 ved å subtrahere to ganger tilslørt bildedata I'ij fra opprinnelig en gang tilslørt bildedata Ijj i samsvar med følgende ligning: The degradation estimate due to the aperture obscuration is provided at the subtractor 44 by subtracting twice obfuscated image data I'ij from original once obfuscated image data Ijj according to the following equation:

Addereren 46 adderer deretter degraderingsestimatet Dj-j til opprinnelig ikke-tllslørt bildedata Ij-j for å tilveiebringe estimatet til opprinnelig ikke-tilslørte bilde i samsvar med følgende ligning: The adder 46 then adds the degradation estimate Dj-j to the original unblurred image data Ij-j to provide the original unblurred image estimate according to the following equation:

Konvolvereren 40 konvolverer tilslørt bildedata Ixy med en impuls pluss den negative punktspredefunksjonsmatrisen Pxv for å generere forskjellen mellom et to ganger tilslørt bilde definert av videodataordene I'ij°g det en gang tilslørte bildet og summerer det med det en gang tilslørte bildet. Konfigurasjonen av fig. 6 er veiledende. I praksis er den foretrukne metoden å anvende en konvoiveringsmaske som utfører en konvolveringsprosess ekvivalent med den utført av kombinasjonen til konvolveren 40, subtrahereren 44 og addereren 46. Denne konvolveringsmasken er vist på fig. 7. Denne masken innbefatter det negative av sensordegraderingen og en positiv pulsfunksjon på sentralbildeelementet til vekten 2, Idet aggregatvekten til hele masken er ekvivalent med 1. Sammenfattet kan en formel bli gitt for hvert videodataord I"ij i i<te> rad og j<*e> spalte i matrisen med videodataord som representerer estimatet for det opprinnelig ikke-tilslørte bildet, som lyder som følgende: The convolver 40 convolves obscured image data Ixy with an impulse plus the negative point spread function matrix Pxv to generate the difference between a twice obscured image defined by the video data words I'ij°g the once obscured image and sums it with the once obscured image. The configuration of fig. 6 is indicative. In practice, the preferred method is to use a convolution mask which performs a convolution process equivalent to that performed by the combination of convolver 40, subtracter 44 and adder 46. This convolution mask is shown in FIG. 7. This mask includes the negative of the sensor degradation and a positive pulse function on the central picture element of weight 2, where the aggregate weight of the entire mask is equivalent to 1. In summary, a formula can be given for each video data word I"ij in i<th> row and j<* e> column in the matrix of video data words representing the estimate of the original unobscured image, which reads as follows:

Matrisen med videodata som Innbefatter dataordene I"ij korresponderer med bildet som har dets oppløsning øket i samsvar med prosessen vist på fig. 5a, b og c. Det skal bemerkes at hjørnedefinisjonen til det opprinnelige bildet på fig. 5a ikke er fullstendig gjenopprettet i det økede bildet på fig. 5c (heltrukken linje), som korresponderer med syntetiserte videodataord I"ij. Det er imidlertid klart at oppløsningen eller hjørnedefinisjonen er sterkt øket i sammenligning med det tilslørte bildet på fig. 5a (stiplet linje). The matrix of video data including the data words I"ij corresponds to the image that has its resolution increased in accordance with the process shown in Fig. 5a, b and c. It should be noted that the corner definition of the original image in Fig. 5a is not completely restored in the enlarged image in Fig. 5c (solid line), which corresponds to synthesized video data words I"ij. However, it is clear that the resolution or corner definition is greatly increased in comparison with the obscured image of FIG. 5a (dashed line).

Claims (6)

1. Bildesystem for å øke bildeoppløsning innbefattende en bildedanner som kan betrakte en scene gjennom en åpning kjennetegnet ved hjelp av en punktspredefunksjon og en Innretning som reagerer på bildedanneren for å generere suksessive bilder med videodataord kjennetegnet av en første samplingsgrad, karakterisert ved at det innbefatter: en innretning for å omforme videodataordene til et syntetisert videobilde med videodataord, idet det syntetiserte videobildet er kjennetegnet av en andre høy samplingsgrad, en innretning for å øke oppløsningen av bildet representert av det syntetiserte videobildet, som Innbefatter en innretning for å konvolvere de syntetiserte videodataordene med punktspredefunksjonen for å generere et videodata-bilde som korresponderer med et to ganger tilslørt bilde, en innretning for å subtrahere det to ganger tilslørte bildevideodåtaordet fra et korresponderende ett av de syntetiserte videodataordene for å tilveiebringe et videodataord som korresponderer med et degraderingsestimat, og en innretning for å addere degraderingsestimatvideodata-ordet og korresponderende med de syntetiserte videodataordene for å tilveiebringe et øket bildevideodataord.1. Imaging system for increasing image resolution comprising an imager capable of viewing a scene through an aperture characterized by a point spread function and a device responsive to the imager to generate successive images of video data words characterized by a first sampling rate, characterized in that it includes: a device for transforming the video data words into a synthesized video image with video data words, the synthesized video image being characterized by a second high sampling rate, a means for increasing the resolution of the image represented by the synthesized video image, which includes a means for convolving the synthesized video data words with the point spread function for generating a video data image corresponding to a doubly obscured image, means for subtracting the doubly obscured image video data word from a corresponding one of the synthesized video data words to provide a video data word corresponding to a gradient ring estimate, and means for adding the degradation estimate video data word and corresponding to the synthesized video data words to provide an increased picture video data word. 2. System ifølge krav 1, karakterisert ved at innretningen for konvertering til et syntetisert videobilde innbefatter en multippelbilderegistreringsinnretning for å danne en mosaikk av fremviste påfølgende videobilder generert av bildedanneren.2. System according to claim 1, characterized in that the device for converting to a synthesized video image includes a multiple image registration device to form a mosaic of displayed successive video images generated by the image generator. 3. System Ifølge krav 1, karakterisert ved at innretningen for å konvertere til et syntetisert videobilde innbefatter en innretning for å utføre bildeinterpolering i et enkelt av påfølgende videobilder.3. System According to claim 1, characterized in that the device for converting to a synthesized video image includes a device for performing image interpolation in a single one of subsequent video images. 4. System ifølge krav 1, karakterisert ved at det innbefatter en rekke av detektorer som har en detektor-til-detektor samplingsgrad større enn Nyquist graden.4. System according to claim 1, characterized in that it includes a number of detectors which have a detector-to-detector sampling rate greater than the Nyquist rate. 5. System ifølge krav 1, karakterisert ved at økningsinnretningen utfører konvolveringen, subtraheringen og adderingen ved anvendelse av en enkel konvolveringsmaske.5. System according to claim 1, characterized in that the increasing device performs the convolution, subtraction and addition using a simple convolution mask. 6. Fremgangsmåte til å øke bildeoppløsningen i et bildesystem innbefattende en bildedanner som betrakter en scene gjennom et system som har en begrenset åpning kjennetegnet ved en punktspredefunksjon, karakterisert ved at fremgangsmåten innbefatter: økning av samplingstettheten til et tilslørt bilde for å frembringe et høyt samplet tilslørt bilde, konvolvering av det høyt samplede tilslørte bildet med punktspredefunksjonen for å generere et to ganger tilslørt bilde, subtrahering av det to ganger tilslørte bildet fra det høyt samplede tilslørte bildet for å tilveiebringe et degraderingsestimat, og addering av degraderingsestimatet til det sterkt samplede tilslørte bildet.6. Method of increasing image resolution in an imaging system including an imager viewing a scene through a system having a limited aperture characterized by a point spread function, characterized in that the method includes: increasing the sampling density of an obscured image to produce a highly sampled obscured image, convolve the highly sampled obscured image with the point spread function to generate a twice obscured image, subtract the twice obscured image from the highly sampled obscured image to provide a degradation estimate, and add the degradation estimate to the heavily sampled obscured image.
NO843834A 1983-01-27 1984-09-25 ZOOM SOLUTION INCREASE BY DEGRADATION PROJECTS. NO164068C (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US06/461,354 US4517599A (en) 1983-01-27 1983-01-27 Resolution enhancement and zoom by degradation estimates
PCT/US1984/000116 WO1984002989A2 (en) 1983-01-27 1984-01-25 Resolution enhancement and zoom by degradation estimates

Publications (3)

Publication Number Publication Date
NO843834L NO843834L (en) 1984-09-25
NO164068B true NO164068B (en) 1990-05-14
NO164068C NO164068C (en) 1990-08-22

Family

ID=26770053

Family Applications (1)

Application Number Title Priority Date Filing Date
NO843834A NO164068C (en) 1983-01-27 1984-09-25 ZOOM SOLUTION INCREASE BY DEGRADATION PROJECTS.

Country Status (1)

Country Link
NO (1) NO164068C (en)

Also Published As

Publication number Publication date
NO843834L (en) 1984-09-25
NO164068C (en) 1990-08-22

Similar Documents

Publication Publication Date Title
KR920003047B1 (en) Resolution enhancement and zoom
US4517599A (en) Resolution enhancement and zoom by degradation estimates
US7760965B2 (en) Extended range image processing for electro-optical systems
US4991020A (en) Imaging system for providing separate simultaneous real time images from a singel image sensor
JP3103897B2 (en) Camera shake correction device and camera shake correction method
US20100259607A1 (en) Methods and apparatus for imaging
WO2021093635A1 (en) Image processing method and apparatus, electronic device, and computer readable storage medium
US10116851B2 (en) Optimized video denoising for heterogeneous multisensor system
US5666160A (en) Digital zooming system of high resolution and method therefor
JP3342588B2 (en) Blurry video line correction method and camera imager
Delbracio et al. Non-parametric sub-pixel local point spread function estimation
US5023719A (en) Imaging system for providing multiple simultaneous real time images
WO2013124664A1 (en) A method and apparatus for imaging through a time-varying inhomogeneous medium
CN110930440B (en) Image alignment method, device, storage medium and electronic equipment
Schuler et al. Increasing spatial resolution through temporal super-sampling of digital video
NO164068B (en) ZOOM SOLUTION INCREASE BY DEGRADATION PROJECTS.
US11974042B2 (en) Signal processing device and signal processing method
GB2249897A (en) Multiple simultaneous real-time imaging with selected magnified portions
Schuler et al. TARID-based image super-resolution
US20230319429A1 (en) Object distance estimation with camera lens focus calibration
NO167243B (en) IMAGE SYSTEM AND IMAGE SOLUTION INCREASE PROCEDURE IN A IMAGE SYSTEM.
Arrasmith et al. Novel wavelength diversity technique for high-speed atmospheric turbulence compensation
Baxley Multiple frame image restoration techniques that employ color constraints and incorporate image distortions
Kim et al. Fisheye lens calibration using shifted lattice pattern and correction of barrel distortion using spatially adaptive interpolation
Pinson et al. IMAGE ENHANCEMENT FOR MAN-TN-THE-LPOP TARGET ACQUISITION SYSTEMS