NO131143B

NO131143B -

Info

Publication number: NO131143B
Application number: NO51271A
Authority: NO
Inventors: S Sw Ahlbom; S Sw Hansson
Original assignee: Saab Scania Ab
Priority date: 1970-02-11
Filing date: 1971-02-11
Publication date: 1974-12-30
Also published as: CA964368A; GB1336451A; NO131143C; SE351302B; FR2093416A5; DE2106035C3; CH535436A; NL7101836A; DE2106035A1; DE2106035B2

Description

Anordning for korrekt innretning av en sensor mot en fjern gjenstand. Device for correct alignment of a sensor against a distant object.

Den foreliggende oppfinnelse vedrorer en anordning for korrekt innretning av en sensor, f.eks. et TV-kamera eller annen billedsensor som et IR- eller radarutstyr , mot en fjern gjenstand, hvor sensoren sender informasjon til en mottaker hvor informasjonen i prinsippet bor kunne gjengis som et bilde, og billedsignalet omformes til digital form i en A/D-omformer - enklest 1-bits - som er tilkoblet en billedutsnittsenhet, hvor et visst vindusutsnitt av hele bildet tilveiebringes og en til billedutsnittsenheten koblet forste hukommelse, hvor alle aktuelle billedpunkter i dette billedutsnitt deretter lagres, hvilken hukommelse i sin tur er tilkoblet en korrelasjonsenhet. The present invention relates to a device for correct alignment of a sensor, e.g. a TV camera or other image sensor such as IR or radar equipment, towards a distant object, where the sensor sends information to a receiver where the information can in principle be reproduced as an image, and the image signal is transformed into digital form in an A/D converter - simplest 1-bit - which is connected to an image section unit, where a certain window section of the entire image is provided and a first memory connected to the image section unit, where all relevant image points in this image section are then stored, which memory is in turn connected to a correlation unit.

Ved innmåling av f.eks. et fly ved landing, styring av et robot-prosjektil eller ved et vinkelmålingsinstrument for.prosess-reguleringssystemer og liknende, er det av en viss interesse å kunne anvende en objektfolger med elektro-optisk (E-0) sensor som gir et lopende signal der representerer en kontrasts stilling i forhold til et fast punkt. Hensikten er at en folger av denne type skal "kunne låses til og folge en viss synlig del av f.eks. en gjenstand på marken, et fly i luften eller et fartoy. Folgeren kan betraktes som et slags vinkelmålingsinstrument, som måler avvikelsen mellom f.eks. et TV-kameras optiske akse og en "utpekt", synlig kontrast. Anordningen kan også tenkes å få anvendelse ved billedanalyse og enklere monster-igjenkjenning (pattern recognition). When measuring e.g. an aircraft when landing, controlling a robot projectile or with an angle measuring instrument for process control systems and the like, it is of some interest to be able to use an object follower with an electro-optical (E-0) sensor that gives a running signal where represents a contrast's position in relation to a fixed point. The intention is that a follower of this type should "be able to be locked to and follow a certain visible part of, for example, an object on the ground, an airplane in the air or a vessel. The follower can be considered a kind of angle measuring instrument, which measures the deviation between e.g. .eg a TV camera's optical axis and a "designated", visible contrast. The device can also be used for image analysis and simpler monster recognition (pattern recognition).

Foreliggende oppfinnelse går ut på å tilveiebringe dette på en enkel måte ved å benytte et TV-systems hoye opplosning for automatisk å folge kontraster, som opptar en meget liten del av TV-kameraets billedfelt. Kontraster med bare noen få TV-li_njers_ utstrekning bor kunne folges. Kontrastfolgning, punktfblgning, eller om man vil punktkorrelasjon, skiller seg fra flatekorrela-sjon forst og fremst ved at antall billedelementer i sammen-likningsmonsteret er mindre og ved at punktkorrelasjonen benyt-ter et fast monster, på forhånd vilkårlig valgt for en spesiell oppgave. Punktfolgeren er forst og fremst beregnet på å kobles til et standard ITV-kamerasystem med 625 linjer/25 bilder per sekund, idet man da lett kan tilkoble andre billedfrembringende apparater med samme type av raster til folgeren, f.eks. varme-billedinstrument eller TV-system med andre krav til raskhet, opplosning eller folsomhet. Tilpasning i radarsystem er også tenkelig. Digital teknikk er valgt i forste hånd, selv om ana-log teknikk har sine fordeler og selvsagt like godt kan anvendes. Ved konstruksjon av et ganske stort digitalt system som dette, The present invention aims to provide this in a simple way by using a TV system's high resolution to automatically follow contrasts, which occupy a very small part of the TV camera's image field. Contrasts with only a few TV lines' extent can be followed. Contrast tracking, point tracking, or if you prefer point correlation, differs from surface correlation primarily in that the number of image elements in the comparison sample is smaller and in that the point correlation uses a fixed sample, arbitrarily chosen in advance for a special task. The dot follower is primarily intended to be connected to a standard ITV camera system with 625 lines/25 frames per second, as you can then easily connect other image producing devices with the same type of grid to the follower, e.g. thermal imaging instrument or TV system with other requirements for speed, resolution or sensitivity. Adaptation in a radar system is also conceivable. Digital technology has been chosen in the first place, although analogue technology has its advantages and can of course just as well be used. When constructing a fairly large digital system like this,

kan man la et sentralt programverk styre funksjonssyklene, men man har i stedet valgt å integrere styrefunksjonene med selv-stendig arbeidende koblingsblokker. you can let a central software program control the function cycles, but instead you have chosen to integrate the control functions with self-perpetuating switching blocks.

Det som kjennetegner oppfinnelsen vil fremgå av kravene. What characterizes the invention will appear from the claims.

En utforelsesform av oppfinnelsen skal nå beskrives i forbindelse med tegningene. Fig. 1 er et blokkskjema som viser hovedtrekkene ved folgerehs3 oppbygni ng. •"' Tr-'! An embodiment of the invention will now be described in connection with the drawings. Fig. 1 is a block diagram showing the main features of folgerehs3 construction. •"' Tr-'!

Fig. 2 er et mer detaljert, apparatbundet blokkskjema. Fig. 2 is a more detailed, device-related block diagram.

Fig. 3 er et skjema opplost i komponenter over en for "oppfinnelsen vesentlig blokk. Fig. 4 er et forsok på å fremstillé hvorledes ét bilde "kvantiseres", dvs. fremstilles med bare to trinn på gråskalaen og hvorledes en sammenlikning med et fast monster eller elektrohfsk bilde skjer i prinsipp. ~<<:<>' Fig. 3 is a diagram broken down into components of a block essential to the invention. Fig. 4 is an attempt to show how one image is "quantized", i.e. produced with only two steps on the gray scale and how a comparison with a fixed sample or electrohfic image occurs in principle. ~<<:<>'

Fig. 5 viser et videosignals oppbygning. Fig. 5 shows the structure of a video signal.

Fig. 6 viser et koordinatsystem for et billedutsnitt eller vindu og dettes stilling, og Fig. 7 viser til slutt i prinsipp hvorledes det digitaliserte videosignal sammensettes av signaler fra i dette tilfelle tre forskjellige kvantiseringsnivåer, dvs. de amplitudegrenser for videosignaler som aksepteres for viderebehandling av signalet':'' Fig. 6 shows a coordinate system for an image section or window and its position, and Fig. 7 finally shows in principle how the digitized video signal is composed of signals from, in this case, three different quantization levels, i.e. the amplitude limits for video signals that are accepted for further processing of the signal':''

En billedsensor 1, f.eks. et TV-kamera, IR- eller radarutstyr. overforer et signal til en mottaker 2, f.eks. en TV-monitor, hvor sensorsignalet i prinsippet bor kunne gjengis som et bilde. Billedsignalet går nå videre til en normeringsblokk 3 med en analogdigitalomformer, hvor bildet "kvantiseres" (se fig. 3), dvs. deles opp i omgivelse-objekt med bare to stillinger'-på gråskalaen (svart-hvitt). I og med at objektets utseende kan variere, kan det være hensiktsmessig da å anvende et s åka l-t- -til-passet filter med en generell form. Om hele objektet ikke passer til filteret, kan en delkontrast anvendes. For''-bétiahd'-ling i et digitalt system, må det mottatte arialoge videosignal kodes om og kvantiseres, idet en eller annen vesentlig."del--av informasjonen om objektet tas vare på. 'Det^vanskeligste -tilfelle frembys av et svakt signal frå 'et objekt som akkurat"-'-^ såvidt kan detekteres. Når objektet avtegner seg enten mdrkt eller lyst i forhold til omgivelsene, blir gangen i digitali-seringen å bestemme omgivelsenes luminansnivå og deretter dele opp signalet i omgivelse-objekt, og til slutt kvantisere det således oppdelte signalet. An image sensor 1, e.g. a TV camera, IR or radar equipment. transmits a signal to a receiver 2, e.g. a TV monitor, where the sensor signal can in principle be reproduced as an image. The image signal now goes on to a normalization block 3 with an analog-to-digital converter, where the image is "quantized" (see fig. 3), i.e. divided into surrounding objects with only two positions' on the gray scale (black and white). As the appearance of the object may vary, it may be appropriate to use a suitable filter with a general shape. If the entire object does not fit the filter, a partial contrast can be used. For processing in a digital system, the received arialog video signal must be recoded and quantized, with some significant part of the information about the object being taken care of. The most difficult case is presented by a weak signal from 'an object which can just"-'-^ be detected. When the object stands out as either dark or bright in relation to its surroundings, the step in digitization is to determine the luminance level of the surroundings and then divide the signal into surrounding objects, and finally quantize the thus divided signal.

Anta nå at et lyst objekt defineres av at videosignalet overstiger den ovre kvantiseringsgrense, se fig. 7, og et morkt objekt av at signalet ligger under den nedre kvantiseringsgrense. Hvis sifferet 1 betegner et akseptert objektpunkt, kan det re-presentere enten lyst-, morkt- og lyst og/eller morkt objekt. Now suppose that a bright object is defined by the video signal exceeding the upper quantization limit, see fig. 7, and a dark object because the signal is below the lower quantization limit. If the number 1 denotes an accepted object point, it can represent either light, dark and light and/or dark object.

Avstanden d mellom ovre kvantiseringsnivå og middelnivået resp. nedre kvantiseringsnivå og middelnivået er den samme og bestemmes av det resultat som den fortsatte korrelering gir. Når objektsignalet blir lite, minsker d,og kvantiseringsprosessen blir folsommere og det kvantiserte videosignal samples, dvs. stykkes opp i en serie billedelementer (et pulstog). The distance d between the upper quantization level and the mean level resp. the lower quantization level and the mean level are the same and are determined by the result that the continued correlation gives. When the object signal becomes small, d decreases, and the quantization process becomes more sensitive and the quantized video signal is sampled, i.e. broken up into a series of picture elements (a pulse train).

Samplings-frekvensen horisontalt bor helst være av samme stor-relsesorden som vertikalt, og for et 625-linjers TV-system altså ca. 10 MHz. The sampling frequency horizontally should ideally be of the same order of magnitude as vertically, and for a 625-line TV system, that means approx. 10 MHz.

Når det ikke er hensiktsmessig å anvende hele bildet for folg-ning, må det momentane synsfelt begrenses, hvilket skjer i en enhet 4 som tilveiebringer et billedutsnitt eller vindu på elektronisk vis. Vinduet bor være så stort at objektet ikke rekker å forsvinne mellom to billedvekslinger, men det må heller ikke være så stort at folgeren låser over på noen annen detalj i bildet. Med hensyn til bildets bevegelse og skarphet, bor et apparat med et sokemonster på 3 x 3 billedelementer ha en vin-dusstorrelse på 5 x 5 elementer eller på grunn av andre usikker-heter kanskje noe storre. When it is not appropriate to use the entire image for tracking, the instantaneous field of view must be limited, which occurs in a unit 4 that provides an image section or window electronically. The window must be so large that the object does not have time to disappear between two image changes, but it must also not be so large that the follower locks onto any other detail in the image. With respect to the image's movement and sharpness, a device with a sock monster of 3 x 3 image elements should have a window size of 5 x 5 elements or, due to other uncertainties, perhaps somewhat larger.

Vindusenheten 4 er forbundet med en lagringsanordning. 5, hvor i det minste så mange billedelementer som svarer til vindusmatri-sens hoyde og bredde, kan lagres samtidig. Det digitaliserte bilde skal nå korreleres med et referansemonster (her 3x3 elementer, alle 1-ere), hvilket skjer i en til lagringsanordningen 5 koblet avsoknings- og sammenligningsenhet 6. Objektsignalet er digitalisert til 1-ere og har ukjent form (se fig. The window unit 4 is connected to a storage device. 5, where at least as many image elements as correspond to the height and width of the window matrix can be stored simultaneously. The digitized image must now be correlated with a reference sample (here 3x3 elements, all 1s), which takes place in a scanning and comparison unit 6 connected to the storage device 5. The object signal is digitized into 1s and has an unknown shape (see fig.

4) og det sammenlignes nu suksessivt med 3 x 3-monsteret i alle 4) and it is now successively compared to the 3 x 3 monster in all

tenkelige posisjoner i vinduet. For hver posisjon telles frem hvor mange elementer som stemmer overens med elementene i monsteret. Dette korrelasjonstall kan altså anta verdier fra 0 conceivable positions in the window. For each position, the number of elements that match the elements in the monster is counted. This correlation figure can therefore assume values from 0

til 3x3=9. Den stilling som gir det hoyeste korrelasjonstall betraktes siden som objektposisjon. På denne måte får folgeren samme egenskaper i horisontalretning som i vertikalretning. Det hoyeste korrelasjonstall lagres i en lagringsanordning 7a, og det anvendes siden for tilbakekobling til kvantiser-ingen via en tilkobling 11, til normeringsenheten 3, men en tilbakekobling 12 kan også gå fra billedutsnittsenheten 4. Om f.eks. hoyeste korrelasjonstall overstiger 7, minskes d noe, to 3x3=9. The position that gives the highest correlation figure is then considered the object position. In this way, the follower gets the same properties in the horizontal direction as in the vertical direction. The highest correlation number is stored in a storage device 7a, and the page is used for feedback to the quantization via a connection 11, to the normalization unit 3, but a feedback 12 can also go from the image section unit 4. If, for example, highest correlation figure exceeds 7, d is reduced somewhat,

se fig. 7. Dette gjentas inntil korrelasjonstallet ligger umid-delbart under 7. Derved tilpasses kvantiseringsnivået efter objektsignalet. Tidskohstanten i dette forlop gjores stor, slik at ikke tilfeldige forstyrrelser skal kunne påvirke folgningen. see fig. 7. This is repeated until the correlation number is immediately below 7. Thereby the quantization level is adapted to the object signal. The time constant in this process is made large, so that random disturbances cannot affect the tracking.

Foruten de nu beskrevne lqgikkblokker 3-6 behoves også enheter, In addition to the now described logic blocks 3-6, units are also needed,

som holder rede på vinduets stilling i TV-bildet og objektets stilling i vinduet. Dette skjer i en til avsokningsenheten 6 tilkoblet stillingslagringsanordning 7b som bor ha i det minste med folgeren likeverdig prestasjon (f.eks. at driften er mindre enn objektets bevegelser). Stillingslagringene kan sies å utgjore koordinatsystemets akser. I TV-signalet finnes stillingsangiv-elser ved at hvert bilde gir en billedsynkroniseringspuls og hver linje eh linjesynkroniseringspuls (se fig. 5) som setter i gang lineære bestrykninger i vertikalretning resp. i horisontalretning, og bygger opp bildets linjeraster. Disse pulser skilles ut av videosignalet i en synkroniseringsseparator, hvis utgangssignåler utgjores av pulstog, som er innfaset med folger-systernets interne tidspulsgenerator. which keeps track of the position of the window in the TV picture and the position of the object in the window. This takes place in a position storage device 7b connected to the scanning unit 6, which must have at least equivalent performance to the follower (for example, that the operation is smaller than the object's movements). The position stores can be said to make up the axes of the coordinate system. In the TV signal, there are position indications in that each image gives an image synchronization pulse and each line a line synchronization pulse (see fig. 5) which initiates linear sweeps in the vertical direction resp. in horizontal direction, and builds up the image's line grid. These pulses are separated from the video signal in a synchronization separator, whose output signals are made up of pulse trains, which are phased with the follower sister's internal time pulse generator.

Koordinatsystemet er oppdelt i en uavhengig x- og y-del (se fig. The coordinate system is divided into an independent x- and y-part (see fig.

6) med hver en referanseteller og en posisjonsteller. Betrakt y-delen (x-delen er stort sett identisk). y-referansetelleren frembringer.et pulstog med et fast antall pulser. Disse pulser beveger trinnvis frem y-posisjonstelleren. Et slikt pulstog tilveiebringes for hvert bilde, en puls for hver linje. Antall pulser er noe mindre enn antall linjer i et halvbilde. 6) with each a reference counter and a position counter. Consider the y part (the x part is largely identical). The y-reference counter produces a pulse train with a fixed number of pulses. These pulses stepwise advance the y-position counter. Such a pulse train is provided for each frame, one pulse for each line. The number of pulses is somewhat smaller than the number of lines in a half-image.

Normalt har disse to tellere samme sykluslengde og forskyves altså ikke i forhold til hverandre, y-referansetelleren stilles tilbake til, 0 for hvert bilde og er derved fiksert i forhold til den vertikale bestrykning. Ved momentant å forandre y-posisjonstellerens, sykluslengde, kan man forskyve dens stilling i forhold til referansetelleren. Da vinduets stilling bestemmes av posisjonstellerens. tilstand (nullpassasjen indikeres) forflyttes derved vinduet. Normally, these two counters have the same cycle length and are therefore not shifted in relation to each other, the y-reference counter is reset to 0 for each image and is thereby fixed in relation to the vertical coating. By momentarily changing the cycle length of the y-position counter, one can shift its position in relation to the reference counter. Since the window's position is determined by the position counter. state (the zero passage is indicated) thereby moving the window.

Obj:ektets• stilling i vinduet relateres til et indre koordinatsystem, hvis x-del er nesten identisk med y-delen og hvis koordinatsystem bygges opp av et par tellere; x- og y-vindustellere, som angir hvor i vinduet korrelasjonsmonsteret befinner seg. The position of the object in the window is related to an internal coordinate system, whose x-part is almost identical to the y-part and whose coordinate system is made up of a pair of counters; x and y window counters, indicating where in the window the correlation monster is located.

Parallelt med disse vindustellere arbeider x- og y-vinduslagringsanordningene, som har til oppgave å holde rede på hvor aksepterte korrelasjonsverdier oppnås. Stillingen av monsteret registreres i stillingslagringsanordningen 7b suksessivt så snart "én~korrelasjonsverdi storre enn noen tidligereT i samme avsokning oppnås. Dette utfores i en enhet 8, "Utleser av stilling", se fig. 1. Working in parallel with these window counters are the x and y window storage devices, whose task is to keep track of where accepted correlation values are obtained. The position of the monster is registered in the position storage device 7b successively as soon as "one correlation value greater than any previous T in the same scan is obtained. This is carried out in a unit 8, "Reader of position", see Fig. 1.

Når korrelasjonsmonsteret er blitt sammenlignet med alle stil-linger i vinduet, finnes i vinduslagringsanordningene oppgave om objektets stilling i vinduet. Denne oppgave anvendes for å endre y-posisjonstellerens sykluslengde, slik at midten av vinduet fores til objektets predikterte stilling. Endelig kan det til stillingsutleseren 8 være koblet et organ 9 som setter i gang selve omretningen av sensoren 1 til en ny stilling med den aksepterte kontrastflate midt i bildet. Korrelasjonsenheten 6 kan kompletteres med en enhet 10 som kan frembringe en stillings-avhengig vektsfunksjon, slik at av to referansemonsterstillinger som får samme korrelasjonstall, forst og fremst det som ligger nærmest midten av vinduet velges som "riktig" objekt. Dette kan oppnås ved at korrelasjonstall som angir stillingene nær midten av vinduet, multipliseres med et storre konstant tall enn de ovrige korrelasjonstall. Endelig kan man innfore en blokk 6a hvor andre referansemonstre enn en 3 x 3-kvadrat kan frembringes og kobles inn. When the correlation sample has been compared with all positions in the window, the window storage devices contain a task about the position of the object in the window. This task is used to change the cycle length of the y-position counter, so that the center of the window is brought to the object's predicted position. Finally, a device 9 can be connected to the position reader 8 which initiates the actual reorientation of the sensor 1 to a new position with the accepted contrast surface in the middle of the image. The correlation unit 6 can be supplemented with a unit 10 which can produce a position-dependent weight function, so that of two reference sample positions which get the same correlation number, primarily the one which is closest to the middle of the window is selected as the "correct" object. This can be achieved by multiplying correlation numbers that indicate the positions near the middle of the window by a larger constant number than the other correlation numbers. Finally, a block 6a can be introduced where reference samples other than a 3 x 3 square can be produced and connected.

For å få storre sikkerhet ved korreleringen, kan 3 x 3-korrelatoren utskiftes med en 5 x 5-korrelator. I denne sammenlignes det aktuelle bilde med et fast monster, 5 x 5-elementer, hvilket kan gis helt vilkårlig form, dvs. fordeling av ltere og Oer og kan stilles inn ved hjelp av knapp-sett eller leses inn i et register. To obtain greater certainty in the correlation, the 3 x 3 correlator can be replaced with a 5 x 5 correlator. In this, the image in question is compared with a fixed monster, 5 x 5 elements, which can be given a completely arbitrary shape, i.e. distribution of lters and Oer and can be set using a set of buttons or read into a register.

Det i forbindelse med 3 x 3-korrelatoren beskrevne prinsipp for tilbakekobling for kvantisering virker bare når referansemdnsteret består kun av O-er eller 1-ere. Når referansemdnsteret består av et bilde sammensatt av både O-er og 1-ere, må man ty til en annen fremgangsmåte. The feedback principle for quantization described in connection with the 3 x 3 correlator only works when the reference pattern consists only of O's or 1's. When the reference pattern consists of an image composed of both O's and 1's, one must resort to a different method.

En losning, som bibeholder den for fdlsomheten og monstertilpas-ningen vesentlige tilbakekobling til kvantiseringsnivået, kan fås ved innfdring av minst to nærliggende nivåer. To eller flere versjoner av vinduets billedinformasjon, adskilt ved valg av de forskjellige kvantiseringsnivåer, lagres i de innbyrdes uavhengige lagringsanordninger. Disse bilder avsdkes hver for seg i korrelatoren mot det faste monster. Det kvantiseringsnivå A solution which maintains the feedback to the quantization level, which is essential for the reliability and monster adaptation, can be obtained by introducing at least two neighboring levels. Two or more versions of the window's image information, separated by selection of the different quantization levels, are stored in the mutually independent storage devices. These images are separated separately in the correlator against the fixed monster. The quantization level

som gir den stdrste korrelasjonsverdi, angir i hvilken retning nivåene skal korrigeres for den beste tilpasning. Derved er which gives the largest correlation value, indicates in which direction the levels should be corrected for the best fit. Thereby is

tilbakekoblingskretsen for nivåreguleringen sluttet. the level control feedback circuit closed.

Fig. 2 viser et blokkskjema hvorav apparaturen klarere fremgår. Sensoren eller TV-kameraet 1 gir et signal som bl.a. går til en synkroniseringsseparator 14. Synkroniseringspulsene styrer to telleverk 15, 16 via styrelogikk 17, 18. Hver linjesynkroniseringspuls starter telleren 16 som bestemmer x-koordinaten for vinduets stilling og teller derpå pulser fra en tidsoscil-lator 19 som synkroniseres med linjesynkroniseringspulsene. Når telleverket 16 har rukket å telle billedelementene i en hel linje, gir det en puls til styrelogikken 17 som nullstilles, slik at den igjen kan sette i gang neste linjesynkroniseringspuls. Et stilling-x-telleverk 20 mates med samme tidspulser som telleverket 16 og startes og stoppes samtidig med dette. Stilling-x-telleverket 20 behover imidlertid ikke å være null-stillet samtidig som koordinat-x-telleverket 16. Telleverket 20 folger nemlig ikke med like langt, og dets stilling vil efter hver iinjebestrykning være forskjdvet, la oss si åtte posisjoner, hvilket normalt kompenseres ved at telleverket 20 ved sin nullgjennomgang automatisk forstilles åtte trinn. Ved å forstille det et annet antall trinn enn åtte, kan man forskyve dets nullgjennomgang i tiden ved f.eks. en port 27 som åpnes en kort stund når stilling-x-telleverket 20 har nullgjennomgang, som avfoles av en krets 26 (sammenlign to sluttede parallelle tran-sportbånd som mates frem i samme takt og som hver har en markering som er forskjovet i forhold til markeringen på det annet bånd). Ved nullgjennomgangen starter en stilling-i-vindustelle-anordning 28, hvis posisjoner tilsvarer den vannrette kant av vinduet. Hele-vindus-stillingen bestemmes da av stilling-x-telleverkets 20 nullgjennomgang, som kan reguleres ved signaler via porten 27. Fig. 2 shows a block diagram from which the apparatus can be seen more clearly. The sensor or TV camera 1 gives a signal which, among other things, goes to a synchronization separator 14. The synchronization pulses control two counters 15, 16 via control logic 17, 18. Each line synchronization pulse starts the counter 16 which determines the x-coordinate for the position of the window and then counts pulses from a time oscillator 19 which is synchronized with the line synchronization pulses. When the counter 16 has managed to count the picture elements in a whole line, it gives a pulse to the control logic 17 which is reset, so that it can once again initiate the next line synchronization pulse. A position x counter 20 is fed with the same time pulses as the counter 16 and is started and stopped at the same time. The position-x counter 20 does not, however, need to be set to zero at the same time as the coordinate-x counter 16. The counter 20 does not follow the same distance, and its position will be shifted after each line sweep, let's say eight positions, which is normal is compensated by the fact that the counter 20 is automatically set to eight steps during its zero review. By pretending it has a different number of steps than eight, one can shift its zero crossing in time by e.g. a gate 27 which is opened briefly when the position-x counter 20 is zero-crossed, which is sensed by a circuit 26 (compare two closed parallel conveyor belts which are fed forward at the same rate and each of which has a marking which is offset in relation to the marking on the second band). At the zero crossing, a position-in-window counter device 28 starts, whose positions correspond to the horizontal edge of the window. The whole-window position is then determined by the zero crossing of the position-x counter 20, which can be regulated by signals via port 27.

Tilsvarende y-kretser for vinduets loddrette kant er oppbygget Corresponding y-circuits for the window's vertical edge are constructed

og virker på samme måte, selv om signalet fra tidsoscillatoren 19 nu utgjores av linjesynkroniseringspulsene selv. For at man ikke skal behove å forstille stilling-y-telleverket 21 når linjebestrykningen passerer vinduet, endrer man tidsfrekvensen (4 MHz) når bestrykningen går tilbake slik at stilling-y-telle - verket 21 går "en omdreining" med 4 MHz, idet forstillingen skjer ved den nullgjennomgang som da fås. Signalene fra vindustelle-verkene x og y 28 resp. 30 går til en port 29/ som igjen er kob- and works in the same way, although the signal from the time oscillator 19 is now made up of the line synchronization pulses themselves. So that there is no need to reset the position-y counter 21 when the line coating passes the window, the time frequency (4 MHz) is changed when the coating goes back so that the position-y counter 21 goes "one revolution" with 4 MHz, as the performance takes place at the zero review that is then obtained. The signals from the window counters x and y 28 resp. 30 goes to a port 29/ which in turn is connected

let til en port 31 som da bare vil slippe igjennom billedelemen- led to a port 31 which will then only let the image element through

ter som gjelder vinduet. En middelverdidanner 32 gir et grånivå7ter that applies to the window. An average value generator 32 provides a gray level7

og til dette legges til resp. trekkes fra et terskelnivå d i et par summeringsanordninger 33 og 34 (£a + d resp. £a - d). Resultatet c resp. e sammenlignes derpå med billedsignalet f i enhet- and to this is added resp. is subtracted from a threshold level d in a pair of summing devices 33 and 34 (£a + d or £a - d). The result c or e is then compared with the image signal f in unit-

ene 35, 36, og dette resultat (f>c resp. e-Cf) fores til en ELLER-krets 37. Den nu digitaliserte billedinformasjon går derpå videre til lagringsblokken 5, hvor et par rekker av vindusbilled-elementer bakover i tiden er lagret, og til korrelasjonsenheten 6 som ved en frekvensomkobler 38 kan tidsinnstilles langsommere frem. Dette kan rekapituleres ved å si at kretsene 14-27 om- ene 35, 36, and this result (f>c resp. e-Cf) is fed to an OR circuit 37. The now digitized image information then goes on to the storage block 5, where a couple of rows of window image elements backwards in time are stored , and to the correlation unit 6 which can be timed more slowly by a frequency switch 38. This can be recapitulated by saying that circuits 14-27 about

trent svarer til blokken 4a = generering av vindusstillingsmarker-ing og at 28-31 tilsvarer blokken 4 = billedutsnittet og 32-37 svarer til normeringsenheten 3. trained corresponds to block 4a = generation of window position marking and that 28-31 corresponds to block 4 = the image section and 32-37 corresponds to normalization unit 3.

Det oppnådde korrelasjonstall sammenlignes i en digitalsammen-ligner 39 med innholdet i et register 40, hvor defhittil stor- The obtained correlation figure is compared in a digital comparator 39 with the contents of a register 40, where

ste korrelasjonstall oppbevares" (jfr. lagringsanordningen 7a th correlation number is stored" (cf. the storage device 7a

i fig. 1). Om et storre korrelasjonstall dukker opp, kommer det inn i registeret 40 istedenfor det gamle. Tilbakekoblingen 11 går via en analogintegrator 41 til summeringsanordningene 33 og 34 i normeringsenheten 3. En posisjonstelleanordning 42 teller samtidig som fremtrinning foregår i enheten 6 inngående skifte-register, og den angir i hvert byeblikk for hvilket punkt i vindusmatrisen som korrelasjonen nettopp da beregnes. Signalene fra denne telleanordning går via en port 43 til et posisjonsre-gister 44, og porten 43 åpner hver gang et nytt og storre korrelasjonstall går inn i registeret 40. Posisjonsregisteret 44 som omtrent svarer til stillingslagringsanordningen 7b, vil da inne-holde koordinater x og y for den stilling som gir den beste korrelasjon i vindusmatrisen. Via en omkobler 45 går så tilbake-føringen 13 til portene 23 og 27 som styrer vinduets stilling, slik at beste korrelasjon fås i midten av vinduet (jfr. blokken 9 i fig. 1). For markering av vinduets stilling i TV-bildet, legges vindus- og billedsignal sammen i en summeringsanordning 46, hvorved et morkegrått vindu sees i monitoren 2. in fig. 1). If a larger correlation figure appears, it enters register 40 instead of the old one. The feedback 11 goes via an analog integrator 41 to the summing devices 33 and 34 in the normalization unit 3. A position counter device 42 counts at the same time as advancement takes place in the unit 6 input shift register, and it indicates at each time instant for which point in the window matrix the correlation is precisely then calculated. The signals from this counting device go via a port 43 to a position register 44, and the port 43 opens every time a new and larger correlation number enters the register 40. The position register 44, which roughly corresponds to the position storage device 7b, will then contain coordinates x and y for the position that gives the best correlation in the window matrix. Via a switch 45, the feedback 13 then goes to the ports 23 and 27 which control the position of the window, so that the best correlation is obtained in the middle of the window (cf. block 9 in Fig. 1). To mark the position of the window in the TV picture, the window and image signal are added together in a summation device 46, whereby a dark gray window is seen in the monitor 2.

Fig. 3a viser en korrelator 6 med 3x3 elementer i nærbilde. Fig. 3a shows a correlator 6 with 3x3 elements in close-up.

6 st 5 bit skifteregistre 48a-f. er koblet i serie, hvorved utgangene fra registrene 48b, d og f er koblet til 3 st 1 bit hel-adderere 49a-c, hvorfra resultatet går til en 2 bit 50 resp. en 4 bit hel-adderer 51. Fig. 3b viser en korrelator med 5x5 elementer, og den er oppbygget av 10 st seriekoblede 5 bit skifteregistre 53, 54, hvorav utgangene fra elementene 54a-e er koblet til 7 st 1 bit hel-adderere 55a-g, hvis utganger i sin tur er koblet til 3 st 2 bit hel-adderere 56a-c og videre til to og derpå en 4 bit hel-adderer 57, 58 resp. De fem utganger fra 4 bit hel-addereren 58 går til en sammenlignings- og lagringsen-het (hoyre del av fig. 3a), hvis inngang har et antall inverterere 5 2 og hvor det nye korrelasjonstall, f.eks. 71 = 001112 (i bi-nær form) sammenlignes med det gamle lagrede tall 4 = 001002 med begynnelsen fra mest signifikante bit, hvorved i trinnvis sammenligning utslag skjer i fjerde posisjon ovenifra regnet, hvorved resultatet, signalet p efter porten 63, viser at det nye tall 7 skal erstatte det gamle 4 i lagringselementené 60a-e. p angir også at det nye tall skal leses inn i stillingslagringsanordningen 7b. Et antall lagringselementer (elektroniske bi-stabile vipper) 60a-e med OG-porter på inngangen har utganger som forer til et antall (4 st) inverterte OG-elementer 61a - d, hvis resultat summeres på ny i OG-elementene 62a - e og endelig i OG-elementet 63, hvor det storste korrelasjonstall som ga den beste tilpasning mellom vindusbildet og 3 x 3 resp. 5x5 monsteret, kan uttas og fores til stillingslagringsanordningen 7a. 6 pc 5 bit shift registers 48a-f. are connected in series, whereby the outputs from the registers 48b, d and f are connected to 3 st 1 bit full adders 49a-c, from which the result goes to a 2 bit 50 resp. a 4-bit full-adder 51. Fig. 3b shows a correlator with 5x5 elements, and it is made up of 10 series-connected 5-bit shift registers 53, 54, of which the outputs from the elements 54a-e are connected to 7 1-bit full-adders 55a-g, whose outputs are in turn connected to three 2-bit full-adders 56a-c and further to two and then a 4-bit full-adder 57, 58 resp. The five outputs from the 4 bit full adder 58 go to a comparison and storage unit (right part of fig. 3a), whose input has a number of inverters 5 2 and where the new correlation number, e.g. 71 = 001112 (in bi-near form) is compared with the old stored number 4 = 001002 starting from the most significant bit, whereby in a step-by-step comparison result occurs in the fourth position from the top of the count, whereby the result, the signal p after gate 63, shows that the new number 7 must replace the old 4 in storage elements 60a-e. p also indicates that the new number is to be read into the position storage device 7b. A number of storage elements (electronic bi-stable flip-flops) 60a-e with AND gates on the input have outputs which leads to a number (4 pcs) of inverted OG elements 61a - d, the result of which is summed up again in the OG elements 62a - e and finally in the OG element 63, where the largest correlation number that gave the best fit between the window image and 3 x 3 or 5x5 monster, can be taken out and fed to the position storage device 7a.

For å kunne gjore en mer avansert sammenlikning med en vilkår- In order to be able to make a more advanced comparison with a condition-

lig struktur eller formasjon av de 5 x 5 billedelementer, som dessuten kan være av forskjellig slag, kan registrene 54a - e kompletteres med spesielle lagringsanordninger i form av 5 bit skifteregistre 64a - e (fig. 3c), idet utgangene fra alle registre 54a - e, 64a - e er sammenkoblet til inngangene for et antall inverterte eksklusive-OR-elementer 65a - e. Referansemonsteret kan nå leses inn som et digitalisert bilde bestående av 5 x 5 elementer med hvilket en sammenlikning kan gjores. similar structure or formation of the 5 x 5 image elements, which can also be of different types, the registers 54a - e can be supplemented with special storage devices in the form of 5-bit shift registers 64a - e (Fig. 3c), since the outputs from all registers 54a - e, 64a - e are connected to the inputs of a number of inverted exclusive-OR elements 65a - e. The reference sample can now be read in as a digitized image consisting of 5 x 5 elements with which a comparison can be made.

Komponentene er vist helt skjematisk i fig. 3, da noen enhetlig terminologi ikke finnes for nærværende. Videre er av plasshen- The components are shown schematically in fig. 3, as no uniform terminology currently exists. Furthermore, of place-

syn beskrivelsen gjort temmelig summarisk, og en hel rekke mindre endringer er tenkelige, som f.eks. at tidsforskyvningene mellom de forskjellige grenledninger kan kreve at en lagringsanordning for tilfeldig lagring av tall kan måtte tilkobles på hensiktsmessige steder i adderer-kjeden for innfasning til tidspulsene. view the description rather summarily, and a whole series of minor changes are conceivable, such as e.g. that the time shifts between the different branch lines may require that a storage device for random storage of numbers may have to be connected at appropriate places in the adder chain for phasing to the time pulses.

Claims

1. Device for correct alignment of a sensor (1), e.g. a TV camera or other image sensor such as IR or radar equipment, towards a distant object, where the sensor sends information to a receiver (2) where the information should in principle be reproduced as an image, and the image signal is transformed into digital form in an A/ D-converter (3) simplest 1-bit - which is connected to an image section unit (4), where a certain window section of the entire image is provided and a first memory (5) connected to the image section unit (4), where all relevant image points in this image section then is stored, which memory is in turn connected to a correlation unit (6), characterized in that a comparison and scanning of the image signal is provided in the correlation unit, image point by image point with a fixed reference sample that is smaller than the image section itself, by making several comparisons equations with the reference sample, so that a correlation figure is obtained for each position in the window, and for each such correlation figure or measure of agreement difference between the reference sample and the corresponding image signal, which turns out to be greater than the number previously stored during the scanning cycle, this new correlation number is transferred to a second number memory (7a) connected to the correlation unit (6), while in one connected to the correlation unit (6) silent memory (7b) at the same time, the coordinates for a position in the window that corresponds to the new higher correlation number are read in, with the result that after the scan cycle is finished, the coordinates for the position in the vertical and lateral direction for the area in the window that shows the highest correlation number can be taken to another the number and position memory (7a, b) connected reader (8) which indicates this position in e.g. x-y coordinates or vector form, and that the reader is connected to a device (9) for changing the direction of the sensor (1) or its carriers.

2. Device as stated in claim 1, characterized in that the correlation unit (6) calculated from the input is made up of a first number of series-connected shift registers (53) which are connected in a regular sequence to a second number of series-in-parallel- out shift registers (54a - e), the outputs of which together with the outputs of a number of current switches (64a - e) or other memory elements, e.g. a third row of shift registers is connected in pairs with a number of full-adders (55 - 58) from whose last element (58) the correlation number itself is obtained, which is transferred to the number memory (7a) set to O from the beginning for each time as a new correlation number is greater than any previously stored number in the scanning cycle, in which case the coordinates for this larger number's corresponding position in the window are also read into the position memory (7b), as the comparison takes place in such a way that the fixed sample signal, concerning e.g. 5 x 5 elements, fit into the strom- the switches (64a - e), from which an arbitrarily shaped monster matrix is then taken for comparison with the digitized image signal entered in the row of shift registers. the image section unit (4).

3. Device as stated in claim 1, characterized by a feedback (11, 12) from the correlation number memory (7a) and/or from the image section unit (4) to more than one A/D converter (3), e.g. three parallel one-bits, corresponding to an upper and a lower threshold value in addition to the original threshold value, hereafter called the quantization level, which determines whether an image element is to be accepted, i.e. given the value 1, since in the first case the window memory (5) has the capacity to store these separate versions of the window matrix corresponding to a upper, an intermediate and a lower quantization level, each version consisting of a pulse train with e.g. 10 x 10 image elements are compared point by point in the correlation unit (6) with the fixed monster, e.g. an image of 5x5 elements, and that the level that then turns out to give the best agreement, i.e. the largest correlation number, determines whether the quantization level should be raised or lowered if the highest correlation number is not unambiguous, i.e. one increases or decreases the image contrast in order to possibly get even better adaptation in subsequent cycles, which is provided with a counter which is connected to a register (40) connected to the output of the correlation unit (6), where the "so far largest" correlation number is stored, the counter indicating from which version the final or the highest correlation figure originates and delivers a signal, which indicates whether the middle quantization level should be raised or lowered, which signal is integrated over time in an integrator, i.e. filter, with a time constant Cj^ = RC), which corresponds to the time for a number of cycles, such that under stable conditions it gets the version that originates from the middle level in the mean number the best fit, i.e. so that a substantially monster-fit contrast surface is sorted out.

4. Device as stated in claim 1, characterized in that for the purpose of comparing the 0-1 digitized video signal with a fixed, of the same type of image element consisting of a monster of 3 x 3 elements, where all are 1s, step - the input signal to the correlation unit (6), i.e. the pulse train of image elements, is pushed by means of a clock pulse generator's (19) signals into a 6 x 5 bit shift register (48a - f), where the last three outputs from every second register are each connected to a 1-bit full adder (49a - c) and that the outputs from the first two full adders (49a, b) are connected to a 2-bit full adder ( 50), whose output together with the output of the third 1-bit full adder (49c) is connected to a 4-bit full adder (51), from whose 4 outputs the correlation number is extracted and fed to the correlation number memory (7a) for comparison with the until then largest correlation number, which is stored in the number of memory elements (60a - c) which are connected to the 4-bit full-adder via a number of inverters (52) and logic gates (61-63) to obtain an output signal (p) which indicates whether the new correlation number is to replace the correlation number stored until then in the memory elements (60a - c), and that the correlation number memory (7a) has a feedback link (13) to the normalization unit (3), since if the largest correlation number is greater than one preset number, a signal is generated for one change of the quantization level in the A/D converter (3), whereby the signal is integrated over time in an integrator or filter with a time constant (T = RC), which corresponds to the time of a number of cycles, so that under stable conditions the version originating from the middle level in mean numbers, gets the best adaptation, i.e. so that a substantially monster-adapted contrast surface is sorted out.

5. Device as stated in one of claims 1-3, characterized in that a weight function unit (10) is connected to the correlation unit (6) where the correlation numbers from different monster positions or positions in the window are multiplied by different constants, dependent on the monster position/number, whose value e.g. is made larger in the center of the window than along the edge (periphery), which means that of several contrast surfaces with equivalent correlation numbers, the one closest to the center of the window is selected as the surface showing the object's position.