NO179628B - Fölgingssystem - Google Patents

Fölgingssystem Download PDF

Info

Publication number
NO179628B
NO179628B NO903445A NO903445A NO179628B NO 179628 B NO179628 B NO 179628B NO 903445 A NO903445 A NO 903445A NO 903445 A NO903445 A NO 903445A NO 179628 B NO179628 B NO 179628B
Authority
NO
Norway
Prior art keywords
tracking
target
processor
gate
error signals
Prior art date
Application number
NO903445A
Other languages
English (en)
Other versions
NO179628C (no
NO903445L (no
NO903445D0 (no
Inventor
Robert G Lepore
Hannelore G Hansen
Vivien Y Steinman
Original Assignee
Hughes Aircraft Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hughes Aircraft Co filed Critical Hughes Aircraft Co
Publication of NO903445D0 publication Critical patent/NO903445D0/no
Publication of NO903445L publication Critical patent/NO903445L/no
Publication of NO179628B publication Critical patent/NO179628B/no
Publication of NO179628C publication Critical patent/NO179628C/no

Links

Classifications

    • GPHYSICS
    • G01MEASURING; TESTING
    • G01SRADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/78Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using electromagnetic waves other than radio waves
    • G01S3/782Systems for determining direction or deviation from predetermined direction
    • G01S3/785Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system
    • G01S3/786Systems for determining direction or deviation from predetermined direction using adjustment of orientation of directivity characteristics of a detector or detector system to give a desired condition of signal derived from that detector or detector system the desired condition being maintained automatically
    • G01S3/7864T.V. type tracking systems
    • G01S3/7865T.V. type tracking systems using correlation of the live video image with a stored image
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/76Television signal recording
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/20Analysis of motion
    • G06T7/246Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G06T7/248Analysis of motion using feature-based methods, e.g. the tracking of corners or segments involving reference images or patches
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10016Video; Image sequence

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • General Physics & Mathematics (AREA)
  • Remote Sensing (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Electromagnetism (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Radar Systems Or Details Thereof (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Electrical Discharge Machining, Electrochemical Machining, And Combined Machining (AREA)
  • Vehicle Body Suspensions (AREA)
  • Variable-Direction Aerials And Aerial Arrays (AREA)

Description

Denne oppfinnelse vedrører et følgingssystem, som omfatter en detektor for å tilveiebringe videobildesignaler av en scene som inneholder et mål og bakgrunnsbirefleks (dutter), middel for å digitalisere videobildesignalene til binære bildeelementer, en tyngdepunktprosessor som er istand til å generere følgefeilsignaler langs en horisontal og vertikal akse som en funksjon av tyngdepunktet av objekter i scenen, og en korrelasjonsprosessor som er istand til å generere følgefeilsignaler langs nevnte horisontale og vertikale akse som en funksjon av den relative forflytning av forskjellige bilder i scenen.
Taktiske systemapplikasjoner for videofølgere krever høy ydelse selv hvor bakgrunns og forgrunns birefleks (clutter) konkurrerer med det mål som er av interesse. I tillegg må disse systemer på tilfredsstillende måte virke under dynamiske forhold hvor de relative aspektvinkler og avstand til målet kontinuerlig endrer seg.
Videofølgingsprosessorer er blitt anvist tidligere og som anvender som et stort antall av behandlingsteknikker, slik som tyngdepunkt, områdebalanse, kant og tallrike korrela-sjonsrealiseringskonsepter. Videofølgingsprosessorer som er relatert til både tyngdepunkt og korrelasjon er velkjente innenfor teknikken. Eksempelvis omhandler US patent 4133004 en videokorrelasjonsfølger. US patent nr. 4719584 omhandler en dobbeltmodus videofølger som anvender både en korrelasjonsprosessor og en tyngepunktprosessor. Den tidligere kjente følger er istand til å operere i en automatisk eller konkurrerende følgemodus hvor prosessoren som gir den beste ydelse velges for aktiv følgekontroll. Imidlertid velges en prosessor med utelukkelse av den andre og følgelig blir kun den valgte prosessoren anvendt til å generere følgeport-feilsignaler .
WO publ. patentsøknad 89/02085 viser et følgingssystem, omfattende en detektor for å tilveiebringe videosignaler for et bilde representativt for den scene som inneholder et mål og bakgrunns-hireflekser, og middel for å digitalisere videosignalene til binære bildeelementer, hvor systemet innbefatter en tyngdepuntprosessor som er i stand til å generere følgefeilsignaler for en følgeportstørrelse som funksjon av tyngdepunktet av målobjekter i scenen, en korrelasjonsprosessor som er i stand til å generere følge-feilsignaler for følgeportstørrelse som en funksjon av den relative forflytning av forskjellige mål i scenen, samt valgmiddel for automatisk, ev. manuelt å velge følgefeil-signaler fra tyngdepunktprosessoren eller fra korrelasjonsprosessoren ut ifra den prosessoren som holder høyest følgestatus. Dobbeltmodus videofølgeren som anvender korrelasjonsprosessoren og tyngdepunktprosessoren er i stand til å operere i en automatisk eller konkurrerende følgemodus, der prosessoren som gir den beste ytelse velges for den aktive følgestyring. På grunn av at en prosessor velges med utelukkelse av den andre, blir kun den valgte prosessor anvendt for å generere følgeportfeilsignalene. Med andre ord blir den prosessor som er best egnet for å følge en bestemt scene automatisk valgt. Løsningen innebærer automatisk velgingsprosess som ikke gir operatøren frihet til å plukke forskjellige prosessorer for korrelasjon og tyngdepunkt-følging. I motsetning ti dette tilsiktes ved foreliggende oppfinnelse at operatøren skal kunne velge en modus med følgefeilsignaler fra tyngdepunktprosessoren på hver akse, der målet er kontrastavgrenset og for uavhengig å velge følgefeilsignaler fra korrelasjonsprosessoren når målet ikke er kontrastavgrenset.
JP patentpublikasjon 57-72487 (A) viser en tildels tilsvarende korrelasjons-følgeinnretning som den som fremgår av WO 89/02085, og som beskriver følgeportdimensjoneringsmiddel for adaptivt å definere en følgeport som har en bredde lik et valgt antall bildeelementer, og en høyde lik et valgt antall videoavsøkslinjer, idet bredden og høyden er en funksjon av målets utstrekning.
I henhold til den foreliggende oppfinnelse kjennetegnes det innledningsvis nevnte følgingssystem ved valgmiddel for automatisk eller operatørbestemt å velge følgefeilsignaler fra tyngdepunktprosessoren på hver akse når målet er kontrastavgrenset, idet nevnte valgmiddel velger følgefeil-signaler fra korrelasjonsprosessoren på hver akse når målet ikke er kontrastavgrenset, og der følgefeilsignalene velges for de horisontale og vertikale akser fra hhv. korrelasjonsprosessoren og tyngdepunktprosessoren, når bredden av følgeporten er større enn et valgt antall av bildeelementer og høyden av følgeporten er mindre enn et gitt antall av avsøkslinjer.
Ifølge en ytterligere utførelsesform omfatter følgings-systemet dessuten følgeportdimensjoneringsmiddel for adaptivt å definere en følgeport som har en bredde av et valgt antall av bildeelementer og en høyde av et valgt antall av video-avsøkslinjer, idet bredden og høyden er funksjon av utstrekningen av målet i bildet, idet følgeportfeilsignaler fra korrelasjonsprosessoren velges for både nevnte horisontale og vertikale akse når bredden og høyden av følgeporten overskrider forutbestemte verdier.
Det er også mulig å velge følgefeilsignaler for de horisontale og vertikale akser fra hhv. tyngdepunktprosessoren og korrelasjonsprosessoren, når bredden av følgeporten er mindre enn et gitt antall av bildeelementer og høyden av følgeporten er større enn et gitt antall av avsøkslinjer.
I tillegg kan følgingssystemet omfatte aspektforholdbegrensingsmiddel for å hindre nevnte valgmiddel fra å velge følgefeilsignaler fra korrelasjonsprosessoren for mål som har et forutvalgt aspektforhold.
Ved den foreliggende oppfinnelse muliggjøres at følgings-systemet kan la operatøren velge en modus hvor følgefeil-signaler fra korrelasjonsprosessoren velges for både den horisontale og vertikale akse når bredden og høyden av en adaptiv følgeport overskrider forutvalgte verdier.
De forskjellige fordeler ved den foreliggende oppfinnelse vil være åpenbare for fagfolk ved lesning av den etterfølgende beskrivelse og med henvisning til tegningene. Fig. 1 er et blokkskjema over et videofølgingssystem, ifølge den foreliggende oppfinnelse. Fig. 2 viser en videoramme hvor en blandet operasjonsmodus anvendes. Fig. 3 er en videoramme hvor en annen blandet operasjonsmodus anvendes. Fig. 4 er en videoramme hvor bruken av korrelasjonsprosessoren fremtvinges. Fig. 5 er et flytskjema som angir trinnene for å utføre den foretrukne utførelsesform av denne oppfinnelse.
Ser man nå på fig. 1, er der vist et videofølgingssystem 10 for å følge og spore et mål 11 innenfor en scene eller et åsted som er generelt betegnet med henvisningstallet 12. Forskjellige avfølere kan anvendes for å avføle informasjon om scenen 12. Typisk er avføleren 14 av den type som mottar utstrålt elektromagnetisk energi fra scenen 12 for derved å registrere scenen i en form som kan omdannes til elektriske videosignaler ved hjelp av en videopreprosessor 16. Preprosessoren 16 omdanner den elektromagnetiske energien til analoge videosignaler og leverer disse signaler både til en korrelasjonsprosessor 18 og en tyngdepunktprosessor 20.
Mikrodatamaskinen 22 tilveiebringer tidsstyring og andre styresignaler til korrelasjonsprosessor 18 over linjer 24. Lignende tidsstyrings- og styresignaler er tilveiebragt over linjer 26 til tyngdepunktprosessoren 20. Korrelasjonsprosessoren 18 analyserer videosignalene og, slik det vil fremgå, gir følgefeilsignaler over linjer 28 til mikrodatamaskinen. På tilsvarende måte tilveiebringer tyngdepunktprosessoren følgingsfeilsignaler over linje 30 til mikrodatamaskinen 22. Mikrodatamaskinen 22 anvender, i sin tur, følgingsfeilsignalene og genererer følgekommandoer på linje 32. Følgekommandoene utmates til forskjellige servosystemer for å lede følgingsanordningen slik den opprettholder sin passende følging på det valgte målet.
Slik det er kjent innenfor teknikken analyserer korrelasjonsprosessoren 18 og tyngdepunktprosessoren 20 videodataene på forskjellige måter og har således forskjellige styrker og svakheter. Korrelasjonsprosessorene måler den relative forflytning mellom to forskjellige bilder i den samme scene tatt på forskjellige tidspunkter. Ett av bildene refereres til generelt som "referansen" og representerer vanligvis en måling laget på et tidligere tidspunkt. Det andre bildet benevnes ofte det "mottatte" bildet og utledes vanligvis fra den "levende" scene. Korrelasjonsfølging krever ikke typisk at målet er kontrastavgrenset og opptrer best under følging av store mål med mye interne detaljer. I motsetning til dette oppfører korrelasjonsprosessorer seg ikke så godt når følging skjer av små mål mot milde bakgrunner. Under slike forhold kan korrelatoren ha tendens til å drive sakte bort fra målet og introdusere følgingsfeil som øker med tiden. Korrelasjonsfølgere kan gi forbedret ydelse relativt tyngdepunktfølgere i miljøer med lavt signal/støyforhold og mye birefleks.
På den annen side opererer tyngdepunktfølgeren 20 til å beregne tyngdepunktet for bildeelementer i en gitt følgeport som er enten over eller under en terskelverdi som avhenger av følgemodusen. Følgefeilsignaler utledes ved en sammenligning av tyngdepunktverdier mellom suksessive bilderammer. Forskjellige detaljer vedrørende korrelasjonen og tyngdepunkt prosessorene er velkjente for fagfolk og trenger ikke å beskrives ytterligere her. Imidlertid henvises leseren til de tidligere nevnte US patenter nr. 4133004 og 4719584 som inngår her som bakgrunnsinformasjon.
Tyngdepunktfølging under anvendelse av tyngdepunktprosessor 20 påkalles for de mål som er fullstendig kontrastavgrenset.
I denne modus blir en følgeport anbragt om tyngdepunktet for målet og følgingsfeilsignaler genereres derfra. Korrela-sjonsfølging påkalles når mål ikke er kontrastavgrenset. Slik som bemerket tidligere beregner korrelasjonsprosessoren 18 en krysskorrelasjonsfunksjon mellom det avfølte bildet og en lagret referansescene. Følgingspunktet er den beste tilpasning mellom de to scenene.
En kombinasjon av tyngdepunkt og korrelasjonsfølging (blandet modusfølging) påkalles når et mål er kontrastavgrenset i én akse, men ikke den andre. Under blandet modusfølging, gjør systemet bruk av korrelasjonsfølging for å beregne følgefeil-signalene i en akse, og tyngdepunktfølging for å beregne følgefeilsignalene i den andre. Dette tillater systemet å anvende fordelene med begge følgingsalgoritmer, og å minimalisere ulempene.
Tyngdepunktfølging påkalles for de mål som er kontrastavgrenset. Et kontrastavgrenset mål er omgitt på alle sider av en region med oppløselig intensitetsforskjell fra målet, og grensene på målet må alle ha samme kontrastpolaritet. Dersom et mål fremtrer å være "lysere" ("mørkere") enn sin bakgrunn, så må det omgis på samtlige sider av en region som er på et lavere (høyere) intensitetsnivå.
Under tyngdepunktfølging blir videopreprosessor 16 anvendt til å generere flernivås inngangsvideo fra det innkommende analoge videosignal. I følgerens betraktningsfelt (FOV = field of view) (betegnet med henvisningstallet 34 i figurene 2-4), er en rektangulær følgeport 36 anbragt over den romlige region hvor målet 38 forventes å hindre sceneinformasjon utenfor den styrte region fra å forstyrre følgingen. Forut for følgeinitiering plasserer operatøren portstedet, men under tyngdepunktfølging plasseres det om måltyngdepunktet. Ettersom et vidt område av målstørrelser må følges, blir fortrinnsvis en adaptiv port anvendt. Størrelsen av følgeporten gjøres noe større enn målet for å innbefatte målsiluetten innenfor porten, men å utelukke ikke-mål bakgrunnsbirefleks.
Det styrte inngangsvideosignalet terskelholdes av pre-prosessor 16 til å generere et binærisert bilde for ytterligere behandling av tyngdepunktprosessoren 20 og korrelasjonsprosessoren 18. Den digitaliserende terskel justeres til å isolere målet fra konkurrerende birefleks og annen bakgrunn. Operatøren kan velge hvorvidt terskelholdingsalgoritmen justeres til å isolere et "varmt" mål fra en "kald" bakgrunn (hvit følging) eller et "kaldt" mål fra en "varm" bakgrunn (sort følging).
De binæriserte data på hver rad eller linje formateres til en sekvens av segmenter. Start- og stoppstedene for hvert segment tilveiebringes for ytterligere behandling. Segmentene sorteres til grupper for bruk av den hjulpede målinnhentingsalgoritmen. Ettersom flere objekter kan være innenfor den utvidede følgeport er det viktig at segmentene samles korrekt. Tyngdepunktalgoritmen beregner så det geometriske tyngdepunkt for hver gruppe i følgeporten. Et følgingsfeilsignal genereres basert på tyngdepunktet av gruppen med den beste tilpasning til de foregående trekk.
Den digitaliserende terskel, vth» som genererer det binæriserte bildet, bestemmes av ligning 1. Denne ligning er basert på tre parametre, bakgrunnsnivå Vg, målnivå V^g, og a. Hver av disse parametre er omtalt i detalj.
Målnivået, V-t-q, er et estimat over det varmeste arealet innenfor følgeporten (for varmfølging). Det gir en øvre grense for den digitaliserende terskelen.
Forut for følgeinitiering baseres målnivået på spissdetek-sjon. Målnivået kan bevege seg opp eller ned i faste inkrementer. Det beveger seg i en retning som vil frembringe 3 bildeelementer over målterskelnivået, i et 19 bildeelement x 19 TV linje vindu. Dette vindu innbefatter arealet av følgeporten, pluss en omgivende ring.
Etter følgeinitiering blir kun følgeportarealet anvendt til å sette målnivået. Målnivået justeres med en fast mengde for å oppnå en konstant arealbalanse mellom målnivået og det digitaliserende nivået. Et to-felts eller rammegjennomsnitt av arealet over målnivået sammenlignes med et to-felts gjennomsnitt av arealet om det digitaliserende nivået. Nominelt er den ønskede arealbalanse gitt med ligning 2. Under landmodus, med tilstander av lav birefleks, er imidlertid den ønskede arealbalanse gitt av ligning 3. Dette senker målnivået under lavbirefleks forhold og reduserer mulighetene for varmpunkt kollaps i milde bakgrunner.
Hvor:
A-pg = antallet av tellinger over V-pø i følgeporten
ATH = antallet av tellinger over V-j-g i følgeporten
Bakgrunnsnivået Vg gir en lavere grense for den digitaliserende terskelen (Figur 2), og er et estimat over tempera-turen i den region som avgrenser målet. Et to-felts eller rammegjennomsnitt av den prosentvise fylling i bakgrunns-porten anvendes til å justere Vg for å hindre støy fra å påvirke den digitaliserende terskelen. I landmodus justeres Vg basert på en bakgrunnsport i form av en ring. I skipmodus justeres Vg basert på en bakgrunnsport i form av horisontale stenger.
Den tredje parameteren som anvendes for beregning av den digitaliserende terskelen V-pjj er a. Den anvendes til å justere terskelen som genereres av målet og bakgrunnsnivåene, og strekker seg mellom 0,48 og 0,75. Under målinnhenting er a fast på 0,65 for å separere målet fra biref leksen og støyen. Ellers er den tilpasset basert på innholdet av følgeporten og birefleksringene. Under forhold med større birefleks heves a til 0,75, og a senkes til 0,48 i nærværet av lite birefleks.
Portdimensjoneringsalgoritmen utføres ved hjelp av tyngdepunktprosessoren som beregner følgeportdimensjonene langs horisontale og vertikale akser (Xp0r-t;, Ypor-t) uavhengig i horisontal og vertikal retning (ligningene 5 og 6). Endringen i portdimensjon sammenlignes med den maksimalt tillatelige portvekst p.g.a. avstandsavslutning (range closure) og er avgrenset, om nødvendig, til den verdien. Følgeporten er sentrert om målets tyngdepunkt. Stabiliteten av følgeporten opprettholdes ved å ta et fem-felts eller rammegjennomsnitt av den målte horisontale og vertikale måldimensjon eller utstrekninger, hhv. xutstrekning °§ <Y>utstrekning- Den horisontale utstrekning (Xutstrekning) beregnes ved å ta differansen mellom de lengst mot høyre og lengst mot venstre bildeelementposisjoner av de digitaliserte segmenter i følgeporten. På analog måte blir den vertikale utstrekning (^utstrekning) utledet fra differansen mellom øvre og nedre linjetall i det første og siste segment i følgeporten. Følgeportdimensjonen defineres av de følgende ligninger (5) og (6):
Hvor:
GX, Gy >1
BIASX, BIASy > 0, basert på hhv. xutstrekning °S
<Y>utstrekning•
Så snart den portstyrte region terskelholdes, blir de binæriserte segmenter gruppert i distinkte objekter. Denne prosess med å identifisere adskilte elementer av objektene er benevnt gruppering. Gruppering innbefatter å avsøke den region som er av interesse (dvs. følgeport) ved hjelp av rader og danne ekvivalensklasser av obj ektsegmenter. Disse ekvivalensklasser blir deretter samlet og bildets grupper merkes tilsvarende.
Den adaptive portdimensjoneringsalgoritmen tillater ikke følgeporten å vokse hurtig nok mens store mål erverves. Hjulpet målervervelse eller innhenting (ATA = aided target acquisition) forbedrer tyngdepunktfølgerens evne til å erverve og anbringe en passende dimensjonert følgeport om det valgte målet.
Når operatøren initierer følging, åpner følgeporten til 45 bildeelementer eller kolonner x 45 TV linjer eller rader. Algoritmen velger grupperingen som inneholder det nærmeste segmentet til midten av følgeporten. Følgeporten beveges til den valgte gruppering, og når det gås ut av ATA, er følge-porten dimensjonert så nær som mulig til målet og tyngdepunkt følging begynner.
Under ATA, dersom målet ikke befinner seg fullstendig i 45 bildeelementer x 45 TV linjer følgeporten, kan en eller begge av dimensjonene forstørres til en maksimal størrelse og prosessen gjentas. Dersom, etterat portdimensjonen er blitt utvidet, en utstrekning er fortsatt for stor, blir en av de to blandete modusfølgingsalgoritmer valgt. Dersom begge utstrekninger er for store, blir så korrelasjonsfølging valgt. Beslutningen om å svitsje til blandet modusfølging utsettes når aspektforholdet for målet er større enn 3:5 i landmodus eller 2:1 i skipsmodus, for å tillate deteksjon av et fremspring for å påkalle aspektforholdbegrensning.
Det totale binæriserte arealet innenfor følgeporten anvendes til å beregne et geometrisk tyngdepunkt relativt det øvre venstre hjørne, av nevnte FOV. Mål tyngdepunktet anvendes til å posisjonere følgeportens senterlinjer 40,42 på det neste feltet. Tyngdepunktet (Xtyngdepunkt, Ytyngdepunkt) av den binæriserte video innenfor følgeporten 36 genereres som en funksjon av hhv. horisontale og vertikale momenter av segmentene innenfor følgeporten.
Åspektforhold begrensing (ARL = aspect ratio limiting) ble utformet til å hindre for tidlig overlevering til korrelator-følgeren for mål med store åspektforhold ettersom et tilstrekkelig antall av korrelatorceller ikke vil bli anvendt. For et 4:1 åspektforhold, som sees i mange skip, broer og kraftanlegg, når den horisontale utstrekningen når 50$ av betraktningsfeltet, spenner den vertikale utstrekning 10$ eller mindre. Dette er klart uønsket for korrelator-følging. I disse tilfeller bør den vertikale utstrekning styre overgangen til korrelasjonsfølging, og forsinke overlevering inntil målets høyde er passende.
Under den konvensjonelle tyngdepunktfølgingsmodusen blir målaspektforholdet (TAR = Xutstreknlng/<Y>utstreknlng) beregnet i hvert felt. Dersom TAR er større enn 3,5 : 1 (2:1 i skipsmodus), og en definerbar struktur som er motstående til mindre enn 60$ av følgeporten eksisterer, vil den horisontale følgeporten kollapse. Tyngdepunktfølging i den horisontale aksen vil fortsette basert på den interne struktur av målet (f.eks. overbygningen på et skip). I landmodus under ARL-følging, blir det vertikale tyngdepunkt og følgeporten beregnet slik som ved normal tyngdepunktfølging, men i skipmodus kan det vertikale tyngdepunkt forspennes nedad mot den forventede vannlinje (veiet tyngdepunktalgoritme). Vannlinjen estimeres som den siste skroglinje i følgeporten. En skroglinje defineres som et hvilket som helst segment som passerer gjennom hegge sider av følgeporten.
Det horisontale tyngdepunkt beregnes under anvendelse av kun segmentene i følgeporten som ikke har endepunkter som berører følgeporten. En hvilken som helst linje som passerer fullstendig gjennom porten anvendes ikke for horisontal posisjonering. Den horisontale portdimensjonen modifiseres i henhold til ligning 9. Dersom ARL ikke påkalles, bringes den horisontale portdimensjonen tilbake til den opprinnelige dimensjonen.
Så snart ARL modusen påkalles kan den ikke gås ut av, og forblir aktiv inntil enten det horisontale korrelasjons/ vertikale tyngdepunkt eller korrelasjonsmodi påkalles.
Korrelasjonsprosessoren 18 måler den relative forflytning mellom to forskjellige bilder i samme scene. Ytterligere informasjon om korrelasjonsprosessorer kan finnes i M.Bonner, "Target Tracking and Target Detection in TV-and FLIR-Imagery", Forschungsinstitut fiir Informationsverarbeitung und Mustererkennung (FIM/FGAN), Breslauer Strasse 48, 7600 Karstruhe, Forbundsrepubliken Tyskland, 31-1 til og med 31-16
(1981), som også herved inkorporeres med henvisning. Ett av bildene er benevnt referansen og kan representere en måling som er gjort på et tidligere tidspunkt. Det andre bildet er benevnt det mottatte bildet og utledes vanligvis fra den "levende" scene. Korrelasjonsfølging krever ikke at målet kontrastavgrenses, men opptrer best under følging av store mål med mye intern detalj. Korrelatorer opptrer ikke så godt når de følger små mål mot milde bakgrunner. Under slike forhold kan korrelatoren ha tendens til å drive sakte bort fra målet og introdusere en følgingsfeil som øker med tiden. Korrelasjonsfølgere kan gi forbedret ydelse relativt tyngdepunktfølgere i miljøer med lavt signal/støyforhold (SNR) og stor birefleks (clutter).
Der finnes mange tilfeller for hvilke korrelasjonsfølging er naturlig bedre enn tyngdepunktfølging. Korrelasjonsfølging foretrekkes dersom målet som skal følges ikke kan isoleres lett og automatisk. Dette kan skje når målet er midt iblant andre objekter (birefleks eller clutter) som er for nær målet til å bli portstyrt ut, eller dersom bireflekssignalene er for sterke til å bli avvist av terskelholdingsalgoritmen. Korrelasjonsfølgeren velges til å utvelge et objekt innenfor en gruppering av lignende objekter, hvor målet angis ved dets relative posisjon, eller når et sårbart siktepunkt som er et annet enn måltyngdepunktet ønskes. Korrelasjonsfølging kan også anvendes for å følge intern måldetalj og opprettholde et stabilt terminalfølgingspunkt når målbildets størrelse overskrider følgerbetraktningsfeltet.
I den ene eller andre korrelasjonsmodus blir samplede arealer av scenen lagret i minnet og sammenlignet med de samme celler av påfølgende felt (se det følgende som er inkorporert med den artikkel det vises til for ytterligere detaljer: T.K.Lo og G.Gerson "Guidance system position update by multiple subarea correlation", i Digital Processing of Aerial Images, Proe. SPIE 186, 30-40 (1979). En krysskorrelering av hver celle utføres mellom det foregående felt som er lagret i minnet og det eksisterende felt. Hver korrelasjon testes for gyldighet og de tilpassede punkter for de cellene som bestemmes til å være gyldige kombineres for å beregne størrelsen og retningen av følgingsfeilen. Korrelator-følgeren anvender detaljen i scenen til å opprettholde siktepunktposisjonen som etableres ved tidspunktet for overrekkingen til korrelasjonsfølging. Siktepunktposisjonen blir enten etablert ved operatørvalg når taktisk styrkekorre-leringsmodus påkalles eller ved tyngdepunktfølgingsalgoritmen dersom korreleringsmodusen påkalles av måldimensjonen. Flytskjemaet i fig. 5 er nyttig for å forstå visse trekk ved den foreliggende oppfinnelse. Det er ett trekk ved denne oppfinnelse at operatøren har muligheten til å tvinge systemet 10 til å anvende korrelasjonsprosessoren 18 til å generere følgefeilsignalene. System 10 innbefatter en passende terminal 44 (Figur 1) eller annen innmatnings-anordning som tillater operatøren å velge taktisk styrke-korreleringsmodus ved følgeinitiering. Denne operatøraksjon setter et flagg som leses av mikrodatamaskin 22 slik som representert ved beslutningsblokk 54 i flytskjemaet i figur 5. Under slike forhold blir korrelasjonsprosessoren 18 anvendt utelukkende til å generere følgefeilsignalene som anvendes til å omplassere følgeporten 36.
Dersom systemoperatøren ikke har tvunget valget av korrelasjonsprosessoren, blir så beslutningsprosessen utført automatisk som en funksjon av følgeportdimensjonen. Som omtalt tidligere er følgeportstørrelsen i sin tur en funksjon av størrelsen eller utstrekningen av målet. Uheldigvis er det ikke alltid mulig for systemet å identifisere målkantene tilstrekkelig slik at målet blir kontrastavgrenset av følgeporten. For formål ifølge denne oppfinnelse betyr uttrykket "kontrastavgrenset" at målet er omgitt på samtlige sider av en region med oppløselig intensitetsdifferanse fra målet og grensene for målet må alle ha den samme kontrastpolaritet. Figur 2 illustrerer en situasjon der målet 38A ikke er kontrastavgrenset på X siktepunkt aksen 42. På den annen side illustrerer figur 3 et betraktningsfelt hvor målet 38B ikke er kontrastavgrenset langs Y siktepunktaksen 40. Mangelen på at målene er kontrastavgrenset kan skyldes flere faktorer slik som anmerket ovenfor. I figurene 2 og 3 er dette representert ved opptredenen av birefleks (clutter) 43 som også er for nær målet 38 til å kunne portstyres ut.
I henhold til den foreliggende oppfinnelse velger mikrodatamaskinen 22 automatisk følgefeilsignaler fra tyngdepunktprosessor 20 på hver akse 40, 42 hvor målet 38 er kontrastavgrenset. På den annen side velger mikrodatamaskin 22 følgefeilsignaler fra korrelasjonsprosessoren 18 på hver akse hvor målet ikke er kontrastavgrenset. Eksempelvis er mål 38A kontrastavgrenset langs den vertikale siktepunktaksen 40, men ikke i den horisontale siktepunktaksen 42 i figur 2. Som et resultat av dette påkaller systemet 10 en "blandet modus" følging hvor tyngdepunktprosessoren 20 genererer følgefeil-signaler langs den vertikale aksen, mens korrelasjonsprosessoren 18 genererer følgefeilsignaler langs den horisontale aksen. I figur 3 er den omvendte situasjon tilstede. I dette tilfellet blir tyngdepunktprosessoren 20 anvendt til å generere følgefeilsignaler langs den horisontale aksen, mens korrelasjonsprosessoren 18 anvendes til å generere følgefeil-signaler langs den vertikale aksen.
System 10 anvender hensiktsmessig følgeportdimensjonen som en indikasjon av hvorvidt målet er kontrastavgrenset. Slik som representert i blokker 62 og 66 i figur 5, dersom følgeporten har en bredde som er større enn 180 bildeelementer, ansees målet ikke å være kontrastavgrenset langs den horisontale aksen. På analog måte, dersom høyden av følgeporten er større enn et valgt antall av videoavsøkslinjer, så er målet ikke kontrastavgrenset langs den vertikale aksen.
Figur 4 illustrerer en situasjon hvor følgeren er blitt levert så nært målet 38C at følgeporten 34 har ialt vesentlig samme utstrekning som betraktningsfeltet 36. Under disse omstendigheter foretrekkes korrelasjonsprosessoren i stedet for tyngdepunktprosessoren ettersom målet er relativt stort og vanligvis vil ha mye innvendig detalj. Igjen anvender systemet 10 følgeportstørrelsen som et signal til å forskyve ansvaret kun til korrelasjonsprosessoren 18. Dette er vist i fig. 5 ved hjelp av beslutningsblokk 58 hvor størrelsen av beslutningsporten i både X og Y aksen overskrider forutbestemte verdier (hhv. 180 bildeelementer og 165 linjer).
Det vil forstås at selv om denne oppfinnelse ble beskrevet i forbindelse med et bestemt eksempel, vil andre modifikasjoner være åpenbare for fagfolk etterat man har hatt mulighet til å studere beskrivelsen, tegningene og de etterfølgende patentkrav.

Claims (4)

1. Følgingssystem, som omfatter: en detektor for å tilveiebringe videobildesignaler av en scene som inneholder et mål og bakgrunnsbirefleks (clutter), middel for å digitalisere videobildesignalene til binære bildeelementer, en tyngdepunktprosessor som er istand til å generere følgefeilsignaler langs en horisontal og vertikal akse som en funksjon av tyngdepunktet av objekter i scenen, og en korrelasjonsprosessor som er istand til å generere følgefeilsignaler langs nevnte horisontale og vertikale akse som en funksjon av den relative forflytning av forskjellige bilder i scenen, karakterisert ved valgmiddel for automatisk eller operatørbestemt å velge følgefeilsignaler fra tyngdepunktprosessoren på hver akse når målet er kontrastavgrenset, idet nevnte valgmiddel velger følgefeilsignaler fra korrelasjonsprosessoren på hver akse når målet ikke er kontrastavgrenset, og der følgefeil-signalene velges for de horisontale og vertikale akser fra hhv. korrelasjonsprosessoren og tyngdepunktprosessoren, når bredden av følgeporten er større enn et valgt antall av bildeelementer og høyden av følgeporten er mindre enn et gitt antall av avsøkslinjer.
2 . Følgingssystem som angitt i krav 1, karakterisert ved at det dessuten omfatter: følgeportdimensjoneringsmiddel for adaptivt å definere en følgeport som har en bredde av et valgt antall av bildeelementer og en høyde av et valgt antall av videoavsøks-linjer, idet bredden og høyden er funksjon av utstrekningen av målet i bildet, og at følgeportfeilsignaler fra korrelasjonsprosessoren velges for både nevnte horisontale og vertikale akse når bredden og høyden av følgeporten overskrider forutbestemte verdier.
3. Følgingssystem som angitt i krav 1, karakterisert ved at følgefeilsignaler velges for de horisontale og vertikale akser fra hhv. tyngdepunktprosessoren og korrelasjonsprosessoren, når bredden av følgeporten er mindre enn et gitt antall av bildeelementer og høyden av følgeporten er større enn et gitt antall av avsøkslinjer.
4. Følgingssystem som angitt i krav 1, karakterisert ved at det dessuten omfatter: aspektforholdbegrensingsmiddel for å hindre nevnte valgmiddel fra å velge følgefeilsignaler fra korrelasjonsprosessoren for mål som har et forutvalgt åspektforhold.
NO903445A 1989-08-15 1990-08-06 Fölgingssystem NO179628C (no)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
US07/394,024 US4958224A (en) 1989-08-15 1989-08-15 Forced correlation/mixed mode tracking system

Publications (4)

Publication Number Publication Date
NO903445D0 NO903445D0 (no) 1990-08-06
NO903445L NO903445L (no) 1991-02-18
NO179628B true NO179628B (no) 1996-08-05
NO179628C NO179628C (no) 1996-11-13

Family

ID=23557234

Family Applications (1)

Application Number Title Priority Date Filing Date
NO903445A NO179628C (no) 1989-08-15 1990-08-06 Fölgingssystem

Country Status (8)

Country Link
US (1) US4958224A (no)
EP (1) EP0419016B1 (no)
JP (1) JPH0766048B2 (no)
KR (1) KR930005608B1 (no)
AU (1) AU620000B2 (no)
CA (1) CA2021227A1 (no)
DE (1) DE69017811T2 (no)
NO (1) NO179628C (no)

Families Citing this family (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5990822A (en) * 1989-04-14 1999-11-23 Honigsbaum; Richard F. Process and apparatus for finding stealthcraft
JP2569219B2 (ja) * 1990-01-31 1997-01-08 富士通株式会社 動画像予測方式
US5175694A (en) * 1990-02-08 1992-12-29 The United States Of America As Represented By The Secretary Of The Navy Centroid target tracking system utilizing parallel processing of digital data patterns
US5055926A (en) * 1990-04-02 1991-10-08 The United States Of America As Represented By The United States Department Of Energy Video image position determination
US5355325A (en) * 1992-06-24 1994-10-11 The United States Of America As Represented By The Secretary Of The Navy Method and apparatus for correlating object measurements with object measurement estimates
US5365269A (en) * 1992-10-22 1994-11-15 Santa Barbara Instrument Group, Inc. Electronic camera with automatic image tracking and multi-frame registration and accumulation
CA2129206C (en) * 1993-08-10 1998-07-14 Mark Thurman Integration of tv video with ir tracker features
US5423554A (en) * 1993-09-24 1995-06-13 Metamedia Ventures, Inc. Virtual reality game method and apparatus
US5491645A (en) * 1993-10-13 1996-02-13 International Business Machines Corporation Method and system for N-track correlation
US5563988A (en) * 1994-08-01 1996-10-08 Massachusetts Institute Of Technology Method and system for facilitating wireless, full-body, real-time user interaction with a digitally represented visual environment
JPH08147477A (ja) * 1994-09-20 1996-06-07 Fujitsu Ltd 局所領域画像追跡装置
US5990939A (en) * 1995-09-28 1999-11-23 Raytheon Company Video demultiplexing interface for a missile tracking system
US5878163A (en) * 1995-10-11 1999-03-02 Raytheon Company Likelihood-based threshold selection for imaging target trackers
US5729008A (en) * 1996-01-25 1998-03-17 Hewlett-Packard Company Method and device for tracking relative movement by correlating signals from an array of photoelements
JP3434979B2 (ja) * 1996-07-23 2003-08-11 富士通株式会社 局所領域画像追跡装置
US5959567A (en) * 1997-12-08 1999-09-28 Massachusetts Institute Of Technology Method and apparatus for tracking of organized storms
US7133537B1 (en) * 1999-05-28 2006-11-07 It Brokerage Services Pty Limited Method and apparatus for tracking a moving object
US6895102B2 (en) * 2001-06-29 2005-05-17 Raytheon Company Probability weighted centroid tracker
JP2004170355A (ja) * 2002-11-22 2004-06-17 Topcon Corp 反射体自動追尾装置
US7136506B2 (en) * 2003-03-03 2006-11-14 Lockheed Martin Corporation Correlation based in frame video tracker
US20050285947A1 (en) * 2004-06-21 2005-12-29 Grindstaff Gene A Real-time stabilization
US20060245500A1 (en) * 2004-12-15 2006-11-02 David Yonovitz Tunable wavelet target extraction preprocessor system
EP1712931A1 (en) * 2005-04-14 2006-10-18 Qinetiq Limited Method and apparatus for detecting a target in a scene
CN108513414B (zh) * 2018-03-26 2023-12-19 中国地质大学(武汉) 一种焦点自跟踪的舞台追光灯系统及方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4106726A (en) * 1969-11-04 1978-08-15 Martin Marietta Corporation Prestored area correlation tracker
SE428505B (sv) * 1975-01-21 1983-07-04 Licentia Gmbh Anordning for att universellt folja ett av en observationsapparat registrerat mal
SE411400B (sv) * 1977-11-02 1979-12-17 Saab Scania Ab For foljning av ett objekt avsedd korrelationsfoljare
US4133004A (en) * 1977-11-02 1979-01-02 Hughes Aircraft Company Video correlation tracker
US4719584A (en) * 1985-04-01 1988-01-12 Hughes Aircraft Company Dual mode video tracker
US4849906A (en) * 1987-08-24 1989-07-18 Hughes Aircraft Company Dual mode video tracker
US4937878A (en) * 1988-08-08 1990-06-26 Hughes Aircraft Company Signal processing for autonomous acquisition of objects in cluttered background

Also Published As

Publication number Publication date
NO179628C (no) 1996-11-13
AU620000B2 (en) 1992-02-06
CA2021227A1 (en) 1991-02-16
JPH0395476A (ja) 1991-04-19
AU6028090A (en) 1991-04-18
KR930005608B1 (ko) 1993-06-23
EP0419016B1 (en) 1995-03-15
DE69017811D1 (de) 1995-04-20
KR910005681A (ko) 1991-03-30
DE69017811T2 (de) 1995-09-14
NO903445L (no) 1991-02-18
JPH0766048B2 (ja) 1995-07-19
EP0419016A1 (en) 1991-03-27
NO903445D0 (no) 1990-08-06
US4958224A (en) 1990-09-18

Similar Documents

Publication Publication Date Title
NO179628B (no) Fölgingssystem
US4849906A (en) Dual mode video tracker
US5602760A (en) Image-based detection and tracking system and processing method employing clutter measurements and signal-to-clutter ratios
US5638164A (en) Apparatus and method for laser imaging
US20060244866A1 (en) Moving object detection apparatus, method and program
CN109740445A (zh) 一种变尺寸的红外弱小目标检测方法
CN110297246B (zh) 一种组网x波段天气雷达协同自适应控制方法及系统
JPH0766047B2 (ja) 相関追跡ゲートのサイズ確定方法
GB2397957A (en) Target detection
EP0386231A1 (en) SEGMENTATION METHOD FOR DETERMINING A TERMINAL SIGHT POINT ON MOBILE OBJECTS.
CN109816702A (zh) 一种多目标跟踪装置和方法
Maltese et al. New generation of naval IRST: Example of EOMS NG
CN110244297A (zh) Sar成像方法及其成像系统
Cremer et al. Comparison of vehicle-mounted forward-looking polarimetric infrared and downward-looking infrared sensors for landmine detection
CN107316318A (zh) 基于多子区域背景拟合的空中目标自动检测方法
Jacobs et al. Toward fully automatic geo-location and geo-orientation of static outdoor cameras
US5872857A (en) Generalized biased centroid edge locator
Jian et al. Maritime target detection and tracking
Hu et al. Grid-based control of active cameras for waterway ship surveillance
Rastogi et al. Design of a real-time tracking system for fast-moving objects
Oron Motion estimation and image difference for multi-object tracking
CN108510526A (zh) 一种红外弱小目标稳定跟踪方法及装置
US6355922B1 (en) Imaging system and method for hardbody detection and sensor fixed artifact rejection
Bahgat et al. Automatic TV Image Tracking Using Advanced Positive Frame Difference Predicted Window Technique.
Davis Real time computer surveillance for crime detection

Legal Events

Date Code Title Description
MK1K Patent expired