NO312795B1 - Apparat for sporfölging av en gjenstand - Google Patents

Description

Den foreliggende oppfinnelse vedrører et apparat for spor-følging av gjenstander, og er spesielt anvendelig for spor-følging av veikjøretøyer fra en luftplattform i et bymiljø.

Oppfinnelsen er ment for bruk i forbindelse med et billed-apparat som fremskaffer en sekvens av bilder av en scene

som omfatter en gjenstand, f.eks. et kjøretøy av interesse. Oppfinnelsen blir anvendt for å behandle billeddata som ge-nereres av billedapparatet, og for å.generere et fast punkt innenfor hvert suksessivt bilde som identifiserer posisjonen til gjenstanden av interesse.

Et mål med oppfinnelsen er å fremskaffe et sporfølgingsap-parat som er mindre tilbøyelig til misledning og avdrift enn kjente systemer som benytter vanlige, multiplikative korrelasjonsprosesser. Spesielt når elementtettheten er høy, har vanlige sporfølgere en tendens til å mislede mellom elementene. Med lav kontrast på elementene vil dessuten det faste punkt som er fremskaffet av sporfølgerne, bli ut-satt for avdrift mot en betydelig kantstruktur som er for-bundet til elementet.

Oppfinnelsen viser en betydelig reduksjon av både misledning og avdrift sammenlignet med de vanlige sporfølgere, og er spesielt anvendelig under de følgende betingelser: i) når bilder inneholder en høy elementtetthet med lignende romfrekvens som samme hos elementet av interesse,

ii) når elementer har fremherskende lav kontrast mot det lokale bakgrunnsbilde,

iii) når det ikke kan foretas noen underliggende antakelser om naturen til det element som skal følges.

Ifølge et første aspekt omfatter oppfinnelsen et sporføl-gingsapparat inneholdende:

- et innorgan for å motta fra en billeddanner et første sett av data som omfatter et bilde som representerer en be-traktet scene inneholdende et mål som skal spores, og for å generere et andre sett av data som omfatter en referanseflekk som definerer et område innen nevnte betraktede scene som inneholder målet, - malgenererende organer for å motta nevnte andre sett av data og generere et tredje sett av data som omfatter en binær mal som representerer målet, og - korrelasjonsorganer for å motta nevnte første, andre og tredje sett av data og utføre en multiplikativ korrelasjonsprosess på nevnte første, andre og tredje sett av data og generere et fast punkt som representerer posisjonen av målet innen betraktede scene.

Ifølge et annet aspekt omfatter oppfinnelsen et sporføl-gingsapparat inneholdende: - et innorgan for å motta fra en billeddanner, et første sett av data som omfatter et bilde som representerer en be-traktet scene inneholdende et mål som skal sporfølges, og for å generere et andre sett av data som omfatter en referanseflekk som definerer et område innen nevnte betraktede scene som inneholder målet, - malgenererende organer for å motta nevnte andre sett av data og for å generere et tredje sett av data som omfatter en binær mal som representerer målet, og - en korrelator for å motta nevnte andre og tredje sett av data og for å utføre en subtraktiv korrelasjon mellom nevnte andre og tredje sett av data og for å generere et fast punkt som representerer posisjonen av målet innen nevnte betraktede scene.

Ved en utførelsesform blir punkter med høy krumning valgt ut fra et gråskalabilde og deretter terskelbehandlet for å forme et binært bilde. De binære punkter danner frø rundt hvilke en morfologisk utvidelse kan utføres.

Ulikt noen kjente sporfølgere, f.eks. de som er basert på

Hough-transformering, foretar ikke oppfinnelsen noen antakelser om det underliggende billedinnhold. Ved å utlede en gjenkjennelsesbinær mal automatisk fra et referansebilde (en datadreven teknikk), blir svaret fra den passende prosess nærmest optimal, idet det antas at gjenstandens form ikke forandrer seg stort mellom bildene. Malen som er utle-det fra de effektive høy-krumningspunkter, sikrer at korrelasjonen bare opptrer i den nærmeste lokalitet av betydelig fysisk struktur. I tillegg fastholder malen reiasjonsinfor-masjon, dvs. registrerer denne strukturs relative romlige utforming, og forspenner korrelasjonen til deler av bildet som inneholder samme romlige fordeling av vesentlige elementer .

Det har vist seg at oppfinnelsen virker robust på sekvenser av termiske bilder i 3-5 mikrometerbåndet og 8-12 mikrometerbåndet.

Noen utførelsesformer for oppfinnelsen vil nå bli eksempel-vis beskrevet kun under henvisning til tegningene, hvor

figurene 1 og 2 er skjematiske diagrammer av alternative utførelsesformer for et sporfølgingsapparat ifølge oppfinnelsen, og

figurene 3A, 3B og 3C representerer bilder av et sporfulgt kjøretøy ved tre forskjellige trinn av databehandlingen.

Figur 1 viser i blokkform, en termisk billeddanner 1 anord-net for å betrakte en byscene fra en luftplattform, f.eks. et helikopter. Scenen kan når som helst inneholde et vei-kjøretøy hvis posisjon skal sporfølges. Et scenebilde blir bearbeidet ved hjelp av en rammegenerator 2 som er koblet til billeddannerens 1 utgang. Rammegeneratoren 2 mottar også innsignaler (Xo, Yo) fra en ervervelsesmodul 3 og et ytterligere sett av innsignaler (Xi, Yi) fra en sporføl-gings-styremodul 4. Rammegeneratoren 2 har en første utgang sammensatt av en tidssekvens (eller suksessive rammer) av gråskalabilder li, I2, In omfattende byscenen. En andre utgang, når en rekke av faste punkter (Xi, Yi) blir fremskaffet ved hjelp av sporfølgings-styremodulen 4, omfatter en sekvens av gråskalareferanseflekker Po, Pi, .... Pn. Hver referanseflekk definerer et område innenfor et tilknyttet bilde av byscenen, som inneholder det kjøretøy som skal sporfølges. Den første flekk Po blir generert ved hjelp av et fast punkt generert ved hjelp av ervervelsesmodulen 3.

Hver av de to utgangene fra rammegeneratoren 2 blir matet til en inngang hos korrelatoren 5. Dessuten blir den andre utgang fra rammegeneratoren 2 sammensatt av referanseflek-ker Po .... Pn pålagt inngangen hos en kantdetektor 6. Utgangen fra kantdetektoren 6 blir deretter pålagt inngangen hos en krumningsgenerator 7. Utgangen fra generatoren 7 blir matet inn i en binæriserings- og utvidelsesmodul 8 hvis utgang danner en tredje inngang til korrelatoren 5.

En utgang fra korrelatoren 5 kan benyttes av sporfølgings-styremodulen 4 for å justere billeddannerens 1 stilling, slik at f.eks. synsfeltet alltid blir sentrert på det spor-fulgte kjøretøy.

I drift blir en første referanseflekk Pi bearbeidet ved hjelp av kantdetektoren 6. Prosessen omfatter en lokal kantdetektering i både horisontal og vertikal retning. En typisk realisering benytter en 5<*>5 lokal kantdetektor for å fremskaffe to kantkart.

I den neste operasjon, som utføres av krumningsgeneratoren 7, blir de to kantkart multiplisert med hverandre og norma-lisert ved hjelp av en funksjon som er en sum av de to kantkart for ikke-null punkter. Det resulterende bilde er en forenkling av (men knyttet til) den gaussiske krumning av billedoverflaten.

Utgangen fra generatoren 7 blir deretter behandlet av binæriserings- og utvidelsesmodulen 8. Det utledede krumningsbilde (som kan anses å kaste skygge på referanseflekken Pi) fra generatoren 7 blir terskelbehandlet og binærisert for å danne et binært bilde av høykrumningspunkter. Man har fun-net at signalet til bakgrunnsforhold er svært høyt og at den valgte terskelverdi er ikke-kritisk for en lang rekke av verdier. Denne egenskap bidrar til robustheten av den tidligere nevnte prosess for en lang rekke av billedtyper.

De punkter som inneholder det binære bilde blir modifisert ved hjelp av modulen 8 ved utførelse av en morfologisk utvidelse rundt hvert høykrumningspunkt. Dette resulterer i en "utsmøring" av hvert punkt.,

Den ovenfor nevnte prosess blir vist på figurene 3A - 3C.

Figur 3A representerer et termisk bilde av en scene som viser et veikjøretøy 9. Et termisk bilde ville vise områder med høy kontrast og krumning rundt frontruten 10 som re-flekterer den kalde himmelen, og området 11 rundt dekkene som er varme. Figur 3B viser et binærisert bilde med høy-krumningspunkter 12, og figur 3C representerer resultatet av utvidelsesprosessen. Utgangen fra binæriserings- og utvidelsesmodulen danner en binær mal 13. Graden av utvidelse kan forhåndsinnstilles avhengig av skalaen av elementer innenfor referanseflekkbildet.

Utgangsmalen fra modulen 8 blir benyttet i en korrelasjonsprosess ved hjelp av korrelatoren 5. På dette siste trinn blir det utført en multiplikativ korrelasjon mellom en referanseflekk, f.eks. Pi, og et suksessivt bilde, i dette tilfelle I2. Imidlertid blir bare korrelasjonssummen akku-mulert for ikke-null punkter innenfor den binære mal 13. På denne måte opptrer korrelasjonen ved vesentlige områder innenfor bildet, dvs. de i nærheten av høykrumningspunktene. Følgelig blir signalet til bakgrunnsforhold forøket. Utgangen fra korrelatoren er et fast punkt som lokaliserer kjøretøyets posisjon innenfor bildet I2. Hele prosessen blir repetert for neste referanseflekk, P2 som blir korre-lert på lignende måte med det suksessive bilde I3, osv. Dersom det er ønskelig, kan korrelatoren 5 utformes for å fremskaffe en korrelasjonsoverflate som følge av den ovenfor beskrevne korrelasjonsprosess. En slik overflate vil vise større lokalisering av det interessante billedelement og et høyere signal til støyforhold enn en korrelasjonsoverflate svarende til den vanlige multiplikative korrelasjonsprosess.

Det henvises nå til figur 2 som representer en alternativ utførelsesform. Komponenter som er felles for både den første og andre utførelsesform, har blitt betegnet med samme henvisningstall.

På figur 2 blir en ref eransef lekk, f.eks. Pi, fra et gråskalabilde fremskaffet av den termiske billeddanner 1, behandlet av kantdetektoren 6, krumningsgeneratoren 7 og binæriserings- og utvidelsesmodulen 8 på samme måte som det er beskrevet under henvisning til figur 1. Forskjellen mellom de to fremgangsmåter ligger i korrelatorens 5 funksjon. I det vesentlige blir det her heller benyttet en subtraktiv korrelasjonsprosess enn en multiplikativ korrelasjonsprosess .

Det utvidede binære bilde som fremkommer ved utgangen fra

modulen 8, blir underinndelt i korrelatoren ved hjelp av en underinndelingsmodul 14, i et antall underflekker svarende til hvert tydelige område i det binære bilde, f.eks. områder 13A, 13B og 13C på figur 3C. På lignende måte blir referanseflekken P2 i det suksessive gråskalabilde I2 underinndelt i tilsvarende områder ved hjelp av underinndelings-modulen 15. Underflekkene og de underinndelte områder blir deretter behandlet ved hjelp av en elementpunkttilpassende modul 16. I det vesentlige blir flekker plassert rundt

hvert markante høykrumningspunkt for det interessante element i det aktuelle bilde, og også i et definert leteområde innenfor det etterfølgende bilde. Parvis tilpasning finner så sted mellom disse to punkter. Den elementpunkttilpassende modul 16 blir utformet for å bestemme den beste tilpas-

ning mellom hver underflekk (i) og underinndelt område (j). Den oppnår dette ved først å finne den maksimale korrelasjonskoeffisient for alle par (i, j) og å bestemme tilpas-ningen. Deretter utelukker tilpasningsmodulen 16 den korre-las j onskoef f isient fra alle andre tilpasninger. Deretter blir den maksimale korrelasjonskoeffisient for alle gjenvæ-rende tilpasninger beregnet. Til slutt blir fremgangsmåten gjentatt inntil alle tilpasningene over en viss forhånds-valgt terskelverdi er oppnådd.

I det siste korrelasjonstrinn blir et fast punkt generert av modul 17. Genereringen av det faste punkt kan gjøres på enhver av flere kjente måter. Ett valg kan være foretrukket fremfor andre, avhengig av de fremskaffede datas karakte-ristikker. F.eks. dersom dataene er spesielt støyende og sannsynligheten for falske tilpasninger er høy, så skulle den beste parvise korrelasjon bli brukt for å oppdatere den faste posisjon. Alternativt, for data med lavt støyinnhold, for et sett med parvise korrelasjonstilpasninger (over en terskelverdi), skulle den gjennomsnittlige posisjon bli brukt for å oppdatere den faste posisjon. Det tredje alternativ gjør en begrenset tilpasning, dvs. et undersett av parvise korrelasjonstilpasninger (over en terskelverdi)

blir brukt til å fremskaffe et gjennomsnittlig fast punkt. Undersettet blir valgt slik at det gjennomsnittlige faste punkt ligger innenfor en viss avstand fra den faste posisjon som er etablert for den tidligere ramme. Denne be-grensning fremskaffer en ytterligere sikkerhet mot parvis feiltilpasning og følgelig et feilaktig fast punkt.

Claims (7)

1. Apparat for sporfølging, karakterisert ved- et innorgan for å motta fra en billeddanner et første sett av data som omfatter et bilde som representerer en be-traktet scene inneholdende et mål som skal spores, og for å generere et andre sett av data som omfatter en referanseflekk som definerer et område innen nevnte betraktede scene som inneholder målet, - malgenererende organer for å motta nevnte andre sett av data og generere et tredje sett av data som omfatter en binær mal som representerer målet, og - korrelasjonsorganer for å motta nevnte første, andre og tredje sett av data og utføre en multiplikativ korrelasjonsprosess på nevnte første, andre og tredje sett av data og generere et fast punkt som representerer posisjonen av målet innen betraktede scene.

2. Apparat for sporfølging som angitt krav 1, karakterisert ved at nevnte malgenererende organer inkluderer: - en kantdetektor for å frembringe kantkart av målet inne-holdt i referanseflekken, - krumningsgenerator for å identifisere områder med stor krumning i nevnte kantkart og frembringe et krumningsbilde av målet, - en binæriseringsmodul for å frembringe et binært bilde fra nevnte krumningsbilde, og - en utvidelsesmodul for å utføre en morfologisk utvidelse rundt høykrumningspunkter i nevnte binære bilde for derved å frembringe en binær mal.

3. Apparat for sporfølging som angitt krav 1, karakterisert ved en ervervelsesmodul for å generere en innledende referanseflekk.

4. Apparat for sporfølging, karakterisert ved- et innorgan for å motta fra en billeddanner, et første sett av data som omfatter et bilde som representerer en be-traktet scene inneholdende et mål som skal sporfølges, og for å generere et andre sett av data som omfatter en referanseflekk som definerer et område innen nevnte betraktede scene som inneholder målet, - malgenererende organer for å motta nevnte andre sett av data og for å generere et tredje sett av data som omfatter en binær mal som representerer målet, og - en korrelator for å motta nevnte andre og tredje sett av data og for å utføre en subtraktiv korrelasjon mellom nevnte andre og tredje sett av data og for å generere et fast punkt som representerer posisjonen av målet innen nevnte betraktede scene.

5. Apparat for sporfølging ifølge krav 4, karakterisert ved at nevnte korrelator inkluderer: - en underinndelingsmodul for å dele inn nevnte binære mal og nevnte referanseflekk i respektive underflekker, og - en elementpunkt tilpassende modul for å bestemme en beste tilpasning mellom respektive underflekker for derved å generere nevnte faste punkt.

6. Apparat for sporfølging ifølge krav 4, karakterisert ved at nevnte malgenererende organer inkluderer: - en kantdetektor for å frembringe kantkart av målet inne-holdt innen referanseflekken, - en krumningsgenerator for å identifiserer områder med stor krumning i nevnte kantkart og frembringe et krumningsbilde av målet, - binæriseringsorganer for å frembringe et binært bilde fra nevnte krumningsbilde, og - utvidelsesorganer for å utføre en morfologisk utvidelse rundt høykrumningspunkter i nevnte binære bilde og derved generere en binær mal.

7. Apparat for sporfølging ifølge krav 4, karakterisert ved at det videre omfatter en ervervsmodul for å generere en innledende referanseflekk.