NO316849B1 - Adaptiv ikke-uniform kompensasjonsalgoritme - Google Patents

Adaptiv ikke-uniform kompensasjonsalgoritme Download PDF

Info

Publication number
NO316849B1
NO316849B1 NO19985898A NO985898A NO316849B1 NO 316849 B1 NO316849 B1 NO 316849B1 NO 19985898 A NO19985898 A NO 19985898A NO 985898 A NO985898 A NO 985898A NO 316849 B1 NO316849 B1 NO 316849B1
Authority
NO
Norway
Prior art keywords
image
fpa
filter
corrected
blurred
Prior art date
Application number
NO19985898A
Other languages
English (en)
Other versions
NO985898L (no
NO985898D0 (no
Inventor
Patrick M Kilgore
Original Assignee
Raytheon Co
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Raytheon Co filed Critical Raytheon Co
Publication of NO985898D0 publication Critical patent/NO985898D0/no
Publication of NO985898L publication Critical patent/NO985898L/no
Publication of NO316849B1 publication Critical patent/NO316849B1/no

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N25/00Circuitry of solid-state image sensors [SSIS]; Control thereof
    • H04N25/60Noise processing, e.g. detecting, correcting, reducing or removing noise
    • H04N25/67Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response
    • H04N25/671Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction
    • H04N25/673Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources
    • H04N25/674Noise processing, e.g. detecting, correcting, reducing or removing noise applied to fixed-pattern noise, e.g. non-uniformity of response for non-uniformity detection or correction by using reference sources based on the scene itself, e.g. defocusing
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/30Transforming light or analogous information into electric information
    • H04N5/33Transforming infrared radiation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Transforming Light Signals Into Electric Signals (AREA)
  • Investigating Or Analyzing Materials By The Use Of Electric Means (AREA)
  • Measuring Fluid Pressure (AREA)
  • Measuring Pulse, Heart Rate, Blood Pressure Or Blood Flow (AREA)
  • Networks Using Active Elements (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Description

Foreliggende oppfinnelse vedrører en adaptiv fremgangsmåte for å fjerne støy med fast mønster fra avbildninger frembrakt av fokalplan-følergrupper (FPA), samt en adaptiv føler- og ikke-uniformt kompenseirngsutstyr for å frembringe en korrigert utgangsavbildning fra en fokalplan-øflergruppe (FPA), hvor støy i fast mønster er blitt kompensert i en FPA-avbildningsprosess.
Fokale plane følergrupper (FPA) anvendes i forskjellige anvendelser for å fange opp
bilder for påfølgende behandlingsprosesser. Flyvelegemer for operasjoner fra luft-til-luft har f.eks. anvendt infrarøde følere med FPA for å fange opp infrarøde avbildninger av et mål som sporfølges. Den fokale plane følergruppe inneholder n x n infrarøde detektorer. Hver detektor har en noe avvikende følsomhet overfor infrarød stråling. Denne ikke-uniforme følsomhet gir da støy i fast mønster (FPN). FPN tilkjennegir seg i avbildningen på en slik måte at visse bildeelementer er for lyse og visse er for mørke.
Noen flyvelegemer-øflerprosessorer har utnyttet algoritmer for å redusere FPN. Algoritmer som er i vanlig bruk for tiden har innført vesentlige kunstige scener i utgangsavbildningen, og som kan bringe flyvelegemer-sporfølgeren til å feilaktig følge målet. Anstrengelser for å redusere sceneveksten av slike kunstige scener har ført til utilstrekkelig reduksjon av støy i fast mønster under visse simulerte flyveforhold.
Til belysning av kjent teknikk vises til US 4975864 som beskriver et system og en metode relatert til ikke-uniform kompensasjon av stirrende infrarød fokalplan-føler-grupper avbildingssystem. Systemet omfatter en prosessor som genererer kompen-sasjonsparameter som er forhåndslagret i et minne og sammenlikner dem med utgangs-signaler fra følegrupper. Prosessoren innbefatter et medianfilter som iverksetter forskjellige filterformer og som er koplet til en anitmedian-beregningsmaskin som beregner antimedian av utvalgte utgang av medianfilteret. De beregnete verdier inneholder differensen mellom senterpikselverdi av et enkelt filter og medianverdi av alle piksler i en bestemt filterform, hvor de beregnete verdier blir benyttet til å finne intensitetsnivå.
Det vil derfor være fordelaktig å kunne frembringe en teknikk for fjerning av støy i fast mønster fra føleravbildninger uten at det derved innføres vesentlige kunstige scener i avbildningen.
Ifølge oppfinnelsen kjennetegnes den adaptive fermgangsmåten ved å oppnå henholdsvis fokuserte og uskarpe versjoner av en FPA-avbildning, å tilføre et sett korreksjonsledd til den fokuserte versjon av nevnte FPA-avbildning for å frembringe en korrigert fokusert FPA-avbildning,
å anvende et filter på den korrigerte, fokuserte versjon av nevnte FPA-avbildning for å oppnå en filtrert fokus-avbildning,
å anvende nevnte sett av korreksjonsledd på nevnte uskarpe versjon av FPA-avbildningen for å frembringe en korrigert, uskarp versjon av nevnte FPA-avbildning,
å anvende nevnte filter på den korrigerte, uskarpe avbildning for å frembringe en filtrert, uskarp avbildning,
å beregne støyfeil i fast mønster ved å anvende den filtrerte fokus-avbildning og den filtrerte uskarpe avbildning, og
å utnytte nevnte støyfeil i fast mønster for å oppdatere korreksjonsleddene forbruk ved behandling av en påfølgende FPA-avbildning.
Ytterligere utførelsesformer av fremgangsmåten fremgår av de vedlagte, underordnete krav 2-9.
Det innledningsvis nevnte adaptive føler- og ikke-uniforme kompenseirngsutstyr kjennetegnes ifølge oppfinnelsen ved at utstyret omfatter en føleranordning som omfatter føleroptikk, en fokalplan-gruppe av infrarøde detektorer for å frembringe FPA-avbildninger, og analogt/digitalt omformerapparat for omforming av nevnte FPA-avbildninger til digitaliserte FPA-avbildninger som omfatter et sett av bildeelement-verdier, idet føleroptikken er innrettet for å frembringe så vel fokuserte som uskarpe versjoner av avbildningene,
en adaptiv ikke-uniform kompensasjonsprosessor for kompensering av ikke-uniform følsomhet for nevnte infrarøde detektorer overfor infrarød stråling, idet nevnte prosessor justerer hver bildeelementverdi for å kompensere for den avvikende følsomhet for hver detektor i FPA og frembringe en korrigert utgangsavbildning, og nevnte prosessor omfatter: første midler for å tilføre et sett av korreksjonsledd til en fokusert versjon av nevnte FPA-avbildning for derved å frembringe en korrigert, fokusert FPA-avbildning, en første filteranordning for å anvende et filter på den korrigerte, fokuserte versjon av
nevnte FPA-avbildning for derved å oppnå en filtrert fokus-avbildning, andre midler for å tilføre nevnte sett av korreksjonsledd til nevnte uskarpe versjon av FPA-avbildningen for derved å frembringe en korrigert uskarp versjon av nevnte FPA-avbildning, en andre filteranordning for å anvende nevnte filter og den korrigerte, uskarpe avbildning og derved frembringe en filtrert uskarp avbildning, tredje midler for beregning av støyfeil i fast mønster ved å anvende den filtrerte fokusavbildning og den filtrerte uskarpe
avbildning, og fjerde midler for å anvende nevnte støyfeil i fast mønster til å oppdatere korreksjonsleddene for bruk ved behandling av en påfølgende FPA-avbildning.
Ytterligere utførelsesformer av utstyret fremgår av de vedlagte, underordnete patentkrav 11 og 12.
Disse og andre særtrekk og fordeler ved foreliggende oppfinnelsesgjenstand vil fremtre klarere ut fra følgende detaljerte beskrivelse av et utførelseseksempel av oppfinnelsesgjenstanden, slik den er anskueliggjort på de vedlagte tegninger, hvorpå:
i
fig. 1 er en forenklet skjematisk skisse av utstyr for sporfølging av et flyvelegeme og hvori foreliggende oppfinnelse med fordel er utnyttet. Fig. 2 angir en sekvens av avbildninger 1 ... n+1, som veksler mellom en fokusert avbildning og en uskarp avbildning, frembrakt i følerutgangen for utstyret i fig. 1. Fig. 3 viser et toppnivå-lfytskjema som anskueliggjør en første utførelse av den adaptive NUC-prosess i henhold til oppfinnelsen.
Fig. 4 angir behandlingen av det fokuserte bilde i Alterutstyret i fig. 3.
Fig. 5 er et flytskjema som viser behandlingen av den uskarpe avbildning i filterutstyret i fig. 3. Fig. 6 angir anvendelsen av anti-medianfilteret ved behandlingen i filterutstyret i fig. 3.
Fig. 7A-7D viser fire filtermønstre som anvendes i filterutstyret i fig. 3.
Fig. 8 viser syklisk variasjon av filtermønstrene for hvert påfølgende par av fokuserte/uskarpe avbildningsgrupperinger. Fig. 9 viser skjematisk oppdateringen av korreksjonsleddene som anvendes for utstyret i fig. 3. Fig. 10 viser skjematisk anvendelsen av korreksjonsleddene på inngangsavbildningen til filterutstyret i fig. 3.
Fig. 11 viser en alternativ utførelse av oppfinnelsesgjenstanden.
Fig. 12 anskueliggjør behandlingen av den fokuserte avbildning i filterutstyret i fig. 11. Fig. 13 er et flytskjema som viser behandlingen av den uskarpe avbildning i filterutstyret ifig. 11.
Fig. 14 viser anvendelse av anu-medianfilteret som inngår i utstyret i fig. 11.
Fig. 15A og 15B viser hvert sett av to filtermønstre som anvendes i filterutstyret i fig. 11. Fig. 16 viser den sykliske anvendelse av filtermønstrene i fig. 15A og 15B for hvert påfølgende par av fokuserte/uskarpe bilderammer. Fig. 17 viser skjematisk oppdateringen av korreksjonsleddene ved hjelp av filterutstyret ifig. 11. Fig. 1 viser en forenklet skjematisk skisse av utstyr for sporfølging av flyvelegemer og hvori foreliggende oppfinnelse med fordel kan anvendes. I alminnelighet omfatter et slikt sporfølgjngssystem en føler 10 som frembringer en avbildning. Vanligvis omfatter føleren 10 optikk 12 for oppsamling og fokusering av innfallende infrarød energi fra den omgivende scene for målavbildning på følergruppe 14 i fokalplanet, hvor det frembringes en infrarød avbildning av scenen/området som sporfølges. Føleren 10 omfatter en analog/digital-omformer (A/D) 16, som omformer hver av de n x n detektor-utgangssignaler til digitale (numeriske) verdier eller bildeelementer. De digitaliserte bilder behandles i samsvar med oppfinnelsen ved hjelp av den adaptive ikke-uniforme kompensasjonsprosessor (NUC) 20 for å frembringe korrigerte utgangsbilder 30 hvori uekte scenetilskudd er blitt redusert, samt også støy i fast mønster er blitt nedsatt eller eliminert. NUC-prosessoren 20 justerer hvert bildeelement for å kompensere for den avvikende følsomhet for hver detektor i FPA 14. Sporfølgingssystemet (ikke vist) anvender da de korrigerte utgangsbilder i sporfølgingen av målene. Fig. 2 viser en sekvens av avbildninger 1 ... n + 1, som veksler mellom en fokusert avbildning og en uskarp avbildning. Følerutgangen avgir avvekslende fokuserte og uskarpe avbildninger. Denne fokusering og sløring styres av føleroptikken 12. Et eksempel på hvorledes slike fokuserte og uskarpe avbildninger kan frembringes er å bruke et filterhjul i føleroptikken 12. Dette filterhjul roterer og har separate optikker/linser for å frembringe henholdsvis den fokuserte avbildning og den slørede avbildning. De slørede eller uskarpe avbildninger anvendes som en del av NUC-prosessen for å bidra til å skjelne mellom scene og mål fra FPN. Fig. 3 er et flytskjema på toppnivå og som anskueliggjør en første utførelse av den adaptive NUC-prosess i henhold til oppfinnelsen. Inngangsavbildningen 18, som er enten en fokusert avbildning 18A eller en uskarp avbildning 18B, mottas fra føleren 10. Korreksjonsleddene 26 påtrykkes inngangsavbildningen i prosesstrinn 22 for å frembringe en korrigert utgangsavbildning. Korreksjonsleddene er innledningsvis nullverdier. Den korrigerte utgangsavbildning 30 overføres både til sporfølingsutstyret og til NUC-filterutstyret 24. Forskjellige NUC-filtre anvendes for henholdsvis den fokuserte og den uskarpe avbildning. Disse to filtre er beskrevet nedenfor. Filterutstyret 24 oppdaterer korreksjonsleddene 26 på grunnlag av den korrigerte utgangsavbildning. Fig. 4 viser behandlingen av den fokuserte avbildning i filterutstyret 24 i fig. 3. Den fokuserte inngangsavbildning 18A mottas fra føleren, og korreksjonsleddene 26 tilføres i prosesstrinn 22 for å frembringe den korrigerte fokuserte avbildning 30, slik som beskrevet ovenfor. Filterutstyret 24 omfatter et filter 24A for fokusert avbildning, og som omfatter anvendelse av et anti-medianfilter 24C i trinn 24A1 på den korrigerte fokuserte avbildning for å frembringe en anti-medianavbildning 30A. Avbildningen 30A lagres i datalager for bruk på den etterfølgende uskarpe avbildning 18B. Fig. 5 er et flytskjema som viser behandlingen av den uskarpe avbildning i filterutstyret 24 i fig. 3. Den uskarpe avbildning 18B mottas av føleren 10, og korreksjonsleddene 26 tilføres i trinn 22 for å frembringe den korrigerte uskarpe avbildning 30B, nemlig en utgangsavbildning som kan utnyttes for diagnose. Filterutstyret 24 omfatter et uskarpt-filter 24B som omfatter anvendelse av det samme anti-medianfilter 24C som anvendes i fokuseringsfilteret 24A på det korrigerte uskarpe bildet. Da anti-medianfilteret anvendes på det korrigerte uskarpe bildet, blir dets utgangsavbildning sammenlignet med den lagrede filterutgang fra den tidligere fokus-avbildning over en NUC-sammenligningsfunksjon 24B2, som vil bli nærmere beskrevet nedenfor. Utgangen fra sammenligningsfunksjonen frembringer feilledd som anvendes for å oppdatere korreksjonsleddene for den neste innkommende fokuserte avbildning. Fig. 6, 7A-7D og 8 anskueliggjør anvendelsen av anti-medianfilteret 24C. Inngangsavbildningen 18 har en størrelse på n bildeelementer ganger n bildeelementer. Hvert bildeelement har en numerisk verdi som representerer lydstyrke/intensitet. For hvert bildeelement X i avbildningen anvendes lysstyrke/intensitetsverdiene for X og to av dets nabobildeelementer for å beregne en medianverdi. Denne medianverdi beregnet ved å sortere de tre bildeelementer i tiltagende rekkefølge med hensyn på lydstyrke/intensitets-verdier, samt valg av det midtre element i den sorterte liste til å være medianelementet. To ekstra rekker og kolonner av avvekslene maksimalverdier (M) og minsteverdier (m) legges til avbildningen for å håndtere grensebetingelsene. "Anti-medianen" er et mål på i hvilken grad bildeelementene avviker fra medianen. "Anti-medianen" beregnes ved å subtrahere bildeelement "X" fra medianen på følgende måte:
Resultatet av filtreringen er et n x n med sett 18D av anti-medianverdier for avbildningen 18.
Det foreligger fire filtermønstre, vist som mønstrene 1-4 i fig. 7A-7D, som anvendes i filterutstyret 24.1 fig. 7A-7D angir de skraverte områdene bildeelementer som anvendes i medianberegningen, mens midt-bildeelementet er markert med "X". Mønstrene veksles i syklus fra mønster 1 til og med mønster 4 for hvert påfølgende par av fokus/uskarpe bilderammer, slik som anskueliggjort i fig. 8. For et første sett av fokuserte/uskarpe avbildninger, nemlig avbildningene 1 og 2, anvendes filtermønsteret 1, mens for det andre sett av avbildninger, nemlig avbildningene 3 og 4, anvendes filtermønsteret 2 og for det tredje sett avbildninger 5 og 6 utnyttes filtermønsteret 3 samt for det fjerde sett avbildninger 7 og 8 benyttes filtermønsteret 4, hvoretter filtermønster-syklusen begynner på nytt med avbildningene 9 og 10.
Sammenligningsfunksjonen 24B2 (fig. 5) vil nå bli beskrevet. Hver verdi (rekke, kolonne) av anti-medianavbildningen (fokus) sammenlignes med den tilsvarende verdi for anti-medianavbildningen (uskarp) på følgende måte. Prøve 1: kontroller om tegnet (+/-) for anti-medianfokus er lik fortegnet (+/-) for anti-medianuskarpheten. Prøve 2: kontroller om anti-medianuskarpheten er større enn en viss brøkdel (f.eks. 3/4) av anti-medianfokus, eller dette ikke er tilfellet. Hvis prøve 1 og prøve 2 er bestått, så settes feilleddet lik anti-medianfokus, ellers settes feilleddet til null.
Beregningen av anti-medianen kan enten gi positivt eller negativt resultat, alt ettersom midt-bildeelementet "X" er større eller mindre enn medianverdien. Anta f.eks. at medianen er 100 og midt-bildeelementet er 90. Anti-medianen vil da være lik 100 minus 90, eller ha positiv verdi 10. Men hvis midt-bildeelementet var 115, så ville anti-medianen være lik 100 minus 115 eller -15, som er en negativ verdi. Feilene og korreksjonsleddene kan være positive eller negative. Positive verdier anvendes for å korrigere bildeelementer som er for mørke. Negative verdier anvendes for å korrigere bildeelementer som er for lyse.
Sammenligningsfunksjonen 24B2 kan skrives på følgende måte:
Feilleddene anvendes for å oppdatere korreksjonsleddene. Hvert feilledd (rekke, kol) multipliseres med to og adderes så til korreksjonsleddet (rekke, kol) for å gi oppdaterte korreksjonsledd. Fordi korreksjonsleddene har høyere presisjon enn avbildningen, blir korreksjonsleddene dividert med åtte før de adderes til avbildningen. Funksjonene "multipliser feilledd med to, divider med åtte" resulterer i en kvart (1/4) korreksjon av den anslåtte feil. Oppdateringen av korreksjonsleddene er skjematisk anskueliggjort i fig. 9, som viser at feilleddene (n verdier x n verdier) multipliseres med 2 og adderes til det eksisterende sett av korreksjonsledd (n bildeelementer x n bildeelementer).
Korreksjonsleddene samles opp over mange bilderammer og lagres med åtte ganger presisjonen av avbildningen. Hvert korreksjonsledd deles med åtte og så adderes til det innkommende avbildnings-bildeelement (rekke, kol) for å gi et nytt bildeelement (rekke, kol) i utgangsavbildningen. Dette er vist skjematisk i fig. 10, hvor det oppdaterte sett av korreksjonsledd (n verdier x n verdier) blir dividert med åtte, samt lagt til inngangsavbildningen (n bildeelementer x n bildeelementer) for å frembringe den korrigerte utgangsavbildning.
Fig. 11 viser en alternativ utførelse av oppfinnelsesgjenstanden. En alternativ NUC-prosessor 20' avgir korreksjonsledd til inngangsavbildningen og utnytter et NUC-II fiUerutstyr 24' for beregning av korreksjonsleddene. Som i den viste utførelse i fig. 3, mottas inngangsavbildningen 18 (fokusert eller uskarp) fra føleren 10. Korreksjonsleddene tilføres ved 22 til inngangsavbildningen for å frembringe en korrigert utgangsavbildning 30'. Korreksjonsleddene er innledningsvis null og påføres på samme måte som beskrevet ovenfor under henvisning til prosessoren 20. Den korrigerte utgangsavbildning overføres både til sporfølgingsutstyret og til NUC-II filterutrustningen 24'. Et forskjellig NUC-II filter anvendes for fokuserte og uskarpe avbildninger, slik som det vil bli nærmere beskrevet nedenfor. NUC-filterutstyret 24' oppdaterer korreksjonsleddene basert på den korrigerte utgangsavbildning 30'.
Fig. 12 viser behandlingen av den fokuserte avbildning i filterutrustningen 24' i fig. 11. Den innkommende fokuserte avbildning 18A mottas fra føleren, og korreksjonsleddene 26' tilføres i trinn 22 for å frembringe den korrigerte fokuserte avbildning 30', slik som beskrevet ovenfor. Filterutstyret 24' omfatter et filter 24A' for fokusert avbildning, og som omfatter anvendelse av et anti-medianfilter 24C i prosesstrinn 24Al' på det korrigerte fokuserte bildet for å frembringe en anti-medianavbildning 30A<1>. Avbildningen 3OA' lagres i datalager for bruk på det etterfølgende uskarpe bildet 18B. Fig. 13 er et flytskjema som viser behandlingen av den uskarpe avbildningen i filterutstyret 24' i fig. 11. Den uskarpe avbildning 18B mottas fra føleren 10, og korreksjonsleddene 26' tilføres i trinn 22 for å frembringe det korrigerte uskarpe bildet 30B', nemlig en bildeutgang som kan utnyttes for diagnose. Filterutstyret 24' omfatter et uskarpt-filter 24B' som omfatter anvendelse av samme anti-medianfilter 24C som ble anvendt for fokuseringsfilteret 24A' på den korrigerte uskarpe avbildning. Når anti-medianfilteret anvendes på det korrigerte uskarpe bildet, blir utgangsbildet sammenlignet med den filterutgang som er lagret fra den forutgående fokus-bilderamme ved hjelp av en NUC-II sammenligningsfunksjon 24B2', som vil bli nærmere beskrevet nedenfor. Utgangen fra sammenligningsfunksjonen frembringer de feilledd som skal anvendes for å oppdatere korreksjonsleddene for den neste innkommende fokus-avbildning. Fig. 14,15A-15D og 16 anskueliggjør anvendelsen av anti-medianfilteret 24C. Inngangsavbildningen 18 har en størrelse på n bildeelementer x n bildeelementer. For hvert bildeelement X i avbildningen blir summen av X og dets nabo-bildeelementer som er angitt ved de skraverte områder i filtermasken beregnet. Denne sum blir "alfa-trimmet" ved å subtrahere de minste og største bildeelementverdier som befinner seg innenfor filtermasken. Middelverdien (medianen) beregnes ved å dividere den "alfa-trimmede" sum med antall gjenværende bildeelementer i summen. Filtermaske-bildeelementer utenfor avbildningsgrensene ignoreres i beregningen. Dette er anskueliggjort ved plasseringen av filtermasken med 13 bildeelementer i fig. 14, som angir utgangsposisjonen for anvendelse på n x n avbildningen. Da det ikke finnes noen verdier for syv av de maskebildeelementer som befinner seg utenfor avbildningsgrensen, må disse ignoreres ved beregningen av middelverdien. Ved denne startposisjon for filtermasken vil således bare seks bildeelementer i filtermasken dekke avbildningen, hvorav to fastlegges å utgjøre minimum og maksimum samt er "alfa-trimmet", og de gjenværende fire bildeelementer blir gjenstand for en middelverdibehandling for å fastlegge en middelverdi. Etter hvert som masken passerer over avbildningen, vil etter hvert alle 13 maskebildeelemen<r>ter ligge innenfor avbildningsgrensen og vil bli benyttet i beregningen. Det bør bemerkes at ved den anti-medianutførelse som er vist i fig. 6, ble dette grensebetingelse-tilfellet tatt hånd om ved å legge til ekstra maksimalverdier (M) og minimalverdier (m) rundt utsiden av avbildningens avgrensning. Dette kan ikke gjøres ved anti-medianfilteret, da maksimalverdiene (M) og minimalverdiene (m) ville skjevbelaste middelverdien. "Anti-medianen" er et mål på i hvilken grad bildeelementet avviker fra middelverdien (medianen). "Anti-medianen" beregnes ved å subtrahere bildeelementet "X" fra medianen på følgende måte:
Det er to filtermønstre som anvendes i NUC-II filterutstyret 24', og disse er vist i fig. 15A og 15B. De skraverte områder representerer bildeelementer som anvendes i middelverdi-beregningen, idet det midtre bildeelement er markert med en "X". Fig. 16 viser den sykliske anvendelse av filtermønstrene på hvert påfølgende par av fokuserte/uskarpe-bilderammer.
Sammenligningsfunksjonen 242B' omfatter følgende prosesstrinn. Hver verdi (rekke, kol) av anti-median-avbildningen (fokus) sammenlignes med den tilsvarende verdi for anti-median-avbildningen (uskarp) på følgende måte: Prøve 1: kontroller om absoluttverdien av forskjellen mellom anti-median fokus og anti-median uskarp er mindre eller lik 5. Prøve 2: bestem om absoluttverdien av anti-median fokus er mindre enn absoluttverdien av anti-median uskarp. Hvis prøve 1 og prøve 2 oppfylles, så settes feilleddet til verdien for anti-median fokus. Hvis prøve 1 oppfylles, men dette ikke er tilfellet for prøve 2, så settes feilleddet lik anti-median for uskarp. Hvis prøve 1 ikke oppfylles, settes feilleddet lik null og prøve 2 er da uten betydning.
Feilleddene anvendes for å oppdatere korreksjonsleddene 26'. Fig. 17 viser skjematisk oppdateringen av korreksjonsleddene. Hvert feilledd (rekke, -kol) multipliseres med en faktor (F) basert på dets størrelse og adderes så til korreksjonsleddet (rekke, kol) for å frembringe de oppdaterte korreksjonsledd.
Faktoren (F) beregnes på følgende måte. Den absolutte verdi av feilleddet anvendes for å fastlegge faktoren (F) som feilleddet skal multipliseres med. Anta f.eks. at feilleddene har en absolutt verdi innenfor området fra null (0) til og med 100. Hvis absoluttverdien for feilleddet er 0 eller 1, så settes faktoren (F) til 1. Hvis absoluttverdien av feilleddet er 2 til og med 7, så settes faktoren (F) lik 2. Hvis absoluttverdien av feilleddet er fra 8 til og med 33, så fastlegges feilfaktoren (F) til 4. Hvis absoluttverdien av feilleddet er 34 eller større, så settes faktoren (F) til 8. Da korreksjonsleddene har høyere presisjon enn avbildningen, så blir de dividert med åtte før de legges til avbildningen. En multipliseirngsfaktor (F) på 1 gir da en korreksjon på 1/8 for feilen, 2 gir 2/8 eller 1/4,4 gir 4/8 eller 1/2, og 8 gir 8/8 eller 1 som innebærer fullstendig korreksjon.
I samsvar med et aspekt ved oppfinnelsen som inngår i utstyret i fig. 11, blir FPN fjernet fra følergruppens fokalplanavbildning ved å sammenligne utgangen fra et anti-medianfilter som tilføres både fokuserte og optisk uskarpe avbildninger. Denne sammenligning utføres på en slik måte at det ikke frembringes uekte scene-gjenstander samtidig som det finere sceneinnhold ikke ødelegges. Fordi anti-medianfilteret anvendes, blir FPN fjernet selv i nærvær av avskygging. Avskygging kan forårsakes av det optiske utstyr, blå himmel og/eller kuppeloppvarming. Utførelsen i fig. 3 "avskjæres" effektivt i nærvær av avskygging på grunn av at det brukes et anti-medianfilter som bibeholder kantene innenfor avskyggingsgradientene.

Claims (12)

1. Adaptiv fremgangsmåte for å fjerne støy med fast mønster fra avbildninger frembrakt av fokalplan-følergrupper (FPA), karakterisert ved følgende prosesstrinn: å oppnå henholdsvis fokuserte og uskarpe versjoner (18A, 18B) av en FPA-avbildning (18); å tilføre (22) et sett korreksjonsledd (26) til den fokuserte versjon av nevnte FPA-avbildning for å frembringe en korrigert fokusert FPA-avbildning; å anvende et filter (24C) på den korrigerte, fokuserte versjon av nevnte FPA-avbildning for å oppnå en filtrert fokus-avbildning; å anvende nevnte sett av korreksjonsledd på nevnte uskarpe versjon av FPA-avbildningen for å frembringe en korrigert, uskarp versjon av nevnte FPA-avbildning; å anvende nevnte filter på den korrigerte, uskarpe avbildning for å frembringe en filtrert, uskarp avbildning; å beregne støyfeil i fast mønster ved å anvende den filtrerte fokus-avbildning og den filtrerte uskarpe avbildning; og å utnytte nevnte støyfeil i fast mønster for å oppdatere korreksjonsleddene for bruk ved behandling av en påfølgende FPA-avbildning.
2. Fremgangsmåte som angitt i krav 1 og videre karakterisert v e d at nevnte filter (24C) omfatter et anti-medianfilter som for hvert bildeelement i en avbildning frembringer en tilsvarende anti-middelverdi som er et mål på i hvilken grad bildeelementet avviker fra en medianverdi for vedkommende bildeelement og et sett av nabo-bildeelementer.
3. Fremgangsmåte som angitt i krav 2, og videre karakterisert v e d at nevnte sett av nabo-bildeelementer omfatter to bildeelementer på hver sin side av det bildeelement hvis middelverdi skal beregnes.
4. Fremgangsmåte som angitt i krav 3, og som videre er karakterisert ved at nevnte prosesstrinn som går ut på å beregne nevnte feil omfatter tillegg av grenserekker og grensekolonner med bildeelementverdier som avvekslende har maksimale og minimale bildeelementverdier, til nevnte korrigerte utgangsavbildning for avgrensing av denne avbildning og i tilpasning til grense-betingelser.
5. Fremgangsmåte som angitt i et av kravene 2-4, og som videre er karakterisert ved at nevnte prosesstrinn som går ut på beregning av nevnte feil omfatter sammenligning av tilsvarende verdier for nevnte fokusavbildning og nevnte uskarpe avbildning, samt beregning av tilsvarende feilledd avhengig av nevnte sammenligning.
6. Fremgangsmåte som angitt i krav 1, og som videre er karakterisert ved at nevnte filter omfatter et anti-medianfilter (24C) som for hvert bildeelement i en avbildning frembringer en tilsvarende anti-middelverdi som er et mål på i hvilken grad bildeelementet avviker fra en middelverdi for vedkommende bildeelement samt et sett av nabo-bildeelementer.
7. Fremgangsmåte som angitt i krav 6, og som videre er karakterisert ved at nevnte sett av nabo-bildeelementer omfatter en gruppe nabo-elementer, og hvor bildeelementene i nevnte gruppe ekskluderer maksimalverdier og minimalverdier fra nevnte beregning av middelverdien.
8. Fremgangsmåte som angitt i krav 6 eller krav 7, og som videre er karakterisert ved at nevnte trinn som går ut på beregning av nevnte feil omfatter sammenligning av tilsvarende verdier for nevnte fokus-avbildning og nevnte uskarpe avbildning, samt beregning av et tilsvarende feilledd avhengig av nevnte sammenligning.
9. Fremgangsmåte som angitt i et hvilket som helst av de forutgående krav, og videre karakterisert ved at nevnte FPA-avbildning (18) er en infrarød avbildning.
10. Adaptivt føler- og ikke-uniformt kompenseringsutstyr for å frembringe en korrigert utgangsavbildning fra en fokalplan-øflergruppe (FPA), hvor støy i fast mønster er blitt kompensert i en FPA-avbildningsprosess, karakterisert ved at utstyret omfatter: en føleranordning (10) som omfatter føleroptikk (12), en fokalplan-gruppe (14) av infrarøde detektorer for å frembringe FPA-avbildninger, og analogt/digitalt omformerapparat (16) for omforming av nevnte FPA-avbildninger til digitaliserte FPA-avbildninger som omfatter et sett av bildeelement-verdier, idet føleroptikken er innrettet for å frembringe så vel fokuserte som uskarpe versjoner av avbildningene, en adaptiv ikke-uniform kompensasjonsprosessor (20) for kompensering av ikke-uniform følsomhet for nevnte infrarøde detektorer overfor infrarød stråling, idet nevnte prosessor justerer hver bildeelementverdi for å kompensere for den avvikende følsomhet for hver detektor i FPA og frembringe en korrigert utgangsavbildning, og nevnte prosessor omfatter: første midler (22) for å tilføre et sett av korreksjonsledd (26) til en fokusert versjon (18A) av nevnte FPA-avbildning for derved å frembringe en korrigert, fokusert FPA-avbildning (30); en første filteranordning (24A) for å anvende et filter (24C) på den korrigerte, fokuserte versjon av nevnte FPA-avbildning for derved å oppnå en filtrert fokus-avbildning; andre midler for å tilføre nevnte sett av korreksjonsledd til nevnte uskarpe versjon av FPA-avbildningen for derved å frembringe en korrigert uskarp versjon av nevnte FPA-avbildning, en andre filteranordning (24B) for å anvende nevnte filter og den korrigerte, uskarpe avbildning og derved frembringe en filtrert uskarp avbildning; tredje midler for beregning av støyfeil i fast mønster ved å anvende den filtrerte fokusavbildning og den filtrerte uskarpe avbildning; og fjerde midler for å anvende nevnte støyfeil i fast mønster til å oppdatere korreksjonsleddene for bruk ved behandling av en påfølgende FPA-avbildning.
11. Utstyr som angitt i krav 10, og videre karakterisert v e d at nevnte filter (24) omfatter et anti-medianfilter (24C) som for hvert bildeelement i en avbildning frembringer en tilsvarende anti-medianverdi som er et mål på i hvilken grad bildeelementet avviker fra en middelverdi for vedkommende bildeelement og et sett av nabo-bildeelementer.
12. Utstyr som angitt i krav 10, og videre karakterisert v e d at nevnte filter omfatter et anti-medianfilter (24C) som for hvert bildeelement i en avbildning frembringer en tilsvarende anti-middelverdi som utgjør et mål på i hvilken grad bildeelementet avviker fra en middelverdi for vedkommende bildeelement og et sett av nabo-bildeelementer.
NO19985898A 1997-04-17 1998-12-16 Adaptiv ikke-uniform kompensasjonsalgoritme NO316849B1 (no)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US08/843,874 US5903659A (en) 1997-04-17 1997-04-17 Adaptive non-uniformity compensation algorithm
PCT/US1998/007755 WO1998047102A2 (en) 1997-04-17 1998-04-15 Adaptive non-uniformity compensation algorithm

Publications (3)

Publication Number Publication Date
NO985898D0 NO985898D0 (no) 1998-12-16
NO985898L NO985898L (no) 1999-02-15
NO316849B1 true NO316849B1 (no) 2004-06-01

Family

ID=25291211

Family Applications (1)

Application Number Title Priority Date Filing Date
NO19985898A NO316849B1 (no) 1997-04-17 1998-12-16 Adaptiv ikke-uniform kompensasjonsalgoritme

Country Status (15)

Country Link
US (1) US5903659A (no)
EP (1) EP0909428B1 (no)
JP (1) JP3417573B2 (no)
KR (1) KR100315897B1 (no)
AT (1) ATE203610T1 (no)
AU (1) AU705782B2 (no)
CA (1) CA2254143C (no)
DE (1) DE69801201T2 (no)
DK (1) DK0909428T3 (no)
IL (1) IL127240A (no)
NO (1) NO316849B1 (no)
NZ (1) NZ332877A (no)
TR (1) TR199802636T1 (no)
TW (1) TW517192B (no)
WO (1) WO1998047102A2 (no)

Families Citing this family (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100306419B1 (en) * 1997-11-29 2001-08-09 Samsung Electronics Co Ltd Method for correcting shading of shuttle scanner
US6714240B1 (en) * 1998-06-23 2004-03-30 Boeing North American, Inc. Optical sensor employing motion compensated integration-device and process
US6243498B1 (en) * 1998-10-19 2001-06-05 Raytheon Company Adaptive non-uniformity compensation using feedforwarding shunting
US6330371B1 (en) * 1998-10-19 2001-12-11 Raytheon Company Adaptive non-uniformity compensation using feedforward shunting and min-mean filter
US6211515B1 (en) * 1998-10-19 2001-04-03 Raytheon Company Adaptive non-uniformity compensation using feedforward shunting and wavelet filter
US7035475B1 (en) 1999-06-17 2006-04-25 Raytheon Company Non-traditional adaptive non-uniformity compensation (ADNUC) system employing adaptive feedforward shunting and operating methods therefor
JP2001069353A (ja) * 1999-08-24 2001-03-16 Fuji Photo Film Co Ltd 画像処理装置
IL155227A0 (en) 2000-10-13 2003-11-23 Litton Systems Inc System and method for generating signals
US6541772B2 (en) 2000-12-26 2003-04-01 Honeywell International Inc. Microbolometer operating system
US6559447B2 (en) 2000-12-26 2003-05-06 Honeywell International Inc. Lightweight infrared camera
US7365326B2 (en) * 2000-12-26 2008-04-29 Honeywell International Inc. Camera having distortion correction
US20030007089A1 (en) * 2001-01-12 2003-01-09 Anteon Corporation Opto-electronic video compression system
US6973218B2 (en) * 2001-04-25 2005-12-06 Lockheed Martin Corporation Dynamic range compression
US7103235B2 (en) 2001-04-25 2006-09-05 Lockheed Martin Corporation Extended range image processing for electro-optical systems
US6901173B2 (en) * 2001-04-25 2005-05-31 Lockheed Martin Corporation Scene-based non-uniformity correction for detector arrays
US7016550B2 (en) * 2002-04-19 2006-03-21 Lockheed Martin Corporation Scene-based non-uniformity offset correction for staring arrays
US7119837B2 (en) * 2002-06-28 2006-10-10 Microsoft Corporation Video processing system and method for automatic enhancement of digital video
WO2005069197A1 (en) * 2003-12-31 2005-07-28 Lockheed Martin Missiles & Fire Control A method and system for adaptive target detection
US7463753B2 (en) * 2004-09-15 2008-12-09 Raytheon Company FLIR-to-missile boresight correlation and non-uniformity compensation of the missile seeker
US7899271B1 (en) 2004-09-15 2011-03-01 Raytheon Company System and method of moving target based calibration of non-uniformity compensation for optical imagers
US8153978B1 (en) * 2006-03-08 2012-04-10 Oceanit Laboratories, Inc. Dual color/dual function focal plane
US7684634B2 (en) * 2006-08-29 2010-03-23 Raytheon Company System and method for adaptive non-uniformity compensation for a focal plane array
US8164061B2 (en) * 2006-09-13 2012-04-24 Delphi Technologies, Inc. Method and apparatus for a universal infrared analyzer
US20080212895A1 (en) * 2007-01-09 2008-09-04 Lockheed Martin Corporation Image data processing techniques for highly undersampled images
EP2105009A1 (en) * 2007-01-16 2009-09-30 Robert Bosch GmbH Image enhancing device, process for image enhancing and computer-program
US7920982B2 (en) * 2008-01-15 2011-04-05 Raytheon Company Optical distortion calibration for electro-optical sensors
US7649174B2 (en) * 2008-02-11 2010-01-19 Flir Systems, Inc. Thermography camera configured for gas leak detection
US8158928B2 (en) * 2008-12-23 2012-04-17 Fluke Corporation System and method for improving the quality of thermal images
US9235876B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Row and column noise reduction in thermal images
US9208542B2 (en) 2009-03-02 2015-12-08 Flir Systems, Inc. Pixel-wise noise reduction in thermal images
US9948872B2 (en) * 2009-03-02 2018-04-17 Flir Systems, Inc. Monitor and control systems and methods for occupant safety and energy efficiency of structures
US9237284B2 (en) 2009-03-02 2016-01-12 Flir Systems, Inc. Systems and methods for processing infrared images
US9843742B2 (en) 2009-03-02 2017-12-12 Flir Systems, Inc. Thermal image frame capture using de-aligned sensor array
US9756264B2 (en) 2009-03-02 2017-09-05 Flir Systems, Inc. Anomalous pixel detection
US9635285B2 (en) 2009-03-02 2017-04-25 Flir Systems, Inc. Infrared imaging enhancement with fusion
SE533650C2 (sv) * 2009-04-22 2010-11-16 Flir Systems Ab Bildbehandlingsmetod för undertryckande av kolumn- eller radbrus i en IR-detekterad bild
FR2945120B1 (fr) 2009-04-30 2015-11-27 Ulis Systeme et procede de detection de rayonnement infrarouge
US9243960B2 (en) 2009-04-30 2016-01-26 Ulis System and method for detecting infrared radiation
US10091439B2 (en) * 2009-06-03 2018-10-02 Flir Systems, Inc. Imager with array of multiple infrared imaging modules
US9843743B2 (en) 2009-06-03 2017-12-12 Flir Systems, Inc. Infant monitoring systems and methods using thermal imaging
US8738678B2 (en) 2009-10-29 2014-05-27 Raytheon Company Methods and systems for determining an enhanced rank order value of a data set
US8416986B2 (en) * 2009-10-29 2013-04-09 Raytheon Company Methods and systems for processing data using non-linear slope compensation
JP2012100116A (ja) * 2010-11-02 2012-05-24 Sony Corp 表示処理装置、表示処理方法およびプログラム
US8625005B2 (en) * 2010-11-05 2014-01-07 Raytheon Company First-in-first-out (FIFO) buffered median scene non-uniformity correction method
US10051210B2 (en) * 2011-06-10 2018-08-14 Flir Systems, Inc. Infrared detector array with selectable pixel binning systems and methods
US20130278771A1 (en) * 2011-06-10 2013-10-24 Flir Systems, Inc. Systems and methods for monitoring vehicle wheel assembly
CA2838992C (en) 2011-06-10 2018-05-01 Flir Systems, Inc. Non-uniformity correction techniques for infrared imaging devices
EP2579009A1 (fr) 2011-10-06 2013-04-10 Ulis Système et procédé de détection de rayonnement infrarouge
CN104684465B (zh) * 2012-07-12 2017-07-07 菲力尔系统公司 使用热成像的婴儿监测系统及方法
CN104813652B (zh) * 2012-09-18 2018-03-09 菲力尔系统公司 热图像中的像素的降噪
JP6337131B2 (ja) 2014-09-30 2018-06-06 富士フイルム株式会社 赤外線撮像装置、固定パターンノイズ算出方法、及び固定パターンノイズ算出プログラム
CN107615017B (zh) * 2015-05-21 2019-11-05 富士胶片株式会社 红外线摄像装置及固定模式干扰数据的更新方法
US11113791B2 (en) 2017-01-03 2021-09-07 Flir Systems, Inc. Image noise reduction using spectral transforms
US10453187B2 (en) 2017-07-21 2019-10-22 The Boeing Company Suppression of background clutter in video imagery
US10438326B2 (en) * 2017-07-21 2019-10-08 The Boeing Company Recursive suppression of clutter in video imagery
US10437132B1 (en) 2018-03-20 2019-10-08 Raytheon Company Methods and apparatus for acousto-optic non-uniformity correction and counter-countermeasure mechanisms
US11611692B2 (en) * 2020-11-09 2023-03-21 Rockwell Collins, Inc. Fixed pattern noise reduction and high spatial frequency filtering using vari-focus lenses in low contrast scenes
KR102593550B1 (ko) * 2020-11-12 2023-10-25 인트플로우 주식회사 체온측정을 위한 온도정보보정방법

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3987243A (en) * 1975-11-03 1976-10-19 Sanders Associates, Inc. Image enhancement method and apparatus
US4975864A (en) * 1989-01-26 1990-12-04 Hughes Aircraft Company Scene based nonuniformity compensation for starting focal plane arrays
US5307175A (en) * 1992-03-27 1994-04-26 Xerox Corporation Optical image defocus correction
US5400161A (en) * 1993-10-04 1995-03-21 Raytheon Company Optical system including focus-defocus focal plane array compensation technique using liquid crystal phased array
US5373151A (en) * 1993-10-04 1994-12-13 Raytheon Company Optical system including focal plane array compensation technique for focusing and periodically defocusing a beam
US5471240A (en) * 1993-11-15 1995-11-28 Hughes Aircraft Company Nonuniformity correction of an imaging sensor using region-based correction terms

Also Published As

Publication number Publication date
EP0909428A2 (en) 1999-04-21
NO985898L (no) 1999-02-15
TW517192B (en) 2003-01-11
AU705782B2 (en) 1999-06-03
DE69801201D1 (de) 2001-08-30
TR199802636T1 (xx) 2001-09-21
JP2001509996A (ja) 2001-07-24
IL127240A (en) 2002-12-01
KR100315897B1 (ko) 2002-01-24
US5903659A (en) 1999-05-11
IL127240A0 (en) 1999-09-22
DE69801201T2 (de) 2002-05-16
CA2254143C (en) 2002-12-17
WO1998047102A3 (en) 1999-01-21
DK0909428T3 (da) 2001-09-24
CA2254143A1 (en) 1998-10-22
NZ332877A (en) 2000-06-23
WO1998047102A9 (en) 1999-04-22
ATE203610T1 (de) 2001-08-15
JP3417573B2 (ja) 2003-06-16
NO985898D0 (no) 1998-12-16
WO1998047102A2 (en) 1998-10-22
KR20000016752A (ko) 2000-03-25
AU8756298A (en) 1998-11-11
EP0909428B1 (en) 2001-07-25

Similar Documents

Publication Publication Date Title
NO316849B1 (no) Adaptiv ikke-uniform kompensasjonsalgoritme
CN111968044B (zh) 基于Retinex和深度学习的低照度图像增强方法
AU2007345299B2 (en) System and method for adaptive non-uniformity compensation for a focal plane array
CN110023810B (zh) 光学系统像差的数字校正
Scribner et al. Adaptive nonuniformity correction for IR focal-plane arrays using neural networks
EP2485639B1 (en) Method and system for carrying out photoplethysmography
CN108645401B (zh) 基于姿态关联图像叠加的全天时星敏感器星点提取方法
EP1675384A2 (en) Image processing apparatus, method and image pickup apparatus
US20010024534A1 (en) Super resolution methods for electro-optical systems
US11688039B2 (en) Method for generating a super-resolution image and related device
US9501698B2 (en) Moving object detection method
WO2000079782A2 (en) Non-uniformity compensation system and methods employing adaptive feedforward shunting
JP2023527273A (ja) デジタル光学収差補正およびスペクトル撮像のためのシステムおよび方法
CN105203213A (zh) 一种计算复合波前传感自适应光学系统复原电压的方法
CN107220945B (zh) 多重退化的极模糊图像的复原方法
CN113379636A (zh) 一种红外图像非均匀性校正方法、装置、设备及存储介质
Scribner et al. Image preprocessing for the infrared
CN115761241A (zh) 一种图像增强方法及其应用
CN110611748B (zh) 一种显微视场相机阵列成像一致性校正方法
Zhou et al. Local spatial correlation-based stripe non-uniformity correction algorithm for single infrared images
Suszyński et al. Stars’ centroid determination using PSF-fitting method
CN103229497B (zh) 用于估计图像检测装置的纱窗效应的方法和设备
CN117761791A (zh) 面向弱光探测的多孔径非干涉成像探测方法及装置
CN116152080A (zh) 一种基于神经网络的单一图像去雾方法及系统

Legal Events

Date Code Title Description
MM1K Lapsed by not paying the annual fees