NO338098B1 - Bildeutjevning - Google Patents

Description

TEKNISK OMRÅDE

Den foreliggende oppfinnelsen vedrører det tekniske området for bildebehandling. Nærmere bestemt vedrører oppfinnelsen en fremgangsmåte for bildeforsterkning eller bildeutjevning av et bilde omfattende en matrise av pixler, der lysstyrken for hver pixel er registrert i en bildesensor.

Fremgangsmåten kan implementeres som et dataprogram, eller en algoritme, som utjevner lysstyrken i bilder tatt med kunstig lys, f.eks LED lyspanel, slik at hele bildet får samme lysstyrke etter bearbeiding.

BAKGRUNN

Standard bildebehandlingsprogramvare har gode løsninger for å justere lysstyrke og farger i bildet. Ingen av dem har likevel muligheter for automatisk justering av lysstyrken i et helt bilde til samme nivå, uavhengig av hva verdiene var tidligere i bildet.

Ved søkning i kjent litteratur finnes en rekke filterteknikker og utjevningsteknikker. De fleste benytter manuelle metoder hvor bruker aktivt redigerer de deler av bildet som er for lyst eller mørkt og justerer fargen i disse områdene.

Filtreringsteknikker i bildebehandling opererer gjerne med å behandle pixel for pixel og redigere denne ved å kalkulere gjennomsnittet av de omkringliggende pixlene basert på flere ulike formler.

Ingen av de kjente teknikkene benytter, så langt søkeren vet, geometriske funksjoner for å balansere lysverdiene over hele bildet til samme nivå.

EP-2 226 762 Al vedrører en fremgangsmåte for behandling av IR-bilder, herunder utjevning/utlikning av bildene, der bildene omfatter pixler med et respektivt intensitetsnivå. Fremgangsmåten omfatter å inndele bildet i første regioner, å gruppere for å danne grupper av første regioner, der hver gruppe omfatter et respektivt flertall av tilstøtende første regioner, å beregne, for hver gruppe av første regioner, et histogram av intensitetsnivåer for pikslene i de første regionene i gruppen, å beregne, for hver gruppe av første regioner, en korresponderende kumulativ funksjon av det korresponderende histogram, å assosiere med hver første region de kumulative funksjoner beregnet for gruppene som omfatter den første region, å beregne, for hver første region, en korresponderende første utlikningsfunksjon på grunnlag av de kumulative funksjoner assosiert med den første regionen, å inndele bildet i andre regioner på en slik måte at hver andre region omfatter korresponderende områder av ulike korresponderende tilstøtende regioner, og å utlikne i hver andre region intensitetsnivået for de korresponderende pixler på grunnlag av de første utlikningsfunksj onene beregnet for de korresponderende første regionene.

SAMMENFATNING

Oppfinnelsen er angitt i det etterfølgende, selvstendige patentkrav 1.

Fordelaktige utførelsesformer er angitt i de uselvstendige krav.

KORT BESKRIVELSE AV TEGNINGENE

Oppfinnelsen skal beskrives i nærmere detalj med henvisning til tegningene, der:

Figur 1 er en graf som viser fargeutjevning i et bilde før og etter utjevning.

Figur 2 illustrerer et eksempel på originalbilde og korresponderende utjevnet bilde. Figur 3 illustrerer et annet eksempel på originalbilde og korresponderende utjevnet bilde.

Figur 4 illustrerer et større område med flere bilder utjevnet og satt sammen.

Figur 5 er en skjematisk prinsippskisse for utleggelse av punkter.

DETALJERT BESKRIVELSE

Anvendelsesområde

Ideen til oppfinnelsen kom ved oppdrag for et selskap som driver med kartlegging av havbunnen. Bildene blir tatt med en sterk LED lyskaster. Bildene har et svært godt opplyst område sentralt i bildet og svakere utover til sidene.

Originalbildene er vanskelige å tolke visuelt og nesten umulig å analysere maskinelt. Øynene må kontinuerlig tilpasse seg mørkere og mørkere områder utover i bildet. Dette er tungt for øynene og etter hvert hjernen som skal tolke bildene.

Ved klassifikasjon og analyser av bilder tolker programmene utseende, lysstyrke og fargesammensetning. Samme type objekt vil ha forskjellig lysstyrke avhengig av hvor de er i bildet. Automatisk klassifikasjon er ikke mulig med originalbildene uten å justere for forskjellig lysstyrke.

Ved automatisk mosaikkering (sammensetting av flere bilder til ett sammenhengende) ser man etter mønstre, lysstyrke og farger i bildet. Siden dette varierer over bildet, klarer ikke programmene å vite hvordan bildene skal settes sammen

Vi testet maskinell behandling av ubehandlete bilder i en rekke verdensledende bildebehandlingsprogram:

• eCognition Developer fra Trimble for klassifikasjon - ikke mulig.

• Inpho orthophoto og mosaikk fra Trimble - ikke mulig.

• PCI Geomatica Orthoengine - ikke mulig.

• Agisoft UAV automatisk bildekonnektering - ikke mulig.

• MENCI UAV automatisk bildekonnektering - ikke mulig.

Ingen av programmene håndterte bildene tatt med kunstig lys. Selv om de har funksjoner for fargeutjevning og lysutjevning, klarte de ikke å håndtere disse bildene.

Vi laget en prototype for bildeutjevning som justerte for lysforskjellene i bildet. Data som ble prosessert i prototypen viste at alle de nevnte programmene etterpå kunne håndtere data. Denne prototypen er i samsvar med oppfinnelsen utviklet videre slik at den kan brukes for automatisk håndtering av store mengder bilde data.

Bilder til kartlegging er sjelden tatt med kunstig lys. Alle kjente system arbeider med data fra flybårne eller satellitt sensorer. For disse sensorene er det naturlig sollys som gjelder. Bildesystemene kan justere for forskjellig lyspåvirkning i bildet. Likevel er det ingen som kan jevne ut lysstyrken i bilder tatt med kunstig lys. Eksisterende programsystem bruker standard funksjoner for utjevning over områder, men ikke en utjevning basert på geometrisk fordeling over hele bildet.

Bilder er en matrise hvor lysstyrken i hver pixel er registrert i sensoren. For fargebilder har man en pixelverdi for hver farge. I en fargeskjerm vises fargene ved å kombinere fargerne Rødt Grønt Blått - RGB.

Bildeforsterkning/bildeutjevningsprogrammet legger et punktnett over bildet. Standardverdi er 20<*>20 punkt, men vil være avhengig av bildets størrelse. I hvert punkt beregnes den gjennomsnittlige lysstyrken for pixlene rundt punktet. Normalt vil punktet/ruten midt i bildet eller punktet som ligger nærmest det kunstige lyset, ha størst gjennomsnitt verdi. Den høyeste gjennomsnittsverdien brukes for å beregne en faktor for alle de andre punktene. Denne faktoren brukes for å justere pixlene til balansert verdi. ;Ved omklassifisering av pixlene i bildet, blir verdien i hvert pixel justert opp basert på de 4 omkringliggende punktene. Dette gir en forsterkning av bildene som tar hensyn til geometrisk plassering, til opprinnelig pixelverdi og til den vektete faktoren for de 4 punktene. Er det mørke partier slik som skygge, vil de fortsatt fremstå som mørke partier etter justering, men ikke mørkere enn de som ligger i den lyse delen av det opprinnelige bildet. ;Metoden er helautomatisk og finner selv frem til de verdiene som skal justeres. Bruker kan styre hvor mange justeringspunkt som skal legges på bildet og hvor mange pixler rundt hvert justeringspunkt som skal brukes for gjennomsnittsverdi for punktet. På store bilder med mange pixler kan man bruke flere pixler rundt hvert punkt og flere punkt for å lage et bedre gjennomsnitt. ;I et bilde vil det alltid være områder som er svært lyssterke eller helt mørke. Programmet fjerner en andel av de lyssterkeste data som unntas beregningene. Dette gjøres for at de lyssterke områdene ikke skal ødelegge for gjennomsnittbehandlingen i et område. Hvis de lyssterkeste områdene ikke blir unntatt, vil de nærmeste områdene rundt objektet blir for mørke etter utjevningen. ;Hva som er lyssterkt kan variere fra bildeserie til bildeserie. Derfor er verdien for hva som er lyssterkt brukerstyrt. ;Figur 1 er en graf som viser fargeutjevning i et bilde før og etter utjevning. Kurvene viser lysstyrken verdi tvers over bildet før og etter utjevning med programmet. En tilsvarende endring i lysstyrken vil også gjelde nedenfra og opp på bildet. ;De viktigste målene med denne teknikken er: ;Få samme lysstyrke over hele bildet slik at øyet kan tolke bildet ;Gi objekter av samme type samme lys verdi eller fargeverdi over hele bildet Gjøre bildet homogent slik at det kan lages mosaikk av flere bilder automatisk ;Gjøre maskinell klassifikasjon av bildet mulig ;Teknikken kan også brukes for å gi jevn farge til bilder hvor lysinnstråling gir forskjellig verdi ;Objekter som tidligere var skjult i mørke deler av bilder trer tydelig frem Programmet muliggjør maskinell oppdatering av flere hundre tusen bilder uten manuell redigering. Dette er testet. ;Hvilke midler som er nødvendig for å oppnå dette. ;Ved å beregne den gjennomsnittlige lysmengden i ulike deler av bildet, finner man det nivået som hele bildet kan/skal ligge på. Ved å beregne dette for 20<*>20 punkter eller mer, og så interpolere mellom punktene, blir hele bildet løftet til samme nivå. Det er denne utjevningen distribuert geometrisk som fjerner forskjellene i lysverdi over bildet.

Hvordan utnytte programmet industrielt:

Programmet er i en eksempelimplementering skrevet i Microsoft Visual Studio C++. Dette gjør programmet raskt å kjøre og enkelt å distribuere. Programmet kan distribueres både som exe fil og som DLL - Dynamic link library.

Løsningen er eksempelvis tenkt solgt som modul til eksisterende programvare eller som selvstendig program.

Figur 2 illustrerer et eksempel på originalbilde og korresponderende utjevnet bilde.

På det utjevnete bildet til høyre i figur 2 ser man tydelig groper og steiner selv helt ut i sidekanten på bildet. I den øverste del av bildet har ikke lyset nådd ned til havbunnen, slik at kun vannpartikler vises. Figur 3 illustrerer et annet eksempel på originalbilde og korresponderende utjevnet bilde. Det fremgår tydelig fra figur 3 at detaljene kommer mer frem i det utjevnete bilde. Figur 4 illustrerer et større område med flere bilder utjevnet og satt sammen. Det ferdige bildet er også utjevnet for å fjerne forskjellene mellom de sammensatte bildene.

Figur 5 er en skjematisk prinsippskisse for utleggelse av punkter.

På bildet legges et nett med punkt jevnt fordelt over bildet, slik figur 5 illustrerer. For hvert punkt beregnes gjennomsnittverdi for lysforhold = n basert på p antall pixler rundt hvert punkt. Når alle punkt har fått beregnet gjennomsnittsverdi, blir den største gjennomsnittsverdien satt som N. For alle andre punkt beregnes en faktor k som settes lik N/n. Ved bildeutjevning av bildet, brukes k for å heve pixlene opp til riktig nivå. For hver pixel interpoleres verdien k for de 4 omkringliggende punkt for å beregne verdien t. Verdien t multipliseres med pixelens lysverdi og gir pixelens utjevnete verdi. Jo flere punkt som legges over bildet, desto jevnere blir utjevningen.

Prinsippet er å beregne den gjennomsnittlige lysstyrken i ulike deler av bildet og bruke det til å få opp lysverdien til samme nivå som det mest lyssterke.

Antall punkt og antall pixler p kan styres av bruker. Ulike bilder vil kreve ulike verdier for å gi et godt resultat.

Normalt utelukkes 5% av de høyeste medianverdiene og 1% av de laveste medianverdiene fra beregningene. Dette gjøres for å unngå at spesielt opplyste områder skal påvirke gjennomsnittet rundt punktet.

Når verdien k er beregnet for alle punkt, kontrolleres det at verdiene er jevne over bildet og ikke har ekstreme verdier opp eller ned. Det vil kunne gi for lyse eller mørke områder hvis et punkt har spesielt mange lyse objekter som unntas beregning.

Ytterligere aspekter ved oppfinnelsen.

Oppfinnelsen kan benevnes som bildeforsterkning/bildeutjevning. På engelsk er benevnelsen image enhancement/image equalization.

I henhold til et mulig aspekt ved oppfinnelsen, utføres en geometrisk analyse av lysstyrken i bildet med justering av pixelverdiene i hele bildet slik at alle deler av bildet blir like lyssterkt. Den geometriske analysen skjer ved at et punktnett blir lagt over bildet og gjennomsnittverdiene for et grid rundt hvert punkt blir beregnet. Gjennomsnittverdiene for hvert punkt brukes for å oppgradere pixlene rundt punktet slik at gjennomsnittet blir likt med det som er mest lyssterkt. Det spiller ingen rolle hvor bildet er mest lyssterkt. Den geometriske beregningen skjer ved at lysstyrken for hvert pixel beregnes ved en lineær utjevning mellom verdiene for de 4 punkt som omgir pixelen.

I henhold til et ytterligere mulig aspekt ved oppfinnelsen, utføres en automatisk utjevning av lysstyrken i bildet slik at hele bildet visuelt fremstår som med jevn lysstyrke. Utjevningen skjer slik at objekter som kaster skygge, vil være like lyssterke og kaste samme skyggen uansett hvor de er i bildet.

I henhold til et ytterligere mulig aspekt ved oppfinnelsen, utføres en automatisk utjevning av lysstyrken i bildet, slik at dataprogram kan gjøre automatisk bildematching/bildegjenkjenning mellom overlappende bilder. For å kunne matche bilder, må de samme objektene fremstå relativt likt i begge de overlappende bildene. Når bildene har objekt som matcher, kan de automatisk kobles sammen i mosaikk, brukes til å lage terrengmodell og bestemme geometrisk korrekt posisjon.

I henhold til et ytterligere mulig aspekt ved oppfinnelsen, utføres automatisk utjevning av lysstyrken i bildet slik at bildene kan brukes til automatisk klassifikasjon av objekt i bildet. Automatisk klassifikasjon innebærer at man skal kunne bruke samme regelsett for klassifikasjon uansett hvor i bildet objektet ligger.

I henhold til et ytterligere mulig aspekt ved oppfinnelsen, utføres en utjevning av bilder som er ujevne i lysstyrke fordi bildene har fått forskjellig belysning i forskjellige deler av bildene.

Oppfinnelsen er i det ovenstående beskrevet uten begrensning, som eksempler, med henvisning til tegningene. Oppfinnelsens rekkevidde fremgår av de etterfølgende patentkrav.

Claims (10)

1. Fremgangsmåte for bildeforsterkning eller bildeutjevning av et bilde omfattende en matrise av pixler, der lysstyrken for hver pixel er registrert i en bildesensor,karakterisert vedat fremgangsmåten omfatter å legge et punktnett over bildet, for hvert punkt i punktnettet, å beregne en gjennomsnittlig lysstyrke for pixler rundt hvert punkt, å benytte en høyeste gjennomsnittlig lysstyrke til å beregne en faktor for alle de andre punktene, og å justere, ved bruk av den beregnede faktoren, pixlene i bildet til balanserte verdier.

2. Fremgangsmåte i samsvar med krav 1, hvor pikslene rundt hvert punkt i punktnettet omfatter fire eller flere pixler rundt punktet.

3. Fremgangsmåte i samsvar med krav 1, hvor punktnettets størrelse er avhengig av bildets størrelse.

4. Fremgangsmåte i samsvar med krav 1, hvor punktnettet omfatter 20<*>20 punkter eller mer enn 20<*>20 punkter.

5. Fremgangsmåte i samsvar med krav 1, omfattende en geometrisk analyse av lysstyrken i bildet med justering av pixelverdiene i hele bildet, slik at alle deler av bildet blir like lyssterkt.

6. Fremgangsmåte i samsvar med krav 1, hvor pixlene i bildet justeres slik at et gjennomsnitt av lysstyrken for pixlene rundt hvert punkt blir lik et gjennomsnitt av lysstyrken rundt det punkt som er mest lyssterkt i det opprinnelige bildet.

7. Fremgangsmåte i samsvar med krav 1, omfattende automatisk utjevning av lysstyrken i bildet slik at hele bildet visuelt fremstår som med jevn lysstyrke.

8. Fremgangsmåte i samsvar med krav 7, hvor utjevningen skjer slik at objekter som kaster skygge, vil være like lyssterke og kaste den samme skygge uansett hvor de er i bildet.

9. Fremgangsmåte i samsvar med krav 1, omfattende automatisk utjevning av lysstyrken i bildet slik at dataprogram kan gjøre automatisk bildematching/bildegjenkjenning mellom overlappende bilder.

10. Fremgangsmåte i samsvar med krav 1, implementert som et dataprogram, eller en algoritme, som utjevner lysstyrken i bilder tatt med kunstig lys, f.eks LED-lyspanel, slik at hele bildet får samme lysstyrke etter bearbeiding.