NO338509B1 - Anordning og metode for å bedre dynamisk område i digitale bilder - Google Patents

Anordning og metode for å bedre dynamisk område i digitale bilder Download PDF

Info

Publication number
NO338509B1
NO338509B1 NO20092391A NO20092391A NO338509B1 NO 338509 B1 NO338509 B1 NO 338509B1 NO 20092391 A NO20092391 A NO 20092391A NO 20092391 A NO20092391 A NO 20092391A NO 338509 B1 NO338509 B1 NO 338509B1
Authority
NO
Norway
Prior art keywords
image data
data
original image
pixel
expanded
Prior art date
Application number
NO20092391A
Other languages
English (en)
Other versions
NO20092391L (no
Inventor
Francesco Banterle
Patrick Ledda
Kurt Debattista
Alan Chalmers
Original Assignee
Dolby Laboratories Licensing Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Family has litigation
First worldwide family litigation filed litigation Critical https://patents.darts-ip.com/?family=39468493&utm_source=google_patent&utm_medium=platform_link&utm_campaign=public_patent_search&patent=NO338509(B1) "Global patent litigation dataset” by Darts-ip is licensed under a Creative Commons Attribution 4.0 International License.
Application filed by Dolby Laboratories Licensing Corp filed Critical Dolby Laboratories Licensing Corp
Publication of NO20092391L publication Critical patent/NO20092391L/no
Publication of NO338509B1 publication Critical patent/NO338509B1/no

Links

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00Details of television systems
    • H04N5/14Picture signal circuitry for video frequency region
    • H04N5/20Circuitry for controlling amplitude response
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/50Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/90Dynamic range modification of images or parts thereof
    • G06T5/94Dynamic range modification of images or parts thereof based on local image properties, e.g. for local contrast enhancement
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/70Circuitry for compensating brightness variation in the scene
    • H04N23/741Circuitry for compensating brightness variation in the scene by increasing the dynamic range of the image compared to the dynamic range of the electronic image sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Ultra Sonic Daignosis Equipment (AREA)
  • Apparatus For Radiation Diagnosis (AREA)
  • Facsimile Image Signal Circuits (AREA)

Description

Oppfinnelsen vedrører digitale avbildninger og spesielt fremgangsmåter og anordninger for øking av dynamikkområdet i digitale bilder.
Det menneskelige øyet er lysfølsomt over et meget stort intensitetsområde. Bilder må ha sterke dynamikkområder for på en nøyaktig måte å kunne reprodusere reelle scener. Høyytelsesbildesensorer, så som høy-ytelses-CCD-matriser kan gi bilder som har sterke dynamikkområder. Det finnes skjermer, så som skjermer som kan fås fra Dolby Canada Corporation, som kan vise bilder med sterke dynamikkområder. Imidlertid har mange computerskjermer, fjernsyn og lignende begrensede dynamikkområder og kan derfor ikke vise slike bilder med sterke dynamikkområder.
Noen bildedata har svake dynamikkområder som følge av den måten som bildedataene innhentes på eller genereres med. I andre tilfeller kan dynamikkområdet til bildedata bli redusert i tilpasning til egenskapene til de skjermene hvor bildet av bildedataene skal reproduseres. En tone-bildedataoperatør kan brukes for bildedata med sterkt dynamikkområde, for derved å redusere bildedataenes dynamikkområde. Dette kan eksempelvis skje ved å tilveiebringe bildedata som er tilpasset dynamikkområdet til en type skjerm eller et bestemt bildedataformat.
Det finnes en meget stor mengde eksisterende bildedata med et dynamikkområde som er svakere enn det som kan vises med tilgjengelige skjermer med sterkt dynamikkområde og/eller som kan gjenkjennes av det menneskelige øyet.
Det foreligger et behov for fremgangsmåter og anordninger som kan forsterke dynamikkområdet til bildedata som har svake dynamikkområder.
De nedenfor beskrevne utførelser og aspekter er gitt og vist i forbindelse med systemer, verktøy og fremgangsmåter som er ment å være oppklarende, men ikke begrensende. I noen utførelser er ett eller flere av de foran nevnte problemer redusert eller eliminert, mens andre utførelser er rettet mot andre forbedringer.
Det finnes flere publikasjoner som beskriver ulike aspekter for bildebehandling inklusiv det å endre dynamisk omfang i et bilde. Eksempler på slik er: Michael Reichmann: "Contrast Masking", 15. oktober 2002, XP 000002656960 beskriver en fremgangsmåte for å redusere det dynamiske området i digitale bilder ved å kombinere et originalt bilde og en toneavbildet versjon av dette bildet i henhold til en luminansbestemt maske for å tillate printing mens en farger bevares.
Eksempler på andre publikasjoner som beskriver bildebehandling er:
EP 0933924 A2, GB 2319685 A, US 6418245 Bl, US 5748797 A, US 5005419 A, EP 0569018 Al, WO 03003300 A2.
Ett inventivt aspekt ved oppfinnelsen vedrører en fremgangsmåte for øking av det dynamiske området til originale bildedata som representerer et bilde. Fremgangsmåten innbefatter, i vilkårlig rekkefølge: anvendelse av en utvidelsesfunksjon for fra de originale bildedataene å generere utvidede data med et dynamikkområde som er større enn for de originale bildedataene, og tilveiebringelse av en utvidet avbildning som inneholder data som er indikative for en luminansgrad for områder assosiert med piksler i bildet. Fremgangsmåten kombinerer de originale bildedataene og de utvidede dataene i samsvar med den utvidede avbildningen, for derved å gi forbedrede bildedata.
Ifølge et annet inventivt aspekt foreslås det en anordning for utvidelse av dynamikkområdet for originale bildedata. Anordningen innbefatter: en dynamikkområdeekspander som er innkoblet for mottak av originale bildedata og for levering av utvidede data som har et dynamikkområde som er større enn for de originale bildedataene, en luminansfordelingsanalysator utformet for generering av en utvidet avbildning som er indikativ for luminansen for områder assosiert med piksler i bildet av de originale bildedataene, og en bildekombinator utformet for kombinering av de originale bildedataene med de utvidede dataene fra dynamikkområdeekspanderen i samsvar med den utvidede avbildningen, for derved å få frem forbedrede bildedata.
Nok et inventivt aspekt vedrører en fremgangsmåte for forsterking av dynamikkområdet for originale bildedata, hvilken fremgangsmåte innbefatter prosessering av luminansverdier for piksler i de originale bildedataene i samsvar med en invers toneavbildningsoperatør som gitt med:
eller en matematisk ekvivalent, hvor a, Lwhite, og Lwer parametere mens La er en luminansverdi som svarer til en piksel i de originale bildedataene.
I tillegg til de aspekter og utførelseseksempler som er beskrevet foran, skal det nedenfor beskrives ytterligere aspekter og utførelseseksempler, eller slike vil gå frem under henvisning til tegningen og ved et studium av den nedenfor gitte, mer detaljerte beskrivelsen.
Tegningen viser ikke-begrensende utførelser av oppfinnelsen, og på tegningen viser Fig. 1 et flytskjema som belyser en fremgangsmåte ifølge en utførelse av oppfinnelsen,
Fig. 2 er et blokkskjema for en anordning ifølge oppfinnelsen,
Fig. 3 er et blokkskjema for en anordning ifølge en annen utførelse av oppfinnelsen.
I den etterfølgende beskrivelsen nevnes bestemte detaljer for på den måten å gi en fagperson en mer grundig forståelse av oppfinnelsen. Imidlertid vil velkjente elementer eventuelt ikke være vist eller beskrevet detaljert, for på den måten å unngå unødvendig komplisering av beskrivelsen. Både beskrivelsen og tegningen må derfor ses på som illustrerende og ikke som begrensende.
Med oppfinnelsen tilveiebringes det fremgangsmåter og anordninger for forbedring av dynamikkområdet til bildedata. Fremgangsmåtene og anordningene kan eksempelvis brukes for å øke det dynamiske området til historiske bilder (som kan være eksempelvis stillbilder eller videobilder) for visning på skjermer som har et sterkt eller stort dynamikkområde.
Fig. 1 viser en fremgangsmåte 20 i samsvar med en utførelse av oppfinnelsen. Fremgangsmåten 20 brukes for originale bildedata 23 i en blokk 24 for ekspandering eller utvidelse av dynamikkområdet (LDR) til bildedataene 23.1 blokken 26 utvides originale bildedata 23 for oppnåelse av utvidede bildedata 25. Utvidelsesavbildninger viser luminositetsverdier fra et første område og til et andre område. Det andre området gir flere mulige verdier enn det første området. Eksempelvis kan det første området gi verdier i området fra 0-255 mens det andre, utvidede området kan gi verdier i området fra 0-1023 eller verdier i området fra 0,00 til 1,00 med en viss nøyaktighet. I noen utførelser kan luminositetsverdien til en piksel i de utvidede bildedataene 25 være en funksjon av luminositetsverdien til den korresponderende pikselen i originale bildedata 23.
Utvidelsen kan innbefatte: lineær skalering, ikke-lineær skalering eller anvendelse av en mer komplisert utvidelsesfunksjon, så som den inverse av en toneavbildningsfunksjon. Når blokken 26 anvender en invers toneavbildningsfunksjon, vil den inverse toneavbildningsfunksjonen som brukes i blokken 26 ikke nødvendigvis være den inverse av en toneavbildningsfunksjon som brukes ved dannelsen av originale bildedata 23. I noen tilfeller kan således de originale bildedataene 23 være oppnådd uten anvendelse av en toneavbildningsfunksjon eller ved at det er anvendt en toneavbildningsfunksjon som adskiller seg fra den inverse av toneavbildningsfunksjonen som brukes i blokken 26.
Ett eksempel på en toneavbildningsfunksjon er Photographic Tone Reproduction som beskrives hos Reinhard et al., Photographic tone reproduction for digital images, ACM Trans. Graph., 21, 3, 267-276 (2002). Andre toneavbildningsfunksjoner beskrives eksempelvis hos Smith et al., Beyond tone mapping: Enhanced depiction of tone mapped HDR images., Computer Graphics Forum 25, 3 (2006), og hos Ledda et al., Evaluation of tone mapping operators using a high dynamic range display, ACM Trans. Graph., 24, 3, 640-648 (2005).
Den fotografiske tonereduksjon-toneavbildningsoperatøren skalerer pikselluminositetsverdier basert på et geometrisk gjennomsnitt, som representerer eller tilnærmet representerer scenenøkkelen, hvoretter de resulterende verdiene komprimeres. Skaleringen kan være gitt av:
hvor Lm er den skalerte verdien, a er en brukerparameter, Zwer luminositeten til pikselen i de originale bildedataene 23. Dersom de originale bildedataene 23 er i et RGB-format, så er Lwgitt med: hvor Rw, Gw og Bwer henholdsvis røde, grønne og blå pikselverdier for pikselen i RGB-fargerommet. Lwer det geometriske gjennomsnittet:
hvor 5 er en liten ikke-negativ verdi og N er antall piksler i bildet.
Komprimeringen kan gjøres med en funksjon som tar inngangsverdier i et første område og leverer utgangsverdier i et andre, smalere område. Eksempelvis kan kompresjonen muliggjøres med: hvor Lder den komprimerte verdien for pikselen ved ( x, y). I en mer fleksibel utførelse skjer komprimeringen med:
hvor Lwhiteer en parameter som svarer til den minste luminansverdien fra de ikke-komprimerte data som vil bli avbildet som hvitt i de komprimerte dataene.
Ligning (5) kan inverteres ved å løse den kvadratiske ligningen:
I ligning (5) kan Lm erstattes med verdien fra ligning (1) slik at man får:
Ligning (7) kan løses for Zwved å bruke den kvadratiske formelen for oppnåelse av den største positive løsningen. Dette kan gjennomføres for hver piksel i et bilde, for oppnåelse av utvidede bildedata 25.
For å bruke løsningen av ligning (7) for invers toneavbildning, må man tilegne verdier til parameterne a, Lwhite, Ldog det geometriske gjennomsnittet Lw. Med mindre man vet hvilken toneavbildningsoperatør (om noen) som ble brukt for oppnåelse av bildet med det svakere dynamikkområdet som det arbeides med, vil disse parameterne ikke være kjent. I fremgangsmåter ifølge noen utførelseseksempler, kan en bruker sette verdier for disse parameterne. I noen utførelser kan parameterne settes automatisk eller bestemmes på forhånd. I noen utførelser settes noen eller samtlige parametere automatisk som utgangsverdier, og en bruker kan så variere parameterverdiene ut fra disse utgangsverdiene, om så ønskes.
En måte for å tilordne Lwer å bruke den geometriske gjennomsnittluminansen for det bildet med det svakere dynamikkområdet som prosesseres. Det har vist seg at den geometriske gjennomsnittluminansen for bilder av samme scene og med større og lavere dynamikkområde, typisk vil være ganske like (med mindre bildet med det svakere dynamikkområdet er betydelig overeksponert eller undereksponert). Visse toneavbildningsoperatører har en tendens til å endre den geometriske gjennomsnittluminansen. Når slike toneavbildningsoperatører har vært anvendt i forbindelse med genereringen av de originale bildedataene 23, kan det være ønskelig å kunne bruke en funksjon av den geometriske gjennomsnittluminansen for det bildet med lavere dynamikkområde som prosesseres for Lw. Funksjonen kan velges på grunnlag av kjennskap til den toneavbildningsoperatøren som er brukt for generering av originale bildedata 23, eller funksjonen kan bestemmes empirisk.
En måte for setting av en verdi for parameteren Ld( x, y) er å realisere at Lder luminansen til bildet med lavere dynamikkområde som prosesseres.
Parameterne a og Lwhitekan settes av brukeren. Meningen med parameteren a er noe enigmatisk. Derfor foretrekker oppfinnerne å definere en parameter Lmax' slik at:
hvor Lmax' er den maksimale luminansverdien som forventes i det inverse toneavbildede bildet. Lwhitepåvirker utvidelsen av de originale lave og middels luminasverdier. Dersom L^ m er meget høy, så vil disse verdiene avbildes med meget lave luminasverdier. Er Lwhitemeget lav, så vil det inverse toneavbildede bildet ha luminasverdier som er lik de som foreligger i det originale lavdynamikkområdebildet skalert med faktoren Lmax'. I typiske anvendelser vil en setting av Lwhiteog Lmax' med verdier som er like eller av samme orden, tendere til å gi brukbare resultater.
Utvidelsesfunksjonen som brukes i blokken 26 kan gi et utvidet bilde som ikke er helt akseptabelt. Dersom utvidelsesfunksjonen gir utgangsluminansverdier som er høye, så vil det resulterende bildet kunne få et "blokkmessig" utseende.
Med fremgangsmåten 20 oppnås et utgangsbilde 23 ved å kombinere det utvidede bildet 25 med det originale bildet 23 i samsvar med en utvidet avbildning 25 som er generert i blokken 28. Den utvidede avbildningen 29 identifiserer områder med høyere og lavere luminans i det originale bildet 23. Ved å bruke utvidelsesavbildningen 29, vil fremgangsmåten 20 basere utgangsbildet 23 i sterk grad på det utvidede bildet 25 i områder med høyere luminans mens utgangsbildet 33 vil basere seg sterkere på det originale bildet 23 i områder med lavere luminans. Blokken 28 kan bruke en hvilken som helst egnet fremgangsmåte for evaluering av luminansområdet til et område som en piksel hører til. Eksempelvis kan blokken 28 beregne en gjennomsnittlig luminans eller vektet gjennomsnittlig luminans for piksler i et område hvortil hver piksel hører. Utvidelsesavbildningen 29 innbefatter vekter som er assosiert med hver enkelt piksel. Vektene indikerer den relative graden som det originale bildet 23 og det utvidede bildet 25 bidrar med for verdien for den pikselen i det forbedrede bildet 33.
I den viste utførelsen bruker blokken 28 en mediankuttalgoritme i blokken 28A. Mediankuttalgoritmen er eksempelvis beskrevet hos Debevec, P., A median cut algorithm for lightprobe sampling, ACM Siggraph 2005 posters (2005). Mediankuttalgoritmen identifiserer et sett av punktlyskilder som er sammenklynget nær områder med høy luminans i et bilde. Antall av og intensiteten til slike lyskilder i nærheten av en piksel brukes for å tilveiebringe utvidelsesavbildningene 29 i noen eksempler.
Mediankuttalgoritmen deler et bilde i 2n områder med lik lysenergi. Disse områdene kan identifiseres ved å dele bildet i den lengste dimensjonen, slik at luminansen vil være likt fordelt mellom de resulterende områdene. Denne prosessen gjentas for de resulterende områdene. En lyskilde plasseres i tyngdepunktet for hvert av de 2n områdene som oppnås ved å gjenta prosessen med delingen av bildet i områder n ganger. Fargen til hver lyskilde innstilles på en gjennomsnittsverdi over området (eksempelvis kan fargen settes lik en sum av pikselverdier i området).
I noen utførelser av oppfinnelsen er n minst 9 (tilsvarer 512 lyskilder). I noen utførelser er n lik 10 eller mer.
I noen implementeringer kan punktlyskildene lagres i en datastruktur som innbefatter et 2D-tre for på den måten å muliggjøre nærmeste-nabo søk som kan gjennomføres ved dannelsen av utvidelsesavbildningen 29.
Det er intet krav at det originale bildet 23 brukes for identifisering av områder med høyere og lavere luminans. Fordelingen av slike områder med høyere og lavere luminans vil være den samme i de originale bildedataene 23 som i de utvidede bildedataene 25. Mediankuttalgoritmen kan gjennomføres på de utvidede bildedataene 25.
En måte for oppnåelse av et sett av vekter fra de lyskildene som identifiseres med algoritmen som gjennomføres i blokken 28A, er for hver piksel (x, y) å bestemme lyskildedensiteten i et område rundt pikselen. Dette området kan hensiktsmessig innbefatte et sirkulært område som eksempelvis har en radius r. Andre områdeformer kan også brukes. Densitetstimeringen er beskrevet hos Duda et al., Fattern Classification 2<nd>Edition, Wiley Interscience (2001).
En grunnleggende formel som kan brukes for densitetsestimeringen er:
hvor A er densiteten, X er plasseringen (x, y) i bildet, vj/p er luminansverdien for en lyskilde i punktet p, og P er settet av punkter i området (en sirkel med radius r og her sentrert om X) som svarer til lyskilder som identifiseres med algoritmen, r
Densitetsestimeringen kan bedres på flere måter:
• gjentagelse av mediankuttalgoritmen for oppnåelse av et større antall lyskilder (dvs. at n gjøres større),
• anvendelse av et glattingsfilter på resultatene av densitetsestimeringen,
• kreve at i det minste et terskeltall for lyskildene (eksempelvis, når det finnes 1024 eller flere lyskilder — n= 10, kan terskeltallet være 4 eller mer - i noen tilfeller 4-6 lyskilder) innenfor et påvirkningsområde for en piksel (eksempelvis innenfor en radius r for pikselen) før pikselen gis en ikke-null densitet A.
Et glattingsfilter kan innbefatte et Gauss-glattingsfilter. Eksempelvis ble det i en prototype brukt et Gauss-filter som bestemt av kjernevekten:
hvor: w>g p er kjernen, y og P er parametere. Dette filteret er eksempelvis beskrevet hos Pavicic, Convenient Anti- Aliasing Filters that Minimize Bumpy Sampling, Morgan Kaufmann, (1990). Eksempler på verdier for y og P er y = 0,918 og P = 1,953. Dette filteret normaliseres og kan brukes ved å skalere luminansene med w>gp ved beregning av densitetsestimeringen som nevnt foran. Man kan da se at dette filteret vekter lyskilder som ligger nærmere pikselen i større grad enn lyskilder som ligger lengre vekk fra pikselen.
I blokken 30 kombineres originale data 23 og utvidede data 25 ved hjelp av utvidelsesavbildningen 29 for på den måten å få frem forbedrede data 33.1 et eksempel vil utvidelsesavbildningen 29 gi en verdi i området [0,1] for hver piksel. Denne verdien kan brukes som vekter for en lineær interpolering mellom originale data 23 og utvidede data 25. Eksempelvis:
hvor Lfmaier en pikselluminansverdi i de forbedrede data 33 for en piksel med en plassering ( x, y), Zwer en luminasverdi for pikselen i ekspanderte data 25, Lder en luminansverdi for pikselen i originale data 23, og A er en vekt for pikselen i området [0,1] fra utvidelsesavbildningen 29.
Blokken 30 kan eventuelt kombinere originale data 23 og utvidede data 25 på andre måter. Eksempelvis kan interpoleringen være ikke-lineær.
De her beskrevne fremgangsmåter kan brukes eksempelvis for å bedre det dynamiske området til digitale stillbilder eller videobilder. Forbedrede data 23 kan tas vare på, som indikert i blokken 34, eller de kan vises på en skjerm, som indikert i blokken 36.
Inverstoneavbildningsoperatøren som er beskrevet foran i forbindelse med ligningene (6) og (7), kan anvendes utenfor fremgangsmåten 20. Eksempelvis kan inverstoneavbildningsoperatøren brukes direkte for øking av rammenes dynamikkområde i en video. I slike utførelser kan bildet i hver videoramme prosesseres med inverstoneavbildningsoperatøren for derved å få frem en utvidet ramme. De utvidede rammene kan lagres og/eller spilles tilbake for på den måten å oppnå video med et dynamikkområde som er høyere enn for den originale videoen.
Typiske bilder inneholder hundre tusener piksler og mer typisk millioner av piksler. De her beskrevne fremgangsmåtene gjennomføres ved hjelp av automatisert utstyr, så som spesialisert hardware og/eller programmerte computersystemer.
Fig. 2 viser skjematisk en anordning 40 for tilveiebringelse av bilder med utvidede dynamikkområder ut fra originale bildedata 23. Anordningen 40 innbefatter en dynamikkområdeekspander 44 som prosesserer originale bildedata 23 for å få frem utvidede data 25. I noen utførelser kan dynamikkområdeekspanderen 44 innbefatte en software-modul som tar originale bildedata 23 og bruker en dynamikkområdeutvidelsesfunksjon for hver luminansverdi i de originale bildedataene 23, for på den måten å få frem utvidede data 25.
Anordningen 40 innbefatter en luminansfordelingsanalysator 46 som prosesserer originale bildedata 23 (eller eventuelt utvidede data 25) for å få frem utvidelsesavbildningene 29. Luminansfordelingsanalysatoren 46 bestemmer den grad i hvilke pikslene i de originale bildedataene 23 tilhører områder med høy og lav luminans i bildet som representert med de originale bildedataene 23.
Kombinatoren 48 kombinerer originale bildedata 23 og utvidede data 25 for å levere forbedrede data 33. Den relative grad i hvilken hver piksel i forbedrede data 33 er basert på verdien for den korresponderende pikselen i de originale bildedata 23 og utvidede data 25, vil være avhengig av verdien til den korresponderende pikselen i utvidelsesavbildningen 29.
Hver dynamikkområdeekspander 44, luminansfordelingsanalysator 46 og kombinator 48 kan innbefatte en hardwaremodul, en kombinasjon av hardware og software, eller en konfigurerbar hardware, så som én eller flere på egnet måte utformede feltprogrammerte portmatriser (FPGA'er). I noen utførelser innbefatter anordningen 40 et elektronisk visningssystem for høye dynamikkområder, hvilket system kan vise stillbilder og/eller videobilder. I slike utførelser kan anordningen 40 aktiveres for derved å bedre historiske bilder og/eller videobilder som har dynamiske områder som er lavere enn et dynamisk område som visningssystemet kan reprodusere.
Fig. 3 viser en anordning 50 ifølge en annen utførelse av oppfinnelsen. Anordningen 50 har et brukergrensesnitt 52 som muliggjør at en bruker kan påvirke verdier for parameterne 31 i et datalager 54. Parameterne 21 styrer driften av et dynamikkområdeforsterkningssystem 56 som prosesserer originale bildedata 23 for oppnåelse av forbedrede bildedata 33, som beskrevet her. Forbedrede bildedata 33 vises på en skjerm 60 som styres av en høydynamikkområdeskjermdriver 58. I den viste utførelsen kan en bruker se virkningen av et bestemt sett av parametere 31 på det bildet som vises på skjermen 60, og kan endre verdiene til én eller flere av parameterne 31 via brukergrensesnittet 52, for derved å oppnå et ønsket bildeuttrykk. Brukeren kan spare de forbedrede bildedataene 33 for senere visning på skjermen 60 eller på andre høydynamikkområdedisplayer.
Noen implementeringer av oppfinnelsen innbefatter bruk av computerprosessorer som kjører software-instruksjoner som medfører at prosessorene kan gjennomføre en fremgangsmåte ifølge oppfinnelsen. Eksempelvis kan én eller flere prosessorer i et bildeprosesserings- eller bildevisningssystem implementere fremgangsmåten i fig. 1 ved å kjøre software-instruksjoner i et programminne som prosessorene har tilgang til. Oppfinnelsen kan også gjennomføres i form av et programprodukt. Programproduktet kan innbefatte ethvert medium som bærer et sett av computerlesbare signaler som innbefatter instruksjoner som, kjørt i en dataprosessor, kan medføre at dataprosessoren kan kjøre en fremgangsmåte ifølge oppfinnelsen. Programprodukter i samsvar med oppfinnelsen kan ha mange ulike former. Eksempelvis kan programproduktet innbefatte fysiske media så som magnetiske datalagringsmedia, herunder floppy-disketter, harddiskdrivere, optiske datalagringsmedia inkludert CD ROM'er, DVD'er, elektroniske datalagringsmedia inkludert ROM'er, flash-RAM, eller lignende. De computerlesbare signalene i programproduktet kan eventuelt komprimeres eller kodes.
Når det ovenfor er angitt en komponent (eksempelvis en software-modul, prosessor, anordning, innretning, krets, etc), så skal en slik betegnelse, med mindre annet er sagt (og inkludert en referanse til et "middel"), tolkes slik at den innbefatter ekvivalenter av komponenten, dvs. enhver komponent som kan gjennomføre den beskrevne komponentens funksjon (dvs. en komponent som funksjonsmessig er ekvivalent), herunder komponenter som ikke nødvendigvis er strukturelt ekvivalente med den beskrevne strukturen som gjennomfører funksjonen i de belyste utførelseseksemplene av oppfinnelsen.
Selv om det foran er beskrevet flere aspekter og utførelser, vil fagpersoner forstå at det kan tenkes flere modifikasjoner, permutasjoner, addisjoner og sub-kombinasjoner av de beskrevne aspektene og utførelsene. Eksempelvis: • Anvendelsen av oppfinnelsen er ikke begrenset til et bestemt eller bestemte formater for å representere bildedata, og heller ikke begrenset til bestemte fargerom. Selv om luminansverdiene prosesseres, må ikke nødvendigvis de originale bildedataene 23 eller de forbedrede bildedataene 33 være i et LUV-format eller et annet format som luminansverdiene eksplisitt er representert i. Oppfinnelsen kan gjennomføres med andre bildeformater som inneholder informasjon hvorfra det kan utledes luminansverdier. Når eksempelvis bildedata er representert i et RGB-format, kan luminansverdiene utledes ved hjelp av ligning (2) eller andre egnede forhold som vil gi en verdi som relaterer seg til luminans, på basis av verdier for individuelle farger i bildet.

Claims (16)

1. Fremgangsmåte for øking av dynamikkområdet til originale bildedata som representerer et bilde, hvor fremgangsmåte innbefatter, i vilkårlig rekkefølge: å anvende en utvidelsesfunksjon for å generere, fra de originale bildedataene, utvidede data med et dynamikkområde med hensyn til mulige pikselverdier som er større enn de for de originale bildedataene, og å tilveiebringe en utvidet avbildning som omfatter data som er indikative for en grad av luminas til områder assosiert med piksler i bildet, og å kombinere de originale bildedataene og de utvidede dataene i samsvar med den utvidede avbildningen, for derved å få frem forbedrede bildedata.
2. Fremgangsmåte ifølge krav 1, karakterisert vedat tilveiebringelsen av den utvidede avbildningen innbefatter bruk av en mediankuttalgoritme for data som representerer bildet.
3. Fremgangsmåte ifølge krav 2, karakterisert vedat dataene som representerer bildet innbefatter de originale bildedataene eller de utvidede dataene.
4. Fremgangsmåte ifølge krav 2 eller 3, karakterisert vedat tilveiebringelsen av den utvidede avbildningen innbefatter estimering av en densitet for lyskilder identifisert med mediankuttalgoritmen i områdene assosiert med pikslene.
5. Fremgangsmåte ifølge krav 4, karakterisert vedat områdene som er assosiert med pikslene innbefatter sirkulære område som er sentrert på pikslene.
6. Fremgangsmåte ifølge et av kravene 4 eller 5, karakterisert vedat estimeringen av densiteten innbefatter vekting av lyskildene i samsvar med en glattingsfunksjon.
7. Fremgangsmåte ifølge krav 6, karakterisert vedat glattingsfunksjonen innbefatter eksponensialet til en negativ verdi som er en funksjon av en avstand til lyskilden fra pikselen.
8. Fremgangsmåte ifølge et av kravene 5 til 6, karakterisert vedat estimeringen av densiteten for en piksel innbefatter vekting av lyskildene i samsvar med deres avstander fra pikselen, idet lyskilder som ligger nærmere pikselen vektes kraftigere enn lyskilder som ligger lengre vekk fra pikselen.
9. Fremgangsmåte ifølge et av kravene 4 til 8, karakterisert vedå sette en pikselverdi i den utvidede avbildningen til en forhåndsbestemt verdi dersom det ikke finnes minst en terskelverdi av antall lyskilder i området som er assosiert med pikselen.
10. Fremgangsmåte ifølge et av kravene 1 til 9, karakterisert vedat anvendelsen av utvidelsesfunksjonen innbefatter å bruke en invers toneavbildningsoperatør.
11. Fremgangsmåte ifølge et av kravene 1 til 9, karakterisert vedat bruken av utvidelsesfunksjonen innbefatter lineær skalering av pikselluminositetsverdier for de originale bildedataene.
12. Fremgangsmåte ifølge et av kravene 1 til 9, karakterisert vedat anvendelsen av den utvidede funksjonen innbefatter å løse med hensyn til Lwi den kvadratiske ligningen:
eller en matematisk ekvivalent av denne, hvor a, Lwhiteog Lwer parametere og Lder en luminansverdi som svarer til en piksel i de originale bildedataene, og Lw( x, y) er en luminansverdi for en piksel ved en lokasjon ( x, y) i de utvidede dataene.
13. Fremgangsmåte ifølge et av kravene 1 til 12, karakterisert vedat kombineringen av de originale bildedataene og de utvidede dataene innbefatter beregning av vektede gjennomsnitt av pikselluminansverdier for de originale bildedataene og utvidede data med vektingsverdier bestemt fra utvidelsesavbildningene.
14. Fremgangsmåte ifølge et av kravene 1 til 12, karakterisert vedat kombineringen av de originale bildedataene og de utvidede dataene innbefatter interpolering av pikselluminansverdier for de originale bildedataene og utvidede dataene med vektingsverdier som bestemt fra utvidelsesavbildningene.
15. Anordning for å utvide dynamikkområdet for originale bildedata, hvor anordning innbefatter: en dynamikkområdeekspander forbundet for å motta originale bildedata og levere utvidede data som har et dynamikkområde med hensyn til mulige pikselverdier som er større enn det for de originale bildedataene, en luminansfordelingsanalysator konfigurert for å generere en utvidelsesavbildning som er indikativ for luminansen i områder assosiert med piksler i bildet til de originale bildedataene, en bildekombinator konfigurert for å kombinere av de originale bildedataene med de utvidede dataene fra dynamikkområdeekspanderen i samsvar med utvidelsesavbildningen, for derved å få frem forbedrede bildedata.
16. Anordning ifølge krav 15, karakterisert vedat luminasfordelingsanalysatoren er konfigurert for å utføre en mediankuttalgoritme.
NO20092391A 2006-11-27 2009-06-23 Anordning og metode for å bedre dynamisk område i digitale bilder NO338509B1 (no)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US86732506P 2006-11-27 2006-11-27
PCT/US2007/024498 WO2008066840A2 (en) 2006-11-27 2007-11-27 Apparatus and methods for boosting dynamic range in digital images

Publications (2)

Publication Number Publication Date
NO20092391L NO20092391L (no) 2009-06-23
NO338509B1 true NO338509B1 (no) 2016-08-29

Family

ID=39468493

Family Applications (1)

Application Number Title Priority Date Filing Date
NO20092391A NO338509B1 (no) 2006-11-27 2009-06-23 Anordning og metode for å bedre dynamisk område i digitale bilder

Country Status (16)

Country Link
US (1) US8289412B2 (no)
EP (1) EP2098060B1 (no)
JP (1) JP5411706B2 (no)
KR (1) KR101466596B1 (no)
CN (1) CN101595719B (no)
AU (1) AU2007325737B2 (no)
BR (1) BRPI0719548B1 (no)
CA (1) CA2669028C (no)
HK (1) HK1135543A1 (no)
IL (1) IL198599A (no)
MX (1) MX2009005564A (no)
MY (1) MY147417A (no)
NO (1) NO338509B1 (no)
RU (1) RU2444786C2 (no)
UA (1) UA99449C2 (no)
WO (1) WO2008066840A2 (no)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2009003499A1 (en) * 2007-06-29 2009-01-08 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Scalable video coding supporting pixel value refinement scalability
PL2835976T3 (pl) * 2008-04-16 2017-04-28 Ge Video Compression, Llc Skalowalność głębi bitowej
WO2010022558A1 (en) * 2008-08-28 2010-03-04 Hong Kong Applied Science and Technology Research Institute Co. Ltd Digital image enhancement
JP2010271480A (ja) * 2009-05-20 2010-12-02 Sharp Corp 表示装置
JP5752133B2 (ja) * 2009-10-08 2015-07-22 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation デジタル画像を低ダイナミック・レンジ(ldr)画像から高ダイナミック・レンジ(hdr)画像に変換するための方法およびシステム
US9300938B2 (en) 2010-07-22 2016-03-29 Dolby Laboratories Licensing Corporation Systems, apparatus and methods for mapping between video ranges of image data and display
TWI463862B (zh) * 2010-12-31 2014-12-01 Wt Microelectronics Co Ltd 寬動態範圍影像處理裝置及寬動態範圍影像處理方法
TWI538473B (zh) 2011-03-15 2016-06-11 杜比實驗室特許公司 影像資料轉換的方法與設備
DK3324622T3 (da) 2011-04-14 2019-10-14 Dolby Laboratories Licensing Corp Indikator med multiple regressioner og multiple farvekanaler
JP5877693B2 (ja) * 2011-11-18 2016-03-08 株式会社キーエンス 画像処理センサ、画像処理方法及びコンピュータプログラム
US9024961B2 (en) 2011-12-19 2015-05-05 Dolby Laboratories Licensing Corporation Color grading apparatus and methods
CN104126307B (zh) 2012-02-29 2018-02-06 杜比实验室特许公司 用于改善的图像处理和内容传递的图像元数据创建处理器及方法
US9129445B2 (en) 2012-03-14 2015-09-08 Dolby Laboratories Licensing Corporation Efficient tone-mapping of high-bit-depth video to low-bit-depth display
EP2880624B1 (en) 2012-03-26 2019-05-08 Koninklijke Philips N.V. Brightness region-based apparatuses and methods for hdr image encoding and decoding
CN103024328B (zh) * 2012-12-28 2015-11-25 北京汉邦高科数字技术股份有限公司 一种提高数字视频录像机抓图质量的方法
US9432589B2 (en) 2013-08-15 2016-08-30 Omnivision Technologies, Inc. Systems and methods for generating high dynamic range images
EP2869260A1 (en) * 2013-10-29 2015-05-06 Thomson Licensing Method and apparatus for generating from a quantised image having a first bit depth a corresponding image having a second bit depth
US9607364B2 (en) 2013-11-22 2017-03-28 Dolby Laboratories Licensing Corporation Methods and systems for inverse tone mapping
KR102234092B1 (ko) 2013-12-27 2021-04-01 인터디지털 매디슨 페턴트 홀딩스 에스에이에스 이미지의 역 톤 매핑을 위한 방법
RU2669431C2 (ru) * 2014-05-15 2018-10-12 Сони Корпорейшн Устройство связи, способ связи и компьютерная программа
RU2578799C1 (ru) * 2015-03-13 2016-03-27 Федеральное государственное бюджетное учреждение науки Институт космических исследований Российской академии наук Способ получения изображений с увеличенным динамическим диапазоном
WO2017032822A1 (en) 2015-08-25 2017-03-02 Thomson Licensing Inverse tone mapping based on luminance zones
EP3249605A1 (en) * 2016-05-23 2017-11-29 Thomson Licensing Inverse tone mapping method and corresponding device
EP3373585A1 (en) * 2017-03-09 2018-09-12 Thomson Licensing Method for inverse tone mapping of an image with visual effects
EP3418972A1 (en) 2017-06-23 2018-12-26 Thomson Licensing Method for tone adapting an image to a target peak luminance lt of a target display device
US11100888B2 (en) 2017-06-28 2021-08-24 The University Of British Columbia Methods and apparatuses for tone mapping and inverse tone mapping
EP3503019A1 (en) * 2017-12-21 2019-06-26 Thomson Licensing Improved inverse tone mapping method and corresponding device
CN113518185B (zh) * 2020-12-30 2022-08-05 腾讯科技(深圳)有限公司 视频转换处理方法、装置、计算机可读介质及电子设备

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5005419A (en) * 1988-06-16 1991-04-09 General Electric Company Method and apparatus for coherent imaging system
EP0569018A1 (en) * 1992-05-08 1993-11-10 Matsushita Electric Industrial Co., Ltd. Gradation correcting apparatus
US5748797A (en) * 1990-03-22 1998-05-05 Canon Kabushiki Kaisha Apparatus and method for processing an image using expansion to connect isolated neighboring image information followed by compression
GB2319685A (en) * 1996-10-10 1998-05-27 Samsung Electronics Co Ltd Dynamic range expanding apparatus for a video image
EP0933924A2 (en) * 1998-01-28 1999-08-04 Konica Corporation Image processing apparatus
US6418245B1 (en) * 1996-07-26 2002-07-09 Canon Kabushiki Kaisha Dynamic range expansion method for image sensed by solid-state image sensing device
WO2003003300A2 (en) * 2001-06-29 2003-01-09 Hewlett-Packard Company Automatic digital picture enhancement

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3452212B2 (ja) * 1994-07-07 2003-09-29 富士ゼロックス株式会社 減色処理を行なうカラー画像処理装置
US5761070A (en) * 1995-11-02 1998-06-02 Virginia Tech Intellectual Properties, Inc. Automatic color and grain sorting of materials
US5822452A (en) * 1996-04-30 1998-10-13 3Dfx Interactive, Inc. System and method for narrow channel compression
US5828793A (en) * 1996-05-06 1998-10-27 Massachusetts Institute Of Technology Method and apparatus for producing digital images having extended dynamic ranges
US5978518A (en) * 1997-02-25 1999-11-02 Eastman Kodak Company Image enhancement in digital image processing
JPH1132201A (ja) * 1997-07-09 1999-02-02 Matsushita Electric Ind Co Ltd 画像処理装置
JP3484982B2 (ja) * 1998-07-17 2004-01-06 富士通株式会社 物体別ダイナミックレンジ拡張表示方式
JP4127603B2 (ja) * 2001-03-29 2008-07-30 株式会社リコー 画像読み取り装置、画像形成装置及び読み取り画像データ処理方法
GB0110748D0 (en) * 2001-05-02 2001-06-27 Apical Ltd Image enhancement methods and apparatus therefor
WO2002101646A2 (en) * 2001-06-08 2002-12-19 University Of Southern California High dynamic range image editing
JP2004056573A (ja) * 2002-07-22 2004-02-19 Sony Corp 映像信号処理方法、処理回路、及び撮像装置の駆動方法
JP2004140692A (ja) * 2002-10-18 2004-05-13 Matsushita Electric Ind Co Ltd 画像補正装置および画像補正方法
US7142723B2 (en) * 2003-07-18 2006-11-28 Microsoft Corporation System and process for generating high dynamic range images from multiple exposures of a moving scene
JP3950842B2 (ja) 2003-11-18 2007-08-01 キヤノン株式会社 画像処理方法及び装置
CN1696975A (zh) * 2004-05-14 2005-11-16 蒲恬 一种数字图像增强方法
JP2006173671A (ja) * 2004-12-10 2006-06-29 Konica Minolta Holdings Inc 撮像装置及び画像処理方法

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5005419A (en) * 1988-06-16 1991-04-09 General Electric Company Method and apparatus for coherent imaging system
US5748797A (en) * 1990-03-22 1998-05-05 Canon Kabushiki Kaisha Apparatus and method for processing an image using expansion to connect isolated neighboring image information followed by compression
EP0569018A1 (en) * 1992-05-08 1993-11-10 Matsushita Electric Industrial Co., Ltd. Gradation correcting apparatus
US6418245B1 (en) * 1996-07-26 2002-07-09 Canon Kabushiki Kaisha Dynamic range expansion method for image sensed by solid-state image sensing device
GB2319685A (en) * 1996-10-10 1998-05-27 Samsung Electronics Co Ltd Dynamic range expanding apparatus for a video image
EP0933924A2 (en) * 1998-01-28 1999-08-04 Konica Corporation Image processing apparatus
WO2003003300A2 (en) * 2001-06-29 2003-01-09 Hewlett-Packard Company Automatic digital picture enhancement

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
Michael Reichmann: "Contrast Masking", http://www.luminous-landscape.com/tutorials/contrast_masking.shtml datert 2002.10.15, nedlastet 2016.04.02 fra http://web.archive.org/web/20021015154403/http://www.luminous-landscape.com/tutorials/contrast_masking.shtml, Dated: 01.01.0001 *

Also Published As

Publication number Publication date
CA2669028C (en) 2016-01-12
KR101466596B1 (ko) 2014-11-28
US20100208143A1 (en) 2010-08-19
WO2008066840A2 (en) 2008-06-05
KR20090091207A (ko) 2009-08-26
WO2008066840A3 (en) 2009-04-16
CN101595719A (zh) 2009-12-02
JP2010511326A (ja) 2010-04-08
MX2009005564A (es) 2009-08-13
CA2669028A1 (en) 2008-06-05
NO20092391L (no) 2009-06-23
UA99449C2 (ru) 2012-08-27
MY147417A (en) 2012-12-14
AU2007325737A1 (en) 2008-06-05
AU2007325737B2 (en) 2011-02-10
HK1135543A1 (en) 2010-06-04
EP2098060B1 (en) 2012-10-24
IL198599A0 (en) 2010-02-17
JP5411706B2 (ja) 2014-02-12
BRPI0719548A2 (pt) 2014-01-21
RU2444786C2 (ru) 2012-03-10
US8289412B2 (en) 2012-10-16
CN101595719B (zh) 2012-06-13
EP2098060A4 (en) 2011-09-28
IL198599A (en) 2015-01-29
BRPI0719548B1 (pt) 2020-02-04
EP2098060A2 (en) 2009-09-09
RU2009123903A (ru) 2011-01-10

Similar Documents

Publication Publication Date Title
NO338509B1 (no) Anordning og metode for å bedre dynamisk område i digitale bilder
US20210272251A1 (en) System and Method for Real-Time Tone-Mapping
US9466098B2 (en) Local definition of global image transformations
JP4870617B2 (ja) 画像データの自動マッピング方法及び画像処理デバイス
EP2076013B1 (en) Method of high dynamic range compression
JP4870618B2 (ja) 画像データの自動マッピング方法及び画像処理デバイス
KR101625362B1 (ko) 입력 이미지 데이터를 출력 이미지 데이터로 변환하기 위한 방법, 입력 이미지 데이터를 출력 이미지 데이터로 변환하기 위한 이미지 변환 유닛, 이미지 프로세싱 장치, 디스플레이 디바이스
RU2433477C1 (ru) Расширение динамического диапазона изображений
US9875553B2 (en) Image processing apparatus, method, and program
Boitard et al. Temporal coherency for video tone mapping
CN107993189B (zh) 一种基于局部分块的图像色调动态调节方法和装置
Qiu et al. An optimal tone reproduction curve operator for the display of high dynamic range images
Singh et al. Weighted least squares based detail enhanced exposure fusion
JP2007042033A (ja) 色補正装置および画像表示装置
KR101468433B1 (ko) 결합된 색상 채널 변환 맵을 이용한 다이나믹 레인지 확장 장치 및 방법
JP7507554B2 (ja) 画像処理装置、撮像装置、画像処理方法、及びプログラム
JP5846885B2 (ja) 画像処理装置及び画像処理方法
Krawczyk et al. HDR tone mapping
Droege Submitted to The School of Engineering