NO310490B1 - Digital korreksjonsmodul for videoprojektor - Google Patents

Description

Foreliggende opprinnelse angår digital korreksjonsmodul for videoprojektor av den art som angitt i innledningen til krav 1.

Fremvisning av bilder på store skjermer og da især buete skjermer blir i dag anvendt innefor mange områder med et mer eller mindre vellykket resultat. Et av problemene ved bruk av flere videoprojektorer for å danne et stort bilde er at det oppstår forskjeller i grenseområdet av bildene til de respektive projektorene.

Fremvisning på store skjermer blir mellom annet brukt i simulatorer ved for eksempel øvelseskjøring av bil eller innenfor underholdningsbransjen. Prisene på slike systemer er i den senere tid blitt redusert kraftig, og da spesielt på simulator systemet, som kjører underliggende fysiske modeller ved simuleringen så vel som instruktør og/eller elev brukergrensesnitt. Denne kostnadsreduksjonen er tilveiebrakt som følge av den utviklingen som har foregått i den senere tid innenfor PC-teknologien.

I den senere tid har anvendelsen av sanntids 3-dimensjonal grafikk innenfor underholdningsindustrien medført større salgsvolum på slike systemer som igjen har medført at kostnadene på billedgeneratorer har blitt redusert kraftig, i størrelsesorden fra hundrevis av tusen dollar til et par tusen dollar.

Denne prisreduksjonen har gjort det mulig å anskaffe flere simulatorer for at et større antall personer kan foreta simulatorfrening innefor områder hvor simulatorer har hatt en utstrakt anvendelse, slik som innenfor det militære og luftfart generelt.

Til nå har således den største kostnaden ved simulatorer således vært projeksjonssystemet. Nye projeksjonsteknologer gir billigere prosjektører, men disse er ikke av en slik art at de uten videre kan anvendes i simulatorer.

I denne sammenheng skal bemerkes at projeksjonscenen for simulatorer er typisk bygd opp som front projeksjonssystemer under anvendelse av en eller flere projektorer (i noen tilfeller mer en 10) for å danne et panoramabilde. For å fa et panoramabilde er det nødvendig å projeksere bilder på en buet skjerm ved å anvende flere projektorer anordnet ved siden av hverandre og/eller eventuelt over hverandre. Ovennevnte billige projektorer er konstruert for å vise et enkelt bilde på en flat skjerm og er derfor ikke uten videre egnet for fremvisning på en buet skjerm.

Effekten av overlappende soner mellom de forskjellige projeksjonsbildene er kritiske ved visse simulatoranvendelser, idet det er nødvendig å sikre en sømløs overgang fra et bilde (kanal) til et tilliggende bilde. Når et multi-projektor bilde betraktes er det også viktig å styre farve og intensiteten mellom projektorene for å kunne kompensere for varierende intensitet i bildet.

Et ytterligere problem kan være det faktumet at ovennevnte projektors standardlinse er konstruert for fremvisning på en flat skjerm. Det vil således være en grense for hvor stor krummingen av skjermen kan være før tap av optisk fokus blir et problem.

Den kjente og dyre teknologien anvender CRT (katodestrålerør) projektorer, som er dyre i anskaffelsen og krever stadig rekalibrering. Denne rekalibreringen foregår så ofte at det er nødvendig med ekstra personell som må være tilstede under bruk av simulatoren for å foreta jevnlig kalibrering, noe som også fordyrer driften av en simulator. En fordel ved denne kjente teknologien er at det er ingen fast piksel raster ved CRT, det vil si geometrien kan bli kompensert for innenfor fornuftige grenser

Den nye projektorteknologien innbefatter LCD (Liquid Crystal Display) og DMD (Digital Micromirror Device), som skiller fra konventionell CRT (Catode Ray Tube) baserte projektorer er at de er billigere i anskaffelse og har fast piksel raster. Den faste piksel rasteren har den fordelen at den ikke driver og det er derfor ikke nødvendig med en stadig reinnretting som ved CRT. En ulempe er imidlertid at den faste piksel rasteren gjør at det ikke er mulig å kompensere for den buete skjermgeometrien. Ved bruk av flere CRT projektorer forvrenges bildene lett for at de tilsynelatende fremkommer riktig på en buet skjerm.

Den tidligere kjente teknikken beskriver løsningen av slike problemer ved en flat skjerm. Således er det fra WO 9929116 kjent en metode og anordning hvor det benyttes flere videoprojektorer for å danne et stort, av flere deler sammensatt, projisert bilde på en flat skjerm av en felles bildekilde. Lignende system er også beskrevet i US publikasjonene 5 136 390, 5 956 00 og 5 822 002.

Ingen av de nevnte teknologiene har innebygget mulighet for å kunne gi en myk overgang fra bilde til bilde ved en buet skjerm.

En ideell projektor ville kompensere for alle de ovennevnte effektene. Hovedkravet ville imidlertid være å kunne generere nødvendig geometri forvrengning, kunne modulere intensiteten (digital farve modulasjon) for å generere myke overganger fra bilde til bilde og kompensere for varierende intensitet over bildeflaten. En av hensiktene med foreliggende opprinnelse er å tilveiebringe ovennevnte.

For å unngå driftproblemer forbundet med analog elektronikk må korreksjonen utføres digitalt. Dette betyr at korreksjonen må utføres ved et punkt hvor pikseldata er tilgjengelig i digital form, nemlig enten i billedgeneratoren eller i selve projektoren.

Ovennevnte tilveiebringes med en digital korreksjonsmodul av innledningsvis nevnte art hvis karakteristiske trekk fremgår av krav 1. Ytterligere trekk ved oppfinnelsen fremgår av de øvrige uselvstendige kravene.

US patent nr 4 656 521 beskriver en digital forvrengningskorrigerende krets for projisering av et flatt bilde fra en digital datakilde på en buet skjerm for en projektoranordning til bruk i en simulator. Foreliggende oppfinnelse er imidlertid rettet mot en digital korreksjonsmodul som tilveiebringer ovennevnte med andre midler og tildels enklere måte enn hva som er kjent fra nevnte US patent.

Korreksjonsmodulen ifølge oppfinnelsen kan settes inn som en innpluggingsmodul i eksisterende projektorer. Det eneste kravet som projektoren må oppfylle er at digital pikseldata er tilgjengelig i sann tid slik at datastrømmen kan bli hentet opp av og reformatert av korreksjonsmodulen. Fysisk kan korreksjonsmodulen være utført som et PCB-kort som monteres oppå et eksisterende kretskort i projektoren.

Oppfinnelsen kan foruten anvendelsen ved projektorer i en simulatorer også anvendes i underholdningsbransjen og lignende, idet en av flere mulige anvendelser er beskrevet nærmere i det påfølgende.

Et simulator projeksjon teater kan anses som et spesielt tilfelle av en videovegg, det vil si et multi-projektorsystem som brukes i en simulator. Analyser har vist at oppbygging av en høykvalitets videovegg krever tilnærmet samme funksjonene som ved anvendelse i en simulator med hoved forskjellen at det ved en simulator kreves en buet skjerm.

Viktige trekk ved en videovegg er at den er enkel å sette opp og installere og at det ikke er analoge drift problemer. En myk overgang fra bilde til bilde kombinert med fjerning av varme punkter vil gi et stort bilde av høy kvalitet, da sømmene mellom projeksjonene kan gjøres virtuelt usynlige.

Geometrikorreksjon vil akselerere oppsettingen av projektorsystemet da kravet om nøyaktig mekanisk innretting er redusert. Digital trapeskorreksjon gir en stor frihet med hensyn til valg av projektor/skjerm geometri innenfor grensene av optisk fokus.

Oppsettingen av videoveggen innbefattende geometri-innretting er forenklet ved bruk av en enkel styring via for eksempel en PC, laptop, som adresserer alle eller individuelle projektorer. Dette vil også muliggjøre en back up av konfigurasjonsdata på disk.

Typisk videovegg anvendelse krever kompleks videosplittere for en nøyaktig utleding av individuell del-bilder fra kildesignalet. En fordel ved geometrikorreksjonskretsen er at den kan bli anvendt for å utlede del-bilder direkte fra kildesignalet og således unngåes behovet for en ekstern splitter. I stedet kan et enkelt videobuffersystem eller en kjedet struktur anvendes for å fordele kildesignalet til alle projektorene.

Systeminnstillingen vil sette opp alle projektorene til å utlede deres relevante del-bilder innbefattende en overlappsone for blending.

I det påfølgende skal oppfinnelsen beskrives nærmere med henvisning til tegningene, hvor:

Fig. 1 viser i blokkdiagram funksjonen til korreksjonsmodulen.

Fig. 2 viser skjematisk et pikselelement i inngansbildet og dets overføring til

utgangsbildet.

Fig. 3 viser skjematisk et eksempel på projektorer tilkoblet en biledkilde.

Fig. 4 viser en mulig utførelse av blandertrinnene på fig. 2 i blokkdiagram.

Fig. 5 viser en gammakoreksjonskurve

Korreksjonsmodulen ifølge oppfinnelsen skal utføre korreksjonsfunksjoner som er nødvendig for å bruke en projektor med fast raster for multikanalprojeksjon på en ikke flat skjerm. Under uttrykket multikanal skal forståes fremvisning av flere del-bilder, idet hvert delbilde kommer fra en egen projektor.

Projektorer, som bruker fast raster, slik som DMD- og LCD-projektorer har ikke muligheten til å forvrenge geometri ved å anvende konvergenskontroll slik som tilfellet er ved CRT-projektorer.

Et ytterligere krav ved multikanal projektorsystemer er muligheten til å utføre myke overgang avstemming og vignettkorreksjon for å minimalisere intensitetvariasjonene innenfor en kanal og gjøre overgangen fra bilde til bilde "sømløs".

Korreksjonsmodulen kan dessuten også anvendes for en glatt resampling av bilder av en annen oppløsning enn utgangsrasteren, for eksempel resampling av et SVGA (800x600) eller SXGA (1280x1024) bilde til et XGA (1024x768) bilde av høy kvalitet uten linje-eller pikseltap.

Før det gåes nærmere innpå selve korreksjonsmodulens konstruksjon skal dens primære funksjoner nemlig geometrikorreksjon, myk overgang avstemming, vignettkorreksjon og gammakorreksjon beskrives nærmere:

Geometrikorreksj on:

Denne korreksjonen skal muliggjøre en ikke-lineær reavbilding av bildet for å sørge for at det fremkommer riktig på en ikke-ideal skjerm (buet eller i vinkel anordnet skjerm). Brukeren eller programvaren for styring kan definere en hver ikke-lineær avbilding til et inngangspiksel gitter til et utgangspiksel gitter innbefattende trapesformet forvrengning og ikke-lineære forvrengninger for buete skjermer.

Avbildningen kan utføres ved bruk av et nett av styrepunkter (styrenett) anbrakt ikke mer enn 4x4 piksel fra hver andre, som definerer avbildningen til det nye gitteret. Mellom styrepunktene vil modulen utføre lineær interpolasjon for å utlede pikselkoordinatene for hver piksel.

Nøyaktigheten til pikselkoordinatene ved nettpunktene og mellom (interpolerte) posisjoner skal (et absolutt krav) være lik eller bedre enn 1/8 piksel.

Ved avbildningsprosessen (resampling) skal (absolutt krav) systemet bruke bilineær interpolasjon mellom de fire nærmeste pikselene i inngangsgitteret når beregningen av verdien for en utgangspiksel foregår. Det er et absolutt krav at interapolasjonen skal utføres med en nøyaktighet lik 1/8 piksel for interpolasjonsfaktorene.

Det er imidlertid praktiske grenser for hvor mye bildet kan forvrenges. Grensen for forvrenging måles ut fra hvor mye en piksel kan ble forskjøvet på skjermen 3 i forhold til dens startposisjon. Den maksimale mulige forskyvningen er antydet på fig. 1 ved hjelp av et rektangel 2 på skjermen 3 rundt den opprinnelige pikselposisjonen.

Den maksimale tillatte lokale og globale forskyvningen i vertikal retning er begrenset av mengden av piksellager som er nødvendig for å lagre et partialt bilde for senere fremvisning. Den lokale forskyvningen i horisontal retning er begrenset av hvor hurtig piksler kan bli klokket ut av piksellageret og behandlet (dersom bildet er komprimert må pikselene bli klokket ut og behandlet hurtigere enn den opprinnelige piksel klokkehastigheten.

den valgte bilineære samplingen begrenser kvaliteten på det re-samplede bildet dersom det foretaes en opp- eller nedskalering med en faktor større enn 2.

Tabell I viser grensene i vertikal retning gitt av størrelsen til piksellageret (128 eller 256 linjer, men disse parameterne må imidlertid ikke anses som absolutte, idet videre praktiske forsøk vil kunne resultere i ytterligere grenser.)

(1) Over en hver gruppe av « 32 piksler, idet den gjennomsnittlige forstørrelsen ikke må overskride totale kravet nedenfor. (2) Begrenset av piksel klokke/intern klokkeforhold; bildet må klokkes ut ved en høyere hastighet enn pikselklokken.

O) Begrenset av antall linjer lagret i piksellageret; når bildet miniseres blir de øvre bildelinjene forsinket i pilsellageret for å komprimere bildet. (4) Begrenset av antall linjer lagret i piksellageret; når bildet forstøres blir de nedre bildelinjene forsinket i pilsellageret for å ekspandere bildet. (5) Begrenset av antall linjer lagret i piksellageret. Kompresjon/ekspansjon kan begrense dette ytterligere.

Mykovergangsavstemming:

Avsternmmgsrunksjonen for myk overgang skal fortrinnsvis utføres før geometrikorreksjon og skal bruke en lignende nett av styrepunkter for å tilveiebringe individuelle skalering av inngangspikselene som en funksjon av skjermposisjonen. Hver farvekomponent (R, G og B) skal skaleres individuelt. Skaleringsfaktoren skal defineres med minst 9 biter oppløsning. For myk overgangsavstemming skal styrenettet ha styrepunkter i avstand fra hver andre på ikke mer enn 4 piksel i horisontal retning og opp til 4 piksel i vertikal retning.

Vign ettkor reksj on:

Vignettkorreksjonen utføres ved samme trinnet som myk overgangsavstemmings-korreksjon og bruker samme krets. Et viktig trekk ved denne korreksjonen er at den vil kompensere for forskjellene i intensitet som en funksjon av posisjonen i de projiserte bildet og den vil kompensere for variasjoner i oppfattet intensitet på grunn av piksler som dekker forskjellige skjermareal i projektorteateret.

Vignettkorreksjonen skal utføres under bruk av minst 9 biters nøyaktighet ved beregningen. Denne korreksjonen skal tillates å nedskalere pikselverdiene minst 25 % i forhold til full intensitet. Styrepunktene for vignettkorreksjonen skal være i en avstand på ikke mer enn 16x16 piksler fra hverandre. Hver farvekomponent (R, G, B,) skal skaleres individuelt.

Det skal bemerkes at myk overgangsavstemming og vignettkorreksjon begge impliserer lineær skalering av pikselverdiene med en faktor som er en funksjon(x. y)posisjon i bildet. Selvom kravene med hensyn til nøyaktighet og koeffisientområde kan bli implementert under anvendelse av samme skaleringsfunksjon. Brukeren (teknikkeren for oppsettet) bør imidlertid anse de to funksjonene som separate.

Gammakorreks j on

Gammakorreksjon utføres ved å modifisere farveverdiene ved hjelp av funksjonen c<Y>,

hvor c er farvekomponeneten (normalisert til området 0-1) og y er en konstant avhengig av overføringsfunksjonen til fremvisningsanordningen. Gammakorreksjonen utføres for å gi et tilnærmet lineært forhold mellom inngangsverdier og oppfattet utgangsintensitet, jfr fig. 6.

GammakoiTeksjonsrunksjonen innbefatter også styring av svart nivå og hvit punkt. R, G og B komponentene skal håndteres separat for å kompensere for variable fremvisning-karakteristikker og farvebalanse.

Gammakorreksjonen kan implementeres som en oppslagstabell (eller et sett av 3 oppslagstabeller) for farvekomponentene eller av en pikselvis lineær mteipolasjonfunksjon for å tilveiebringe en oppfatning av konstant intensitet uten hensyn til hvorledes det resamplede pikselgitteret passe til inngangsgitteret. Gammakorreksjonen skal kunne justeres.

Med henvisning til fig. 1 skal signalbehandlingen for å tilveiebringe ovennevnte funksjoner beskrives nærmere, idet fig. 1 visere en sekvenser 1, som starter et antall hendelser basert på signalene HSYNC, VSYNC og PIXCLK fra billedleveringsenheten. Sekvenseren inneholder en linjeforsinkelseteller, som teller ned til 0, et delbilde startregister, en linjeteller, som teller opp og en tilstandsanordning for å styre sekvensingen.

I sekvenseren 1 starter VSYNC-signalets flanke ett nytt video delbilde. Delbilde start adressen bli satt til neste frie adresse i piksellageret 3. Piksel skrivekontrollen 2 lastes med den nye adressen og tilbakestilles. Linjeforsinkelse styreren i sekvenseren 1 lastes med den spesifiserte inngang- til utgang-forsinkelse (antall linjer)

I sekvenseren 1 starter HSYNC-signalets flanke en ny video linje og sender start av linjesignal til piksel skrivekontrollen 2. Dersom linjetelleren i sekvenseren 1 løper sendes start av linjesignalet til lese adresse generator 13, koeffisient generatoren 5, og skaleringsgenerator 6.

Når linjeforsinkelsetelleren i sekvenseren 1 når null starter linjetelleren og lesingen fra parameterlageret 7 og utganssignalet VSYNC sin flanke genereres.

Når linjetelleren når maksimum (lik vertikal oppløsning) stoppes telleren og sender slutt på delbilde signal til piksel skrive kontroll 2, lese adresse generator 13, koeffisient generator 5, og skaleringsgenerator 6.

Det skal bemerkes at det kan være overlapping mellom inngangs og utgangs-generering, dvs. utgangen til tidligere delbilder er ikke ferdig før neste delbilde er startet.

Piksel skrive kontrollen 2 inneholder en adressegenerator som inkrementeres med 1 for hver piksel inn. Piksel skrive kontrollen 2 lastes med en start adresse fra sekvenseren 1 ved start av hvert delbilde og <y>il telle opp for 1024 pikselklokke etter hver HSYNC.

Data i parameterlageret 7 kodes som absolutte verdier for X, Y og RGB skaleringsfaktorer ved start av hver 4. linje. For hver gruppe av 4 pikseler i linjen bli deltaverdier (dX, dY, dR, dG, dB) lagret (inkrementert fra tidligere verdier)

For å dekode parameterlagerdata innholder lageret 7 et sett med akkumulatorer som genererer absolutte verdier for hver pikselposisjon basert på deltaverdiene. Hver deltaverdi er addert 4 ganger for å generere 4 absolutte X, Y, R, G, B vektorer før et nytt deltaverdisett er lest fra lageret 7.

Lese adresse generatoren 13 mottar et XY-koordinatpar fra parameterlageret 7 for hver piksel som skal bli generert. Verdiene i X og Y akkumulatorene kombineres og adderes i en adderer 8 sammen med delbildestartadressen for å gi en adresse i piksellageret 3. Denne adressen anvendes for å slå opp de 4 nærmeste pikseler rundt den eksakte X,Y-koordinatposisjonen.

Koeffisientgeneratoren 5 mottar fraksjonsdeler av X.Y-koordinatene og genererer vektkoeffisienter for vertikale og horisontale blandere 9,10. Det vil si vertikale blandervekter er frac(Y) og [l-frac(Y)], og horisontale blandervekter er frac(X) og [1-frac(X)]. Koeffisienten forsinkes via en FIFO-buffer (jfr- henvisningstallet 11 på fig 4) for å sikre at koeffisientdata ankommer synkront med piksler lest fra piksellageret 3.

Skaleringsgeneratoren anvender R,G, og B data for hver piksel lest fra parameterlageret 7 og genererer koeffisienter som skal bli anvendt for farveskalering pr. piksel. Denne dataen sendes gjenom ovenenvnte FIFO-buffer 11 som blanderkoeffisient for å bli synkronisert med pikseldata.

Gamma oppslagsfunksjonen 12 innbefatter et lager for å lagre en fast gammaoppslagstabell. Denne tabellen anvendes for å generere en ikke-lineær utgangsfunksjon for å kompensere for ikke-linearitet i fremvisningsanordningen.

Claims (7)

1. Korreksjonsmodul for videoprojektorer innrettet for å gi en ikke-lineær reavbilding av et bilde slik at det fremkommer riktig på en ikke-ideal skjerm (buet skjerm) hvor en korreksjonsmodul er anordnet etter en felles billedkilde i hver av flere videoprojektorer for å danne et stort, av flere delbilder sammensatt, projisert bilde av nevnte billedkilde, karakterisert ved at korreksjonsmodulen innbefatter en sekvenser (1), som tilføres signaler HSYNC, VSYNC, og PIXCLK fra en bildeleveirngsenhet, hvilken sekvenser (1) har flere utganger, hvor en første utgang er forbundet med en inngang til en piksel-skrivekontroll (2), en andre utgang er forbundet med en inngang til et parameterlager (7), en tredje utgang er forbundet med en inngang til en lese-adresse-generator (13), en fjerde utgang er forbundet med en inngang til en koeffisient-generator (5), en femte utgang er forbundet med en inngang til en skaleringsgenerator (6), idet en første utgang til piksel skrivekontrollen (2) er forbundet med en av inngangene til en adderer (8), hvis andre inngang er forbundet med en utgang til lese-adresse-generatoren (13) og hvor en utgang til addereren (8) er forbundet med en inngang til et piksellager (3), hvilket piksellager (3) tilføres pikseldata fra bildeleveringsenheten, idet data fra piksellageret (3) tilføres vertikal-blandere (9) hvis utganger er forbundet med en horisontal-blander (10), idet signalene ut fra blanderne (9, 10), som mottar utgangsignaler til koeffisient generatoren (5), tilføres en oppslagsfunksjonsinnretning (12), som mottar et utgangssignal fra skaleringsgeneratoren (13) og et utgangssignal fra parameterlageret (7), for å avgi korreksjonssignaler for korreksjon av forskjeller i grenseområdet av bildene til de respektive projektorene slik som geometrikorreksjon, myk overgang avstemming, vignettkorreksjon og gammakorreksjon.

2. Korreksjonsmodul ifølge krav 1, karakterisert ved at gometrikorreksjondelen i korreksjonsmodulen, som er innrettet for å gi en ikke-lineær reavbilding av bildet slik at det fremkommer riktig på en ikke-ideal skjerm (buet skjerm), bruker et første nett av styrepunkter (et styrenett) anbrakt ikke mer enn 4x4 piksel fra hver andre, som definerer avbildningen til et nytt gitter og at mellom styrepunktene utføres lineær interpolasjon for å utlede pikselkoordinatene for hver piksel.

3. Korreksjonsmodul ifølge krav 1-2, karakterisert ved at avsternmingsfunksjonen for myk overgang foretaes fortrinnsvis før geometrikorreksjon ved at det er anordnet et andre nett av styrepunkter for individuell skalering ved hjelp av skaleringsgeneratoren (6) av inngangspikseler som en funksjon av skjermposisjonen, idet hver farvekomponent (R, G og B) skaleres individuelt, og skaleringsfaktoren er definert med minst 9 biter oppløsning.

4. Korreksjonsmodul ifølge krav 3, karakterisert ved at styrepunkter er anordnet i avstand fra hverandre på ikke mer enn 4 piksel i horisontal retning og opp til 4 piksel i vertikal retning

5. Korreksjonsmodul ifølge krav 1-4, karakterisert ved at vignettkorreksjonen, som kompenserer for forskjellene i intensitet som en funksjon av posisjonen i de projiserte bildet og kompenserer for variasjoner i oppfattet intensitet på grunn av piksler som dekker forskjellige skjermareal i et projektorteater, innbefatter skaleringsgeneratoren (6), som anvender R, G, og B data for hver piksel lest fra parameterlageret (7) og genererer koeffisienter som skal bli anvendt for farveskalering pr. piksel, og at styrepunktene for vignettkorreksjonen er anordnet i en avstand på ikke mer enn 16x16 piksler fra hverandre

6. Korreksjonsmodul ifølge krav 5, karakterisert ved at parameterlageret (7) er forbundet med koeffisientgeneratoren (5), hvis utgang er forbundet med en FIFFO-buffer (11) slik at data sendt gjennom nevnte FIFO-buffer (11) som blanderkoeffisient synkroniseres med pikseldata.

7. Korreksjonsmodul ifølge krav 1-6, karakterisert ved at gamma oppslagsfunlcsjonensinmetningen (12) innbefatter et lager for å lagre en fast gammaoppslagstabell innrettet for å generere en ikke-lineær utgangsfunksjon for å kompensere for ikke-linearitet i fremvisnmgsanordningen.