NO331527B1

NO331527B1 - Metode for a fjerne flimring i videoopptak

Info

Publication number: NO331527B1
Application number: NO20093588A
Authority: NO
Inventors: Petter Schatvet
Original assignee: Cisco Systems Int Sarl
Priority date: 2009-12-23
Filing date: 2009-12-23
Publication date: 2012-01-23
Also published as: US8294784B2; NO20093588A1; EP2517458B1; CN102812700B; WO2011078682A1; CN102812700A; EP2517458A4; US20110205393A1; EP2517458A1

Description

Introduksjon

Den foreliggende oppfinnelsen fremviser en metode og en videokonferanseterminal eller videoinnspillingsenhet tilpasset til å fjerne flimring i videobilder til objekter belyst av omliggende belysning og skjermlys.

Bakgrunn

For å kunne ha et møte som involverer flere deltakere som ikke er lokalisert i det samme området, er et antall teknologiske systemer tilgjengelige. Disse systemene kan innbefatte videokonferanse, webkonferanse og lydkonferanse.

Høykvalitets (high-end) -videokonferansesystemer er en mer realistisk erstatning for virkelige møter. Konvensjonelle videokonferansesystemer omfatter et antall endepunkter som kommuniserer sanntidsvideo, lyd og/eller datastrømmer over WAN, LAN og/eller linjesvitsjede nettverk. Endepunktet innbefatter én eller flere monitorer, kameraer, mikrofoner og/eller datainnfangingsinnretninger og en kodek, som koder og dekoder utgående og innkommende strømmer respektivt.

Videokonferansesystemer blir brukt gjennom hele forretningsstanden for punkt til punkt lyd og visuell kommunikasjon mellom individer. Brukere av videokonferanser kan sitte i arbeidsomgivelser slik som et personlig kontor eller en celle, små eller store møterom eller styrerom. Videokonferanseinnretninger installert på multiformålsdatamaskiner har bidratt til verdensomspennende bruk av personlige videokonferanser.

Fig. 1 illustrerer en vanlig situasjon hvor en person som et objekt fanget inn av et kamera sitter nær til et display som viser den fjerntliggende siden (endepunkt). Ettersom skjermer blir større og lysere, vil skjermen lyse opp objektet, noe som kan lede til artefakter slik som farge og intensitetsvariasjoner på objekter. Artefaktene kan visuelt manifestere seg selv i flimring eller farge variasjoner som blir modulert av det som ses på skjermen.

Flimring blir forårsaket av kameraets eksponeringstid også kalt integrasjonstid for å spille inn hver individuelle ramme i et videobilde kombinert med frekvenser med omliggende lys og oppfriskningsraten/frekvensen til skjermen som belyser objektet fanget inn av kameraet. Skjermen inneholder tusenvis av opplyste piksler i en matrise. Visuelt innhold blir fremvist ved suksessivt å påføre spenning på hvert piksel i en piksellinje fra venstre til høyre for hver linje fra toppen av skjermen og nedover. En skjerms oppfriskningsrate blir derfor frekvensen til belysningen av piksler i hele skjermen fra topp venstre til bunn høyre.

Avhengig av oppfriskningsraten til den aktuelle skjermen, kan den forårsake flimring selv om kameraet er optimalisert for normalt omgivende omgivelse. Videre, som følge av større og høyintensitetsutstrålende displayer, kan indirekte belysning forårsaket av slike utstrålende displayer forårsake flimring i alle eller deler av bildet sett av kameraet.

EP-0971534 A2 beskriver en anordning for automatisk styring av eksponeringstid og forsterkning til et elektronisk kamera hvor ulike varianter brukes avhengig av hvor eksponeringstiden ligger i forhold til belysningsfrekvensen.

US-5293238 A beskriver et fjernsynskamera hvor flimring i bilde, forårsaket av belysning med ulike frekvenser, hindres ved at lagringstiden tilpasses belysningsfrekvensen.

WO-2006029394 A2 beskriver et system og en fremgangsmåte for å kompensere for flimring i bilde ved å ta hensyn til belysingsfrekvensen. Dette gjøres ved at ulike bildepunkter i den lysfølsomme bildebrikken tar opp registrerer bilde ved ulike men svært nærliggende tidspunkter for så å beregne en kompensasjonsparameter som anvendes på de ulike bildepunkter.

Ingen av disse publikasjonene tar imidlertid hensyn til to ulike belysningskilder med ulike frekvenser.

Det er vanligvis ønskelig at integreringstiden er så lang som mulig, dvs. for å maksimalt respondere til rammeraten (1/rammerate) til maksimum signal til støy (S/N) forholdet i resulterende opptak. Det er imidlertid slikt at på grunn av linjefrekvensen på 50 Hz (60 Hz i USA, 400 Hz i fly) vil lamper som opererer ved hovedstrøm AC utstråle en intensitetsvariasjon på det dobbelte av linjefrekvensen. For å unngå flimring (dvs. fantomintensitetsvariasjoner over tid som ser ut flimring eller linje rulling), er den normale tilnærmelsen å velge en passende integrasjonstid for omgivelsen med det mål å overkomme problemene under innfanging av bilder. Det generelle forholdet som sørger for at kameraet ikke er i konflikt med en global syklisk stimuli f er:

Integrasjonstid = n/(2f), n = 1, 2, 3 ....

Resultatet med å justere for integrasjonstiden i henhold til denne ligningen er at kameraer vil fange inn heltall av halve lysbølgelengder for derved å unngå variasjoner av lysintensiteten blant innfangede rammer.

Som allerede nevnt er det ikke bare omgivende lys som forårsaker flimring. Spesielt i situasjoner som beskrevet over når innfangede objekter er posisjonert nært til relativt store skjermer, kan belysningsbidraget fra skjermen være forholdsvis stort, og dersom integrasjonstiden ble tilpasset til omgivende kun lys, kan flimring opptre på grunn av skjermens oppfriskningsrate.

Fig. 2 viser effekten av en scene optimalisert for 50 Hz omgivende ved 10 ms integrasjonstid, med intensitetsvariasjoner av ulike vanlige skjermoppfriskningsrater/frekvenser når den belyses 100 % av en enkel sinusintensitetskilde. X-aksen er komplett 10 ms integrasjonsvinduer. Som det kan ses øker intensitetsvariasjonene ettersom oppfriskningsraten beveger seg vekk fra 50 Hz. Dette blir erfart som flimring av mennesker som ser på videobilder fanget inn av kameraet.

Det er derfor et behov for en metode som fjerner flimringsbelysningsbidrag fra både omliggende lys og skjermlys.

Kort beskrivelse av hensikten med oppfinnelsen

Den foreliggende oppfinnelsen tilveiebringer en metode og en korresponderende justert videokonferanse eller videoinnspillende enhet for å fjerne flimring fra video til objekter belyst av en skjerm som opererer med en oppfriskningsrate (fsc) blant en første verdi satt, innbefattende skjermkompatible oppfriskningsrateverdier og en omliggende belysning som opererer på en viss linjefrekvens (fi) innfanget av et kamera med en viss eksponeringstid (te) blant et andre verdisett som innbefatter kamerakompatible eksponeringstidsverdier, ved å eksekvere trinnene med å: I. bestemme om et ikke-null heltall n eksisterer slik at te = n/2fi; La. dersom nevnte ikke-null heltall ikke eksisterer, så fjerne aktuell verdi av te fra det andre verdisettet, tilegne te til en verdi i det andre verdisettet som tilfredsstiller te = n/2fiog repetere trinnet I; Lb. dersom nevnte ikke-null heltall eksisterer, så bestemme om ikke-null heltallstall for k og 1 eksisterer slik at kfscr=lfi; Lb. 1. dersom nevnte ikke-null heltallsnummer for k og 1 eksisterer, så implementere te som kameraets eksponeringstid og fscsom skjermens oppfriskningsrate; Lb.2. dersom nevnte ikke-null heltallsnummer for k og 1 ikke eksisterer, så beregne et tredje verdisett innbefattende verdier for fscrsom tilfredsstiller kfscr= lfi hvor k og 1 er ikke-null heltallstall og bestemme om én eller flere verdier i det tredje verdisettet er lik til én eller flere verdier i det første verdisettet, I.b.2.1. dersom ikke én eller flere verdier i det nevnte tredje verdisettet er lik til én eller flere verdier i det første verdisettet, så eksekvere trinn La;

Lb.2.2. dersom én eller flere verdier i det nevnte tredje verdisettet er lik til én eller flere verdier i det første verdisettet, så tilegne fscrtil én av den ene eller flere verdier av det tredje settet som er lik til én eller flere verdier i det første verdisettet, og

Lb.2.3. implementere te som kameraets eksponeringstid og fscsom skjermens oppfriskningsrate.

Kort beskrivelse av tegningene

Den foreliggende oppfinnelsen vil bli beskrevet i detalj med henvisning til en foretrukket utførelse som vist i de følgende tegningene: Fig. 1 er en illustrasjon av en situasjon hvor et objekt fanget inn av et kamera blir belyst både av en skjerm og omgivende belysning; Fig. 2 er en graf som illustrerer intensitetsvariasjoner til lys fanget inn av et kamera forårsaket av ulike felles skjermoppdateringsrater, og Fig. 3 er et flytskjema som illustrerer et eksempel av metoden i henhold til den foreliggende oppfinnelsen.

Detaljert beskrivelse av oppfinnelsen

I det følgende vil den foreliggende oppfinnelsen bli diskutert ved en beskrevet foretrukket utførelse, og ved å henvise til de vedlagte tegningene. Imidlertid vil en fagmann på området innse andre applikasjoner og modifikasjoner innenfor omfanget av oppfinnelsen som definert i de vedlagte selvstendige kravene.

I henhold til den foreliggende oppfinnelsen blir den distraherende belysningsflimringen grunnet avvik mellom linjefrekvens, skjermoppdateringsrate og kameraets eksponeringstid i videokonferanse og videoinnspilling fjernet ved en oppfinnerisk metode med primært å justere skjermoppdateringsraten og sekundært en kameraeksponeringstid for å oppnå en flimringsfri opplevelse av video fanget inn av kameraet.

Det er derfor antatt at både skjermoppfriskningsraten og kameraeksponeringstiden i det minste i en viss grad er justerbare fra datarutiner gjennom driverinnretninger til skjerm og kamera respektivt. Dette er typisk tilfelle i videokonferanser mellom generelt formålsdatamaskiner som har softwarevideokonferanseklient installert, og et kamera enten plugget inn i USB-porten eller integrert i skjermen til en datamaskin. Det kan på lignende måte også være situasjonen for videoregistrerings-enheter, når de innspilte objektene blir posisjonert nært til en skjerm.

Noen webkameraer har API'er (Application Programming Interface) som muliggjør interaksjon med annen software, mye på samme måte som at et brukergrensesnitt muliggjør interaksjon mellom mennesker og datamaskiner. Dette gjelder også både for eksterne og interne skjermer. F.eks. ved å taste inn i kontrollpanel til Microsoft Windows operativsystem kan en manuelt velge oppfriskningsraten til skjermen eller eksponeringstiden til kameraet, normalt mellom faste kompatible verdier. På lignende måte, kan en gjennom et API assosiert med skjermen eller kameraet, en softwarerutine gjøre det samme valget ved å rette visse forespørsler eller instruksjoner tolkbare for APFene.

Linjefrekvensen til omgivende belysning er forhåndsdefinert, men har stor påvirkning på valget av skjermoppfriskningsrate og kameraeksponeringstid i henhold til den foreliggende oppfinnelsen. Imidlertid kan dette variere mellom land, regioner og settinger slik at det bør måles ved f.eks. kamera før det faktiske valget gjøres. Optisk måling av linjefrekvens fra omgivende lys er en triviell oppgave som er velkjent i fagområdet som f.eks. beskrevet i US patent 5 394 217 - "Method and apparatus for determining line frequency and detecting variable frequency light sources", Gaboury et al. Alternativt kan frekvensen også måles direkte fra kraftlinjeinput til videokonferansedrøftingen, eller enkelt forhåndsdefinert.

Fig. 3 viser et flytskjema som illustrerer et eksempel av prosessen med å oppnå en flimrefri videoopplevelse hvor et kamera fanger inn objekter som er i det minste delvis belyst av lys fra en skjerm hvor skjermen blir linjevis oppfrisket med en viss skjermoppfriskningsrate.

Eksemplet starter med noen forberedelsestrinn. Skjermoppfriskningsraten blir normalt satt til standardtrate (defualt rate), så vel som kameraets eksponeringstid normalt blir satt til en standarttid. Disse standardverdiene blir i trinn 1 og 2 fanget inn og allokert til fscog te respektivt, slik at standardverdiene blir de valgte verdiene med én gang, dersom disse i kombinasjon med linjefrekvensen tilveiebringer flimrefri video innfanget av kameraet uten noen modifikasjoner. Linjefrekvensen i seg selv er ikke nødvendigvis kjent, og bør bli målt f.eks. optisk av et kamera før tilegnelse av denne til fi. Som allerede indikert er skjermene normalt kompatible med begrenset antall av tillatte oppfriskningsrater, og disse blir i forberedelsestrinn 4 fanget inn fra driverenheten til skjermen og satt i et sett med mulige oppfriskningsrateverdier co.

I vurderingstrinnet 5, blir det bestemt om flimrefri ligning te = n/2fihvor n er et

ikke-null heltalls nummer som har en oppløsning med den foreliggende verdien for te. Dersom dette ikke er tilfelle, fortsetter prosessen til trinn 6, hvor te blir endret til en alternativ verdi som ikke er testet i prosessen tidligere. Den valgte verdien for te skal fortrinnsvis være så høy som mulig, men valget kan også være basert på andre vurderinger, forutsatt at den plukker en potensiell eksponeringstid som ikke har blitt testet tidligere i prosessen.

Prosessen blir så løkket tilbake til bestemmelsestrinn 5.

Dersom det i bestemmelsestrinnet viser seg at te = n/2fihar en løsning, bestemmer så bestemmelsestrinn 7 om det er én eller flere løsninger av ligningen kfscr= lfihvor k og 1 er ikke-null heltallstall med foreliggende fscr. Denne testen avslører enkelt om i det minste en felles multippel av l/fscrog 1/fi eksisterer, og om dette er tilfelle, er det ganske enkelt å utlede at den generelle flimrefrie ligningen:

integrasjonstid = n/2f n = 1, 2, 3,...

har en løsning for både fscrog fi, og det vil ikke være noen flimrebidrag verken fra skjermen eller omgivende lys med den korresponderende eksponeringstiden (integrasj onstiden).

Dersom bestemmelsestrinn 7 er positivt, blir prosessen terminert, og foreliggende fscog te blir valgt til å være skjermoppfriskningsraten og kameraeksponeringstiden respektivt. Dersom verdiene ikke er lik til defaultverdiene, må de bli modifisert i assosierte driverenheter, ved f.eks. å sende forespørsel til assosierte API for å endre til den valgte verdien(e).

Dersom bestemmelsestrinn 7 er negativt, går prosessen videre til trinn 8 hvor et sett (cp) er mulige verdier for fscfor å tilfredsstille ligningen kfscr= lf]hvor k og 1 som er ikke-null heltallstall bli bestemt. Prosessen går så videre til bestemmelsestrinn 9 ved å undersøke om det er én eller flere verdier i (cp) som korresponderer til én eller flere verdier med kompatible skjermoppfriskningsrater (co), som allerede er hentet inn i forberedelsestrinn 4. Dersom ikke dette er tilfelle, går prosessen tilbake til trinn 6 for å velge en alternativ eksponeringstid (te). Imidlertid, dersom det er slik at (cp) og (co) har felles verdier, går prosessen videre til trinn 10 hvor høyeste felles verdi av settene cp og co blir allokert som fscr. I dette eksemplet vil den høyeste verdien bli valgt ved å anta at den høyeste mulige oppfriskningsraten er foretrukket. Alternativt kan dette valget være basert på andre vurderinger, men hovedsaken er å nå en verdi som er tilstede i begge settene med verdier.

Prosessen blir til slutt terminert, og foreliggende fscog te blir valgt som skjermens oppfriskningsrate og kameraeksponeringstid respektivt. De blir så modifisert i assosierte driverenheter, ved f.eks. å sende forespørsel til assosiert API for å endre til de valgte verdiene.

Claims

1. Metode for å fjerne flimring ved videoinnspilling av et objekt som blir belyst av en skjerm som opererer med en oppfriskningsrate (fsc) blant et første verdisett innbefattende skjermkompatible oppfriskningsrateverdier og et omgivende lys som opererer på en viss linjefrekvens (fi) fanget inn av kameraet med en viss eksponeringstid (te) blant et andre verdisett innbefattende kamerakompatible eksponeringstidsverdier,karakterisert vedå

1. bestemme om et ikke-null heltall n eksisterer slik at te = n/2fi; I.a. dersom nevnte ikke-null heltall ikke eksisterer, så fjerne aktuell verdi av te fra det andre verdisettet, tilegne te til en verdi i det andre verdisettet som tilfredsstiller te = n/2fiog repetere trinnet I; I.b. dersom nevnte ikke-null heltall eksisterer, så bestemme om ikke-null heltallstall for k og 1 eksisterer slik at kfscr=lfi; I.b. 1. dersom nevnte ikke-null heltallsnummer for k og 1 eksisterer, så implementere te som kameraets eksponeringstid og fscsom skjermens oppfriskningsrate; I.b.2. dersom nevnte ikke-null heltallsnummer for k og 1 ikke eksisterer, så beregne et tredje verdisett innbefattende verdier for fscrsom tilfredsstiller kfscr= 1 fi hvor k og 1 er ikke-null heltallstall og bestemme om én eller flere verdier i det tredje verdisettet er lik til én eller flere verdier i det første verdisettet, I.b.2.1. dersom ikke én eller flere verdier i det nevnte tredje verdisettet er lik til én eller flere verdier i det første verdisettet, så eksekvere trinn I.a; I.b.2.2. dersom én eller flere verdier i det nevnte tredje verdisettet er lik til én eller flere verdier i det første verdisettet, så tilegne fscrtil én av den ene eller flere verdier av det tredje settet som er lik til én eller flere verdier i det første verdisettet, og I.b.2.3. implementere te som kameraets eksponeringstid og fscsom skjermens oppfriskningsrate.

2. Metode i henhold til krav 1, karakterisert vedat eksekvering av det følgende forberedelsestrinnet forut for trinn I: Optisk måling av linjefrekvensen fra kamerainnfanget lys og tilegne målt linjefrekvens til fj.

3. Metode i henhold til krav 1 eller 2, karakterisert vedeksekvering av det følgende forberedelsestrinnet forut for trinn I: å hente en defaultskjermoppfriskningsrateverdi fra en skjermdriverinnretning og å tilegne defaultskjermoppfriskningsrateverdien til fsc.

4. Metode i henhold til krav 1 eller 2, karakterisert vedå eksekvere det følgende forberedelsestrinnet forut for trinn I: å hente defaulteksponeringsverdien fra en kameradriverinnretning og tilegne defaulteksponeringstidsverdien til te.

5. Metode i henhold til krav 1 eller 2, karakterisert vedat trinnet I.b.l og I.b.2.3 videre innbefatter de følgende trinnene: å instruere kameradriverinnretningen assosiert med API til å sette kameraeksponeringstiden til te, og å instruere kameradriverinnretningen assosiert med API til settet med kameraskjermoppfriskningsrate til fsc.

6. Metode i henhold til krav 1 eller 2, karakterisert vedat i trinnet I.a., er verdien i det andre verdisettet som tilfredsstiller te = n/2fier den høyeste verdien i det andre verdisettet.

7. Metode i henhold til krav 1 eller 2, karakterisert vedat i trinn I.b.2.2., tilegnes fscrtil den høyeste av den ene eller flere verdiene i det tredje settet som er lik til én eller flere verdier i det første verdisettet.

8. Videokonferanseterminal eller videoinnspillende enhet med kamera og en skjerm innbefattet i seg eller forbundet til dette, hvor skjermen er tilpasset til å operere på en oppfriskningsrate (fsc) blant et første verdisett som innbefatter skjermkompatibel oppfriskningsrateverdier, hvor kameraet er tilpasset til å fange inn videobilder med en viss eksponeringstid (te) blant et andre verdisett innbefattende kamerakompatible eksponeringstids verdier og av objekter belyst av skjermen og omgivende lys som opererer på en viss linjefrekvens (fi),karakterisert vedat videokonferanseinnretningen eller videoinnspillingsenheten er tilpasset til å: I. bestemme om et ikke-null heltall n eksisterer slik at te = n/2fi; La. dersom nevnte ikke-null heltall ikke eksisterer, så fjerne aktuell verdi av te fra det andre verdisettet, tilegne te til en verdi i det andre verdisettet som tilfredsstiller te = n/2fiog repetere trinnet I; I.b. dersom nevnte ikke-null heltall eksisterer, så bestemme om ikke-null heltallstall for k og 1 eksisterer slik at kfscr=lfi; I.b. 1. dersom nevnte ikke-null heltallsnummer for k og 1 eksisterer, så implementere te som kameraets eksponeringstid og fscsom skjermens oppfriskningsrate; I.b.2. dersom nevnte ikke-null heltallsnummer for k og 1 ikke eksisterer, så beregne et tredje verdisett innbefattende verdier for fscrsom tilfredsstiller kfscr= lf]hvor k og 1 er ikke-null heltallstall og bestemme om én eller flere verdier i det tredje verdisettet er lik til én eller flere verdier i det første verdisettet, I.b.2.1. dersom ikke én eller flere verdier i det nevnte tredje verdisettet er lik til én eller flere verdier i det første verdisettet, så eksekvere trinn La; I.b.2.2. dersom én eller flere verdier i det nevnte tredje verdisettet er lik til én eller flere verdier i det første verdisettet, så tilegne fscrtil én av den ene eller flere verdier av det tredje settet som er lik til én eller flere verdier i det første verdisettet, og I.b.2.3. implementere te som kameraets eksponeringstid og fscsom skjermens oppfriskningsrate.