NO330107B1

NO330107B1 - Datamaskinimplementert tidlig dropping

Info

Publication number: NO330107B1
Application number: NO20092615A
Authority: NO
Inventors: Lars Petter Endresen
Original assignee: Tandberg Telecom As
Priority date: 2009-07-09
Filing date: 2009-07-09
Publication date: 2011-02-21
Also published as: US20110026583A1; NO20092615A1; US8537888B2; WO2011005105A1

Abstract

Den foreliggende oppfinnelsen er relatert til implementering av tidlig dropping av transformasjonskoeffisienter relatert til videokompresjonssystemer i datamaskininnretninger.

Description

Introduksjon

Den foreliggende oppfinnelsen omhandler implementering av tidlig dropping av transformasjonskoeffisienter relatert til videokompresjonssystemer i datamaskininnretninger.

Bakgrunn for oppfinnelsen

Transmisjon av bevegelige bilder i sanntid blir utført i flere applikasjoner som f.eks. videokonferanser, nettmøter, TV-kringkasting og videotelefoni.

Imidlertid er det slik at det å representere bevegelige bilder krever bulkinformasjon ettersom digital video typisk blir beskrevet ved å representere hver piksel i et bilde med 8 bits (1 byte). Slike ukomprimerte videodata resulterer i store bitvolumer, og kan ikke bli overført over konvensjonelle kommunikasjonsnettverk og transmisjonslinjer i sanntid på grunn av begrenset båndbredde.

Dermed krever muliggjøring av sanntids videotransmisjon en stor grad av datakompresjon. Datakompresjon kan imidlertid kompromittere billedkvaliteten. Derfor har store ressurser blitt brukt for å utvikle kompresjonsteknikker som tillater sanntidstransmisjon med høy videokvalitet over båndbreddebegrensede dataforbindelser.

I videokompresjonssystemer er hovedmålet å representere videoinformasjon med så liten kapasitet som mulig. Kapasiteten er definert med bits, enten som en konstant verdi eller som bits/tidsenhet. I begge tilfeller er hovedmålet å redusere antall bits.

Den vanligste videokodingsmetoden er beskrevet i MPEG<*>og H.26<*>standardene. Videodata undergår fire hovedprosesser før transmisjon. Dette er prediksjon, transformasjon, kvantisering og entropikoding.

EP-1959688A2 beskriver et system og en metode relatert til videokoding og dekoding hvor en bitrate av videostrøm reduseres ved å klassifisere datablokker av videostrømmen som "droppet" (eng.: skipped) eller "ikke-droppet" på basis av en terskelverdi relatert til blokkenes koeffisient.

En predikteringsprosess reduserer signifikant mengden av bits som er nødvendig for hvert bilde i en videosekvens som skal overføres. Den utnytter likheten med deler av sekvensen med andre deler av sekvensen. Siden predikteringsenheten er kjent for både koderen og dekoderen, må kun forskjeller bli overført. Disse forskjellene krever typisk mye mindre kapasitet for sin representering. Prediksjonen er hovedsakelig basert på bildeinnhold fra tidligere rekonstruerte bilder, hvor lokasjonen til innholdet er definert av bevegelsesvektorer. Prediksjonsprosessen blir typisk utført på firkantblokkstørrelser (f.eks. 16x16 piksler). Bemerk at i noen tilfeller blir prediksjoner av piksler basert på tilliggende piksler i det samme bildet brukt i stedet for piksler til foregående bilder. Dette blir referert til som intraprediksjon, i motsetning til interprediksjon.

Residualen representert som en blokk med data (f.eks. 4x4 piksler) inneholder fremdeles intern korrelasjon. En velkjent metode som utnytter dette er å utføre en todimensjonal blokktransformasjon. ITU anbefalingen H.264 bruker en 4x4 heltallstype transformasjon. Denne transformerer 4x4 piksler til 4x4 transformasjonskoeffisienter og de kan vanligvis bli representert med færre bits enn pikselrepresentasjonen. Transformasjon av 4x4 matrise med piksler med intern korrelasjon vil sannsynligvis resultere i en 4x4 blokk med transformasjonskoeffisienter med adskillig færre ikke-nullverdier enn den opprinnelige 4x4 pikselblokken.

Direkte representasjon av transformasjonskoeffisienter er fremdeles for kostbart for mange applikasjoner. En kvantiseringsprosess blir dermed utført for videre reduksjon av datarepresentasjonen. Dermed undergår transformasjonskoeffisientene kvantisering. Det mulige verdiomfanget til transformasjonskoeffisientene blir delt inn i verdiintervaller som hvert er begrenset av en øvre og nedre bestemmelsesverdi og tilegnet en fast kvantiseringsverdi. Transformasjonskoeffisientene blir så kvantisert til kvantiseringsverdien assosiert med intervaller innenfor hvilket de respektive koeffisientene befinner seg. Koeffisienter som er lavere enn den laveste bestemmelsesverdien blir kvantisert til nullere. Det skal nevnes at denne kvantiseringsprosessen resulterer i at den rekonstruerte videosekvensen blir noe ulik sammenlignet med den ukomprimerte sekvensen.

Som allerede indikert er én karakteristikk av videoinnhold som skal bli kodet at kravet for bits som skal beskrive sekvensen varierer sterkt. For flere applikasjoner er det velkjent for en fagperson at innholdet i en stor del av bildet er uforandret fra billedramme til billedramme. H.264 utvider denne definisjonen slik at deler av bildet med konstant bevegelse også kan bli kodet uten bruk av tilleggsinformasjon. Regioner med lite eller ingen endring fra billedramme til billedramme krever et minimum antall bit for å bli representert. Blokkene innbefattet i slike regioner blir vanligvis definert som "droppet", som reflekterer at ingen endring eller kun predikterbar bevegelse relatert til korresponderende tidligere blokker opptrer, siden ingen data er nødvendig for å representere disse blokkene annet enn en indikasjon om at blokken skal bli dekodet som "droppet".

En test for å bestemme om en blokk skal bli definert som "droppet" eller ikke, er å sammenligne en forhåndsdefinert terskelverdi med DC transformasjonskoeffisienter til den aktuelle blokken. DC koeffisienten blir lokalisert i det øvre venstre hjørnet til en blokk etter transformering, og uttrykker summen av absoluttverdiene av korresponderende residuale verdier. Ved å ta hensyn til at transformasjonskoeffisientene undergår en etterfølgende kvantiseringsprosess, blir det antatt at dersom DC transformasjonen er under en forhåndsbestemt terskelverdi, f.eks. korresponderende til det laveste kvantiseringsnivået, så er alle transformasjonskoeffisientene null eller nær til null, og blokken kan bli definert som "droppet".

Figur 1 er en forenklet tegning av en H.264-koder. I denne figuren er de residuale dataene inngangsverdien til transformasjonen. Dersom disse residualene er tilstrekkelig små, kan tidskrevende prosedyrer med heltallstransformasjon, kvantisering, invers kvantisering og invers heltallstransformasjon droppes som indikert over. Imidlertid vil algoritmer i henhold til tidligere kjent teknikk som implementerer dette aspektet ved H.264 teste alle 4x4 makroblokker for å oppdage "droppede" blokker, og er derfor forholdsvis inneffektiv når det dreier seg om prosessorforbruk og forsinkelser.

Sammendrag av oppfinnelsen

Det er en hensikt med den foreliggende oppfinnelsen å tilveiebringe et arrangement og en metode for å unngå de ovenfor beskrevne problemene.

Trekkene definert i det vedlagt selvstendige kravet karakteriserer denne metoden.

Spesielt tilveiebringer den foreliggende oppfinnelsen en metode i en videokoding eller dekodingsprosess implementert i en datamaskininnretning hvor et antall blokker med residuale bildedata respektivt lagret i et antall av første datamatriser i et minne til en datamaskininnretning representerer i det minste en del av videobildet som skal kodes eller dekodes, å klassifisere en blokk som "droppet" dersom en assosiert DC koeffisient er mindre enn en forhåndsdefinert terskelverdi, og "ikke-droppet" dersom den assosierte DC koeffisienten er større enn en forhåndsdefinert terskelverdi, innbefattende trinnene å beregne DC koeffisienter respektivt assosiert med blokkene, og innføre dem i en andre datamatrise i en blokk assosiert rekkefølge, å generere en bitmaske som inneholder 1 -bits i posisjoner korresponderende til posisjonene i den andre datamatrisen som har DC koeffisienter høyere enn en forhåndsdefinert terskelvedi og 0-bits i posisjoner som korresponderer til posisjoner i den andre datamatrisen som har DC koeffisienter lavere enn den forhåndsdefinerte terskelverdien, og så lenge som bitmasken inneholder 1-bits, å repetere trinnet med telling av antall bitposisjoner i bitmasken fra posisjonen lengst til høyre til den første opptredenen av 1 -bit og å lagre resultatet i en skanningsvariabel, å legge til verdien til den første variabelen til en hoppevariabel (eng: jump variable), å inkrementere en tellevariabel, lagre verdien til hoppevariabelen i en offsetmatrise indeksert med verdien til tellevariabelen og forskyve bitmasken (scan + 1) ganger til høyre.

Kort beskrivelse av tegningene

For å gjøre oppfinnelsen mer forståelig, vil den etterfølgende diskusjonen referere til de vedlagte tegningene. Fig. 1 er et blokkskjema som illustrerer noen av prosessene i en standard videokodingsprosess; Fig. 2 er en tabell som illustrerer matriser med residuale data i et datamaskinminne som lagrer blokker av residuale videodata, og Fig. 3 er et flytskjema som illustrerer en datamaskinimplementert del av en kodingsprosess i henhold til den foreliggende oppfinnelsen.

Detaljert beskrivelse av oppfinnelsen

I det følgende vil den foreliggende oppfinnelsen bli diskutert og beskrevet ved en foretrukket utførelse, og ved å referere til de vedlagte tegningene. Imidlertid vil en fagperson på området innse andre applikasjoner og modifikasjoner innenfor omfanget av oppfinnelsen slik denne er definert i det vedlagte selvstendige kravet.

Fig. 2 illustrerer hvordan residuale verdier i en datamaskinminnematrise kan bli arrangert. Hver rad representerer én 4x4 makroblokk. Tallet til venstre for hver rad representerer DC verdien til hver respektive rad.

Som en forberedelse for å bestemme hvilken av blokkene som skal defineres som "droppet" i henhold til standarden i en typisk datamaskinimplementert videokoder, skal de følgende trinnene utføres: Beregne DC verdier, som i sin enkleste form er summen av absoluttverdier for hver av de åtte radene i fig. 2.

Deretter skal en 8-bits maske bli generert, hvor disse inneholder enere i posisjonene som korresponderer til radnumre som har DC verdier høyere enn en forhåndsdefinert terskelverdi T, og nullere i posisjoner som korresponderer til radnummer som har DC-verdier lavere enn den forhåndsdefinerte terskelverdien T.

Til slutt blir summen av enere i den 8-bits masken lagret, i tillegg til offsetverdien til ikke-nullelementer.

Etter å ha beregnet DC verdiene går prosessen videre ved å generere en 8-bits maske hvor "1" betyr at 4x4 summen er større enn en forhåndsdefinert terskelverdi, og deretter telle antall av enere ved å bruke den effektive POPCNT-funksjonen. I heksadesimalnotasjon kan dette uttrykkes som følgende:

Både bit.mask og bit.count blir brukt som inngangsverdi for senere trinn i kodingsprosessen, og bit.mask blir også brukt internt i løkken som forklares i det følgende.

Med disse beregningene som et utgangspunkt, tilegner så metoden i henhold til den foreliggende oppfinnelsen posisjonene i DC matrisen som har verdier over en forhåndsdefinert terskelverdi, og deretter implisitt blokkene som undergår videre kodingstrinn som kvantisering og entropikoding, og som ikke defineres som droppede (ikke-droppede blokker). Dette blir gjort uten å måtte loope gjennom alle verdiene og posisjonene til DC matrisen, men i henhold til den foreliggende oppfinnelsen å hoppe direkte til posisjonene korresponderende til ikke-droppede blokker.

Fig. 3 illustrerer en utførelse av den foreliggende oppfinnelsen som danner disse beregningene. Vi maskerer effektivt, teller og skanner DC verdiene ved å bruke optimalisert C++ funksjoner flytt masker (MOVE MASK), populasjonstelling (POPCNT) og bitskann (BIT SCAN FORWARD).

På denne måten er effektiviteten til den foreliggende oppfinnelsen i stor utstrekning basert på en tilpasning av det foreliggende problemet med tilgjengelige hardwareresurser i moderne mikroprosessorer.

Dette er illustrert i flytskjemaet i fig. 3. Denne prosessen starter med å sjekke om en maske (M), som initielt ble satt til bit.mask referert til over, er lik null eller ikke. Dersom den ikke er det, blir en skannfunksjon brukt for å hoppe til den ikke-null biten som er lengst til høyre i M (minst signifikante bit), dvs. nummeret på posisjonen fra biten lengst til høyre i M til den minst signifikante biten blir bestemt. Dette tallet blir lagret i en første variabel (skann) og så lagt til den andre variabelen (jump) og resultatet blir lagret i minnet som en offset indeksert med løkkenumre for å skjelne mellom offsetverdiene.

M blir så forskjøvet (eng.: shifted) scan + 1 ganger til høyre for å frasortere fra M bitene til høyre for foreliggende posisjon, og bitene i den foreliggende posisjonen i seg selv. Ved å gjøre dette blir innholdet til M korresponderende til offsetposisjonene som allerede er lagret fjernet fra M, og løkken kan bli anvendt på samme måte for å tilegne de gjenværende posisjonene korresponderende til "ikke-droppede" blokker. Prosessen løkkes så tilbake til nullsjekken av M, og dersom M fremdeles inneholder ikke-null bits blir prosessen repetert ved å bruke de samme variablene.

Løkken itererer nøyaktig så mange ganger som antall 4x4 summer som er lavere enn

terskelverdien. Dermed vil kostbare if-tester på innsiden av løkken som sammenligner hver 4x4 sum med terskelverdien unngått, som ville ha resultert i en feil grenprediksjon.

tt i _i _i i

unuer er uei visi ei cKsenipei pa nvuruan uenlurenggenue uppnnneisen innbefattende forberegningen av bitmasken diskutert over kan bli implementert med standard C++ funksjoner.

Funksjonen _mm_movemask_epi8 beregner en 16 bits maske fra de mest signifikante bitene til 16 8-bits heltall. Funksjonen _popcnt32 beregner antall av bits til parameterne som ikke er satt til 1. Funksjonen _bit_scan_forward returnerer bitindeksen til det minst signifikante settet med bits til inputargumentet.

Etter å ha utført metoden i henhold til den foreliggende oppfinnelsen er det kjent fra de indekserte offsetverdiene hvilke av de 4x4 som er bestemt som ikke-droppede i henhold til videostandarden, og internminneadressen til transformasjonskoeffisientene til disse som er lagret f.eks. som i fig. 2, kan også bli utledet.

Claims

1. Metode i en videokoding eller dekodingsprosess implementert i en datamaskininnretning hvor et antall blokker med residuale bildedata respektivt lagret i et antall av første datamatriser i et minne til datamaskininnretningen representerer i det minste en del av et videobilde som skal bli kodet eller dekodet, å klassifisere en blokk som "droppet" dersom en assosiert DC koeffisient er mindre enn en forhåndsdefinert terskelverdi og "ikke-droppet" dersom assosiert DC koeffisient er større enn en forhåndsdefinert terskelverdi, innbefattende trinnene: å beregne DC koeffisientene respektivt assosiert med blokkene og innføre dem i en andre datamatrise i en blokkassosiert rekkefølge, å generere en bitmaske inneholdende 1 -bits i posisjoner korresponderende til posisjonene i den andre datamatrisen som har DC koeffisienter høyere enn den forhåndsdefinert terskelverdi, og 0-bits i posisjoner korresponderende til posisjoner i den andre datamatrisen som har DC koeffisienter lavere enn en forhåndsbestemt terskelverdi,karakterisert vedat så lenge som bitmasken inneholder 1 -bits, å repetere de følgende trinnene: å telle antall av bitposisjoner i bitmasken fra posisjonen lengst til høyre til den første opptredenen av 1-bits og lagre resultatet i en skannvariabel, å legge til verdien til den første variabelen til en jump variabel, å inkrementere en tellevariabel, å lagre verdien til jump variabelen i en offsetmatrise indeksert med verdien til tellevariabelen, å forskyve bitmasken (scan + 1) ganger til høyre.

2. Metode i henhold til krav 1, karakterisert vedat nevnte forhåndsdefinerte terskelverdi er den minste bestemmelsesverdien i antallet bestemmelsesverdier assosiert med kvantiseringen av DC koeffisienter.

3. Metode i henhold til krav 1 eller 2, karakterisert vedat blokkene er 4x4 makroblokker, og den andre datamatrisen innbefatter åtte DC koeffisienter respektivt assosiert med åtte 4x4 makroblokker.

4. Metode i henhold til krav 1, 2 eller 3, karakterisert vedde følgende tilleggstrinnene: å utlede dataadresser til de respektive residuale bildedata med blokker klassifisert som ikke-droppede når disse hentes fra minnet i kodings- eller dekodingsprosessen fra korresponderende etterfølgende indekserte verdier i offsetmatrisen.