NO319007B1

NO319007B1 - Fremgangsmate og apparat for videokomprimering

Info

Publication number: NO319007B1
Application number: NO20032319A
Authority: NO
Inventors: Gisle Bjontegaard; Tom-Ivar Johansen
Original assignee: Tandberg Telecom As
Priority date: 2003-05-22
Filing date: 2003-05-22
Publication date: 2005-06-06
Also published as: WO2004105399A1; EP1625753A1; US20040233993A1; NO20032319D0; CN100559883C; JP4773966B2; US7684489B2; CN1795681A; US20100166059A1; JP2007502595A

Description

Oppfinnelsens område

Oppfinnelsen er relatert til håndtering av forskjellige bildeoppløsninger i en utvidet versjon av kompresjonsstandarden H.264/AVC eller andre lignende standarder.

Oppfinnelsens bakgrunn

Sending av bevegelige bilder i sanntid blir anvendt innenfor flere applikasjoner så som videokonferanser, nettmøter, TV-sendinger og videotelefoni.

Men å representere bevegelige bilder krever informasjon om volum idet digital video typisk blir beskrevet ved representasjon av enkeltpiksler i et bilde med 8 bit (1 byte) eller mer. Slike ukomprimerte videodataer resulterer i store bitvolum og kan ikke overføres over konvensjonelle kommunikasjonsnettverk og transmi-sjonslinjer i sanntid som følge av begrenset båndbredde.

For således å muliggjøre sanntidsvideotransmisjon kreves en stor grad av datakomprimering. Datakomprimering kan gå på kompromiss med bildekvaliteten. Derfor er store anstrengelser blitt gjort for å utvikle kompresjonsteknikker som tillater sanntidstransmisjon av høykvalitetsvideo over båndbreddebegrensede dataforbindelser.

I videokomprimeirngssystemer vil hovedmålsetningen være å representere vi-deoinformasjon med så liten kapasitet som mulig. Kapasitet er definert som bit, enten som en konstant verdi eller som bit per tidsenhet. I begge tilfeller vil ho-vedhensikten være å redusere antallet bit.

Den mest vanlige videokodingsmetoden blir beskrevet i MPEG<*> og H.26<*->standarder. Videodataene gjennomgår fire hovedprosesser før sending, nemlig beregning, transformasjon, kvantisering og entropikoding.

Beregningsprosessen reduserer signifikant mengden bit nødvendig for hvert enkelt bilde i en videosekvens som skal overføres. Den drar fordel av likheter i deler av sekvensen med andre deler av samme sekvens. Siden prediktordelen er kjent både for koder og dekoder vil kun forskjellen måtte overføres. Denne forskjellen krever typisk mye mindre kapasitet med sin representasjon. Bereg-ningen blir i hovedsak basert på vektorer som representerer bevegelse. Beregningsprosessen blir typisk utført på firkantblokker (for eksempel 16x16 piksler).

Bemerk at i enkelte tilfeller som for eksempel for H.264/AVC vil beregninger av piksler baseres på nabocellepiksler for samme bilde istedenfor piksler i foregående bilde. Dette blir referert til som intraprediksjon i motsetning til interpre-diksjon. Pikslene markert i fet skrift i figur 3 er slike nærliggende piksler. I H.264/AVC er det mange forskjellige metoder for å gjøre slike beregninger både for luminansblokker og krominansblokker. En av beregningsmodusene blir kalt DC-prediksjon. Den forutsetter at alle piksler i en blokk har den samme verdien. Når en tar hensyn til karakteristikkene for en bestemt transformasjon som blir anvendt for restkoding, dvs. at bare DC-koeffisienten for restblokkdata blir end-ret sammenlignet med transformasjonen for blokkdata uten prediksjon. Alle AC-koeffisienter forblir uendret. Av denne grunn blir denne prediksjonsmodus kalt DC-prediksjon.

Restansen representert som en blokk av data (for eksempel 4x4 piksler) vil fremdeles inneholde interne korrelasjoner. En velkjent fordel for å dra fordel av dette er å utføre en todimensjonal blokktransformasjon. I H.263 blir en 8x8 diskret Costnustransformasjon (DCT) anvendt, mens for H.264 brukes en 4 x 4 heltallstype transformasjon. Denne transformerer 4x4 piksler til 4 x 4 transfor-merte koeffisienter og de kan vanligvis bli representert ved færre bit enn piksel-representasjonen. Transformasjon av en 4 x 4 matrise av piksler med intern korrelasjon vil sannsynligvis resultere i en 4 x 4 blokk med transformasjonskoef-fisienter med mye færre ikke-nullverdier enn den originale 4x4 pikselblokken.

En makroblokk er en del av bildet som består av et flertall subblokker for luminans (luma) så vel som for krominans (kroma).

Det finnes typisk to krominanskomponenter (Cr, Cb) med halvparten av oppløs-ningen både horisontalt og vertikalt sammenlignet med luminansen. Dette i kontrast til for eksempel, RGB (rød, grønn, blå) som er typisk representert ved bruk i kamerasensorer og fremvisningsanordningen. I figur 1 består makroblok-ken av 16 x 16 iuminanspiksler og to krominanskomponenter med 8x6 piksler hver. Hver av komponentene blir videre brutt ned til 4 x 4 blokker som blir representert med små firkanter. Av kodehensyn, vil både luma og kroma 4x4 blokker bli gruppert sammen i 8 x 8 underblokker og bli designert i Y0-Y3 og Cr, Cb. Kromadelen i dette formatet blir i enkelte sammenhenger angitt som 4:2:0 og blir vist til venstre i figur 2. Forkortelsen er ikke spesielt selvforklarende. Den betyr at krominansen har halvparten av oppløsningen for luminans horisontalt så vel som vertikalt. For konvensjonelt videoformat CIF vil dette bety at lumi-nansrammen har 352 x 288 piksler mens hver av krominanskomponentene har 176 x 144 piksler.

I et alternativt format betegnet 4:2:2 som vist i den midterste delen av figur 2 har krominansen halvparten av luminansoppløsningen i horisontal retning og den samme oppløsningen som luminansen i den vertikale retningen. Dette formatet blir typisk brukt for høykvalitets-TV-signaler med linjesprang (interlaced) der linjesprangsstrukturen forårsaker enkelte utfordringer for bruk av halv kromi-nansoppløsning i den vertikale retningen.

I nok et alternativt format betegnet 4:4:4 vist til høyre i figur 2 der luminans- og krominanssignalene har samme oppløsning både i horisontal og vertikal retning. Et typisk område for denne applikasjonen er grafisk materiale der fargene er brukt på en slik måte at det er ønskelig å ha samme oppløsning for krominans som for luminans.

Fra patentlitteraturen finnes eksempler på videokodingsmetoder og komprime-ringsmetoder. Spesielt skal nevnes US 6256347 B1 (Yu et al.) som omtaleren bildeprosessor som mottar prediksjons-feilverdier fra dekomprimerte MPEG-kodede digitale videosignaler i form av pikselblokker inneholdende luminans- og krominansdata i 4:2:2 eller 4:2:0 formater, der denne prosessor rekomprimerer pikselblokkene til en fomåndbestemt oppløsing. Luminans- og krominansdata blir prosessert etter forskjellige kompresjonslover ved rekomprimeringen. Lumi-nansdata blir rekomprimert til et gjennomsnitt av seks bit per piksel, og krominansdata blir rekomprimert til et gjennomsnitt på fire bit per piksel. Således omtaler dette patentet en metode for bitkomprimering av data på 4:2:2- og 4:2:0-formatet, og ikke en fremgangsmåte av generell karakter for flere formater.

Det skal videre nevnes at US 2003/0043921 A1 (Dufour et al.) omtaler en fremgangsmåte for videokoding anvendt på et inngangsignal IS som inkluderer en sekvens av rammer representert av en luminansmatrise og to krominansmatri-ser.

Som nevnt er de fleste videokodingsstandarder hovedsakelig beregnet for 4.2:0. Profesjonell profil for MPEG2 dekker 4:2:2 ved bruk av et spesielt kromi-nansblokkarrangement. Det samme er tilfelte for H.263. Generelt betyr dette at hvert enkelt format trenger en spesiell løsning.

Sammendra<g> for o<pp>finnelsen

Det er en hensikt for foreliggende oppfinnelse å tilveiebringe en felles løsning for koding/dekoding av forskjellige videoformater så som 4:2:0,4:2:2 og 4:4:4.

Spesielt tilveiebringer foreliggende oppfinnelse en fremgangsmåte for videokoding for transformasjon av en første mxn-makroblokk for restkrominans-pikselverdier for bevegelige bilder ved en første heltailstransformasjonsfunksjon som genererer en korresponderende andre mxn-makroblokk av heltallstransformasjonskoeffisienter, så videre transformerer DC-verdier for heltallstransfor-masjonskoeffisientene ved en andre heltallstransformasjonsfunksjon som genererer en tredje blokk med heltallstransformerte DC-koeffisienter, der fremgangsmåten videre inkluderer trinnene å generere den andre mxn-makroblokk for heltallstransformasjonskoeffisienter ved å bruke en kxk-heitallstransformasjonsfunksjon på hver kxk-underblokk for den første mxn-makroblokk der n og m er multipler av k, og så generere den tredje blokk av koeffisienter ved anvendelse av en andre ixj-heltallstransformasjonsfunksjon på DC-verdiene som resulterer i en (m/k) x (n/k) tredje blokk med heltallstransformerte DC-koeffisienter.

Den foreliggende oppfinnelse tilveiebringer også en fremgangsmåte for videodekoding som er den inverterte versjonen av fremgangsmåten for videokoding.

Kort beskrivelse av tegningene

For å gjøre oppfinnelsen klarere forståelig vil den etterfølgende diskusjon refe-rere seg til de vedlagte tegninger. Figur 1 viser hvordan en makroblokk med 4:2:0-formatet for 16 x 16 lumapiksler og to kromakomponenter med 8x8 piksler hver er delt inn i 4 x 4 blokker som så igjen er arrangert i undergrupper på 4 x 4 blokker. Det er også vist hvordan DC-koeffisientene blir trukket ut fra hver av 4 kromablokker for å danne separa-te kroma-DC-elementer som består av 2 x 2 blokker, Figur 2 viser en komponent av kromapiksler i en makroblokk for forskjellige bildeformater, Figur 3 viser en andre nivås transformasjon av DC-verdier for forskjellige formater,

Figur 4 indikerer basis for en DC-beregning for en 8 x 16 blokk.

Detaljert beskrivelse av foreliggende oppfinnelse

Den foreliggende oppfinnelse tilveiebringer en utvidelse for H.264/AVC video-kodingsstandarden for å inkludere formater som de ovenfor beskrevne 4:2:2 og 4:4:4. Fremgangsmåten er basert på hvordan krominansen allerede behandles i H.264/AVC. En makroblokk består av en del av bildet med 16x16 luminans-piksler og to krominanskomponenter med 8x8 piksler hver. Dette er illustrert i figur 2 og markert som 4:2:0.

Beskrivelsen er hovedsakelig relatert til kodingsprosessen. Imidlertid har dette implikasjoner på hvordan dekodingen må utføres. Dette betyr for eksempel at om transformasjonen blir utført på to nivåer i en dekoder, vil dekoderen måtte utføre en invers transformasjon på to nivåer. Generelt vil ordet "koding" ofte bli brukt som en forkortelse for å inkludere hele prosessen av koding og dekoding. Oppfinnelsen dekker hele kodingsprosessen som er definert for å inneholde både koding og dekoding.

I henhold til et første aspekt for foreliggende oppfinnelse vil 4 x 4 blokkstørrel-sen for den første transformasjonen av krominansrestsignalet bli beholdt. Antallet slike underblokker vil dermed bli forskjellig for de forskjellige bildeformater. I en generell betegnelse vil en kxk-transformasjon bli brukt på en makroblokk med mxn (m i horisontal retning, n i vertikal retning) krominanspiksler.

En videre transformering av DC-koeffisientene for hver av 4 x 4 blokkene gjennomgår en 2 x 2 transformasjon som indikert i figur 3.1 det generelle tilfellet vil en ixj-transformasjon for DC-koeffisientene bli anvendt, i og j vil ha verdier slik at ixk = horisontalnummeret for krominanspiksler i en makroblokk og jxk = verti-kalnummeret for krominanspiksler i en makroblokk. Transformasjonstypen er fordelaktig valgt til å være todimensjonal Hadamard-transformasjon.

Den foreliggende oppfinnelse relaterer seg også til intraprediksjonsdelen for koding. I en foretrukket utførelsesform av oppfinnelsen vil DC-prediksjonen for 4.2:2-formatet bli tilveiebrakt. DC-prediksjon forutsier en verdi for hele blokken. I dette fall ønsker vi å forutsi en verdi for alle piksler i en 8 x 16 blokk ut i fra na-boens allerede kodede og dekodede piksler. Dette er indikert i figur 4 der 8 x 16 skal beregnes fra de 24 nabopikslene i fet skrift.

En naturlig beregning vil være å ta gjennomsnittet av alle 24 piksler markert i fet skrift:

Prediksjon = Sum (24 nabopiksler)/24

Imidlertid er det ønskelig å unngå en divisjon med 24. Derfor anvender vi føl-gende definisjon:

Prediksjon = (2 x Sum (8 piksler over) + Sum (16 piksler til venstre))/32

På denne måte vil en divisjon med 32 enkelt kunne implementeres med en skiftoperasjon.

For å dra fordel av skiftoperasjonen i det generelle tilfellet vil DC-prediksjonen måtte utføres på en rektangulær blokk av størrelse 2q x 2r der q og r er heltall, q

> r og q er definert for å representere en første dimensjon av blokka og r er definert for å representere en andre dimensjon for blokka. Den første dimensjon kan representere vertikalstørrelsen og den andre dimensjon kan representere horisontalstørrelsen for blokka eller vice versa. DC-prediksjon av blokka blir ut-ledet som: Prediksjon = Sum (nabopiksler til den første dimensjon) + 2 (<q>"° x (Sum (nabopiksler til den andre dimensjon))/2<2q>

Det følger fra diskusjonen over at m=2<q> og n= 2r.

Med den foreliggende oppfinnelse vil det første transformasjonsnivået forbli uforandret i den forstand at krominanspikslene for en makroblokk blir delt inn i 4 x 4 underblokker som indikert i 4:2:2 og 4:4:4 for figur 2 og hver underblokk vil gjennomgå en 4 x 4 transformasjon. Den andre nivå transformasjonen av DC-koeffisienter vil bli av størrelse 2 x 4 og 4 x 4 for de to høyere formater som an-tydet i figur 3. Således vil hovedforskjellen mellom de forskjellige kodingene av de forskjellige formater være andre ordens restkrominanstransformasjonen.

Bemerk at omfanget av foreliggende oppfinnelse ikke er begrenset til H.264/AVC. Den kan også fordelaktig bli anvendt i forbindelse med andre videokodingsstandarder for eksempel SIP.

Claims

1. Fremgangsmåte for videokoding for transformasjon av et første mxn-makroblokk for restkrominans-pikselverdier for bevegelige bilder ved en første heltallstransformasjonsfunksjon som genererer en korresponderende andre mxn-makroblokk av heltallstransformasjonskoeffisienter, så videre transformerer DC-verdier for heltallstransfonmasjonskoeffisientene ved en andre heltallstransformasjonsfunksjon som genererer en tredje blokk med heltallstransformerte DC-koeffisienter, karakterisert ved å generere den andre mxn-makroblokk for heltallstransformasjonskoeffisienter ved å bruke en kxk-heltallstransformasjonsfunksjon på hver kxk-underblokk for den første mxn-makroblokk dere n og m er multipler av k, generere den tredje blokk av koeffisienter ved anvendelse av en andre ixj-heltallstransformasjonsfunksjon på DC-verdiene som resulterer i en (m/k) x (n/k) tredje blokk med heltallstransformerte DC-koeffisienter.

2. Fremgangsmåte i henhold til krav 1, karakterisert ved at k=4, m=8 og n=8.

3. Fremgangsmåte i henhold til krav 1. karakterisert ved at k=4, m=16og n=8.

4. Fremgangsmåte i henhold til krav 1, karakterisert ved at k=4, m=16og n=16.

5. Fremgangsmåte i henhold til et av de foregående krav, karakterisert ved at i=m/kogj=n/k.

6. Fremgangsmåte i henhold til et av de foregående krav, karakterisert ved at videokodingen blir implementert i henhold til H.264-standarden.

7. Fremgangsmåte i henhold til et av de foregående krav, karakterisert ved at heltallstransformasjonsfunksjonen er en Hadamard-transformasjon.

8. Fremgangsmåte i henhold til et krav 1, karakterisert ved å videre inkludere det følgende trinn: beregne en DC-verdi assosiert med den første mxn-makroblokk med midler av m overliggende nabopiksler (alnp) og n venstreliggende nabopiksler (llnp) i henhold til følgende uttrykk: (2x(sum av m alnp) + (sum av n llnp)/2 x (m+n)

9. Fremgangsmåte i henhold til krav 8, karakterisert ved at m=8 og n=16 og at divisjonen i uttryk-ket blir utført ved en skiftoperasjon.

10. Fremgangsmåte for videodekoding for transformasjon av en første blokk av heltallstransformerte DC-koeffisienter ved en første invers heltallstransformasjonsfunksjon som genererer et antall av DC-verdier for en første mkn-makroblokk av heltallstransformasjonskoefifsienter som igjen blir transformert av en andre invers heltallstransformasjonsfunksjon som genererer en andre mxn-makroblokk av restkrominanspikselverdier for bevegelige bilder, karakterisert ved å generere et andre tall av DC-verdier for den første mxn-makroblokk av heltallstransformasjonskoeffisienter ved anvendelse av en ixj-inversheltallstransformasjonsfunksjon på den første blokk av heltallstransformerte DC-koeffisienter, og å generere den andre mxn-makroblokk for restkrominanspikselverdier ved anvendelse av en kxk-inversheltallstransformasjonsfunksjon på hver kxk-underblokk for den første mxn-makroblokk for hettallstransformasjonsko-effisienten der n og m er multipler av k og den første blokk av heltallstransformerte DC-koeffisienter er av størrelsen (m/k) x (n/k).

11. Fremgangsmåte i henhold til krav 10, karakterisert ved at k=4, m=8 og n=8.

12. Fremgangsmåte i henhold til krav 10, karakterisert ved at k=4, m=16 og n=8.

13. Fremgangsmåte i henhold til krav 10, karakterisert ved at k=4, m=16ogn=16.

14. Fremgangsmåte i henhold til krav 10, karakterisert ved at i=m/k og j=n/k.

15. Fremgangsmåte i henhold til krav 10-14, karakterisert ved at videokodingen er implementert i henhold til H.264-standarden.

16. Fremgangsmåte i henhold til krav 10-15, karakterisert ved at inverstransformasjonsfunksjonen er en Hadamard-transformasjon.