NO318318B1 - Fremgangsmate for forbedret koding av video - Google Patents

Description

O ppfinnelsens område

Oppfinnelsen relaterer seg til videokompresjonssystemer.

Opp f innelsenp ^>q^'"Ti

Overføring av bevegelige bilder i sanntid blir utført i flere applikasjoner så som videokonferanse, nettmøte, kringkastning av fjernsyn og videotelefoni.

Å representere bevegelige bilder krever imidlertid informa-sjon av stort omfang idet digital video typisk blir beskrevet ved å representere hvert piksel i et bilde med 8 bits {1 byte). Slike ukomprimerte videodataer resulterer i store bitvolumer, og kan ikke overføres over konvensjonelle kom-munikasjonsnettverk og transmisjonslinjer i sanntid som følge av begrenset båndbredde.

Således kreves en stor grad av datakompresjon for å mulig-gjøre sanntidsvideooverføring. Datakompresjon kan ikke des-to mindre gå på kompromiss med bildekvaliteten. Derfor har store anstrengelser blitt gjort for å utvikle komprime-ringsteknikker som tillater sanntidsoverføring av høykvali-tetsvideo over båndbreddebegrensede dataforbindelser.

I videokomprimeringssystemer er hovedhensikten å representere videoinformasjonen med så liten kapasitet som mulig. Kapasiteten er definert med bit, enten som konstante verdier eller som bit/tidsenhet. I begge tilfeller er hovedhensikten å redusere antallet bit.

Den vanligste videokodingsmetoden er beskrevet i MPEG<*->og H.26<*->standardene. Videodata gjennomgår fire hovedprosesser før videresending, nemlig prediksjon, transformasjon, kvantisering og entropikoding.

Prediksjonsprosessen reduserer signifikant mengden av bits som er nødvendig for hvert bilde i en videosekvens som skal overføres. Den drar fordel av likheten i deler av sekvensen med andre deler av samme sekvens. Siden prediksjonsdelen er kjent for både koder og dekoder, vil kun forskjellene måtte overføres. Denne forskjellen krever typisk mye mindre kapasitet for sin representasjon. Prediksjonen er i hovedsak basert på bildeinnhold fra tidligere rekonstruerte bilder der lokasjonen av innholdet er definert ved bevegelsesvektorer. Prediksjonsprosessen er typisk utført på firkant-blokker av størrelse (for eksempel 16x16 piksler). Bemerk at i noen tilfeller er prediksjon av pikslene basert på na-bopiksler i samme bilde i stedet for piksler fra det foregående bilde. Dette blir referert til som intraprediksjon i motsetning til interprediksjon.

Resten representert som en blokk av data (for eksempel 4x4 piksler) vil fremdeles inneholde interne korrelasjoner. En velkjent metode for å dra fordel av dette er å utføre en todimensjonal blokktransformasjon. ITU-rekommanderingen H.264 bruker en 4x4 heltallstypetransformasjon. Denne transformerer 4x4 piksler inntil 4x4 transformasjonskoeffisienter og de kan vanligvis bli representert med færre bit enn pikselrepresentasjonen. Transformering av 4x4-matriser av piksler med intern korrelasjon vil sannsynligvis resultere i en 4x4 blokk av transformasjonskoeffisienter med mye færre ikke-null-verdier enn den originale 4x4 pikselblok-ken.

Direkte representasjon av transformasjonskoeffisientene er fremdeles for kostbart for mange applikasjoner. En kvanti-seringsprosess blir utført for en videre reduksjon av data-representasjonen. Således gjennomgår transformasjonskoeffisientene en kvantisering. De mulige verdiområder for transformasjonskoeffisienter blir delt inn i verdiintervaller hver begrenset av en øvre og en nedre avgjørelsesverdi og tilegnet en fast kvantiseringsverdi. Transformasjonskoeffisientene blir så kvantifisert til kvantiseringsverdier assosiert med intervallene som de respektive koeffisienter hører inn under. Koeffisienter som er lavere enn den laves te beslutningsverdien blir kvantifisert til nuller. Det skal nevnes at denne kvantiseringsprosessen resulterer i at rekonstruerte videosekvenser blir noe forskjellig sammen-lignet med de ikke-komprimerte sekvenser.

Som allerede indikert er en karakteristikk ved videoinnhold som skal kodes at kravene for at bits skal beskrive sekvenser vil variere sterkt. For mange applikasjoner er det velkjent for en fagmann på området at innholdet i en stor del av bildet blir uforandret fra ramme til ramme. H264 utvider denne definisjonen slik at deler av bildet med konstant bevegelse også kan kodes uten bruk av tilleggsinformasjon. Regioner med lite eller ingen endring fra ramme til ramme krever et minimum antall av bit for å bli representert. Blokkene inkludert i en slik region blir definert som "skipped", som reflekterer at ingen endring eller kun forutbestemte bevegelser relativt til tidligere blokker fremtrer, således kreves ingen data for å representere disse blokker bortsett fra en indikasjon på at blokkene skal dekodes som "skipped". Denne indikasjonen kan være felles for flere makroblokker.

Idet H.264 er en dekodingsspesifikasjon beskriver den ikke noen metode for å detektere regioner av marginale eller der ingen endringer foreligger før transformasjons- og kvantiseringsprosessen. Som et resultat kan disse regioner gjen-nomgå både bevegelsessøk, transformasjon og kvantisering selv om de til slutt vil bli definert som skipped og ikke representert med noen data. Idet disse operasjoner krever prosesseringskapasitet er dette et unødvendig forbruk av ressurser i en enkoder. Effektiv bruk av prosesseringsressurser er spesielt viktig i forbindelse med H.264 idet det kreves store prosesseringsressurser. I det minste for en-kelte applikasjoner er det derfor svært ønskelig å redusere kodingskompleksiteten.

Et annet problem assosiert med H264 er at kodingen vanligvis er "lossy" i den forstand at hvert bilde blir rekonst- ruert med noen grad av feil. Dette faktum sammen med støyen for kildesignalet betyr at det alltid vil være en forskjell mellom en ukodet blokk og den samlede blokk i det foregående bilde selv om det ikke er noen virkelig endring i bilde-innholdet. En typisk kodingsprosedyre kan derfor ofte føre til koding av dette som et restsignal. Dette vil typisk føre til en mindre forbedring av den objektive rekonstruk-sjonen av blokken, men vil resultere i en irriterende flim-ringseffekt i rolige regioner av bildet.

«awmiA ndraa for oppfinnelsen

Det er en hensikt for foreliggende oppfinnelse å tilveie-bringe en fremgangsmåte som unngår de ovenfor beskrevne problemer.

Trekkene som definert i de uavhengige kravene vedlagt ka-rakteriserer denne og fremgangsmåten.

Spesielt tilveiebringer foreliggende oppfinnelse en fremgangsmåte for videokoding for transformering av en første blokk av restpikselverdier av bevegelige bilder ved en heltallstransformasjonsfunksjon som genererer en korresponderende andre blokk av heltallstransformasjonskoeffisienter etterfulgt av kvantisering av heltallstransformasjonskoef-fisientene ved bruk av kvantiserintervaller definert med et nummer av bestemmelsesverdier, der fremgangsmåten inklude-rer trinnene av å transformere den første blokk ved en binær transformasjonsfunksjon som genererer en korresponderende tredje blokk av binærtransformasjonskoeffisienter, og definerer den andre blokk til kun å inkludere nuller om en eller flere binærtransformasjonskoeffisienter i det øvre venstre hjørne av den tredje blokk er mindre enn en forhåndsdefinert terskel.

Kort beskrivelse av tegningene

For å gjøre foreliggende oppfinnelse enklere forståelig vil en i den etterfølgende diskusjon referere til de vedlagte tegninger.

Figur 1 viser en enkelt 16x16 makroblokk delt inn i en 4x4 pikselblokk, som igjen er delt inn i en 4x4 transforma-sjonsblokk.

Detailert beskrivelse av den foreliggende oppfinnelse

I det følgende vil den foreliggende oppfinnelse bli disku-tert ved å beskrive en fordelaktig utførelsesform og ved å referere til de vedlagte tegninger. En fagmann på området vil imidlertid realisere andre applikasjoner og modifika-sjoner innenfor omfanget av foreliggende oppfinnelse som definert i de vedlagte selvstendige kravene.

Den foreliggende oppfinnelse tilveiebringer en fremgangsmåte for å detektere blokker som skal indikeres som skipped ved et tidligere trinn for kodingsprosessen enn andre regu-lære implementeringer av ITU H.263- og H.264-standarder.

I henhold til en fordelaktig utførelsesform av foreliggende oppfinnelse vil hver enkelt 16x16 makroblokk bli betraktet når en detekterer blokker som betegnes med "skipped". En-kelte forhåndstrinn er nødvendig på de respektive makroblokker før en utfører hovedavgjørelsesprosessen.

Det første av de preliminære trinn søker å finne en såkalt skipvektor. Utledningen av en skipvektor følger prediksjonen av den korresponderende bevegelsesvektor for en 16x16 blokk som definert i H.264. Hovedforskjellen er at skipvektoren blir satt til null med bestemte forhold når 16x16 prediksjonsvektoren ikke er det. Disse forhold blir også definert i H.264-standarden. Skipvektoren for en 16x16 makroblokk blir definert av vektorer av nærliggende og allere de kodede makrob1okker. Prosedyren er vel definert i H.264. Deretter, basert på den utledede skipvektor, vil en avgjø-relse bli tatt om en skal fortsette til neste trinn eller ikke, for makroblokken. Kriteriet for å fortsette, dvs. for å anta at makroblokken er en kandidat for å bli definert som skipped ved et tidligere trinn, kan være at skipvektoren er lik null i henhold til H.263. Dette betyr at situa-sjonen videre kun vil bli kontrollert mot ingen bevegelse i det hele tatt, mens H.264 også lar det være igjen rom for å definere en makroblokk som skipped med en skipvektorpredik-sjon forskjellig fra null. I det etterfølgende vil en imidlertid anta at skipvektoren blir bestemt til lik null.

Det neste preliminære trinn er å finne resten definert som piksel-for-piksel-differansen mellom makroblokken som skal kodes og den sammenstilte blokken i en tidligere dekodet ramme. Dette er en ganske liketil prosess som ikke krever mye prosesseringskapasitet. Den ovenfor nevnte antagelse om at skipvektoren skal være lik null impliserer at resten alltid blir funnet ved å trekke fra piksler for foreliggende makroblokk fra den foregående sammenstilte blokk, og ikke en blokk med relativ romlig offset.

Etter å ha vært gjennom de preliminære trinn for skipdetek-teringsprosessen har tiden kommet for å undersøke makroblokken for å se om i det minste deler av den møter de for-håndsdefinerte kriterier for å bli klassifisert som skipped.

Den enkleste måten å definere skipped på, vil være basert på utelukkende pikselbaserte restanser. Noen terskelverdier kunne bli definert og kriterier kunne være maksimum, gjen-nomsnitt eller noen andre kombinasjoner av piksler som overgår denne terskelverdi.

På den annen side er det kjent at når en koder makroblokker, vil en transformasjon utføres på restpikselverdiene. Den etterfølgende kvantiseringsprosessen vil trolig intro- dusere mange nullverdier, idet alle transformasjonsverdier under den laveste bestemmelsesverdien vil bli satt til null. Om alle transformasjonskoeffisientene var null etter kvantisering, vil makroblokken kunne bli definert som skipped. Fordi den laveste bestemmelsesverdien for transforma-sjonsverdiene ikke direkte kan utledes til en terskel i pikseldomenet, vil sammenligninger med en terskel i pikseldomenet ofte gi et forskjellig resultat enn ved å gjøre den samme sammenligningen i transformasjonsdomenet. På den annen side vil det være kapasitetskrevende å utføre transformasjonen og deretter sjekking av alle koeffisienter for å finne blokker som er fylt med nuller.

I henhold til foreliggende oppfinnelse vil en full transformasjon av skippede blokker unngås ved isteden å introdu-sere en forenklet og mindre krevende transformasjon for den hensikt å definere skippede blokker før den ordinære transformasjonen. For å illustrere den forenklede transformasjonen, viser figur 1 en del av oppdelingen av bildepiksler i henhold til H.264. En 16x16 makroblokk blir delt inn i 16 4x4 blokker som forberedelse for en transformasjon av hver 4x4 blokk ved bruk av en todimensjonal heltallstransformasjon som resulterer i 4x4 transformasjonskoeffisienter. Transformasjonen som skal brukes i den virkelige transformasjonen i henhold til H.264 er en 4x4 heltallstypetransformasjon, og koeffisientene som er organisert slik at den øvre venstre verdien for de transformerte blokkene representerer summen eller gjennomsnittet av alle piksler. Idet vi beveger oss til høyre og nedover, vil transformasjonsko-ef f isientene representere bidraget fra høyere frekvenser horisontalt og vertikalt. Mesteparten av "energien" for signalet er derfor statistisk konsentrert mot det lavere frekvens (øvre venstre hjørne) -bidraget til transformasjonen. Den øvre venstre koeffisienten blir ofte referert til som DC-koeffisienten. Således vil det være rimelig å anta at det er tilstrekkelig å konsentrere deg om de 4 koeffisienter mot øvre venstre hjørne i en 4x4 blokk. Disse koeffisientene er skyggelagt i figur 1. Bemerk at avhengig av transformasjonen som blir brukt, vil DC-koeffisienten og de andre lavfrekvente koeffisientene som representerer mesteparten av energien for verdiene som skal transformeres ikke være begrenset til å befinne seg i det øvre venstre hjørne. Generelt sagt, lavfrekvenskoeffisientene for en blokk er lokalisert ved de lavere koordinatposisjoner for blokken.

Som tidligere indikert blir imidlertid en forenklet transformasjon i henhold til foreliggende oppfinnelse brukt for å detektere "skipped blocks". Transformasjonen i henhold til en fordelaktig utførelsesform for foreliggende oppfinnelse blir utledet fra en Hadamard-transformasjon. I motsetning til for 4x4 heltallstypetransformasjoner, er ele-mentene for basisvektorene for Hadamard-transformasjonen kun bestående av binærverdiene +1 og -1. De er derfor vel-egnet for digital signalprosesseringsapplikasjoner der en-kelhet i beregninger er ønskelig. Basisvektorene for den forenklede transformasjon blir vist i det etterfølgende.

Koeffisientene for en blokk er utledet ved å multiplisere blokken med basisvektorene assosiert med de respektive ko-effisientposisjoner. Med basisvektorene ovenfor vil bereg-ningene redusere seg til addisjoner og subtraksjoner. Slik en transformasjon vil bli referert til som en binærtrans-formasj on.

Anvendelse av basisvektorene over for utleding av de fire øvre venstre koeffisienter tilveiebringer et resultat som er rimelig nær de korresponderende koeffisienter for 4x4 heltallstypetransformasjonen spesifisert i H.264. Faktisk vil den øverste venstre koeffisienten være identisk med den virkelige transformasjon. Dermed vil den laveste bestemmelsesverdien for DC-koeffisienten for 4x4 heltallstypetrans-formasj onen kunne bli brukt direkte som terskel for de respektive fire koeffisienter for den forenklede transformasjon.

På denne måten vil en spesielt god test for å detektere nullkoeffisienter oppnås idet det er kjent at disse fire koeffisienter statistisk er de største, og en forutsetter at de gjenværende koeffisienter er null om de fire koeffisientene er under terskelen.

Den foreliggende oppfinnelse tilveiebringer en enkel metode for å detektere koeffisienter som er null før transformasjon og kvantisering, som resulterer i en vesentlig bereg-ningsforenkling som følge av at en unngår bevegelsesvektor-søk og mindre transformasjon og kvantisering.

Videre representerer foreliggende oppfinnelse en god balan-se mellom de to kravene for å detektere så mange makroblokker som mulig uten endringer, og så få makroblokker som mulig blir definert som skipped når de skulle vært kodet.

Den foreliggende oppfinnelse begrenser også transforma-sj onsintrodusert støy som følge av en reduksjon av antall transformasjoner av verdier nær opptil null.

Claims (9)

1. En fremgangsmåte for videokoding for transformering av en første blokk av restpikselverdier av bevegelige bilder ved en heltallstransformasjonsfunksjon som genererer en korresponderende andre blokk av heltallstransformasjonskoeffisienter etterfulgt av kvantifisering av heltallstrans-formasjonskoeffisientene ved bruk av kvantiserintervaller definert ved et antall bestemmelsesverdier,karakterisert ved å transformere den første blokk ved en binær transfor-mas jonsfunks jon som genererer en korresponderende tredje blokk av binærtransformasjonskoeffisienter, å definere den andre blokk til kun å inkludere nuller om en eller flere binærtransformasjonskoeffisienter av de laveste koordinatene i den tredje blokk er mindre enn en forhåndsdefinert terskel.

2. En fremgangsmåte i henhold til krav 1,karakterisert vedat nevnte forhåndsdefi-nerte terskel er den minste bestemmelsesverdien for et antall av bestemmelsesverdier assosiert med kvantisering av den koeffisienten som har den laveste transformasjonskoor-dinaten i den andre blokk.

3. En fremgangsmåte i henhold til krav 1 eller 2,karakterisert vedat videokodingen er i henhold til H.264, og at heltallstransformasjonsfunksjonen er en heltallstransformasjon definert i denne.

4. En fremgangsmåte i henhold til et av de foregående kravene, karakterisert vedat blokkene representerer et samme første kvadratisk areal av 4x4 piksler i et bevegelig bilde.

5. En fremgangsmåte i henhold til krav 4,karakterisert vedat nevnte første kvadra-tiske område dekker en sekstendedel av en makroblokk som representerer et andre kvadratisk område av 16x16 piksler i nevnte bevegelige bilde.

6. En fremgangsmåte i henhold til krav 5,karakterisert vedde følgende trinn: å bestemme en skipvektor for nevnte makroblokk basert på en eksisterende bevegelsesvektorer av romlige na-boblokker i nevnte bevegelige bilde, å utføre trinnet av å transformere den første blokk ved en binærtransformasjonsfunksjon kun om nevnte skipvektor er lik null.

7. En fremgangsmåte i henhold til et av de foregående kravene, karakterisert vedat nevnte binærtransfor-masj onsfunks jon er en Hadamard-transformasjon eller en transformasjon utledet fra nevnte Hadamard-transformasjon.

8. En fremgangsmåte i henhold til et av de foregående kravene, karakterisert vedat nevnte ene eller flere binærtransformasjonskoeffisienter er de fire binærtrans-formasj onskoef f isienter i det øvre venstre hjørne av den tredje blokk.

9. En fremgangsmåte i henhold til et av de foregående kravene, karakterisert vedå utføre trinnet å transformere den første blokk ved en binærtransformasjonsfunksjon før trinnet av å transformere den første blokk ved en heltallstransformasjonsfunksjon, å utelate trinnet å transformere den første blokk ved en heltallstransformasjonsfunksjon om den andre blokk allerede er definert til kun å inkludere nuller.