NO318167B1 - Vektorprediksjon - Google Patents

Description

Oppfinnelsens område

Oppfinnelsen relaterer seg til videokompresjonssystemer, og spesielt kompre-sjon av digitale videosystemer.

Oppfinnelsens bakgrunn

Sending av bevegelige bilder i sanntid blir anvendt innenfor flere applikasjoner så som videokonferanser, nettmøter, TV-sendinger og videotelefoni.

Men å representere bevegelige bilder krever informasjon om volum idet digital video typisk blir beskrevet ved representasjon av enkeltpiksler i et bilde med 8 bit (1 byte) eller mer. Slike ukomprimerte videodataer resulterer i store brt-volum og kan ikke overføres over konvensjonelle kommunikasjonsnettverk og transmisjonslinjer i sanntid som følge av begrenset båndbredde.

For således å muliggjøre sanntidsvideotransmisjon kreves en stor grad av datakomprimering. Datakomprimering kan gå på kompromiss med bildekvaliteten. Derfor er store anstrengelser blitt gjort for å utvikle kompresjonsteknikker som tillater sanntidstransmisjon av høykvalitetsvideo over bårvdbreddebegrensede dataforbindelser.

I videokomprimeringssystemer vil hovedmålsetningen være å representere vi-deoinformasjon med så liten kapasitet som mulig. Kapasitet er definert som brt, enten som en konstant verdi eller som bit per tidsenhet. I begge tilfeller vil hovedhensikten være å redusere antallet bit.

Den mest vanlige videokodingsmetoden blir beskrevet i MPEG" og H.26<*->standarder. Videodataene gjennomgår fire hovedprosesser før sending, nemlig beregning, transformasjon, kvantisering og entropikoding.

Beregningsprosessen reduserer signifikant mengden bit nødvendig for hvert enkelt bilde i en videosekvens som skal overføres. Den drar fordel av likheter i deler av sekvensen med andre deler av samme sekvens. Siden prediktordelen er kjent både for koder og dekoder vil kun forskjellen måtte overføres. Denne forskjellen krever typisk mye mindre kapasitet med sin representasjon. Beregningen blir i hovedsak basert på vektorer som representerer bevegelse. Beregningsprosessen blir typisk utført på firkantblokker (for eksempel 16x16 piksler) som indikert i blokk M i figur 1. Men størrelsen på blokkene kan variere. Dette er indikert i figurene med de mindre naboblokkene a, b, c og d.

I en typisk videosekvens vil innholdet for den nåværende blokken M være tilsvarende til en korresponderende blokk i et tidligere dekodet bilde. Om ingen end-ringer har opptrådt siden det foregående dekodede bile vil innholdet av M være tilsvarende til en blokk i samme lokasjon i det foregående dekodede bilde. I andre tilfeller kan et objekt i et bilde bevege seg slik at innholdet av M vil være mer likt med enn blokk av en annen lokasjon i det foregående dekodede bilde. Slike bevegelser blir representert ved bevegelsesvektorer (V). Som et eksempel, en bevegelsesvektor på (3:4) betyr at innholdet av M har beveget seg 3 piksler til venstre og 4 piksler oppover i forhold til foregående dekodede bilde. For forbedret nøyaktighet kan vektoren også inkludere desimaler, noe som krever interpolasjon mellom piksiene.

For å redusere datastørrelsen for bevegelsesvektorer før transmisjon, vil en anta at bevegelsene innenfor en blokk er nokså tilsvarende til bevegelsene innenfor naboblokkene. Således blir en prediksjon (Vpred) på V laget basert på de virkelige bevegelsesvektorer for naboblokkene. Idet bevegelsesvektorene for naboblokkene allerede er kjent på mottakersiden, vil kun forskjellen (Vdiff) mellom den aktuelle bevegelsesvektor og den korresponderende beregning måtte bli representert: Vdiff = V - Vpred. I den mottakende ende vil bevegelsesvektoren så kunne bli gjenskapt ved V = Vpred - Vdiff.

Innenfor ITU-standarden H.261 og H.262 og ISO-standardene MPEG1 og MPEG2, vil Vpred satt lik med bevegelsesvektoren for naboblokken korresponderende til blokk a i figur 1, dvs. det antas at bevegelsene for en blokk er de samme som for naboblokken på den venstre side. I H.263 og MPEG4 vil tre naboblokker bli brukt for å utlede en beregnet bevegelsesvektor. Hver komponent for vektoren (horisontal og vertikal) blir utledet separat ved valg av de respektive meridianer for komponentene for de tre vektorer.

Det er kjent fra publikasjon US 2002/0039386 A1 en blokk i en blokktilpasset prosessor og fremgangsmåte for å støtte en blokk tilpasset bevegelsesbereg-ning ved bevegelsesvektorprediksjonsmoduser ved anvendelse av matchende blokker av forskjellige størrelser.

Videre er det kjent fra US 2001/0031001 A1 en fremgangsmåte og et apparat for oppdatering av bevegelsesvektorminner brukt for beregning av bevegelsesvektorer innenfor et videkodings/-dekodingsregime. Hovedhensikten 1 dette dokumentet er hvordan lagre bevegelsesvektorer på en effektiv måte for senere bruk som nåværende blokker. Beregningen av bevegelsesvektorer blir basert på medianberegninger; således vil dette dokumentet ikke beskrive et tilstrekkelig nøyaktig målemetode for bevegelsesvektorberegninger.

Enda videre er det kjent en løsning (WO 01/99437 A2) der beregningen av bevegelsesvektorer er basert på mediankalkulasjoner. Men hovedideen beskrevet i dette dokumentet er å utføre et søk innenfor et mindre vindu i nærhet til den beregnede posisjon.

Prediksjonsvektoren utledet i henhold til den kjente teknikk som beskrevet over har vist at den ikke er tilstrekkelig nøyaktig. I tillegg ved å velge prediksjonsvek-torer på en komponent-til-komponent-basis vil vektorene kunne konstrueres av komponenter fra forskjellige vektorer som resulterer i en fiktiv bevegelsesvektor.

Sammendrag for oppfinnelsen

Det er en hensikt for foreliggende oppfinnelse å tilveiebringe en fremgangsmåte som unngår de ovenfor beskrevne problemer.

Trekkene som definert i de uavhengige kravene vedlagt karakteriserer denne fremgangsmåten.

Spesielt vil foreliggende oppfinnelse tilveiebringe en fremgangsmåte innenfor videokoding for bestemmelse av en bevegelsesvektorprediksjon assosiert med en målblokk av piksler som representerer et bestemt område av et videobilde, inkludert trinnene for å beregne de respektive vektorforskjeller mellom et primært sett av bevegelsesvektorer eller bevegelsesvektorkomponenter respektivt assosiert med et første antall av naboliggende blokker til målblokken og en eller flere av et andre sett av bevegelsesvektorer eller bevegelsesvektorkomponenter respektivt assosiert med et andre antall av naboblokker til målblokken, og velge en bevegelsesvektor eller bevegelsesvektorkomponent blant nevnte primære sett av bevegelsesvektorer som korresponderer til en minste av de nevnte vektordifferanser som bevegelsesvektorprediksjon eller en komponent for bevegelsesvektorprediksjon.

Kort beskrivelse av tegningene

For å gjøre oppfinnelsen enklere forståelig vil diskusjonen i det etterfølgende referere seg til den vedlagte figur.

Figur 1. illustrerer en 16 x 16 blokk med mindre naboliggende blokker.

Detaljert beskrivelse av foreliggende oppfinnelse

I det etterfølgende vil foreliggende oppfinnelse bli diskutert ved å beskrive en fordelaktig utførelsesform og ved å referere til den vedlagte figur. Men en fag-mann på området vil kunne realisere andre applikasjoner og modifikasjoner innenfor oppfinnelsens område som definert i de vedlagte uavhengige krav.

Den foreliggende oppfinnelse vil nå bli beskrevet ved et eksempel, ved å ta no-tasjonene for figur 1 i betraktning. Anta at blokkene a, b og c har bevegelsesvektorene {xi, yO, (x2, y2), (X3, y3) og en prediksjon for bevegelsesvektoren av blokken M som skal bestemmes. Således vil en fremgangsmåte for bestemmelse av bevegelsesvektoren M bli beskrevet. I denne eksemplifiserte utførelses-fonrnen vil to av disse tre vektorer bli valgt som kandidater for prediksjonen. Valget av kandidater kan være fastlagt eller basert på erfaring, forhåndsdefiner-te kriterier og/eller posisjonen for blokkene innenfor bildet. Generelt vil antallet kandidater også kunne variere, men i dette eksemplet er det kun to og valget av a og b er bestemt forutsatt at M ikke er øverstliggende eller blokka lengst til venstre i bildet. Om det sistnevnte er tilfelle vil et alternativt valg eller prediksjon kunne bli anvendt. Bemerk at a og b kan ligge i et foregående bilde, men i dette tilfellet er de en del av det nåværende bilde.

Det er videre antatt at bevegelsesvektorene for a og b er kjent og at en av dem er valgt for å være prediksjonsvektoren som en helhet, selv om et separat valg for hver komponent også er en del av foreliggende oppfinnelse. Videre i henhold til foreliggende eksemplifiserte utførelsesform vil blokk c bli valgt til å være bestemmende (the decision block) i valget mellom a og b. c er valgt fordi den er posisjonert i det høyre, øvre hjørne naboliggende til blokk M, mens a og b er posisjonert nær det motsatte øvre hjørne. Således vil bevegelsesvektoren for c kunne tilveiebringe en god indikasjon for hvilken bevegelsesvektor som er den beste tilnærming til bevegelsesvektoren for blokk M. Bemerk at selv om kun en bestemmelsesblokk blir anvendt her vil flere bestemmelsesblokker kunne anvendes i det generelle tilfellet.

Blokka, a eller b i dette eksemplet som har den minste vektordifferansen relatert til bevegelsesvektor for bestemmelsesblokka vil fordelaktig bli valgt som bevegelsesvektorprediksjon for M.

Det er to foretrukne alternativer for beregning av vektordifferanser. Ideen bak utvalgsprosedyren for valg av optimal bevegelsesvektorprediksjon for M, er å velge den blokka med bevegelsesvektor som har minste vektordifferansen sammenlignet med bevegelsesvektoren for bestemmelsesblokka. Flere meto-der kan anvendes for beregning av disse utvalgskriterier. To av dem er vist i de etterfølgende seksjoner, begge returnerer en numerisk verdi. Denne verdien vil anvendes ved bestemmelse av hvilken blokk (a eller c) som en skal velge som bevegelsesvektorprediksjon for M, den mindre verdien er det beste valget. Den returnerte verdi vil kun ha funksjonen som et utvalgskriterium, således vil verdien i seg selv ikke trenge å lagres eller å videresendes. Den første av de to al-ternative beregninger anvender kvadratsummen for forskjellen av de respektive komponenter. Således vil vektordifferansen c - a og c - b kunne beregnes som følger

Så lenge det kun er et spørsmål angående hvilke av de to returnerte verdier som er minst for uttrykkene over, kan en velge å kansellere rottegnet. Det andre alternativet beregner summen av absoluttverdiene for forskjellen for de respektive komponenter. Den korresponderende beregningen for vektordifferansen c - a og c - b vil således bli som følgen

I begge tilfeller vil bevegelsesvektorene som har den minste vektordifferansen sammenlignet med bevegelsesvektoren for c bli valgt som prediksjon for bevegelsesvektoren for blokk M.

Claims (6)

1. Fremgangsmåte innenfor videokoding for bestemmelse av en bevegelsesvektorprediksjon assosiert med en målblokk av piksler som representerer et bestemt område av et videobilde, karakterisert ved at den inkluderer trinnene: å beregne de respektive vektorforskjeller meilom et primært sett av bevegelsesvektorer eller bevegelsesvektorkomponenter respektivt assosiert med et første antall av naboliggende blokker og målblokken og en eller flere av et andre sett av bevegelsesvektorer eller bevegelsesvektorkomponenter respektivt assosiert med et andre antall av naboblokker til målblokken, og å velge en bevegelsesvektor eller bevegelsesvektorkomponent blant nevnte primære sett av bevegelsesvektorer som korresponderer til en minste av de nevnte vektordifferanser som bevegelsesvektorprediksjon eller en komponent for bevegelsesvektorprediksjon.

2. Fremgangsmåte i henhold til krav 1, karakterisert ved at nevnte første antall av blokker er lokalisert nær det venstre øvre hjørnet for målblokken, og nevnte andre antall av blokker er lokalisert nær det øvre høyre hjørne for målblokken.

3. Fremgangsmåte i henhold til krav 1 eller 2, karakterisert ved at nevnte første antall av blokker inkluderer en første og en andre blokk, og nevnte andre antall blokker inkluderer en tredje blokk.

4. Fremgangsmåte i henhold til krav 3, karakterisert ved at bevegelsesvektorene for nevnte førs-te, andre og tredje blokk er (xi, yi), (x2, y2), (X3, y3), respektivt.

5. Fremgangsmåte i henhold til krav 4, karakterisert ved at trinnene for beregning av de respektive vektorforskjeller mellom bevegelsesvektoren for nevnte første og tredje blokk og mellom nevnte andre og tredje blokk inkluderer beregning av følgende ligninger:

6. Fremgangsmåte i henhold til krav 4, karakterisert ved at trinnene å beregne de respektive vektorforskjeller mellom bevegelsesvektorene for nevnte første og tredje blokk og mellom nevnte andre og tredje blokk inkluderer beregninger som i etterføl-gende ligninger: