NO300610B1 - Fremgangsmåte for kompresjonskoding av digitale bildevideosignaler, med sammenkoding av blokker fra flere bilder - Google Patents

Description

Foreliggende oppfinnelse angår en fremgangsmåte for koding av digitale bildevideosignaler for å redusere antallet data som eventuelt skal overføres. Mer spesielt angår oppfinnelsen hvordan man koder mer enn ett bilde samtidig, eller mer presist, et antall blokker fra forskjellige bilder samtidig.

Det eksisterer flere standardmetoder for komprimering av videosignaler. Ved flere av disse (ITU Recommendation H.261 og ISO/IEC 11172) benyttes hovedsakelig følgende teknikker for å oppnå kompresjon av de data som skal overføres: 1. Bildene, som består av et antall bildepunkter, deles opp i et antall blokker, eksempelvis bestående av 8x8 eller 16x16 punkter (pixels). Hvilken størrelse som brukes, avhenger av hva man skal gjøre. 2. Siden bilder som følger rett etter hverandre i tid ofte er relativt like, kan en bildeblokk ofte beskrives tilnærmet ved å bruke deler fra bilder som allerede er kodet. Dersom man antar at en blokk på 8x8 punkter skal kodes, hvilken blokk kalles

ORIG(i,j) i,j=l...8,

vil man lete etter en passende blokk på 8x8 punkter i et tidligere kodet bilde. Denne blokken i det tidligere kodede bildet vil typisk være forskjøvet i bildet sammenlignet med ORIG, hvilket avspeiler bevegelser i bildeinnholdet. Størrelsen på forskyvningen angis med en såkalt vektor som angir hvor mange bildepunkter blokken er forskjøvet i horisontal og vertikal retning. Blokken som er funnet å ligne godt på ORIG-blokken, kalles en prediksjon for ORIG-blokken, og den defineres som

PRED(i,j) i,j=1...8

Algoritmer for å finne en best mulig PRED-blokk i et tidligere kodet bilde, finnes, men slike algoritmer gås det ikke nærmere inn på her, da detaljerte utforminger av slike algoritmer ikke utgjør noen del av foreliggende oppfinnelse. 3. Siden en mottaker er istand til å generere PRED selv (mottakeren har lagret de nødvendige tidligere rekonstruerte, kodede/dekodede bilder, og kan også selv beregne PRED i henhold til samme algoritme som senderen), trenger man ikke å sende hele ORIG. Det er tilstrekkelig å overføre et såkalt differansesignal, som defineres slik:

DIFF(i,j) = ORIG(i,j)-PRED(i,j) i,j=1...8

4. For å kunne overføre DIFF på mest mulig komprimert form, omformer man vanligvis DIFF-blokken (som i vårt eksempel er på 8x8 punkter) til en matrise som inneholder 8x8 transformkoeffisienter som altså representerer DIFF. I stor utstrek-ning benyttes den såkalte todimensjonale Cosinus-transform, som har gunstige egenskaper. Transformkoeffisientene som oppnås ved transformasjonen av DIFF, kalles TRANS, og defineres slik:

TRANS(i,j) i,j=1...8

5. Etter at DIFF er transformert til TRANS, kvantiseres transformkoeffisientene, og de transformerte, kvantiserte koeffisientene, som gjennom kvantiseringen nå utgjør en tilnærmet representasjon av DIFF, kan så sendes til en mottaker i henhold til en bestemt avlesnings-strategi for matrisen, se eksempelvis den avlesningsstrategi og formatering til send-bare data som beskrives i samme søkers norske patent nr.

175 080. I mottakeren foregår så invers-kvantisering og invers-transformering for å rekonstruere DIFF, men det som rekonstrueres er verdier DIFF' som avviker noe fra DIFF.

Grunnen til avviket er kvantiseringen. Det skal bemerkes at de to sistnevnte operasjonene må gjøres likt på både sender-og mottaker-siden. De oppnådde verdiene DIFF' benyttes til å rekonstruere en representasjon ORIG' av bildeblokken som skulle kodes:

ORIG' (i,j) = PRED(i,j) +DIFF'(i,j) i,j=1...8

Når man skal gjøre bruk av bildekompresjon, må man både komprimere for å få representert bildene med så få bits som mulig, og de-komprimere for å kunne vise bildene igjen. Man sier gjerne at man gjør komprimeringen på sendersiden og dekomprimeringen på mottakersiden. De regnemessige operasjonene som skal gjøres, blir derfor også naturlig delt i to: et sett operasjoner på sender og ett sett operasjoner på mottaker. De regnemessige operasjonene på sendersiden, som grovt omfatter det å finne en prediksjon, lage et differansesignal, foreta transformasjon og endelig å lage en bit-strøm, kalles gjerne for "koding". Man kan således snakke om å kode for eksempel en blokk eller et helt bilde. På samme måte kaller man de regnemessige operasjonene på mottakersiden, som grovt omfatter det å finne prediksjon ut fra mottatt vektor, gjøre en invers transformasjon og sette sammen bildet for visning, for "dekoding". Koding og dekoding henger egentlig nøye sammen, siden koding etterfulgt av dekoding skal føre fram til et rekonstruert bilde. Det er viktig å bemerke at sender også må gjøre store deler av dekodingsprosessen, fordi sender og mottaker må ha eksakt de samme rekonstruerte bilder som grunnlag for prediksjoner.

Ut fra det som er sagt ovenfor, vil mange av de regnemessige operasjonene som brukes ved komprimeringen, reflek-teres både ved koding og dekoding (dette gjelder eksempelvis "gjennomløpingsmønstre" for koeffisienter. Man må bruke samme gjennomløpingsmønster både på senderside og mottaker-side) . Foreliggende oppfinnelse omhandler slike operasjoner som må gjøres både på sender- og mottakersiden. Ofte når man snakker om "koding", vil man således egentlig mene både koding og dekoding. Dette vil også gjelde deler av denne beskrivelse, samt patentkravene.

I ISO/IEC 11172 og ISO/IEC 13818-standardene for bilde-komprimering benytter man forskjellige bildetyper. Disse typene er stort sett karakterisert ved hvordan prediksjonen av blokker gjøres. I de tilfeller der et bilde kodes uten å benytte noen prediksjon, benyttes betegnelsen I-bilder. I det tilfelle hvor prediksjon benyttes fra ett eneste tidligere dekodet bilde, betegnes bildet under koding som et P-bilde (P for prediktert). En tredje type bilder er B-bilder (B for toveis eller "bidireksjonal" prediksjon). For koding av et B-bilde benyttes informasjon fra to tidligere dekodede bilder, et som ligger foran og et som følger etter det bilde som skal kodes, som prediksjon.

Fra US-patent nr. 5.198.901 er kjent en teknikk hvor det benyttes om igjen en vektor mellom to såkalte "anker-bilder", f.eks. to P-bilder, slik at man ikke trenger noen ekstra vektorer fra B-kildene. Men man koder og overfører ett og ett bilde om gangen, i nummerert orden.

I fig. 1 og 2 er illustrert hvordan prediksjon av blokker gjøres dersom man har en blanding av P- og B-bilder. Det antas at bilde 1 er overført til mottaker. Dette kan ikke ha vært et B-bilde. Det neste som vil skje, er at hele bilde 3 vil bli kodet. Prediksjoner for blokkene i bilde 3 vil være å finne i bilde 1, og et eksempel vises i form av at blokken 0RIG2 i bilde 3 finner sin prediksjon som blokk PRED1 i bilde 1. Bevegelsesvektoren som beskriver beliggenheten av PREDl i forhold til 0RIG2, er VI. På tilsvarende måte finnes prediksjoner i bilde 1 for samtlige blokker i bilde 3, dvs. et sett bevegelsesvektorer listes opp tilsvarende alle blokker i bilde 3.

Deretter skal hele bilde 2 kodes. Slik det fremgår av fig. 2, kan da blokken 0RIG1 i bilde 2 predikteres som et middel mellom blokker PRED2 og PRED3 i de to kodede bilde 1 og bilde 3. PRED2 og PRED3 finnes hver for seg ved bruk av vanlig algoritme, og to bevegelsesvektorer V2 og V3 indikerer hvor de to blokkene som benyttes til prediksjonen, befinner seg. V2 og V3 kan i noen utførelser være separat overførte vektorer, eller alternativt nedskalerte versjoner av bevegelsesvektoren VI, se f.eks. en artikkel av A. Puri et al. i Signal Processing: Image Communication, bind 2, august 1990, NL, side 127-144: "Video Coding with Motion-Compensated Interpolation for CD-ROM Applications". Selve prediksjonen genereres altså her som en regnemessig kombinasjon av PRED2-og PRED3-blokkene, enklest altså som en middelverdi, (PRED2 + PRED3)/2.

En slik kodingsmetode viser seg ofte effektiv, fordi prediksjonen av bilde 2 blir god, og differansesignalet ("kvantisert TRANS") kan av denne grunn kreve bare få bits til overføring.

Nedskalering av bevegelsesvektorer er også kjent fra en artikkel av A. Nagata et al. på side 109-116 i samme publikasjon som forannevnte artikkel, og med tittel "Moving Picture Coding System for Digital Storage Media using Hybrid Coding". Begge disse artiklene viser bruk av en gruppe av bilder, hvor det siste bildet rekonstrueres og så benyttes sammen med et bilde som går forut for gruppen av bilder og nedskalerte bevegelsesvektorer for å komme frem til dataene for det eller de andre bilder i gruppen.

Den største ulempen ved den her beskrevne metoden, er at man for prediksjon av B-bilder må lese data fra tobilde-lagere (PRED2 og PRED3) inn i en prosesseringsenhet, og hver slik lesing av data er ressurskrevende når det gjelder implementering.

Oppfinnelsen tar sikte på å frembringe en alternativ måte å kode P- og B-bilder på, i den hensikt å forenkle data-lesingen og spare overføringskapasitet mellom bildelagere og en prosesseringsenhet ved å redusere datamengden som skal overføres.

Formålet oppnås ifølge oppfinnelsen ved en fremgangsmåte av den type som fremgår av de vedføyde patentkravene.

Oppfinnelsen skal i det følgende gis en nærmere omtale, fortrinnsvis ved bruk av en beskrivelse av den foretrukne utførelsesform. Det vises samtidig til den vedføyde tegningen, hvor

fig. 1 og fig. 2 illustrerer tidligere kjente teknikker for prediksjon, og

fig. 3 viser en prediksjonsteknikk ifølge foreliggende oppfinnelse.

Ifølge oppfinnelsen kodes ikke ett og ett bilde for seg, som beskrevet ovenfor i forbindelse med den tidligere kjente teknikk. I stedet koder man et antall N>1 blokker med samme posisjon i N etter hverandre følgende bilder "samtidig".

(Med "samtidig" menes egentlig at de bits som produseres fra de N blokkene, lages i en enhet. Dette vil også vanligvis bety at alle regneoperasjonene for de N blokkene gjøres før man går over til et nytt sett blokker. Dette siste er imidlertid ikke strengt tatt nødvendig. Man kan tenke seg at en produsent kunne finne fordeler ved å gjøre selve regneoperasjonene til forskjellig tid, lagre vekk nødvendige resultater for så senere å pakke dem sammen til en enhet som nevnt ovenfor).

Som eksempel skal nå vises hvordan blokker fra to bilder kodes sammen, men oppfinnelsen dekker også muligheten for å kode blokker fra fler enn to bilder (dvs. N bilder) samtidig.

Idet det vises til fig. 1 og fig. 3, begynner kode-prosessen med at blokken 0RIG2 (se fig. 1) kodes med en prediksjon fra PRED1. Prosessen fører så til at en rekonstruert blokk 0RIG2' lages. - Så gås det direkte til blokken 0RIG1 i bilde 2 (se fig. 3), som altså har samme bildeposisjon som 0RIG2 i bilde 3 (se både fig. 1 og fig. 3). Den prediksjon som skal benyttes for 0RIG1, kan dannes på grunnlag av både PRED4 i bilde 1, og deler av den nettopp rekonstruerte blokken 0RIG2'. Vektorene som benyttes her, er nedskalert fra vektoren VI som ble benyttet for prediksjon av 0RIG2 (se fig. 1). I dette eksemplet er således benyttet "VI og -"VI. Slik det fremgår av fig. 3, kan den mørkt skraverte delen av 0RIG1 predikteres som et middel av PRED4 og 0RIG2 '. Den lyst skraverte delen av 0RIG1 predikteres bare fra PRED4.

Strategien nevnt ovenfor, kan utvides til å omfatte flere bilder enn to (altså de viste bilder 2 og 3), eksempelvis ved koding av tre bilder vil det siste bildet (bilde 4), eller egentlig en blokk i bilde 4, først predikteres med en blokk i bilde 1, og deretter vil en rekonstruert blokk lages i bilde 4. Deretter hopper man et bilde bakover, altså til bilde 3, og går løs på en blokk i samme posisjon som blokken i bilde 4. Denne blokken i bilde 3 predikteres så ved hjelp av deler av den rekonstruerte blokken i bilde 4, samt informasjon fra dekodet bilde 1. Til sist lages prediksjon for blokken i samme posisjon i bilde 2 på tilsvarende måte, som en kombinasjon av den rekonstruerte blokken i bilde 4 og informasjon fra kodet bilde 1. Også her benyttes nedskalerte vektorer fra den første vektor VI, eksempelvis nedskalert med 1/3.

For så å gå tilbake til eksemplet med to bilder, altså bilde 2 og bilde 3 som vist i figurene, grupperes så differanse-signalene til blokkene i bilde 2 og bilde 3 sammen, før man går løs på en blokk i en annen bildeposisjon. For å overføre differansesignalene for blokkene i bilde 2 og bilde 3, får man to differanseblokker DIFF1 og DIFF2 og deretter to sett transformkoeffisienter TRANS1 og TRANS2. De bits som resulterer fra disse settene med transformkoeffisienter settes så sammen til en bit-enhet, slik at overføringen av transformkoeffisienter foregår på liknende måte som om man bare kodet en eneste blokk.

Fordelene med den her viste form for koding av B-bilder, er som følger: Man trenger bare å lese en datablokk fra et bildelager inn i en prosesseringsenhet for hver bildeblokk som skal predikteres (PRED1 og PRED4 må leses for å prediktere 0RIG1 og 0RIG2, mens B-bildet som fremgår av fig. 2, kan ha behov for å lese to blokker pr. prediksjon).

Overføringskapasitet spares ikke bare ved at man bare benytter en vektor VI for prediksjon av to blokker, slik som i den ovennevnte artikkel av Puri et al. Ifølge foreliggende oppfinnelse spares også kapasitet ved at to bilder kodes sammen. Denne kapasiteten ville ellers bli brukt til å overføre diverse sideinformasjon.

Som oppsummering kodes altså sammenfallende blokker i de suksessive bilder som skal kodes, samtidig. Dette foregår ved at blokken i det siste bildet, blokk N, predikteres med en blokk i et kodet bilde som går forut for de N bildene. En rekonstruert, dekodet blokk N tilveiebringes så, og benyttes videre til å frembringe prediksjoner for de resterende av de N blokkene i samme bildeposisjon, men informasjon fra tidligere dekodede bilder benyttes også sammen med rekonstruert blokk N. (I det eksemplifiserte tilfellet utgjøres den her nevnte informasjonen av innholdet av en prediktert blokk i det forutgående dekodede bildet, men det kan tenkes benyttet andre tidligere dekodede bilder).

Fortrinnsvis benyttes så en eneste vektor for å angi prediksjon for alle de aktuelle N blokker, med passende nedskalering.

Man kan oppnå en ytterligere gunstig effekt ved å, kombinere transformkoeffisienter for de N blokkene til en matrise, slik at samme overføringsformat kan benyttes som ved koding/dekoding og overføring av en enkelt blokk.

Claims (2)

1. L. Fremgangsmåte for kompresjonskoding av digitale bildevideosignaler, eksempelvis i forbindelse med overføring av slike på et smalbåndet overføringsmedium, hvilken fremgangsmåte omfatter de følgende trinn: a) oppdeling av bilder som skal kodes, i et antall blokker av gitt størrelse, dvs. med et gitt antall bildepunkter; b) etablering av prediksjoner for hver blokk ved bruk av blokker i ett eller flere tidligere kodede bilder og i henhold til forutbestemte algoritmer; og c) tilveiebringelse av rekonstruerte blokker, dvs. blokker som er kodet og dekodet i henhold til et forutbestemt kode/dekodeskjerna, ved bruk av prediksjonene, karakterisert ved at

   blokker i en og samme bildeposisjon, men i N > 1 suksessive bilder, kodes og dekodes sammen som en gruppe, idet

   først den siste av blokkene i en slik gruppe, dvs. blokk nr.N, predikteres med en blokk i et kodet bilde forut for de N bildene, og deretter rekonstrueres blokk nr. N ved bruk av prediksjonsblokken og i henhold til det nevnte kode/dekode-sk j emaet; og

   dernest benyttes den rekonstruerte, dekodede blokk nr. N i en kombinasjon med informasjon fra tidligere dekodede bilder, til å frembringe prediksjoner for de resterende av de N blokkene i gruppen, idet kombinasjonen beregnes i henhold til en av de forutbestemte algoritmer, hvorved samtlige N blokker også frembringes på rekonstruert, kodet form for å bli behandlet som en bit-enhet, før et nytt sett av N blokker i en annen bildeposisjon i de samme N bildene grupperes på tilsvarende måte.
2. 2. Fremgangsmåte ifølge krav 1, hvor blokker fra to suksessive bilder kodes og dekodes sammen, idet prediksjonsblokken for den aktuelle blokk i det siste bildet bestemmes i den rekonstruerte versjon av det bilde som gikk rett forut for det første av de to suksessive bildene,

   karakterisert ved at en vektor for indikasjon av forflytning i bildeplanet fra den bestemte prediksjonsblokk til den aktuelle blokk i det siste bildet, etableres som eneste nødvendige indikasjon på prediksjonen, og at

   samme vektor benyttes to ganger i nedskalert form også for tilveiebringelse av prediksjon for det første bildet med bruk av blokker fra de rekonstruerte versjonene av det forutgående bildet og det siste bildet.