NO179570B - Fremgangsmåte for koding av bildedata - Google Patents

Description

Foreliggende oppfinnelse angår en fremgangsmåte for koding av bildedata (stillbilder og bevegelseskompensert videodata), og nærmere bestemt en metode som inkluderer dekomponering av bildedata i frekvensbånd (delbånd), klassifisering av grupper av delbånds-punktprøver i et gitt endelig antall klasser, klassevis uniform-terskel kvantisering av delbåndspunktprøvene og klassevis variabel-lengde-koding av de resulterende kvantiseringsindeksene.

I den senere tid har man tatt i bruk digitale komprimeringsteknikker for å få ned bitforbruket ved representasjon av enkeltbilder (stillbilder), eller sekvenser av bilder (lev-ende bilder). Dette er teknikker som f.eks. brukes både ved overføring av bildedata (f.eks. bildetelefoni) og lagring av bildedata (f.eks. interaktiv CD (CDI)). Eksisterende stan-dardiserte metoder for koding av bilder er JPEG (stillbilder) og H.261 og MPEG (video). Felles for alle disse tre blokkbaserte teknikkene er at man transformerer kvadratiske ikke-overlappende blokker av bildeverdier over i transformplanet ved hjelp av en diskret cosi-nustransform (DCT). Dette gir en blokk i transformplanet der energiinnholdet i gjennomsnitt konsentreres mot et hjørne av blokken. De transformerte blokkene kvantiseres, og de kvantiserte verdiene blir så kodet med en såkalt "variabel-lengde-kode". For JPEG, H.261 og MPEG består variabel-lengde-koderen av en kombinasjon av løpelengde-koding og entropikoding (Huffman- eller aritmetisk koding). Vi bruker begrepet variabel-lengde-koding som et generelt begrep om både entropikoding som er fast-til-variabel-lengde koding og kombinasjonen løpelengde-koding og entropikoding som er variabel-til-variabel-lengde koding (Jfr. N. S. Jayant and P. Noll, Digital Coding of Waveforms, Principles and Applications to Speech and Video, 1984, Prentice-Hall, Inc., Englewood Cliffs, New Jersey, p. 469). "Huffman-koding", aritmetisk koding og Ziv-Lempel koding er eksempler på implementering av entropikoding.

US-patentene 5.073.820, 5.155.592 og 5.323.187 tar utgangspunkt i en stedsadaptiv metode introdusert av Chen og Smith i artikkelen: "Adaptive coding of monochrome and color images", IEEE Transactions on Communications, vol. COM-25, No. 11, Nov. 1977, s. 1285-1292. Disse metodene er også blokkbasert og stedsadaptiv i tillegg til at de kan gi fast bitrate ut av koderen. Hver blokk med transformkoeffisienter blir klassifisert i et gitt endelig antall klasser ut fra ulike kriterier. Deretter blir transformkoeffisientene kvantisert med et antall bit bestemt av hvilken klasse transformkoeffisienten tilhører, og hvilket frekvensområde den representerer.

Foreliggende oppfinnelse er generelt ikke blokkbasert, men basert på en generell dekomponering av de originale bildedata. Dekomponeringen kan skje v.h.a. en ortogonal transform (f.eks. DCT), eller mer generelt v.h.a. en delbåndsiflterbank. Vi kaller det dekomponerte bildet for et delbåndsbilde uavhengig av hvordan dekomponeringen av bildedata har foregått. Et delbåndsbilde består av et antall delbånd bestemt av dekomponeringen, der et delbånd representerer informasjonen i de originale bildedata fra et bestemt frekvensbånd. F.eks. dersom en benytter blokkvis DCT for dekomponering av bildet, vil det ene delbåndet (lavpassbåndet) representere de blokkvise DC-verdiene til de originale bildedata. Hvert delbånd består av et antall delbåndspunktprøver bestemt av størrelsen på bildedata og antall delbånd som bildet dekomponeres i.

Oppfinnelsen bygger på et nytt prinsipp der en først estimerer entropien til grupper av delbåndspunktprøver, og deretter benytter dette estimatet til å klassifisere gruppene av delbåndspunktprøver i et gitt antall klasser. Klassifiseringen kjennetegnes ved at den foregår på grupper (blokker) av delbåndspunktprøver, der hver gruppe består av delbånds-punktprøver fra et og samme delbånd. Klassifiseringsinformasjonen benyttes deretter til å bestemme hvilken kvantiserer som skal benyttes til å kvantisere den aktuelle gruppen av delbåndspunktprøver, der den valgte kvantisereren er medlem av en gitt mengde mulige kvantiserere. Tilsvarende benyttes klassifiseringsinformasjonen til å bestemme den typen variabel-lengde-koder som skal benyttes til å kode den aktuelle gruppen av delbånds-punktprøver, der den valgte variabel-lengde-koderen er medlem av en gitt mengde mulige variabel-lengde-kodere.

Variabel-lengde-koderen er enten en ren entropikoder, der hver gruppe av kvantiserte delbåndspunktprøver kodes med en entropikoder bestemt av hvilken klasse gruppen tilhører, eller en kombinert løpelengde-koder og entropikoder, der vektorer av kvantiserte delbåndspunktprøver først løpelengde-kodes for deretter å entropikodes med en valgt entropikoder. Klassifiseringsinformasjonen blir lagret i en tallstreng som kodes med en kombinert løpelengde-koder og entropikoder.

Oppfinnelsen skiller seg fra H.261, MPEG, JPEG hovedsaklig ved at en estimerer entropien til grupper av delbåndspunktprøver og benytter disse til å velge en variabel-lengde-koder for hver enkelt gruppe av kvantiserte punktprøver. De tre foran nevnte metodene er basert på bruk av én entropikoder for kombinasjonen løpelengde og ikke-null delbåndspunktprøve. Oppfinnelsen er i tillegg ikke blokkbasert og gir muligheten til å benytte generelle dekomponeringsteknikker som kan gi bedre resultat enn f.eks. DCT som er benyttet i H.261, MPEG og JPEG. I tillegg gis det muligheten til å benytte ulike kvantiserere basert på entropiestimatene til de aktuelle delbåndspunktprøvene.

Oppfinnelsen skiller seg vesentlig fra Chen og Smiths metode (benyttet i US-patentene 5.073.820, 5.155.592 og 5.323.187) ved at klassifiseringen i foreliggende oppfinnelse skjer av grupper av delbåndspunktprøver fra et og samme delbånd, og ikke på tvers av delbåndene. Tidligere transformbaserte oppfinnelser/metoder (f.eks. JPEG og Chen og Smiths metode) er stedsadaptive, ved at klassifiseringen skjer på kvadratisk blokker av transformkoeffisien ter, der hver blokk representerer all frekvensinformasjonen fra den tilsvarende blokken i de originale bildedata. I vår notasjon medfører dette at en gruppe i disse metodene består av en punktprøve fra hvert delbånd, i motsetning til den foreliggende oppfinnelsen der en gruppe består av delbåndspunktprøver fra et og samme delbånd. Punktprøvene i blokken vil da ved den tradisjonelle metoden ha svært varierende statistikk innenfor hver gruppe/blokk av punktprøver. I tillegg benyttes i Chen og Smiths metode faste kvantiser-ingsmatriser for hver klasse, dette gir mindre lokal adaptivitet, og dermed dårligere ytelse enn foreliggende oppfinnelse. Den foreliggende oppfinnelsen gir en signifikant forbedring i ytelsen i forhold til Chen og Smiths metode, da punktprøvene i en gitt klasse vil ha tilnærmet samme sannsynlighetsfordeling og dermed effektivt kan kvantiseres og kodes klassevis med kvantiserere og variabel-lengde-kodere tilpasset den lokale statistikken i delbåndsbildet.

I artikkelen "Efficient use of bit resources in frequency domain codecs," Tor A. Ram-stad og John M. Lervik, i Proceedings Nordic Signal Processing Symposium ( NORSIG - 94), (Ålesund, Norge), s. 2-7, 2-4 juni 1994, er det vist at oppfinnelsen gir kraftig kvalitetsforbedring i forhold til JPEG-kodemetoden, både med hensyn til kvalitetsforbedring for en gitt bitrate og reduksjon i bitraten for en gitt bildekvalitet.

Oppfinnelsen kjennetegnes ved de i kravene gjengitte trekk, og er del av et femdelt bildekodingssystem, der punkt 2, 4 og 5 spesielt omhandler oppfinnelsen: 1. Signaldekomponering (jfr. patentkrav l(a)). Bildedata blir først dekomp-onert vha. en signaldekomponeringsmetode som f.eks. kvadratisk diskret cosinus-transformasjon (DCT), eller en delbåndsiflterbank. Utgangssignalet fra dekomponeringsenheten vil bli kalt et delbåndsbilde. Delbåndsbildet består av et antall delbånd gitt av den aktuelle dekomponeringsenheten. Hvert delbånd består av et antall delbåndspunktprøver bestemt av bildestørrelsen og antallet delbånd, og inneholder bildedata for et gitt frekvensområde til det originale bildet. Delbånds-filterbanken kan optimaliseres for aktuelle applikasjoner, og er således en mer generell dekomponeringsmetode enn DCT. 2. Klassifisering (jfr. patentkrav l(b)). Klassifisering av grupper av delbånds-punktprøver ut fra den estimerte entropien til delbåndspunktprøvene i gruppen. Typisk vil en dele inn i 4 — 8 klasser. En gruppe av delbåndspunktprøver kan bestå av én eller flere delbåndspunktprøver, og er kjennetegnet ved at alle punk-tprøvene kommer fra et og samme delbånd, og er i naboer i dette delbåndet. En gruppe består derfor av delbåndspunktprøver fra et sammenhengende, men ikke nødvendigvis rektangulært område, i et og samme delbånd. Punktprøvene i en gruppe representerer dermed informasjonen fra et bestemt frekvensbånd til et lite område av det originale bildet. Antallet delbåndspunktprøver som en gruppe består av vil generelt være avhengig av hvilket delbånd den aktuelle gruppen kommer fra. Denne gruppeinndelingen medfører at statistikken til alle punktprøvene innenfor en gruppe vil være tilnærmet konstant når gruppestørrelsen er moderat. Gruppens entropiestimat kan baseres på differensiell entropi eller midlere kvadratisk verdi til delbåndspunktprøvene, eller 1. ordens entropi til de kvantiserte punktprøvene (jfr. patentkrav 2). Gjennomsnittlig entropi til gruppene vil variere sterkt, og hovedsaklig slik at de gruppene av delbåndspunktprøver som representerer lave frekvenser har høyere entropi enn de gruppene som representerer høye frekvenser. Den estimerte entropien for hver enkelt gruppe av delbåndspunktprøver blir lagret i en tallstreng som indikerer den detaljerte kvantiserings- og kodingsstrategien til hver enkelt gruppe av delbåndspunktprøver. Vi kaller denne tallstrengen for klassifiseringsinformasjonen. 3. Kvantisering (jfr. patentkrav l(c)). Kvantisering skjer generelt ved vektorkvantisering av vektorer av delbåndspunktprøver, der typen vektorkvantiserer blir bestemt av entropien til de aktuelle delbåndspunktprøvene. De dekomponerte bildedata (dvs. delbåndspunktprøvene) vil etter kvantisering bli kalt kvantiserte punkt-prøver. Typisk vil en ha 4 8 forskjellige kvantiserere, tilpasset signalkarakter-istikken til hver enkelt klasse av delbåndspunktprøver, der hvilken kvantiserer som benyttes blir avgjort vha. klassifiseringsinformasjonen (jfr. patentkrav 4). Kvantisererne kan for høye bitrater være like for alle klassene uten at dette går signifikant ut over ytelsen. Kvantisererne har generelt nullrepresentasjon, da dette er teoretisk optimalt og ikke minst gir bedre visuelle egenskaper enn tilsvarende kvantiserere uten nullrepresentasjon. I tillegg kan en benytte såkalt terskling rundt null-nivået for å få bedre visuelle egenskaper og redusere entropien til signalet, dvs. at en legger inn en dødsone rundt nullnivået til kvantisereren. 4. Variabel-lengde-koding (jfr. patentkrav l(d)). Variabel-lengde-koding av de kvantiserte punktprøvene. En har gitt et antall variabel-lengde-kodere som består av: (a) Entropikodere implementert som f.eks. Huffman-koder, aritmetisk koder eller Ziv-Lempel-koder. Realisering av entropikoderne vil generelt være multidi-mensjonal for at en skal få minst mulig rate, dvs. at en koder flere kvantiserte punktprøver samtidig, eller indeksen etter vektorkvantisering. (b) Kombinasjon av en løpelengde-koder og en entropikoder som jobber på vek-toren (kvantisert punktprøve-vektor, løp) fra løpelengde-koderen. Entropikoderen er her av samme type som i punkt 4a.

Den estimerte entropien til delbåndspunktprøvene i hver punktprøve-vektor bestem-mer om de tilhørende kvantiserte punktprøvene skal kodes med en ren entropikoder (4a), eller at grupper med kvantiserte punktprøver blir kodet med en kombinasjon av løpelengde-koder og entropikoder (4b). En tildeler altså en variabel-lengde-koder til de kvantiserte punktprøvene etter et estimat av entropien til hver enkelt gruppe av punktprøver (dvs. ut fra klassifiseringsinformasjonen - jfr. patentkrav 5). 5. Koding av klassifiseringsinformasjon (jfr. patentkrav 3). Effektiv koding av klassifiseringsinformasjonen, dvs. tallstrengen som representerer entropien til delbåndspunktprøvene, krever en kombinasjon av løpelengde-koding og entropikoding som beskrevet i punkt 4b. Klassifiseringsinformasjonen til grupper med samme posisjon i delbåndene legges i en tallstreng i den rekkefølgen som er vist i figur 3. Antallet tallstrenger for representasjon av klassifiseringsinformasjonen blir dermed lik antall grupper i et delbånd, og lengden på hver tallstreng blir lik totalt antall delbånd. Informasjon om grupper med høyest entropi vil i gjennomsnitt komme først i strengen, mens entropien til de påfølgende gruppene avtar utover i strengen (jfr. patentkrav 6). Grupper med punktprøver som ikke kodes i det hele tatt (tilhører klasse 0) har entropi tilnærmet lik null, og vil dermed bli representert av de siste tallene i strengen. Tallstrengen er dermed egnet til løpelengde-koding, siden en får lange løp av null som kan kodes effektivt med en løpelengde-koder.

Oppfinnelsen kjennetegnes ved de i kravene gjengitte trekk.

Det skal nå gås nærmere inn på de spesielle trekk ved oppfinnelsen gjennom et eksempel der det henvises til de vedføyde figurene:

Figur 1 viser et blokkskjerna for sender-/kodersiden av bildekoderen.

Figur 2 viser et blokkskjema for mottaker-/dekodersiden.

Figur 3 viser et eksempel på hvordan bildedata dekomponeres, og på klassifisering av grupper av delbåndspunktprøver. Figur 4 viser til venstre et eksempel på typiske sannsynlighetsfordelinger for delbånds-punktprøvene i to ulike klasser, og til høyre vises de tilhørende diskrete sannsynlighets-fordelingene for de kvantiserte punktprøvene (skalarkvantiserer med dødsone T og kvan-tiseringstrinn A).

Bildedata (f.eks. et bilde med størrelse 1024x1024) dekomponeres v.h.a. en analyse-delbåndsiflterbank med 8x8 kanaler til 64 delbånd som vist i figur 3. Hvert delbånd vil da inneholde 1024/8x1024/8=128x128 delbåndspunktprøver. Det dekomponerte bildet (delbåndsbildet) deles opp i grupper, typisk av størrelse 4x4 delbåndspunktprøver, og en estimerer entropien til delbåndspunktprøvene i hver gruppe. Figur 3 viser hvordan oppdelingen av delbåndene i 4 x 4-grupper foregår. Hvert delbånd vil da bestå av 128/4x128/4=32x32 grupper. En deler gruppene inn i 5 klasser der grupper i samme klasse har tilnærmet samme entropi/sannsynlighetsfordeling. Typisk vil klasse 0 bestå av grupper med midlere kvadratisk verdi (MKV) mellom 0 og 13, klasse 1 MKV mellom 13 og 42, klasse 2 MKV mellom 42 og 219, klasse 3 MKV mellom 219 og 2292 og klasse 4 MKV over 2292. Delbåndspunktprøver som tilhører grupper i klasse 0 kodes ikke i det hele tatt (settes til 0). Hver gruppe av delbåndspunktprøver kvantiseres med en kvantiserer tilpasset klassen som gruppen tilhører. Ut fra kvantisererenheten får en kvantiseringsindekser fra hver klasse. Eksempler på den diskrete sannsynlighetsfordelingen for de kvantiserte punktprøvene i to ulike klasser er vist til høyre i figur 4. De kvantiserte punktprøvene i grupper som tilhører samme klasse (dvs. punktprøver med tilnærmet samme entropi) blir deretter kodet med en entropikoder, eller en kombinasjon av en løpelengde-koder og entropikoder. Entropikodingen kan f.eks. skje ved tabelloppslag. Grupper i en klasse med liten gjennomsnittlig entropi vil typisk bli kodet med en kombinasjon av løpelengde-koder og flerdimensjonal entropikoder, mens grupper med høy entropi vil bli kodet med en ren en- eller flerdimensjonal entropikoder. Klassifiseringsinformasjonen blir først løpelengde-kodet og deretter entropikodet som beskrevet i punkt 4b. Klassifiseringsinformasjonen består av 32x32 tallstrenger av lengde 64, og hver tallstreng blir kodet med en kombinasjon av en løpelengde-koder og entropikoder.

I dekoderdelen av koderen dekodes klassifiseringsinformasjonen og benyttes ved klassevis entropi-dekoding (evt. variabel-lengde-dekoding) av bitstrømmen til kvantiseringsindekser. Invers uniform terskel-kvantisering av kvantiseringsindeksene gir deretter et rekonstruert delbåndsbilde. De originale bildedata rekonstrueres til slutt v.h.a. en syntese-delbåndsiflterbank.

Claims (6)

1. Fremgangsmåte for koding av bildedatakarakterisert ved: (a) dekomponering av bildet v.h.a. delbåndsfiltrering eller en ortogonal transform i delbånd, der hvert delbånd inneholder informasjonen for et gitt frekvensområde av de originale bildedata, (b) klassifisering av grupper av delbåndspunktprøver i 'et endelig antall klasser, der hver gruppe av punktprøver kommer fra samme delbånd, og dermed representerer det samme frekvensbåndet fra tilstøtende områder i de originale bildedata, (c) klassevis kvantisering av frekvenskomponentene med uniform-terskel kvantiserere med en dødsone rundt null, idet kvantisererne kan være forskjellig for hver klasse av delbåndspunktprøver, og (d) klassevis variabel-lengde-koding av frekvenskomponentene, der frekvenskomponentene i en gitt klasse variabel-lengde-kodes med en variabel-lengde-koder tilpasset statistikken til denne klassen.

2. Fremgangsmåte ifølge krav 1, hvor en gruppe av delbåndspunktprøver skal kodes,karakterisert vedat entropiinnholdet i hver gruppe av punktprøver estimeres fra midlere kvadratisk verdi, 1. ordens entropi eller differensiell entropi til delbånds-punktprøvene.

3. Fremgangsmåte ifølge krav 1, hvor en punktprøve skal kodes,karakterisert vedat klassifiseringsinformasjonen kodes med en kombinert løpelengde-koder og entropikoder.

4. Fremgangsmåte ifølge krav 1, hvor en punktprøve skal kodes,karakterisert vedat klassifiseringsinformasjonen utnyttes til å bestemme hvilken kvantiserer som skal benyttes til å kvantisere hver gruppe av delbåndspunktprøver.

5. Fremgangsmåte ifølge krav 1, hvor en punktprøve skal kodes,karakterisert vedat klassifiseringsinformasjonen utnyttes til å bestemme hvilken variabel-lengde-koder som skal benyttes til å kode hver gruppe av delbåndspunktprøver.

6. Fremgangsmåte ifølge krav 3, hvor klassifiseringsinformasjonen skal variabel-lengde-kodes,karakterisert vedat klassifiseringsinformasjonen er arrangert slik at at informasjon om grupper av delbåndspunktprøver med høyest entropi i gjennomsnitt kommer først i strengen, og at entropien for de representerte delbåndspunktprøvene i gjennomsnitt avtar utover i strengen.