NO318815B1 - Fremgangsmate for generering av objekt-adaptivt kodeblokkmonster - Google Patents

Description

OPPFINNELSENS BAKGRUNN

Oppfinnelsens område

Den foreliggende oppfinnelse vedrører en fremgangsmåte for generering av et objekt-adaptivt kodeblokkmønster i et system for koding av et objekt, og mer spesielt en fremgangsmåte for generering av et objekt-adaptivt kodeblokkmønster hvori forskjellige kodetabeller av variabel lengde for blokkmønstre blir applisert i henhold til det antall av blokker der objektet befinner seg, for derved å forbedre effektiviteten med hensyn til å redusere transmitterte data, og tilhørende kodeforsterkning.

Diskusjon av relatert teknikk

Generelt kan det sies at H.261 som tilbyr tjenester for vi-deotelefoner eller videokonferanse ved bruk av ISDN, og H.263 for videotelefontjeneste ved bruk av PSTN, blir foreslått for internasjonal standardisering. Imidlertid, i og med at H.261 og H.263 fremskaffer bevegelige bilder med meget lav bitrate, f.eks. videotelefon, vil kvaliteten av bildet være dårlig, og bør kunne forbedres til et høyere nivå. Samtidig blir teknologi relatert til bevegelige bilder, MPE61 for DSM ("digital storage media") og MPEG2 for DSM, HDTV og ATV standardisert.

H.261, H.263, MPEG1, og MPEG2 benytter en kode på basis av blokker, noe som imidlertid innebærer reduksjon av billed-kvaliteten hovedsakelig på grunn av bruken av svært lav bitrate-transmisjon. For å unngå dette problemet prøver man ved MPEG4 å finne en ny løsning som er fullstendig forskjellig fra konvensjonelle metoder, og standardisering er under utarbeidelse med en blokkbasert koding, hvis konsept-formål herved skal introduseres.

En objekt-orientert koding, som innebærer en form for koding, er basert på et objekt som beveger seg mellom to bilder som ikke er på blokker, og koding finner sted ved de-ling av hele bildet i bakgrunn, ikke dekket området, MC ("Model Compliance") region, og MP- ("Model Failure") region. Her vil MC-objektet representere et objekt som er transformert i to dimensjoner fra tre dimensjoner og beveger seg i henhold til regler, omfattende horisontal-bevegelse, dreiebevegelse og lineær transformasjon. MF-objektet er et objekt til hvilket de nevnte regler ikke finner anvendelse.

Figurene 10A og 10B viser relasjonen av en enhetsblokk 33 i et rammegitter 31. Figur 10A viser et rammegitter hvis startpunkt er X = 0, Y = 0. Figur 10B viser en blokk i større målestokk, som er delt i åtte langs X-aksen og Y-aksen. De delte elementer er betegnet billedpunkter 34. En-hetsblokken 33 er betegnet NxM-blokk i henhold til antallet billedpunkter. Figur 10B viser således en 8x8 blokk.

En konvensjonell objekt-orientert fremgangsmåte som blir benyttet for å kode et objekt delt som nevnt, vil bli beskrevet i det følgende under henvisning til figur 9.

Rammegitteret har en 8x8 blokk. Dersom et MF-objekt fyller blokken, så vil det effektivt være lik en to-dimensjonal DCT ("diserete cosine transform"), og hvis så ikke er tilfelle vil bare en tilsvarende del av MF-objektet være en-dimensjonalt DCT-transformert langs X-aksen, og da en-dimensjonalt DCT-transformert langs Y-aksen. Denne konvensjonelle teknikk vil bli omtalt i det følgende i detalj.

På figur 11A er det vist et MF-objekt (skravert parti) i nevnte 8x8 blokk. For å kunne form-adaptivt DCT-kode nevnte MF-objekt, blir objektet fylt opp ved toppgrensen av blokken, og en-dimensjonalt DCT-kodet vertikalt, det vil si langs Y-aksen, slik dette er vist på figur 11B. De mørke sirkler på figur 11C indikerer DC-verdiene på vertikal en-dimensjonal DCT. Ved denne tilstand blir en-dimensjonal DCT utført langs Y-aksen.

Etter nevnte en-dimensjonale DCT relatert til Y-aksen, blir objektet fylt i den venstre grense av blokken, slik dette er vist på figur 11E, og deretter en-dimensjonalt DCT-kodet horisontalt, det vil si langs X-aksen. Etter endimensjonal DCT-koding langs X-aksen, blir X-akse og Y-akse endimensjonal DCT komplettert som vist på figur 11F. Den endelig form på figur 11F blir sikksakkskannet, og det bevegelig objekt blir sikksakk-skannet fra den øverste venstre blokk.

Ved de konvensjonelle standarder som MPEG-1, MPEG-2, JPEG, H.261, og H.263 ved bruk av blokk-koding, vil man benytte

makroblokk MB i henhold til figur 1. Ved dette tilfelle fo-religger det fire blokker Yl, Y2, Y3 og Y4 i en makroblokk, slik dette fremgår av figur 1. Dersom man skal kode de fire blokker i makroblokken MB, kan det enten forekomme eller

ikke forekomme data i blokkene. I henhold til de konvensjonelle standarder vil et kodet blokkmønster bli benyttet for å indikere hvorvidt data forekommer i blokken eller ikke.

Figur 2 anskueliggjør en kodetabell av varierende lengde for det kodete blokkmønster som brukes i forbindelse med H.263. Denne fremgangsmåte vil effektivt indikere hvorvidt data forekommer i blokken eller ikke, og reduserer mengden av transmittert data.

Imidlertid vil en slik objekt-orientert koding redusere effektiviteten med hensyn til reduksjon av transmitterte data, fordi den benytter den samme kodetabell av variabel lengde for kodeblokk-mønsteret, som blir brukt for å indikere hvorvidt data eksisterer eller ikke i en makroblokk. Med andre ord vil datareduksjons-effektivitet bli redusert fordi den samme kodetabell av variabel lengde blir benyttet selv om antall objekter er distribuert forskjellig i en makroblokk (f.eks. kan et objekt forekomme bare i en del av makroblokken, eller i hele blokken).

Sammenfatning av oppfinnelsen

Følgelig retter den foreliggende oppfinnelse seg inn på en fremgangsmåte for å generere et objekt-orientert kodeblokk-mønster som i vesentlig grad eliminerer ett eller flere av de problemer som skyldes begrensninger og ulemper ved den relaterte kjente teknikk.

En hensikt med den foreliggende oppfinnelse er således å skaffe en fremgangsmåte for å generere et objekt-orientert

kodeblokkmønster som forbedrer effektiviteten hva angår reduksjon av transmitterte data ved anvendelse av forskjellige kodetabeller med variabel lengde for blokkmønster i henhold til antallet av objektblokker der objektet forekommer i en makroblokk.

Ytterligere trekk og fordeler ved oppfinnelsen vil fremgå av den følgende beskrivelse, og vil delvis fremgå av beskrivelsen eller kunne forstås ved utøvelse av oppfinnelsen. Hensiktene og andre fordeler med oppfinnelsen vil kunne realiseres og oppnås ved den struktur som er spesielt påpekt i den foreliggende beskrivelse og de vedføyde pa-tentkrav, så vel som ved de vedføyde tegningsfigurer.

For å oppnå disse og andre fordeler og i henhold til den foreliggende oppfinnelsens formål, slik denne er utført og generelt beskrevet, er det fremskaffet en fremgangsmåte for generering av et objekt-orientert kodeblokkmønster, karakterisert ved at forskjellige kodetabeller av varierende lengde for blokkmønstre blir applisert i henhold til antallet av enhetsblokker der et objekt befinner seg, i tilfelle det er selektivt tilstede i enhetsblokkene av respektive makroblokker der en billedramme er delt, for derved å redusere mengden av transmitterte data.

Dersom et objekt er selektivt til stede i blokkenheter av en makroblokk, så kan forskjellige kodetabeller av variabel lengde for blokkmønster appliseres på respektive enhetsblokker der objektet befinner seg, for derved å redusere mengden av transmitterte data og forbedre kodeeffekti-viteten.

Oppfinnelsen omfatter også et apparat for koding av kode-blokkmønster ifølge krav 6, og en fremgangsmåte for det samme ifølge krav 11.

Det skal forstås at både den hittil fremsatte generelle beskrivelse og den følgende detaljerte beskrivelse er ment som eksempel og som forklaring, for det formål å skaffe ytterligere informasjon om den patentsøkte oppfinnelse.

Kort omtale av vedføyde tegningsfigurer

De vedføyde tegningsfigurer som er innlemmet for å gi ytterligere forståelse for oppfinnelsen, og er innlemmet og utgjør en del av den foreliggende patentfremstilling, an-skueliggjør utførelsesformer for oppfinnelsen, og vil sam-men med beskrivelsen tjene til å forklare de konsepter som fremgår av tegningsfigurene. Figur l viser fire blokker (Yl, Y2, Y3, Y4) i en makroblokk som brukes i henhold til standarder, f.eks. MPEG-1, MPEG-2, H.261 og H.263. Figur 2 viser en kodetabell av varierende lengde for et ko-deblokkmønster brukt i H.263. Figur 3 er et blokkdiagram over et videokodesystem som den foreliggende oppfinnelse blir anvendt ved. Figur 4 er et detaljert kretsskjerna over en av koderne ifølge figur 3.

Figur 5A viser et bilde delt i makroblokker.

Figur 5B viser et eksempel på et objekt delt i makroblokker . Figur 6 viser sub-blokker av makroblokker der objektet forekommer på figur 3. Figur 7 viser en kodetabell av varierende lengde foreslått i tilfelle at objektet forekommer i tre blokker av makroblokken . Figur 8 viser en andre kodetabell av variabel lengde foreslått i tilfelle at objektet forekommer i to blokker av makroblokken. Figur 9 viser en ytterligere kodetabell av variabel lengde foreslått i tilfelle at objektet forekommer i en blokk av makroblokken. Figurene 10A og 10B viser et generelt rammegitter. Figurene 11A-11F viser diagrammer som forklarer prosedyren ved form-adaptiv DCT- ("Shape-Adaptive" DCT) transformasjon.

Detaljert beskrivelse av foretrukket utførelsesform

Det vil nå bli gitt en detaljert beskrivelse av oppfinnelsen, idet eksempler på denne er illustrert på de ved-føyde tegningsfigurer.

Et system hvori den foreliggende oppfinnelse kan finne anvendelse, er et generelt videokodesystem som vist på figur 3. Dette systemet omfatter en VOP formingsdel 10 for oppde-ling av en billedramme ved hjelp av objekter, en kodedel 20 for kodeforminformasjon av de respektive objekter som oppnås fra nevnte VOP-formingsdel 10, og en multipleks 30 for å multipleksere et bilde som er kodet og fremskaffet fra kodere 210-21n i kodedelen 20. En ramme av billedinformasjon som føres inn i billedinngangsorganet til VOP-formingsdelen 10, blir delt ved hjelp av objekter, og form-informasjonen blir kodet ved hjelp av objekter i kodere 210-2ln for kodedelen 30.

Her, slik det fremgår av figur 4, vil koderen 21 i kodedelen 20 omfatte en svitsj 21a for selektering av objektets forminformasjon, et objekts formkodedel 21c for koding av objektets forminformasjon selektert ved svitsjen 21a, en selekteringssvitsj 2ld for selektering av forminformasjon kodet av forminformasjon-kodedelen 21c og forhåndsbestemt forminformasjon, en bevegelse-predikerende del 2le for pre-dikering av bevegelsen har forminformasjon selektert ved svitsjen 21a, i henhold til forutgående forminformasjon eller forhåndsbestemt forminformasjon, en bevegelseskompensa-tor 21f for kompensering av bevegelsen av forminformasjon i henhold til graden av bevegelse predikert ved bevegelses-predikeringsdelen 2le, en subtraktor 2lg for subtrahering av det bilde som det er kompensert for ved bevegelseskompensatoren 21f, fra det bilde som ble oppnådd fra VOP-formingsdelen 10, en billedsignal-kodedel 21h for koding av det billedsignal som oppnås ved subtraktoren 2lg, en adde-rer 2li for addisjon av den billedinformasjon som er oppnådd ved den billedsignal-kodedel del 21h, til det billedsignal som er bevegelseskompensert ved hjelp av bevegeIses-kompensatoren 21f, en VOP-reproduserende del 21j for repro-duksjon av VOP med det billedsignal som oppnås ved hjelp av addereren 21i, samt et lager 21b for lagring av forskjellige kodetabeller av variabel lengde for blokkmønster i henhold til antallet av blokker der objektet forekommer i en makroblokk.

Koderen selekterer objektets forminformasjon som er oppnådd ved VOP-formingsdelen 10 med svitsj 21a, og den selekterte forminformasjon blir kodet i forminformasjonkodedelen 21c. Selekteringssvitsjen 21d selekterer nevnte VOP for den kodete forminformasjon og forhåndsbestemte forminformasjon, og oversender dette til multiplekseren 21k. Her vil video-signal-kodedelen 2ln generere et kodeblokkmønster ved selektivt å anvende en kodetabell av variabel lengde for blokkmønster lagret i lageret 21b i henhold til antallet blokker der objektet befinner seg i en makroblokk. Den be-vegelsespredikerende del 2le predikerer bevegelsen av den forminformasjon som er oppnådd ved hjelp av VOP-formingsdelen 10, og bevegelseskompensatoren 21f kompenserer for bevegelsen i henhold til den predikerte grad av objektets bevegelse.

Det bevegelseskompenserte bilde blir subtrahert fra infor-masjonen om objektsform som er fremskaffet ved hjelp av VOP-formingsdelen 10 i subtraktoren 2lg, og billedsignalet blir kodet ved hjelp av billedsignal-kodedelen 21h og over-ført til multiplekseren 21k.

Det billedsignal som er kodet ved hjelp av billedsignal-kodedelen 21h, blir addert til det bevegelseskompenserte billedsignal i addereren 2li, og deretter reprodusert i forhold til den forutgående VOP i nevnte VOP-reproduk-sjonsdel 21j i henhold til det reproduserte VOP vil den be-vegelsespredikerende del 2le predikere bevegelsen av den forminformasjon av objektet som ble fremskaffet ved VOP-formingsdelen 10, og overføre den predikerte bevegelsesinformasjon til multiplekseren 21k.

Multiplekseren 21k multiplekserer den kodete forminformasjon, bevegelsesinformasjon og signalinformasjon, og de multiplekserte signaler blir bufret ved hjelp av bufferen 2lm og deretter oversendt til en dekoder. Her går kjernen ifølge den foreliggende oppfinnelse ut på selektivt å anvende en flerhet av kodetabeller av variabel lengde som er lagret i lageret 21b, i henhold til antallet objekter som forekommer i enhetsblokkene i makroblokken. Fra nå vil en foretrukket utførelsesform for oppfinnelsen bli beskrevet.

Dersom et objekt blir delt i enheter i en makroblokk, vil noen blokker inneholde objektet mens andre er foruten, fordi objektet ikke er rektangulært, noe som fremgår av figur 5A og 5B. Figur 6 viser blokker med objektet, eller blokker uten objekt i en makroblokk.

I makroblokk MB1 vist på figur 6A er objektet tilstede i

blokker Y2, Y3 og Y4, men ikke i blokk Yl. I makroblokk MB2 vist på figur 6B, er objektet tilstede i alle enhetsblokker Yl, Y2, Y3 og Y4. I makroblokk MB3, vist på figur 6C, forekommer objektet bare i enhetsblokk Y2. I makroblokk HB4,

vist på figur 6D, forekommer objektet bare i enhetsblokker Yl og Y2. Som vist hittil er objektet selektivt tilstede i enhetsblokker av makroblokken, hvilket innebærer at forskjellige kodetabeller av variabel lengde kan benyttes ved de respektive tilfeller, for derved å forbedre kodeutbyttet og datakompresjon på en effektiv mate.

Mer spesielt, i tilfelle at objektet forekommer i tre blokker Y2, Y3 og Y4 av makroblokk MB1, vil kodetabellen av variabel lengde som er vist på figur 7, kunne benyttes. I tilfelle at objektet er tilstede i alle enhetsblokkene Yl, Y2, Y3 og Y4 av makroblokk MB2, vil den konvensjonelle kodetabell av variabel lengde kunne benyttes. Dersom objektet er tilstede bare i enhetsblokk Y2 av makroblokk MB3, vil kodetabellen av variabel lengde som er vist på figur 8, kunne brukes. I forbindelse med makroblokk MB4 der objektet forekommer bare i to enhetsblokker Yl og Y2, kan kodetabellen av variabel lengde som er viBt på figur 9, kunne anvendes. Følgelig blir forskjellige kodetabeller av variabel lengde (kodetabeller av variabel lengde med beste kodeutbytte) benyttet i forhold til de respektive makroblokker og i henhold til antallet av deres enhetsblokker der objektet forekommer, slik at man kan forbedre effektiviteten ved da-tareduksjon og kodeutbyttet.

De på figur 7, 8 og 9 viste kodetabeller av variabel lengde er foreslått som et resultat av forsøk. Herfra er uttrykke-ne INTRA og INTER definert i henhold til følgende. Egenskapene ved et objekt relatert til tidsakse, blir klas-sifisert i et første tilfelle (objekttype 1} av objekt som opptrer i den aktuelle ramme, men er fraværende i den forutgående ramme, et andre tilfelle (objekttype II) med meget lite (innenfor 10 billedpunkter) objekt, og et tredje tilfelle (objekttype III) med forholdsvis stort (minst 10 billedpunkter) objekt. Her vil kodetypen av objekttyper I og II bli bestemt som INTRA-modus (ikkeprediksjonsmodus), og kodetypen for det ytterligere tilfelle blir betegnet som INTER-modus (prediksjonsmodus).

Som beskrevet hittil vil forskjellige kodetabeller av variabel lengde med de beste kodeutbytter kunne anvendes ved de respektive makroblokker i henhold til antallet av deres enhetsblokker der objektet forekommer, slik at effektiviteten med hensyn til reduksjon av transmitterte data og tilhøren-de kodeutbytte kan forbedres.

Claims (16)

1. Fremgangsmåte for generering av et objekt-orientert ko-deb1okkmønster, karakterisert ved at forskjellige kodetabeller av varierende lengde for blokkmønstre blir applisert i henhold til antallet av enhetsblokker der et objekt befinner seg i tilfellet det er selektivt tilstede i enhetsblokker av respektive makroblokker der en billedramme er delt, for derved å redusere mengden av transmitterte data.

2. Fremgangsmåte som angitt i krav 1, karakterisert ved at makroblokkene blir delt i fire rektangulære enhetsblokker.

3. Fremgangsmåte som angitt i krav 1, karakterisert ved at følgende kodetabell av variabel lengde benyttes dersom objektet forekommer i tre enhetsblokker av en makroblokk.

4. Fremgangsmåte som angitt i krav 1, karakterisert ved at den følgende kodetabell av variabel lengde benyttes dersom objektet forekommer i to enhetsblokker av en makroblokk.

5. Fremgangsmåte som angitt i krav 1, karakterisert ved at følgende kodetabell av variabel lengde benyttes dersom objektet forekommer i en enhetsblokk av en makroblokk.

6. Et apparat for koding av kodeblokkmønster karakterisert ved- kontrollorganer for å velge en av fire lengdekode-(VLC) tabeller med variabel lengde i henhold til antallet ikke-transparente blokker, som er blokker hvor et objekt forekommer, og å selektere en VLC-kode på den selekterte VLC-tabellen i henhold til det kodede blokkmønsteret i en makroblokk som skal kodes, basert på en rekonstruert forminformasjon; - et lager for VLC-tabellminner for lagring av de fire VLC-tabellene korresponderende til antallet ikke-transparente blokker i makroblokken; og - videosignalkodings-organer for overføring av VLC-koden korresponderende til det kodede blokk-mønsteret til makroblokken, og unnlatelse av å kode hvilke som helst teksturdata for transparente blokker i makroblokken .

7. Apparat ifølge krav 6, karakterisert ved at nevnte lager for VLC-tabeller lagrer en første VLOtabell korresponderende til en makroblokk som har fire ikke-transparente blokker, og den første VLC-tabellen er representert som følger:

8. Apparat i henhold til krav 6 karakterisert ved at nevnte lager for VLC-tabellminner lagrer en andre VLC-tabell korresponderende til en makroblokk som har tre ikke-transparente blokker, og den andre VLC-tabellen er representert som følger:

9. Apparat ifølge krav 6, karakterisert ved at nevnte lager for VLC-tabeller lagrer en tredje VLC-tabell korresponderende til en makroblokk som har to ikke-transparente blokker, og den tredje VLC-tabellen er representert som følger:

10. Apparat ifølge krav 6, karakterisert ved at nevnte lager for VLC-tabeller lagrer en fjerde VLC-tabell korresponderende til en makroblokk som har en ikke-transparent blokk, og den fjerde VLC-tabellen er representert som følger:

11. Fremgangsmåte for koding av et kodet blokkmønster karakterisert ved trinnene: a) å bestemme antallet ikke-transparente blokker, som er blokker der et objekt er tilstede, og det kodede blokkmønsteret i en makroblokk som skal kodes, basert på rekonstruert forminformasjon; b) å velge en av fire kodetabeller med variabel lengde (VLC) lagret i et lager for VLC-tabeller i henhold til antallet ikke-transparente blokker; c) å velge en VLC-kode korresponderende til det kodede blokkmønsteret på den valgte VLC-tabellen; og d) å overføre VLC-koden og utelate koding av hvilke som helst teksturdata for transparente blokker i makroblokken som skal kodes.

12. Fremgangsmåte ifølge krav 11, karakterisert ved at nevnte trinn a) omfatter trinnene: - å lokalisere en blokk hvor i det minste ett opak billedpunkt forekommer i en makroblokk som skal kodes basert på den rekonstruerte forminforma-sjonen; - å telle antallet lokaliserte blokker som antallet ikke-transparente blokker; og - å bestemme det lokaliserte blokkmønsteret som det kodede blokkmønsteret til makroblokken som skal kodes.

13. Fremgangsmåte ifølge krav 11, karakterisert ved at en første VLC-tabell er valgt når en makroblokk har fire ikke-transparente blokker, og den første VLC-tabellen er representert som følger:

14. Fremgangsmåte Ifølge krav 11, karakterisert ved at en andre VLC-tabell er valgt når en makroblokk har tre ikke-transparente blokker, og den andre VLC-tabellen er representert som følger:

15. Fremgangsmåte Ifølge krav 11, karakterisert ved at en tredje VLC-tabell er valgt når en makroblokk har to ikke-transparente blokker, og den tredje VLC-tabellen er representert som følger:

16. Fremgangsmåte ifølge krav 11, karakterisert ved at en fjerde VLC-tabell er valgt når en makroblokk har en ikke-transparent blokk og den fjerde VLC-tabellen er representert som følger: