NO339262B1 - Dekoding av levende bilder - Google Patents

Description

Oppfinnelsens fagfelt

Oppfinnelsen angår en fremgangsmåte og et apparat for videodekoding ved høy effektivitet av et svekket eller fadet videosignal og oppløsning av et slikt signal.

Bakgrunn

Bevegelseskompenserende, prediktiv koding mellom datarammer eller - blokker, såkalt mterrammekoding, brukes som en av kodingsmodusene i en video-kodingsstandard, som f.eks. ITU-TH.261, H.263, ISO/IEC MPEG-2, eller MPEG-4. Som en prediksjons- eller prediksjonsmodell ved bevegelseskompensasjonskoding mellom datablokker kan en modell som gir den høyeste prediktive effektivitet når ingen endring i lysstyrke oppstår i tidsretningen, brukes. Når det gjelder et svekket videosignal som endrer lysstyrke i bildene, fins det hittil ikke noen kjent fremgangsmåte som tilveiebringer en skikkelig forutsigelse eller prediksjon mot en endring av bildenes lysstyrke når f.eks. et normalt bilde fades inn fra et mørkt bilde. For å opprettholde bildekvaliteten også i et svekket videosignal, kreves det derfor et stort antall binærsifre (b).

For å løse dette problemet blir f.eks. en svekket videodel påvist i det japanske patentskrift (JP) 3 166716, "Fade Countermeasure Video Encoder and Encoding Method", for å endre tildelingen av antall binærsifre (b). Når det gjelder utfading av et videosignal blir mer spesifikt et stort antall binærsifre (b) tildelt startdelen av utfadingen som skifter luminans. Generelt blir den siste del av utfadingen et monokromt bilde og dette kan derfor lett kodes. Av denne grunn blir antall binærsifre (b) tildelt denne del redusert. Dette gjør det mulig å forbedre den totale bildekvalitet uten vesentlig å øke det totale binærsifre (b).

I det japanske patentskrift 2 938 412, "Video Luminance Change Compen-sation Method, Video Encoding Apparatus, Video Decoding Apparatus, Recording Medium on Which Video Encoding or Decoding Program is Recorded, and Recording Medium on which Encoded Data of Video Is Recorded", er det foreslått et kodingssystem som tar for seg et svekket videosignal ved å kompensere for et referansebilde ifølge to parametere, dvs. en luminansendringsstørrelse og en kontrast-endringsstørrelse.

I patentsøknaden til Thomas Wiegand og Berand Girod, "Multi-frame motion-compensated prediction for video transmission", Kluwer Academic Publishers 2001, er det foreslått et kodingssystem basert på flere enkeltbildebuffere. I dette systemet har det blitt forsøkt å forbedre prediksjonseffektiviteten ved selektivt å generere et prediksjonsbilde fra flere referanseenkeltbilder i enkeltbildebufferne.

Ifølge konvensjonelle teknikker for å kode et svekket videosignal eller oppløst videosignal og samtidig opprettholde høy bildekvalitet, kreves det et stort antall binærsifre (b). Følgelig kan en forbedring i kodeeffektiviteten ikke forventes.

Oppsummering

Det er et mål med oppfinnelsen å komme frem til en fremgangsmåte og et apparat for dekoding, som kan behandle et videosignal som endrer luminans over tid, f.eks. et svekket videosignal eller oppløst videosignal, med høy effektivitet.

Ifølge et aspekt ved oppfinnelsen er det tilveiebrakt en videodekodingsfremgangsmåte som omfatter et trinn med å dekode kodede data, herunder et prediktivt feilsignal som representerer en feil i et prediksjonsbildesignal i forhold til et videosignal, bevegelsesvektorinformasjon og indeksinformasjon som indikerer en kombinasjon av minst et referansebildenummer og en prediktiv parameter, et trinn med å generere et prediksjonsbildesignal i samsvar med referansebildenummeret og prediktiv parameter av kombinasjonen indikert av den dekodede indeksinformasjon og et trinn med å generere et reproduksjonsvideosignal ved å bruke det prediktive feilsignal og prediksjonsbildesignalet. I denne sammenheng henvises til patentkrav 1 samt - når det gjelder en tilsvarende videodekoclmgsanordning - til patentkrav 2.

Som beskrevet ovenfor, og ifølge oppfinnelsen, blir det forberedt flere forskjellige prediktive systemer ved å bruke kombinasjoner av referansebildenummer og prediktive parametere eller kombinasjoner av flere prediktive parametere som tilsvarer benevnte referansebildenummer. Dette gjør det mulig å generere et riktig prediksjonsbildesignal på basis av et prediktivt system med høyere prediktiv effektivitet i forhold til et slikt videosignal hvor et riktig prediksjonsbildesignal ikke kan genereres av et generelt prediktivt system for videokoding, f.eks. et svekket videosignal eller oppløst videosignal.

I tillegg er videosignalet et signal som omfatter et bildesignal oppnådd for hvert enkelt bilde i et progressivt signal, idet bildesignalet som oppnås for hvert enkelt bilde oppnådd ved å føre sammen to felt av et sammenflettet signal og et bildesignal oppnådd for hvert felt av et sammenflettet signal. Når videosignalet er et bildesignal på enkeltbildebasis, indikerer referansebildesignalnummeret et referansebildesignal på en enkelt bildebasis. Når videosignalet er et bildesignal på en feltbasis, indikerer referansebildesignalnummeret et referansebildesignal på en feltbasis.

Dette gjør det mulig å generere et riktig prediksjonsbildesignal på basis av et prediktivt system med høyere prediktiv effektivitet i forhold til et slikt videosignal som omfatter både en enkelt bildestruktur og en feltstruktur som et riktig prediksjonsbildesignal ikke kan genereres av et generelt prediktivt system for videokoding, f.eks. et svekket videosignal eller oppløst videosignal.

Videre blir informasjon om selve referansebildenummeret eller den prediktive parameter ikke sendt fra kodingssiden til dekodingssiden, men indeksinformasjon om en kombinasjon av et referansebildenummer og en prediktiv parameter blir sendt eller et referansebildenummer blir sendt separat. I dette tilfellet kan kode effektiviteten forbedres ved å sende mdeksinformasjon om en kombinasjon av prediktive parametere.

Kort beskrivelse av figurene

Oppfinnelsen vil nå bli beskrevet i detalj under henvisning til eksempler på utførelser og vedføyde tegninger, og hvor: Fig. 1 er et blokkskjema over arrangementet av et videokodeapparat ifølge den

første utførelse av oppfinnelsen;

fig. 2 er et blokkskjema som viser det detaljerte arrangement av en bilde-minne/prediksjonsbildegenerator på fig. 1;

fig. 3 er et riss som viser et eksempel på en tabell og kombinasjoner av referansebildenummer og med prediktive parametere som brukes i den første utførelse; fig. 4 er et flytskjema som viser et eksempel på en sekvens for å velge et prediktivt system (en kombinasjon av referansebildenummer og en prediktiv parameter)

for hver makroblokk og bestemme en kodemodus i den første utførelse;

fig. 5 er et blokkskjema som viser arrangementet av et videodekodingsapparat

ifølge den første utførelse;

fig. 6 er et blokkskjema som viser det detaljerte arrangement av bilde-minnet/prediksjonsbildegeneratoren på fig. 5;

fig. 7 er et riss som viser et eksempel på en tabell over kombinasjoner av prediktive parametere i et tilfelle hvor antallet referansebilder er en og et referansebildenummer blir sendt som modusinformasjon ifølge den andre utførelse av

oppfinnelsen,

fig. 8 er et riss som viser et eksempel på en tabell over kombinasjoner av prediktive parametere i et tilfelle hvor antallet referansebilder er to og et referansebildenummer blir sendt som modusinformasjon ifølge den andre utførelse; fig. 9 er et riss som viser et eksempel over en tabell av kombinasjoner av referansebildenummeret og prediktive parametere i tilfellet hvor nummeret til

referansebildet er en ifølge den tredje utførelse av oppfinnelsen;

fig. 10 er et riss som viser et eksempel på en tabell bare for luminanssignalet ifølge

den tredje utførelse;

fig. 11 er et riss som viser et eksempel av en syntaks for hver blokk når

indeksinformasjonen skal kodes;

fig. 12 er et riss som viser et spesifikt eksempel på en kodet bitstrøm når

prediksjonsbildet skal genereres ved å bruke et referansebilde;

fig. 13 er et riss som viser et spesifikt eksempel på en kodet bitstrøm når et prediksjonsbilde skal genereres ved å bruke to referansebilder;

fig. 14 er et riss som viser et eksempel på en tabell over referansebildenummer,

referansefeltnummeret og prediktive parametere når informasjonen som skal

kodes er et toppfelt ifølge den fjerde utførelse av oppfinnelsen, og

fig. 15 er et riss som viser et eksempel på en tabell over referansebildenummeret;

referansefeltnummeret og prediktive parametere når informasjonen som skal kodes er et bunnfelt ifølge den fjerde utførelse av oppfinnelsen.

Detaljert beskrivelse av oppfinnelsen

Utførelsen av oppfinnelsen vil nå bli beskrevet nedenfor, og det vises dessuten til tegningene hvor norsk tekst er satt inn.

[ Første utførelse] ( Om kodingssiden)

Fig. 1 viser arrangementet av et videokodingsapparat ifølge den første ut-førelse av oppfinnelsen. Et videosignal 100 blir tilført videokodingsapparatet, f.eks. på en enkelt bildebasis. Videosignalet 100 blir sendt til en substrakter 101. Substrakteren 101 beregner forskjellen mellom videosignalet 100 og et prediksjonsbildesignal 212 for å generere et prediktivt feilsignal. En modus valgbryter 102 velger enten det prediktive feilsignal eller videosignalet 100. En ortogonal transformator 103 utsetter det valgte signal for en ortogonal omvandling, dvs. en diskret kosinus-omvandling (DCT) og genererer ortogonal transformasjonskoeffisientinformasjon, f.eks. DCT-koeffisientinformasjon, som blir kvantisert av en kvantiserer 104 og delt opp i to baner.

Den ene del av den ortogonale transformasjonskoeffisientinformasjon 210 som blir delt opp i to baner blir ført til en variabel lengdekoder 111, mens den andre ortogonale transformasjonskoeffisientinformasjon 210 etter kvantisering, fordelt i de to banene, deretter utsettes for en behandling motsatt den som ble foretatt i kvantisereren 104 og den ortogonale transformator 103 ved hjelp av en dekvantiserer eller omvendt kvantiserer 105 og den omvendte ortogonale transformator 106 for å bli rekonstruert til et prediktivt feilsignal. Deretter legger en tilleggingsenhet 107 det rekonstruerte, prediktive feilsignal til prediksjonsbildesignalets 212 inngangs signal gjennom en bryter 109 for å generere et lokalt dekodet videosignal 211. Det lokale, dekodede videosignal 211 blir sendt til en enkelt bildeminne/prediksjonsbilde-generator 108.

Enkeltbildeminne/prediksjonsbildegeneratoren 108 velger en av flere kombinasjoner av forberedte referanseenkeltbildenummer og prediktive parametere. Den lineære sum av videosignalet (lokalt dekodet videosignal 211) av referansebildet indikert av referansebildenummeret av den valgte kombinasjon, blir beregnet i samsvar med den prediktive parameter av den valgte kombinasjon og det resulterende signal blir lagt til en forskyvning basert på den prediktive parameter. Med dette blir i dette tilfellet et referansebildesignal generert på en enkelt bildebasis. Deretter bevegelseskompenserer enkeltbildeminnet/prediksjonsbildegeneratoren 108 for referansebildesignalet ved å bruke en bevegelsesvektor for å generere prediksjonsbildesignalet212.

Ved dette genererer enkeltbildeminnet/prediksjonsbildegeneratoren 108 bevegelsesvektorinformasjon 214 og mdeksinformasjon 215 som indikerer en valgt kombinasjon av referansebildenummer og en prediktiv parameter, og sender informasjonen som kreves for å velge en kodingsmodus til en modusvelger 110. Bevegelsesvektorinformasjonen 214 og indeksinformasjonen 215 blir sendt til en koder 111 for koder med variabel lengde. Bildeminnet/prediksjonsbildegeneratoren 108 vil bli beskrevet nedenfor i detalj.

Modusvelgeren 110 velger en kodingsmodus på en makroblokkbasis på grunnlag av den prediktive informasjon P fra bildeminnet/prediksjonsbildegenera-toren 108, dvs. at den enten velger mtrabildekodingsmodus eller bevegelse kom-pensert prediktivt interbildekodingsmodus og sender bryterkontrollsignaler M og S.

I mtrabildekodingsmodus blir bryterne 102 og 112 svitsjet til A-siden av bryterstyringssignalene M og S og inngangsvideosignalet 100 blir sendt til den ortogonale transformatoren 103. I interbildekodingsmodus blir bryterne 102 og 112 svitsjet til B-siden av bryterkontrollsignalene M og S. Som resultat blir det prediktive feilsignal fra subtraktoren 101 sendt til den ortogonale transformator 103 og prediksjonsbildesignalet 212 fra bildeminnet/prediksjonsbildegeneratoren 102 blir sendt til tilleggsenheten 107. Modusinformasjon 213 blir sendt fra modusvelgeren 110 og videre inn til den variable lengde-koderen 111. Variabel lengde-koderen 111 utsetter den ortogonale transformasjonskoeffisientinformasjonen 210 med kvantisering, modusinformasjonen 213, bevegelsesvektorinformasjonen 214 og indeksinformasjonen 215 for variabel lengde-koding. Variabel lengde-kodene generert gjennom dette, blir multiplekset av en multiplikator 114. De resulterende data blir så jevnet ut av en utgangsbuffer 115. Kodede data 116 fra utgangsbufferen 115 blir sendt ut til et overføringssystem eller lagringssystem (ikke vist).

En kodingsstyreenhet 113 styrer en kodingsenhet 112. Mer spesifikt overvåker kodingsstyreenheten 113 buffermengden i utgangsbufferen 115 og styrer kodingsparametrene, f.eks. kvantisermgstrinnstørrelsen av kvantisereren 104, for å holde bufferstørrelsen konstant.

Fig. 2 viser det detaljerte arrangement av enkeltbildeminne/prediksjonsbilde-generatoren 108 på fig. 1. På fig. 2 blir det lokalt dekodede videosignal 211 fra tillegningsenheten 107 på fig. 1, lagret i et enkeltbildeminnesett 202 under styring av en minnestyreenhet 201. Enkeltbildeminnesettet 202 har flere (N) enkeltbildeminner FM1 til FMN for midlertidig å holde det lokale dekodede videosignal 211 som et referansebilde.

I en prediktiv parameterstyreenhet 203 er det forberedt flere kombinasjoner av referansebildenummer og prediktive parametere på forhånd som en tabell. Den prediktive parameterstyreenhet 203 velger, på basis av videosignalet 100, en kombinasjon av referansebildenummeret til et referansebilde og en prediktiv parameter som brukes for å generere prediksjonsbildesignalet 212 og sender indeksinformasjonen 215 om den valgte kombinasjon.

Flerbildebevegelsesevaluatoren 204 genererer et referansebildesignal ifølge kombinasjonen av referansebildenummeret og indeksinformasjon velges av den prediktive parameterstyreenhet 203. Flerbildebevegelsesevaluatoren 204 evaluerer bevegelsesmengden og prediktive feil fra dette referansebildesignal og inngangsvideosignalet 100 og sender ut bevegelsesvektorinformasjonen 214 som minimerer den prediktive feil. Flerbildebevegelseskompensatoren 205 utfører bevegelseskompensasjonen for hver blokk ved å bruke et referansebildesignal som velges av flerbildebevegelsesevaluatoren 204 i samsvar med bevegelsesvektoren for å generere prediksjonsbildesignalet 212.

Minnestyreenheten 201 setter referansebildenummeret til et lokalt dekodet videosignal for hvert bilde og lagrer hvert bilde i et av bildeminnene FM1 til FMN i bildeminnesettet 202. F.eks. blir de respektive bilder nummerert etter hverandre fra bildet nærmest inngangsbildet. Det samme referansebildenummeret kan settes på forskjellige bilder. I dette tilfellet brukes f.eks. forskjellige prediktive parametere. Et bilde nær inngangsbildet blir valgt fra bildeminnene FM1 til FMN og sendt til den prediktive parameterstyreenhet 203.

Fig. 3 viser et eksempel over tabellen av kombinasjoner av referansebildenummer og prediktive parametere som blir forberedt i den prediktive parameterstyreenhet 203. "Indeks" tilsvarer prediksjonsbildene som kan velges for hver blokk. I dette tilfellet fins det åtte typer prediksjonsbilder. Et referansebildenummer n er nummeret til en lokal dekodet video brukt som referansebilde og som i dette tilfellet indikerer nummeret til en lokal dekodet video tilsvarende n tidligere bilder.

Når prediksjonsbildesignalet 212 genereres ved å bruke bildesignaler fra flere referansebilder lagret i bildeminnesettet 202, blir flere referansebildenummer benevnt og (antallet referansebilder + 1) koeffisienter blir benevnt som prediktive parametere for et luminanssignal (Y) og fargeforskjellsignal (Cb og Cr). Som vist av ligningene (1) til (3), forutsetter n at antallet referansebilder, n + 1 prediktive parametere Di (i =,..., n + 1), blir forberedt for luminanssignalet Y; n + 1 prediktive parametere Ei (i =,..., n + 1) for fargedifferansesignalet Cb; og n + 1 prediktive parametere Fi (i =,..., n + 1) for fargedifferansesignalet Cr:

Denne operasjonen vil bli beskrevet i detalj under henvisning til fig. 3. På fig. 3 viser siste nummer av hver prediktiv parameter en forskyvning og det første nummer av hver prediktive parameter representerer en veiefaktor (prediktiv koeffisient). For indeks 0 gis antallet referansenummer av n = 2, idet referansebildenummeret er 1 og de prediktive parametere er 1 og 0 for luminanssignalet Y og fargedifferansesignalet Cr og Cb. At de prediktive parametere er 1 og 0 som i dette tilfellet, indikerer at et lokalt dekodet videosignal tilsvarende referansebildenummeret "1" multipliseres med 1 og legges til forskyvningen 0. Med andre ord blir det lokale, dekodede videosignal tilsvarende referansebildenummeret 1 et referansebildesignal uten endring.

For indeks 1 brukes to referansebilder som lokale, dekodede videosignaler tilsvarende referansebildenumrene 1 og 2. Ifølge de prediktive parametrene 2, -1 og 0 for luminanssignalet Y, blir det lokale, dekodede videosignal tilsvarende referansebildenummeret 1 doblet og det lokale, dekodede videosignal tilsvarende referansebildenummeret 2 blir trukket fra resultatsignalet. Forskyvningen 0 blir så lagt til resultatsignalet. Dvs. at ekstrapoleringsprediksjonen utføres fra de lokale, dekodede videosignaler fra to bilder for å generere et referansebildesignal. For fargedifferansesignalene Cr og Cb, og siden de prediktive parametrene er 1, 0 og 0, blir det lokale, dekodede videosignal tilsvarende referansebildenummeret 1, brukt som referansebildesignal uten endring. Dette prediktive system, tilsvarende indeks 1, er spesielt effektivt for et oppløst videosignal.

For indeks 2 og i samsvar med de prediktive parametrene 5/4 og 16, blir det lokale, dekodede videosignal tilsvarende referansebildenummeret 1, multiplisert med 5/4 og lagt til forskyvningen 16. For fargedifferansesignalene Cr og Cb, og siden denne prediktive parameteren er 1, blir fargedifferansesignalene Cr og Cb referansebildesignalene uten endring. Dette prediktive system er spesielt effektivt for et infradingsvideosignal fra et mørkt bilde.

På denne måte kan referansebildesignalene velges på basis av flere prediktive systemer med forskjellige kombinasjoner av referansebildenummer og prediktive parametere. Dette gjør det mulig i denne utførelse å takle et svekket og oppløst videosignal, som har fått bildekvaliteten svekket på grunn av fravær av et skikkelig prediktivt system.

Et eksempel på en spesifikk sekvens for å velge et prediktivt system (en kombinasjon av referansebildenummer og prediktivt parameter) for hver makroblokk og bestemmelse av en kodingsmodus i denne utførelse, vil bli beskrevet i det følgende under henvisning til fig. 4.

For det første blir en maksimal antatt verdi satt til variabelen rnin D (trinn S101). LOOP1 (trinn S102) indikerer en repetisjon for valg av et prediktivt system ved interbildekoding og variabelen i representerer verdien av "indeks" på fig. 3. I dette tilfellet og for å oppnå en optimal bevegelsesvektor for hvert prediktivt system, blir en evalueringsverdi D for hver indeks (hver kombinasjon av et referansebildenummer og en prediktiv parameter) beregnet fra antallet binærsifre (b) tilknyttet bevegelsesvektorinformasjonen 214 (antallet binærsifre (b) av et variabel lengde-kodesignal fra variabellengde-koderen 111 i samsvar med bevegelsesvektorinformasjonen 214) og en absolutt prediktiv feilverdisum og en bevegelsesvektor som minimerer evalueringsverdien D velges (trinn S103). Evalueringsverdien D blir sammenlignet med rnin D (trinn S104). Hvis evalueringsverdien D er mindre enn rnin D, blir evalueringsverdien D satt til rnin D og indeksen i blir tildelt min i (trinn S105).

En evalueringsverdi D for intrabildekoding blir så beregnet (S106). Evalueringsverdien D blir sammenlignet med rnin D (trinn S107). Hvis denne sammen-ligning viser at rnin D er mindre enn evalueringsverdien D, blir modus MODE bestemt som interbildekoding, og min i blir tildelt indeksinformasjonen INDEX (trinn S108). Hvis evalueringsverdien D er mindre, blir modus MODE bestemt som intrabildekoding (trinn S109). I dette tilfellet blir evalueringsverdien D satt som den beregnede verdi for antallet binærsifre (b) med samme kvantisermgstrinnstørrelse.

Et videodekodingsapparat tilsvarende videokodingsapparatet vist på fig. 1, vil nå bli beskrevet. Fig. 6 viser arrangementet av videodekodingsapparatet ifølge denne utførelse. Kodede data 300 fra videokodingsapparatet vist på fig. 1, og sendt gjennom et overføringssystem eller lagringssystem, blir midlertidig lagret i en inngangsbuffer 301 og demultiplekset av demultiplekseren 302 for hvert bilde på basis av en syntaks. De resulterende data blir sendt til en variabel lengde-dekoder 303. Den variable lengde-dekoderen dekoder den variable lengde-koden av hver syntaks av de kodede data 300 for å reprodusere en kvantiseringsortogonal transformasjonskoeffisient, modusinformasjon 413, bevegelsesvektorinformasjon 414 og indeksinformasjon 415.

Fra den reproduserte informasjon, blir den ortogonale transformasjonskoeffisient om kvantisering, dekvantisert av en dekvantiserer 304 og omvendt orto-gonalt omdannet av en omvendt ortogonal transformator 305. Hvis modusinformasjonen 413 indikerer mtrabildekodingsmodus, blir et reprodukjonsvideosignal sendt ut fra den omvendt ortogonale transformator 305. Dette signalet blir så sendt som et reproduksjonsvideosignal 310 gjennom en tillegningsenhet 306.

Hvis modusinformasjonen 413 indikerer interbildekodingsmodus, blir et prediktivt feilsignal sendt fra den omvendte ortogonale transformator 305 og en modus velgerbryter 309 blir slått på. Prediksjonsbildesignalet 412 fra en bilde-minne/prediksjonsbildegenerator 308 blir lagt til det prediktive feilsignal av tillegningsenheten 306. Som resultat blir reproduksjonsvideosignalet 310 sendt ut. Reproduksjonsvideosignalet 310 blir lagret som et referansebildesignal i bildeminnet/prediksjonsbildegeneratoren 308.

Modusinformasjon 413, bevegelsesvektorinformasjon 414 og indeksinformasjon 415 blir sendt til bildemmne/prediksjonsbildegeneratoren 308. Modusinformasjonen 413 blir også sendt til modusvelgerbryteren 309.1 mtrabildekodingsmodus blir modusvelgerbryteren 309 slått av. I mterkodingsmodus blir bryteren slått på.

Som for bildeminne/prediksjonsbildegeneratoren 308 på kodingssiden på fig. 1, omfatter bildeminne/prediksjonsbildegeneratoren 308 flere forberedte kombinasjoner av referansebildenummeret og prediktive parametere som en tabell og velger en kombinasjon vist at indeksinformasjonen 415, fra tabellen. Den lineære sum av videosignalet (reproduksjonsvideosignalet 210) av referansebildet vist av referansebildenummeret av den valgte kombinasjon, blir beregnet i samsvar med den prediktive parameter av den valgte kombinasjon og en forskyvning basert på den prediktive parameter blir lagt til resultatsignalet. Med denne operasjonen blir et referansebildesignal generert. Deretter blir det genererte referansebildesignal bevegelses-kompensert for ved å bruke bevegelsesvektoren som indikert av bevegelsesvektorinformasjonen 414 for derved å generere et prediksjonsbildesignal 412.

Fig. 6 viser det detaljerte arrangement av bildeminne/prediksjonsbilde-generatoren 308 på fig. 5. På fig. 6 blir reproduksjonsvideosignalet 310 fra til-leggingsenheten 306 på fig. 5, lagret i bildeminnesettet 402 under kontroll av minnestyreenheten 401. Bildeminnesettet 402 har flere (N) bildeminner FM1 til FMN for midlertidig å holde reproduksjonsvideosignalet 310 som et referansebilde.

En prediktiv parameterstyreenhet 403 har på forhånd kombinasjoner av referansebildenummeret og prediktive parametere sammen med en tabell lik den som er vist på fig. 3. Den prediktive parameterstyreenheten 403 velger en kombinasjon av referansebildenummeret for et referansebilde og en prediktiv parameter som blir brukt for å generere prediksjonsbildesignalet 412 på basis av indeksinformasjonen 415 fra variabel lengde-dekoderen 303 på fig. 5. Flere flerbildebevegelseskompensatorer 404 genererer et referansebildesignal i samsvar med en kombinasjon av et referansebildenummer og indeksinformasjonen som velges av den prediktive parameterstyreenhet 403 og utfører bevegelseskompensasjon for hver blokk ved å bruke dette referansebildesignal i samsvar med bevegelsesvektoren som indikert av bevegelsesvektorinformasjonen 414 fra variabel lengde-dekoderen 303 på fig. 5 for derved å generere prediksjonsbildesignalet 412.

Andre utførelse

Den andre utførelse av oppfinnelsen vil nå bli beskrevet under henvisning til fig. 7 og 8. Siden de generelle arrangementer av et videokodingsapparat og videodekodingsapparat i denne utførelse er nesten de samme som i den første utførelse, vil bare forskjell fra denne første utførelse, bli beskrevet.

I denne utførelse er det beskrevet et eksempel på måten for å uttrykke de prediktive parametere basert på et system for å benevne flere referansebildenumre i samsvar med modusinformasjonen på en makroblokkbasis. Et referansebildenummer blir diskrimenert av modusinformasjonen for hver makroblokk. Denne utførelse bruker derfor en tabell over prediktive parametere som vist på fig. 7 og 8 i stedet for å bruke en tabell over kombinasjoner av referansebildenummeret og prediktive parametere som i den første utførelse. Dvs. at indeksinformasjonen ikke indikerer et referansebildenummer og bare en kombinasjon av prediktive parametere blir benevnt. Tabellen på fig. 7 viser et eksempel på en kombinasjon av prediktive parametere når nummeret for referansebildene er 1. Som prediktive parametere (antallet referansebilder + 1) parametere, dvs. to parametere (en vektfaktor og en forskjøvet), blir benevnt for et luminanssignal (Y) og fargedifferansesignalene (Cb og Cr). Tabellen på fig. 8 viser et eksempel på en kombinasjon av prediktive parametere når antallet referansebilder er 2. I dette tilfellet, og som prediktive parametere, (antallet referansebilder + 1), parametere, dvs. tre parametere (to vekt-faktorer og en er forskjøvet), blir benevnt for et luminanssignal (Y) og fargedifferansesignalene (Cb og Cr). Denne tabellen er forberedt for kodingssiden og dekodingssiden som i den første utførelse.

Tredje utførelse

Den tredje utførelse av oppfinnelsen vil nå bli beskrevet under henvisning til fig. 9 og 10. Siden det generelle arrangement av videokodingsapparatet og videodekodingsapparatet i denne utførelse er nesten de samme som i den første utførelse, vil bare forskjellen blant de første og andre utførelser bli beskrevet nedenfor.

I første og andre utførelse blir videosignalet behandlet på en enkelt bildebasis. I denne utførelse blir imidlertid et videosignal behandlet på en bildebasis. Hvis både et progressivt signal og et innflettet signal eksisterer som inngangsbilde-signaler, blir bildene ikke nødvendigvis kodet på en enkelt bildebasis. Ut fra dette forutsettes et bilde (a) et bilde av et enkelt bilde av et progressivt signal, (b) et bilde av et enkelt bilde generert ved å sammenføye to felt av et sammenflettet signal, eller (c) et bilde av et felt av et sammenflettet signal.

Hvis et bilde som skal kodes er et bilde med en enkeltbildestruktur ifølge (a) eller (b), blir et referansebilde brukt i bevegelseskompensasjonsprediksjon også be handlet som et enkeltbilde uansett om det kodede bilde, som er referansebildet, har en enkelt bildestruktur eller en feltstruktur. Et referansebildenummer blir tildelt dette bildet. Likeledes hvis et bilde som skal kodes er et bilde med en feltstruktur som f. eks. (c), blir et referansebilde brukt ved bevegelseskompensasjonsprediksjon også behandlet som et felt, uansett om det kodede bilde, som er referansebildet, har en enkelt bildestruktur eller en feltstruktur. Et referansebildenummer blir tildelt dette bildet.

Ligningene (4), (5) og (6) er eksempler på prediktive ligninger for referansebildenummer og prediktive parametere som blir forberedt i den prediktive parameters styreenhet 203. Disse eksemplene er prediktive ligninger for å generere et prediksjonsbildesignal ved bevegelseskompensasjonsprediksjon ved hjelp av et referansebildesignal.

hvor Y er et prediksjonsbildesignal av et luminanssignal, Cb og Cr er prediksjons-bildesignaler av to fargedifferansesignaler, Ry(i), Rcb(i), og hvor Rcr(i) er piksel-verdier av luminanssignalet og to fargedifferansesignaler av et referansebildesignal med indeks i, Di(i) og D2(i) er den prediktive koeffisient og forskyvning av luminanssignalet med indeks i, Ei (i) og E2(i) er den prediktive koeffisient og forskyvning av fargedifferansesignalet Cb med indeks i, og Fi(i) og F2(i) er den prediktive koeffisient og forskyvning av fargedifferansesignalet Cr med indeks i. Indeks i indikerer en verdi fra 0 (det maksimale antall referansebilder - 1) og kodet for hver blokk som skal kodes (f.eks. for hver makroblokk). De resulterende data blir så sendt til videodekodingsapparatet.

De prediktive parametere Di(i), D2(i), Ei(i), E2(i), Fi(i) og F2(i) er represen-tert av verdier bestemt på forhånd mellom videokodingsapparatet og videodekodingsapparatet eller en enhet for koding av f.eks. et bilde, felt eller skive og blir kodet sammen med kodede data som skal sendes fra videokodingsapparatet til videodekodingsapparatet. Med denne operasjon blir disse parametrene delt av de to apparatene.

Ligningene (4), (5) og (6) er prediktive ligninger hvor potensen av 2, dvs. 2, 4, 8, 16, ... velges som nevnere av prediktive koeffisienter som referansebildesignalene blir multiplisert med. De prediktive ligninger kan eliminere nød-vendigheten av deling og kan beregnes ved aritmetiske forskyvninger. Dette gjør det mulig å unngå en stor økning i beregningskostnader på grunn av deling.

I ligningene (4), (5) og (6), "»" av a»b representerer en operator for aritmetisk forskyvning av en integer a til høyre med b binærsifre (b). Funksjonen "klipp" representerer en klippefunksjon for innstilling av verdien i"()" til 0 når denne er mindre enn 0 og setter verdien til 255 når den er større enn 255.

I dette tilfellet forutsettes at LY er forskyvningsstørrelsen av et luminanssignal og Lcer forskyvningsstørrelsen av et fargedifferansesignal. Som disse forskyvnings-størrelser LY og Lc, blir verdier bestemt på forhånd mellom videokodingsapparatet og videodekodingsapparatet brukt. Videokodingsapparatet koder forskyvningsstørrelsene LY og Lcsammen med en tabell og kodede data i en forutbestemt kodingsenhet, f.eks. et enkeltbilde, felt eller skive og overfører de resulterende data til videodekodingsapparatet. Dette gjør at de to apparatene kan dele forskyvningsstørrelsene LY og Lc.

I denne utførelse blir tabeller over kombinasjoner av referansebildenummeret og prediktive parametere som vist på fig. 9 og 10, forberedt i den prediktive styreenhet 203 på fig. 2. På fig. 9 og 10 tilsvarer indeks i de prediktive bilder som kan velges for hver blokk. I dette tilfellet fins fire typer prediksjonsbilder i samsvar med 0-3 i indeks i. "Referansebildenummer" er med andre ord nummeret til et lokalt, dekodet videosignal brukt som referansebilde.

"Flagg" er et flagg som indikerer om en prediktiv ligning som bruker en prediktiv parameter blir tilført et referansebildenummer indikert av indeks i. Hvis flagget er "0", utføres bevegelseskompenseringsprediksjon ved å bruke det lokale, dekodede videosignal tilsvarende referansebildenummeret indikert av indeks i uten å bruke en prediktiv parameter. Hvis flagget er "1", blir et prediksjonsbilde generert ifølge ligningene (4), (5), og (6) ved å bruke et lokalt, dekodet videosignal og en prediktiv parameter tilsvarende referansebildenummeret indikert av indeks i, og så-ledes utføre bevegelseskompensasjonsprediksjon. Denne informasjonen av flagget er også kodet sammen med en tabell og kodede data ved å bruke en verdi som bestemmes på forhånd mellom videokodingsapparatet og videodekodingsapparatet eller i en bestemt kodingsenhet, f.eks. et enkelt bilde, felt eller skive i videokodingsapparatet. De resulterende data blir sendt til videodekodingsapparatet. Dette gjør at de to apparatene kan dele flagginformasjonen.

I disse tilfeller blir et prediksjonsbilde generert ved å bruke en prediktiv parameter når indeks i = 0 i forhold til et referansebildenummer 105 og bevegelseskompensasjonsprediksjonen ble utført uten å bruke en prediktiv parameter når i = 0. Som beskrevet ovenfor kan det finnes flere prediktive systemer for samme referansebildenummer.

Tabellen vist på fig. 9 har prediktive parametere Di(i), D2(i), Ei(i), E2(i), Fi(i) og F2(i) tildelt et luminanssignal og to fargedifferansesignaler i samsvar med ligningene (4), (5) og (6). Fig. 10 viser et eksempel på en tabell hvor prediktive parametere blir tildelt bare luminanssignalene. Generelt er antallet binærsifre (b) i et fargedifferansesignal ikke svært stort sammenlignet med antallet binærsifre (b) i et luminanssignal. For å minske beregningsmengden som kreves for å generere et prediksjonsbilde og antall binærsifre (b) overført i en tabell, blir derfor en tabell utarbeidet hvor prediktive parametere for fargedifferansesignaler er utelatt som vist på fig. 10 og prediktive parametere blir tildelt bare luminanssignalene. I dette tilfellet brukes bare ligning (4) som prediktiv ligning.

Ligningene (7) til (12) er prediktive ligninger i tilfellet hvor flere av (to i dette tilfellet) referansebilder blir brukt.

Opplysningene om de prediktive parametere Di(i), D2(i), Ei(i), E2(i), Fi(i), F2(i), LY og Lcog flagg er verdier som bestemmes på forhånd mellom videokodingsapparatet og videodekodingsapparatet eller som blir kodet sammen med de kodede data i en kodingsenhet, f.eks. et enkelt bilde, et felt eller skive og som blir overført fra videokodingsapparatet til videodekodingsapparatet. Dette gjør at de to apparatene kan dele denne informasjonen.

Hvis et bilde som skal dekodes er et bilde med en enkeltbildestruktur, blir et referansebilde brukt for bevegelseskompensasjonsprediksjon også behandlet som et enkelt bilde uansett om et dekodet bilde som et referansebilde har en enkelt bildestruktur eller en feltstruktur. Et referansebildenummer blir tildelt dette bildet. Likeledes hvis et bilde som skal programmeres er et bilde med en feltstruktur, blir et referansebilde brukt for bevegelseskompensasjonsprediksjon også behandlet som et felt uansett om et dekodet bilde som et referansebilde, har en enkelt bildestruktur eller en feltstruktur. Et referansebildenummer blir tildelt dette bildet.

Fig. 11 viser et eksempel på en syntaks i et tilfelle hvor indeksinformasjonen blir kodet i hver blokk. For det første er modusinformasjonen MODE til stede for hver blokk. Det blir bestemt i samsvar med modusinformasjonen MODE om indeksinformasjonen IDi som indikerer verdien av indeks i og indeksinformasjonen IDj som indikerer verdien av indeks j, blir kodet. Kodet informasjon om bevegelsesinforma-sjonen MVi for bevegelseskompensasjonsprediksjonen av indeks i og bevegelsesvektorinformasjonen MVj for bevegelsesprediktivkompensasjonen av indeks j blir lagt til som bevegelsesvektorinformasjon for hver blokk etter den kodede indeksinformasjon. Fig. 12 viser et spesifikt eksempel av en kodet bitstrøm for hver blokk når et prediksjonsbilde blir generert ved å bruke et referansebilde. Indeksinformasjonen IDi blir satt etter modusinformasjonen MODE, og bevegelse svektorinformasj onen MVi blir deretter satt. Bevegelsesvektorinformasjonen MVi er generelt todimensjonal vektorinformasjon. Avhengig av en bevegelseskompensasjonsmetode i en blokk som indikeres av modusinformasjonen, kan flere todimensjonale vektorer sendes ytterligere. Fig. 13 viser et spesifikt eksempel av en kodet bitstrøm for hver blokk når et prediksjonsbilde blir generert ved å bruke to referansebilder. Indeksinformasjonen IDi og indeksinformasjonen IDj blir satt etter modusinformasjonen MODE og etter bevegelsesvektorinformasjonen MVi og bevegelsesvektorinformasjonen MVj blir deretter satt. Bevegelsesvektorinformasjonen MVi og bevegelsesvektorinformasjonen X, er generelt en todimensjonal vektorinformasjon. Avhengig av en bevegelseskompensasjonsmetode i en blokk indikert av modusinformasjonen, kan flere todimensjonale vektorer sendes ytterligere.

Merk at de ovennevnte strukturer av en syntaks og bitstrøm likeledes kan brukes i forbindelse med alle de andre utførelsene.

Fjerde utførelse

Den fjerde utførelse av oppfinnelsen vil nå bli beskrevet under henvisning til fig. 14 og 15. Siden de generelle arrangementer av et videokodingsapparat og videodekodingsapparat i denne utførelse er nesten lik en første utførelse, vil bare forskjellene i forhold til første, andre og tredje utførelse bli beskrevet. I den tredje utførelse blir koding på en enkeltbildebasis og koding på en feltbasis blir svitsjet for hvert bilde. I den fjerde utførelse blir koding på en enkeltbildebasis og koding på en feltbasis svitsjet for hver makroblokk.

Når koding på en enkeltbildebasis og koding på en feltbasis blir svitsjet for hver makroblokk, vil samme referansebildenummer indikere forskjellige bilder, selv innenfor sammen bildet, avhengig av om en makroblokk blir kodet på enkeltbildebasis eller på feltbasis. Av denne grunn og som tabellen viser på fig. 9 og 10 brukt i den tredje utførelse, kan et riktig prediksjonsbildesignal ikke bli generert.

For å løse dette problem i denne utførelse, blir tabeller over kombinasjoner av referansebildenummer og prediktive parametere, lik de som er vist på fig. 14 og 15, utarbeidet i en prediktiv parameterstyreenhet 203 på fig. 2. Forutsatt at når en makro blokk skal kodes på feltbasis, blir samme prediktive parameter som det som tilsvarer et referansebildenummer (referanseenkeltbildeindeksnummer) brukt når makroblokken blir kodet på enkeltbildebasis, brukt. Fig. 14 viser en tabell som brukes når makroblokken blir kodet på en feltbasis og et bilde som skal kodes er et toppfelt. Øvre og nedre rekker av hver feltindekskolonne, tilsvarer henholdsvis toppfeltet og bunnfeltet. Som vist på fig. 14 er enkeltbildeindeksen j og feltindeksen k knyttet til hverandre, slik at når k = 2j i toppfeltet er k = 2j + 1 i bunnfeltet. Referanseenkeltbildenummeret m og referansefeltnummeret n, er relatert, slik at når n = 2m i toppfeltet, er n = 2m + 1 i bunnfeltet. Fig. 15 viser en tabell som brukes når makroblokken kodes på en feltbasis og et bilde som skal kodes er et bunnfelt. Som i tabellen vist på fig. 14, tilsvarer øvre og nedre rekker av hver feltindekskolonne et toppfelt og bunnfeltet. I tabellen på fig. 15 er enkeltbildeindeksen j og feltindeksen k relatert, slik at når k = 2 + 1 i toppfeltet, er k = 2j i bunnfeltet. Dette gjør det mulig å tildele en liten verdi som feltindeks k til et bunnfelt i fase. Forholdet mellom referanseenkeltbildenummeret m og referansefeltnummeret n er det samme som i tabellen på fig. 14. Når makroblokken skal kodes på feltbasis, blir en enkeltbildeindeks og feltindeks kodet som indeksinformasjon ved å bruke tabellene vist på fig. 14 og 15. Når makroblokken skal kodes på en enkeltbildebasis, blir bare enkeltbildeindeksen som er felles for tabellene på fig. 14 og 15 indekskodet som indeksinformasjon.

I denne utførelse blir prediktive parametere tildelt et enkeltbilde og felt ved å bruke en tabell. Imidlertid kan en tabell for enkeltbilder og en tabell for felt bli utarbeidet hver for seg for et bilde eller skive.

Hver utførelse beskrevet ovenfor har eksemplifisert videokoclings/dekodings-systemet ved å bruke ortogonal transformasjon på en blokkbasis. Selv om det blir brukt en annen transformasjonsteknikk, f.eks. liten bølge (wavelet)-transformasjon, kan teknikken ifølge oppfinnelsen beskrevet i de ovennevnte utførelser, brukes.

Videokodings- og deko(lmgsbehan(lling ifølge oppfinnelsen kan implementeres som maskinvare (apparat) eller programvare ved hjelp av en datamaskin. Noe behandling kan implementeres av maskinvare og den andre behandling kan utføres av programvare. Ifølge oppfinnelsen kan det være tilveiebrakt et program for en datamaskin for å utføre ovennevnte videokoding eller videodekoding eller et lagrings-medium som lagrer programmet.

Som beskrevet ovenfor, er koclmgs/dekodingsfremgangsmåten og apparatet ifølge oppfinnelsen egnet for bildebehandling, hvor et videosignal som endrer luminans over tid, f.eks. som et svekket video- eller oppløst videosignal især, blir kodet og dekodet.

Claims (2)

1 Videodekodingsfremgangsmåte for å dekode kodede data fremskaffet ved å utsette en video (100) som har en luminans (Y) og to fargeforskjeller (Cb, Cr) for precliksjonskoding, hvor videodekodingsfremgangsmåten omfatter: • et trinn med å motta kodede data fremskaffet ved koding, for en blokk som skal dekodes, en kvantisert ortogonal transformasjonskoeffisient av et prediksjonsfeilsignal vedrørende luminansen og to fargeforskjeller, informasjon om en bevegelsesvektor (414) og indeksinformasjon (415) som angir en kombinasjon av flere indekserte kombinasjoner som omfatter et referansebilde, en vektingsfaktor til hver av luminansen og de to fargeforskjellene og en forskyvning for hver av luminansen og de to fargeforskjellene; • et trinn med å utlede referansebildet, vektingsfaktoren og forskyvningen fra indeksinformasjonen for blokken som skal dekodes; • et trinn med å generere prediksjonsfeilsignalet for blokken som skal dekodes ved å utsette de kvantiserte ortogonale transformasjonskoeffisienter for invers kvantisering og invers ortogonal transformasjon; • et trinn med å generere et prediksjonsbilde (412) for blokken som skal dekodes ved å multiplisere referansebildet med vektingsfaktoren og å legge til forskyvningen, basert på bevegelsesvektoren for blokken som skal dekodes; og • et trinn med å generere et dekodet bildesignal (310) for blokken som skal dekodes ved å beregne en sum av prediksjonsfeilen og prediksjonsbildet.

2 Videodekoclmgsanordning for å dekode kodede data (300) skaffet til veie ved å utsette en video som har en luminans (Y) og to fargeforskjeller (Cb, Cr) for prediksjons-koding, hvor anordningen omfatter: • midler (301, 302, 303) for å motta kodede data skaffet til veie ved koding, for en blokk som skal dekodes, en kvantisert ortogonal transformasjonskoeffisient av et prediksjonsfeilsignal vedrørende luminansen og to fargeforskjeller, informasjon om en bevegelsesvektor og indeksinformasjon som angir en kombinasjon av flere indekserte kombinasjoner som omfatter et referansebilde, en vektingsfaktor til hver av luminansen og de to fargeforskjeller og en forskyvning for hver av luminansen og de to fargeforskjellene; • midler (403) for å utlede referansebildet, vektingsfaktoren og forskyvningen fra indeksinformasjonen for blokken som skal dekodes; • midler (304, 305) for å generere prediksjonsfeilsignalet for blokken som skal dekodes ved å utsette de kvantiserte ortogonale transformasjonskoeffisienter for invers kvantisering og invers ortogonal transformasjon; • midler (308) for å generere et bevegelseskompensasjonsprediksjonsbilde (412) for blokken som skal dekodes ved å multiplisere referansebildet med vektingsfaktoren og å legge til forskyvningen, basert på bevegelsesvektoren for blokken som skal dekodes; og • midler (306) for å generere et dekodet bildesignal (310) for blokken som skal dekodes ved å beregne en sum av prediksjonsfeilen og bevegelseskompensasjons-prediksjonsbildet.