SE458003B - Metod att representera roerliga bilder - Google Patents

Description

Ybi' 458 003 10 15 20 25 30 35 -2- och mycket irriterande för en åskådare. Först vid bildfrekvenser pâ cirka 12 Hz eller mer börjar förvrângningen bli acceptabel.

Eftersom en rörlig sekvens enklast betraktas som en signal i tre dimensioner, tid plus två rumsdimensioner, kan man även göra Liknande operationer i bildplanet, vilka kan betraktas som enkla metoder att miñska upplösningen hos bilden. Även dessa operationer ger emellertid upphov till en stor förvrångning för en åskådare.

Många metoder har provats för att minska redundansen hos bilder, bland dessa kan här nämnas de så kallade hierarkiska metoderna. bygger på att man delar upp bilden i grupper av spatiala frihetsgrader, DE$Sa spatiala frekvensband, dvs och därefter kodar dessa band.

Figur 1 visar ett exempel på en sådan uppdelning. Vi har här valt att dela upp signalen i fyra grupper, frekvensband 0 till och med 3. I det amerikanska patentet nr 4447886 beskrives en hierarkisk metod där man för varje ny bild i en sekvens börjar med att överföra de låga frekvenserna och därefter fortsätter med de högre. Problemet här är att metoden ej garanterar att höga frekvenser uppdateras överhuvud- taget. Om mycket rörelse förekommer i en bildsekvens, kan en situa- tion uppstå vid vilken de låga frekvenserna upptar hela utrymmet för data. Samplingen av höga frekvenser år alltså olikformig, beroende av bildinnehållet och vald datahastighet. och endast En annan metod, som diskuterats är att studera den mottagare, till slut skall betrakta bilderna, som det vill säga så gott som alltid det mänskliga synsinnet. Detta gör nämligen en kraftig reduktion av bildinformationen. Genom att försöka ta bort just denna information, som alltså ej kommer att uppfattas av den mänskliga betraktaren, redan vid överföringen/lagringen, skulle vi teoretiskt sett inte tillföra någon förvrângning alls för Bskådaren. Alternativt kan vi, vid mycket stora krav på kompression, ta bort den information som har minst betydelse för åskådarens tolkning av bilderna. I det senare fallet är det inte ett primärt ändamål att åstadkomma en förvräng- ningsminimerad bildöverföring/lagring, utan istället att avlägsna de delar, som saknar betydelse för sammanhanget. 10 15 20 25 30 35 458 003 -3 .- En mänsklig betraktare kan följa ett föremål med blicken. Om man vid kodning av rörliga bilder önskar ta hänsyn till hur det mänskliga synsinnet fungerar, uppstår problemet att en sekvens av bilder, som för en betraktare med blicken fixerad innehåller höga temporala frekvenser, dvs varierar snabbt med tiden, kan komma att endast innehålla låga temporala frekvenser. Anledningen härtill är att följ- ningen kan fâ ett föremål att bli nästan stillastående på häthinnan.

Uppfinningens ändamål och viktigaste kännetecken Ett primärt ändamål med föreliggande uppfinning år att åstadkomma en metod att avlägsna sådan information, som år definierad både genom sina spatiala egenskaper dvs i bildplanet och genom sina temporala egenskaper, detta för att åstadkomma dels ett avlägsnande av den information som ej kan uppfattas av det mänskliga synsinnet, dels en möjlighet till val av för betraktaren intressant information. Enligt uppfinningen uppnås detta därigenom att grupperna, erhållna genom den inledningsvis nämnda gruppindelningen, utsâttes för en temporal filtrering och/eller temporal sampling varvid för minst en av grupperna filtrets överföringsfunktion och/eller samplingsintervallet är skild från motsvarande storheter för de övriga grupperna.

Ett annat viktigt ändamål med uppfinningen är att minska inverkan av en mänsklig betraktares förmåga att följa föremål, vilket vid kod- ningen kan innebära svårigheter att utnyttja det mänskliga ögats spatio-temporala egenskaper. Enligt särskilda kännetecken för upp- finningen uppnås nämnda minskning av sådan inverkan därigenom att före temporal filtrering/sampling av grupperna, före eller efter gruppindelning, appliceras en rörelsekompensation av grupperna inne- bärande omflyttning av delar av bilden inom densamma i, i tiden och bildplanet variabla, riktningar liggande i det plan som beståmmes av de spatiala dimensionerna.

Ytterligare ett viktigt ändamål med uppfinningen är att åstadkomma en metod att ändra det genomsnittliga samplingsintervallet för minst en av grupperna vid avkodning. Enligt ännu ett särskilt kännetecken för uppfinningen uppnås detta därigenom att vid avkodning av de signaler 458 003 10 15 20 25 30 _4- som utgör en tidsdiskret representation av bildsignalen, erhâllen vid en kodning av grupperna, i sin tur erhållna genom den inledningsvis nämnda gruppindelningen, appliceras en temporal interpolation, be- stående av en uppsamling samt en temporal filtrering, pâ de olika grupperna, vid vilken det för minst en av grupperna gäller att inter- polationen medför ett minskat genomsnittligt samplingsintervall, alternativt ger en diskontinuerlig signal, varvid för minst en av grupperna filtrets överföringsfunktion år skild från motsvarande storhet för de övriga grupperna.

Beskrivning av ritningarna Uppfinningen skall i det följande förklaras ytterligare med hänvis- ning till bifogade ritning, pâ vilken fig 1 som nämnts ovan visar en typisk känd gruppindelning sedd i spatiala frekvensplanet. Fig 2 visar ett exempel på ett flödesschema som illustrerar metoden enligt uppfinningen, baserad pâ att man för var och en av grupperna, erhåll- na efter en spatial gruppindelning, applicerar en temporal filtrering kombinerat med en sampling, början är tidsdiskret. eventuellt en omsampling om signalen frân Fig 3 visar ett exempel pâ ett flödesschema enligt uppfinningen, innefattande en rörelsekompensering enligt patentkravet 2.

Fig 4 visar ytterligare ett exempel pâ ett flödesschema enligt upp- finningen innefattande en rörelsekompensering jämlikt patentkravet 3, och utgörande ett alternativ till rörelsekompenseringen enligt patentkravet 2. g Fig S visar ett ytterligare detaljerat exempel pâ ett flödesschema av uppfinningen enligt patentkravet 2. Figuren exemplifierar också ett möjligt utförande av uppfinningen enligt figurerna 2 och 4.

Fig 6 visar ett exempel pâ ett flödesschema som illustrerar avkodning av signaler utgörande en representation av en bildsignal, varvid representationen skapats genom någon av de ovan nämnda kodnings- metoderna. Figuren exemplifierar en temporal interpolation jämlikt patentkravet 4. _ 10 15 20 25 30 35 458 003 I figur 2 betecknar 1 en gruppindelning av en insignal, I.En sådan gruppindelning utföres pâ känt sätt, till exempel genom en indelning i spatiala frekvensband enligt figur 1. Närmare information om hur gruppindelning kan utföras beskrives i till exempel följande referen- ser: P-J Burt och E.H. Adelsson "The Laplacian Pyramid as a compact image code", IEEE tr. comm. COM-31(4):532-540, 1983, T Kronander “Sampling of Bandpass Pyramids", Rapport Linköpings Univeristet, Institutionen för systemteknik: LiTH-ISY-I-0780, 1986, eller det inledningsvis nämnda amerikanska patentet. De genom gruppindelningen erhållna grupperna behandlas därefter i ett antal parallella kanaler K1 till KN, där N betecknar antalet kanaler. Varje sådan kanal inne- fattar dels en temporal operation T1 till TN, dels en kodning C1 till CN. För varje grupp utgöres den temporala opertionen av en temporal filtrering och/eller en temporal sampling. Den temporala filtreringen utföres företrädesvis som en lâgpassfiltrering. Den temporala samp- lingen kan utföras som en omsampling av en redan tidsdiskret signal, eller som en sampling av en tidskontinuerlig signal. Enligt uppfin- ningen år dessa operationer ej identiska för kanalerna K1 till KN.

Skillnaden mellan en kanal och de övriga kan exempelvis bestå i att filtreringens överföringsfunktion och/eller samplingens samplings- intervall för en eller flera av kanalerna skiljer sig från mot- svarande parametrar hos de övriga. Som resultat av nämnda kodning och temporala operation erhålles från varje kanal utsignaler S1 till SN.

Dessa signaler utgör tillsammans en representation av insignalen I.

I figur 3 har använts samma beteckningar som i figur 2 för lika eller analoga funktioner. I respektive kanal K1 till KN, har införts en rörelsekompensering M1 till MN. Rörelsekompenseringen innebär en omflyttning av delar av bilden inom densamma i, i tiden och bild- planet variabla, riktningar liggande i det plan som bestämmes av de spatiala dimensionerna. Med detta avses att delar av bilden, exempel- vis rektangulära omrâden, utgörande delar av varje bildi en bild- sekvens, flyttas för att i görligaste mân upphäva inverkan av rörelse i bildsekvensen. I rörelsekompenseringen förutsåttes kunna ingå rörelseestimering, syftande till att bestämma riktningar för 458 003 10 15 20 25 30 ' 35 _6- förflyttningen. Dessutom torde det vara fördelaktigt men ej nödvän- digt att i representationen enligt uppfinningen låta ingå även ett vektorfålt, som beskriver rörelsekompenseringen.

Figur 5 nedan exemplifierar i större detalj än i figur 3 en realise- ring, av många möjliga, av en kodningsmetod enligt dessa huvudrag.

En alternativ kodningsmetod erhålles, enligt ett särskilt kännetecken för uppfinningen, genom att flytta rörelsekompenseringen M, till en placering före gruppindelningen G. Figur 4 ger en översiktlig bild av denna kodningsmetod. också här används samma hânvisningsbeteckningar som tidigare. För rörelsekompenseringen gäller här samma förbehåll som i metoden illustrerad med figur 3.

Det år uppenbart att de temporala operationerna samt kodningsopera- tionerna K1 till KN, i figur 2 till 4, i likhet med vad som beskrives nedan i anslutning till figur 5, kan sammanfattas i en enda opera- tion, exempelvis genom att använda temporal filtrering/sampling inuti en âterkopplingsslinga innegâende i kodningen. Blocken Ki kan alltså kopplas samman med blocken Ti, utan att metoden enligt uppfinningen ändras därigenom, index i betecknar här något tal mellan 1 och N.

I figur 5 illustreras en kodningsmetod enligt uppfinningen baserad på âterkopplad kodning. Insignalen I, förutsåttes hår vara tidsdiskret och följaktligen betå av en sekvens av stillbilder.

Kodningen år i princip analog med metoden illustrerad i figur 3, vid vilken den temporala operationen och kodningen sammankopplats i en återkopp- lingsslinga, i vilken ingår följande operationer: SUBi = Subtrahering av en signal från en annan Fi = Temporal filtrering S85 = Subsampling Qi = Kvantisering IQ; = Invers kvantisering U$í = Uppsampling (interpolation) Ei = Temporal filtrering Aboí = Addering av en signal till en annan IMK¿ = Invers rörelsekompensering 10 15 20 25 30 35 458 003 ll Prediktering Temporal filtrering.

De genom gruppindelningen G, av bildsignalen I, erhållna grupperna, behandlas som tidigare i ett antal parallella kanaler K1 till KN.I varje kanal Ki, och för varje bild i sekvensen, utföres dels en Förelsekompensering Mki, dels en rörelseestimering ME¿. Resultatet av rörelseestimeringen år inrättat att styra rörelsekompenseringen på i och för sig känt sätt. Efter utförd rörelekompensering utföres en subtrahering SUB¿, varvid predikteringen Pi, erhâllen vid behand- lingen av nårmast föregående bild i sekvensen, subtraheras från resultatet av rörelsekompenseringen. Efter subtraktionen har vi erhållit ett prediktionsfel, som skall kodas. Detta utföres genom en temporal filtrering Fi, efterföljt av en korresponderande subsampling SSi. Därefter följer kvantiseringen Qi, enligt någon känd metod, exempelvis likformig kvantisering följd av entropikodning. Vi har nu erhållet en del SEi, av den kod, som representerar bildsignalen i den aktuella gruppen. För att kunna skapa en prediktering för nästa bild, behöver vi nu känna till den bild, som en mottagare skulle skapat pâ i och för sig känt sätt. Det hänvisas här till kända metoder för âterkopplad kodning beskrivna i till exempel: S Ericsson "Fixed and adaptive predictors for hybrid predictive/transform coding". IEEE tr.comm. COM~33(12):1291-1302, 1985 eller T Ericsson och R Forchheimer "Linear transformation for optimal quantization of vector processes with an application to picture coding“, Rapport, Linköpings Universitet, ISY; LiTH-ISY-I-0449, 1981.

För att skapa denna bild utföres nu en invers kvantisering IQ¿. Denna beror på vald kvantiseringsalgoritm, men kan till exempel vara en ren identitetsavbildning varvid blocket alltså inte utför något alls.

Därefter kommer en så kallad uppsampling US¿ och en temporal filtre- ring Ei. Dessa operationer tillsammans brukar ibland benämnas inter- polation och resultatet är, att samma samplingsfrekvens som före subsamplingen Ssi, erhâlles.Därefter följer en addition ADD¿, vid vilken prediktionen, varpå det eventuellt utförts en filtrering Hi, adderas, ocksâ detta pâ i och för sig känt sätt. Det år fördelaktigt, men ej nödvändigt, att utföra de temporala filtreringarna så att Fi 458 003 10 15 20 25 30 35 _8.. och Ei är identiska, samt så att Hi motsvarar en upprepning av filtreringen Fi tvâ gånger. Resultatet efter additionen motsvarar den rörelsekompenserade signalen före subtraktionen SUB-. Genom att ut- föra någon form av invers rörelsekompensering IHKi, skapas den signal Gi, som âr en kodad och avkodad version av insignalen till kanalen Kí. Denna kan nu användas för att prediktera resultatet efter rörel- sekompenseringen Mkí, för nästa bild i bildsekvensen, antingen genom att oförändrad utgöra denna prediktion, tioner, eller genom att vissa opera- exempelvis optimal prediktering enligt kända matematiska metoder, utföres på signalen Oi. I predikteringen ingår följaktligen en minnesfunktion av känd typ vilken är inrättad att kvarhâlla pre- diktionen till dess att nästa bild i insignalen behandlas.

Rörelseestimering fiëi, utföres för att skapa ett vektorfålt för att styra rörelsekompenseringen MKi och utföres genom att jämföra in- signalen till den aktuella kanalen Ki, med resultatet av predikte- ringen erhâllen vid behandlingen av den förra bilden Pi, och därefter pâ något, i och för sig känt sätt, beräkna nämnda vektorfält. Resul- tatet av rörelseestimeringen MEí, används för tre ändamäl: - För att styra rörelsekompenseringen MK¿, - För att styra den inversa rörelsekompenseringen IMK¿, - För att som kod, Sfií, ingå i representationen av insignalen I.

Allmänt gäller att rörelsekompensering respektive rörelseestimering kan ske antingen oberoende för varje grupp eller kan någon, even- tuellt båda, av dessa vara gemensam för flera, eventuellt alla grupper. Med gemensam menas här att de delvis använder samma indata, eller att samma utdata används inom flera grupper.

Det är uppenbart att figur S endast är ett, av många tänkbara, exem- pel pâ hur en-kodning jämlikt patentkravet 2 kan utföras. Enkla förändringar, som ligger inom uppfinningstankens ram, år till exempel att avlägsna något eller nâgra av filtreringsoperationerna Fi, Ei eller Hi, alternativt subsamplingen SS¿, och uppsamplingen US¿, i âterkopplingsslingan. Själva kodningsförfarandet kan också vara olikt det som beskrives i figuren, till exempel år det ej nödvändigt med âterkopplade metodstrukturer, utan separerade sådana är möjliga i 10 15 20 25 30 458 003 -Q- enlighet med figurerna 2 till 4. Dessutom kan âterkopplade strukturer användas även vid kodning av de slag som beskrives i figur 2 och figur 4. Vad som enligt uppfinningen år unikt för metoderna enligt figur 2 till S âr, att de temporala operationerna år olika för olika grupper. Till skillnad från det inledningsvis nämnda amerikanska patentet garanteras uppdatering av alla spatiala frekvensgrupper inom ett visst tidsintervall, oberoende av bildsekvensens innehåll.

I figur 6 illustreras en avkodningsmetod enligt uppfinningen baserad på omsampling av den avkodade signalen. För var och en av kanalerna K1 till KN, sker en avkodning A1 till AN, av den kod S1 till SN, vilken genererats vid en tidsdiskret kodning av en bildsignal upp- delad i spatiala grupper av frihetsgrader, till exempel, men ej nödvändigtvis, med någon av metoderna enligt figur 2 till S. Därefter följer en temporal operation bestående av en interpolation AT1 till ATN, varvid för minst en av grupperna gäller att ett genomsnittligt mindre temporalt samplingsintervall än före operationen erhålles.

Denna temporala interpolation år för minst en av grupperna skild från motsvarande operation för de övriga. Efter interpolationen kombineras de olika grupperna IG, för att bilda den avkodade signalen EI. Denna kombination kan, till exempel, bestå av en addition. Notera att interpolationen kan vara en identitet, med andra ord att vissa av interpolationerna AT1 till ATN, kan vara utan verkan. Det gäller även för denna avkodning att uppfinningsidén även innefattar metoder av âterkopplad struktur, samt att rörelsekompensering kan ingå i avkod- ningen, till exempel vid avkodning av kod genererad enligt de meto- der, som illustreras med figur 3 till S.

Det har vidare i beskrivningen ovan samt i figurerna utlåmnats för fackmannen självklara, temporala minnesfunktioner vilka måste finnas i samband med filtrering och prediktion.

Claims (1)

1. f! 458 003 10 15 20 25 30 35 'P _10- Patentkrav

1. Metod att representera rörliga bilder beskrivna som en tredimen- sionell signal (I), hos vilken en av dimensionerna är tid och de bâda övriga år spatiala dimensioner, varvid signalen (I) delas upp i grupper av spatiala frihetsgrader, av en eller flera spatiala frihetsgrader, där varje grupp består t ex spatiala frekvens- band och grupperna behandlas i ett antal parallella signal- kanaler, K1 till KN, k å n n e t e c k n a d därav, att grupper- na utsâttes för en temporal filtrering och/eller temporal samp- ling (Ti), varvid för minst en av grupperna filtrets överförings- funktion och/eller samplingsintervallet är skild frân motsvarande storheter för de övriga grupperna. Metod enligt patentkravet 1, k å n n e t e c k n a d därav, att före temporal filtrering/sampling (Ti) av grupperna appliceras en rörelsekompensering (Mi) av grupperna innebärande omflyttning av delar av bilden inom densamma i, i tiden och bildplanet variabla, riktningar liggande i det plan som beståmmes av de spatiala dimensionerna. Metod enligt patentkravet 1, k å n n e t e c k n a d därav, att före gruppindelningen (G) appliceras en rörelsekompensering (M) av bildsignalen innebärande omflyttning av delar av bilden inom densamma i, i tiden och bildplanet variabla, riktningar liggande i det plan som bestämmas av de spatiala dimensionerna. Metod enligt patentkravet 1, k ä n n e t e c k n a d därav, att vid avkodning av de signaler (S1 till SN) som utgör en tids- diskret representation av bildsignalen (I), appliceras en tempo- ral interpolation (AT1 till ATN) bestående av en uppsampling samt en temporal filtrering, på de olika grupperna, vid vilka det för minst en av grupperna gäller att interpolationen medför ett minskat genomsnittligt samplingsintervall tidskontinuerlig signal, , alternativt ger en varvid för minst en av grupperna filtrets överföringsfunktion är skild frân motsvarande storhet för de övriga grupperna.