SE507410C2 - Förfarande och anordning för rörelseestimering - Google Patents

Description

S07 410 2 En av de mest utmärkande nackdelarna hos de aktuella utnyttjande- na av denna teknik är att informationen som hör saman med rörel- separametrarna och segmentens konturer måste kodas och överföras.

Detta leder till en bitström som, särskilt när låga bithastighe- ter är tillgängliga, kan behöva så mycket som 50% av den till- gängliga bandbredden.

Bildkompressionsförfaranden, särskilt för rörliga bilder, som använder bitplan-kodning beskrivs i våra svenska patentansökning- ar nr 9502557-3, 9503735-4 och 9503736-2.

REDOGÖRELSE FÖR UPPFINNINGEN Det är ett syfte med föreliggande uppfinning att åstadkomma ett förfarande och en anordning, vilka, med hjälp av föremålsbaserad segmentering och rörelse-estimering, åstadkommer en rörelsekom- pensering vilken kan minska den nödvändiga bithastigheten vid överföring av digitaliserade rörliga bilder utan att segmentens konturer och rörelseparametrar behöver överföras och sålunda på- tagligt kan minska den nödvändiga kapaciteten hos den använda kanalen.

Detta syfte uppnås med en bitplanskodningsteknik som använder en inkrementell föremålsbaserad segmentering och rörelse-estimering av de olika bitplanen, bitplan för bitplan, där rörelse-estime- ringen förnyas och förbättras efter varje överfört bitplan. Den segmentering av bilden, som utförs så att segmentens gränser föl- jer föremålen i bildens gränser, dvs föremålsbaserad segmente- ring, förnyas och förbättras således också efter varje överfört bitplan.

Förfarandet för att överföra en bitplanskodad rörlig bild kan delas upp i följande delsteg: - 1. Det mest signifikanta bitplanet i en bild, t ex en ram i en rörlig bild, kodas enligt någon lämplig kodningsalgoritm, eventu- ellt utan att använda någon segmentering eller rörelse-kompense- ring och bitplanet mottas och avkodas av den avsedda mottagaren.

Förfarandet som används för att koda det mest signifikanta bit- planet kan vara vilken lämplig algoritm som helst, t ex ett för- farande i enlighet med det som beskrivs i de ovan nämnda svenska 507 410 3 patentansökningarna nr 9502557-3, 9503735-4 och 9503736-2. - 2. På grundval på informationen som tillhandahålls av detta mest signifikanta bitplan utför både kodaren och avkodaren, dvs både den sändande delen och mottagande delen i ett överförings- system, en segmentering på ett sådant sätt att de åstadkomna seg- menten motsvarar föremålen inuti bilden, dvs en föremålsbaserad segmentering, samt utför en rörelse-estimering baserad på denna segmentering. - 3. Därefter kodas det näst mest signifikanta bitplanet och överförs på kanalen med användning av en rörelsekompensering ba- serad på rörelse-estimeringen som utförts i steg 2. Det näst mest signifikanta planet avkodas sedan av mottagaren. - 4. På basis av informationen som nu finns både i sändaren och mottagaren, dvs både de mest och näst mest signifikanta bitplanen av bilden, utförs en ny och förbättrad segmentering och en ny och förbättrad rörelse-estimering. - 5. Stegen 3 och 4 upprepas sedan för de mindre signifikanta planen i minskande signifikansordning ned till det minst signifi- kanta bitplanet som skall överföras.

FIGURBESKRIVNING Uppfinningen kommer nu att beskrivas med hjälp av en detaljerad utföringsform och med hänvisning till de bilagda ritningarna i vilka: - Fig. 1 är en bild som visar bitplanskodningstekniken - Fig. 2 är en bild som visar en bitplanskodad digitaliserad bild, vilken har 8 bitar per pixel.

- Fig. 3 är en bild som visar olika delar i en utföringsform.

BESKRIVNING Av FÖREDRAGEN UTFöRINGsFoRM Fig. 1 visar en digitaliserad bild med m x n pixels. Varje pixel består av k bitar, t ex 8 bitar liksom i det följande exemplet.

Bitarna är så anordnade, att den mest signifikanta biten repre- senterar ett första, mest signifikant bitplan. Den näst mest sig- nifikanta biten hos varje pixel representerar ett andra, näst mest signifikant bitplan osv till de minst signifikanta bitarna hos varje pixel, vilka bildar ett sista, minst signifikant bit- plan. 507 410 4 Fig. 2 visar en digitaliserad bild som har blivit bitplanskodad i enlighet med det i samband med fig. l beskrivna förfarandet och består av m x n pixel eller pel som var och en består av 8 bitar, vilka har anordnats i 8 bitplan från det mest signifikanta bit- planet 7 till det minst signifikanta bitplanet 0.

I fig. 3 visas olika delar av ett överföringssystem. Det mest signifikanta bitplanet, dvs plan 7 i fig. 2, vilket har blivit bitplanskodat ("Bit Plane Coded" (BPC)) i blocket 23 komprimeras sedan eventuellt och kodas av en kodare 7 enligt någon lämplig teknik, t ex med hjälp av en entropi-kod ('entropy code'), men utan att någon segmentering eller rörelsekompensation används i kompressionen. Förfarandet som används för att koda det mest sig- nifikanta bitplanet kan vara vilken lämplig algoritm som helst, inklusive förlustfria ('lossless') förfaranden såsom skurlängds- kodning ('run length coding') och förlustbehäftade ('lossy') för- faranden, vilka kan men inte behöver innefatta användning av rö- relsekompensering och segmentering.

Förfarandet som används för att koda det mest signifikanta bit- planet optimeras för oberoende kodning av detta bitplan. Alla parametrar som behövs för en riktig avkodning av det mest signi- fikanta bitplanet i mottagaren måste överföras.

Planet 7 sänds sedan av sändaren 1 över en kanal 3 och mottas av mottagaren 5 vilken har organ motsvarande dem som finns i sända- ren för att i en avkodare 9 riktigt avkoda det mottagna bitpla- net. Bitplanet avkodas av mottagaren 5 och sålunda har sändaren 1 och mottagaren 5 båda tillgång till det mest signifikanta bitpla- net, plan 7 i fig. 2.

På grundval på den information som tillhandahålles av detta bit- plan, plan 7 i fig. 2, utför både kodaren 7 i sändaren 1 och av- kodaren 9 i mottagaren 5 en föremålsbaserad segmenteringsalgoritm och en rörelseestimering av planet 7 i fig. 2, enligt sama algo- ritmer så att både kodaren 7 och avkodaren 9 utför samma rörelse- estimering och segmentering. Dvs både sändaren 1 och mottagaren 5 kommer att ha identiska segmenteringar av bitplanet av den aktu- ella ramen. Segmenteringarna utförs i blocken ll och 13 och rö- 507 410 5 relse-estimeringarna i blocken 15 respektive 17.

Vilken lämplig algoritm som helst som kan utföra rörelse-estime- ring och segmentering kan användas. Detta innefattar, som ett specialfall, förfaranden där en fördefinierad blockstruktur an- vänds för segmentering och där endast rörelse-estimering utförs.

Således kan i de fall när föremålbaserad segmentering används förfarandena som tidigare hänvisats till och som beskrivs i (A) och (B) användas. För det fall att en fördefinierad blockstruktur används kan blockmatchningsförfarandet som beskrivs i A. N.

Netravali och B. G. Haskell, "Digital pictures", 2nd edition, Plenum Press 1995, sid. 340 och som också används och beskrivs i ITU-T Recommendation H26l, Geneva, August 1990 användas.

När i tiden kodaren 7 i sändaren 1 utför segmenteringen är ovik- tigt. Dvs segmenteringen i kodaren 7 kan utföras i förväg för att minska beräkningslasten på kodaren under överföringen, så länge som denna använder sama information som finns tillgänglig i av- kodaren 9 i mottagaren 5, och således åstadkommer identiska seg- menteringar för sama bitplan och ram i båda ändar av systemet.

I båda ändar av systemet, dvs vid kodaren 7 hos sändaren l och vid avkodaren 9 hos mottagaren 5 utförs sedan en rörelse-estime- ring, vilken använder den föremålsbaserade segmenteringen. Rörel- se-estimeringen utförs i enlighet med något lämpligt känt förfa- rande, varvid samma förfarande används både av kodaren 7 och av- kodaren 9.

Därefter överförs det plan som innehåller de näst mest signifi- kanta bitarna av pixlen eller pellen. I syfte att minska antalet bitar som behöver överföras av detta plan 6 i fig. 2 utförs en rörelsekompensering i blocket 19 på basis av den föremålsbaserade segmenteringen och rörelse-estimeringen som utförts på plan 7 i fig. 2. Det rörelsekompenseringsförfarande som används kan vara vilket lämpligt känt förfarande som helst. Planet 6 i fig. 2 överförs sedan över kanalen 3 och mottages av mottagaren 5 och avkodas av dess avkodare 9.

Kodaren 7 och avkodaren 9 utför sedan en inkrementell och för- 507 410 6 bättrad föremålsbaserad segmentering av bilden eller ramen och en inkrementell och förbättrad rörelseestimering baserad på den för- bättrade segmenteringen utförs också. Dvs en ny föremålsbaserad segmentering och en motsvarande rörelsekompensering utförs av kodaren 7 och avkodaren 9 på grundval av den information som tillhandahålls genom bitplanen 7 och 6 i fig. 2. Dessa nya före- målsbaserade segmenteringar och motsvarande rörelsekompenseringar kommer att vara bättre eftersom mer information finns tillgäng- lig. Liksom för den första förebålsbaserade segmenteringen och motsvarande rörelseestimering är det inte viktigt när i tiden segmenteringen och rörelseestimeringen utförs i kodaren 7 så länge som endast information från planen 7 och 6 i fig. 2 används så att segmenteringen och rörelseestimeringen kommer att vara identiska i kodaren 7 och avkodaren 9 efter det att plan 6 i fig. 2 överförts.

De mindre signifikanta bitplanen, dvs planen 5, 4, 3, 2, 1 och 0 i fig. 2, överförs sedan i fallande signifikansordning. För varje överfört plan utförs en ny, förbättrad rörelsekompenserning i syfte att minska antalet bitar som behöver överföras för det spe- cifika bitplanet, där rörelsekompenseringen baseras på den inkre- mentella och förbättrade föremålsbaserade segmenteringen och mot- svarande rörelseestimering av de tidigare överförda bitplanen hos Iamefl.

Således kommer de mindre signifikanta planen att använda mer in- formation för segmenteringen och rörelsekompenseringen. Detta är en stor fördel med förfarandet eftersom det kan visas att de mindre signifikanta bitplanen kräver en högre bithastighet bero- ende på mindre redundans i dessa plan än i de mer signifikanta bitplanen. Därför kommer den bättre rörelsekompenseringen för de mindre signifikanta bitplanen, vilket blir resultatet av att det finns tillgång till mer information för den aktuella ramen, som appliceras på dessa mindre signifikanta bitplan att drastiskt minska dessa bithastigheter.

Det ovan beskrivna förfarandet medför att kodningsteknikens kom- pressionsteknik är förlustfri, dvs överförda bitplan kan återska- pas exakt av mottagaren 5 utan att någon information förloras. 507 410 7 Förfarandet kan emellertid även användas med en förlustbehäftad ('1ossy') kodningsteknik. Det är då nödvändigt att säkerställa att det avkodade mottagna bitplanet och det bitplan som används av kodaren 7 för den föremålsbaserade segmenteringen och för rö- relse-estimeringen innehåller samma information så att den före- målsbaserade segmenteringen och rörelse-estimeringen utförs på identiska bitplan. Detta kan utföras genom att en rekonstruktion av det bitplan som mottages av avkodaren 9 utförs i kodaren 7 hos sändaren 1, varvid samma procedur eller algoritm som i avkodaren 9 används. Denna rekonstruktion utförs i blocket 21.

Sålunda kommer både kodaren 7 och avkodaren 9 att utföra samma behandling av den kodade sekvensen och således kommer de båda att ha tillgång till samma information när den föremålsbaserade seg- menteringen samt rörelseestimeringen utförs.

Beskrivningen ovan avser endast luminansdelen av en överförd sig- nal. I händelse av överföring av färgbilder måste tre olika sig- nalkomponenter överföras, en luminanssignal och två färgkompo- nentsignaler. Var och en av dessa signaler representeras då av en serie bitplan kodade i bitplanskodningsblocket 23 (BPC). Det to- tala antalet bitplan (N) kan typiskt vara 24.

I syfte att använda det ovan beskrivna förfarandet för inkremen- tell rörelse-estimering och för ett förfarande för segmentering placeras bitplanen i en ordningsföljd, dvs ett seriellt nummer hör samman med varje bitplan. Detta utförs i blocket 25. I den på så sätt i block 27 åstadkomna sekventiella ordningen kan luminans och färgbitplanen vara blandade.

Sedan används det inkrementella rörelse-estimerings- och segmen- teringsförfarandet på ett antal (M), M 5 N, av bitplanen som an- ses vara de mest signifikanta bitplanen i enlighet med den i block 27 åstadkomna ordningen, varvid M typiskt kan vara 8. Dvs t ex används förfarandet på de plan som har tilldelats de lägsta numren. Talet M kan vara förutbestämt av en användare eller sät- tas automatiskt av överföringssystemet. De kvarvarande bitplanen kodas också med rörelse-estimering och segmenteringsparametrar som härleds från de M mest signifikanta bitplanen. 507 410 8 Särskilt kan den åstadkomna ordningen vara sådan att de M mest signifikanta bitplanen är luminansbitplanen. Färgbitplanen skulle i sådana fall kodas med användning av rörelse-estimering och seg- menteringsparametrar som erhållits från luminansbitplanen och färgsignalkomponenterna skulle inte användas för rörelse-estime- ring eller för segmentering.

Vidare kan i ett block 29 varje segment för ett visst bitplan klassificeras i termer av lyckad/icke lyckad rörelsekompensering, dvs det rörelsekompenserade segmentet jämförs med det riktiga segmentet och i enlighet med någon algoritm eller något kriterium åstadkoms ett mått på hur bra det rörelsekompenserade segmentet är. Algoritmen som används kan t ex vara en medelkvadratsavvikel- se-algoritm (Mean Square Error (MSE) algorithm) beräknad för var- je pixel i bitplanet och sedan summerad över hela segmentet.

Det värde som erhålls med denna procedur kan sedan jämföras med ett tröskelvärde i syfte att bestämma om rörelsekompenseringen var lyckad eller icke lyckad. Om resultatet av denna klassifice- ring är att segmentet klassificeras som icke lyckat används inte rörelsekompensering. Ett sådant segment kodas i stället i enlig- het med någon kodningsalgoritm som utnyttjar rumsredundansen in- uti detta speciella segment.

Det ovan beskrivna förfarandet gör det möjligt att övervinna någ- ra av de mest allvarliga problemen som hör samman med användning av föremålsbaserad estimering och segmentering. Sålunda behöver inga rörelseparametrar och ingen information beträffande segmen- tens kontur överföras när det häri beskrivna förfarandet används.

Claims (22)

507 410 PATENTKRAV

1. Förfarande för att överföra bitplankodade och eventuellt rör- liga bilder från en sändare till en mottagare där den rörliga bilden består av bilder eller ramar som genomgår en rörelse-esti- mer ing , kännetecknat av - att först sänds det mest signifikanta bitplanet av en bild el- ler ram av sändaren, - att det mest signifikanta bitplanet mottages av mottagaren, - att en segmentering och rörelse-estimering utförs både i sända- ren och i mottagaren på grundval av detta mest signifikanta bit- plan, - att efterföljande bitplan i samma ram eller bild segmenteras och rörelsekompenseras på grundval av rörelse-estimeringen och sänds av sändaren.

2. Förfarande enligt krav 1, kännetecknat av att en ny, inkremen- tell segmentering och en ny, inkrementell rörelse-estimering ut- förs i sändaren och i mottagaren efter varje efterföljande över- fört bitplan hos bilden eller ramen, där den nya segmenteringen och den nya rörelse-estimeringen endast använder de överförda och tidigare överförda bitplanen hos bilden eller ramen.

3. Förfarande enligt krav 2, kännetecknat av att varje ny, inkre- mentell segmentering och rörelse-estimering används i kodningen av efterföljande bitplan hos ramen eller bilden.

4. Förfarande enligt något av kraven 1 - 3, då bilderna är färg- bilder, kännetecknat av att - var och en av signalkomponenterna i färgbilden bitplankodas, - vart och ett av bitplanen ges ett ordningsnummer motsvarande dess signifikans, - bitplanen i ramen eller bilden överförs i en ordning motsvaran- de de ordningstal som de har givits.

5. Förfarande enligt krav 4, kännetecknat av att endast de M första, mest signifikanta, bitplanen hos en ram eller bild över- förs med inkrementell rörelse-estimering och segmentering, där M är ett positivt heltal mindre än eller lika med antalet bitplan 507 410 10 per bild eller ram och satt av en användare eller automatiskt satt i sändaren och mottagaren, och att de återstående bitplanen rörelse-estimeras och segmenteras i enlighet med parametrar här- ledda från de M först överförda bitplanen.

6. Förfarande enligt något av kraven 4 - 5, kännetecknat av att bitplanen motsvarande luminanskomponenten i bilden anses vara de mest signifikanta.

7. Förfarande enligt något av kraven 4 - 6, kännetecknat av att de bitplan vilka motsvarar färgkomponenter av färgbilden inte an- vänds i den inkrementella segmenteringen och inkrementella rörel- se-estimeringen.

8. Förfarande enligt något av kraven 1 - 7, kännetecknat av att segmenteringarna och rörelse-estimeringarna utförs både i sända- ren och i mottagaren enligt samma algoritm eller procedur.

9. Förfarande enligt något av kraven 1 - 8, kännetecknat av att sändaren återskapar det av mottagaren mottagna bitplanet.

10. Förfarande enligt något av kraven 1 - 9, kännetecknat av att den använda segmenteringen är en föremålsbaserad segmentering.

11. Förfarande enligt något av kraven 1 - 10, kännetecknat av att varje rörelsekompenserat segment i ett bitplan klassificeras en- ligt en lyckad/icke-lyckad procedur och att rörelsekompenserade segment som bestämts att vara icke-lyckade inte rörelsekompense- ras och i stället kodas i enlighet med någon algoritm som utnytt- jar rumsredundansen i segmentet.

12. Anordning för att överföra bitplankodade och eventuellt kom- primerade rörliga bilder bestående av bilder eller ramar som ge- nomgår en rörelse-estimering, innefattande en sändare och en mot- tagare, kännetecknad av - att sändaren är anordnad att först överföra det mest signifi- kanta bitplanet i en ram, - att mottagaren är anordnad att mottaga det mest signifikanta bitplanet, 507 410 ll - att anordningen innefattar segmenteringsorgan och rörelse-esti- meringsorgan för att utföra en segmentering och en rörelse-esti- mering, både i sändaren och mottagaren på grundval av detta mest signifikanta bitplan, och - att sändaren innefattar organ kopplade till rörelse-estime- ringsorganen för att utföra en rörelsekompensering för överföring av ett efterföljande bitplan i ramen eller bilden som är segmen- terad och rörelsekompenserad på grundval av rörelse-estimeringen.

13. Anordning enligt krav 12, kännetecknad av att segmenteringe- och rörelse-estimeringsorganen i sändaren och i mottagaren är anordnade att utföra en ny, inkrementell segmentering, en ny, inkrementell rörelse-estimering efter varje efterföljande över- fört bitplan av bilden eller ramen, vilka organ endast använder information från det överförda och tidigare överförda bitplanen hos bilden eller ramen.

14. Anordning enligt krav 13, kännetecknad av organ i sändaren kopplade till segmenterings- och rörelsekompenseringsorganen för att koda efterföljande bitplan med användning av den nya, inkre- mentella segmenteringen och en rörelsekompensering baserad på den nya, inkrementella rörelse-estimeringen.

15. Anordning enligt något av kraven 12 - 14, då bilderna är färgbilder, kännetecknad av - organ för att bitplankoda varje signalkomponent i färgbilden, - organ i sändaren för att tilldela varje bitplan ett ordnings- nummer, vilket nummer motsvarar bitplanets signifikans, och - organ i sändaren för att sända bitplanen hos ramen eller bilden i en ordning som motsvarar de tilldelade ordningstalen.

16. Anordning enligt krav 15, kännetecknad av att sändningsorga- nen är anordnade att endast sända de M första bitplanen av en ram eller bild med en inkrementell segmentering och rörelse-estime- ring, där M är ett positivt heltal mindre än eller lika med anta- let bitplan per ram eller bild och satt av en användare eller automatiskt satt i sändaren och i mottagaren.

17. Anordning enligt något av kraven 15 - 16, kännetecknad av att 507 410 12 tilldelningsorganen är anordnade att tilldela ordningstalet på ett sådant sätt att de bitplan som motsvarar luminanskomponenten av färgbilden anses vara de mest signifikanta.

18. Anordning enligt något av kraven 15 - 17, kännetecknad av att segmenterings- och rörelse-estimeringsorganen i sändaren är an- ordnade att bestämma att de bitplan som motsvarar färgkomponen- terna av bilden inte används för segmenteringen eller rörelse- estimeringen.

19. Anordning enligt något av kraven 12 - 18, kännetecknad av att organen för att utföra segmenteringen och rörelse-estimeringen både i sändaren och i mottagaren är anordnade att arbeta enligt samma algoritmer eller procedurer.

20. Anordning enligt något av kraven 12 - 19, kännetecknad av organ i sändaren för att återskapa det av mottagaren mottagna bitplanet.

21. Anordning enligt något av kraven 12 - 20, kännetecknad av att segmenteringsorganen i sändaren och i mottagaren är anordnade att utföra föremâlsbaserad segmentering.

22. Anordning enligt något av kraven 12 - 21, kännetecknad av - organ kopplade till rörelsekompensationsorganen och till seg- menteringsorganen för att klassificera varje rörelse-kompenserat segment i ett bitplan enligt en lyckad/icke-lyckad procedur och - organ för att koda rörelsekompenserade segment, vilka bestämts vara icke-lyckade enligt någon algoritm som utnyttjar rumsredun- dansen i ett segment.