SE512840C2 - Förfarande och anordning för förlustfri kodning av ett intressant område vid överföring av en stillbild - Google Patents

Description

15 20 25 30 35 512 840 2 del benämns vanligen intressant område ("Region Of Interest", ROI). En tillämpning där detta kan vara användbart är till exempel medicinska databaser. I några fall är det också önskvärt eller ett krav att det intressanta området överförs förlustfritt, viktig. medan kvaliteten för resten av bilden är mindre Ett förfarande som kan användas för att koda stillbilder är den wavelet-baserade S+P-transformen. S+P-transformen är helt reversibel och kan utföras direkt utan minnesexpansion. S+P- transformen beskrivs i A. Said och W.A. Pearlman, "Reversible image compression via multiresolution representation and predictive coding", in Proc. SPIE Conf. Visual Communications and Image Processing '93, Cambridge, MA, november 1993, Proc.

SPIE 2094, sid 664-674, referens. vilken införlivas häri genom Den består av S-transformen, se V.K. Heer och H-E.

Reinfelder, "A comparison of reversible methods for data SPIE, volym 1233 Med. sid 354- som också införlivas häri genom referens och som Proc. Imag. IV, compression", 365, 1990, är en pyramidsubbandsuppdelning och där en prediktion används för att ta bort återstående redundanser från högfrekvenssubbanden. Framåttransformationen utförs genom att använda en subbandsuppdelning flera gånger. Inversen fås genom att använda motsvarande uppdelningar i omvänd ordning.

I J. Ström, "Medical image compression with lossless regions of interest", Signal Processing 59, nr 2, (1997) 155-171 beskrivs hur en förlustfri ROI kan beräknas ur S-transformen.

P. C. Cosman, juni Om man emellertid försöker använda en sådan teknik för den wavelet-baserade S+P-transformen, det vill säga förlustfri överföring av ROI och en förlustbehäftad öveföring av resten av bilden, kan ingen enkel lösning användas.

Således finns det idag ingen förlustfri ROI-kodning av en S+P transformerad bild. Detta beror på det faktum att inte är 10 15 20 25 30 35 512 840 3 enkelt välja ut information från den ursprungliga S+P-trans- formerade bilden som skall överföras i syfte att erhålla en perfekt, förlustfri rekonstruktion of ROI:t, utan att över- föra hela bilden förlustfritt.

REDOGÖRELSE FÖR UPPFINNINGEN Det är ett syfte med föreliggande uppfinning att lösa problemet med hur data skall väljas i en S+P-transformerad bild i syfte att erhålla en förlustfri ROI i en mottagare.

Detta syfte erhålls genom att beräkna en mask för ROI:t såsom kommer att beskrivas nedan.

I syfte att erhålla ett perfekt återskapat ROI samtidigt som en viss kompression bibehålls behöver således bitar sparas genom att skicka mindre information om bakgrunden eller den av bilden som inte är intressant eller åtminstone vänta med denna information till ett senare steg i överföringen.

För att göra detta beräknas en förlustfri mask. Masken är ett bitplan som indikerar vilja waveletkoefficienter som behöver överföras exakt om mottagaren skall kunna återskapa det önskade området perfekt. I fallet då ett ROI i en bild väljs att vara förlustfritt bör A-prediktorn som används i S+P- transformen som hänvisas till ovan användas.

Detta beror på att då A-prediktorn används utförs ingen prediktion av högre frekvenser med hjälp av högre frekvenser.

Om detta vore fallet, referensen ovan, skulle ett möjligt fel kunna propagera hela vägen till bildens kant och också in i ROI:n och göra det omöjligt att åstadkomma ett förlustfritt ROI. såsom i C-prediktorfallet, se Masken beräknas genom att följa samma steg som framåt S+P- det vill säga spåra inverstransformen baklänges.

Till att börja med är masken en binär karta över ROI, så att den är 1 inuti ROI:t och 0 utanför. Vid varje steg uppdateras den rad för rad och sedan kolumn för kolumn. Vid varje steg transformen, uppdateras masken så att den kommer att indikera vilka 10 15 20 25 30 35 512 840 4 koefficienter som behövs exakt vid detta steg för den inversa S+P-transformen för att återskapa koefficienterna i den tidigare masken exakt.

Det sista steget vid invers S+P är uppdelning av två subband.

För att spåra dessa steg baklänges skapas koefficienterna i de två subbanden som behövs exakt. Det näst sista steget är en uppdelning av fyra subband till två. För att spåra dessa steg baklänges skapas koefficienterna i de fyra subbanden som behövs för att ge en perfekt rekonstruktion av koefficienterna som finns i masken för två subband.

Alla steg spåras sedan bakåt för att skapa en mask som implicerar följande: Om koefficienterna som svarar mot masken överförs och mottas exakt, och den inversa S+P-transformen (med A-prediktorn) beräknas på dessa kommer det önskade ROI:t att àterskapas perfekt.

För att spåra ett steg bakåt på en viss rad, när Xm(n) är masken före steginverteringen, Lm(n) och Hm(n) är maskerna för låg- och högfrekvens-subbanden efteråt, utförs följande steg: För S+P med A-prediktor: For all n in [Lä] do: H,,(n) =1 I f {XM(z»)=1}0R{X,.(2n + 1) =1} , o annars Lm(n) = 1 I f {X,..(2n - 2) = 1}0R{Xm(2n -1) = 1}0R {X,.(zn) = 1}oR{X,,.(z» + 1) = 1}oR {X,.(2n + 2) =1}0R{X,..(2n + 3) =1} , o annars Således sätts den binära masken för làgfrekvenssubbandet respektive högfrekvenssubbandet till en binär etta, det vill säga motsvarande koefficienter skall överföras i syfte att erhålla en förlustfri ROI om ovan nämnda villkor är uppfyllda. 10 15 20 25 30 35 512 840 s För att erhålla synkronisering finns samma mask både i kodaren och avkodaren. Efter ett visst steg kan skippning kopplas på och bakgrundslistingångar detekteras. Dessa är de som svarar mot uppsättningar som inte innehåller några koefficienter som är avsedda för exakt överföring med den förlustfria masken. Bakgrundslistsingångarna kan då skippas totalt,läggas i en väntelista för senare förbättring eller ges en lägre prioritet i någon form av interleaving-schema.

Vidare behöver inte formen på ROI:t vara definierat före överföringen och kan därför specificeras antingen av sändaren eller mottagaren vid något steg i överföringen.

ROI:t kan också bildas av två eller flera delar som inte är i kontakt med varandra. Tekniken används då på samma sätt.

KORTEATTAD BESKRIVNING AV RITNINGARNA Föreliggande uppfinning kommer nu att beskrivas mer i detalj med hjälp av icke-begränsande exempel och med hänvisning till de bilagda ritningarna, på vilka: - Figur l är ett allmänt överföringsschema som använder S+P-transformer.

- Figur 2a och 2b som visar flödesscheman som visar steg vid kodning av ROI för en S+P-transformerad stillbild.

- Figur 3a-3b visar beräkningen av en förlustfri mask för olika subbandsteg.

BESKRIVNING AV FÖREDRAGNA UTFÖRINGSFORMR I figur 1 visas ett allmänt överföringsschema som använder S+P-transformen. Systemet innefattar ett S+P-kodningsblock 101, som är anslutet till ett ROI-kodningsblock 103. S+P- blocket 101 kodar en inbild i enlighet med SP-transformen som hänvisas till ovan. Kodaren 101 kan mottaga information om en det vill säga ROI från en mottagare eller avkodare 107 över en kanal 105. viss del av bilden som är intressant, Informationen vidarebefordras då till ROI-blocket 103 som beräknar koefficienterna vid den S+P-transformerade bilden som bör överföras i syfte att förse avkodaren 107 med en 10 15 20 25 30 35 512 840 s förlustfri ROI. Avkodaren 107 är ansluten till ett block 109 där motsvarande ROI-avkodning kan utföras.

I figurerna 2a och 2b visas flödesscheman som visar de olika stegen som utförs i ROI-blocket 103 i figur 1 när ROI:n för en S+P-transformerad stillbild beräknas.

Således utförs följande kodning i ROI-blocket 103 i figur 1.

Först påbörjas kodningprocessen i ett block 201. Därefter initieras beräkningen av en ROI-mask i ett block 203.

Därefter sätts den horisontella subbandlängden lika med den horisontella bildstorleken och den vertikala subbandlängden sätts lika med den vertikala bildstorleken i ett block 205.

Sedan betraktas i ett block 207 den första subbandnivån svarande mot transformens första nivå, det vill säga den högsta frevensoktaven av banden och proceduren fortsätter till ett block 209 i vilket den första horisontella raden betraktas. Därefter uppdateras den horisontella raden i ett block 211. Uppdateringsproceduren beskrivs närmare nedan i samband med figur 2b.

Därefter ökas det horisontella radnumret med ett i ett block 213 och sedan kontrolleras det i ett block 215 om det horisontella radnumret är mindre än eller lika med den vertikala subbandlängden. Om detta är fallet àtergàr processen till blocket 211 och annars fortsätter den till ett block 217.

I blocket 217 betraktas det första vertikala radnumret.

Därefter i ett block 219 uppdateras det vertikala radnumret i enlighet med proceduren som beskrivs i samband med figur 2b.

Därefter ökas i ett block 221 det vertikala radnumret med ett och sedan i ett block 223 kontrolleras det om det vertikala radnumret är lika med eller mindre än den vertikala subbandlängden. Om detta är fallet återgår processen till blocket 219 och annars fortsätter den till ett block 225. 10 15 20 25 30 35 512 840 7 I blocket 225 divideras både den horisontella subbandlängden och den vertikala subbandlängden med två. Därefter kontrolleras det i ett block 227 om detta var den sista nivån. Om detta är fallet fortsätter processen till ett block 229 i vilket processen avslutas och annars återgår den till blocket 209.

I figur 2b beskrivs proceduren som utförs i blocken 211 och 217 i figur 2a närmare. Således börjar proceduren i ett block 251. Därefter sätts en parameter n svarande mot ordningstalet för raden som skall uppdateras till noll i ett block 253.

Därefter utvärderas det i ett block 255 om koefficient nr n i raden som skall uppdateras behövs för att erhålla en förlustfri ROI eftersom den behövs för en prediktion av (2n-2), (2n-1), (2n), (2n+l), (2n+2) och koefficenterna (2n+3).

Således fortsätter proceduren till ett block 257 om masken före inverteringssteget är en binär etta för (2n-2), (2n-1), (2n), (2n+1), (2n+2) (2n+3) och annars fortsätter proceduren till ett block 259. I blocket 257 sätts koefficienten n i raden som för närvarande uppdateras till en binär etta (PÅ), det vill säga koefficienten behövs för att erhålla en förlustfri ROI, och i blocket 259 sätts koefficienten n i raden för närvarande uppdateras till en binär nolla (AV). Därefter fortsätter proceduren från blocken 257 respektive 259 till ett block 261. eller I blocket 261 kontrolleras det om koefficientnumret (n + m/2), uppdateras behövs för att erhålla en förlustfri ROI. Om resultatet i 261 är ja fortsätter proceduren till ett block 263 och annars fortsätter den till ett block 265. där m är längden på den rad som för närvarande (n + m/2) i raden som för närvarande uppdateras till en binär ett (PÅ) proceduren fortsätter sedan till ett block 267. (n + m/2) (AV) I blocket 263 sätts koefficientnummer och I blocket 265 sätts koefficient nummer i raden som för närvarande uppdateras till en binär nolla och proceduren fortsätter 10 15 20 25 30 35 40 512 840 8 sedan till ett block 267.

I blocket 267 ökas n med ett och proceduren fortsätter sedan till ett block 269. I blocket 269 kontrolleras det om n är mindre än radlängden delat med 2, det vill säga om n < m/2.

Om detta är fallet återgår proceduren till blocket 255 och annars fortsätter proceduren till ett block 271 i vilket proceduren avslutas.

Förfarandet för att beräkna den förlustfria masken för ROI:t kan också uttryckas som pseudokod såsom visas nedan. update_line(line) { for(n=O;n { if argument_line[2n-2] OR argument_line[2n-1] OR argument_line[2n ] OR argument_line[2n+1] OR argument_line[2n+2] OR argument_line[2n+3] { /*turn on low*/ return_line[n]=ON; } else return_line[n]=OFF; if argument_line[2n ] OR argument_line[2n+l] { /*turn on high*/ return_line[n+line_length/2]=ON; } else.return_line[n+line_length/2]=OFF; Make_lossless_mask { Make_ROI_mask();/*obtain a mask of the ROI in the image plane*/ /*level loop*/ horizontal_subband_length=horizontal_image_size; vertical_subband_length=vertical_image_size; 10 15 20 25 30 35 40 512 840 9 for(all_levels_of_the_transform) { /*horizontal split*/ for(line=O;line { update_horizontal_1ine(line); /*vertical split*/ for(line=0;line { update_vertical_line(line); horizontal_subband_length/=2; vertical_subband_length/=2; I figurerna 3a - 3e visas de binära bitmaskerna som erhålls vid olika nivåer eller steg. Således visas i figur 3a masken för det önskade ROI:t i bildplanet, till exempel området som överförs från mottagaren till sändaren i beskrivningen ovan.

I figur 3b visas den binära masken för koefficienterna som behövs vid det andra subbandssteget. visas motsvarande masker för det fjärde, I figurerna 3c - 3e femte respektive sjunde subbandssteget.

Vidare är det möjligt att ändra formeln, storleken och läget för ROI:t under överföringen när förfarandet och anordningen som beskrivs häri används. De enda steg som behöver utföras är överföring av en begäran om ett annat ROI från mottagaren till sändaren, som då kan beräkna en ny mask svarande mot det nya ROI:t och sedan överföra koefficienterna som svarar mot denna nya mask till mottagaren. Begäran om ett annat ROI kan också alstras pà ett annat ställe än i mottagaren, till exempel av att ett program i sändaren. En sådan funktion kan vara mycket användbar i många tillämpningar. Det är till exempel inte alltid som mottagaren mottager det ROI som han/hon önskar. I detta fall kan han/hon sända en begäran om 10 15 20 512 840 10 ett större ROI eller t.om. ett helt annat ROI.

Därför är sändaren i en föredragen utföringsform försedd med organ för att mottaga ett nytt ROI från, till exempel, en mottagare under överföring av en bild, och för att beräkna en mask svarande mot ett sådant nytt ROI. Ett nytt ROI kan då överföras från sändaren till mottagaren.

Således har ett förfarande och en anordning för att överföra S+P-transformerade, kodade, digitaliserade bilder som använder en maskin med vars hjälp ett intressant område (ROI) kan överföras förlustfritt utan att behöva överföra resten av den digitaliserade bilden beskrivits. Användningen av masken gör det möjligt att överföra och mottaga ROI:t förlustfritt och ändå bibehålla ett gott kompressionsförhållande for bilden som helhet. Detta är möjligt eftersom inga eller mycket få behöver användas för resten av bilden.

Vidare kan en mask som beräknas i enlighet med principerna som beskrivs häri användas för att överföra koefficienterna som behövs för att erhålla en förlustfri ROI när som helst under överföringen.

Claims (8)

10 15 20 25 30 35 512 84Û n PATENTKRAV

1. Förfarande för förlustfri överföring av ett ROI av en S+P- kännetecknat av att en mask beräknas som indikerar koefficienterna i den S+P- transformkodad digitaliserad bild, transformerade bilden som svarar mot ROI och att dessa koefficienter överförs. kännetecknat av att koefficienterna i den S+P-transformerade bilden som svarar mot ROI:t överförs under överföringens tidigare steg i syfte att erhålla en förlustfri ROI i en mottagare och en i övrigt förlustbehäftad bild.

2. Förfarande enligt krav 1,

3. Förfarande enligt något av krav 1-2, kännetecknat av att masken erhålls genom att spåra ett steg bakåt på en separat rad och att följande steg då utförs: - sätt H».(n)=1 om {Xm(2n)=l}0R{Xm(2n+1)=1} ,och O annars - sätt L,,(n)=1 om {X,.(zn-z)=1}o1z{Xm(2n-1) =1}0R {X,..(2n) = 1}0R{X,.(2n + 1) = 1}0R {x¿zn+zy=qoR§r4m«+3=1}, och o annars för alla n i [råldär Åh@)är masken före inverteringssteget, Lfln) och khßfi är maskerna för lág- och högfrekvenssubbandet efteråt och där n är numret för en koefficient i raden som uppdateras.

4. Förfarande enligt av krav 1-3, då en begäran om en ny mask mottages, kännetecknat av att en ny mask svarande mot det nya ROI:t beräknas och att motsvarande koefficienter överförs.

5. Anordning för förlustfri ROI-överföring av en S+P- transformkodad digital bild, kännetecknad av - organ för att beräkna en mask som indikerar de koefficienter i den S+P-transformerade bilden som svarar mot ROI:t. 10 15 20 512 840 12

6. Anordning enligt krav 5, kännetecknad av - organ för att överföra koefficienterna i den S+P- transformerade bilden som svarar mot ROI:t i de tidigare överföringsstegen i syfte att erhålla ett förlustfritt ROI i en mottagare och en i övrigt förlustbehäftad bild.

7. Anordning enligt något av kraven 5-6, kännetecknad av - organ för att erhålla masken genom att spåra ett steg bakåt på en separat rad och att följande steg då utförs: - sätt Hm(n)=1 om {X».(2n)=1}oR{X.(zn+1)=1} ,och o annars - sätt Lm(n)=1 om {X,..(2n-2)=1}0R{Xm(2n-1)=1}0R {X,.(2n) = 1}0R{X».(2n + 1) = 1}0R {X..(zn+z)=1}01z{X..(zn+3)=1}, och o annars för alla n i {r%]där Åhbflär masken före inverteringssteget, Lflfl och Ehfifi är maskerna för låg- och högfrekvenssubbandet efteråt och där n är numret för en koefficient i raden som uppdateras.

8. Anordning enligt något av kraven 5-7, kännetecknad av - organ för att beräkna en ny mask när en begäran om ett nytt ROI mottages.