SE513353C2 - Partiell hämtning av bilder i den komprimerade domänen - Google Patents
Partiell hämtning av bilder i den komprimerade domänenInfo
- Publication number
- SE513353C2 SE513353C2 SE9803593A SE9803593A SE513353C2 SE 513353 C2 SE513353 C2 SE 513353C2 SE 9803593 A SE9803593 A SE 9803593A SE 9803593 A SE9803593 A SE 9803593A SE 513353 C2 SE513353 C2 SE 513353C2
- Authority
- SE
- Sweden
- Prior art keywords
- client
- server
- image
- request
- information
- Prior art date
Links
- 238000000034 method Methods 0.000 claims abstract description 50
- 239000003550 marker Substances 0.000 claims abstract description 18
- 230000005540 biological transmission Effects 0.000 claims description 15
- 230000000977 initiatory effect Effects 0.000 claims description 3
- 238000012790 confirmation Methods 0.000 abstract description 5
- 230000008569 process Effects 0.000 description 30
- 238000012546 transfer Methods 0.000 description 13
- 230000004044 response Effects 0.000 description 9
- 230000003993 interaction Effects 0.000 description 8
- 238000012795 verification Methods 0.000 description 6
- 230000000694 effects Effects 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000006870 function Effects 0.000 description 2
- 238000012545 processing Methods 0.000 description 2
- 230000001131 transforming effect Effects 0.000 description 2
- 230000003044 adaptive effect Effects 0.000 description 1
- 238000004891 communication Methods 0.000 description 1
- 230000006835 compression Effects 0.000 description 1
- 238000007906 compression Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000010586 diagram Methods 0.000 description 1
- 230000002452 interceptive effect Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000000717 retained effect Effects 0.000 description 1
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/327—Initiating, continuing or ending a single-mode communication; Handshaking therefor
- H04N1/32765—Initiating a communication
- H04N1/32771—Initiating a communication in response to a request, e.g. for a particular document
- H04N1/32776—Initiating a communication in response to a request, e.g. for a particular document using an interactive, user-operated device, e.g. a computer terminal, mobile telephone
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/00127—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture
- H04N1/00204—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server
- H04N1/00244—Connection or combination of a still picture apparatus with another apparatus, e.g. for storage, processing or transmission of still picture signals or of information associated with a still picture with a digital computer or a digital computer system, e.g. an internet server with a server, e.g. an internet server
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
- H04N1/32—Circuits or arrangements for control or supervision between transmitter and receiver or between image input and image output device, e.g. between a still-image camera and its memory or between a still-image camera and a printer device
- H04N1/327—Initiating, continuing or ending a single-mode communication; Handshaking therefor
- H04N1/32765—Initiating a communication
- H04N1/32771—Initiating a communication in response to a request, e.g. for a particular document
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- General Engineering & Computer Science (AREA)
- Computing Systems (AREA)
- Compression Or Coding Systems Of Tv Signals (AREA)
- Compression Of Band Width Or Redundancy In Fax (AREA)
- Computer And Data Communications (AREA)
- Facsimiles In General (AREA)
- Information Transfer Between Computers (AREA)
Description
513 353 2 av en ny kodning av hela bitströmmen om ett ROI väljs på grund av bristen på oberoende avkodningsbara enheter. Beroende på servermjukvaran mäste den ibland till och med åter ladda ner bilden från lagringsmediet. Nackdelen med detta är att ett tidskrävande och beräkningsmässigt komplext schema krävs vilket ställer höga krav på beräkningskraft i servern.
Vidare används i stillbildsstandarden JPEGZOOO som är under utveckling oberoende entropikodning av s k kodningsenheter (coding unit CU). En kodningsenhet kan exempelvis vara ett subband i transformdomänen, i exempelvis fallet med wavelet- transformern en del av ett subband, såsom ett bitplan eller block med viss storlek (exempelvis 16x16), eller ett bitplan för ett område i ett subband.
Redogörelse för uppfinningen Det är ett syfte med föreliggande uppfinning att övervinna problemen som beskrivs ovan och särskilt att minska mängden beräkning och kodning i en server dà en klient begär ett ROI eller en del av bilden.
Detta syfte och andra uppnås genom att lagra bilder som en uppsättning oberoende avkodningsbara enheter (CU) på en ser- ver. Dä en klient begär en viss del av bilden mäste endast in- formation från de CU som inte redan har överförts omkodas vil- ket sparar en stor mängd processortid i servern.
Anta exempelvis att en klient avger en begäranserie efter bildinformation. Varje begäran innehåller ett begärannummer, information om vilken bildinformation som klienten vill se härnäst och information om vilken bildinformation klienten har mottagit vid tidpunkten då begäran avgavs. Servern behöver inte lagra någon tillstàndsinformation (exempelvis tidigare begäranden). Vid mottagning av en begäran sänder servern en omstartmarkör, en bekräftelse på begârannumret och inkremen- tell bildinformation svarande mot begäran. 513 353 3 Användning av förfarandet och systemet som beskrivs hári kommer att leda till att ingen avkodning av hela bitströmmen krävs i servern. Detta kommer att spara mycket tid på sändar- sidan (serversidan) eftersom den inte behöver utföra en full- ständig avkodning av strömmen.
Kortfattad beskrivning av ritningarna Föreliggande uppfinning kommer nu att beskrivas närmare och med hänvisning till de bilagda ritningar, på vilka: - Fig. 1 visar grundstegen som utförs i en klient- server- process.
- Fig. 2 visar stegen som utförs i en klient-serverprocess enligt en första utföringsform.
- Fig. 3 visar stegen som utförs i en klient-serverprocess enligt en andra utföringsform.
- Fig. 4 visar stegen som utförs i en klient-serverprocess enligt en tredje utföringsform.
- Fig. 5 visar stegen som utförs i en klient-serverprocess enligt ett första alternativ för den tredje utföringsformen.
- Fig. 6 visar stegen som utförs i en klient-serverprocess enligt ett andra alternativ enligt den tredje utföringsformen.
- Fig. 7 visar stegen som utförs i en klient-serverprocess enligt ett tredje alternativ enligt den tredje utförings- formen.
- Fig. 8 visar stegen som utförs i en klient-serverprocess enligt en fjärde utföringsform.
Beskrivning av föredraga utföringsformer I fig. l visas grundläggande interaktion mellan en klient och en server. Således begär klienten först en bild, steg 101.
Därefter i ett steg 103 påbörjar servern överföring av bilden till klienten. Klienten begär sedan vid något tillfälle under 513.353 4 överföringen en del av bilden, som för närvarande överförs, steg 105. Servern börjar som svar på begäran i steg 105 att sända den begärda delen, steg 107. Klienten kan också begära ytterligare delar av bilden när som helst såsom indikeras i steg 109. Överföringen kan avbrytas när som helst på en lägre protokollnivà, såsom TCP eller HTTP.
I den följande beskrivningen och på motsvarande ritningar används följande definitioner, syntax och notation: - En kodningsenhet (CU) är en del av en bitström som är obe- roende avkodningsbar. Således är det möjligt att avkoda en viss del av bitströmmen utan att avkoda hela strömmen.
- En TAG eller en omsynkningsmarkör är en kombination av bitar som inte kan alstras av entropikodaren.
Syntaxelement i klient-serverprocessen Flera detaljerade exempel pá en grundläggande klient- serverprocess beskrivs nedan. De svarar mot olika specifika format för syntaxelementen i klient-serverprocessen. kan ha följande format: - = sänd första subband - ll sänd första bitplan sänd första subband av ROI - - = sänd första bitplan för ROI - = sänd (som beskriver vilka CU som begärs. kan ha följande format: - = bitar/byte/CU mottagna - = CU mottagen ... , där är 515 353 5 numret som tilldelats ett mottaget CU.
Version l ånvânds tillsammans med ett átersändande och paketbestàllande överföringsprotokoll såsom TCP. Version 2 används med ett förbindelselöst bàsta-försököverförings- protokoll såsom UDP. kan ha följande format: - = svarande mot första av återstående subband - = svarande mot första av återstående bitplan - = svarande mot första av återstående subband i ROI - = svarande mot första återstående bitplan av ROI - = svarande mot CU specificerat i 513 355 6 Ytterligare olika format av är möjliga: - = ...
CUN> ... - = <1ängd CU2> - = ...
N> - = ...
Bildheadern behövs inte eftersom den redan mottagits av klienten. innefattar en beskrivning av transkodningsoperationerna som utfördes pà originalbilden i syfte att alstra den transkodade bilden. Klienten använde denna information för att mappa CU fràn originalbilden till den transkodade bilden och mappa CU från den transkodade bil-den till originalbilden. används för att tala om för klienten att den transkodade bilden är lagrad på servern. Detta ger URL till den transkodade bilden. En time-out kan valfritt inklude- ras som indikerar att bilden kommer att sparas under endast specificerad tid.
I fig. 2 visas en första utföringsform av uppfinningen. I detta fall vill klienten accessa en del av den lagrade bilden.
Detta skulle kunna vara vissa bitplan, subband eller förlag- rade ROI. I detta fall har servern inga specialfunktioner för att spara pá begäran förutom de som finns i kommunikations- protokollet (exempelvis HTTP). En process för detta visas i fig. 2.
Klienten sänder en begäran om en lagrad bild, steg 201.
Bilden är lagrad som en komprimerad bitström och i ett format som innefattar oberoende kodade kodningsenheter (CU). Steg 203, 513 353 7 servern svarar och påbörjar överföringen. Steg 205, kli-enten beslutar att en del av bilden är viktigare. Klienten får information om var den är lagrad från bildheadern och sänder en begäran till servern om den önskade delen. Delen kan vara en ROI av bilddata som förbättrar hela bildens kvalitet. Steg 207, servern kanske nu sänder en omstartmarkör och påbörjar överföringen av de önskade CU.
Omstartmarkörfunktionaliteten kan också åstadkommas av ett lägre protokoll i starten, exempelvis TCP eller HTTP.
Omstartmarkören kan valfritt exkluderas om den kan härledas från information i de lägre protokollnivàerna.
I fig. 3 visas en annan typ av klient-serverprocess. I processen i fig. 3 utförs ingen avancerad behandling på ser- versidan. I exemplet som beskrivs i samband med fig. 3 börjar klienten motta en bild och mitt i överföringen beslutas sedan att en del av bilden är viktigare och endast denna del skall överföras. Detta skulle kunna vara ett antal bitplan, subband eller ROI. Det bör observeras att i detta fall skulle bilden kunna lagras med ett ROI men användaren vill välja ett annat ROI.
I ett sådant fall måste servern använda ytterligare funk- tioner för att hitta begärda delar av den komprimerade bilden.
Interaktionen mellan klienten och servern och operationerna på båda sidor kan ske på följande sätt, bekräftelsemeddelanden och liknande meddelanden visas inte för tydlighetens skull. De kan exempelvis använda IP, TCP/UDP, HTTP eller liknande proto-koll för sådana meddelanden.
Steg 301, en klient sänder en begäran efter en lagrad bild.
Bilden är lagrad som en komprimerad bitström och i ett format med oberoende kodande kodningsenheter (CU). Steg 303, servern svarar och påbörjar överföringen. Steg 305, klienten beslutar att en del av bilden är viktigare och om ett ROI väljs sänder 513 353 f 8 den också formen på det valda området och annan information som behövs. Detta skulle exempelvis kunna vara det kronolo-giska numret på begäran, antalet CU eller byte som mottagits, markerade med (*) i fig. 4. Vid denna tidpunkt har klienten skapat en mask i transformdomànen, exempelvis medelst använd- ning av förfarandet som beskrivs i Charilaos Christopoulus (utgivare), JPEG 2000 Verification Model Version 1.2, ISO/IEC JTCl/SC29/WG1 N982, 14 augusti 1998, som väljer koefficien- terna som behövs för att servern skall besluta vilka CU som behövs från servern.
Steg 307, servern får begäran. Servern använder information i bitströmmen, såsom TAGS, i syfte att hitta önskade CU. Ser- vern sänder nu en omstartmarkör och om det behövs längden på återstående CU. Den påbörjar sedan sändning av begärda CU.
I det följande behandlas situationen då en klient börjar med att motta en bild och sedan mitt i överföringen beslutar att någon del av bilden är viktigare och endast vill att denna del skall överföras. Detta är också känt som val av ROI. Det bör observeras att i detta fall kan bilden vara lagrad med ett ROI men användaren vill välja ett annat ROI. I exemplet nedan används JPEG2000 progressive-by-resolution (PBR) schemat. Ett liknande förfarande kan emellertid användas i progressive-by- accuracy (PBA) scheman, såsom beskrivs i Charilaos Christopou- lus (utgivare), JPEG 2000 Verification Model Version 1.2, ISO/IEC JTC1/SC29/WGl N982, 14 augusti 1998.
I fig. 4 visas progressive-by-resolution schemat i JPEG 2000. I PBR-moden i JPEG 2000 kan varje subband, på ett för- enklat sätt, ses som en kodningsenhet, CU, eftersom hela sub- bandet år oberoende entropikodat. Detta är fallet om den så kallade icke-adaptiva moden används, eftersom i detta fall ett subband är samma sak som en sekvens. Detta gör det möjligt att entropikoda alla subband oberoende om klienten vet var den .- »as 513 353 9 skall hitta det i bitströmmen. I den grundläggande moden av JPEG2000 stöds detta av en array, som lagras i bildheadern, som innehåller längden på varje CU i bit/byte. Således är det möjligt för klienten att söka igenom bitströmmen eftersom den vet längden på varje entropikodat subband.
Klienten sänder en begäran till en server och begår en lagrad bild. Bilden är lagrad som en komprimerad bitström.
Servern får bitströmmen och påbörjar överföringen. I en före- dragen utföringsform sker interaktionen mellan klienten och servern och operationerna på båda sidor på följande sätt, där bekräftelsemeddelanden och liknande meddelanden utelämnats för tydlighetens skull.
- Först sänder klienten en begäran om en lagrad bild. Bilden är lagrad som en komprimerad bitström och i ett CU-format.
- Servern svarar sedan och påbörjar överföringen. - vid något tillfälle under överföringen beslutar klienten att en del av bilden är viktigare och sänder formen på det valda området och annan information som behövs. Detta kan exempelvis vara det kronologiska numret på begäran, antalet CU eller byte som mottagits, markerade med (*) i fig. 4.
- Servern får sedan begäran och ROI och utför en entropiav- kodning för de CU som ännu inte har sänts. I detta fall är det de subband som ännu inte,har sänts. Entropiavkodningen ger de kvantiserade transformkoefficienterna. Servern skapar en mask i transformdomänen. Sedan kan servern välja koefficienterna som behövs för ROI, exempelvis genom användning av förfarandet som beskrivs i Charilaos Christopoulus (utgivare), JPEG 2000 Verification Model Version 1.2, ISO/IEC JTCI/SC29/WGl N982, 14 augusti 1998. Således väljer servern medelst användning av masken vilka koefficienter som behövs i varje återstående sub- band. De kvantiserade koefficienterna som hör till ROI entro- pikodas sedan subbandsvis. Således bibehålls samma CU-struk- 513 353 10 tur. Servern kan nu sända en omstartsmarkör och längderna på de CU som skall sändas och påbörjar sändning av CU.
- Klienten får svaret från servern som beskriver vilken typ av transkodning som har använts. Klienten skapar sedan den önskade masken i transformdomänen, exempelvis medelst använd- ning av förfarandet som beskrivs i Charilaos Christopoulus (utgivare), JPEG 2000 Verification Model Version 1.2, ISO/IEC JTCl/SC29/WG1 N982, 14 augusti 1998, som väljer koefficien- terna som behövs för svaret från servern.
Ur klientsynpunkt kommer resultatet bli att ROI har full upplösning medan bakgrunden kommer att ha en sämre upplösning (vilken skulle kunna förbättras i senare steg om förfarandet som beskrivs ovan som använder skiftning används). Hur mycket sämre beror på när ROI-begäran gjordes.
Om begäran om ROI träffar mitt i en CU, vilket är det mest sannolika fallet, finns det tvá vägar att välja på. Antingen sänds CU då begäran kom om eller så slutförs överföring av CU och sedan påbörjas omkodning.
I fallet med progressive-by-accuracy mode i JPEG2000 kan samma idé som i det föregående exemplet användas utan några större förändringar. I detta fall är ett CU ett bitplan. Säle- des beordras bitströmmen efter noggrannhet. Först överförs det högsta bitplanet och sedan det näst högsta och så vidare.
Interaktionen mellan klient och server och operationerna på båda sidor är följande, där bekräftelsemeddelanden och liknan- de meddelanden utelàmnats.
- Först sänder klienten en begäran efter en lagrad bild. Bil- den är lagrad som en komprimerad dataström och i ett CU-for- mat.
- Servern svarar och påbörjar överföringen.
- Klienten bestämmer att en del av bilden är viktigare och sänder formen på det valda området och viss annan information 51s 353 åë >f:?j;fi H som behövs. Detta skulle exempelvis kunna vara, kronologiskt nummer på begäran, antalet CU eller byte som mottagits, mar- kerade med (*) i fig. 4. Vid denna tidpunkt har klienten ska- pat en mask i transformdomänen, exempelvis medelst användning av förfarandet som beskrivs i Charilaos Christopoulus (ut- givare), JPEG 2000 Verification Model Version 1.2, ISO/IEC JTCl/SC29/WGl N982, 14 augusti 1998, som väljer koefficien- terna som behövs för svaret från servern.
- Servern får begäran efter ROI och utför en entropiavkodning för CU som ännu inte har sänts. I detta fall är det bitplanen som ännu inte har sänts. Entropiavkodning ger nu återstående delar av de kvantiserade transformkoefficienterna. Servern skapar en mask i transformdomänen. Sedan kan servern välja ko- efficienterna som behövs för ROI, exempelvis medelst använd- ning av förfarandet som beskrivs i Charilaos Christopoulus (utgivare), JPEG 2000 Verification Model Version 1.2, ISO/IEO JTC1/SC29/WGI N982, 14 augusti 1998. Således väljer servern medelst användning av masken vilka koefficienter som behövs i alla bitplan. De återstående delarna av de kvantiserade ko- efficienterna som hör till ROI entropikodas bitplanvis. Således bibehålls samma CU-struktur. Servern kan nu sända en omstartmarkör och längderna på CU som sänds och påbörja över- föring av CU.
I stället för att minska upplösningen på bakgrunden, som i det föregående exemplet, minskas noggrannheten på de pixel som inte hör till ROI. Detta görs genom att bara skippa de åter- stående bitplanen för bitplan som hör till bakgrunden.
Vid mottagning av en begäran transkodar servern original- bilden. Den transkodade bilden sänds antingen till en utbuf- fert, processerna Cl och C2 nedan eller postas som en ny bild, process C3 nedan. En klient kommer alltid att referera till en postad bild antingen originalbilden som i Cl eller C2, se ne- 513 353 12 dan, eller den postade transkodade bilden som i C3, se nedan.
Klienten är ansvarig för att transformera mellan bildformaten så att den mottagna bildinformationen som hör till original- bilden kan återanvändas i klientens kopia av den transkodade bilden. Framgångsrik återanvändning rapporteras till servern i meddelanden.
Klient-serverprocess Cl (Optimerad för nedladdnings- hastighet) Denna process skulle kunna starta utan någon tidigare över- föring av bildinformation. En klient-serverprocess enligt fal- len som beskrivs i samband med figurerna 2 eller 3 kan emel- lertid ha skett. Några CU i originalbilden kan ha överförts till klienten under denna process. Klienten känner till denna tidiga aktivitet men servern behöver inte lagra någon sådan tillståndsinformation.
- Klientbegäran l) - Serversvar l) (headern på den transkodade bilden sänds) Om klienten inte förstår det nya formatet kan den avbryta strömmen på TCP-nivå. En ny uppsättning klient-serverutbyten kan fortsätta. De kommer alltid att referera till original- bilden eftersom den transkodade bilden vanligen inte behålls av servern. Om en ny begäran enligt fallet inträffar kommer servern sedan vanligen att repetera transkodningsoperationen.
Servern kan besluta att spara en cachad kopia av den transko- dade bilden men detta kan inte förutsättas av klienten.
Klient-serverprocess C2 (optimerad för låg bandbredd) Denna process kan också påbörjas utan någon tidigare över- 513 353 13 föring av bildinformation. En klient-serverprocess enligt fal- len som beskrivs ovan i samband med figurerna 2 eller 3 kan emellertid ha skett. Några CU i originalbilden kan ha över- förts till klienten under denna process. Klienten känner till denna tidigare aktivitet men servern behöver inte lagra någon sådan tillstàndsinformation.
- Klientbegäran 1) - Serversvar 1) (servern har endast beräknat headern för den transkodade bilden. En fullständig transkodning har inte utförts).
- Klientbegäran 2) (klienten bekräftar att den kan hantera det transkodade formatet. Begäran upprepad eftersom servern inte har sparat den gamla begäran).
- Serversvar 2) (servern utför en fullständig transkodning och sänder bildfildatamängden till utbufferten).
Klient-serverprocess C3 (en transkodad bild postas av ser- vern) Denna process skulle kunna starta utan någon tidigare över- föring av bildinformation. En klient-serverprocess enligt fal- len som beskrivs ovan i samband med figurerna 2 eller 3 kan emellertid ha skett. Några CU i originalbilden kan ha över- förts till klienten under denna process. Klienten känner till denna tidigare aktivitet men servern behöver inte lagra någon sådan tillstàndsinformation.
- Klientbegäran 1) - Serversvar 1) 513 353 1?ïfé§Éf3 14 - Klientbegäran 2) (klienten adresserar nu den postade trans- kodade bilden på HTTP protokollnivå) (Klienten är ansvarig för transformering av CU från original- bilden till formatet för den transkodade bilden. Resultatet av dessa operationer placerat i ) - Serversvar 2) En ny uppsättning klient-serverutbyten kan fortsätta. De kan referera till originalbilden eller den transkodade bilden i enlighet med beslut av klienten.
Det bör observeras att i vissa situationer behövs inte an- talet mottagna CU eller bits/byte. Detta är fallet om klienten fortsätter att motta bilddata efter att begäran/begärandena har sänts. Servern sänder omstartsmarkören och kanske någon annan information i syfte att informera klienten att frán och med nu kommer det begärda bitplanet, subbandet eller ROI.
Nedan beskrivs ytterligare exempel pà interaktivt val av ROI under överföring av bit-strömmar då strömmen inte inne- håller önskat ROI. Exemplen visas med olika bit-strömformat till Ovan i samband med fig. 4 beskrivs PDR-moden och JPEG2000 kodaren. En modifiering av schemat som beskrivs ovan skulle vara att sända längden på CU tillsammans med data. Dvs när servern får begäran och ROI och utför entropiavkodning för CU som inte har sänts. I stället för att sända en omstartsmarkör och längderna pà de CU som skall sändas och påbörja över- föring av CU kan servern nu sända en omstartsmarkör och läng- den pá efterföljande CU.
Den resulterande klient-serverprocessen visas i fig. 5.
Detta kommer att resultera i att det inte finns något behov av 513 353 " 5 15 att sända om arrayen med CU-längder som visas i fig. 4.
Det är också möjligt att använda TAGS eller omsynkronise- ringsmarkörer i bitströmmen. Således kan CU markeras i bit- strömmen av ett bitmönster som inte alstras av entropikodaren i stället för att ha en array som beskriver längden på varje CU som ovan i samband med fig. 4. Bitströmmen genomsöks på ett sekvensiellt sätt i syfte att hitta olika kodningsenheter.
Interaktionen mellan klienten och servern och operationerna på båda sidor ändras så att i stället för att sända en omstart- markör och längden på CU som skall sändas och påbörja över- föring av CU kan servern sända en omstartsmarkör och en TAG innan motsvarande CU. Den resulterande klient-serverprocessen visas i fig. 6.
Det bör observeras att ett alternativt sätt är att använda TAGS efter varje CU eller header i stället för före CU som vi- sas i fig. 7. Således ändras interaktionen mellan klient och server och operationen på båda sidor så att i stället för att sända en omstartsmarkör och längderna på CU som skall sändas och påbörja överföringen av CU sänder servern en omstartmarkör och en TAG efter motsvarande CU.
En annan lösning skulle kunna vara att använda “skalnings- baserade förfaranden" i JPEG2000 för övriga subband. Detta be- tyder att ROI-masken för återstående subband fortfarande alst- ras men att ingen annan kodning av ROI-mask-koefficienterna måste utföras. ROI-maskkoefficienterna skalas upp med en viss faktor. Sedan fortsätter kodning av subbanden utan ändringar.
Skiftvärdet måste lagras i bitströmmen så att klienten kan skifta ner. Således ändras interaktionen mellan klient och server och operationerna på båda sidor så att i stället för att sända en omstartsmarkör och längden på CU som skall sändas och påbörja överföring av CU kan servern nu sända en omstart-markör och en TAG efter motsvarande CU. 513 353 ï .» 16 I schemana som beskrivs ovan i samband med fig. 4 - 7 behöver servern utföra en entropiavkodning och sedan en entro- pikodning av kvantiserade koefficienter. Detta är inte så bra om en riktig snabb access av olika delar av bilden önskas.
Lösningen på detta problem âr att bilden delas upp i block som är oberoende avkodningsbara. Dessa kommer att utgöra CU.
Interaktionen mellan klient och server och operationerna på båda sidor är följande som visas i fig. 8. Det bör observeras att bekrâftelsemeddelanden och liknande meddelanden uteläm- nats.
- Steg 801, klienten sänder en begäran om en lagrad bild.
Bilden är lagrad som en komprimerad bitström.
- Steg 803, servern svarar och påbörjar överföringen.
- Steg 805, klienten beslutar att en del av bilden är viktigare och skapar en mask i transformdomänen, se referens, som väljer nödvändiga CU. Önskade CU sänds till servern.
- Steg 807, servern får begäran och CU. Servern kan nu sända en omstartsmarkör och en TAG innan motsvarande CU.
Förfarandet och systemet som beskrivs häri åstadkommer ett antal fördelar jämfört med tidigare klient-serversystem för bildhämtning. Således behöver servern inget minne för att lag- ra information om vilka delar som har sänts. I den första ut- föringsformen behöver servern inte utföra någon behandling över huvud taget i syfte att ge klienten de önskade delarna av bitströmmen. Klienten kommer att få information om var de be- gärda delarna är lagrade ur bildheadern. I den första och and- ra utföringsformen behöver servern inte utföra någon entropi- avkodning, den behöver endast sända begärda CU. Således mins- kas överföringstiden dramatiskt. I den tredje utföringsformen behöver servern inte avkoda hela bitströmmen. Detta kommer att spara mycket tid på sàndarsidan (serversidan), eftersom den inte behöver fullständig avkodning av bitströmmen. 515 353 17 Förfarandet och systemet som beskrivits hàri kan också ut- ökas till att användas tillsammans med en videokomprimerings- algoritm som har oberoende avkodningsbara enheter i den kom- primerade vídeoströmmen.
Claims (14)
1. l. Förfarande för överföring av en bild, som är lagrad som ett antal oberoende avkodningsbara kodningsenheter, mellan en server och en klient, kânnetecknat av stegen att: - överföra en begäran om bilddata från klienten till servern, - starta överföring av begärda bilddata från servern till klienten, - överföra en begäran om en ny del av bilden under eller ef- ter överföring av denna och - överföra den begärda nya delen av bilden från servern till klienten genom att endast använda kodningsenheter som ännu inte överförts.
2. Förfarande enligt krav 1, kännetecknat av att bilden är lagrad i transformdomànen.
3. Förfarande enligt något av kraven 1 - 2, kânnetecknat av att varje begäran från klienten innefattar ett begäran- nummer.
4. Förfarande enligt något av kraven 1 - 3, kännetecknat av att varje begäran från klienten innefattar information om vilken bildinformation klienten är intresserad av och vilken information om bilden klienten redan har tillgång till.
5. Förfarande enligt något av kraven 1 - 4, kânnetecknat av att servern efter att ha sänt begärd information till kli- enten direkt kastar bort all information från klienten.
6. Förfarande enligt något av kraven l - 5, kännetecknat av att servern överför en markörkod innan överföring av be- gärda kodningsenheter.
7. Förfarande enligt något av kraven 1 - 6, kânnetecknat av att servern utför en transkodning innan överföring av den nya bilddelen. 513 353 19
8. Klient-serversystem, där bilder lagras som ett antal kodningsenheter i servern, kännetecknat av: - organ i servern för att ta emot en begäran om bilddata från klienten, - organ för att sända begärda bilddata från servern till klienten, - organ i servern för att ta emot en begäran om en ny del av bilden under eller efter överföring av denna och - organ i servern för att överföra den begärda nya delen av bilden från servern till klienten genom att endast använda kodningsenheter som ännu inte överförts.
9. System enligt krav 8, kännetecknat av organ för att lagra bilder i transformdomänen.
10. System enligt något av kraven 8 - 9, kånnetecknat av att varje begäran från klienten innefattar ett begärannummer.
11. ll. System enligt något av kraven 8 - 10, kânnetecknat av att varje begäran från klienten innefattar information om vilken bildinformation klienten är intresserad av och vilken information om bilden klienten redan har tillgång till.
12. System enligt något av kraven 8 - ll, kännetecknat av att servern är anordnad att direkt kasta bort all information som klienten har överfört efter att denna har behandlats.
13. System enligt något av kraven 8 - 12, kânnetecknat av att servern är anordnad att överföra en markörkod innan de be- gärda kodningsenheterna överförs.
14. System enligt något av kraven 8 - 13, kännetecknat av att servern är anordnad att utföra transkodning av kodnings- enheter som ännu inte överförts innan överföring av den nya bildddelen.
Priority Applications (12)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE9803593A SE513353C2 (sv) | 1998-10-21 | 1998-10-21 | Partiell hämtning av bilder i den komprimerade domänen |
CNB998123722A CN1166171C (zh) | 1998-10-21 | 1999-10-13 | 在压缩域中的图像局部检索方法和系统 |
AU14252/00A AU766874B2 (en) | 1998-10-21 | 1999-10-13 | Partial retrieval of images in the compressed domain |
KR1020017004901A KR100595400B1 (ko) | 1998-10-21 | 1999-10-13 | 압축된 도메인에서 영상의 부분 검색 |
CA002348622A CA2348622C (en) | 1998-10-21 | 1999-10-13 | Partial retrieval of images in the compressed domain |
JP2000577826A JP4764549B2 (ja) | 1998-10-21 | 1999-10-13 | 圧縮ドメインにおける画像の部分検索 |
DE69941743T DE69941743D1 (de) | 1998-10-21 | 1999-10-13 | Teiaufteilung von Bildern im komprimierten Bereich |
EP99970820A EP1127452B1 (en) | 1998-10-21 | 1999-10-13 | Partial retrieval of images in the compressed domain |
EP06012362A EP1715672B1 (en) | 1998-10-21 | 1999-10-13 | Partial retrieval of images in the compressed domain |
PCT/SE1999/001847 WO2000024188A1 (en) | 1998-10-21 | 1999-10-13 | Partial retrieval of images in the compressed domain |
DE69935729T DE69935729T2 (de) | 1998-10-21 | 1999-10-13 | Teilauffindung von bildern im kompromierten bereich |
US09/418,323 US7571382B2 (en) | 1998-10-21 | 1999-10-14 | Partial retrieval of images in the compressed domain |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
SE9803593A SE513353C2 (sv) | 1998-10-21 | 1998-10-21 | Partiell hämtning av bilder i den komprimerade domänen |
Publications (3)
Publication Number | Publication Date |
---|---|
SE9803593D0 SE9803593D0 (sv) | 1998-10-21 |
SE9803593L SE9803593L (sv) | 2000-04-22 |
SE513353C2 true SE513353C2 (sv) | 2000-08-28 |
Family
ID=20413027
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
SE9803593A SE513353C2 (sv) | 1998-10-21 | 1998-10-21 | Partiell hämtning av bilder i den komprimerade domänen |
Country Status (10)
Country | Link |
---|---|
US (1) | US7571382B2 (sv) |
EP (2) | EP1127452B1 (sv) |
JP (1) | JP4764549B2 (sv) |
KR (1) | KR100595400B1 (sv) |
CN (1) | CN1166171C (sv) |
AU (1) | AU766874B2 (sv) |
CA (1) | CA2348622C (sv) |
DE (2) | DE69941743D1 (sv) |
SE (1) | SE513353C2 (sv) |
WO (1) | WO2000024188A1 (sv) |
Families Citing this family (28)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5748786A (en) * | 1994-09-21 | 1998-05-05 | Ricoh Company, Ltd. | Apparatus for compression using reversible embedded wavelets |
US6549666B1 (en) * | 1994-09-21 | 2003-04-15 | Ricoh Company, Ltd | Reversible embedded wavelet system implementation |
US6873734B1 (en) * | 1994-09-21 | 2005-03-29 | Ricoh Company Ltd | Method and apparatus for compression using reversible wavelet transforms and an embedded codestream |
US6898323B2 (en) * | 2001-02-15 | 2005-05-24 | Ricoh Company, Ltd. | Memory usage scheme for performing wavelet processing |
US6895120B2 (en) * | 2001-03-30 | 2005-05-17 | Ricoh Co., Ltd. | 5,3 wavelet filter having three high pair and low pair filter elements with two pairs of cascaded delays |
US6950558B2 (en) * | 2001-03-30 | 2005-09-27 | Ricoh Co., Ltd. | Method and apparatus for block sequential processing |
US7062101B2 (en) * | 2001-03-30 | 2006-06-13 | Ricoh Co., Ltd. | Method and apparatus for storing bitplanes of coefficients in a reduced size memory |
US7581027B2 (en) * | 2001-06-27 | 2009-08-25 | Ricoh Co., Ltd. | JPEG 2000 for efficent imaging in a client/server environment |
US7284069B2 (en) | 2002-01-11 | 2007-10-16 | Xerox Corporation | Method for document viewing |
US7120305B2 (en) * | 2002-04-16 | 2006-10-10 | Ricoh, Co., Ltd. | Adaptive nonlinear image enlargement using wavelet transform coefficients |
JP2003333569A (ja) * | 2002-05-13 | 2003-11-21 | Sony Corp | ファイルフォーマット、情報処理システム、情報処理装置および方法、記録媒体、並びにプログラム |
US7734824B2 (en) | 2002-10-18 | 2010-06-08 | Ricoh Co., Ltd. | Transport of reversible and unreversible embedded wavelets |
FR2842378B1 (fr) * | 2002-07-15 | 2005-02-04 | Canon Kk | Procede et dispositif de traitement d'une requete ou de donnees numeriques compressees |
US7200615B2 (en) | 2003-10-16 | 2007-04-03 | Xerox Corporation | Viewing tabular data on small handheld displays and mobile phones |
US7620892B2 (en) | 2004-07-29 | 2009-11-17 | Xerox Corporation | Server based image processing for client display of documents |
US7721204B2 (en) | 2004-07-29 | 2010-05-18 | Xerox Corporation | Client dependent image processing for browser-based image document viewer for handheld client devices |
US7539341B2 (en) | 2004-07-29 | 2009-05-26 | Xerox Corporation | Systems and methods for processing image data prior to compression |
JP4831071B2 (ja) * | 2004-10-15 | 2011-12-07 | マイクロソフト コーポレーション | イメージ・データの通信および/または格納を管理するシステムおよび方法 |
JP4716949B2 (ja) * | 2005-09-02 | 2011-07-06 | 株式会社リコー | 画像処理装置および画像処理方法 |
US8812978B2 (en) | 2005-12-22 | 2014-08-19 | Xerox Corporation | System and method for dynamic zoom to view documents on small displays |
JP4656190B2 (ja) * | 2008-06-10 | 2011-03-23 | ソニー株式会社 | 情報処理装置および方法 |
US8909806B2 (en) * | 2009-03-16 | 2014-12-09 | Microsoft Corporation | Delivering cacheable streaming media presentations |
US9237387B2 (en) | 2009-10-06 | 2016-01-12 | Microsoft Technology Licensing, Llc | Low latency cacheable media streaming |
US8356114B2 (en) | 2010-04-15 | 2013-01-15 | Canon Kabushiki Kaisha | Region of interest-based image transfer |
US8755441B2 (en) | 2010-05-10 | 2014-06-17 | Canon Kabushiki Kaisha | Region of interest-based video transfer |
US9407876B1 (en) * | 2010-09-14 | 2016-08-02 | Pixia Corp. | Method and system for encoding and decoding multiple wide-area surveillance area-of-interest video codestreams |
US9747010B2 (en) | 2014-01-16 | 2017-08-29 | Xerox Corporation | Electronic content visual comparison apparatus and method |
JP6527579B2 (ja) * | 2014-07-30 | 2019-06-05 | エスケー テックス カンパニー、リミテッド | クラウドストリーミングサービスシステム、スチールイメージ基盤クラウドストリーミングサービス方法及びそのための装置 |
Family Cites Families (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
DE3820038A1 (de) * | 1988-06-13 | 1989-12-14 | Ant Nachrichtentech | Verfahren zur aufbereitung und uebertragung einer bildsequenz |
US5444550A (en) * | 1989-04-28 | 1995-08-22 | Canon Kabushiki Kaisha | Image processing apparatus |
US5333246A (en) * | 1990-04-05 | 1994-07-26 | Seiko Epson Corporation | Page-description language interpreter for a parallel-processing system |
DE69232164T2 (de) * | 1991-08-22 | 2002-07-18 | Sun Microsystems, Inc. | Netzwerkvideoanbietergerät und-verfahren |
US5327248A (en) * | 1992-03-23 | 1994-07-05 | Ricoh Company, Ltd. | Compressed image virtual editing system |
US5253055A (en) * | 1992-07-02 | 1993-10-12 | At&T Bell Laboratories | Efficient frequency scalable video encoding with coefficient selection |
JPH07107255A (ja) * | 1993-10-04 | 1995-04-21 | Fujitsu Ltd | 画像情報転送制御方式 |
US5966465A (en) * | 1994-09-21 | 1999-10-12 | Ricoh Corporation | Compression/decompression using reversible embedded wavelets |
US5678007A (en) * | 1994-11-22 | 1997-10-14 | Microsoft Corporation | Method and apparatus for supporting multiple outstanding network requests on a single connection |
US5764235A (en) * | 1996-03-25 | 1998-06-09 | Insight Development Corporation | Computer implemented method and system for transmitting graphical images from server to client at user selectable resolution |
US6006231A (en) * | 1996-09-10 | 1999-12-21 | Warp 10 Technologies Inc. | File format for an image including multiple versions of an image, and related system and method |
US5838927A (en) * | 1996-11-22 | 1998-11-17 | Webtv Networks | Method and apparatus for compressing a continuous, indistinct data stream |
US5991816A (en) * | 1996-12-13 | 1999-11-23 | Wisconsin Alumni Research Foundation | Image transfer protocol in progressively increasing resolution |
US6182127B1 (en) * | 1997-02-12 | 2001-01-30 | Digital Paper, Llc | Network image view server using efficent client-server tilting and caching architecture |
US6049892C1 (en) * | 1997-02-24 | 2002-06-04 | Ethos Software Corp | Process and apparatus for downloading data from a server computer to a client computer |
US6535878B1 (en) * | 1997-05-02 | 2003-03-18 | Roxio, Inc. | Method and system for providing on-line interactivity over a server-client network |
JP3213582B2 (ja) * | 1997-05-29 | 2001-10-02 | シャープ株式会社 | 画像符号化装置及び画像復号装置 |
JPH1188866A (ja) * | 1997-07-18 | 1999-03-30 | Pfu Ltd | 高精細画像表示装置及びそのプログラム記憶媒体 |
SG116400A1 (en) * | 1997-10-24 | 2005-11-28 | Matsushita Electric Ind Co Ltd | A method for computational graceful degradation inan audiovisual compression system. |
US6182114B1 (en) * | 1998-01-09 | 2001-01-30 | New York University | Apparatus and method for realtime visualization using user-defined dynamic, multi-foveated images |
US6256415B1 (en) * | 1998-06-10 | 2001-07-03 | Seiko Epson Corporation | Two row buffer image compression (TROBIC) |
US6496607B1 (en) * | 1998-06-26 | 2002-12-17 | Sarnoff Corporation | Method and apparatus for region-based allocation of processing resources and control of input image formation |
JP2000048036A (ja) * | 1998-07-28 | 2000-02-18 | Canon Inc | 画像処理装置およびその方法 |
SE9803454L (sv) * | 1998-10-09 | 2000-04-10 | Ericsson Telefon Ab L M | Förfarande och system för kodning av ROI |
US6201897B1 (en) * | 1998-11-09 | 2001-03-13 | Earth Resource Mapping | Transformation and selective inverse transformation of large digital images |
US6546143B1 (en) * | 1999-03-12 | 2003-04-08 | Hewlett-Packard Development Company | Efficient wavelet-based compression of large images |
-
1998
- 1998-10-21 SE SE9803593A patent/SE513353C2/sv not_active IP Right Cessation
-
1999
- 1999-10-13 EP EP99970820A patent/EP1127452B1/en not_active Expired - Lifetime
- 1999-10-13 AU AU14252/00A patent/AU766874B2/en not_active Ceased
- 1999-10-13 EP EP06012362A patent/EP1715672B1/en not_active Expired - Lifetime
- 1999-10-13 JP JP2000577826A patent/JP4764549B2/ja not_active Expired - Lifetime
- 1999-10-13 DE DE69941743T patent/DE69941743D1/de not_active Expired - Lifetime
- 1999-10-13 DE DE69935729T patent/DE69935729T2/de not_active Expired - Lifetime
- 1999-10-13 CA CA002348622A patent/CA2348622C/en not_active Expired - Lifetime
- 1999-10-13 CN CNB998123722A patent/CN1166171C/zh not_active Expired - Fee Related
- 1999-10-13 WO PCT/SE1999/001847 patent/WO2000024188A1/en active IP Right Grant
- 1999-10-13 KR KR1020017004901A patent/KR100595400B1/ko active IP Right Grant
- 1999-10-14 US US09/418,323 patent/US7571382B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
EP1715672B1 (en) | 2009-12-02 |
DE69935729D1 (de) | 2007-05-16 |
JP4764549B2 (ja) | 2011-09-07 |
AU766874B2 (en) | 2003-10-23 |
EP1715672A3 (en) | 2006-11-15 |
CA2348622C (en) | 2009-08-18 |
KR100595400B1 (ko) | 2006-07-03 |
US7571382B2 (en) | 2009-08-04 |
EP1127452A1 (en) | 2001-08-29 |
DE69941743D1 (de) | 2010-01-14 |
SE9803593L (sv) | 2000-04-22 |
EP1715672A2 (en) | 2006-10-25 |
CA2348622A1 (en) | 2000-04-27 |
US20030110299A1 (en) | 2003-06-12 |
DE69935729T2 (de) | 2007-08-16 |
WO2000024188A1 (en) | 2000-04-27 |
AU1425200A (en) | 2000-05-08 |
EP1127452B1 (en) | 2007-04-04 |
SE9803593D0 (sv) | 1998-10-21 |
CN1166171C (zh) | 2004-09-08 |
KR20010085937A (ko) | 2001-09-07 |
JP2002528969A (ja) | 2002-09-03 |
CN1326637A (zh) | 2001-12-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
SE513353C2 (sv) | Partiell hämtning av bilder i den komprimerade domänen | |
JP4709493B2 (ja) | 圧縮されたディジタル画像を通信する方法及び製造物 | |
JP4664916B2 (ja) | データ圧縮 | |
US7580577B2 (en) | Methods, apparatus and computer products for generating JPEG2000 encoded data in a client | |
Lee | JPEG 2000: Retrospective and new developments | |
JP2004274758A (ja) | Jpp−ストリームからjpeg2000符号ストリームへの変換方法及び変換装置 | |
JP2004274759A (ja) | 制限されたアクセスとサーバ/クライアント受け渡しを有する圧縮されたディジタル画像の通信方法及び装置 | |
JP2006101482A (ja) | 画像通信システムおよびサーバ装置、および画像通信方法 | |
US20040078491A1 (en) | Transport of reversible and unreversible embedded wavelets | |
US8577157B2 (en) | Conditional replenishment for motion JPEG2000 | |
US7721971B2 (en) | Image processing system, image processing method and computer readable information recording medium | |
US7456844B2 (en) | Image transmission method, computer-readable image transmission program, recording medium, and image transmission apparatus | |
JP4604851B2 (ja) | 送信装置、受信装置、送信処理方法、受信処理方法、それらのプログラム | |
JP2007166013A (ja) | 画像処理方式、画像処理方法、画像処理プログラム及び画像処理プログラムを記録した記録媒体 | |
JP2004208266A (ja) | 画像通信方法及びシステム | |
JP4773770B2 (ja) | 画像処理システム、画像処理方法、プログラムおよび記録媒体 | |
JP4174111B2 (ja) | 符号化方法及び装置 | |
JP2006086579A (ja) | 画像処理装置、プログラム、及び記憶媒体 | |
WO2004032518A2 (en) | Method and system for significance-based embedded motion-compensation wavelet video coding and transmission | |
Gormish et al. | Tile-based transport of JPEG 2000 images | |
EP1862940A1 (en) | Image compression | |
JP4024157B2 (ja) | 電子情報伝達方法、ファクシミリ装置、情報処理装置、プログラム及び記憶媒体 | |
JP4654775B2 (ja) | 送信装置、送信方法およびプログラム | |
JPH05207259A (ja) | 画像切り出し処理方法 | |
JP2000134438A (ja) | ファクシミリ装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
NUG | Patent has lapsed |