SE531837C2 - Förfarande och datorprogramprodukt - Google Patents

Description

25 30 35 'F fi! tall ...m v30 lå-Sl 2 Metoden skulle kunna användas i en server.

Enligt en andra aspekt av föreliggande uppfinning tillhandahålls en dataprogrampro- dukt, med dataprogramkodsmedel för att få en dator att exekvera metoden ovan när pro- grammet körs på en dator.

Det uppfattas att datorprogramprodukten är anpassad för att utföra utföringsformer som hänför sig till det ovan beskrivna förfarandet, såsom är tydligt från den bifogade upp- sättningen av osjälvständiga systempatentkrav.

Sålunda är det koncept som ligger bakom föreliggande uppfinning att tillhandahålla en minneshanteringsalgoritm som innefattar så kallad stockpiling i en masslagringsanord- ning.

Uppfinningen är användbar för routing, forensiskt nätverksarbete, brandväggupp- gifter, qos-klassificering, trafikformning, intrångsdetektion, IPSEC, lVlPLS, etc, och såsom komponent i teknologier för att lösa vilken som helst av de problem som nämnts.

Ytterligare särdrag hos och fördelar med föreliggande uppfinning beskrivs av de bilagda osjälvståndiga patentkraven.

Kort beskrivning av ritningarna För att ytterligare förklara uppfinningen kommer nu utföringsformer som valts såsom exempel att beskrivas närmare med hänvisning till ritningarna, av vilka: Fig i illustrerar stockpiling.

Beskrivning av utföringsformer av uppfinningen Nu hänvisas till Fig 1 som illustrerar en utföringsform av föreliggande uppfinning inkluderande konceptet "stockpiling".

En masslagringsanordning innehåller filer med olika storlekar. l\/led storlek, avser vi hur många disk- eller minnesblock som krävs för att lagra filen och vi beaktar filer som använder samma grundtal block att vara av samma storlek. Två filer som kräver 5,1 och 6 block anses båda med andra ord att respektive ha storlek 6, 10 15 20 25 30 35 3 Vårt mål är att lagra alla filer konsekutivt på masslagringsanordningen så att läs- /skrivanordningen inte behöver "hoppa" mellan olika platser när en fil läses/skrivs. istället läser/skriver den bara "nästa" block upprepade gånger tills arbetet är klart. Såsom ett första steg, kommer vi dock att beskriva en metod där alla filer av samma storlek, utom en, lagras konsekutivt. Vi kommer därefter att beskriva hur man modifierar metoden så att alla filer lag- ras konsekutivt.

Därför kommer vi nu att anta att godtycklig fil kan lagras i två delar, men inte mer än två konsekutiva delar. l den följande beskrivningen kommer vi även att använda termen min- nesaccess att betyda läsning eller skrivning av ett block.

En så kallad "stockling" är ett hanterat minnesområde av s block (dvs b bitar block) som kan flyttas och lagras i två delar för att förhindra fragmentering. Vår ansats är att använda en stockling för att lagra varje datatil i masslagringsanordningen. Den associeras med information om sin storlek s, vare sig området är eller inte är delat i två delar och lokali- seringen och storleken för de respektive delarna. Dessutom måste varje stockling vara asso- cierad med adressen till pekaren till datastrukturen som lagras i stocklingen sä att den kan uppdateras när stocklingen flyttas. Slutligen är den associerad med en (eventuellt tom) pro- cedur för att koda lokaliseringen och storleken för den andra delen och storleken för den för- sta delen i det första blocket. Låt ns vara antalet stocklingar med storlek s. Dessa stocklingar lagras i, eller utgör faktiskt, en stockpile som är ett minnesområde av intilliggande sns-block.

En stockpile kan flyttas ett block till vänster genom att flytta ett block från den vänstra sidan av stockpiten till den högra sidan av stockpilen (informationen lagrad i blocket i blocket längst åt vänster flyttas till ett fritt block till höger om blocket längst åt höger). Att flytta en stockpile ett block till höger åstadkoms genom att flytta blocket längst ät höger till den vänstra sidan av stockpilen. Stocklingen längst át höger i en stockpile lagras eventuellt i två delar medan alla andra stocklingar är intilliggande. Om den lagras i två delar, lagras den vänstra delen av stocklingen i den högra änden av stockpilen och den högra änden av stocklingen vid den vänstra änden av stockpilen.

Antag att vi har c olika storlekar av stocklingar sl, s2, sc där si > si+1. Vi organl' serar minnet så att stockpilarna lagras i sorterad ordning genom att öka storlek i tillväxtrikt- ningen. Antag vidare, utan att förlora allmängiltigheten, att tillväxtriktningen är till höger. Allo- kerering och deallokeriingav en stockling med storlek si från stockpile i åstadkoms enligt följande: Allokera si. 10 15 20 25 30 35 4 Flytta upprepade gånger var och en av stockpilama 1, 2, i -1 ett block till höger tills alla stockpilar till höger om stockpile i har flyttats si block. Vi har nu ett fritt område av si block till höger om stockpile i. Om stocklingen längst åt höger av stockpile i lagras i ett stycke, återrför det fria området. Flytta annars den vänstra delen av stocklingen längst åt höger till änden av det fria området (utan att ändra ordningen mellan blocken). Återrför sedan området med de intilliggande si-blocken och som börjar där stocklingen längst åt höger bör- jade innan dess del längst åt vänster flyttades.

Deallokera si.

Lokalisera stocklingen längst åt höger som lagras i ett stycke (det är antingen stock- lingen längst åt höger själv eller stocklingen till vänster om stocklingen längst åt höger) och flytta den till lokaliseringen för stocklingen som ska deallokeras. Reversera sedan alloke- ringsproceduren. l Fig 1 illustrerar vi stockpilingstekniken i sammanhanget av att infoga och radera strukturer med storlek 2 och 3 i ett hanterat mlnnesområde med stocklingsstorlekar 2, 3 och 5. Varje struktur består av ett antal block och dessa illustreras av kvadrater med en grå nyans och en symbol. Nyansen används för att skilja mellan block inuti en struktur och sym- bolen används för att skilja mellan block från olika strukturer. Vi börjar med en 5-struktur och sedan i (a) infogar vi en 2-struktur efter att allokerat en 2-stockling. Observera att 5-struktu- ren lagras i två delar där den vänstra delen börjar vid det 6:e blocket och den högra delen vid det 3:e blocket. l (b) allokerar och infogar vi 3 block och till följd av detta återrförs 5-struktu- ren till ett stycke. En enkel radering av 2-strukturen utförs i (c), vilket leder till att båda åter- stående strukturerna lagras i två delar. Slutligen infogas i (d) en ny 3-struktur. Detta kräver att vi först flyttar 5-strukturen 3 block till höger. Sedan flyttas den vänstra delen (enbart det vita blocket i detta fall) av den gamla 3-strukturen till bredvid 5-strukturen och slutligen kan den nya 3-strukturen infogas. Kostnaden för att allokera en si-stockling och infoga en mot- svarande struktur beräknas enligt följande. Först måste vi spendera (i - 1) si minnesaccesser för att flytta de andra stockpilarna för att skapa det fria utrymmet vid änden av stockpilen. Vi har då två fall: (i) Infoga datastrukturen direkt in i det fria området. Kostnaden för detta är noll minnesaccesser eftersom vi redan fått tillgång till det fria området när stockpilama flyttades (infogning kan göras samtidigt medan stockpilarna flyttas). (ii) Vi behöver flytta delen längst åt vänster av stocklingen längst åt höger. Dock ockuperar den ett område som kommer att skrivas över när datastrukturen infogas. Därför får vi en ytterligare si minnesaccesser för att infoga datastrukturen. För deallokering får vi en ytterligare kostnad för si minnesaccesser eftersom vi kan behöva skriva över den raderade stocklingen någonstans i mitten av stock- pilen. Vi behöver även redovisa för kostnaden för att uppdatera pekarna till datastrukturerna 10 15 20 25 30 35 5 som flyttas. Eftersom stockpilarna är organiserade med ökande storlek, behöver högst en pekare uppdateras för varje flyttad stockpile plus två extra pekaruppdateringar i den aktuella stockpilen. Därav följer att kostnaden för att infoga en si block datastruktur när stockpile min- neshantering används är isi + (i - 1) + 2 = isi + i + 1 minnesaccesser och kostnaden för radering är (i + 1)-si+(i - 1)+2 = (i + 1)~si+i+1 minnesaccesser.

Enligt en annan utföringsform av föreliggande uppfinning kan stockpiling användas även om det inte är möjligt att lagra datastrukturer i två delar. i varje stockpile har vi en dummystockling och säkerställer att det alltid är dummystocklingarna som lagras i två delar efter omorganisation.

Genom att använda stockpiling kan vi begränsa kostnaden för att infoga och radera en ai-blockstrukturtill högst iai + i + 1 minnesaccesser respektive (i + 1)-ai + i + 1 minnesac- cesser, där a1 > a2 > > ak är de olika allokeringsenheterna som är tillgängliga. Beakta, såsom ett exempel, ett fall där den maximala allokeringsenheten (datafilstorleken) är s (7, 128) = 364 block och antagande att vi kräver maximal kompression, mäste vi använda 364 olika allokeringsenheter. Till följd av detta, ai = 364 - (i - 1) och kostnad i det värsta fallet för att infoga en a182 = 364 - (182 - 1) = 183 -blockstruktur är 33489 minnesaccesser. För att reducera minneshanteringsomkostnadema mäste vi reducera antalet allokeringsenheter.

Detta àstadkoms genom att minska kompressionskvoten. När vertikal segmentering används, slösarvi 128 bitar i varje blad i den övre delen för att lagra pekare och viss ytterli- gare information som krävs när stockpiling används. Genom att använda dessa bitar kan vi även lagra variablerna k, r, och I som krävs för att köra underhållet av varje blockträd i den undre delen på stället. Den totala kostnaden för detta är 162-128 = 20736 bitar vilket amorte- ras över 91935 intervall, vilket ger en försumbar omkostnad per intervall. Därmed är den maximala relativa storleken ungefär 144 bitar per intervall även med vertikal segmentering.

Antag att vi ökar lagring med en faktor C, för någon konstant C > 1. Vi kan sedan allokera (och använda) 364 block även om vi bara behöver A block, under förutsättning att AC 2 364.

Vidare kan vi hoppa över alla allokeringsenheter mellan A-1 och 364. Genom att tillämpa detta upprepade gånger, erhåller vi en reducerad uppsättning av allokeringsenheter där ai = ceil(a1/C^(i-1)). För att ytterligare demonstrera detta, väljer vi C = 2, vilket motsvarar en 100 % storleksökning, och utför en grundlig värsta fall-analys av uppdateringskostnaden. Det första steget är att beräkna uppsättningen av allokeringsenheter och infognings- och rade- ringskostnaden för att varje allokeringsenhet (se Tabell 9). Före undersökning av värsta falls uppdateringskostnad, observerar vi att 364 + 730 = 1094 minnesaccesser är en undre gräns på uppdateringskostnaden som är oberoende av C. Detta är en följd av att helt enkelt rekon- 10 15 20 25 30 83? 6 struera en 364-blockstruktur utan att involvera minneshanteraren och samtidigt deallokera den andra 364-blockstrukturen till en kostnad för 730 minnesaccesser. För vårt speciella val av C, måste ytterligare 367 minnesaccesser för att allokera en 182-blockstruktur adderas till den undre gränsen, vilket leder till en verklig undre gräns av 1461 minnesaccesser. I värsta fallet krävs en infogning av en allokeringsenhet och en radering av en annan för båda block- träden. Dock är inte alla kombinationer av infognings- och raderingskostnader möjliga. Den första observationen är att radering av en allokeringsenhet följs av infogning av den nästa mindre eller den nästa större allokeringsenheten. Vi kan även välja bort kombinationerna där storleken på den raderade allokeringsenheten från ett blockträd är samma som den infogade allokeringsenheten från det andra blockträdet eftersom detta eliminerar en deallokerings- kostnad. Genom att jämföra kostnader för de återstående kombinationerna i tabellen ovan, konstaterar vi att värsta fallet inträffar vid radering av ett 364-block- och en 91-blockstruktur och infogning av två 182-blockstrukturer vilket leder till en total kostnad för 730 + 368 + 2-367 = 1832 minnesaccesser. Genom att addera den enkla minnesaccessen som krävs för att uppdatera den övre delen ger en total värsta fallets inkrementell uppdateringskostnad av 1833 minnesaccesser för en 100 % storleksökning. För att tillhandahålla en bättre förståelse av eventuella kompromisser mellan kompressionskvot och garanterade uppdateringskostna- der har vi utfört dessa databeräkningar för olika värden av C och resultatet presenteras i Tabell 10. Dessa siffror ska jämföras med 134322 minnesaccesser som är den uppdate- ringskostnad som erhålls för C = 1. Notera även att för C .>. 3,31, är värsta fallets uppdate- ringskostnad lika med den generella undre gränsen som beräknades ovan plus kostnaden för att allokera en a2-blockstruktur.

Tabell 9: lnfognings- och raderingskostnader för de olika allokeringsenheterna erhållna för C = 2.

Tabell 10: Förhållande mellan lagrings- och uppdateringskostnader.

Föreliggande uppfinning har beskrivits genom givna exempel och utföringsformer som inte är avsedda att begränsa uppfinningen till dessa. Fackmannen inser att bifogade uppsättning av patentkrav framställer andra fördelaktiga utföringsformer.

Claims (6)

10 15 20 25 30 35 m E: *i mßl :n n: »ti Patentkrav

1. Metod för minneshantering i en masslagringsanordning, varvid nämnda metod innefattar stegen: - att tillhandahålla ett hanterat minnesområde av s block som kan flyttas och lagras i två delar för att förhindra fragmentering, där det hanterade minnesområdet (stocklingen) associeras med information om sin storlek s, vare sig området är eller inte är delat i två delar och lokaliseringen och storleken för de respektive delarna; - att associera varje stockling med adressen till pekaren till datastrukturen som lag- ras i stockiingen så den kan uppdateras när stocklingen flyttas; - att associera stocklingen med en, eventuellt tom, procedur för att koda lokalise- ringen och storleken för den andra delen och storleken för den första delen i det första blocket, där ns är antalet stocklingar med storlek s; - att lagra stocklingama i en stockpile som är ett minnesområde av intilliggande sns- block, vilken stockpile kan flyttas ett block till vänster genom att flytta ett block fràn den vänstra sidan av stockpilen till den högra sidan av stockpilen (informationen som lagras i blocket i blocket längst åt vänster flyttas till ett fritt block till höger om blocket längst åt höger). - att organisera minnet så att stockpilarna lagras i sorterad ordning genom att öka storlek i tillväxtriktningen, dessutom innefattande stegen: - att upprepade gånger flytta var och en av stockpilarna 1, 2, , i -1 ett block till höger tills alla stockpllar till höger om stockpile i har flyttats si block, eller den vänstra delen av stocklingen längst åt höger till änden av det fria området (utan att ändra ordningen mellan blocken); att återställa området med de intilliggande si-blocken med början där stocklingen längst åt höger började innan dess del längst åt vänster flyttades; - att lokalisera stocklingen längst åt höger som lagras i ett stycke (det är antingen stocklingen längst åt höger själv eller stocklingen till vänster om stocklingen längst àt höger) och att flytta den till lokaliseringen för stocklingen som ska deallokeras, och reversera alloke- ringsproceduren.

2. Metod enligt krav 1, i vilken steget att minska kompressionskvot är innefattad.

3. Metod enligt krav 1 eller 2, i vilken en dummystockling är tillhandahållen och lag- ras i två delar efter omorganisation.

4. Metod enligt något av kraven 1~3, i vilken metoden används i en server. 8

5. Datorprogramsprodukt som gàr att ladda in direkt i internmlnnet hos en digitalda- tor, kännetecknad därav att nämnda produkt innefattar mjukvarukodsmedel för att utföra steget enligt krav 1.

6. Datorprogramsprodukt innefattande ett datorläsbart medium, kännetecknad därav att pà nämnda medium finns det lagrat datorprogramkodsmedel, när det är laddat len dator, för att förmå datorn att utföra stegen enligt krav 1.