WO2013026713A1 - Method of operation for a memory system, memory system and computer program product - Google Patents

Method of operation for a memory system, memory system and computer program product Download PDF

Info

Publication number
WO2013026713A1
WO2013026713A1 PCT/EP2012/065624 EP2012065624W WO2013026713A1 WO 2013026713 A1 WO2013026713 A1 WO 2013026713A1 EP 2012065624 W EP2012065624 W EP 2012065624W WO 2013026713 A1 WO2013026713 A1 WO 2013026713A1
Authority
WO
WIPO (PCT)
Prior art keywords
mass storage
storage
displacement
data
secondary mass
Prior art date
Application number
PCT/EP2012/065624
Other languages
German (de)
French (fr)
Inventor
Christoph König
Original Assignee
Fujitsu Technology Solutions Intellectual Property Gmbh
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Technology Solutions Intellectual Property Gmbh filed Critical Fujitsu Technology Solutions Intellectual Property Gmbh
Publication of WO2013026713A1 publication Critical patent/WO2013026713A1/en

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0602—Interfaces specially adapted for storage systems specifically adapted to achieve a particular effect
    • G06F3/061—Improving I/O performance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0646—Horizontal data movement in storage systems, i.e. moving data in between storage devices or systems
    • G06F3/0647—Migration mechanisms
    • G06F3/0649—Lifecycle management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
    • G06F3/0653—Monitoring storage devices or systems
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/067—Distributed or networked storage systems, e.g. storage area networks [SAN], network attached storage [NAS]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
    • G06F3/0601—Interfaces specially adapted for storage systems
    • G06F3/0668—Interfaces specially adapted for storage systems adopting a particular infrastructure
    • G06F3/0671—In-line storage system
    • G06F3/0683—Plurality of storage devices
    • G06F3/0685—Hybrid storage combining heterogeneous device types, e.g. hierarchical storage, hybrid arrays

Definitions

  • the invention relates to a working method for a storage system with a primary mass storage and a secondary mass storage, wherein accesses to the secondary mass storage are on average slower than accesses to the primary mass storage. Furthermore, the invention relates to such a storage system comprising at least one Primae ⁇ ren mass storage, at least one secondary storage, and at least one data processing means for executing a control program for the storage system and a computer program product.
  • Access to a file as a decision criterion as to whether a file should be stored in a primary mass storage or in a secondary mass storage.
  • older or larger files are preferably stored on the secondary mass storage, while younger or smaller files are stored on the primary mass storage. If the outsourced data is to be accessed again, they are usually first fetched from the secondary mass storage back into the primary mass storage.
  • An object of the present invention is to specify a working method or a memory system in which the decision as to which data is stored on which mass memory can be made more flexible.
  • the decision should be based on the needs of the users or on the characteristics of applications that access the stored data.
  • a working method for a storage system of the above type comprises the steps:
  • Displacement priority exceeds a comparison value.
  • a decision as to whether a specific data record is transferred from a primary mass storage to a secondary mass storage can be assessed individually on the basis of a benefit and an associated after ⁇ part for the outsourcing of the data record.
  • a displacement priority is set for the data record, which is compared to a comparison value in the case of a possible outsourcing of the data record.
  • the useful factor is determined depending on a size of the data set and a suspected displacement time to a storage of the paged record from the secondary mass storage in the primary mass storage. The larger the dataset to be swapped out and the longer the paged dataset is not in the primary mass storage needs to be read back, the greater the benefit of potential outsourcing.
  • the assumed displacement time is determined based on a probability radio ⁇ tion in response to a last access time of the Da ⁇ tensatzes.
  • the time of last access it ⁇ laubt a statistical statement about how long is probably not zugegrif- fen on an outsourced record.
  • the presumed displacement time after exceeding at least one typical period since the last access time increases more than within the typical period.
  • This design takes into account a peculiarity of many processes in the Informa ⁇ tion processing technology (IT) that many processes occur with some regularity. Typical periods for this are, for example, daily, working-day, weekly, quarterly or annually executed processes.
  • the typical period is determined on the basis of a statistical evaluation of previous accesses to data sets of the memory system. A statistical analysis allowed while the vollau ⁇ matic, dynamic discovery of typical periods.
  • the disadvantage factor is determined as a function of a delayed access time.
  • the delayed access time is determined as a function of a delayed access time.
  • Access time is proportional to the sum of a first access time of the secondary mass storage and a ratio of the size of the data set to the average reading time. speed of the secondary mass storage.
  • the steps of determining the duty factor, determining the disadvantage ⁇ factor and setting the displacement priority for all records of a predetermined group of data sets are performed by the predetermined group of records in abstei ⁇ gender order of their respective displacement priority and records in outsourced the order of their sorting from the primary mass storage to the secondary mass storage until the lower storage limit for the primary mass storage is met by the paging.
  • Such a method allows the optimization of all or a substantial part of data records stored in the memory system, taking into account the greatest possible efficiency for the overall system.
  • a storage system comprising at least one primary mass storage for caching data sets, at least one secondary mass storage for archiving data sets, and at least one data processing device for executing a control program for the storage system.
  • the control program is adapted for exporting ⁇ tion performed by the data processing apparatus, a method according to the first aspect.
  • the at least one secondary memory comprises at least one mass storage ⁇ drive and a plurality of associated removable storage media.
  • Such a storage system allows a storage of extensive data, in particular by the use of a plurality of magnetic tapes or removable optical storage media.
  • a computer program product comprising executable program code for a control program of a data processing device according to the second aspect of the invention is described.
  • FIG. 1 shows a schematic illustration of a system architecture of an exemplary memory system
  • FIG. 2 shows a flow chart of a working method for a
  • Figure 3 different probability functions for the determination of a suspected displacement time
  • FIG. 4 shows a memory structure for a primary mass memory.
  • FIG. 1 schematically shows a storage system 1.
  • the storage system 1 comprises a primary mass storage 2 and a secondary mass storage 3.
  • the storage system comprises a data processing device 4, which is data-technically coupled to the primary mass storage 2 and the secondary mass storage 3.
  • the primary Mas ⁇ sen appointment 2 for example a so-called RAID system comprising a plurality of at least partially redundant hard disk drives ⁇ .
  • the primary mass storage 2 comprises a plurality of so-called volumes 5a and 5b, on which, for example, different files or file systems of the data processing device 4 are stored. Whether it is tatsumble ⁇ Liche file systems, virtual tape drives or other Or ⁇ ganisations Jardin the primary mass storage device 2 or the memory system 1 at the volumes 5a and 5b, however, for further consideration of minor importance.
  • the secondary mass storage 3 in the exemplary embodiment is a so-called automatic tape library (ATL), ie a robot-based mass storage with one or more magnetic tape drives 10 and associated, preferably automatically insertable magnetic tapes 11.
  • ATL automatic tape library
  • it may be in the secondary Mass storage 3 alternatively act to another mass storage system.
  • Other examples of cost-effective storage of large amounts of data include the use of storage drives with optical or magneto-optical, removable storage media or the use of so-called cloud storage systems in which data over a network such especially the Internet are stored on remote servers with verheg ⁇ cash storage capacities.
  • the data processing device 4 in the exemplary embodiment is a particularly powerful, partially redundant server computer.
  • the data processing device 4 and he primary mass storage 2 an integrated backup and Ar ⁇ chivtechnikssystem 9.
  • the primary mass storage 2 is physically independent of the data processing device 4 and set up with this by suitable means, as in ⁇ play, a Storage Area Network (SAN) coupled.
  • the backup and archiving system 9 comprises execution ⁇ for several so-called front-end adapter 6a and 6b for connecting the data processing apparatus to one or more data networks.
  • two ge ⁇ isolated host computer 7a and 7b respectively via a dedicated connection, for example, different segments of a local Ethernet network, with one of the front-end adapter 6a and 6b are coupled.
  • the backup and archiving system 9 further comprises one or more so-called back-end adapters 8 for coupling the secondary mass storage 3 with the backup and archiving system 9.
  • this is a particularly lei ⁇ capable fiber channel or SCSI port for connecting one or more mass storage drives.
  • the data processing device 4 comprises at least one processor for executing program code of a computer program.
  • the data processing device 4 comprises a plurality of individual computers, which together form a cluster system with particularly high performance and fail-safety.
  • the operation of the program code executed by the verarbei ⁇ processing device 4 is further described below with reference to FIG. 2
  • FIG. 2 shows a flow diagram of a working method 20 for the storage system 1 or another storage system with a primary mass storage and a secondary mass storage.
  • a new data record for setting a predatory priority is selected.
  • step 21 may be performed when a new file or backup set is transferred from one of the host computers 7a or 7b to the storage system 1.
  • the step 21 may also cyclically, for example every day or at a particular triggering event, such crizspielswei ⁇ se exceeding a predetermined maximum filling limit of the primary mass storage device 2, are triggered.
  • data record is to be understood according to the requirements of the respective storage system.
  • a file server for example, it corresponds to a normal file on a file system, such as the document of a Textver ⁇ processing.
  • An archiving system as described, for example, with reference to FIG. 1, may also be an entire file system or a volume of a virtualized tape drive that combines a plurality of files in the strict sense. In two largely independently executed
  • Steps 22 and 23 a duty factor and a penalty term for a possible removal of the step 21 of the ⁇ selected data record is determined.
  • the steps 22 and 23 can be carried out in succession or, as shown in FIG. 2, parallel to each other.
  • the useful factor is determined essentially as the possible displacement of the free memory available for other data sets by the paging.
  • the benefit is proportional to the record size and a suspected displacement time for the record.
  • the displacement time is the time until a next access, which would require a re-storage on the primary mass storage 2, or until the final deletion of the selected data set.
  • the determined in step 23 drawback factor represents a particular from the swap of the data set resul ⁇ animal delay-access time.
  • the access time consists of a system-specific, average access time, such as a so-called mount time for inserting a required storage medium into a corresponding storage drive, ge ⁇ possibly required positioning of the storage medium ums and the actual reading time for re-reading the paged record.
  • the access time is based on a sum of the first access time and a ratio of the size of the paged data set to the average read speed.
  • the disadvantage factor can optionally be represented as the ratio of an access time to the paged data record to an access time for a known comparison data record with an exemplary size of 1 GB.
  • step 24 the displacement priority is determined for the considered data record.
  • han ⁇ delt it is in the displacement priority to determine the ratio of the duty factor to the particular disadvantage factor.
  • other relationships may be used to take into account the benefit and the penalty factor.
  • a query 25 checks whether a displacement priority is to be determined for further data records. If this is the case, the method is continued in step 21 with the next record to be evaluated. Otherwise, the process continues in step 26.
  • a certain Verdrijnungspri ⁇ ority at least compared with at least one comparison value.
  • ⁇ with them different criteria for a possible settlement offer. For example, based on empirical values, a system administrator can set a fixed threshold for offloading data records. Furthermore, it is possible to automatically determine such a threshold based on a statistical analysis by the Steuerpro ⁇ program.
  • Memory system 1 compared with each other.
  • the records of the primary mass storage device 2 according to the limited hours ⁇ th displacement priority in descending order in ei ⁇ ner priority list are entered.
  • step 27 If it is determined by the comparison 26 that a specific data record is to be swapped out, this is transmitted from the primary mass storage 2 to the secondary mass storage 3 in step 27.
  • the data set is first read out from the primary mass storage 2 and stored in the secondary mass storage 3.
  • the corresponding record may be deleted from the primary mass storage 2 or invalidated.
  • a so-called stub remains as an anchor of the paged record in the primary mass storage 2.
  • the stub contains only a reference to the actual storage location of the outsourced data set in the secondary mass storage 3 and optionally additional metadata of the data set.
  • the method can be continued by either swapping further records or terminated, if there is free space on the primary mass storage ⁇ 2 available sufficient.
  • the used by the storage system 1 displacement Strate ⁇ energy is largely independent of the above-described ⁇ NEN determining the displacement priority.
  • the data processing apparatus 4 may wait until an upper filling limit, for example 90 percent of the storage capacity of the primary mass storage device 2 are exhausted, then determine an Ver ⁇ drfitungspriortician for all stored on the primary Massenspei ⁇ cher 2 records and subsequently Since ⁇ data sets descending fine displacement priority outsource to the secondary mass storage 3 until a lower
  • the function 31 provides a relatively simple, continuous function of the presumed displacement time T over the time period
  • the curve 31 is a logarithm function shifted to the origin.
  • the function represented 31 is better suited to iden ⁇ development of a suspected displacement time T as a purely Linea- re dependence since the date of last access, because the probability that a record is still needed again, not after a certain, fruitless waiting time increases significantly. For example, in practice it is not twice as likely that a dataset that has been inaccessible for a year will not be accessible in two years' time.
  • function 31 illustrated in FIG. 3 also only incompletely depicts the actual requirements of processes in information technology. For example, function 31 disregards the periodicity of certain operations. For this reason, in the figure 3 a second function 32 is shown, which reflects the presumed Verdrän ⁇ supply time T of an actual memory system 1 even better.
  • the function 32 is continuous in sections, but has meh ⁇ rere discontinuities 33a to 33c on.
  • the first discontinuity 33a occurs after a period t of 7 days without access to the record.
  • the second discontinuity 33b occurs after running from ⁇ 31 days, so the maximum number of days in a month on.
  • Another discontinuity point 33c occurs at the end of 92 days corresponding to a maximum number of days in a quarter.
  • continuous sections 34a to 34d in which the presumed displacement time T increases. In the illustrated embodiment, this is a linear increase. Instead of the linear increase, however, a nonlinear, for example, logarithmic, described above with reference to the first function 31 is possible.
  • the illustrated in Figure 3 third function 35 provides ei ⁇ ne further possibility of a mathematical representation of the assumed displacement time t.
  • the discontinuous ⁇ keitsstellen 33 of the second function 32 has the third function 35 in the region of said periodicities turning points 36a to 36c, where the function of each of ei ⁇ ner left over into a right curve.
  • the third function 35 thus also has a behavior with a different increase in the presumed displacement time T as a function of the last access time.
  • the function 32 and 35 are even better for determining a presumed displacement time T of a data set as the function 31, because the probability that a record is needed again, after the expiration of predetermined periodic periods greatly decreases. For example, if a billing process with data for a bill has become inaccessible after 30 days, the associated data is unlikely to change in the future. Che similar assumptions are made, for example, data backups are performed daily incremental, after reaching ei ⁇ ner certain derivative action but only weekly, monthly or annual way be held.
  • the necessary parameters for determining the different functions according to FIG. 3 can be determined, for example, by statistical analyzes within the data processing device 4 itself. Alternatively, the values can of course also be specified by a system administrator of the storage system 1. In particular the following parameters for the operation of the memory system 1 can be determined at ⁇ hand from real measured values or be preset by the system administrator: a read and / or
  • Other parameters that can be taken into account in the assessment and, if necessary, statistically determined include, for example: Example, the average life of records in the storage system 1, and the access frequency to a record.
  • different functions for the presumed displacement time T as a function of the access time can be determined by comparing a date of a last access with a date of a creation.
  • backup data sets such as those generated in particular by Da ⁇ ten Anlagenssystemen
  • only a one-time access takes place normally.
  • the date of the last access corresponds to the date of creation of the data record.
  • Such data sets have a particularly low access probability or, conversely, a particular ⁇ DERS high suspected displacement time T in practice.
  • FIG. 4 shows a possible file structure for a primary mass storage 2. On the mass storage 2 or in a file system stored thereon, individual files 41a and 41b are stored. The first file 41a is completely stored on the primary mass storage 2.
  • the second file 41b has already been outsourced to a secondary mass ⁇ memory 3. To provide easy access to the second file to allow 41b, however, a so-called stub of the transferred file 41b stored in the primary Mas ⁇ sen appointment. 2
  • Both the first file 41a and the second file 41b include ⁇ a so-called file header 42a and 42b.
  • the file header contains, for example, the file name, the time of a last read, the time of a last write and the time of the original creation of the file. Further statistical data of the file, such as in particular ⁇ sondere their actual size or the number of memory blocks used on the primary mass storage device 2, may also be stored in the header 42a and 42b.
  • a certain disadvantage factor or a hit counter can in the header 42a and 42b, further, generated by the memory system 1 or use data, such as supply priority a specific Verdrän ⁇ are stored.
  • the first file 41 further includes a data area 43, in which the actual contents of the first file 41a stores ⁇ ge.
  • the second file 41b comprises a reference 44 to the actual storage location of the second file 41b on the secondary mass storage 3.
  • the size of the file content is considered separately from the size of the header 42a or 42b of the first file 41a or of the second file 41b.
  • said method is considered in step 22 in the above, that the header 42b and given ⁇ if a separately stored reference 44 41b still occupied space on the primary mass storage 2 after foreign authenti ⁇ delay of the file.
  • Stubs can of course also separate metadata in a database or other memory structure of the data processing device 4 are stored. Also, the scope of such data may be considered in the method for determining a displacement priority.
  • the memory system 1 described above and the method of operation 20 for its operation have a number of advantages over known systems and methods. In particular, they are able to automatically adapt to the characteristics of the hardware components of the storage system 1 used as well as the behavior of applications that use the storage system 1. For this purpose, a number of measurable parameters, such as the physical characterization teristics of the primary mass storage device 2 and / or the sekundä ⁇ ren mass memory 3 and of average displacement times for different types of records determined. Furthermore, the system described preferably takes into account the peculiarity of IT systems that many processes take place with a certain regularity. The parameters used and / or determined by the method also serve to to make the relatively complex processes within Speicherersys ⁇ warmth traceable for an administrator. A transparent representation of the parameters used therefore allows an improved fine tuning of the memory system by a system administrator.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

The invention relates to a method of operation (20) for a memory system (1) having a primary mass memory (2) and a secondary mass memory (3), wherein access operations on the secondary mass memory (3) are slower on average than access operations on the primary mass memory (2). The method comprises the steps of determining a use factor for the relocation of a data record, determining a disadvantage factor for the relocation of the data record, stipulating a displacement priority by weighing up the determined use factor and the determined disadvantage factor, and relocating the data record from the primary mass memory (2) to the secondary mass memory (3) if the stipulated displacement priority exceeds a comparison value. Furthermore, the invention relates to a memory system (1) and to a computer program product.

Description

Beschreibung description
Arbeitsverfahren für ein Speichersystem, Speichersystem und Computerprogrammprodukt Working method for a storage system, storage system and computer program product
Die Erfindung betrifft ein Arbeitsverfahren für ein Speichersystem mit einem primären Massenspeicher und einem sekundären Massenspeicher, wobei Zugriffe auf den sekundären Massenspeicher im Durchschnitt langsamer sind als Zugriffe auf den pri- mären Massenspeicher. Des Weiteren betrifft die Erfindung ein derartiges Speichersystem, umfassend wenigstens einen primä¬ ren Massenspeicher, wenigstens einen sekundären Massenspeicher und wenigstens eine Datenverarbeitungseinrichtung zum Ausführen eines Steuerprogramms für das Speichersystem sowie ein Computerprogrammprodukt. The invention relates to a working method for a storage system with a primary mass storage and a secondary mass storage, wherein accesses to the secondary mass storage are on average slower than accesses to the primary mass storage. Furthermore, the invention relates to such a storage system comprising at least one Primae ¬ ren mass storage, at least one secondary storage, and at least one data processing means for executing a control program for the storage system and a computer program product.
Derartige Speichersysteme und zugehörige Arbeitsverfahren sind aus dem Stand der Technik bekannt. Beispielsweise bietet die Firma Fujitsu Technology Solutions GmbH unter der Be- Zeichnung "Eternus CS High End" eine Datensicherungsvorrichtung für Rechenzentren an. Dabei handelt es sich um eine Weiterentwicklung des Backup- und Archivierungssystems, wie es beispielsweise in der WO 01/40924 A2 offenbart ist. Die bekannten Vorrichtungen verwenden ein hierarchischesSuch storage systems and associated methods of operation are known in the art. For example, Fujitsu Technology Solutions GmbH offers a backup device for data centers under the designation "Eternus CS High End". This is a further development of the backup and archiving system, as disclosed, for example, in WO 01/40924 A2. The known devices use a hierarchical
Speichersystem mit relativ schnellen, teuren primären Massenspeichern wie beispielsweise Festplattenlaufwerken mit magnetischen Speicherplatten (engl. Hard Disk Drives - HDD) oder Festkörperlaufwerke mit nichtflüchtigem Halbleiterspeichern (engl. Solid State Drives - SSD) , und sekundäre, in der Regel größere, langsamere und billigere Massenspeicher, beispiels¬ weise in der Form von Magnetbandlaufwerken und zugehörigen Magnetbändern . Im Betrieb des Speichersystems stellt sich dabei die Frage, welche Daten auf dem schnelleren, dafür in der Regel aber begrenzten, primären Massenspeicher und welche Daten auf dem meist wesentlich größeren, aber langsameren, sekundären Mas- senspeicher abgespeichert werden sollen. Konventionelle Spei¬ chersystems verwenden dabei entweder die Größe einer zu spei¬ chernden Datei und/oder einen Zeitpunkt eines letzten Storage system with relatively fast, expensive primary mass storage devices such as Hard Disk Drives (HDD) or Solid State Drives (SSD) Solid State Drives, and secondary, typically larger, slower and cheaper mass storage devices Example, in the form of magnetic tape drives and associated magnetic tapes. During operation of the storage system, the question arises as to which data is to be stored on the faster, but generally limited, primary mass storage and which data is stored on the mostly much larger, but slower, secondary mass storage. Conventional Spei ¬ chersystems use either the size of a to spei ¬ chernden file and / or time of last
Zugriffs auf eine Datei als Entscheidungskriterium, ob eine Datei in einem primären Massenspeicher oder in einem sekundä- ren Massenspeicher abgelegt werden soll. Dabei werden bevorzugt ältere bzw. größere Dateien auf dem sekundären Massenspeicher abgelegt, während jüngere oder kleinere Dateien auf dem primären Massenspeicher abgelegt werden. Soll auf die ausgelagerten Daten wieder zugegriffen werden, werden diese in der Regel zunächst von dem sekundären Massenspeicher zurück in den primären Massenspeicher geholt. Access to a file as a decision criterion as to whether a file should be stored in a primary mass storage or in a secondary mass storage. In this case, older or larger files are preferably stored on the secondary mass storage, while younger or smaller files are stored on the primary mass storage. If the outsourced data is to be accessed again, they are usually first fetched from the secondary mass storage back into the primary mass storage.
Eine Aufgabe der vorliegenden Erfindung ist es, ein Arbeitsverfahren bzw. ein Speichersystem anzugeben, bei dem die Ent- Scheidung, welche Daten auf welchem Massenspeicher abgelegt werden, flexibler gestaltet werden kann. Zudem soll sich die Entscheidung an den Bedürfnissen der Nutzer bzw. an den Charakteristiken von Anwendungen orientieren, die auf die gespeicherten Daten zugreifen. An object of the present invention is to specify a working method or a memory system in which the decision as to which data is stored on which mass memory can be made more flexible. In addition, the decision should be based on the needs of the users or on the characteristics of applications that access the stored data.
Gemäß einem ersten Aspekt der Erfindung wird ein Arbeitsverfahren für ein Speichersystem der oben genannten Art beschrieben. Das Arbeitsverfahren umfasst die Schritte: According to a first aspect of the invention, a working method for a storage system of the above type is described. The working method comprises the steps:
- Bestimmen eines Nutzfaktors für die Auslagerung eines Datensatzes von dem primären Massenspeicher auf den sekundären Massenspeicher - Bestimmen eines Nachteilsfaktors für die Auslagerung desDetermine a payload for offloading a record from the primary storage to the secondary storage Determine a disadvantage factor for the outsourcing of the
Datensatzes von dem primären Massenspeicher auf den sekundären Massenspeicher Record from the primary storage to the secondary storage
- Festlegen einer Verdrängungspriorität durch Abwägung des bestimmten Nutzfaktors und des bestimmten Nachteilsfaktors und Determining a displacement priority by weighing the determined useful factor and the specific disadvantage factor and
- Auslagern des Datensatzes von dem primären Massenspei- eher auf den sekundären Massenspeicher, wenn die festge-- offload the record from the primary mass storage to the secondary mass storage, if the fixed
Verdrängungspriorität einen Vergleichswert über steigt . Displacement priority exceeds a comparison value.
Durch die oben genannten Schritte kann eine Entscheidung, ob ein bestimmter Datensatz von einem primären Massenspeicher auf einen sekundären Massenspeicher ausgelagert wird, individuell anhand eines Nutzens und eines damit verbundenen Nach¬ teils für die Auslagerung des Datensatzes beurteilt werden. Auf Grundlage eines bestimmten Nutzfaktors und eines bestimm- ten Nachteilsfaktors wird dabei eine Verdrängungspriorität für den Datensatz festgelegt, die bei einer eventuellen Auslagerung des Datensatzes mit einem Vergleichswert verglichen wird. Gegenüber bekannten Verfahren weist das oben genannte Verfahren die Vorteile auf, dass unterschiedliche Faktoren in die Bestimmung eines Nutzens bzw. Nachteils für die Auslage¬ rung datensatzspezifisch berücksichtigt werden. By the above-mentioned steps, a decision as to whether a specific data record is transferred from a primary mass storage to a secondary mass storage can be assessed individually on the basis of a benefit and an associated after ¬ part for the outsourcing of the data record. On the basis of a specific useful factor and a specific disadvantage factor, a displacement priority is set for the data record, which is compared to a comparison value in the case of a possible outsourcing of the data record. Compared with known methods, the abovementioned method has the advantages that different factors are taken into account in the determination of a benefit or disadvantage for the display ¬ tion record-specific.
Gemäß einer vorteilhaften Ausgestaltung wird der Nutzfaktor in Abhängigkeit einer Größe des Datensatzes und einer vermu- teten Verdrängungszeit bis zu einem Einlagern des ausgelagerten Datensatzes von dem sekundären Massenspeicher in den primären Massenspeicher bestimmt. Je größer der auszulagernde Datensatz und je länger der ausgelagerte Datensatz nicht in den primären Massenspeicher zurück gelesen werden muss, desto größer ist der Nutzen einer potenziellen Auslagerung. According to an advantageous embodiment of the useful factor is determined depending on a size of the data set and a suspected displacement time to a storage of the paged record from the secondary mass storage in the primary mass storage. The larger the dataset to be swapped out and the longer the paged dataset is not in the primary mass storage needs to be read back, the greater the benefit of potential outsourcing.
Gemäß einer vorteilhaften Ausgestaltung wird die vermutete Verdrängungszeit auf Grundlage einer Wahrscheinlichkeitsfunk¬ tion in Abhängigkeit eines letzten ZugriffZeitpunkts des Da¬ tensatzes bestimmt. Der Zeitpunkt eines letzten Zugriffs er¬ laubt eine statistische Aussage darüber, wie lange auf einen ausgelagerten Datensatz voraussichtlich nicht mehr zugegrif- fen wird. According to an advantageous embodiment of the assumed displacement time is determined based on a probability radio ¬ tion in response to a last access time of the Da ¬ tensatzes. The time of last access it ¬ laubt a statistical statement about how long is probably not zugegrif- fen on an outsourced record.
Gemäß einer weiteren Ausgestaltung steigt die vermutete Verdrängungszeit nach Überschreiten wenigstens einer typischen Periode seit dem letzten Zugriffszeitpunkt stärker an als in- nerhalb der typischen Periode. Diese Ausgestaltung berücksichtigt eine Eigenheit von vielen Prozessen in der Informa¬ tionsverarbeitungstechnologie (IT), dass viele Prozesse mit einer gewissen Regelmäßigkeit stattfinden. Typische Perioden hierfür sind beispielsweise tägliche, arbeitstägliche, wö- chentliche, quartalsweise oder jährlich ausgeführte Prozesse. According to a further embodiment, the presumed displacement time after exceeding at least one typical period since the last access time increases more than within the typical period. This design takes into account a peculiarity of many processes in the Informa ¬ tion processing technology (IT) that many processes occur with some regularity. Typical periods for this are, for example, daily, working-day, weekly, quarterly or annually executed processes.
Gemäß einer weiteren vorteilhaften Ausgestaltung wird die typische Periode auf Grundlage einer statistischen Auswertung früherer Zugriffe auf Datensätze des Speichersystems ermit- telt. Eine statistische Auswertung erlaubt dabei die vollau¬ tomatische, dynamische Erkennung von typischen Perioden. According to a further advantageous embodiment, the typical period is determined on the basis of a statistical evaluation of previous accesses to data sets of the memory system. A statistical analysis allowed while the vollau ¬ matic, dynamic discovery of typical periods.
Gemäß einer weiteren vorteilhaften Ausgestaltung wird der Nachteilsfaktor in Abhängigkeit einer verzögerten Zugriffs- zeit bestimmt. In einer Ausgestaltung ist die verzögerteAccording to a further advantageous embodiment, the disadvantage factor is determined as a function of a delayed access time. In one embodiment, the delayed
Zugriffszeit proportional zur Summe einer Erstzugriffszeit des sekundären Massenspeichers und einem Verhältnis von der Größe des Datensatzes und der durchschnittlichen Lesege- schwindigkeit des sekundären Massenspeichers. Durch Berück¬ sichtigung der oben genannten Parameter kann der tatsächliche Nachteil, der durch das Wiedereinlagern eines Datensatzes von dem sekundären Massenspeicher in den primären Massenspeicher entsteht, quantifiziert und bei der Festlegung einer Verdrän¬ gungspriorität angemessen berücksichtigt werden. Access time is proportional to the sum of a first access time of the secondary mass storage and a ratio of the size of the data set to the average reading time. speed of the secondary mass storage. The actual disadvantage caused by the re-storing of a data set from the secondary storage to the primary mass storage can be obtained by taken into account the above mentioned parameters ¬ quantified and appropriately considered when determining a Verdrän ¬ supply priority.
Gemäß einer vorteilhaften Ausgestaltung werden die Schritte des Bestimmens des Nutzfaktors, des Bestimmens des Nachteils¬ faktors und des Festlegens der Verdrängungspriorität für alle Datensätze einer vorbestimmten Gruppe von Datensätzen durchgeführt, die vorbestimmte Gruppe von Datensätzen in abstei¬ gender Reihenfolge ihrer jeweiligen Verdrängungspriorität sortiert und Datensätze in der Reihenfolge ihrer Sortierung von dem primären Massenspeicher auf den sekundären Massenspeicher ausgelagert, bis durch die Auslagerung eine untere Füllgrenze für den primären Massenspeicher eingehalten wird. Ein derartiges Verfahren erlaubt die Optimierung aller oder eines wesentlichen Teils von in dem Speichersystem gespeicherten Datensätzen unter Berücksichtigung einer möglichst großen Effizienz für das Gesamtsystem. According to an advantageous embodiment, the steps of determining the duty factor, determining the disadvantage ¬ factor and setting the displacement priority for all records of a predetermined group of data sets are performed by the predetermined group of records in abstei ¬ gender order of their respective displacement priority and records in outsourced the order of their sorting from the primary mass storage to the secondary mass storage until the lower storage limit for the primary mass storage is met by the paging. Such a method allows the optimization of all or a substantial part of data records stored in the memory system, taking into account the greatest possible efficiency for the overall system.
Gemäß einem zweiten Aspekt der Erfindung wird ein Speichersystem, umfassend wenigstens einen primären Massenspeicher zum Zwischenspeichern von Datensätzen, wenigstens einen sekundären Massenspeicher zur Archivierung von Datensätzen und wenigstens eine Datenverarbeitungsvorrichtung zum Ausführen eines Steuerprogramms für das Speichersystem offenbart. According to a second aspect of the invention, there is disclosed a storage system comprising at least one primary mass storage for caching data sets, at least one secondary mass storage for archiving data sets, and at least one data processing device for executing a control program for the storage system.
Zugriffe auf den sekundären Massenspeicher erfolgen im Durch- schnitt langsamer als Zugriffe auf den primären Massenspei¬ cher. Das Steuerprogramm ist dazu eingerichtet, bei Ausfüh¬ rung durch die Datenverarbeitungsvorrichtung ein Verfahren gemäß dem ersten Aspekt durchzuführen. Gemäß einer vorteilhaften Ausgestaltung umfasst der wenigstens eine sekundäre Massenspeicher wenigstens ein Speicher¬ laufwerk und eine Mehrzahl von zugehörigen Wechselspeichermedien. Ein derartiges Speichersystem erlaubt eine Speicherung umfangreicher Daten, insbesondere durch die Verwendung einer Vielzahl von Magnetbändern oder wechselbaren optischen Speichermedien . Access to the secondary storage take place on average slower than access to primary Massenspei ¬ cher. The control program is adapted for exporting ¬ tion performed by the data processing apparatus, a method according to the first aspect. According to an advantageous embodiment of the at least one secondary memory comprises at least one mass storage ¬ drive and a plurality of associated removable storage media. Such a storage system allows a storage of extensive data, in particular by the use of a plurality of magnetic tapes or removable optical storage media.
Gemäß einem dritten Aspekt der Erfindung wird ein Computerprogrammprodukt, umfassend ausführbaren Programmcode für ein Steuerprogramm einer Datenverarbeitungsvorrichtung gemäß dem zweiten Aspekt der Erfindung, beschrieben. According to a third aspect of the invention, a computer program product comprising executable program code for a control program of a data processing device according to the second aspect of the invention is described.
Weitere vorteilhafte Ausgestaltungen sind in den angehängten Patentansprüchen sowie der nachfolgenden ausführlichen Beschreibung von Ausführungsbeispielen offenbart. Further advantageous embodiments are disclosed in the appended claims and the following detailed description of exemplary embodiments.
Die Erfindung wird nachfolgend anhand von Ausführungsbeispie¬ len unter Bezugnahme auf die angehängten Figuren näher erläutert. In den Figuren zeigen: The invention will be explained in more detail with reference to Ausführungsbeispie ¬ len with reference to the attached figures. In the figures show:
Figur 1 eine schematische Darstellung einer Systemarchitektur eines beispielhaften Speichersystems, FIG. 1 shows a schematic illustration of a system architecture of an exemplary memory system,
Figur 2 ein Ablaufdiagramm eines Arbeitsverfahrens für ein FIG. 2 shows a flow chart of a working method for a
SpeicherSystem,  Storage system
Figur 3 unterschiedliche Wahrscheinlichkeitsfunktionen für die Ermittlung einer vermuteten Verdrängungszeit und Figure 3 different probability functions for the determination of a suspected displacement time and
Figur 4 eine Speicherstruktur für einen primären Massen- Speicher . In der Figur 1 ist ein Speichersystem 1 schematisch dargestellt. Das Speichersystem 1 umfasst einen primären Massenspeicher 2 sowie einen sekundären Massenspeicher 3. Des Weiteren umfasst das Speichersystem eine Datenverarbeitungsvor- richtung 4, die mit dem primären Massenspeicher 2 und dem sekundären Massenspeicher 3 datentechnisch gekoppelt ist. FIG. 4 shows a memory structure for a primary mass memory. FIG. 1 schematically shows a storage system 1. The storage system 1 comprises a primary mass storage 2 and a secondary mass storage 3. Furthermore, the storage system comprises a data processing device 4, which is data-technically coupled to the primary mass storage 2 and the secondary mass storage 3.
Im Ausführungsbeispiel handelt es sich bei dem primären Mas¬ senspeicher 2 beispielsweise um ein so genanntes RAID-System mit einer Mehrzahl von zumindest teilweise redundanten Fest¬ plattenlaufwerken. Der primäre Massenspeicher 2 umfasst im Ausführungsbeispiel eine Mehrzahl von so genannten Volumes 5a und 5b, auf denen beispielsweise unterschiedliche Dateien oder Dateisysteme der Datenverarbeitungsvorrichtung 4 gespei- chert sind. Ob es sich bei den Volumes 5a und 5b um tatsäch¬ liche Dateisysteme, virtuelle Bandlaufwerke oder sonstige Or¬ ganisationsstrukturen des primären Massenspeichers 2 oder des Speichersystems 1 handelt, ist für die weitere Betrachtung jedoch von untergeordneter Bedeutung. In the exemplary embodiment it is in the primary Mas ¬ senspeicher 2, for example a so-called RAID system comprising a plurality of at least partially redundant hard disk drives ¬. In the exemplary embodiment, the primary mass storage 2 comprises a plurality of so-called volumes 5a and 5b, on which, for example, different files or file systems of the data processing device 4 are stored. Whether it is tatsäch ¬ Liche file systems, virtual tape drives or other Or ¬ ganisationsstrukturen the primary mass storage device 2 or the memory system 1 at the volumes 5a and 5b, however, for further consideration of minor importance.
Bei dem sekundären Massenspeicher 3 handelt es sich im Ausführungsbeispiel um eine so genannte Automatic Tape Library (ATL) , also einen Roboter gestützten Massenspeicher mit einem oder mehreren Magnetbandlaufwerken 10 und zugehörigen, bevor- zugt automatisch einlegbaren Magnetbändern 11. Selbstverständlich kann es sich bei dem sekundären Massenspeicher 3 alternativ auch um ein anderes Massenspeichersystem handeln. Weitere Beispiele für eine kostengünstige Speicherung großer Datenmengen sind beispielsweise die Verwendung von Speicher- laufwerken mit optischen oder magneto-optischen, wechselbaren Speichermedien oder auch die Verwendung von so genannten Cloud-Storage-Systemen, bei denen Daten über ein Netzwerk wie insbesondere das Internet auf entfernten Servern mit verfüg¬ baren Speicherkapazitäten abgelegt werden. The secondary mass storage 3 in the exemplary embodiment is a so-called automatic tape library (ATL), ie a robot-based mass storage with one or more magnetic tape drives 10 and associated, preferably automatically insertable magnetic tapes 11. Of course, it may be in the secondary Mass storage 3 alternatively act to another mass storage system. Other examples of cost-effective storage of large amounts of data include the use of storage drives with optical or magneto-optical, removable storage media or the use of so-called cloud storage systems in which data over a network such especially the Internet are stored on remote servers with verfüg ¬ cash storage capacities.
Bei der Datenverarbeitungsvorrichtung 4 handelt es sich im Ausführungsbeispiel um einen besonders leistungsfähigen, teilweise redundant aufgebauten Server Computer. Im Ausführungsbeispiel bilden die Datenverarbeitungsvorrichtung 4 und er primäre Massenspeicher 2 ein integriertes Backup- und Ar¬ chivierungssystem 9. In einer anderen, zeichnerisch nicht dargestellten Ausführung ist der primäre Massenspeicher 2 physikalisch unabhängig von der Datenverarbeitungsvorrichtung 4 aufgestellt und mit diesem über geeignete Mittel, wie bei¬ spielsweise ein Storage Area Network (SAN) gekoppelt. Das Backup- und Archivierungssystem 9 weist im Ausführungs¬ beispiel mehrere so genannte Front-End-Adapter 6a und 6b zum Anschluss der Datenverarbeitungsvorrichtung an ein oder mehrere Datennetzwerke auf. Im Ausführungsbeispiel sind zwei ge¬ trennte Host Computer 7a und 7b über jeweils eine dedizierte Verbindung, beispielsweise unterschiedliche Segmente eines lokalen Ethernet-Netzwerkes , mit einem der Front-End-Adapter 6a bzw. 6b gekoppelt. Selbstverständlich sind auch andere Arten der Anbindung von Host Computern an das Backup- und Archivierungssystem 9 möglich. Das Backup- und Archivierungs- System 9 weist des Weiteren einen oder mehrere so genannten Back-End-Adapter 8 zur Kopplung des sekundären Massenspeichers 3 mit dem Backup- und Archivierungssystem 9 auf. Bei¬ spielsweise handelt es sich dabei um einen besonders leis¬ tungsfähigen Fiber Channel oder SCSI-Anschluss zum Anschluss eines oder mehrerer Massenspeicherlaufwerke . The data processing device 4 in the exemplary embodiment is a particularly powerful, partially redundant server computer. In the exemplary embodiment, the data processing device 4 and he primary mass storage 2 an integrated backup and Ar ¬ chivierungssystem 9. In another, not graphically illustrated embodiment, the primary mass storage 2 is physically independent of the data processing device 4 and set up with this by suitable means, as in ¬ play, a Storage Area Network (SAN) coupled. The backup and archiving system 9 comprises execution ¬ for several so-called front-end adapter 6a and 6b for connecting the data processing apparatus to one or more data networks. In the embodiment, two ge ¬ isolated host computer 7a and 7b respectively via a dedicated connection, for example, different segments of a local Ethernet network, with one of the front-end adapter 6a and 6b are coupled. Of course, other types of connection of host computers to the backup and archiving system 9 are possible. The backup and archiving system 9 further comprises one or more so-called back-end adapters 8 for coupling the secondary mass storage 3 with the backup and archiving system 9. In ¬ example, this is a particularly lei ¬ capable fiber channel or SCSI port for connecting one or more mass storage drives.
Die Datenverarbeitungsvorrichtung 4 umfasst wenigstens einen Prozessor zum Ausführen von Programmcode eines Computerpro- grammprodukts zur Steuerung des Speichersystems 1. In einer weiteren Ausgestaltung umfasst die Datenverarbeitungsvorrichtung 4 eine Mehrzahl von Einzelrechnern, die zusammen ein Clustersystem mit besonders hohe Leistung und Ausfallsicher- heit bilden. Die Arbeitsweise des durch die Datenverarbei¬ tungsvorrichtung 4 ausgeführten Programmcodes wird nachfolgend unter Bezugnahme auf die Figur 2 weiter beschrieben. The data processing device 4 comprises at least one processor for executing program code of a computer program. In a further embodiment, the data processing device 4 comprises a plurality of individual computers, which together form a cluster system with particularly high performance and fail-safety. The operation of the program code executed by the Datenverarbei ¬ processing device 4 is further described below with reference to FIG. 2
Figur 2 zeigt ein Ablaufdiagramm eines Arbeitsverfahrens 20 für das Speichersystem 1 oder ein anderes Speichersystem mit einem primären Massenspeicher und einem sekundären Massenspeicher . FIG. 2 shows a flow diagram of a working method 20 for the storage system 1 or another storage system with a primary mass storage and a secondary mass storage.
In einem ersten Schritt 21 wird ein neuer Datensatz zur Fest- legung einer Verdrängungspriorität ausgewählt. Beispielsweise kann der Schritt 21 ausgeführt werden, wenn eine neue Datei oder ein Datensicherungssatz von einem der Host Computer 7a oder 7b an das Speichersystem 1 übertragen wird. Der Schritt 21 kann jedoch auch zyklisch, beispielsweise jeden Tag oder bei Auslösung eines bestimmten Ereignisses, wie beispielswei¬ se dem Überschreiten einer vorgegebenen maximalen Füllgrenze des primären Massenspeichers 2, ausgelöst werden. In a first step 21, a new data record for setting a predatory priority is selected. For example, step 21 may be performed when a new file or backup set is transferred from one of the host computers 7a or 7b to the storage system 1. However, the step 21 may also cyclically, for example every day or at a particular triggering event, such beispielswei ¬ se exceeding a predetermined maximum filling limit of the primary mass storage device 2, are triggered.
Der Begriff "Datensatz" ist dabei gemäß den Anforderungen des jeweiligen Speichersystems zu verstehen. Bei einem Dateiserver entspricht er beispielsweise einer normalen Datei eines Dateisystems, wie beispielsweise dem Dokument einer Textver¬ arbeitung. Bei einem Archivierungssystem wie es beispielsweise unter Bezugnahme auf die Figur 1 beschrieben wurde, kann es sich aber auch um ein gesamtes Dateisystem oder ein Volume eines virtualisierten Bandlaufwerkes handeln, das eine Mehrzahl von Dateien im engeren Sinne zusammenfasst . In zwei weitgehend unabhängig voneinander ausgeführten The term "data record" is to be understood according to the requirements of the respective storage system. In a file server, for example, it corresponds to a normal file on a file system, such as the document of a Textver ¬ processing. An archiving system, as described, for example, with reference to FIG. 1, may also be an entire file system or a volume of a virtualized tape drive that combines a plurality of files in the strict sense. In two largely independently executed
Schritten 22 bzw. 23 wird ein Nutzfaktor bzw. ein Nachteilsfaktor für eine mögliche Auslagerung des im Schritt 21 ausge¬ wählten Datensatzes bestimmt. Die Schritte 22 und 23 können nacheinander oder, wie in der Figur 2 dargestellt, parallel zueinander ausgeführt werden. Steps 22 and 23, a duty factor and a penalty term for a possible removal of the step 21 of the ¬ selected data record is determined. The steps 22 and 23 can be carried out in succession or, as shown in FIG. 2, parallel to each other.
Im Schritt 22 wird der Nutzfaktor im Wesentlichen als die mögliche Verdrängung der für andere Datensätze durch die Aus- lagerung zur Verfügung stehende freie Speicher bestimmt. In der beschriebenen Ausführungsform ist der Nutzen proportional von der Datensatzgröße und einer vermuteten Verdrängungszeit für den Datensatz abhängig. Dabei ist die Verdrängungszeit die Dauer bis zu einem nächsten Zugriff, welche eine erneute Einlagerung auf den primären Massenspeicher 2 erfordern würde, oder bis zur endgültigen Löschung des ausgewählten Datensatzes. In step 22, the useful factor is determined essentially as the possible displacement of the free memory available for other data sets by the paging. In the described embodiment, the benefit is proportional to the record size and a suspected displacement time for the record. In this case, the displacement time is the time until a next access, which would require a re-storage on the primary mass storage 2, or until the final deletion of the selected data set.
In der Praxis kann ein derartiger Wert wegen der Unvorherseh- barkeit von tatsächlichen Zugriffen in der Regel nur statistisch ermittelt werden. Ein möglicher Anhaltspunkt für die statistische Ermittlung bietet beispielsweise ein Zeitpunkt, zu dem zuletzt auf den Datensatz zugegriffen wurde. Weitere Faktoren, die bei der Bestimmung der vermuteten Verdrängungs- zeit berücksichtigt werden können, sind unter anderem dieIn practice, due to the unpredictability of actual access, such a value can generally only be determined statistically. For example, one possible clue to the statistical determination is a time when the record was last accessed. Other factors that may be taken into account in determining the predicted cut-off time include the
Häufigkeit eines Zugriffs auf den Datensatz und die Tatsache, dass bestimmte IT-Prozesse, die auf Daten zugreifen, oft pe¬ riodisch ablaufen. Beispielhafte Wahrscheinlichkeitsfunktio¬ nen, die zur Bestimmung der vermuteten Verdrängungszeit Ver- wendung finden können, werden später unter Bezugnahme auf die Figur 3 im Detail erläutert. Der in Schritt 23 bestimmte Nachteilsfaktor repräsentiert insbesondere eine aus der Auslagerung des Datensatzes resul¬ tierende verzögerte Zugriffszeit. Im beschriebenen Beispiel eines Bandlaufwerks 10 als sekundärem Massenspeicher 3 be- steht die Zugriffszeit dabei aus einer anlagenspezifischen, durchschnittlichen Zugriffszeit, wie beispielsweise einer so genannten Mount-Zeit zum Einlegen eines erforderlichen Speichermediums in ein entsprechendes Speicherlaufwerk, einer ge¬ gebenenfalls erforderlichen Positionierung des Speichermedi- ums sowie der tatsächlichen Lesezeit zum Wiedereinlesen des ausgelagerten Datensatzes. Die Zugriffszeit beruht dabei auf einer Summe der Erstzugriffszeit und einem Verhältnis der Größe des ausgelagerten Datensatzes zur durchschnittlichen Lesegeschwindigkeit. Zur besseren Nachvollziehbarkeit, bei- spielsweise für einen Systemadministrator, kann der Nachteilsfaktor optional als Verhältnis einer Zugriffszeit auf den ausgelagerten Datensatz zu einer Zugriffszeit für einen bekannten Vergleichsdatensatz mit einer beispielhaften Größe von 1 GB dargestellt werden. Frequency of access to the record and that certain IT processes that access data often pe ¬ expire riodisch the fact. Exemplary Wahrscheinlichkeitsfunktio ¬ investments that can be found for determining the presumed displacement time encryption application will be explained later with reference to Figure 3 in detail. The determined in step 23 drawback factor represents a particular from the swap of the data set resul ¬ animal delay-access time. In the described example of a tape drive 10 as a secondary mass storage 3, the access time consists of a system-specific, average access time, such as a so-called mount time for inserting a required storage medium into a corresponding storage drive, ge ¬ possibly required positioning of the storage medium ums and the actual reading time for re-reading the paged record. The access time is based on a sum of the first access time and a ratio of the size of the paged data set to the average read speed. For better traceability, for example for a system administrator, the disadvantage factor can optionally be represented as the ratio of an access time to the paged data record to an access time for a known comparison data record with an exemplary size of 1 GB.
In einem Schritt 24 wird die Verdrängungspriorität für den betrachteten Datensatz bestimmt. Im Ausführungsbeispiel han¬ delt es sich bei der Verdrängungspriorität um das Verhältnis des bestimmen Nutzfaktors zu dem bestimmten Nachteilsfaktor. Selbstverständlich können auch andere Relationen zur Berücksichtigung des Nutzens und des Nachteilsfaktors Verwendung finden . In step 24, the displacement priority is determined for the considered data record. In the exemplary embodiment han ¬ delt it is in the displacement priority to determine the ratio of the duty factor to the particular disadvantage factor. Of course, other relationships may be used to take into account the benefit and the penalty factor.
In einer Abfrage 25 wird überprüft, ob eine Verdrängungsprio- rität für weitere Datensätze ermittelt werden soll. Ist dies der Fall, wird das Verfahren in Schritt 21 mit dem nächsten zu bewertenden Datensatz fortgesetzt. Anderenfalls wird das Verfahren in Schritt 26 fortgesetzt. In Schritt 26 wird mindestens eine bestimmte Verdrängungspri¬ orität mit mindestens einem Vergleichswert verglichen. Hier¬ bei bieten sich unterschiedliche Kriterien für einen möglichen Vergleich an. Beispielsweise kann ein Systemadministra- tor basierend auf Erfahrungswerten einen festen Schwellwert für das Auslagern von Datensätzen vorgeben. Des Weiteren ist es möglich, einen derartigen Schwellwert automatisch auf Grundlage einer statistischen Analyse durch das Steuerpro¬ gramm zu ermitteln. In einer bevorzugten Ausgestaltung werden die Verdrängungsprioritäten der einzelnen Datensätze desA query 25 checks whether a displacement priority is to be determined for further data records. If this is the case, the method is continued in step 21 with the next record to be evaluated. Otherwise, the process continues in step 26. In step 26, a certain Verdrängungspri ¬ ority, at least compared with at least one comparison value. Here ¬ with them different criteria for a possible settlement offer. For example, based on empirical values, a system administrator can set a fixed threshold for offloading data records. Furthermore, it is possible to automatically determine such a threshold based on a statistical analysis by the Steuerpro ¬ program. In a preferred embodiment, the displacement priorities of the individual data sets of the
Speichersystems 1 miteinander verglichen. Dabei werden die Datensätze des primären Massenspeichers 2 gemäß der bestimm¬ ten Verdrängungspriorität in absteigender Reihenfolge in ei¬ ner Prioritätsliste eingetragen. Memory system 1 compared with each other. The records of the primary mass storage device 2 according to the limited hours ¬ th displacement priority in descending order in ei ¬ ner priority list are entered.
Ergibt sich durch den Vergleich 26, dass ein bestimmter Datensatz ausgelagert werden soll, wird dieser in Schritt 27 von dem primären Massenspeicher 2 an den sekundären Massenspeicher 3 übertragen. Dazu wird der Datensatz zunächst von dem primären Massenspeicher 2 ausgelesen und in dem sekundären Massenspeicher 3 abgelegt. Nach erfolgreichem Schreiben des Datensatzes auf den sekundären Massenspeicher 3 kann der entsprechende Datensatz von dem primären Massenspeicher 2 gelöscht oder für ungültig erklärt werden. If it is determined by the comparison 26 that a specific data record is to be swapped out, this is transmitted from the primary mass storage 2 to the secondary mass storage 3 in step 27. For this purpose, the data set is first read out from the primary mass storage 2 and stored in the secondary mass storage 3. Upon successful writing of the record to the secondary mass storage 3, the corresponding record may be deleted from the primary mass storage 2 or invalidated.
In einer beispielhaften Ausgestaltung bleibt ein so genannter Stub als Anker des ausgelagerten Datensatzes in dem primären Massenspeicher 2 erhalten. Dabei enthält der Stub lediglich einen Verweis auf den tatsächlichen Speicherort des ausgela- gerten Datensatzes in dem sekundären Massenspeicher 3 sowie optional zusätzliche Metadaten des Datensatzes. Nachfolgend kann das Verfahren entweder durch das Auslagern weiterer Datensätze fortgesetzt oder beendet werden, wenn ausreichend freie Speicherkapazität auf dem primären Massen¬ speicher 2 zur Verfügung steht. In an exemplary embodiment, a so-called stub remains as an anchor of the paged record in the primary mass storage 2. In this case, the stub contains only a reference to the actual storage location of the outsourced data set in the secondary mass storage 3 and optionally additional metadata of the data set. Next, the method can be continued by either swapping further records or terminated, if there is free space on the primary mass storage ¬ 2 available sufficient.
Die von dem Speichersystem 1 eingesetzte Verdrängungsstrate¬ gie ist dabei weitgehend unabhängig von der oben beschriebe¬ nen Festlegung der Verdrängungspriorität. Beispielsweise kann die Datenverarbeitungsvorrichtung 4 abwarten, bis eine obere Füllgrenze, beispielsweise 90 Prozent der Speicherkapazität des primären Massenspeichers 2 erschöpft sind, dann eine Ver¬ drängungspriorität für sämtliche auf dem primären Massenspei¬ cher 2 gespeicherten Datensätze bestimmen und nachfolgend Da¬ tensätze in Ordnung absteigender Verdrängungspriorität auf den sekundären Massenspeicher 3 auslagern, bis eine untereThe used by the storage system 1 displacement Strate ¬ energy is largely independent of the above-described ¬ NEN determining the displacement priority. For example, the data processing apparatus 4 may wait until an upper filling limit, for example 90 percent of the storage capacity of the primary mass storage device 2 are exhausted, then determine an Ver ¬ drängungspriorität for all stored on the primary Massenspei ¬ cher 2 records and subsequently Since ¬ data sets descending fine displacement priority outsource to the secondary mass storage 3 until a lower
Füllgrenze erreicht ist. Es ist auch möglich, kontinuierlich oder periodisch die Verdrängungspriorität einiger oder sämt¬ licher Datensätze zu bestimmen und nach Überschreiten eines festgelegten Schwellwerts auf den sekundären Massenspeicher 3 auszulagern. Filling limit is reached. It is also possible to continuously or periodically to determine the displacement of some or priority SämT ¬ Licher records and outsource to the secondary storage 3 after exceeding a specified threshold.
In der Figur 3 sind unterschiedliche Funktionen zur Ermitt¬ lung einer vermuteten Verdrängungszeit T über dem Zeitraum t seit dem letzten Zugriff auf dem entsprechenden Datensatz dargestellt. Derartige Funktionen können insbesondere bei der Bestimmung des Vorteils im oben beschriebenen Schritt 22 Verwendung finden. Grundsätzlich eignen sich die beschriebenen Funktionen jedoch auch zur Verwendung mit anderen Strategien zur Bestimmung eines Verdrängungszeit Tpunkts von Daten in einem hierarchischen Speichersystem. In the figure, 3 different functions to iden ¬ a suspected lung displacement time T to the period t since the last access to the corresponding data are shown. Such functions may find particular use in determining the benefit in step 22 described above. In principle, however, the functions described are also suitable for use with other strategies for determining a displacement time point of data in a hierarchical storage system.
Die Funktion 31 stellt eine verhältnismäßig einfache, stetige Funktion der vermuteten Verdrängungszeit T über den Zeitraum t seit dem letzten Zugriff dar. Beispielsweise handelt es sich bei der Kurve 31 um eine in den Ursprung verschobenen Logarithmusfunktion Diese Funktionen besitzt die Eigenschaft, dass die vermutete Verdrängungszeit T mit fortschreitender Zeit seit dem letzten Zugriff zunächst stark und später weniger stark ansteigt. The function 31 provides a relatively simple, continuous function of the presumed displacement time T over the time period For example, the curve 31 is a logarithm function shifted to the origin. These functions have the property that the presumed displacement time T initially increases strongly and later less strongly as time progresses since the last access.
Die dargestellte Funktion 31 eignet sich besser zur Ermitt¬ lung einer vermuteten Verdrängungszeit T als eine rein linea- re Abhängigkeit seit dem Zeitpunkt des letzten Zugriffs, weil die Wahrscheinlichkeit, dass eine Datensatz dennoch wieder benötigt wird, nach Ablauf einer bestimmten, fruchtlosen Wartezeit nicht mehr wesentlich zunimmt. Beispielsweise ist es in der Praxis nicht doppelt so wahrscheinlich, dass ein Da- tensatz, auf den seit einem Jahr nicht mehr zugegriffen wird, auch in zwei Jahren nicht mehr zugegriffen wird. The function represented 31 is better suited to iden ¬ development of a suspected displacement time T as a purely Linea- re dependence since the date of last access, because the probability that a record is still needed again, not after a certain, fruitless waiting time increases significantly. For example, in practice it is not twice as likely that a dataset that has been inaccessible for a year will not be accessible in two years' time.
Auch die in der Figur 3 dargestellte Funktion 31 bildet die tatsächlichen Anforderungen von Prozessen in der Informati- onstechnologie jedoch nur unvollständig ab. Beispielsweise lässt die Funktion 31 die Periodizität bestimmter Vorgänge außer Betracht. Aus diesem Grund ist in der Figur 3 eine zweite Funktion 32 dargestellt, die die vermutete Verdrän¬ gungszeit T eines tatsächlichen Speichersystems 1 noch besser wiedergibt. However, the function 31 illustrated in FIG. 3 also only incompletely depicts the actual requirements of processes in information technology. For example, function 31 disregards the periodicity of certain operations. For this reason, in the figure 3 a second function 32 is shown, which reflects the presumed Verdrän ¬ supply time T of an actual memory system 1 even better.
Die Funktion 32 ist abschnittsweise stetig, weist jedoch meh¬ rere Unstetigkeitsstellen 33a bis 33c auf. Im dargestellten Ausführungsbeispiel tritt die erste Unstetigkeitsstelle 33a nach einem Zeitraum t von 7 Tagen ohne Zugriff auf den Datensatz auf. Die zweite Unstetigkeitsstelle 33b tritt nach Ab¬ lauf von 31 Tagen, also der maximalen Anzahl von Tagen in einem Monat, auf. Eine weitere Unstetigkeitsstelle 33c tritt nach Ablauf von 92 Tagen entsprechend einer maximalen Anzahl von Tagen in einem Quartal auf. Vor, zwischen und nach den Unstetigkeitsstellen 33a bis 33c befinden sich jeweils stetige Teilabschnitte 34a bis 34d, in denen die vermutete Ver- drängungszeit T zunimmt. Im dargestellten Ausführungsbeispiel handelt es sich dabei um eine lineare Zunahme. Anstelle der linearen Zunahme ist jedoch eine zuvor unter Bezugnahme auf die erste Funktion 31 beschriebene nichtlineare, beispiels¬ weise logarithmische, möglich. The function 32 is continuous in sections, but has meh ¬ rere discontinuities 33a to 33c on. In the illustrated embodiment, the first discontinuity 33a occurs after a period t of 7 days without access to the record. The second discontinuity 33b occurs after running from ¬ 31 days, so the maximum number of days in a month on. Another discontinuity point 33c occurs at the end of 92 days corresponding to a maximum number of days in a quarter. Before, between and after the points of discontinuity 33a to 33c there are in each case continuous sections 34a to 34d, in which the presumed displacement time T increases. In the illustrated embodiment, this is a linear increase. Instead of the linear increase, however, a nonlinear, for example, logarithmic, described above with reference to the first function 31 is possible.
Die in der Figur 3 dargestellte dritte Funktion 35 stellt ei¬ ne weitere Möglichkeit einer mathematischen Darstellung der vermuteten Verdrängungszeit T dar. Anstelle der Unstetig¬ keitsstellen 33 der zweiten Funktion 32 weist die dritte Funktion 35 im Bereich der genannten Periodizitäten Wendepunkte 36a bis 36c auf, an denen die Funktion jeweils von ei¬ ner Links- in eine Rechtskrümmung übergeht. Auch die dritte Funktion 35 weist somit ein Verhalten mit unterschiedlichem Anstieg der vermuteten Verdrängungszeit T in Abhängigkeit der letzten Zugriffszeit auf. The illustrated in Figure 3 third function 35 provides ei ¬ ne further possibility of a mathematical representation of the assumed displacement time t. In place of the discontinuous ¬ keitsstellen 33 of the second function 32 has the third function 35 in the region of said periodicities turning points 36a to 36c, where the function of each of ei ¬ ner left over into a right curve. The third function 35 thus also has a behavior with a different increase in the presumed displacement time T as a function of the last access time.
Die Funktion 32 und 35 eignen sich noch besser zur Ermittlung einer vermuteten Verdrängungszeit T eines Datensatzes als die Funktion 31, weil die Wahrscheinlichkeit, dass ein Datensatz wieder benötigt wird, nach Ablauf vorbestimmter periodischer Zeiträume stark abnimmt. Wurde auf einen Abrechnungsprozess mit Daten für eine Rechung beispielsweise nach Ablauf von 30 Tagen nicht mehr zugegriffen, werden sich die zugehörigen Daten wahrscheinlich auch in Zukunft nicht mehr ändern. Ähnli- che Annahmen gelten beispielsweise für Datensicherungen, die täglich inkrementell durchgeführt werden, nach Erreichen ei¬ ner bestimmten Vorhaltezeit aber nur noch wochen-, monats- oder Jahresweise vorgehalten werden. Die notwendigen Parameter zur Bestimmung der unterschiedlichen Funktionen gemäß Figur 3 können beispielsweise durch statistische Analysen innerhalb der Datenverarbeitungsvorrichtung 4 selbst ermittelt werden. Alternativ können die Werte selbstverständlich auch durch einen Systemadministrator des Speichersystems 1 vorgegeben werden. Insbesondere können folgende Kenngrößen für den Betrieb des Speichersystems 1 an¬ hand von real gemessenen Werten ermittelt oder durch den Systemadministrator vorgegeben werden: eine Lese- und/oder The function 32 and 35 are even better for determining a presumed displacement time T of a data set as the function 31, because the probability that a record is needed again, after the expiration of predetermined periodic periods greatly decreases. For example, if a billing process with data for a bill has become inaccessible after 30 days, the associated data is unlikely to change in the future. Che similar assumptions are made, for example, data backups are performed daily incremental, after reaching ei ¬ ner certain derivative action but only weekly, monthly or annual way be held. The necessary parameters for determining the different functions according to FIG. 3 can be determined, for example, by statistical analyzes within the data processing device 4 itself. Alternatively, the values can of course also be specified by a system administrator of the storage system 1. In particular the following parameters for the operation of the memory system 1 can be determined at ¬ hand from real measured values or be preset by the system administrator: a read and / or
Schreibgeschwindigkeit des sekundären Massenspeichers 3, eine durchschnittliche Erstzugriffszeit auf den sekundären Massen¬ speicher 3, eine durchschnittliche Verdrängungszeit für Da¬ tensätze, auf die seit einem Tag kein Zugriff mehr erfolgt ist, und/oder eine durchschnittliche Verdrängungszeit für Da- tensätze, auf die seit einem Jahr kein Zugriff erfolgt ist. Write speed of the secondary mass storage 3, an average Erstzugriffszeit on the secondary mass ¬ memory 3, an average displacement time for Da ¬ tensätze that has been no longer accessed for a day, and / or an average displacement time for data sets on the since has not been accessed for one year.
In den nachfolgenden Tabellen sind die beispielhaften, Systemparameter und Datensatzparameter für eine Bestimmung einer Verdrängungspriorität von zwei Datensätzen wiedergegeben: The following tables summarize the example system parameters and data set parameters for determining a displacement priority of two sets of data:
Systemparameter ermittelter WertSystem parameter value
Durchschnittliche Verdrängungszeit für 10 Tage Average displacement time for 10 days
einen Datensatz mit einem Tag ohne a record with a day without
Zugriff (DZ1T) Access (DZ1T)
Durchschnittliche Verdrängungszeit für 732 Tage  Average displacement time for 732 days
einen Datensatz mit einem Jahr ohne a record with a year without
Zugriff (DZ1J) Access (DZ1J)
Durchschnittliche Lesegeschwindigkeit 100 MB/s  Average reading speed 100 MB / s
des sekundären Massenspeichers (R) the secondary mass storage (R)
Durchschnittliche Mountzeit des sekundä¬ 20 s Average mount time of the secondary ¬ 20 s
ren Massenspeichers (M) mass storage (M)
Referenzwert zum Einlesen eines 1 GB 30 s  Reference value for reading a 1 GB 30 s
großen Vergleichsdatensatzes (NO) Datensatzparameter erster Datensatz zweiter Datensatzlarge comparison data set (NO) Record parameter first record second record
Größe (S) 500 MB 250 MB Size (S) 500 MB 250 MB
Zeitraum seit letztem 100 Tage 200 Tage  Period since last 100 days 200 days
Zugriff (t) Access (t)
Vermutete Verdrän¬ 259 Tage 389 Tage Suspected repression ¬ 259 days 389 days
gungszeit (T) time (T)
Nutzfaktor (S*T) 129,7 GB Tage 97,4 GB Tage  User factor (S * T) 129.7 GB days 97.4 GB days
Nachteilsfaktor 0, 833 0, 755  Disadvantage factor 0, 833 0, 755
(M+S/R) /NO (M + S / R) / NO
Verdrängungspriorität 155, 6 GB-Tage 129, 8 GB Tage  Displacement priority 155, 6 GB days 129, 8 GB days
Weitere Parameter, die in der Beurteilung berücksichtigt und gegebenenfalls statistisch ermittelt werden können, umfassen z. B. die durchschnittliche Lebensdauer von Datensätzen in dem Speichersystem 1, sowie die Zugriffshäufigkeit auf einen Datensatz. Insbesondere können unterschiedliche Funktionen für die vermutete Verdrängungszeit T in Abhängigkeit der Zugriffszeit dadurch ermittelt werden, dass ein Datum eines letzten Zugriffs mit einem Datum einer Erstellung verglichen wird. Bei Sicherungsdatensätzen, wie sie insbesondere von Da¬ tensicherungssystemen erzeugt werden, findet in der Regel nur ein einmaliger Zugriff statt. In diesem Fall entspricht das Datum des letzten Zugriffs dem Datum der Erzeugung des Datensatzes. Solche Datensätze weisen in der Praxis eine besonders geringe Zugriffswahrscheinlichkeit oder umgekehrt eine beson¬ ders hohe vermutete Verdrängungszeit T auf. Umgekehrt weisen Datensätze, mit denen Anwendungen regelmäßig arbeiten, eine wesentlich geringere vermutete Verdrängungszeit T auf. Dies lässt sich beispielsweise anhand eines Zugriffszählers, ein- facher jedoch auf Grundlage des oben beschriebenen Vergleichs zwischen einem letzten Zugriffszeitpunkt und einem ursprünglichen Erstellungszeitpunkt ermitteln. In der Figur 4 ist eine mögliche Dateistruktur für einen primären Massenspeicher 2 dargestellt. Auf dem Massenspeicher 2 oder in einem darauf gespeicherten Dateisystem sind einzelne Dateien 41a sowie 41b gespeichert. Die erste Datei 41a ist vollständig auf dem primären Massenspeicher 2 gespeichert.Other parameters that can be taken into account in the assessment and, if necessary, statistically determined include, for example: Example, the average life of records in the storage system 1, and the access frequency to a record. In particular, different functions for the presumed displacement time T as a function of the access time can be determined by comparing a date of a last access with a date of a creation. When backup data sets, such as those generated in particular by Da ¬ tensicherungssystemen, only a one-time access takes place normally. In this case, the date of the last access corresponds to the date of creation of the data record. Such data sets have a particularly low access probability or, conversely, a particular ¬ DERS high suspected displacement time T in practice. Conversely, records that applications use on a regular basis have a much lower presumed displacement time T. This can be determined, for example, on the basis of an access counter, but more simply on the basis of the comparison described above between a last access time and an original creation time. FIG. 4 shows a possible file structure for a primary mass storage 2. On the mass storage 2 or in a file system stored thereon, individual files 41a and 41b are stored. The first file 41a is completely stored on the primary mass storage 2.
Die zweite Datei 41b ist bereits auf einen sekundären Massen¬ speicher 3 ausgelagert worden. Um einen einfachen Zugriff auf die zweite Datei 41b zu ermöglichen, ist in dem primären Mas¬ senspeicher 2 jedoch ein so genannter Stub der ausgelagerten Datei 41b gespeichert. The second file 41b has already been outsourced to a secondary mass ¬ memory 3. To provide easy access to the second file to allow 41b, however, a so-called stub of the transferred file 41b stored in the primary Mas ¬ senspeicher. 2
Sowohl die erste Datei 41a als auch die zweite Datei 41b um¬ fassen einen so genannten Datei-Header 42a bzw. 42b. In dem Datei-Header sind beispielsweise der Dateiname, der Zeitpunkt eines letzten Lesens, der Zeitpunkt eines letzten Schreibens sowie der Zeitpunkt der ursprünglichen Erstellung der Datei gespeichert. Weitere statistische Daten der Datei, wie insbe¬ sondere deren tatsächliche Größe oder die Anzahl der auf dem primären Massenspeicher 2 verwendeten Speicherblöcke, können ebenfalls in dem Header 42a bzw. 42b gespeichert sein. Je nach Art des verwendeten Dateisystems können in dem Header 42a bzw. 42b weitere, von dem Speichersystem 1 erzeugte oder genutzte Daten, wie beispielsweise eine bestimmte Verdrän¬ gungspriorität, ein bestimmter Vorteilsfaktor, ein bestimmter Nachteilsfaktor oder ein Zugriffszähler abgelegt werden. Both the first file 41a and the second file 41b include ¬ a so-called file header 42a and 42b. The file header contains, for example, the file name, the time of a last read, the time of a last write and the time of the original creation of the file. Further statistical data of the file, such as in particular ¬ sondere their actual size or the number of memory blocks used on the primary mass storage device 2, may also be stored in the header 42a and 42b. Depending on the type of file system is a particular advantage factor, a certain disadvantage factor or a hit counter can in the header 42a and 42b, further, generated by the memory system 1 or use data, such as supply priority a specific Verdrän ¬ are stored.
Die erste Datei 41a umfasst des Weiteren einen Datenbereich 43, in dem der eigentliche Inhalt der ersten Datei 41a ge¬ speichert ist. Dem entgegen umfasst die zweite Datei 41b ei- nen Verweis 44 auf den tatsächlichen Speicherort der zweiten Datei 41b auf dem sekundären Massenspeicher 3. In einer Ausgestaltung des Verfahrens wird dabei die Größe des Dateiinhalts gesondert von der Größe des Headers 42a bzw. 42b der ersten Datei 41a bzw. der zweiten Datei 41b berücksichtigt. Insbesondere wird im oben genannten Verfahren in Schritt 22 berücksichtigt, dass der Header 42b und gegebenen¬ falls ein gesondert gespeicherter Verweis 44 auch nach Ausla¬ gerung der Datei 41b noch Speicherplatz auf dem primären Massenspeicher 2 belegt. Anstelle der in der Figur 4 dargestellten Speicherung vonThe first file 41 further includes a data area 43, in which the actual contents of the first file 41a stores ¬ ge. On the other hand, the second file 41b comprises a reference 44 to the actual storage location of the second file 41b on the secondary mass storage 3. In one embodiment of the method, the size of the file content is considered separately from the size of the header 42a or 42b of the first file 41a or of the second file 41b. In particular, said method is considered in step 22 in the above, that the header 42b and given ¬ if a separately stored reference 44 41b still occupied space on the primary mass storage 2 after foreign authenti ¬ delay of the file. Instead of the storage of
Stubs können selbstverständlich auch gesonderte Metadaten in einer Datenbank oder sonstigen Speicherstruktur der Datenverarbeitungsvorrichtung 4 gespeichert werden. Auch der Umfang derartiger Daten kann in dem Verfahren zur Bestimmung einer Verdrängungspriorität berücksichtigt werden. Stubs can of course also separate metadata in a database or other memory structure of the data processing device 4 are stored. Also, the scope of such data may be considered in the method for determining a displacement priority.
Das zuvor beschriebene Speichersystem 1 sowie das Arbeitsverfahren 20 zu dessen Betrieb weisen eine Reihe von Vorteilen gegenüber bekannten Systemen und Verfahren auf. Insbesondere sind sie in der Lage, sich automatisch an die Eigenschaften der verwendeten Hardwarekomponenten des Speichersystems 1 sowie das Verhalten von Anwendungen, die das Speichersystem 1 verwenden, anzupassen. Hierzu wird eine Reihe von messbaren Parametern, wie beispielsweise den physikalischen Charakte- ristika des primären Massenspeichers 2 und/oder des sekundä¬ ren Massenspeichers 3 sowie von durchschnittlichen Verdrängungszeiten für unterschiedliche Arten von Datensätzen ermittelt . Des Weiteren berücksichtigt das beschriebene System bevorzugt die Eigenheit von IT-Systemen, dass viele Prozesse mit einer gewissen Regelmäßigkeit stattfinden. Die durch das Verfahren verwendeten und/oder ermittelten Kenngrößen dienen zudem da- zu, die relativ komplexen Vorgänge innerhalb von Speichersys¬ temen für einen Administrator nachvollziehbar zu machen. Eine transparente Darstellung der verwendeten Kenngrößen erlaubt daher eine verbesserte Feinj ustierung des Speichersystems durch einen Systemadministrator. The memory system 1 described above and the method of operation 20 for its operation have a number of advantages over known systems and methods. In particular, they are able to automatically adapt to the characteristics of the hardware components of the storage system 1 used as well as the behavior of applications that use the storage system 1. For this purpose, a number of measurable parameters, such as the physical characterization teristics of the primary mass storage device 2 and / or the sekundä ¬ ren mass memory 3 and of average displacement times for different types of records determined. Furthermore, the system described preferably takes into account the peculiarity of IT systems that many processes take place with a certain regularity. The parameters used and / or determined by the method also serve to to make the relatively complex processes within Speicherersys ¬ temen traceable for an administrator. A transparent representation of the parameters used therefore allows an improved fine tuning of the memory system by a system administrator.
Die beschriebenen Merkmale der Verfahren, Vorrichtungen und Systeme können in beinahe beiiebiger Weise miteinander kombi- niert werden, um weitere vorteilhafte Verfahren, Vorrichtun- gen oder Systeme zu erhalten, die einige oder alle der ge- nannten Vorteile aufweisen. The described features of the methods, devices, and systems may be readily combined with one another to provide further advantageous methods, devices, or systems having some or all of the advantages set forth.
Bezugs zeichenliste Reference sign list
1 SpeicherSystem 1 storage system
2 primärer Massenspeicher 2 primary mass storage
3 sekundärer Massenspeicher 4 Datenverarbeitungs orrichtung3 secondary mass storage 4 Datenverarbeitungs orrichtung
5a, 5b Volume 5a, 5b Volume
6a, 6b Front-End-Adapter 6a, 6b front-end adapter
7a, 7b Host Computer 7a, 7b host computer
8 Back-End-Adapter 8 back end adapters
9 Backup- und Archivierungssystem9 backup and archiving system
10 Magnetbandlaufwerk 10 magnetic tape drive
11 Magnetband 20 Arbeitsverfahren 11 magnetic tape 20 working method
21 bis 27 Verfahrensschritte  21 to 27 process steps
31 erste Funktion 31 first function
32 zweite Funktion 32 second function
33a bis 33d Unstetigkeitssteile 33a to 33d discontinuous parts
34a bis 34e Teilabschnitt 34a to 34e subsection
35 dritte Funktion 35 third function
41a, 41b Datei 41a, 41b file
42a, 42b Header 42a, 42b header
43 Datenbereich 43 data area
44 Verweis 44 reference

Claims

Patentansprüche claims
1. Arbeitsverfahren (20) für ein Speichersystem (1) mit einen primären Massenspeicher (2) und einem sekundären Mas- senspeicher (3) , wobei Zugriffe auf den sekundären Mas¬ senspeicher (3) im Durchschnitt langsamer sind als 1. Working method (20) for a memory system (1) with a primary mass memory (2) and a secondary mass storage (3), wherein accesses to the secondary Mas ¬ senspeicher (3), on average, slower than
Zugriffe auf den primären Massenspeicher (2), mit den Schritten :  Accessing the primary mass storage (2), with the steps:
Bestimmen eines Nutzfaktors für die Auslagerung eines Da- tensatzes von dem primären Massenspeicher (2) auf den sekundären Massenspeicher (3) ;  Determining a payload for offloading a data set from the primary mass storage (2) to the secondary mass storage (3);
Bestimmen eines Nachteilsfaktors für die Auslagerung des Datensatzes von dem primären Massenspeicher (2) auf den sekundären Massenspeicher (3) ;  Determining a penalty factor for paging the record from the primary mass storage (2) to the secondary mass storage (3);
- Festlegen einer Verdrängungspriorität durch Abwägung des bestimmten Nutzfaktors und des bestimmten Nachteilsfaktors; und - determining a displacement priority by weighing the determined useful factor and the determined disadvantage factor; and
Auslagern des Datensatzes von dem primären Massenspeicher (2) auf den sekundären Massenspeicher (3), wenn die fest- gelegte Verdrängungspriorität einen Vergleichswert über¬ steigt . Retrieval of the data set from the primary mass storage device (2) to the secondary mass storage (3) when the fixed priority specified displacement over a comparison value ¬ increases.
2. Arbeitsverfahren (20) nach Anspruch 1, bei dem die festgelegte Verdrängungspriorität proportional zu einem Ver- hältnis des Nutzfaktors und des Nachteilsfaktors ist. The method of operation (20) of claim 1, wherein the fixed displacement priority is proportional to a ratio of the useful factor and the penalty factor.
3. Arbeitsverfahren (20) nach Anspruch 1 oder 2, bei dem der Nutzfaktor in Abhängigkeit einer Größe des Datensatzes und einer vermuteten Verdrängungszeit bis zu einem Einla- gern des ausgelagerten Datensatzes von dem sekundären3. The method of operation (20) according to claim 1, wherein the useful factor is dependent on a size of the data set and a presumed displacement time until the outsourced data set is loaded from the secondary
Massenspeicher (3) in den primären Massenspeicher (2) bestimmt wird. Arbeitsverfahren (20) nach Anspruch 3, bei dem der bestimmte Nutzfaktor proportional zu einem Produkt der Grö¬ ße und der vermuteten Verdrängungszeit des Datensatzes ist . Mass memory (3) in the primary mass memory (2) is determined. Working method (20) according to claim 3, wherein the certain duty factor is proportional to a product of the groE ¬ SSE and the assumed displacement time of the record.
Arbeitsverfahren (20) nach Anspruch 3 oder 4, bei dem die vermutete Verdrängungszeit auf Grundlage einer Wahr¬ scheinlichkeitsfunktion (31, 32, 35) in Abhängigkeit ei¬ nes letzten Zugriffszeitpunkts auf den Datensatz bestimmt wird . Working method (20) according to claim 3 or 4, wherein the assumed displacement of time on the basis of a true ¬ scheinlichkeitsfunktion (31, 32, 35) is determined depending ei ¬ nes last access date to the record.
Arbeitsverfahren (20) nach Anspruch 5, bei dem die vermutete Verdrängungszeit nach Überschreiten wenigstens einer typischen Periode seit dem letzten Zugriffszeitpunkt, insbesondere nach einem Tag, einer Woche, einem Monat, einem Jahresquartal oder einem Jahr stärker ansteigt als innerhalb der typischen Periode. A method of operation (20) according to claim 5, wherein the presumed displacement time after exceeding at least one typical period since the last access time, in particular after a day, a week, a month, an annual quarter or a year increases more than within the typical period.
Arbeitsverfahren (20) nach Anspruch 6, bei dem die wenigstens eine typische Periode auf Grundlage einer sta¬ tistischen Auswertung früherer Zugriffe auf den Datensatz des Speichersystems (1) ermittelt wird. Working method (20) according to claim 6, wherein said at least one typical period based on a sta ¬ tical evaluation of previous accesses to the data of the storage system (1) is determined.
Arbeitsverfahren (20) nach einem der Ansprüche 5 bis 7, bei dem die Wahrscheinlichkeitsfunktion (32, 35) wenigstens eine Unstetigkeitsstelle (33a, 33b, 33c) oder einen Wendepunkt (36a, 36b, 36c) aufweist. A method of operation (20) according to any of claims 5 to 7, wherein the probability function (32, 35) comprises at least one discontinuity (33a, 33b, 33c) or inflection point (36a, 36b, 36c).
Arbeitsverfahren (20) nach Anspruch 8, bei dem die Wahrscheinlichkeitsfunktion (32) eine Mehrzahl von Teilabschnitten (34a, 34b, 34c, 34d) und eine Mehrzahl von Un- stetigkeitsstellen (33a, 33b, 33c) aufweist, wobei die vermutete Verdrängungszeit in den Teilabschnitten (34a, 34b, 34c, 34d) stetig zunimmt und im Bereich der Unste- tigkeitsstellen (33a, 33b, 33c) sprunghaft zunimmt. The method of operation (20) of claim 8, wherein the probability function (32) comprises a plurality of subsections (34a, 34b, 34c, 34d) and a plurality of discontinuity points (33a, 33b, 33c), the presumed displacement time being included in the Subsections (34a, 34b, 34c, 34d) steadily increases and increases abruptly in the area of the points of infec- tion (33a, 33b, 33c).
Arbeitsverfahren (20) nach einem der Ansprüche 4 bis 9, bei dem die vermutete Verdrängungszeit zusätzlich von ei ner Zugriffshäufigkeit auf den Datensatz abhängt. Method of operation (20) according to one of Claims 4 to 9, in which the presumed displacement time additionally depends on an access frequency to the data record.
Arbeitsverfahren (20) nach einem der Ansprüche 1 bis 10, bei dem der Nachteilsfaktor in Abhängigkeit einer verzögerten Zugriffszeit bestimmt wird. A method of operation (20) according to any one of claims 1 to 10, wherein the penalty factor is determined as a function of a delayed access time.
Arbeitsverfahren (20) nach Anspruch 11, bei dem die verzögerte Zugriffszeit proportional zur Summe einer Erst- zugriffszeit des sekundären Massenspeichers und einem Verhältnis von der Größe des Datensatzes und der durch¬ schnittlichen Lesegeschwindigkeit des sekundären Massenspeichers (3) ist. Working method (20) according to claim 11, wherein the delayed access time is proportional to the sum of an initial access time of the secondary mass storage device and a ratio of the size of the data set and by ¬-average read speed of the secondary mass storage (3).
Arbeitsverfahren (20) nach einem der Ansprüche 1 bis 12, bei dem die Schritte des Bestimmens des Nutzfaktors, Bestimmens des Nachteilsfaktors und Festlegens einer Ver drängungspriorität für wenigstens zwei Datensätze einer vorbestimmten Gruppe von Datensätzen durchgeführt und beim Überschreiten einer oberen Füllgrenzen des primären Massenspeichers (2) der Datensatz mit der größeren Verdrängungspriorität ausgelagert wird. A method of operation (20) according to any one of claims 1 to 12, wherein the steps of determining the payload, determining the penalty and setting a penalty priority are performed for at least two records of a predetermined set of records and when an upper fill boundary of the primary storage (2 ) the data set is outsourced with the greater displacement priority.
Arbeitsverfahren (20) nach Anspruch 13, bei dem die Schritte des Bestimmens des Nutzfaktors, des Bestimmens des Nachteilsfaktors und des Festlegens der Verdrängungs Priorität für alle Datensätze einer vorbestimmten Gruppe von Datensätzen durchgeführt werden, die vorbestimmte Gruppe von Datensätzen in absteigender Reihenfolge ihrer jeweiligen Verdrängungspriorität sortiert werden und Da¬ tensätze in der Reihenfolge ihre Sortierung von dem primären Massenspeicher (2) auf den sekundären Massenspeicher (3) ausgelagert werden, bis durch die Auslagerung eine untere Füllgrenze für den primären Massenspeicher (2) eingehalten wird. The method of operation (20) of claim 13, wherein the steps of determining the payload, determining the penalty, and setting the penalty priority are performed for all records of a predetermined set of records, the predetermined set of records in descending order of theirs respective displacement priority are sorted and Da ¬ data sets in the order of their sorting from the primary mass storage device (2) to the secondary mass storage devices (3) are outsourced to by outsourcing a lower filling limit for the primary mass storage device (2) is maintained.
Speichersystem (1) umfassend: Storage system (1) comprising:
wenigstens einen primären Massenspeicher (2) zum Zwischenspeichern von Datensätzen; at least one primary mass storage (2) for temporarily storing data records;
wenigstens einen sekundären Massenspeicher (3) zur Archivierung von Datensätzen, wobei Zugriffe auf den sekundären Massenspeicher (3) im Durchschnitt langsamer sind als Zugriffe auf den primären Massenspeicher (2); und at least one secondary mass memory (3) for archiving data records, accesses to the secondary mass memory (3) on average being slower than accesses to the primary mass memory (2); and
wenigstens eine Datenverarbeitungsvorrichtung (4) zum Ausführen eines Steuerprogramms für das Speichersystem (1), wobei das Steuerprogramm dazu eingerichtet ist, bei Ausführung durch die Datenverarbeitungsvorrichtung ein Verfahren (20) nach einem der Ansprüche 1 bis 14 durchzu¬ führen . at least one data processing device (4) for executing a control program for the storage system (1), wherein the control program is adapted to, when executed by the data processing apparatus, a method (20) according to one of claims 1 to 14 durchzu ¬ lead.
Speichersystem (1) nach Anspruch 15, Storage system (1) according to claim 15,
dadurch gekennzeichnet, dass characterized in that
der wenigstens eine sekundäre Massenspeicher (3) wenigs¬ tens ein Speicherlaufwerk und eine Mehrzahl von zugehörigen Wechselspeichermedien umfasst, insbesondere ein Bandlaufwerk (10) und eine Mehrzahl von Magnetbändern (11) oder ein optisches Speicherlaufwerk und eine Mehrzahl von optischen Speichermedien. the at least one secondary mass storage (3) Wenig ¬ least includes a storage drive and a plurality of associated removable storage media, in particular a tape drive (10) and a plurality of magnetic tapes (11) or an optical storage drive, and a plurality of optical storage media.
Speichersystem (1) nach Anspruch 15, Storage system (1) according to claim 15,
dadurch gekennzeichnet, dass characterized in that
der wenigstens eine sekundäre Massenspeicher (3) von we- nigstens einem Server-Computer über das Internet bereit¬ gestellt wird, wobei der wenigstens eine Server-Computer Teil eines Cloud-Storage-Systems ist. the at least one secondary mass memory (3) of at least one server computer over the Internet ¬ is provided, wherein the at least one server computer is part of a cloud storage system.
Computerprogrammprodukt, umfassend ausführbaren Programm¬ code für ein Steuerprogramm, wobei das Steuerprogramm dazu eingerichtet ist, bei Ausführung des Programmcodes durch eine Datenverarbeitungsvorrichtung (4) eines Speichersystems (1) mit einem primären Massenspeicher (2) und einem sekundären Massenspeicher (3) ein Verfahren (20) nach einem der Ansprüche 1 bis 14 durchzuführen. Computer program product comprising executable program code for a control program, wherein the control program is set up to execute a method (4) of a memory system (1) having a primary mass memory (2) and a secondary mass memory (3) when executing the program code. 20) according to one of claims 1 to 14.
PCT/EP2012/065624 2011-08-19 2012-08-09 Method of operation for a memory system, memory system and computer program product WO2013026713A1 (en)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE201110111045 DE102011111045B4 (en) 2011-08-19 2011-08-19 Working method for a storage system, storage system and computer program product
DE102011111045.7 2011-08-19

Publications (1)

Publication Number Publication Date
WO2013026713A1 true WO2013026713A1 (en) 2013-02-28

Family

ID=46754411

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/EP2012/065624 WO2013026713A1 (en) 2011-08-19 2012-08-09 Method of operation for a memory system, memory system and computer program product

Country Status (2)

Country Link
DE (1) DE102011111045B4 (en)
WO (1) WO2013026713A1 (en)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001040924A2 (en) 1999-11-30 2001-06-07 Fujitsu Siemens Computers Gmbh Backup and archiving system by means of tape cassettes for data processing units
US20030046270A1 (en) * 2001-08-31 2003-03-06 Arkivio, Inc. Techniques for storing data based upon storage policies
WO2010104505A1 (en) * 2009-03-10 2010-09-16 Hewlett-Packard Development Company, L.P. Optimizing access time of files stored on storages

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP0458566B1 (en) * 1990-05-21 1996-04-17 International Business Machines Corporation Automated storage library

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2001040924A2 (en) 1999-11-30 2001-06-07 Fujitsu Siemens Computers Gmbh Backup and archiving system by means of tape cassettes for data processing units
US20030046270A1 (en) * 2001-08-31 2003-03-06 Arkivio, Inc. Techniques for storing data based upon storage policies
WO2010104505A1 (en) * 2009-03-10 2010-09-16 Hewlett-Packard Development Company, L.P. Optimizing access time of files stored on storages

Also Published As

Publication number Publication date
DE102011111045B4 (en) 2014-02-20
DE102011111045A1 (en) 2013-02-21

Similar Documents

Publication Publication Date Title
DE102013215535B4 (en) BACKUP OR RECOVERY OF DATA USING MAIN MEMORY AND NON-VOLATILE STORAGE MEDIA
DE112014000254B4 (en) Multi-level caching and migration in different granularities
DE102013208930B4 (en) Grouping of entries in a deduplication index
DE102012216022B4 (en) Management of a point-in-time copy relationship for space-efficient volumes
DE112012005275B4 (en) Data selection for backing up data storage
DE69626569T2 (en) Data compression method and structure for a direct access storage device
DE60213867T2 (en) DEVICE FOR MANAGING DATA REPLICATION
US8886610B2 (en) Backup simulation for backing up filesystems to a storage device
DE112011100618B4 (en) Management of write operations to a storage area of tracks that is relocated between storage units
DE4220198C2 (en) Transaction processing method for a digital computer and transaction processing system
DE112011102076B4 (en) Reorder access to reduce total seek time on tape media
DE69021143T2 (en) Method of effectively using removable data recording media.
DE102012219098A1 (en) Management of sub data segments in dual-cache systems
DE112010003794B4 (en) Data storage using bitmaps
DE112011103290B4 (en) Intelligent write caching operations for sequential data traces
DE112012002615T5 (en) Preloading data tracks and parity data for use in offloading updated tracks
DE112008000180T5 (en) Method and system for implementing a fast wakeup of a flash memory system
US8321644B2 (en) Backing up filesystems to a storage device
CN106662981A (en) Storage device, program, and information processing method
DE112013001284T5 (en) Adaptive cache regressions in a two-tier caching system
DE102012208141A1 (en) Compensation for decreasing functionality
DE112012004571T5 (en) Support incomplete data segments in flash caches
DE102016010277A1 (en) METHOD AND SYSTEMS FOR IMPROVING STORAGE JOURNALING
DE102022108673A1 (en) RESOURCE ALLOCATION FOR SYNTHETIC BACKUPS
DE102021109729A1 (en) ESTIMATION OF STORAGE SYSTEM CAPACITY USE

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12751296

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12751296

Country of ref document: EP

Kind code of ref document: A1