WO2007059746A2 - Verfahren zur kompression für einen rechnerarchitektur-unabhängigen datentransfer und/oder zur dekompression eines datensatzes - Google Patents

Verfahren zur kompression für einen rechnerarchitektur-unabhängigen datentransfer und/oder zur dekompression eines datensatzes Download PDF

Info

Publication number
WO2007059746A2
WO2007059746A2 PCT/DE2006/002052 DE2006002052W WO2007059746A2 WO 2007059746 A2 WO2007059746 A2 WO 2007059746A2 DE 2006002052 W DE2006002052 W DE 2006002052W WO 2007059746 A2 WO2007059746 A2 WO 2007059746A2
Authority
WO
WIPO (PCT)
Prior art keywords
string
automaton
data
record
data record
Prior art date
Application number
PCT/DE2006/002052
Other languages
English (en)
French (fr)
Other versions
WO2007059746A3 (de
Inventor
Christian Werner
Original Assignee
Universität Zu Lübeck
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Universität Zu Lübeck filed Critical Universität Zu Lübeck
Priority to EP06818083A priority Critical patent/EP1952540B1/de
Priority to US12/094,761 priority patent/US8650217B2/en
Publication of WO2007059746A2 publication Critical patent/WO2007059746A2/de
Publication of WO2007059746A3 publication Critical patent/WO2007059746A3/de

Links

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction

Definitions

  • the invention relates to a method for compression for a computer architecture independent data transfer and / or decompression of a data set according to the features of the independent claims, in particular for the simultaneous processing of data sets, z. For applications in data transmission.
  • the invention also relates to the implementation of data compression algorithms in digital circuits, especially in microchips.
  • the progressive networking of electronic computers has meanwhile led to the development of platform-independent computer languages that allow the exchange of information between different computer architectures.
  • the transmitted data is first translated by locally installed programs (e.g., web browsers) into machine instructions that are specific to the terminal and thus executable or interpretable.
  • locally installed programs e.g., web browsers
  • independence from the architecture is achieved by adhering to a defined structure of the transmitted data stream, although this is generally accompanied by increased data volume, for example, compared to device-specific optimizations. Obviously, therefore, there is a need for methods for compression and decompression of such transmitted data streams.
  • the goal of any data compression technique is to transform an input data set into an output data set such that the output data set is shorter than the input data set. This allows more efficient storage and transmission of the data. However, the information content of the input data record must be retained (at least in substantial parts) in the output data record, so that it is possible to recover the input data record from the output data record as part of a decompression process.
  • Methods for entropy coding work with a statistical analysis of the frequencies of symbols in the input data set. Common symbols in the input data set are mapped to short strings in the output data set, and less common to longer ones. In this way, the total length of the input data set can be reduced. Such methods always worked without loss, ie you can exactly reconstruct the input data set from the output data set.
  • methods for source coding exploit special properties of the input data record. For example, if it is known that black-and-white digital images are stored therein and black pixels in the image matrix are coded 0 and white 1, then one can exploit the fact that typical image motifs have planar structures. For the input data set, this means that there will likely be long, continuous sequences of zeros or ones. This property can be considered in the compression process and, for example, use run-length coding.
  • the symbol sequence 111111111 is coded here as 9.1 (nine times one).
  • Some source coding techniques also use entropy coding strategies. They usually achieve better compression rates than pure entropy coding techniques.
  • Lossy methods achieve even better compression rates than lossless ones, and are used whenever only certain portions of the information encoded in the input data set are relevant (e.g., the frequency components perceptible to human hearing in an audio data stream).
  • Optimum lie include, in particular, the methods of Shannon-Fano, Huffman, Lempel-Ziv and Lempel-Ziv-Welch.
  • Source coding techniques have also been thoroughly researched for some applications, such as audio data (such as MP3 encoders) or
  • JPEG encoder JPEG encoder
  • MPEG encoder Motion picture data
  • structured or partially structured data sets play a special role in the communication between different computers.
  • Such records are structured according to fixed rules, such as the following:
  • a record consists of a 32-bit integer temperature value, either followed by a pressure value or a humidity value, also as a 32-bit integer.
  • the coding takes place as ASCII text according to the following pattern:
  • this dataset contains fixed structuring information (temperature :, pressure :) and, on the other hand, variable, not further structured parts ⁇ value 1, value 1). So this record is a partially structured record. Records without variable parts would be completely structured. Such intermingling of structuring information (referred to below as structure identifier) and non-structured parts is quite typical in today's data sets.
  • the translated program which is therefore executable on at least one architecture, is not necessarily shorter than the source code, so that in principle no compression of the source code can be assumed during compilation.
  • a compiler whose job is not compression is not designed to decompile translated files. However, as far as decompilation is technically realized today, it produces only equivalent but not identical source code (e.g., comment lines are not recovered).
  • the markup structures consist of tags. These are identifiers in angle brackets that describe the hierarchical structure of the record. Each identifier has an opening tag of the form ⁇ identifier> and a closing tag of the form ⁇ / identifier>. Nesting individual tags mimics the structure of a record. Between an opening tag and the corresponding closing tag, either further tag pairs, user data or a combination of the two can be included.
  • User data are any application-specific character strings. In principle, any markup structures and any user data are permitted in XML data records as long as they satisfy the syntax rules described in the XML specification. For a specific application, however, only certain combinations are typically useful. For the above application, for example, only the tag identifiers measured values, temperature, pressure and humidity in the combinations and sequences described above should be allowed.
  • source coding techniques specific to XML can again be subdivided into two classes: those that are applicable to any XML documents and those that first read a grammatical description and then apply only to the XML documents that satisfy that grammatical description. The latter achieve even better compression results.
  • the first group includes xmlppm, XMiIl, exalt, almost infoset and XMLZip.
  • the latter is a commercial product, which, however, is no longer marketed.
  • These methods separate the ranges of payload and markup and then apply entropy coding techniques to both ranges.
  • certain XML syntax rules are exploited during compression. In particular, it exploits the fact that every XML document can be represented as a tree (cycle-free, contiguous, undirected graph). These techniques achieve significantly better compression results than pure entropy coding techniques.
  • the second group includes WBXML, Millau, bim, Xebu, Xgrind and other table encoding techniques.
  • the grammar description additionally extracts certain patterns (tokens) which may appear in the XML document to be compressed. Each token is then assigned a unique, shortest possible string. This assignment is stored in a table, which then serves as the abbreviation dictionary for the compression. Because these methods can exploit additional information from the grammar description for the compression process, they work even more effectively than generic XML compressors. These methods are resource-saving, because here the compression process is essentially limited to the comparison between strings in the abbreviation table and in the input data set. However, the achieved compression rates are not optimal due to the principle.
  • state machine is a very simply constructed function group, which in the simplest case consists of a single clocked memory element. ment (eg a 16-bit register) and can store in this memory element at a time a single value (state). In addition to this memory element, there is still a set of rules in such a machine which, on the one hand, and depending on the current state on the one hand and the character read from the input, determines which state should be adopted in the next cycle step. Certain versions of such machines also have a so-called. Cellar storage. One then speaks of a basement machine (English: stack machine).
  • a big advantage of this is that an automaton - unlike a compiler - does not need a microprocessor to run; it can be realized solely on the basis of a clocked memory element (as a state memory) and a ROM or RAM block (for the state transition rules).
  • the algorithm "learns" about the structure, and for each symbol found in the data set, a separate string automaton is created and expanded as needed, describing the structure information subordinate to that symbol. Furthermore, it is marked at the state transitions of the machine, how often individual
  • Structural branches are retrieved in such a machine.
  • a compact encoding of the input document is generated by evaluating the frequency flags of the state transitions used and making a prediction of which symbol follows next.
  • the method is only suitable to a limited extent, because when processing a data set, new automated structures must be created and updated dynamically. For a chip implementation, this is disadvantageous because it is not known in advance how many memory cells need to be provided on the circuit. Furthermore, it is disadvantageous that the automaton structures never completely map the rules to which the data record suffices. Even with very long data sets, where the algorithm can "learn" a great deal of information about the structure of the data set, the step-by-step automata do not necessarily describe the structure of the data set completely.
  • the proposed method for compressing and / or decompressing a data set which contains structure and variable values is characterized by providing a string automaton representing the previously known structuring rules of the data record in a device compressing the source data record, inputting the data record into the string data.
  • Automata generating by the string automaton a second, shorter data set containing the variable values of the first data set and string-automaton-specific control symbols representing a change from an automatic state to a subsequent state, and transmitting the second data set a similar string automata interpreting the control symbols, whereby a copy of the original data set having the same data structure is generated.
  • the crucial concept of the invention consists in the introduction of control symbols where the state changes of the automaton have branching possibilities. Carry only the replacement of the otherwise entrained in the uncompressed data structure symbols by the very short control symbols of the machines' on the high compression efficiency. The fact that this is possible at all is, in turn, due to the structural rules of the data records to be processed, which are finally determined in the automaton design.
  • the proposed compression technique is to show a way to make a simple hardware compressor-which is both the decompressor and processor of the compressed dataset-generic.
  • a simple hardware compressor which is both the decompressor and processor of the compressed dataset-generic.
  • Such a chip can be systematically designed and manufactured industrially for any compression problem.
  • Built into arbitrary computer architectures he allows the complete transfer freedom of compressed data records.
  • the control symbols according to the invention required for this purpose are not present or are not processed in "normal" push-pull automata, as described in the literature for standard applications.
  • control symbols can in principle be represented by a few bits.
  • the method reduces the size of typical data records by factors between 10 and 15. This saving is achieved in particular by the fact that the structural information in a data record is already described by unambiguous state transitions in the known string automaton: a large part of the state transitions in the string automaton thus has only one subsequent state. Since the state transition is already established in such a case, this information does not have to be encoded in output data. In other words, such unique state transitions can be coded with 0 bits.
  • the entire structure information of a data set can be reduced to a few bits. All tags or tokens describing structure information are removed from the dataset because the data structure is already mapped in the machine. In particular, no translation table must be kept.
  • the data record thus compressed is only suitable for the passage in this special automaton, ie it must be known in particular to the recipient of a compressed transmission. However, it only contains variable values and the compact coded control symbols, i. no redundant information. Obviously, the record can be fully processed even without prior decompression.
  • 1 shows a finite state machine which accepts input data sets W with the pattern a n bbc m ,
  • Fig. 2 shows a finite state machine for the detection of data records for
  • FIG. 3 shows an extended finite state machine for the detection of data sets for measurement data acquisition
  • a string automaton is a function group which checks the validity of an input data record W on the basis of given states and state transitions.
  • the example in FIG. 1 clearly illustrates the basic procedure.
  • a string automaton consists of states and state transitions. In the graph, these are the circles and arrows between the circles.
  • a state is marked as start state (arrow pointing to z ⁇ ).
  • One or more states are indicated as end states (double circles). The transitions between the states carry a label in the form of a string, hence the name string automaton.
  • the automaton When checking an input data set W, the automaton runs through a sequence of states. The automaton processes W character by character from left to right and selects the state transitions with the appropriate labels. If there are no matching state transitions or if the sequence ends in a state that is not final, the input word is not valid; otherwise it is valid.
  • the input data set W2 abba would not be valid because the partial sequence z.sub. ⁇ , z.sub. ⁇ , z.sub.1, z.sub.2 results here, and there is no transition from z.sub.2 to the lettering a.
  • W3 aaab would not be valid because the resulting sequence z ⁇ , z ⁇ , z ⁇ , z ⁇ , zl does not end with a final state.
  • Fig. 1 shows an example of the simplest form: a finite state machine. This type has no further storage elements (except those for state and state transitions) and can therefore only process simply structured data records (those that contain words of a
  • basement automata can be constructed from XML grammar descriptions (DTD, XML schema document) [Segoufin L .; Vianu,
  • the inventive method focuses on the application of these machines for
  • a finite state machine can be specified, as shown in FIG. 2, which describes the structure of the input data sets to be processed.
  • the alternative whether according to the temperature value a pressure value or a humidity is in the machine described by two possible state transitions starting from z2.
  • the machine description may also contain information about the contents of non-structured areas in the input data set (Boolean, string of length 10,
  • variable values contained in a data record can be coded output and recognized and converted by both a coding and an interpretive string automaton during processing.
  • the automaton has states with more than one possible subsequent state, the state transitions to the following states are provided with additional, locally unique identifiers (control symbols). The result is an extended string automaton.
  • the bit sequence must be longer.
  • the Huffman coding method is particularly suitable. It generates minimal, unique codes and can also take into account the probabilities of state transitions. Thus, if it is known that certain state transitions are chosen more frequently than others, they can be coded with particularly short bit sequences. This has a positive effect on the compression result.
  • the extended string machine processes the input record to be compressed:
  • the locally unique identifier of the selected state transition in the output data set coded. If non-structured contents of the input are read during state transitions, these are also coded in the output data record.
  • the starting point for the decompression process is once again the extended string automaton used for compression. This machine is again run from the start to a final state. However, decompression pass through the data set is the result of the compression process. While scrolling, the values that label the state transitions are written to the output record. The values of non-structured contents are decoded and also written to the output data record.
  • the example data set can be reconstructed exactly.
  • 4 bits are coded.
  • Both the process of compression and decompression are essentially based on going through the states of a string automaton. These are particularly simple and can be implemented efficiently in hardware or software.
  • start state In a finite state machine, only one RAM memory area is needed to hold the current state (current state).
  • the state transitions of the machine can be stored as a table in a ROM area. Start state (start_state) and end state (end_states) are also not variable and can therefore also be stored in ROM.
  • RAM memory area can be provided as a stack (stack).
  • a particular advantage of such machines is thus their very simple implementability.
  • the implementation of a string automaton is essentially limited to the passage of a while loop, and the space required is very small.
  • Automate structures are also commonly used in chip design:
  • the machine structures used in this context are often referred to as finite state machines or Moore machines and largely correspond to the finite state machines presented above.
  • the machine structure would have to be extended by a stack, which is also a standard module.
  • the method also provides the ability to combine parsing and data compression / decompression operations into a single processing step:
  • the control of the automatic cycle can take place directly via a programming interface (API) from another software component.
  • the machine pass could be controlled via control lines from other building or functional groups.
  • API programming interface
  • the above-mentioned method also allows the string automaton additionally to initiate the control of external function groups during its execution. For example, it is possible that the uncompressed representation of the data set should not be restored in the context of decompression.
  • an external function or assembly for example an external software component, production plant or arithmetic unit
  • Many technical processes can be mapped directly on a machine model, as proposed by the invention.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

Verfahren zur Kompression für einen rechnerarchitektur-unabhängigen Datentransfer und/oder der Dekompression eines Datensatzes, der Strukturbezeichner und Variablenwerte enthält, mit den Schritten Vorsehen eines die Strukturierungsregeln des Datensatzes repräsentierenden String-Automaten in einer den Ursprungs-Datensatz komprimierenden Einrichtung, Eingeben des Datensatzes in den String-Automaten, Erzeugen eines zweiten, kürzeren Datensatzes durch den String-Automaten, der die Variablenwerte des ersten Datensatzes und String-Automaten-spezifische Steuersymbole enthält, die einen Wechsel von einem Automatenzustand in einen Folgezustand repräsentieren, und Übermitteln des zweiten Datensatzes an einen die Steuerungssymbole interpretierenden gleichartigen String-Automaten, wobei eine Kopie des ursprünglichen Datensatzes mit gleicher Datenstruktur erzeugt wird.

Description

Verfahren zur Kompression für einen rechnerarchitektur-unabliängigen Datentransfer und/oder zur Dekompression eines Datensatzes
Die Erfindung betrifft ein Verfahren zur Kompression für einen rechnerarchitektur- unabhängigen Datentransfer und/oder zur Dekompression eines Datensatzes nach den Merkmalen der unabhängigen Ansprüche, insbesondere zur gleichzeitigen Verarbeitung von Datensätzen, z. B. für Anwendungen in der Datenübertragung. Die Erfindung be- trifft auch die Implementierung von Datenkompressionsalgorithmen in digitalen Schaltkreisen, insbesondere in Mikrochips.
Die fortschreitende Vernetzung elektronischer Rechner hat mittlerweile zur Entwicklung plattformunabhängiger Computersprachen geführt, die den Austausch von Infor- mationen zwischen unterschiedlichen Rechner-Architekturen erlauben. Die übertragenen Daten werden erst von lokal installierten Programmen (z.B. Web-Browser) in Maschinenbefehle übersetzt, die für das Endgerät spezifisch und damit ausführbar bzw. interpretierbar sind. Die Unabhängigkeit von der Architektur wird durch die Einhaltung einer definierten Struktur des übertragenen Datenstroms erreicht, wobei dies im Allge- meinen aber auch mit einem - etwa gegenüber gerätespezifischen Optimierungen - erhöhten Datenvolumen einhergeht. Offensichtlich besteht daher ein Bedarf an Verfahren zur Kompression und Dekompression solcher übertragenen Datenströme.
Ziel jeder Datenkompressionstechnik ist es, einen Eingabedatensatz so in einen Ausga- bedatensatz umzuwandeln, dass der Ausgabedatensatz kürzer als der Eingabedatensatz ist. Dies ermöglicht eine effizientere Speicherung und Übertragung der Daten. Der Informationsgehalt des Eingabedatensatzes muss dabei jedoch im Ausgabedatensatz (wenigstens in wesentlichen Teilen) erhalten bleiben, so dass man im Rahmen eines De- kompressionsvorgangs den Eingabedatensatz aus dem Ausgabedatensatz zurückgewin- nen kann. Es gibt zwei verschiedene Klassen von Datenkompressionsverfahren: Solche, die auf beliebige Eingabedaten anwendbar sind (Entropiecodierung), und solche, die nur auf spezielle Eingabedaten anwendbar sind (Quellencodierung). Verfahren zur Entropiecodierung arbeiten mit einer statistischen Analyse über die Häufigkeiten der Symbole im Eingabedatensatz. Häufige Symbole im Eingabedatensatz werden im Ausgabedatensatz auf kurze Zeichenketten abgebildet und weniger häufige auf längere. Auf diese Weise kann die Gesamtlänge des Eingabedatensatzes reduziert werden. Solche Verfahren arbeiteten immer verlustfrei, d.h. man kann den Eingabedatensatzes aus dem Ausgabedatensatz exakt rekonstruieren.
Verfahren zur Quellencodierung nutzen dagegen spezielle Eigenschaften des Eingabedatensatzes aus. Ist beispielsweise bekannt, dass hierin Schwarzweiß-Digitalbilder gespeichert sind und schwarze Bildpunkte in der Bildmatrix dabei mit 0 und weiße mit 1 codiert werden, so kann man ausnutzen, dass typische Bildmotive flächige Strukturen aufweisen. Für den Eingabedatensatz bedeutet dies, dass mit großer Wahrscheinlichkeit lange, durchgängige Sequenzen von Nullen bzw. Einsen enthalten sein werden. Diese Eigenschaft kann man beim Kompressionsvorgang berücksichtigen und beispielsweise eine Lauflängencodierung einsetzen. Die Symbolfolge 111111111 wird hier als 9,1 (neun mal eins) kodiert. Einige Quellencodierungsverfahren nutzen zusätzlich Strategi- en zur Entropiecodierung. Sie erreichen in aller Regel bessere Kompressionsraten als reine Entropiecodierungsverfahren.
Es gibt sowohl verlustfreie als auch verlustbehaftete Verfahren zur Quellencodierung. Verlustbehaftete Verfahren erreichen noch bessere Kompressionsraten als verlustfreie und werden immer dann eingesetzt, wenn nur bestimmte Teile der im Eingabedatensatz kodierten Information relevant sind (z.B. die für das menschliche Gehör wahrnehmbaren Frequenzanteile in einem Audio-Datenstrom).
Verfahren zur Entropiecodierung sind bereits sehr umfassend erforscht. Hier haben sich mehrere Verfahren etabliert, deren Kompressionsergebnisse sehr nah am theoretischen
Optimum liegen. Hierzu gehören insbesondere die Verfahren von Shannon-Fano, Huffman, Lempel-Ziv und Lempel-Ziv- Welch.
Verfahren zur Quellencodierung sind für einige Anwendungsbereiche ebenfalls bereits sehr gründlich erforscht: Etwa für Audiόdaten (beispielsweise MP3 -Encoder) oder
Bilddaten (JPEG-Encoder) oder Bewegtbilddaten (beispielsweise MPEG-Encoder). Wie eingangs erwähnt, spielen strukturierte oder teilweise strukturierte Datensätze in der Kommunikation zwischen verschiedenen Rechnern eine besondere Rolle. Solche Datensätze sind nach festen Regeln aufgebaut, beispielsweise der folgenden:
Ein Datensatz besteht aus einem 32-Bit-Integer-Temperaturwert, entweder gefolgt von einem Druckwert oder einem Feuchtigkeitswert, ebenfalls als 32-Bit-Integer. Die Codierung erfolgt als ASCII-Text nach folgendem Muster:
Temperatur : Wertl, Druck : WerÜ oder Temperatur : Wertl, Feuchtigkeit : Wert2
Dieser Datensatz enthält einerseits feste Strukturierungsinformationen (Temperatur:, Druck:) und andererseits variable, nicht weiter strukturierte Teile {Wertl, Wertl). Bei diesem Datensatz handelt es sich also um einen teilweise strukturierten Datensatz. Datensätze ohne variable Teile wären vollständig strukturiert. Eine solche Durchmengung von Strukturierungsinformationen (im Folgenden Strukturbezeichner genannt) und nicht weiter strukturierten Teilen ist in heutigen Datensätzen durchaus typisch.
Im stand der Technik ist nun die Druckschrift WO 01/27754 A2 bekannt, die ein Quell- codier-Verfahren zur Kompression von Programmquellcodes beschreibt, und solche sind eine mögliche Ausprägung für teilweise strukturierte Datensätze. Dieses Verfahren nutzt aber die Struktur aus, die durch die jeweilige Programmiersprache vorgegeben ist, um eine besonders kompakte Repräsentation des Programmquellcodes zu erzeugen. Das dort beschriebene Verfahren arbeitet dabei mit dem Parse-Baum, der beim Parsen von Programmquelltexten im Speicher eines Rechners aufgebaut wird. Ein wesentlicher Nachteil hierbei ist, dass die Größe des Parse-Baums mit der Länge des zu komprimierenden Datensatzes wächst. Dies führt bei langen Dokumenten zu einem großen Bedarf an Hauptspeicher. Weiterhin ist der Anwendungsbereich dieses Verfahrens auf Computerhochsprachen beschränkt.
Das bekannte Übersetzen eines Programms in Maschinensprache führt zwar oft auf eine verkürzte Repräsentation des Quellcodes, kann aber dennoch nicht als geeigneter Kom- pressor für die hier gestellte Aufgabe angesehen werden. Denn ein Compiler wird grundsätzlich für die Regeln einer vorab definierten Programmiersprache und für eine vorgegebene Rechnerarchitektur erstellt. Ein unter Windows übersetzter Quellcode ist - A -
auf einem Unix-Betriebssystem nicht lauffähig und umgekehrt. Von daher ist ein Transfer kompilierter Programme zwischen verschiedenen Architekturen nicht zweckmäßig.
Überdies ist das übersetzte - mithin auf zumindest einer Architektur ausführbare - Pro- gramm nicht unbedingt kürzer als der Quellcode, so dass man bei der Kompilierung prinzipiell nicht von einer Kompression des Quellcodes ausgehen kann. Ein Compiler, dessen Aufgabe ja nicht die Kompression ist, ist auch nicht auf das Dekompilieren übersetzter Dateien ausgelegt. Soweit das Dekompilieren heute technisch realisiert wird, erzeugt es gleichwohl nur einen äquivalenten, aber keinen identischen Quellcode (z.B. werden Kommentarzeilen nicht zurück gewonnen) .
Schließlich ist auch nicht bekannt, wie sich ein Compiler-Algorithmus z.B. für eine Hochsprache vollständig in eine Hardware-Schaltung umsetzen ließe, so dass ein direktes Verarbeiten des Quellcodes ohne Übersetzung durch den Mikroprozessor des Rech- ners nicht möglich ist. Gerade wenn es darum geht, eine große Zahl kurzer Quellcodes in die maschinenlesbare Form zu übersetzen (wie bei heutigen Server-Anwendungen üblich), stellt die zur Übersetzung erforderliche Rechenleistung eine Limitierung dar.
Diese Nachteile der Verwendung von Compilern werden dem Fachmann daher kaum nahe legen, die Aufgabe der Erfindung gerade mit einem Compiler lösen zu wollen.
Weitere Publikationen beschäftigen sich mit der Datenbeschreibungssprache XML, die sich in den letzten Jahren als universelles Mittel zur Beschreibung hierarchisch strukturierter Inhalte durchgesetzt hat. Ein XML-Datensatz besitzt zwei Hauptkomponenten: Markup-Strukturen (strukturierte Teile) und Nutzdaten (nicht weiter strukturierte Teile).
Die Markup-Strukturen bestehen dabei aus Tags. Das sind Bezeichner in spitzen Klammern, die die hierarchische Struktur des Datensatzes beschreiben. Zu jedem Bezeichner gibt es ein öffnendes Tag der Form <Bezeichner> und ein schließendes Tag der Form </Bezeichner>. Durch die Verschachtelung von einzelnen Tags wird die Struktur eines Datensatzes abgebildet. Zwischen einem öffnenden Tag und dem korrespondierenden schließenden Tag können dabei entweder weitere Tag-Paare, Nutzdaten oder eine Kombination aus beidem enthalten sein. Nutzdaten sind dabei beliebige anwendungsspezifische Zeichenketten. Grundsätzlich sind in XML-Datensätzen beliebige Markup-Strukturen und beliebige Nutzdaten erlaubt, solange sie den in der XML- Spezifikation beschriebenen Syntax-Regeln genügen. Für einen konkreten Anwendungsfall sind jedoch typischerweise nur bestimmte Kombinationen sinnvoll. Für den oben genannten Anwendungsfall sollen beispielsweise nur die Tag-Bezeichner Messwerte, Temperatur, Druck und Feuchtigkeit in den oben beschriebenen Kombinationen und Reihenfolgen erlaubt sein.
Solche Einschränkungen kann man mit speziellen Grammatikbeschreibungssprachen für XML festlegen (gebräuchlich sind hier die Sprachen DTD und XML-Schema).
Quellencodierungsverfahren speziell für XML lassen sich daher wiederum in zwei Klassen unterteilen: Solche, die auf beliebige XML-Dokumenten anwendbar sind, und solche, die zunächst eine Grammatikbeschreibung einlesen und dann nur auf die XML- Dokumente anwendbar sind, die dieser Grammatikbeschreibung genügen. Letztere erreichen noch bessere Kompressionsergebnisse.
Zur ersten Gruppe gehören xmlppm, XMiIl, exalt, fast infoset und XMLZip. Letztgenanntes ist ein kommerzielles Produkt, das allerdings nicht mehr vertrieben wird. Diese Verfahren separieren die Bereiche von Nutzdaten und Markup und wenden dann auf beide Bereiche Entropiecodierungsverfahren an. Weiterhin werden bestimmte XML- Syntaxregeln bei der Kompression ausgenutzt. Insbesondere wird die Eigenschaft aus- genutzt, dass sich jedes XML-Dokument als Baum (zyklenfreier, zusammenhängender, ungerichteter Graph) darstellen lässt. Durch diese Techniken werden im Vergleich zur reinen Entropiecodierungsverfahren deutlich bessere Kompressionsergebnisse erreicht.
Zur zweiten Gruppe gehören WBXML, Millau, bim, Xebu, Xgrind sowie weitere Ta- bellencodierungstechniken. Neben den aus der ersten Gruppe bekannten Techniken, werden hier aus der Grammatikbeschreibung zusätzlich bestimmte Muster (Tokens) extrahiert, die im zu komprimierenden XML-Dokument vorkommen dürfen. Jedem Token wird dann eine eindeutige, möglichst kurze Zeichenfolge zugeordnet. Diese Zuordnung wird in einer Tabelle gespeichert, die dann als Abkürzungswörterbuch bei der Kom- pression dient. Da diese Verfahren Informationen aus der Grammatikbeschreibung für den Kompressionsprozess zusätzlich ausnutzen können, arbeiten sie noch effektiver als generische XML-Kompressoren. Diese Verfahren sind ressourcenschonend, denn hier beschränkt sich der Kompressionsprozess im Wesentlichen auf den Vergleich zwischen Zeichenketten in der Abkürzungstabelle und im Eingabedatensatz. Allerdings sind die erreichten Kompressionsraten prinzipbedingt nicht optimal. Es wird lediglich ausgewertet, welche Tokens im Eingabedatensatz auftreten können. Die Information, in welcher Reihenfolge die Tokens auftreten können, bleibt unberücksichtigt. Zur zweiten Gruppe gehört ebenfalls das in dem Artikel Werner, Christian; Buschmann, Carsten ; Fischer, Stefan: WSDL-Driven SOAP Compression. In: International Journal of Web Services Research 2 (2005), Nr. 1 vorgestellte Verfahren zur XML-Differenzen- Codierung. Hier wird nicht mit einer Abkürzungstabelle gearbeitet. Stattdessen wird aus der Grammatikbeschreibung eine Menge von Skelettdatensätzen generiert. Diese stellen alle möglichen Varianten von Datensätzen dar, die dieser Grammatikbeschreibung genügen. Im Rahmen des Kompressionsvorgangs wird dann der zu komprimierende Datensatz mit dem am besten passenden Skelettdatensätzen verglichen und lediglich die Abweichungen zu diesem kodiert. Der Differenzencodierungsansatz ist besonders leistungsfähig. Er berücksichtigt auch Informationen über mögliche Reihenfolgen von Eingäbemustern. Doch ist der algorithmische Aufwand bei komplexeren Grammatikbeschreibungen sehr hoch, denn der zu komprimierende Datensatz muss mit einer Vielzahl von Skelettdatensätzen verglichen werden. Dieser Ansatz eignet sich daher nur für ausgewählte Anwendungen mit einfachen Grammatikbeschreibungen.
Gegenwärtige Quellencodierungsverfahren zur Kompression von strukturierten oder teilweise strukturierten Daten benötigen entweder viel Rechenleistung und Speicherplatz oder arbeiten nicht besonders effektiv.
Die meisten bekannten Quellcodierungsverfahren zur Kompression von strukturierten Datensätzen (Ausnahmen sind hier WO 01/27754 A2, WBXML und das Verfahren von Millau) setzen weiterhin zwingend voraus, dass die komprimierten Daten zunächst dekomprimiert werden müssen, bevor sie geparsed und verarbeitet werden können. Dies ist in der Praxis oft ein entscheidender Nachteil: Zum einen, weil durch diesen zusätzlichen Verarbeitungsschritt Verzögerungen eintreten. Zum anderen, weil der dekomprimierte Datensatz im Speicher gehalten werden muss, was gerade im Bereich der mobilen Kleinstcomputer mit sehr begrenztem Hauptspeicher einen gravierenden Nachteil darstellt.
Gerade für Kleinstcomputer ist es ohnehin vorteilhaft und wünschenswert, die Kompression und Dekompression übertragener Daten weitestgehend in der Hardware zu realisieren. Dazu lässt sich das Konzept der Automaten aus der theoretischen Informatik nutzen.
Ein solcher Automat (engl.: „State machine") ist eine sehr einfach aufgebaute Funktionsgruppe. Sie besteht im einfachsten Fall aus einem einzigen getakteten Speicherele- ment (z.B. einem 16-Bit-Register) und kann in diesem Speicherelement zu einem Zeitpunkt einen einzelnen Wert (Zustand) speichern. Neben diesem Speicherelement gibt es in einem solchen Automaten noch einen Regelsatz, der in Abhängigkeit von dem aktuellen Zustand einerseits und von dem von der Eingabe gelesenen Zeichen andererseits festlegt, welcher Zustand im nächsten Taktschritt eingenommen werden soll. Bestimmte Ausprägungen solcher Automaten besitzen zusätzlich einen sog. Kellerspeicher. Man spricht dann von einem Kellerautomaten (engl.: Stack machine).
Ein großer Vorteil dabei ist, dass ein Automat - anders als ein Compiler - keinen Mi- kroprozessor benötigt, um ausgeführt zu werden; er kann allein auf Basis eines getakteten Speicherelements (als Zustandsspeicher) sowie einem ROM- oder RAM-Baustein (für die Zustandsübergangsregeln) realisiert werden.
Weiter wird bei einem solchen Automaten kein Parse-Baum im Speicher aufgebaut, wie dies ein Compiler tut. Auch ein Assembler-Übersetzer arbeitet nicht nach dem zu- standsbasierten Prinzip eines solchen Automaten.
Der wesentliche Vorteil von Automaten ist zweierlei:
- Aufgrund ihrer einfachen Struktur sind Automaten nach bekannten Verfahren in ein Chip-Design umsetzbar.
Aus weitgehend beliebigen Strukturregeln eines Datensatztyps (konkretes Beispiel XML) lassen sich nach bekannten Verfahren Automaten (insbe- sondere String-Automaten, welche von Baum-Automaten zu unterscheiden sind) systematisch konzipieren, die den Datensatztyp verarbeiten können.
Wenn nachfolgend vom „Realisieren" eines String-Automaten gesprochen wird, ist in erster Linie die Schaffung einer entsprechenden Hardwareschaltung gemeint. Eine Rea- lisierung in Form von Software kann aber bekanntlich Hardwareschaltungen simulieren.
Weiter sind Baum-Automaten für die Verarbeitung und Validierung von XML Dokumenten bekannt, so aus der US 2003 0154444 Al. Diese Automatenklasse war in den letzten Jahren Gegenstand vieler Forschungsarbeiten zur Verarbeitung von strukturier- ten Datensätzen. Datenkompression mittels String-Automaten λvurde bereits in dem Artiekl von Vojtech TOMAN: Syntactical Compression ofXML Data. Proceedings of the 16th International Conference on Advanced Information Systems Engineering, 7.-11. Juni 2004, Riga, Lettland vorgeschlagen. Bei dem dort beschriebenen Verfahren wird die Grammatikbe- Schreibung vorab als nicht bekannt angenommen. Zu Beginn der Verarbeitung existieren also keine Informationen über die Struktur des zu verarbeitenden Datensatzes. Während der Verarbeitung "lernt" der Algorithmus über die Struktur, und für jedes im Datensatz gefundene Symbol wird ein separater String-Automat angelegt und bei Bedarf erweitert, der die diesem Symbol nachgeordnete Strukturinformation beschreibt. Wei- terhin wird an den Zustandsübergängen des Automaten markiert, wie häufig einzelne
Strukturzweige in einem solchen Automaten abgerufen werden. Bei der Verarbeitung des Eingabedatensatzes greift man auf diese Automaten zurück. Eine kompakte Codierung des Eingabedokuments wird erzeugt, indem man die Häufigkeitsmarkierungen der genutzten Zustandsübergänge auswertet und anhand dieser eine Vorhersage trifft, wel- ches Symbol als nächstes folgt.
Für den praktischen Einsatz ist das Verfahren nur bedingt geeignet, weil bei der Verarbeitung eines Datensatzes dynamisch neue Automatenstrukturen angelegt und aktualisiert werden müssen. Für eine Implementierung als Chip ist dies unvorteilhaft, weil nicht vorab bekannt ist, wie viele Speicherzellen auf dem Schaltkreis vorgesehen werden müssen. Weiterhin ist nachteilig, dass die Automatenstrukturen nie vollständig die Regeln abbilden, denen der Datensatz genügt. Auch bei sehr langen Datensätzen, bei denen der Algorithmus sehr viele Informationen über die Struktur des Datensatzes „lernen" kann, beschreiben die schrittweise erzeugten Automaten die Struktur des Daten- satzes nicht zwangsläufig vollständig. Toman konstruiert zudem nur solche String-
Automaten, die in der Klasse der azyklischen, deterministischen endlichen Automaten liegen. Diese reichen nur zur Beschreibungen von sehr einfachen Strukturbeschreibungen aus.
Es ist Aufgabe der Erfindung, Verfahren zur Kompression und Dekompression von wenigstens teilweise strukturierten Datensätzen anzugeben, das weiter bevorzugt in vereinfachter Weise eine Codierung beliebiger Datensätze ermöglicht, die Verarbeitung von komprimierten Datensätzen ohne vorangehende Dekompression erlaubt und überdies leicht in Hardware implementierbar ist.
Die Aufgabe wird gelöst durch das Verfahren mit. den Merkmalen des unabhängigen Anspruchs. Die Unteransprüche geben vorteilhafte Ausgestaltungen an. Das vorgeschlagene Verfahren zur Kompression und/oder Dekompression eines Datensatzes, der Struktur und Variablenwerte enthält, zeichnet sich aus durch Vorsehen eines die vorab bekannten Strukturierungsregeln des Datensatzes repräsentierenden String- Automaten in einer den Ursprungs-Datensatz komprimierenden Einrichtung, Eingeben des Datensatzes in den String-Automaten, Erzeugen eines zweiten, kürzeren Datensatzes durch den String-Automaten, der die Variablenwerte des ersten Datensatzes und String- Automaten-spezifische Steuersymbole enthält, die einen Wechsel von einem Au- tomatenzustand in einen Folgezustand repräsentieren, und Übermitteln des zweiten Da- tensatzes an einen die Steuersymbole interpretierenden gleichartigen String-Automaten, wobei eine Kopie des ursprünglichen Datensatzes mit gleicher Datenstruktur erzeugt wird.
Der entscheidende Erfindungsgedanke, besteht in der Einführung von Steuersymbolen dort, wo die Zustandsänderungen des Automaten Verzweigungsmöglichkeiten aufweisen. Erst das Ersetzen der ansonsten im unkomprimierten Datensatz mitgeführten Struktursymbole durch die sehr kurzen Steuersymbole des Automaten führen' auf die hohe Kompressionseffizienz. Dass dies überhaupt möglich ist, liegt wiederum an den im Automatendesign endgültig festgelegten Strukturregem der zu verarbeitenden Datensätze.
Natürlich kann auch nur eine Dekompression eines zuvor z.B. über das Internet erhaltenen Datensatzes erfolgen, der Steuerdaten für String-Automaten und Variablenwerte enthält. Dann ist der Datensatzes nur in einen vorgegebenen, bekannten String- Automaten einzugeben, der ihn interpretiert und daraus wieder eine unkomprimierte Repräsentation des Datensatzes erzeugt und/oder externe Funktionsgruppen steuert.
Wesentlich bei der Erfindung ist es, den zu komprimierenden Datensatz so umzucodie- ren, dass diese komprimierte Darstellung den Durchlauf eines String-Automaten beschreibt. Dieser Durchlauf wird dabei über geeignete Steuersymbole beschrieben, die dabei „Weichenstellungen" repräsentieren.
In anderen Worten: Das vorgeschlagene Kompressionsverfahren besteht darin, einen Weg aufzuzeigen, wie ein einfacher Hardware-Kompressor - der zugleich Dekompres- sor und Verarbeiter des komprimierten Datensatzes ist - allgemein hergestellt werden kann. Ein solcher Chip kann für jedes - weitgehend beliebige - Kompressionsproblem systematisch entworfen und industriell hergestellt werden. Eingebaut in beliebige Rechnerarchitekturen lässt er dann die völlige Transferfreiheit komprimierter Datensätze zu. Die hierzu nötigen, erfindungsgemäßen Steuersymbole sind in „normalen" Kellerautomaten, wie sie in der Literatur für Standardanwendungen beschrieben werden, nicht vorhanden bzw. werden nicht verarbeitet.
Die Steuersymbole sind prinzipiell durch wenige Bits darstellbar. Mit dem Verfahren lässt sich die Größe typischer Datensätze um Faktoren zwischen 10 bis 15 reduzieren. Diese Einsparung wird vor allem dadurch erreicht, dass die Strukturinformationen in einem Datensatz schon durch eindeutige Zustandsübergänge im bekannten String- Automaten beschrieben ist: Ein Großteil der Zustandsübergänge im String-Automaten besitzt also nur einen Folgezustand. Da in einem solchen Fall der Zustandsübergang schon feststeht, muss diese Information in Ausgabedaten nicht codiert werden. Anders ausgedrückt: Solche eindeutigen Zustandsübergänge können mit 0 bit codiert werden.
Somit kann die gesamte Strukturinformation eines Datensatzes auf wenige Bits redu- ziert werden. Alle Tags oder Tokens, die Strukturinformationen beschreiben, werden aus dem Datensatz entfernt, da die Datenstruktur bereits im Automaten abgebildet ist. Insbesondere muss auch keine Übersetzungstabelle vorgehalten werden.
Der so komprimierte Datensatz ist nur für den Durchlauf in diesem speziellen Automa- ten geeignet, er muss also insbesondere dem Empfänger einer komprimierten Übertragung bekannt sein. Er enthält aber lediglich Variablenwerte und die kompakt codierten Steuersymbole, d.h. keinerlei redundante Information. Offensichtlich kann der Datensatz auch ohne vorangehende Dekompression vollständig verarbeitet werden.
Weiterhin sind solche Automaten leicht in Hardware zu realisieren. Im digitalen Schaltkreisentwurf sind Automaten Standardbaugruppen und damit Bestandteil nahezu jeder getakteten Digitalschaltung.
Die Erfindung wird im Folgenden anhand einer Zeichnung genauer erläutert. Dabei zei- gen :
Fig. 1 einen endlichen Automaten, der Eingabedatensätze W mit dem Muster anbbcm akzeptiert,
Fig. 2 einen endlichen Automaten für die Erkennung von Datensätzen zur
Messdatenerfassung, und Fig. 3 einen erweiterten endlichen Automaten für die Erkennung von Datensätzen zur Messdatenerfassung und
Fig. 4 einen Ausgabedatensatz.
Ein String-Automat ist eine Funktionsgruppe, die die Gültigkeit eines Eingabedatensatzes W anhand von vorgegebenen Zuständen und Zustandsübergängen überprüft. Das Beispiel in Fig. 1 erläutert anschaulich das grundsätzliche Vorgehen. Ein String- Automat besteht aus Zuständen und Zustandsübergängen. In der graphischen Darstellung sind dies die Kreise und Pfeile zwischen den Kreisen. Ein Zustand ist dabei als Startzustand gekennzeichnet (Pfeil zeigend auf zθ). Ein oder mehrere Zustände sind als Endzustände gekennzeichnet (Doppelkreise). Die Übergänge zwischen den Zuständen tragen eine Beschriftung in Form einer Zeichenkette, daher auch der Name String- Automat.
Bei der Überprüfung eines Eingabedatensatzes W durchläuft der Automat eine Sequenz von Zuständen. Der Automat verarbeitet W Zeichen für Zeichen von links nach rechts und wählt die Zustandsübergänge mit den passenden Beschriftungen aus. Gibt es keine passenden Zustandsübergänge oder endet die Sequenz in einem Zustand, der nicht Endzustand ist, so ist das Eingabewort nicht gültig; andernfalls ist es gültig.
Für den Eingabedatensatz Wl=aabbc würde der dargestellte Automat die Sequenz zθ, zθ, zθ, zl, z2, z2 durchlaufen. Der Zustand z2 ist Endzustand, also ist Wl eine gültige Eingabe.
Der Eingabedatensatz W2=abba wäre dagegen nicht gültig, weil sich hier die Teilsequenz zθ, zθ, zl, z2 ergibt, und es keinen Übergang von z2 mit der Beschriftung a gibt. Auch W3=aaab wäre nicht gültig, weil die sich ergebene Sequenz zθ, zθ, zθ, zθ, zl nicht mit einem Endzustand endet.
Es gibt mehrere Typen von String-Automaten. Fig. 1 zeigt ein Beispiel für die einfachste Ausprägung : einen Endlichen Automaten. Dieser Typ verfügt über keine weiteren Speicherelemente (außer denen für Zustand und Zustandsübergänge) und kann daher prinzipbedingt nur einfach strukturierte Datensätze verarbeiten (solche, die Wörter einer
Sprache sind, welche in der Klasse der Regulären Sprachen liegt). Neben dem Typus Endlicher Automat ist insbesondere auch der Einsatz von Kellerautomaten gängig. Diese sind wie ein Endlicher Automat aufgebaut, verfügen aber zusätzliche über einen Kellerspeicher (häufig auch als LIFO-Speicher bezeichnet). Die Lese- und Schreiboperationen des Kellerspeichers werden über zwei zusätzliche Beschriftun- gen jedes Zustandsübergangs gesteuert. Jeder Zustandsübergang trägt also drei Beschriftungsfelder:
zu lesendes Eingabezeichen, zu lesendes Zeichen aus dem Kellerspeicher, - zu schreibende Zeichen in den Kellerspeicher.
Mit einem Kellerautomaten kann man auch komplexer strukturierte Eingabedatensätze verarbeiten (solche, die Wörter einer Sprache sind, welche in der Klasse der kontextfreien Sprachen liegt, vgl. Schöning, Uwe: Theoretische Informatik kurzgefaßt. 3. Auf- läge. Spektrum, 1997).
Grundsätzlich eignen sich sämtliche String-Automaten-Typen zur Umsetzung des Verfahrens. Jeder Typ kann in bestimmten Anwendungen jedoch spezifische Vorteile bieten: Endliche Automaten benötigen beispielsweise sehr wenig Speicher und Kellerau- tomaten sind besonders vielseitig einsetzbar, weil sie alle kontextfreien Sprachen erkennen können.
Das Erzeugen eines String- Automaten aus Strukturbeschreibungen wie etwa Regulären Ausdrücken ist bekannt. Insbesondere lassen sich aus XML-Grammatikbeschreibungen (DTD, XML- Schema-Dokument) Kellerautomaten konstruieren [Segoufin L.; Vianu,
V.: Validating Streaming XML Documents. Proceedings of the 2 Ist ACM SIGMOD- SIGACT-SIGART Symposium on Principles of database Systems, Madison, Wisconsin, USA3 2002].
Das erfindungsgemäße Verfahren fokussiert auf die Anwendung dieser Automaten zur
Entfernung redundanter Strukturinformationen aus dem Datensatz und auf die Einführung von Steuersymbolen zur Kontrolle des Automatenablaufes dort, wo alternative Zu- standsänderungen möglich sind.
Für das eingangs genannte Beispiel lässt sich ein Endlicher Automat - wie in Fig. 2 dargestellt - angeben, der die Struktur der zu verarbeitenden Eingabedatensätze beschreibt. Die Alternative, ob nach dem Temperaturwert ein Druckwert oder ein Feuch- tigkeitswert folgt, ist im Automaten durch zwei mögliche Zustandsübergänge ausgehend von z2 beschrieben.
Die Automatenbeschreibung kann weiterhin Informationen über den Inhalt von nicht- strukturierten Bereichen im Eingabedatensatz enthalten (Boolean, String der Länge 10,
16-Bit-Integer usw.). Im Beispiel ist an den Zustandsübergängen von z3 nach z5 und von z4 nach z5 jeweils angegeben, dass hier numerische Werte erwartet werden, die sich als 32-Bit-Integer-Zahl darstellen lassen. Diese Information wird beim Kompressi- onsprozess ausgewertet, um besonders kompakte Codierungen für mögliche Werte zu finden. Bei der Dekompression wird diese geänderte Darstellungsweise wieder rückgängig gemacht. Die in einem Datensatz enthaltenen Variablenwerte können sowohl von einem kodierenden als auch von einem interpretierenden String- Automaten bei der Verarbeitung geändert kodiert ausgegeben bzw. erkannt und umgewandelt werden.
Damit der Automat für die Kompression eingesetzt werden kann, muss er zunächst wie folgt erweitert werden:
Besitzt der Automat Zustände mit mehr als einem möglichen Folgezustand, werden die Zustandsübergänge zu den Folgezuständen mit zusätzlichen, lokal eindeutigen Bezeich- nern (Steuersymbole) versehen. Es entsteht ein erweiterter String-Automat.
Im Beispiel wäre eine solche Erweiterung also bei z2 notwendig. Es gibt nur zwei Folgezustände, folglich genügt ein einzelnes Bit zur eindeutigen Codierung. Im Beispiel wird der Übergang nach z3 mit 0 und der nach z4 mit 1 markiert. Fig. 3 zeigt ein Bei- spiel für so einen erweiterten Automaten.
Bei mehr als zwei möglichen Folgezuständen muss die Bitfolge länger werden. Zur Erzeugung von solchen eindeutigen Codes für die Zustandsübergänge eignet sich insbesondere das Codierungsverfahren von Huffman. Es erzeugt minimale, eindeutige Codes und kann auch die Wahrscheinlichkeiten der Zustandsübergänge berücksichtigen. Ist also bekannt, dass bestimmte Zustandsübergänge häufiger als andere gewählt werden, so lassen sich diese mit besonders kurzen Bitfolgen codieren. Dies wirkt sich positiv auf das Kompressionsergebnis aus.
Der erweiterte String-Automat verarbeitet den zu komprimierenden Eingabedatensatz:
Werden dabei Zustände mit mehr als einem möglichen Folgezustand durchlaufen, wird der lokal eindeutige Bezeichner des gewählten Zustandsübergangs im Ausgabedatensatz codiert. Werden bei Zustandsübergängen nicht-strukturierte Inhalte von der Eingabe gelesen, so werden diese ebenfalls im Ausgabedatensatz codiert.
Für den Beispieldatensatz
. Temperatur:i2i,Druck:PiS
würden die folgenden Aktionen ausgeführt werden:
Figure imgf000016_0001
Damit ergibt sich der Ausgabedatensatz wie in Fig. 4.
In diesem Datensatz, der lediglich 65 Bits lang ist, sind sämtliche Informationen codiert, die zur Rekonstruktion des Eingabedatensatzes mit Hilfe des String-Automaten notwendig sind. Die Länge des unkomprimierten Eingabedatensatzes in 7-Bit-ASCII- Codierung beträgt 24x7=168 [Bits].
Ausgangspunkt für den Dekompressionsprozess ist wiederum der zur Kompression verwendete erweiterte String- Automat. Dieser Automat wird abermals vom Start- zu einem Endzustand durchlaufen. Allerdings wird der Automatendurchlauf bei der Dekompression durch den Datensatz gesteuert, der Ergebnis des Kompressionsprozesses ist. Beim Durchlauf werden die Werte, mit denen die Zustandsübergänge beschriftet sind, in den Ausgabedatensatz geschrieben. Die Werte nicht strukturierter Inhalte werden dabei dekodiert und ebenfalls in den Ausgabedatensatz geschrieben.
Für das obige Beispiel ergibt sich:
Figure imgf000017_0001
Der Beispieldatensatz kann so exakt rekonstruiert werden.
Bei komplexeren String-Automaten, bei denen die Zustandsübergänge nicht nur durch den Eingabedatensatz gesteuert werden, sondern auch von anderen Parametern abhängen (beispielsweise vom obersten Wert im Speicher eines Kellerautomaten), kann es sinnvoll sein, die Erweiterung des String-Automaten nicht vorab, sondern im Rahmen des Kompressions- und Dekompressionsprozesses dynamisch durchzufuhren.
Beispiel: Der Zustand z4 in einem Kellerautomaten hat zehn mögliche Folgezustände. Bei einer der statischen Erweiterung des Automaten müssten diese zehn Zustände bei Anwendung eines Block-Codes mit flog210~| = 4 Bits codiert werden.
Bei der Verarbeitung eines Eingabedatensatzes X erreicht der Automat nun z4. Aufgrund des obersten Eintrags im Kellerspeicher sind jedoch nur zwei der zehn Zustandsübergänge möglich. In dieser Situation müssen auch nur diese zwei Zustände codiert werden, denn nur sie können bei der Verarbeitung der Eingabe ausgewählt werden; hierfür reicht ein Bit aus.
Da sich der Zustand des Kellerspeichers aber dynamisch mit der Verarbeitung des Eingabedatensatzes ändert, lässt sich eine solche optimierte Codierung nur dynamisch, d.h. während der Verarbeitung eines Eingabedatensatzes bestimmen. Dies fuhrt zu besseren Kompressionsergebnissen, hat jedoch auch den Nachteil, dass bei der Kompression und Dekompression zusätzliche Berechnungsschritte durchgeführt werden müssen. Somit ist die Verarbeitungsgeschwindigkeit etwas geringer.
Sowohl der Prozess der Kompression als auch der der Dekompression beruhen im We- sentlichen darauf, dass die Zustände eines String-Automaten durchlaufen werden. Diese sind besonders einfach aufgebaut und können effizient in Hard- oder Software implementiert werden.
Bei einem Endlichen Automaten wird nur ein RAM-Speicherbereich zum Halten des aktuellen Zustands (currentstate) benötigt. Die Zustandsübergänge (transitions) des Automaten können als Tabelle in einem ROM-Bereich abgelegt werden. Startzustand (start_state) und Endzustände (end_states) sind ebenfalls nicht variabel und können daher ebenfalls im ROM abgelegt werden.
Auch ein Kellerautomat ist nur wenig komplexer; dort muss lediglich ein zusätzlicher
RAM-Speicherbereich als Kellerspeicher (Stack) bereitgestellt werden.
Ein besonderer Vorteil solcher Automaten liegt somit in ihrer sehr einfachen Implemen- tierbarkeit. Die hnplementierung eines String-Automaten beschränkt sich im Wesentli- chen auf den Durchlauf einer While-Schleife, und der benötigte Speicherplatz ist sehr gering.
Auch im Chip-Design sind Automatenstrukturen gängige Baugruppen: Die in diesem Zusammenhang eingesetzten Automatenstrukturen werden häufig als Finite-State- Machines oder Moore- Automaten bezeichnet und entsprechen weitestgehend den oben vorgestellten Endlichen Automaten. Für die Implementierung eines Kellerautomaten in Hardware müsste die Automatenstruktur um einen Kellerspeicher (Stack) erweitert werden, der ebenfalls eine Standardbaugruppe ist.
Neben diesen Vorteilen bei der Implementierung bietet das Verfahren auch die Möglichkeit, die Vorgänge des Parsens und der Datenkompression bzw. -dekompression zu einem einzigen Verarbeitungsschritt zusammenzufassen:
Die Steuerung des Automatendurchlaufs kann direkt über eine Programmierschnittstelle (API) aus einer anderen Softwarekomponente erfolgen. Bei einer Hardwareimplementierung könnte der Automatendurchlauf über Steuerleitungen von anderen Bau- oder Funktionsgruppen aus gesteuert werden. Dies hat den Vorteil, dass im Speicher der da- tenkomprimierenden Einrichtung gar keine unkomprimierte Darstellung der zu komprimierenden Daten vorgehalten werden muss. Diese Darstellungsform ist unter Umständen sehr groß und verbraucht unnötig Speicherkapazität der datenkomprimierenden Einrichtung. Beispielsweise wäre es möglich, auf einer Maschine, die Messdatensätze erzeugt, gar nicht die unkomprimierte Repräsentation des Datensatzes mit Messwerte zu erzeugen. Beim Erfassen der Messwerte wird der. Durchlauf des String- Automaten direkt durch diesen technischen Prozess gesteuert. Das Kompressionsergebnis entspricht aber dem, als hätte eine nicht komprimierte Repräsentation des Datensatzes vorgelegen, so dass ein Empfänger des komprimierten Datensatzes die Messdaten ganz normal de- komprimieren und interpretieren oder weiterverarbeiten kann.
Das oben bezeichnete Verfahren erlaubt zudem, dass der String-Automaten während seines Ablaufs zusätzlich bereits die Steuerung externer Funktionsgruppen veranlasst. Beispielsweise wäre es möglich, dass im Rahmen der Dekompression gar nicht die un- komprimierte Repräsentation des Datensatzes wiederhergestellt werden soll. Möglichweise soll alternativ oder zusätzlich auch eine externe Funktions- oder Baugruppe (beispielsweise eine externe Softwarekomponente, Produktionsanlage oder Recheneinheit) in Abhängigkeit von den aus dem Datensatz gelesenen Werte gesteuert werden. Viele technische Vorgänge lassen sich nämlich direkt auf ein Automatenmodell abbilden, wie es die Erfindung vorschlägt.

Claims

Patentansprüche
1. Verfahren zur Kompression für einen rechnerarchitektur-unabhängigen Datentransfer und/oder zur Dekompression eines Datensatzes, der Strukturbezeichner und Variablenwerte enthält, wobei eine Bitfolge mit Steuersymbolen übertragen wird, gekenn- zeichnet durch die Verfahrensschritte :
Realisieren eines die Strukturierungsregeln des Datensatzes repräsentierenden String- Automaten in einer den Ursprungs-Datensatz komprimierenden Einrichtung,
- Eingeben des Datensatzes in den String- Automaten,
Erzeugen eines zweiten, kürzeren Datensatzes durch den String- Automaten, der die Variablenwerte des ersten Datensatzes und String-Automaten-spezifische Steuersymbole enthält, die einen Wechsel von einem Automatenzustand in einen Folge- zustand repräsentieren, und
Übermitteln des zweiten Datensatzes an einen die Steuerungssymbole interpretierenden gleichartigen String-Automaten, wobei eine Kopie des ursprünglichen Datensatzes mit gleicher Datenstruktur erzeugt wird.
2. Verfahren zur Dekompression eines Datensatzes, der Steuersymbole für String- Automaten und Variablenwerte enthält, gekennzeichnet durch Eingeben des Datensatzes in einen vorgegebenen, bekannten String-Automaten, der die Steuersymbole durch Strukturbezeichner ersetzt.
3. Verfahren nach Anspruch 1 oder 2, dadurch gekennzeichnet, dass die Variablenwerte von einem kodierenden oder interpretierenden String-Automaten wenigstens zum Teil geändert kodiert ausgegeben, oder erkannt und umgewandelt werden.
4. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass statt eines Steuersymbols, für den Fall, dass ein solches während eines genau einen möglichen Folgezustand besitzenden Automatenzustands in den zweiten Datensatz einzufügen wäre, kein Bit eingefügt wird.
5. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der der Ablauf des String-Automaten von externen Funktions- oder Baugruppen gesteuert wird.
6. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass der String-Automaten während seines Ablaufs zusätzlich externer Funktions- oder Baugruppen steuert.
7. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass zusätzliche Codierungsregeln in den Zustandsübergängen des String-Automaten gespeichert sind.
8. Verfahren nach einem vorangehenden Ansprüche, dadurch gekennzeichnet, der oder die String-Automat(en) mit einem dynamischen Speicher erweitert sind.
9. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass Wahrscheinlichkeiten oder Häufigkeiten von Zustandsübergängen berücksichtigt werden, um besonders geeignete Bitrepräsentationen für die zugehörigen Steuersymbole zu finden.
10. Verfahren nach einem der vorangehenden Ansprüche, dadurch gekennzeichnet, dass Bitrepräsentationen zur Codierung von Zustandsübergängen unter Berücksichtigung von sich dynamisch ändernden Speicherinhalten berechnet werden.
PCT/DE2006/002052 2005-11-23 2006-11-21 Verfahren zur kompression für einen rechnerarchitektur-unabhängigen datentransfer und/oder zur dekompression eines datensatzes WO2007059746A2 (de)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP06818083A EP1952540B1 (de) 2005-11-23 2006-11-21 Verfahren zur kompression für einen rechnerarchitektur-unabhängigen datentransfer und/oder zur dekompression eines datensatzes
US12/094,761 US8650217B2 (en) 2005-11-23 2006-11-21 Compression method for a data transfer that is independent of computer architecture and/or decompression method for a data record

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
DE102005056122.5 2005-11-23
DE102005056122A DE102005056122A1 (de) 2005-11-23 2005-11-23 Verfahren zur Kompression, Dekompression und Verarbeitung von Datensätzen

Publications (2)

Publication Number Publication Date
WO2007059746A2 true WO2007059746A2 (de) 2007-05-31
WO2007059746A3 WO2007059746A3 (de) 2007-12-21

Family

ID=38037642

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/DE2006/002052 WO2007059746A2 (de) 2005-11-23 2006-11-21 Verfahren zur kompression für einen rechnerarchitektur-unabhängigen datentransfer und/oder zur dekompression eines datensatzes

Country Status (4)

Country Link
US (1) US8650217B2 (de)
EP (1) EP1952540B1 (de)
DE (1) DE102005056122A1 (de)
WO (1) WO2007059746A2 (de)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9002876B2 (en) * 2010-12-02 2015-04-07 Sap Se Interpreted computer language to analyze business object data with defined relations
US9838226B2 (en) * 2012-01-27 2017-12-05 Apple Inc. Methods and apparatus for the intelligent scrambling of control symbols
DE102012211031B3 (de) * 2012-06-27 2013-11-28 Siemens Aktiengesellschaft Verfahren zur Codierung eines Datenstroms
US9736081B2 (en) 2015-06-04 2017-08-15 At&T Intellectual Property I, L.P. Apparatus and method to improve compression and storage data
CN106126486B (zh) * 2016-06-30 2019-03-08 童晓冲 时间信息编码方法、编码值检索方法、解码方法与装置
JP6903892B2 (ja) 2016-10-12 2021-07-14 富士通株式会社 検証プログラム、検証装置、検証方法、符号化プログラム、符号化装置および符号化方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7006881B1 (en) * 1991-12-23 2006-02-28 Steven Hoffberg Media recording device with remote graphic user interface
US5862325A (en) * 1996-02-29 1999-01-19 Intermind Corporation Computer-based communication system and method using metadata defining a control structure
DE19803845C2 (de) * 1998-01-31 2001-03-08 Syntion Ag Verfahren und Einrichtung zur Übertragung einer durch digitale Daten repräsentierten Nachricht
AU7829400A (en) * 1999-10-13 2001-04-23 Conexant Systems, Inc. Compressed storage and transmission of high-level computer languages
US7154638B1 (en) * 2000-05-23 2006-12-26 Silverbrook Research Pty Ltd Printed page tag encoder
JP2003084987A (ja) * 2001-09-11 2003-03-20 Internatl Business Mach Corp <Ibm> Ｘｍｌ文書の妥当性を検証するためのオートマトンの生成方法、ｘｍｌ文書の妥当性検証方法、ｘｍｌ文書の妥当性を検証するためのオートマトンの生成システム、ｘｍｌ文書の妥当性検証システムおよびプログラム
US7107285B2 (en) * 2002-03-16 2006-09-12 Questerra Corporation Method, system, and program for an improved enterprise spatial system

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
None

Also Published As

Publication number Publication date
DE102005056122A1 (de) 2007-05-31
US20090193045A1 (en) 2009-07-30
WO2007059746A3 (de) 2007-12-21
EP1952540B1 (de) 2012-10-31
EP1952540A2 (de) 2008-08-06
US8650217B2 (en) 2014-02-11

Similar Documents

Publication Publication Date Title
DE10301362B4 (de) Blockdatenkompressionssystem, bestehend aus einer Kompressionseinrichtung und einer Dekompressionseinrichtung, und Verfahren zur schnellen Blockdatenkompression mit Multi-Byte-Suche
DE69925410T2 (de) Erweiterung des Befehlssatzes unter Verwendung von Präfixcode
EP1952540B1 (de) Verfahren zur kompression für einen rechnerarchitektur-unabhängigen datentransfer und/oder zur dekompression eines datensatzes
DE60127695T2 (de) Verfahren zur komprimierung von datenpaketen
DE60123596T2 (de) Verfahren zur Komprimierung einer Baumhierarchie, zugehöriges Signal und Verfahren zur Dekodierung eines Signals
EP2290612B1 (de) Verfahren und Anordnung zur arithmetischen Enkodierung und Dekodierung von binären Zuständen sowie ein entsprechendes Computerprogramm und ein entsprechendes computerlesbares Speichermedium
EP1500281A2 (de) Kodierung von transformations-koeffizienten in bild- oder videokodierern
WO2016110356A1 (de) Verfahren zur integration einer semantischen datenverarbeitung
EP1616274B1 (de) Verfahren zur codierung eines strukturierten dokuments
CN103605730A (zh) 一种基于不定长标识码的xml的压缩方法和装置
EP2415174A1 (de) Komprimierungsverfahren, dekomprimierungsverfahren, komprimierungseinheit, dekomprimierungseinheit sowie komprimiertes dokument
DE10054001A1 (de) Automatisierte Schnittstellengenerierung für Computerprogramme in unterschiedlichen Umgebungen
EP3991064B1 (de) Verfahren und prozessoreinrichtung zum wechseln eines datenformats von kommunikationsdaten für eine gerätekommunikation sowie kraftfahrzeug
EP3144821A1 (de) Verfahren zum erzeugen von elektronischen dokumenten
DE10047338C2 (de) Verfahren zur Datenkompression von strukturierten Dokumenten und Anordnung zur Durchführung des Verfahrens
DE19803845C2 (de) Verfahren und Einrichtung zur Übertragung einer durch digitale Daten repräsentierten Nachricht
EP1924931B1 (de) Verfahren zur speichereffizienten durchführung einer burrows-wheeler-rücktransformation
DE102006047465A1 (de) Verfahren und Vorrichtung zur Kompression und Dekompression digitaler Daten auf elektronischem Wege unter Verwendung einer Kontextgrammatik
Chernik et al. Syllable-based compression for XML documents
DE10248758B4 (de) Verfahren und Vorrichtungen zum Encodieren/Decodieren von XML-Dokumenten
Davies et al. Compressing computer programs
WO2008003310A1 (de) Verfahren zur kompression einer datensequenz eines elektronischen dokuments
WO1998027657A1 (de) System und verfahren zur pre-entropischen codierung
Swanson et al. CompreX: further developments in XML compression
DE10351896A1 (de) Verfahren zur Indizierung von strukturierten Dokumenten

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 2006818083

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 06818083

Country of ref document: EP

Kind code of ref document: A2

WWP Wipo information: published in national office

Ref document number: 2006818083

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 12094761

Country of ref document: US