WO2014147672A1 - 圧縮装置、圧縮方法、辞書生成装置、辞書生成方法、伸長装置、伸長方法、伸長プログラムおよび情報処理システム - Google Patents

圧縮装置、圧縮方法、辞書生成装置、辞書生成方法、伸長装置、伸長方法、伸長プログラムおよび情報処理システム Download PDF

Info

Publication number
WO2014147672A1
WO2014147672A1 PCT/JP2013/001977 JP2013001977W WO2014147672A1 WO 2014147672 A1 WO2014147672 A1 WO 2014147672A1 JP 2013001977 W JP2013001977 W JP 2013001977W WO 2014147672 A1 WO2014147672 A1 WO 2014147672A1
Authority
WO
WIPO (PCT)
Prior art keywords
character information
compression
information
code
dictionary
Prior art date
Application number
PCT/JP2013/001977
Other languages
English (en)
French (fr)
Inventor
千織 村松
西澤　信一郎
片岡　正弘
将夫 出内
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to KR1020157025619A priority Critical patent/KR20150119403A/ko
Priority to CN201380074814.3A priority patent/CN105052041A/zh
Priority to PCT/JP2013/001977 priority patent/WO2014147672A1/ja
Priority to EP13878620.7A priority patent/EP2978134A4/en
Priority to JP2015506368A priority patent/JPWO2014147672A1/ja
Priority to AU2013382911A priority patent/AU2013382911A1/en
Publication of WO2014147672A1 publication Critical patent/WO2014147672A1/ja
Priority to US14/857,683 priority patent/US20160006456A1/en

Links

Images

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code
    • H03M7/42—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code using table look-up for the coding or decoding process, e.g. using read-only memory
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10—File systems; File servers
    • G06F16/17—Details of further file system functions
    • G06F16/174—Redundancy elimination performed by the file system
    • G06F16/1744—Redundancy elimination performed by the file system using compression, e.g. sparse files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/80—Information retrieval; Database structures therefor; File system structures therefor of semi-structured data, e.g. markup language structured data such as SGML, XML or HTML
    • G06F16/84—Mapping; Conversion
    • G06F16/86—Mapping to a database
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F40/00—Handling natural language data
    • G06F40/20—Natural language analysis
    • G06F40/237—Lexical tools
    • G06F40/242—Dictionaries
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
    • H03M7/3088—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method employing the use of a dictionary, e.g. LZ78
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/40—Conversion to or from variable length codes, e.g. Shannon-Fano code, Huffman code, Morse code

Definitions

  • ⁇ At least one of data compression technology and decompression technology.
  • variable-length compression codes such as Huffman coding and arithmetic compression
  • a compression code is generated based on a comparison of appearance frequencies between character information included in a character information group.
  • a compressed code having a code length determined based on the appearance ratio of each character information in the entire character information group is generated.
  • JP 2010-93414 A Japanese Patent Laid-Open No. 05-241777
  • Document data is composed of character strings such as words and tags that are combinations of symbols such as letters and numbers.
  • Each character string in the document data corresponds to a concept such as a specific meaning or grammatical function, but the character combination (notation) is different from each other even for character strings corresponding to a common concept.
  • notation fluctuation There is a so-called notation fluctuation. Examples of notation fluctuations include the use of verbs and adjectives, synonyms and synonyms.
  • variable-length compression codes In assigning variable-length compression codes to character strings such as words and tags, shorter compression codes are assigned to character information having a higher appearance frequency.
  • a notation fluctuation corresponding to a plurality of character strings (plural types of character strings) having different notations for one concept occurs, there is no notation fluctuation corresponding to one type of character string for one concept.
  • the appearance frequency of each of the plurality of types of character strings is lower than the appearance frequency of the character strings. For this reason, the compression code assigned to each of the plurality of types of character strings becomes long, which causes a reduction in the compression rate.
  • An object of one aspect of the present invention is to suppress a reduction in compression rate due to the presence of notation fluctuation.
  • the compression device includes a storage unit that stores dictionary information associated with each of the plurality of character information, wherein the first compression code assigned to the plurality of character information different from each other; An acquisition unit that acquires the first compression code associated with the first character information from the dictionary information when the first character information of a plurality of character information is acquired; and the acquired first And a writing unit for writing the compressed code into a storage area for storing the compressed data.
  • the decompression apparatus relates to a dictionary in which a first compression code assigned in common to a plurality of different character information and the first character information corresponding to the plurality of character information are associated with each other.
  • the storage unit for storing information and the first compressed code are obtained from compressed data
  • the first character information associated with the first compressed code in the dictionary information is obtained from the dictionary information.
  • the information processing system is an information processing system including a storage device in which compressed data is stored, and a processing device that executes processing according to a processing request for the compressed data.
  • a storage unit that stores dictionary information associated with each of the plurality of character information, the first compression code assigned to a plurality of different character information, and from the storage device in response to the processing request
  • the reading unit for reading compressed data and the first compressed code are acquired from the compressed data
  • the first character information associated with the first compressed code in the dictionary information is acquired from the dictionary information.
  • a first acquisition unit a first writing unit that writes the acquired first character information into a first storage area that stores a decompression result of the compressed data; and the first storage.
  • a processing unit that executes processing according to the processing request on the decompression result stored in the area, and when the first character information is acquired from data that has been processed according to the processing request,
  • a second acquisition unit for acquiring the first compressed code associated with the first character information by dictionary information; and a second writing for writing the acquired first compressed code in a second storage area
  • a storage unit for storing the data written in the second area in the storage device.
  • the dictionary generation device includes an allocating unit that performs a compression code allocating process on one type of common character information corresponding to a plurality of different character information, and each of the plurality of different character information. And a generating unit that generates dictionary information associated with the first compression code assigned to the common character information.
  • the dictionary generation device includes: a first compression code commonly assigned to a plurality of different character information; and first character information corresponding to the plurality of types of character information.
  • a generating unit that generates dictionary information to be associated is included.
  • FIG. 1 shows an overview of compression processing and decompression processing.
  • FIG. 2 shows an example of conversion to a compression code.
  • FIG. 3 shows a configuration example of the functional block.
  • FIG. 4 shows a processing procedure example of the compression function.
  • FIG. 5 shows an example of a processing procedure for generating a compression dictionary.
  • FIG. 6 shows an example of the processing procedure of the frequency counting process.
  • FIG. 7 shows an example of the conversion table T1.
  • FIG. 8 shows an example of the statistics table T2.
  • FIG. 9 shows an example of the data structure of the compression dictionary D1.
  • FIG. 10 shows a processing procedure example of the compressed data generation processing.
  • FIG. 11 shows a processing procedure example of the decompression function.
  • FIG. 12 shows an example of a processing procedure for generating a decompression dictionary.
  • FIG. 1 shows an overview of compression processing and decompression processing.
  • FIG. 2 shows an example of conversion to a compression code.
  • FIG. 3 shows a configuration example of the functional block.
  • FIG. 13 shows an example of the data structure of the expansion dictionary D2.
  • FIG. 14 shows a processing procedure example of the decompression data generation processing.
  • FIG. 15 shows an example of conversion into a compression code.
  • FIG. 16 shows an example of the data structure of the compression dictionary.
  • FIG. 17 shows an example of the data structure of the decompression dictionary.
  • FIG. 18 shows a processing procedure example of the decompression data generation processing.
  • FIG. 19 shows an example of assignment of compression codes.
  • FIG. 20 shows an example of the data structure of the decompression dictionary.
  • FIG. 21 shows a processing procedure example of the decompression data generation processing.
  • FIG. 22 shows a processing procedure example of the decompression data generation processing.
  • FIG. 23 shows a processing procedure example of the decompression data generation processing.
  • FIG. 21 shows a processing procedure example of the decompression data generation processing.
  • FIG. 24 shows a processing procedure example of the decompression data generation processing.
  • FIG. 25 shows a processing procedure example of the decompression data generation processing.
  • FIG. 26 shows a processing procedure example of the decompression data generation processing.
  • FIG. 27 shows a processing procedure example of the decompression data generation processing.
  • FIG. 28 shows a hardware configuration example of the computer 1.
  • FIG. 29 shows an example of a program configuration that runs on the computer 1.
  • FIG. 30 shows a system configuration example using the computer 1.
  • FIG. 31 shows a system configuration example using the computer 1.
  • FIG. 1 shows an overview of compression processing and decompression processing.
  • the compressed file F2 is generated based on the file F1 and the conversion table T1.
  • the conversion table T1 associates each of a plurality of types of character information corresponding to a common concept with common character information indicating a concept common to the plurality of types of character information.
  • the conversion table T1 may further associate an identification symbol for identifying a plurality of types of character information with each of the above-described plurality of types of character information (a plurality of character information different from each other).
  • frequency aggregation H1 in the file F1 is performed based on the conversion table T1.
  • the character information associated with the common character information in the conversion table T1 is counted as the common character information.
  • the character information associated with the identification symbol may be counted as both the common character information and the identification symbol.
  • the aggregation result of the frequency aggregation H1 process is stored in the frequency table T2.
  • the processing of the frequency count H1 may be performed based on a file (for example, a book with a different version number) that is expected to include a lot of character information common to the file F1, instead of the file F1.
  • the frequency counting H1 may be performed based on, for example, a plurality of files including the file F1 (a divided file group (including the file F1) obtained by dividing a certain file).
  • a code assignment H2 process is performed based on the appearance frequency. For example, according to the Huffman coding algorithm, a compression code is assigned to each character information by comparing the appearance frequencies of the character information. Further, for example, according to arithmetic compression, a code length is set according to the appearance ratio of each character information in the entire character information group to which a compression code is assigned, and a compression code having the set code length is assigned to each character information. It is done.
  • the compression dictionary D1 shows a correspondence relationship between each character information group (including common character information or including both common character information and an identification symbol) with an assigned compression code.
  • the compressed file F2 includes a compression code string (compressed data) by a sequentially acquired compression code, a conversion table T1, and a frequency table T2.
  • the appearance frequency information of the common character information stored in the frequency table T2 can be used as it is for text mining. Even without decompressing the compressed data, information such as what concept is expressed in the document data and how often can be extracted from the frequency table T2.
  • the generation of the decompressed file F3 is performed based on the compressed file F2.
  • the compressed file F2 includes compressed data, a conversion table T1, and a frequency table T2. Appearances associated with the frequency table T2 for each character information group (including common character information or both common character information and an identification symbol) stored in the frequency table T2 extracted from the compressed file F2.
  • the code allocation H4 is processed.
  • the code assignment H4 process is performed based on the same algorithm as the code assignment H2 process.
  • the expansion dictionary D2 indicates the correspondence between the compression code and the character information to which the compression code is assigned. In the expansion process H5, character information corresponding to the compression code extracted from the compressed file F2 is acquired from the expansion dictionary D2.
  • the decompression dictionary D2 stores the common character information storage position (offset value) in the conversion table T1 extracted from the compressed file F2 instead of the common character information. )including.
  • the offset value is obtained from the decompression dictionary D2 in the decompression process H5
  • the original character information is obtained based on the offset value and the identification symbol.
  • the decompression file F3 includes a character information string based on character information obtained by the decompression process H5.
  • the compression process H3 and the decompression process H5 are reversible compression / decompression processes. If the file F1 and the decompressed file F3 are not the same data, the compression process H3 and the decompression process H5 are irreversible compression / decompression processes. That is, when a plurality of types of character information corresponding to a common concept are identified by an identification symbol in the conversion table T1, character information before compression can be specified in the conversion table T1 based on the identification symbol at the time of decompression. A reversible compression / decompression process is performed.
  • synonyms may exist in the document data. For example, in English, there are words whose notations are different between British English and US English (for example, “pavement” and “sidewalk”), and there are also words whose notations are recognized in a plurality of ways (for example, “center” and “center”). center "). Also, for example, in Japanese, when a foreign language is replaced with a Japanese notation, a plurality of notations are allowed (for example, “interface” and “interface”). Further, in each language, synonyms can exist as well as synonyms (for example, “center” and “middle”).
  • the compression processing is performed by consolidating the words expressed in the utilization form into the common character information (for example, the verb original form) corresponding to the concept of the utilization word, thereby suppressing the reduction in the compression rate and the compression code assignment.
  • the effect of suppressing the processing amount can be obtained.
  • an identification symbol indicating the utilization form for example, indicating the past form
  • the original utilization form can be restored at the time of expansion.
  • the appearance frequency of character information varies depending on the document data. Therefore, the appearance frequency differs for each character information.
  • the types of character information corresponding to a common concept have similar appearance frequency tendencies.
  • Character information of different utilization forms in utilization words may be used together in a document. For example, a sentence including “search data for...” May be followed by a sentence such as “the searched data is. Since the tendency of the appearance frequency is similar between the character information aggregated in the common character information, it is less likely to assign a compression code having a code length that does not match the appearance frequency of the character information itself.
  • the identification symbol indicating the utilization form is not used, lossy compression is performed, but the compressed data obtained by the lossy compression is used for, for example, text mining.
  • the information on the utilization form regarding the verb is lost.
  • analysis such as the frequency of use of verbs such as “like” and “hate” and the extraction of keywords that co-occur with those verbs is based on compressed data that has been compressed lossy It is feasible.
  • FIG. 2 shows an example of conversion to a compression code.
  • FIG. 1 shows an English example sentence “Hespent much time for talking about his invitation.”.
  • FIG. 2 shows examples (1) to (6) in the case where a part of the English example sentence shown in FIG. 1 is converted by using a compression code assigned to character information such as words and characters.
  • Examples (1) to (3) are examples of compression codes corresponding to character information “talking”.
  • Examples (4) to (6) are examples of compression codes corresponding to the character information “spent”. “Talking” and “spent” are both verb conjugations.
  • a compression code c (talk) and a compression code c (send) are assigned to verbs such as “talk” and “send”, respectively.
  • the compression code is indicated as “c ()”.
  • the compression code is indicated as “c ()”.
  • character information corresponding to the compression code is shown in parentheses.
  • the compression code c (i) since the compression code is only assigned to the original “talk” in “talking”, for example, the compression code c (i), the compression code c (n), and the compression code are used for “ing”. It is expressed by combining c (g).
  • “talking” is converted into a compression code string c (talk) c (i) c (n) c (g). Since “spent” is not a character string including “send” to which a compression code is assigned, the compression code c (send) is not used. Therefore, for example, as shown in Example (4), “spent” is converted into a compression code string c (s) c (p) c (e) c (n) c (t).
  • the inflected forms of the same verbs such as “talk”, “talked”, and “talking” are character information groups that have a common meaning but are indicated by different notations due to grammatical restrictions. Even if a compression code is assigned to one of the character information groups, when other character information is converted into a compression code, a part or all of the character code is subjected to compression code. turn into. For this reason, character information in units of words is converted into a plurality of compressed codes, which can be an obstacle to improving the compression rate.
  • compression codes c (talk), c (talking), and (talked) are associated with “talk”, “talking”, and “talked”, respectively.
  • compression codes c (send), c (sending), and (spent) are associated with “send”, “sending”, “spent”, and the like.
  • “talking” in the English example sentence shown in FIG. 2 is converted into a compressed code c (talking) as shown in Example (2).
  • “spent” in the English example sentence is also converted into a compression code c (spent) as shown in the example (5).
  • each verb itself has one meaning, but by changing the word form, for example, five types of inflection forms (original form, third person singular present tense, past tense, past participle and A compression code corresponding to each present participle) exists. Therefore, the types of compression codes increase. As the number of types of compression codes increases, the size of the compression dictionary and decompression dictionary increases, and the amount of processing for generating a compression code assigned to each character string increases. For this reason, an increase in the number of types of compression codes slows down the compression speed and the expansion speed. The relationship between the compression code allocation processing amount, the compression dictionary data structure, and the number of types of compression codes will be further described later.
  • an identification symbol for identifying a plurality of pieces of character information having a common meaning is used.
  • character information “talking” and “talked” having a common meaning of “talk” are identified by identification symbols [ ⁇ ing] and [ ⁇ ed], respectively.
  • an identification symbol is indicated by square brackets [].
  • the identification symbol [-ing] indicates a grammatical function that the word is currently progressive.
  • the identification symbol [-ed] indicates a grammatical function that the word is past tense.
  • Example (3) by using both the compressed code c (talk) and the compressed code c ([-ing]), compressed data corresponding to the character information “talking” is generated.
  • this compressed data is expanded, it can be determined that the current progressive form of the character information “talk” exists in the expanded data, so that the character information “talking” is restored.
  • Example (6) by using both the compression code c (send) and the compression code c ([ ⁇ ed]), compressed data corresponding to the character information “spent” is generated.
  • this compressed data is expanded, it can be determined that the past form of the character information “spent” exists in the expanded data, so that the character information “spent” is restored. Since the character information is restored by using a combination of the compression code assigned to the common character information and the compression code assigned to the identification symbol, it is used as lossless compression.
  • any word whose notation is changed due to grammatical restrictions is expressed by two compression codes. Therefore, as in example (1) and example (4), a situation in which the number of types of compression codes increases due to different notation despite corresponding to the same concept as the word to which the compression code is assigned is avoided.
  • the identification symbol can be used in common for a plurality of types of verbs. Therefore, the types of compression codes increase by the number of character information corresponding to the common concept. For example, if a compression code is assigned to 800 types of verbs as in Example (2) or Example (5), the type of compression code jumps to several times that of 800 types.
  • the types of grammatical functions for example, when identifying five types of original form, third person singular present tense, past tense, past participle, and present participle, the number of types of compression codes for verbs is five. Only type increases. By assigning the compression codes shown in examples (3) and (6), the number of types of compression codes is hardly increased, and the situation shown in examples (1) and (4) is less likely to occur.
  • FIG. 3 shows a configuration example of the functional block.
  • the computer 1 includes a compression unit 11, an expansion unit 12, a generation unit 13, a generation unit 14, and a storage unit 15.
  • the storage unit 15 stores, for example, a compression target file F1, a compression file F2, an expansion file F3, a compression dictionary D1, an expansion dictionary D2, and the like.
  • the storage unit 15 stores a word list L1 used for generating the compression dictionary D1 and the expansion dictionary D1, for example.
  • the word list L1 is a list of character information groups to which compression codes are assigned.
  • the storage unit 15 stores a conversion table T1.
  • the storage unit 15 includes storage areas such as storage areas A1, A2, A3, and A4, and is used as a work area for processing of the compression unit 11, the expansion unit 12, the generation unit 13, and the generation unit 14.
  • the compression unit 11 performs a compression process on the file F1 stored in the storage unit 15, and generates a compressed file F2.
  • the decompression unit 12 executes decompression processing of the compressed file F2 stored in the storage unit 15, and generates an decompressed file F3.
  • the generation unit 13 generates a compression dictionary D1 used in the compression process of the compression unit 11.
  • the generation unit 14 generates an expansion dictionary D2 used in the expansion process of the expansion unit 12.
  • the compression unit 11 includes a control unit 111, a search unit 112, a reading unit 113, and a writing unit 114.
  • the control unit 111 executes the compression processing of the file F1 under the control of the search unit 112, the reading unit 113, and the writing unit 114.
  • the control unit 111 loads the file F1 into the storage area A1.
  • the reading unit 113 reads data from the file F1 in the storage area A1.
  • the search unit 112 searches the compression dictionary D1 for the data read by the reading unit 113.
  • the writing unit 114 writes a compression code corresponding to the search result of the search unit 112 in the storage area A2.
  • the control unit 111 manages the reading position of the reading unit 113 and the writing position of the writing unit 114.
  • control unit 111 causes the reading unit 113 and the writing unit 114 to sequentially execute the character code strings included in the file F1. Execute the process. Further, the control unit 111 generates a compressed file F2 based on the compressed data stored in the storage area A2, and stores the compressed file F2 in the storage unit 15.
  • the decompression unit 12 includes a control unit 121, a search unit 122, a reading unit 123, and a writing unit 124.
  • the control unit 121 executes decompression processing of the compressed file F2 under the control of the search unit 122, the reading unit 123, and the writing unit 124.
  • the control unit 121 loads the compressed file F2 into the storage area A3.
  • the reading unit 123 reads the compressed code from the compressed file F2 in the storage area A3.
  • the search unit 122 searches the decompression dictionary D2 for the compressed code read by the reading unit 123.
  • the search unit 122 determines whether the decompression code obtained from the decompression dictionary D2 is character information or an offset value in the conversion table T1, and if it is an offset value, obtains character information based on the offset value.
  • the writing unit 124 writes the character information acquired by the search unit 122 in the storage area A4.
  • the control unit 121 manages the reading position of the reading unit 123, the writing position of the writing unit 124, and the like. For example, the control unit 121 causes the reading unit 123 and the writing unit 124 to sequentially perform the compression codes included in the compressed file F2. Execute the process. In addition, the control unit 121 generates an expanded file F3 based on the character information string (expanded data) stored in the storage area A4, and stores the expanded file F3 in the storage unit 15.
  • the generation unit 13 includes a control unit 131, a statistics unit 132, an allocation unit 133, and a sorting unit 134.
  • the generation unit 13 generates a compression dictionary D1 in response to an instruction from the compression unit 11.
  • the control unit 131 generates a compression dictionary D1 used for compression of the file F1 under the control of the statistics unit 132, the allocation unit 133, and the sort unit 134.
  • the statistics unit 132 counts the number of appearances for each character information such as characters and words included in the file F1, and generates a frequency table T2 indicating the appearance frequency of each character information.
  • the sorting unit 134 sorts each character information in the frequency table T2 based on the appearance frequency generated by the statistical unit 132.
  • the assigning unit 133 generates a compressed code corresponding to each character information based on the appearance frequency generated by the statistical unit 132, and assigns the generated compressed code to each character information.
  • the sorting unit 134 further sorts each set, which is a combination of the character information and the compression code, in the order of the character codes corresponding to the character information (for example, the order of the character code values is small).
  • the control unit 131 generates a compression dictionary D1 based on the processing results by the statistics unit 132, the allocation unit 133, and the sorting unit 134, and stores the compression dictionary D1 in the storage unit 15. In addition, the control unit 131 stores the frequency table T ⁇ b> 2 generated by the statistical unit 132 in the storage unit 15.
  • the generation unit 14 includes a control unit 141, an allocation unit 142, a duplication unit 143, and a sorting unit 144.
  • the generation unit 14 generates an expansion dictionary D2 in response to an instruction from the expansion unit 12.
  • the control unit 141 controls the assigning unit 142, the duplicating unit 143, and the sorting unit 144, and generates an expansion dictionary D2 that is used to expand the compressed file F2.
  • the allocating unit 142 uses the frequency table T2 to generate a compression code corresponding to each character information in the frequency table T2.
  • the sorting unit 144 sorts each character information to which the compression code is assigned according to the value of the compression code.
  • the duplication unit 143 duplicates a character code indicating a character or a word corresponding to the compression code according to the code length of each of the sorted compression codes.
  • the control unit 141 generates the expansion dictionary D2 by placing the character code copied by the copying unit 143 at an offset position corresponding to the compression code generated by the assigning unit 142.
  • the control unit 141 further stores the expansion dictionary D2 in the storage unit 15.
  • the compression unit 11 and the generation unit 13 compress the file F1.
  • the compression processing procedure is shown in FIGS. 4, 5, 6 and 10.
  • the decompression unit 12 and the generation unit 14 decompress the compressed file F2.
  • the decompression processing procedure is shown in FIGS. 11, 12, and 14. FIG.
  • FIG. 4 shows a processing procedure example of the compression function.
  • the control unit 111 executes preprocessing for compression processing (S101).
  • the call of the compression function includes designation of the file F1 to be compressed.
  • the control unit 111 secures the storage area A1 and the storage area A2, loads the word list L1 and the conversion table T1 from the storage unit 15, and secures the storage area for the frequency table T2 and the compression dictionary D1. To do.
  • the control unit 111 loads the file F1 into the storage area A1 (S102).
  • the control unit 111 divides the file F1 into blocks, and performs the following compression processing for each block obtained by the division. Subsequently, the control unit 111 instructs the generation unit 13 to generate the compression dictionary D1 (S103).
  • FIG. 5 shows an example of a processing procedure for generating a compression dictionary.
  • the control unit 131 Upon receiving an instruction to generate a compression dictionary from the control unit 111, the control unit 131 causes the statistical unit 132 to execute frequency count processing for character information included in the file F1 (S201).
  • FIG. 6 shows a processing procedure example of the frequency counting process.
  • the control unit 131 receives the frequency counting process instruction
  • the statistical unit 132 starts the frequency counting process for the file F1 loaded in the storage area A1.
  • the reading position indicates the head of the file F1 loaded in the storage area A1.
  • the statistics unit 132 generates a frequency table T2 for storing the appearance frequency of each character information based on the word list L1 loaded from the storage unit 15 and the conversion table T1 (S301).
  • the statistical unit 132 sequentially registers character information to be subjected to frequency counting in the storage area secured in the process of S101.
  • FIG. 7 shows an example of a conversion table.
  • the conversion table T1 associates a set of common character information and an identification symbol with character information.
  • the common character information indicates a common concept in character information corresponding to a plurality of types of common concepts.
  • the identification symbol identifies each piece of character information. For example, each of the character information “talk”, “talks”, “talked”, and “talking” is character information corresponding to a common concept of “talk”.
  • character information common character information
  • indicating a common concept of “talk” is associated with character information of “talk”, “talks”, “talked”, and “talking”.
  • identification symbols [c1], [c2], [c3], and [c4] are used to identify the character information “talk”, “talks”, “talked”, and “talking”, respectively. ] are further associated.
  • the identification symbol [c1] is an identification symbol indicating the original form of the verb.
  • the identification symbol [c2] is an identification symbol indicating that the third person singular form of the verb is used.
  • the identification symbol [c3] is an identification symbol indicating that it is a past form of a verb.
  • the identification symbol [c4] is an identification symbol indicating that it is the current participle of the verb.
  • the value on the left side of the conversion table T1 indicates an offset position where information on each character information is stored in the conversion table T1.
  • empty codes in the character code system used for the file F1 are used. For other identification symbols, empty codes are similarly used.
  • the character information “send”, “sends”, “spent” and “sending” is also associated with the common character information “send” indicating a common concept.
  • the identification symbol [c1] and the identification symbol are the same as “talk”, “talks”, “talked” and “talking”. [C2], the identification symbol [c3], and the identification symbol [c4] are associated with each other.
  • the character information “drunk” is associated with the common character information “drink” and the identification symbol [c5] indicating the past participle of the verb.
  • common character information indicating the common concept “good” is associated with the adjectives “good”, “better”, and “best”.
  • Each of the adjectives “good”, “better” and “best” has an identification symbol [c6] indicating that it is the original form of an adjective, an identification symbol [c7] indicating that it is a comparative class of adjectives, and the highest adjective Is associated with each of the identification symbols [c8].
  • the character information “I”, “my”, “me”, “mine”, and “myself” is associated with the common character information indicating “I”, which is a common concept.
  • Each of “I”, “my”, “me”, “mine”, and “myself” includes an identification symbol [c9] indicating the main case of the personal pronoun, an identification symbol [c10] indicating the possession of the personal pronoun, and the personal pronoun Are associated with an identification symbol [c11] indicating the purpose case, an identification symbol [c12] indicating a pronoun, and an identification symbol [c13] indicating a reflexive pronoun.
  • the correspondence between the character information and the combination of the common character information and the identification symbol is set in advance and stored in the storage unit 15.
  • the statistical unit 132 registers the character information registered in the word list L1 in the frequency table T2, excluding the character information registered in the conversion table T1. Further, the statistical unit 132 registers the common character information and the identification symbol in the conversion table T1 in the frequency table T2.
  • FIG. 8 shows an example of the frequency table T2.
  • the frequency table T2 is a table that associates character information (including common character information and identification symbols) with the appearance frequency.
  • the character information registered in the conversion table T1 is removed in the generation of the frequency table T2 of the statistical unit 132. Therefore, each of a plurality of types of character information corresponding to a common concept such as “talk”, “talks”, “talked”, and “talking” includes common character information “talk” and identification symbols [c1] to [c4]. ] are registered in the frequency table T2.
  • the statistical unit 132 acquires a character code from the reading position of the storage area A1 (S302). In the processing of S302, the reading position is advanced by the character code acquired in S302.
  • the statistical unit 132 determines whether or not the character code acquired in S302 is a delimiter (S303).
  • the determination in S303 is determined based on whether a character code to be processed as a delimiter is set in advance and the character code acquired in S302 corresponds to one of the preset character codes.
  • the delimiter is, for example, a space symbol (0x20 in ASCII code system), exclamation (0x21 in ASCII code system), comma (0x2C in ASCII code system), period (0x2E in ASCII code system), colon (ASCII code system). 0x3A), semicolon (0x3B in ASCII code system) and question (0x3F in ASCII code system).
  • the determination in S303 may be determined based on whether or not the character code acquired in S302 is within a predetermined numerical range (for example, 0x20 to 0x3F in the ASCII code system).
  • the statistical unit 132 stores the character code acquired in S302 in a buffer (S304). When the process of S304 ends, the process proceeds to S311.
  • the statistical unit 132 refers to the conversion table T1 based on the character information stored in the buffer (S305). Further, the statistical unit 132 determines whether or not the character information stored in the buffer is registered in the conversion table T1 based on the reference result of S305 (S306).
  • the statistical unit 132 counts the character information stored in the buffer (S307). In S307, if there is no character information in the frequency table T2 that is the same as the character information stored in the buffer, the statistical unit 132 counts each character code stored in the buffer.
  • the statistical unit 132 uses the common information associated with the character information stored in the buffer by the conversion table T1. Both information and identification symbols are counted (S308). For example, the statistic unit 132 increments the count value associated by the frequency table T2 for both the common character information and the identification symbol in S308. For example, when the character information stored in the buffer is “spent”, the statistical unit 132 increments the count value for both “send” of the common character information and the identification symbol [c3].
  • the statistical unit 132 counts the delimiters acquired in S302 (S309). In S309, the statistics unit 132 increments the count value corresponding to the delimiter acquired in S302 in the frequency table T2. Further, the statistical unit 132 clears the buffer (S310). The processes of S309 and S310 may be interchanged in order.
  • the statistical unit 132 determines whether or not the reading position is the end of the file F1 loaded in the storage area A1 (S311). If it is not the end in the determination of S311 (S311: NO), the statistics unit 132 proceeds to the procedure of S302. If the end is determined in S311 (S311: YES), the statistical unit 132 ends the frequency counting process.
  • the control unit 131 returns to the procedure of FIG. 5 and causes the sorting unit 134 to execute the sorting process (S202).
  • the sorting unit 134 uses the character information (characters, symbols, words, common character information, identification symbols, etc.) registered in the frequency table T2 as the frequency information (number of appearances for each character information) generated by the statistical unit 132. ).
  • the sorting unit 134 rearranges the character information registered in the frequency table T2 in either the order of appearance frequency or the order of decrease in appearance number.
  • the control unit 131 causes the allocating unit 133 to execute allocation of a compression code (S203).
  • the assigning unit 133 assigns a compression code to the character information group rearranged in order of frequency in S202 based on an algorithm that assigns a shorter compression code to higher-frequency character information, such as Huffman coding or arithmetic compression.
  • the control unit 131 When a compression code is assigned to each character information registered in the frequency table T2, the control unit 131 generates a set of compression codes corresponding to the combination of the common character information and the identification symbol (S204). In S204, the control unit 131 obtains the character information corresponding to the combination of the common character information registered in the conversion table T1 and the identification symbol, and the combination of the compressed character code corresponding to each of the combined common character information and the identification information. Associate. For example, the character information “spent” is a set of common character information “send” and compression code c (send) and compression code c ([c3]) corresponding to the identification symbol [c3] associated in the conversion table T1. It is associated.
  • the compression codes are combined in the order in which the compression code c ([c3]) precedes the compression code c (send). Further, the control unit 131 stores correspondence information in which each piece of character information registered in the word list L1 is associated with a compression code corresponding to each character information in an area for storing the compression dictionary D1. In this correspondence information, the character information registered in the conversion table T1 is associated with a set of compression codes (a combination of a compression code corresponding to common character information and a compression code corresponding to an identification symbol) in the correspondence information. Yes.
  • the control unit 131 causes the sorting unit 134 to sort the set of each character information included in the correspondence information and the compression code associated with each character information based on the value of the character code of each character information.
  • the sorting unit 134 sorts the character information in ascending order of character codes.
  • the sorting unit 134 arranges the first character code value of the character information in ascending order, and arranges character information having the same first character code value in ascending order of the second character code value.
  • the state rearranged by the process of S205 is the compression dictionary D1 shown in FIG.
  • the control unit 131 When the processing of S205 ends, the control unit 131 performs index generation processing (S206).
  • the control unit 131 generates an index by associating the character information with information (offset value) indicating the position where the character information exists in the character information group sorted in S205. For example, the offset value “0x0052” is associated with the character “i” in the compression dictionary D1 illustrated in FIG.
  • the search for the compression code corresponding to the word starting with “i” is started from “0x0052”.
  • the generation unit 13 ends the generation process of the compression dictionary D1.
  • FIG. 9 shows an example of the data structure of the compression dictionary.
  • the compression dictionary D1 shown in FIG. 9 character information and a compression code are stored in association with each other.
  • the storage position of the set of character information and compression code is indicated by an offset value starting from the storage position of the compression dictionary D1.
  • the information of the character information “invention” is stored in the offset value 0x0053.
  • the index generated in S206 uses this offset value to narrow down the search range.
  • “c ()” indicates a compressed code corresponding to character information in parentheses.
  • the character information registered in the conversion table T1 is associated with a plurality of compression codes and is not registered in the conversion table T2. Is associated with one compression code.
  • the compression dictionary D1 is generated by the generation unit 13, but as another example, the compression dictionary D1 may be stored in the storage unit 15 in advance. In this case, the compression dictionary D1 is used in common in a plurality of files, for example. For example, in the compression dictionary D1 stored in the storage unit 15 in advance, for example, compression is performed based on frequency information of character information in a file compressed in the past (a past version document file) or a plurality of files existing in the database. A code may be assigned.
  • control unit 111 When the generating unit 13 finishes generating the compression dictionary D1, the control unit 111 returns to the procedure of FIG. 4 and executes the compressed data generating process (S104).
  • FIG. 10 shows a processing procedure example of the compressed data generation processing.
  • the read position is set at the start point of the file F1 loaded in the storage area A1, the write position is set at a predetermined position in the storage area A2, and the buffer is cleared.
  • the reading unit 113 acquires a character code from the reading position (S401).
  • the control unit 111 updates the reading position after obtaining the character code in S401.
  • the control unit 111 determines whether or not the character code acquired in S401 is a delimiter (S402).
  • the delimiter is a character code set in advance, such as a space or a comma, as in S303.
  • the control unit 111 stores the character code acquired by the reading unit 113 in S401 in a buffer (S403).
  • S403 the process returns to the procedure of S401, and the reading unit 113 acquires a character code from the reading position.
  • the search unit 112 searches the compression dictionary D1 with the character code (or character code string) stored in the buffer (S404).
  • the control unit 111 determines whether matching character information that matches the character code (or character code string) stored in the buffer exists in the compression dictionary D1 (S405).
  • the writing unit 114 writes the compression code associated with the matching character information in the compression dictionary D1 at the writing position of the storage area A2 (S406). Further, the control unit 111 updates the writing position. In the compression dictionary D1, when a plurality of compression codes are associated with the matching character information, the writing unit 114 writes the plurality of compression codes from the writing position. When writing is performed, the control unit 111 updates the writing position in the storage area A2 based on the written compression code length.
  • the control unit 111 performs processing for each character code in the buffer (S407 to S410). For each character code, the control unit 111 causes the search unit 112 to search the compression dictionary D1 (S408), and causes the writing unit 114 to write the compression code obtained as a result of the search at the write position (S409). The processing of S407 to S410 in which the processing of S408 and S409 is performed for each character code stored in the buffer is completed.
  • the control unit 111 deletes (clears) the character code (or character code string) stored in the buffer (S411). Further, the writing unit 114 writes the compression code associated with the delimiter acquired in S401 in the compression dictionary D1 at the writing position (S412). S412 may be performed prior to S411. Further, the control unit 111 determines whether or not the reading position is the end of the file F1 loaded in the storage area A1 (S413).
  • the procedure returns to S401, and the reading unit 113 acquires the character code from the reading position.
  • the control unit 111 ends the compressed data generation process.
  • the control unit 111 When the compressed data generation process is completed, the procedure returns to S105 shown in FIG.
  • the control unit 111 generates a compressed file F2 using the compressed data stored in the storage area A2, and stores it in the storage unit 15 (S105).
  • the compressed file F2 includes, for example, a header, compressed data in the storage area A2, and trailer information.
  • the header includes, for example, identification information for identifying the compression algorithm and information such as the data size of each of the header, the compressed data, and the trailer information.
  • the trailer information includes, for example, a conversion table T1, a frequency table T2, and the like.
  • the control unit 111 When the process of S105 is completed, the control unit 111 notifies the call destination of the compression function that the compression process has been completed (S106).
  • the notification in S106 includes, for example, information indicating the storage destination of the compressed file F2.
  • FIG. 11 shows an example of the processing procedure of the decompression function.
  • the control unit 121 executes preprocessing for decompression processing (S501).
  • the call of the decompression function includes designation of the compressed file F2 to be decompressed.
  • the control unit 121 secures a storage area A3 and a storage area A4, and further secures a storage area for the expansion dictionary D3.
  • control unit 121 loads the compressed file F2 into the storage area A3 (S502).
  • control unit 121 causes the generation unit 14 to generate an expansion dictionary (S503).
  • FIG. 12 shows an example of the processing procedure for decompression dictionary generation.
  • the control unit 141 acquires the conversion table T1 and the frequency table T2 from the trailer information of the compressed file F2 loaded in the storage area A3 (S601).
  • the control unit 141 assigns a compression code to each character information registered in the frequency table T2 (including common character information and an identification symbol) based on the frequency table T2 (S602).
  • a compression code is assigned by the same algorithm as in S203.
  • the control unit 141 changes the common character information among the character information to which the compression code is assigned to the offset value in the acquired conversion table T1 (S603). This offset value indicates a position where character information corresponding to the common character information is stored in the conversion table T1.
  • the offset value “0x0182” is stored for the common character information “talk”.
  • the offset value “0x0182” makes it possible to refer to character information corresponding to a common concept “talk” such as “talk”, “talks”, “talked”, and “talking”.
  • the sorting unit 144 sorts the character information (including the offset value changed in S603) to which the compression code is assigned according to the value of the compression code (S604). Furthermore, the control unit 141 associates the code length of the assigned compression code with each character information (including the offset value changed in S603) to which the compression code is assigned.
  • the duplicating unit 143 duplicates the character information and the code length information to the number corresponding to the code length associated with the character information (S605). For example, when the maximum compression code length is set to 12 bits, the duplication unit 143 sets the character information (including the offset value) of the code length n and the code length information of (12 ⁇ n). Duplicate to a square. Further, the control unit 141 stores the copied information at a position in the storage area of the decompression dictionary D2 secured in the storage unit 15 and at an offset position based on the compression code (S606). As a result of S606, the expansion dictionary D2 is generated, and the procedure proceeds to S504 in FIG.
  • FIG. 13 shows an example of the data structure of the decompression dictionary.
  • the expansion dictionary D2 has a data structure in which information indicating an expansion code (character information or an offset value of the conversion table T1) and a code length is stored at an offset position based on a corresponding compression code.
  • the decompression dictionary D2 in FIG. 13 illustrates a case where the maximum code length of the compression code is 12 bits.
  • the expansion dictionary D2 By using the expansion dictionary D2, it is possible to read fixed-length data from the compressed data subjected to variable-length encoding and extract the expansion code corresponding to the read fixed-length data. By reading fixed-length data, it is possible to increase the decompression speed rather than determining the code boundary bit by bit. For compressed codes shorter than 12 bits, extra data is read out from the compressed data, so the read position from the compressed data is adjusted based on the code length. Since the decompression dictionary D2 is an decompression dictionary used for such decompression processing, information having the same decompression code and code length is registered in duplicate.
  • the compression code c ([c3]) corresponding to the identification symbol [c3] in the decompression dictionary D2 is 6-bit data “000101”, but is read collectively as 12-bit data from the compressed data. . If the first 6 bits of the read 12 bits are “000101”, it is necessary to be able to obtain the decompressed code of the identification symbol [c3] regardless of the data in the latter 6 bits. Therefore, by storing the decompression code and the code length for all possible values of the latter 6 bits, 6 bits of the 12-bit fixed-length data can be any data. Information such as a decompression code corresponding to a bit variable length code is acquired.
  • the information of the identification symbol [c3] is duplicated in all the last 6 bits (“000000” to “111111”) (64) and the offset position (000101000000 (0x140) corresponding to the compression code “000101”. )). That is, 64 pieces of data from the offset value 0x140 to 0x17F of the expansion dictionary store information related to the identification symbol [c3].
  • the information related to the common character information “talk” is also replicated in a number corresponding to the code length of the compression code and stored at an offset position corresponding to the compression code, like the control symbol [c3]. However, the common character information is changed to the offset value (0x0182) in the conversion table T1 in the process of S603.
  • FIG. 14 shows a processing procedure example of the decompression data generation processing.
  • the control unit 121 starts a process for generating expanded data corresponding to the compressed data included in the compressed file F2.
  • the read position from the storage area A3 is set to the start point of the compressed data of the file F2, and the write position to the storage area A4 is set to a predetermined position in the storage area A4.
  • the reading unit 123 reads the compressed data from the reading position in the storage area A3 (S701).
  • the compressed data is read out at a fixed length (for example, 12 bits) as described above.
  • the search unit 122 refers to the decompression dictionary D2 based on the read fixed length data (S702).
  • the control unit 121 determines whether or not the decompressed code obtained by referring to S702 is an identification symbol (S703).
  • the control unit 121 turns on the utilization flag (S704).
  • the utilization flag is used to determine whether the decompression code associated with the compression code in the decompression dictionary D2 is character information or an offset value.
  • the control unit 121 stores the identification symbol obtained by referring to S702 in a buffer.
  • the control unit 121 determines whether or not the utilization flag is ON (S705).
  • the search unit 122 refers to the conversion table T1 (S706).
  • the search unit 122 refers to the conversion table T1 based on the offset value using the decompressed code obtained by referring to S702 as the offset value of the conversion table T1.
  • the search unit 122 acquires character information corresponding to the combination of the identification symbol stored in the buffer and the common character information indicated by the offset value (expanded code) from the conversion table T1.
  • the control unit 121 turns off the utilization flag and deletes the identification symbol stored in the buffer (S707).
  • the control unit 121 If the utilization flag is OFF in the determination of S705 (S705: NO) or the processing of S707 is completed, the control unit 121 writes the character information at the writing position of the storage area A4 (S708).
  • the character information written in S708 is the decompressed code obtained by referring to the decompression dictionary D2 in S702, or the character information obtained by referring to the conversion table T1 in S706.
  • the control unit 121 updates the writing position in the storage area A4 (S709).
  • the control unit 121 updates the reading position from the storage area A3 (S710).
  • the read position from the storage area A3 is updated based on the code length obtained by referring to S702. For example, the reading position is advanced by the number of bits indicated by the code length information.
  • the control unit 121 determines whether or not the read position from the storage area A3 is the end of the compressed data of the compressed file F2 (S711). If the reading position from the storage area A3 is not the end of the compressed data (S711: NO), the procedure returns to S701, and the reading unit 123 reads the compressed data again. When the read position from the storage area A3 is the end of the compressed data (S711: YES), the control unit 121 ends the decompressed data generation process, and the procedure proceeds to S505.
  • the expansion dictionary D2 is an example of an expansion dictionary, and an expansion dictionary in which the same information is not registered in duplicate may be used.
  • a general Huffman-encoded decompression dictionary may be used. Even in such a case, when the decompression code is acquired from the decompression dictionary, the control unit 121 performs the determination of S703, and performs the processing of either S704 or S705 to S709 according to the determination result. Do.
  • the control unit 121 When the decompression data generation process is completed, the control unit 121 creates the decompression file F3 based on the decompression data stored in the storage area A4, and stores the created decompression file F3 in the storage unit 15 (S505). Furthermore, the control unit 121 notifies the callee of the decompression function that the decompression process has been completed (S506).
  • the notification in S506 includes, for example, information indicating the storage location of the decompressed file F3.
  • FIG. 15 shows an example of conversion into a compression code.
  • the compression code corresponding to the identification symbol may be given first, but as shown in the example (7), the compression code corresponding to the common character information may be given first.
  • the example (8) similarly to the example (7), the case where the compression code corresponding to the common character information is preceded and the compression code corresponding to the identification symbol is followed is illustrated.
  • the compression dictionary D1 shown in FIG. 9 is generated by the control in which the compression code corresponding to the identification symbol is preceded by the compression code corresponding to the common character information in the process of S204 of FIG.
  • the compression code corresponding to the identification symbol is preceded by the compression code corresponding to the common character information in the process of S204 of FIG. It suffices if control is performed later.
  • FIG. 16 shows an example of the data structure of the compression dictionary.
  • the compression dictionary D1a shown in FIG. 16 is obtained by reversing the order in the combination of compression codes associated with character information registered in the conversion table T1 from that of the compression dictionary D1. That is, the compression code corresponding to the common character information is first, and the compression code corresponding to the identification symbol is in the later order.
  • the compression dictionary D1a associates character information and compression codes in the same manner as the compression dictionary D1.
  • the contents are illustrated only for the portions relating to the character information “send”, “sends”, “spent” and “sending” of the compression dictionary D1a.
  • the compression code c (send) and the compression code c ([c3]) are arranged in the order of c (send) c ([c3]).
  • the order of the compression codes in the compression dictionary D1a is reflected as it is in the compressed data, so c (send) c ([c3 ]) Are arranged in the order.
  • FIG. 17 shows an example of the data structure of the decompression dictionary.
  • the decompression dictionary D2a shown in FIG. 17 in addition to the decompression code (character information or offset value) and the code length, a utilization flag is further associated.
  • the compression code corresponding to the common character information is associated with the offset value of the conversion table T1, the code length of the compression code, and the utilization flag of the ON state.
  • the expansion dictionary D2a is referred to based on the compression code corresponding to the common character information, it can be determined that the expansion code is an offset value because the utilization flag is ON.
  • the compression code corresponding to the character information that is not the common character information is associated with the character information, the code length of the compression code, and the utilization flag in the OFF state.
  • the decompression dictionary D2a If the decompression dictionary D2a is used, it becomes clear that the compressed code corresponding to the common character information is obtained by referring to the utilization flag of the decompression dictionary D2a. Therefore, it is not necessary to consider that the compression code corresponding to the identification symbol competes with the compression code corresponding to the character information. That is, in the case of Example (7) and Example (8) shown in FIG. 15, the compression code corresponding to the identification symbol may be uniquely assigned without depending on the code assignment algorithm applied in S203 or the like. Absent. As a result, the types of character information to which compression codes are assigned by the code assignment algorithm are reduced.
  • the identification symbol is commonly used for a plurality of character information (the past tense is indicated by the identification symbol [c3] in each verb), the appearance frequency tends to be high. Therefore, when variable length compression codes are assigned together with other character information, short compression codes are easily assigned, and compression codes assigned to other character information are likely to be long. Therefore, by uniquely assigning a compression code to an identification symbol (separately from character information), the code length of the compression code assigned to the character information tends to be shortened.
  • a unique short compression code to the identification symbol. For example, if up to eight types of identification are performed using identification symbols, a 3-bit fixed-length code may be assigned. This fixed length allocation will be described later with reference to FIG.
  • FIG. 18 shows a processing procedure example of the decompression data generation processing.
  • the expansion dictionary D2a a mechanism for determining whether the expansion code is character information or an offset value of the conversion table T1 is different from that when the expansion dictionary D2 is used.
  • the control unit 121 starts a process of generating expanded data corresponding to the compressed data included in the compressed file F2.
  • the read position from the storage area A3 is set to the start point of the compressed data of the file F2, and the write position to the storage area A4 is set to a predetermined position in the storage area A4.
  • the reading unit 123 reads the compressed data from the reading position in the storage area A3 (S801).
  • the compressed data is read out at a fixed length (for example, 12 bits) as described above.
  • the search unit 122 refers to the decompression dictionary D2a based on the read fixed length data (S802).
  • the control unit 121 updates the reading position from the storage area A3 (S803).
  • the read position from the storage area A3 is updated based on the code length obtained by referring to S802.
  • the reading unit 123 reads the compression code corresponding to the identification symbol from the reading position of the storage area A3 (S805). Furthermore, the control unit 121 acquires an identification symbol based on the read compressed code.
  • the search unit 122 refers to the conversion table T1 based on the offset value obtained by referring to S802 and the identification symbol acquired in S805 (S806). In S806, the search unit 122 acquires character information indicated by the offset value (expanded code) and the identification symbol from the conversion table T1.
  • the control unit 121 updates the reading position of the storage area A3 according to the code length of the compression code read in S805 (S807).
  • the control unit 121 writes the character information at the writing position in the storage area A4 (S808).
  • the character information written in S808 is the decompressed code obtained by referring to the decompression dictionary D2a in S802 or the character information obtained by referring to the conversion table T1 in S806.
  • the control unit 121 updates the writing position in the storage area A4 (S809).
  • the control unit 121 determines whether or not the read position from the storage area A3 is the end of the compressed data of the compressed file F2 (S810). If the reading position from the storage area A3 is not the end of the compressed data (S810: NO), the procedure returns to S801, and the reading unit 123 reads the compressed data again. When the read position from the storage area A3 is the end of the compressed data (S810: YES), the control unit 121 ends the decompressed data generation process, and the procedure proceeds to S505.
  • the identification symbols [c1] to [c5] are used for verbs
  • the identification symbols [c6] to [c8] are used for adjectives
  • ⁇ [C13] are used for pronouns.
  • the identification symbols [c6] to [c13] are not used for character information using the identification symbol [c1]. Therefore, even if the compression code assigned to the identification symbol conflicts with the compression code assigned to any of the identification symbols [c6] to [c13], it corresponds to the compression code corresponding to the common character information and the identification symbol [c1]. Character information is specified by a combination with the compression code to be performed.
  • compression codes that can be distinguished from each other by the identification symbols [c1] to [c5] may be assigned to the identification symbols [c1] to [c5]. Further, it is only necessary to assign a compression code that can be identified by the identification symbols [c6] to [c8] to the identification symbols [c6] to [c8]. Similarly, the identification symbols [c9] to [c13] may be assigned compression codes that can be distinguished from each other by the identification symbols [c9] to [c13].
  • FIG. 19 shows an example of assignment of compression codes. If a fixed-length code is assigned to an identification symbol, a compression code that can identify five types of identification symbols [c1] to [c5] (or [c9] to [c13]) may be assigned. For example, according to the example of FIG. 19, a 3-bit fixed-length compression code is assigned to each identification symbol.
  • FIG. 19 illustrates “000”, “001”, “010”, “011”, and “100” as five types of compression codes.
  • the fixed-length compression code “000” is commonly assigned to the identification symbol [c1], the identification symbol [c6], and the identification symbol [c9].
  • the fixed length compression code “001” is commonly assigned to the identification symbol [c2], the identification symbol [c7], and the identification symbol [c10].
  • the fixed-length compression code “010” is commonly assigned to the identification symbol [c3], the identification symbol [c8], and the identification symbol [c11].
  • the fixed-length compression code “011” is commonly assigned to the identification symbol [c4] and the identification symbol [c12].
  • the fixed-length compression code “100” is commonly assigned to the identification symbol [c5] and the identification symbol [c13].
  • the identification symbols that are commonly assigned fixed-length codes do not compete with each other for character information to be identified (because the types of parts of speech are different), so even if the compression codes compete with each other, Character information can be acquired without any problem by reference (S706 or S806).
  • the character information “spent” can be obtained by searching for character information in which the compression code of the identification information is “010” in the common character information “send”.
  • the compression code “010” corresponds to both the identification symbol [c3] and the identification symbol [c8], but in the conversion table T1, only the identification symbol [c3] is associated with the common character information “spend”.
  • the identification symbol [c3] is specified.
  • the data size of the trailer information is reduced, and the file size of the entire compressed file F2 is reduced.
  • the common character information that is not registered in the conversion table extracted from the compressed file F2 is a target for turning on the rule change flag.
  • FIG. 20 shows an example of the data structure of the decompression dictionary.
  • the decompression code (character information) is associated with the code length of the compression code, the utilization flag, and the rule change flag.
  • the rule change flag indicates whether or not the associated character information is character information that changes the rule.
  • the character information associated with the rule change flag in the ON state is character information (a verb such as “talk”) that changes grammatically.
  • the character information associated with the rule change flag in the OFF state is character information that changes grammatically irregularly (such as a verb such as “send”) or character information that does not change (such as a general noun). .
  • the rule change flag is set for each piece of character information registered in the conversion table T1, for example, by expanding the conversion table T1.
  • the character information for which the rule change flag is set is specified from the conversion table T1, and the rule change flag in the expansion dictionary D2b is set to ON for the specified character information.
  • the decompressed data generation process shown in FIG. 18 is partially expanded.
  • FIG. 21 shows a processing procedure example of the decompression data generation processing. If it is determined in S804 that the utilization flag is ON (S804: YES), the reading unit 123 reads the compressed code corresponding to the identification symbol (S805). Further, the control unit 121 determines whether or not the rule change flag referred to by referring to the expansion dictionary D2b in S802 is OFF (S811).
  • the process of S806 is performed to refer to the conversion table T1 based on the identification number and the offset value (S806).
  • the process of S807 is subsequently performed.
  • FIG. 22 shows an example of a processing procedure for decompression data generation processing.
  • the rule change flag is ON (S811: NO)
  • the control unit 121 acquires the decompression code (character information) corresponding to the compressed data read in S801 from the decompression dictionary D2b (S813).
  • the process of S813 is performed, the process of S807 is performed subsequently.
  • the control unit 121 acquires the decompression code (character information) corresponding to the compressed data read in S801 from the decompression dictionary D2b (S818). .
  • the process of S818 is performed, the process of S807 is subsequently performed. If it is not the identification symbol [c6] in the determination in S817 (S817: NO), it is determined whether or not the identification symbol corresponding to the compression code read in S805 is [c7] (S819).
  • FIG. 23 shows a processing procedure example of the decompression data generation processing.
  • the control unit 121 acquires the decompression code (character information) corresponding to the compressed data read in S801 from the decompression dictionary D2b (S820). . Subsequently, the control unit 121 determines whether or not the end of the character information acquired in S820 is one of “s”, “sh”, “ch”, “x”, and “o”. (S821). If it is determined in S821 that any of them is applicable (S821: YES), the control unit 121 adds “es” to the character information acquired in S820 (S822). When the process of S822 is performed, the process of S807 is subsequently performed.
  • the controller 121 determines that the end of the character information acquired in S820 is a consonant (“a”, “e”, “i”). , “U” and alphabet other than “o”), it is determined whether or not the word form is followed by “y” (S823). If it is determined in S823 that the word form is “y” followed by “y” (S823: YES), the control unit 121 sets “y” at the end of the character information acquired in S820 to “ies”. Change (S824). When the process of S824 is performed, the process of S807 is performed subsequently.
  • control unit 121 adds “s” to the end of the character information acquired in S820 (S825). .
  • the process of S807 is subsequently performed.
  • FIG. 24 shows a processing procedure example of the decompression data generation processing.
  • the control unit 121 acquires the decompression code (character information) corresponding to the compressed data read in S801 from the decompression dictionary D2b (S826). . Subsequently, the control unit 121 determines whether or not the end of the character information acquired in S826 is “e” (S827). In S827, when it is determined that the end of the character information acquired in S826 is “e” (S827: YES), the control unit 121 adds “d” to the character information acquired in S826 ( S828). When the process of S828 is performed, the process of S807 is subsequently performed.
  • S827 when it is determined that the end of the character information acquired in S826 is not “e” (S827: NO), the control unit 121 indicates that the end of the character information acquired in S826 is “y” as a consonant. Is a subsequent word form (S829).
  • S829 when it is determined that the word form is “y” followed by “y” (S829: YES), the control unit 121 changes “i” at the end of the character information acquired in S826 to “ied”. Change (S830). When the process of S830 is performed, the process of S807 is performed subsequently.
  • control unit 121 adds “ed” to the end of the character information acquired in S826 (S831). .
  • the process of S831 is performed, the process of S807 is performed subsequently.
  • FIG. 25 shows a processing procedure example of the decompression data generation processing. If it is the identification symbol [c4] in the determination of S816 (S816: YES), the control unit 121 acquires the decompression code (character information) corresponding to the compressed data read in S801 from the decompression dictionary D2b (S832). . Subsequently, the control unit 121 determines whether or not the end of the character information acquired in S832 is “e” (S833). In S833, when it is determined that the end of the character information acquired in S832 is “e” (S833: YES), the control unit 121 sets “e” at the end of the character information acquired in S832. ing "(S834). When the process of S834 is performed, the process of S807 is performed subsequently.
  • FIG. 26 shows a processing procedure example of the decompression data generation processing. If it is the identification symbol [c7] in the determination in S819 (S819: YES), the control unit 121 acquires the decompression code (character information) corresponding to the compressed data read in S801 from the decompression dictionary D2b (S836). . Subsequently, the control unit 121 determines whether or not the end of the character information acquired in S836 is “e” (S837). In S837, when it is determined that the end of the character information acquired in S836 is “e” (S837: YES), the control unit 121 adds “r” to the character information acquired in S836 ( S838). When the process of S838 is performed, the process of S807 is subsequently performed.
  • control unit 121 sets the end of the character information acquired in S836 to “y” as a consonant. Is a subsequent word form (S839). If it is determined in S839 that the word form is “y” followed by “y” (S839: YES), the control unit 121 sets “y” at the end of the character information acquired in S836 to “ier”. Change (S840). When the process of S840 is performed, the process of S807 is subsequently performed.
  • control unit 121 adds “er” to the end of the character information acquired in S836 (S841). .
  • the process of S841 is performed, the process of S807 is performed subsequently.
  • FIG. 27 shows a processing procedure example of the decompression data generation processing. If it is not the identification symbol [c7] in the determination of S819 in FIG. 22 (S819: NO), the control unit 121 acquires the decompressed code (character information) corresponding to the compressed data read in S801 from the decompression dictionary D2b ( S842). Subsequently, the control unit 121 determines whether or not the end of the character information acquired in S842 is “e” (S843). In S843, when it is determined that the end of the character information acquired in S842 is “e” (S843: YES), the control unit 121 adds “st” to the character information acquired in S842 ( S844). When the process of S844 is performed, the process of S807 is subsequently performed.
  • control unit 121 adds “est” to the end of the character information acquired in S842 (S847). .
  • the process of S847 is performed, the process of S807 is performed subsequently.
  • FIG. 28 shows a hardware configuration example of the computer 1.
  • the computer 1 includes, for example, a processor 301, a RAM (Random Access Memory) 302, a ROM (Read Only Memory) 303, a drive device 304, a storage medium 305, an input interface (I / F) 306, an input device 307, an output interface (I / F) 308, an output device 309, a communication interface (I / F) 310, a SAN (Storage Area Network) interface (I / F) 311, a bus 312 and the like. Each piece of hardware is connected via a bus 312.
  • a processor 301 includes, for example, a processor 301, a RAM (Random Access Memory) 302, a ROM (Read Only Memory) 303, a drive device 304, a storage medium 305, an input interface (I / F) 306, an input device 307, an output interface (I / F) 308, an output device 309, a communication interface (I / F
  • the RAM 302 is a readable / writable memory device.
  • a semiconductor memory such as SRAM (Static RAM) or DRAM (Dynamic RAM), or a flash memory other than the RAM may be used.
  • the ROM 303 may be a PROM (Programmable ROM).
  • the drive device 304 is a device that performs at least one of reading and writing of information recorded in the storage medium 305.
  • the storage medium 305 stores information written by the drive device 304.
  • the storage medium 305 is a storage medium such as a hard disk, a flash memory such as an SSD (Solid State Drive), a CD (Compact Disc), a DVD (Digital Versatile Disc), or a Blu-ray disc.
  • the computer 1 includes a drive device 304 and a storage medium 305 for each of a plurality of types of storage media.
  • the input interface 306 is connected to the input device 307 and is a circuit that transmits an input signal received from the input device 307 to the processor 301.
  • the output interface 308 is a circuit that is connected to the output device 309 and causes the output device 309 to execute an output in accordance with an instruction from the processor 301.
  • the communication interface 310 is a circuit that controls communication via the network 3.
  • the communication interface 310 is, for example, a network interface card (NIC).
  • the SAN interface 311 is a circuit that controls communication with a storage device connected to the computer 1 via the storage area network 4.
  • the SAN interface 311 is, for example, a host bus adapter (HBA).
  • the input device 307 is a device that transmits an input signal according to an operation.
  • the input signal is, for example, a key device such as a keyboard or a button attached to the main body of the computer 1, or a pointing device such as a mouse or a touch panel.
  • the output device 309 is a device that outputs information according to the control of the computer 1.
  • the output device 309 is, for example, an image output device (display device) such as a display, or an audio output device such as a speaker.
  • an input / output device such as a touch screen is used as the input device 307 and the output device 309.
  • the input device 307 and the output device 309 may be integrated with the computer 1 or may be an apparatus that is not included in the computer 1 and is connected to the computer 1 from outside by wired or wireless.
  • the processor 301 reads a program stored in the ROM 303 or the storage medium 305 to the RAM 302, and performs at least one process of the compression unit 11, the expansion unit 12, the generation unit 13, and the generation unit 14 according to the procedure of the read program. Do. At that time, the RAM 302 is used as a work area of the processor 301.
  • the function of the storage unit 15 is that the ROM 303 and the storage medium 305 store program files (such as an application program 24, middleware 23, and OS 22 described later) and data files (such as a file F1, a compressed file F2, and an expanded file F3). This is realized by being used as a work area of the processor 301.
  • the program read by the processor 301 will be described with reference to FIG.
  • FIG. 29 shows an example of a program configuration that runs on the computer 1.
  • the application program 24 or the middleware 23 is a program in which the processing procedure of the compression function or decompression function of this embodiment is defined.
  • the application program 24 or the middleware 23 is a program in which the compression dictionary generation or decompression dictionary generation processing procedure of the present embodiment is defined.
  • the compression program in which the processing procedure of the compression function is defined and the decompression program in which the processing procedure of the decompression function is defined may be an integrated program or a separate program. Furthermore, the compression dictionary generation program in which the compression dictionary generation procedure is defined may be included in the compression program, or may be a separate program called by the compression program. The decompression dictionary generation program in which the procedure for decompression dictionary generation is defined may be included in the decompression program, or may be a separate program read by the decompression program. Alternatively, as a function of the OS (Operating System) 22, at least one of the compression function and the decompression function of this embodiment may be provided.
  • OS Operating System 22
  • At least one of the above-described compression function and expansion function, at least one of the compression program, the expansion program, the compression dictionary generation program, and the expansion dictionary generation program is stored in a storage medium.
  • the storage medium is read by the drive device 304 and installed, the program stored in the storage medium becomes executable.
  • Each processing procedure defined in the installed program is executed by controlling the hardware group 21 (301 to 312) based on the OS 22.
  • each functional block included in the computer 1 shown in FIG. 3 is provided by the processor 301 executing a compression program or decompression program.
  • Each processing procedure of the compression program is executed by the processor 301, so that the function of each functional block included in the compression unit 11 and the generation unit 13 is provided.
  • the processing procedure of the decompression program is executed by the processor 301, so that the function of each functional block included in the decompression unit 12 and the generation unit 14 is provided.
  • the function of the control unit 111 is that the processor 301 accesses the RAM 302 (allocating a storage area, loads a file, etc.) and manages the processing status (reading position, writing position, etc.) in the register. It is provided by making a match determination with the information held in the file.
  • the function of the reading unit 113 is provided by the processor 301 accessing the RAM 302 according to the processing status in the register.
  • the function of the search unit 112 is provided when the processor 301 accesses the RAM 302 and performs collation determination based on the access result.
  • the function of the writing unit 114 is provided by the processor 301 accessing the RAM 302 according to the processing status in the register.
  • the function of the control unit 121 is that the processor 301 accesses the RAM 302 (allocating a storage area, loads a file, etc.), manages the processing status (reading position, writing position, etc.) in the register, and stores it in the register. It is provided by making a match determination with the held information.
  • the function of the reading unit 123 is provided by the processor 301 accessing the RAM 302 according to the processing status in the register.
  • the function of the search unit 122 is provided when the processor 301 accesses the RAM 302 and performs collation determination based on the access result.
  • the function of the writing unit 124 is provided by the processor 301 accessing the RAM 302 according to the processing status in the register.
  • the functional blocks in the generation unit 13 are executed using the hardware group 21 as follows.
  • the function of the control unit 131 is provided when the processor 301 performs area management of the RAM 302 and accesses the RAM 302, and the processor 301 calls a routine according to the routine processing result.
  • the function of the statistical unit 132 is provided by an access process to the RAM 302 by the processor 301 and an arithmetic process according to the result of the access process.
  • the function of the sorting unit 134 is provided by the processor 301 accessing the RAM 302 and the arithmetic processing according to the access result.
  • the function of the allocating unit 133 is provided when the processor 301 performs arithmetic processing based on access to the RAM 302.
  • the functional blocks in the generation unit 14 are executed using the hardware group 21 as follows.
  • the function of the control unit 141 is provided when the processor 301 performs area management of the RAM 302 and accesses the RAM 302, and the processor 301 calls a routine according to the routine processing result.
  • the function of the duplication unit 143 is provided by access processing to the RAM 302 by the processor 301.
  • the function of the sorting unit 144 is provided by the processor 301 accessing the RAM 302 and the arithmetic processing according to the access result.
  • the function of the allocation unit 142 is provided by the processor 301 performing arithmetic processing based on access to the RAM 302.
  • FIG. 30 shows a system configuration example using the computer 1.
  • the information processing system illustrated in FIG. 30 includes a base station 2, a network 3, a computer 1a, and a computer 1b.
  • the computer 1a is connected to the network 3 connected to the computer 1b by at least one of wireless and wired.
  • the compression unit 11, the decompression unit 12, the generation unit 13, and the generation unit 14 illustrated in FIG. 3 may be included only in the computer 1a, or may be included in both the computer 1a and the computer 1b.
  • the computer 1a may include the compression unit 11 and the generation unit 13, and the computer 1b may include the decompression unit 12 and the generation unit 14.
  • the computer 1b includes the compression unit 11 and the generation unit 13, and the computer 1a
  • the decompression unit 12 and the generation unit 14 may be included.
  • the compressed file F2 generated by the computer 1a is transmitted to the computer 1b by communication via the network 3, and the compressed file F2 is expanded by the computer 1b to generate the expanded file F3.
  • the compressed file F2 may be transmitted to the base station 2 wirelessly and transmitted from the base station 2 to the computer 1b.
  • the compression function and decompression function of the present embodiment an increase in the compression rate is suppressed, so that the amount of compressed data to be communicated is reduced. Thereby, the use of the hardware resources of the system illustrated in FIG. 30 for communication processing is suppressed.
  • FIG. 31 shows a system configuration example using the computer 1.
  • the information processing system illustrated in FIG. 31 includes a computer 1, a network 3, a client device 6, a storage area network (SAN) 4, and a storage device 5.
  • the computer 1 performs information processing in response to a request from the client device 6. Data subject to information processing is compressed and stored in the storage device 5, for example.
  • the computer 1 receives a request from the client device 6, the computer 1 acquires and decompresses the data to be processed that is compressed and stored in the storage device 5.
  • the computer 1 executes the information processing requested from the client device 6 for the decompressed data, further compresses the data after the information processing, and stores it in the storage device 5.
  • the information processing includes, for example, update processing of data stored in the storage device 5, analysis / analysis processing of data stored in the storage device 5, and the like.
  • a compression dictionary or expansion dictionary created once is held, and the compression dictionary or expansion dictionary is stored in the compression dictionary or expansion dictionary. Based on this, a compression process or decompression dictionary may be executed. In that case, the process of S103 in FIG. 4 and the process of S503 in FIG. 11 may simply load the compression dictionary and decompression dictionary that are held.
  • data is decompressed every time an information processing request is received. If the decompression process takes time, the time until response to the request also increases. Since the compression rate is not easily lowered by the compression function of the present embodiment, an increase in the number of I / Os for reading compressed data from the storage apparatus 5 is suppressed. Further, since the number of compression codes does not increase extremely, the number of memory accesses for decompression processing is suppressed. Also, the storage area secured for loading the compressed file F2 can be reduced.
  • “Type of compression code] The number of words classified as necessary up to the level of university liberal arts in English-Japanese dictionaries and the like is about 4000 words. These 4000 words are basic words that are relatively frequently used in document data. Among them, nouns are about 2000 words, adjectives are about 700 words, and verbs are about 800 words. For example, if a compression code is assigned to each of the adjective usage forms, about 2100 types of compression codes are assigned to the adjectives. Further, for example, when a compression code is assigned to each of the verb usage forms, about 3200 to 4000 types of compression codes are assigned to the verb (since there are verbs in which the past tense and the past participle have the same notation, (There are 4-5 types of usage for each verb).
  • a compression dictionary and an expansion dictionary generated by a general Huffman encoding algorithm may be used in the present embodiment.
  • Huffman coding bits are assigned to the decompression dictionary by comparing appearance frequencies of character information to which compression codes are assigned.
  • the data of the clause corresponding to the set of character information whose appearance frequencies are compared is generated.
  • the appearance frequencies of the generated clauses are compared, and bits are sequentially generated. The above procedure is repeated to form tree structure data (Huffman tree). If the character information (leaf data) to be allocated with the compression code is 2 12, data of 2 11 clause is generated by comparing them.
  • the clause data includes a pointer to the upper clause data and a lower pointer (both when the bit is 1 and when the bit is 0). Assuming that each pointer is 2 bytes, the position in the data structure of the 3 ⁇ 2 14th Huffman tree is specified by the pointer.
  • synonyms and synonyms may be set.
  • the character information “center”, “center”, and “middle” are associated with the common character information “center”.
  • the character information “center” is associated with a combination of the common character information “center” and the identification symbol [c1].
  • the character information “center” is associated with a combination of the common character information “center” and the identification symbol [c2].
  • the character information “middle” is associated with a combination of the common character information “center” and the identification symbol [c3].
  • both a word with an initial capital letter and a word with a small initial letter may be set.
  • the conversion table T1 associates the character information “this” and “This” with the common character information “this”, respectively.
  • the character information “this” is associated with a combination of the common character information “this” and the identification symbol [c1].
  • the character information “This” is associated with a combination of the common character information “this” and the identification symbol [c2].
  • the target of the compression process may be a monitoring message output from the system.
  • the monitoring message sequentially stored in the buffer is compressed by the above-described compression processing and stored as a log file.
  • compression may be performed in units of pages in the database, or compression may be performed in units of a plurality of pages.
  • a common compression dictionary may be used for a plurality of monitoring messages, or a common compression dictionary may be used for a plurality of pages.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • Audiology, Speech & Language Pathology (AREA)
  • Health & Medical Sciences (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Document Processing Apparatus (AREA)

Abstract

　一側面によれば、表記ゆれの存在による圧縮率の低下を抑制することを目的とする。　一態様によれば、圧縮装置は、互いに異なる複数の文字情報に対して割り当てられた第１の圧縮符号が、前記複数の文字情報のそれぞれに関連付けられた辞書情報を記憶する記憶部と、前記複数の文字情報のうちの第１の文字情報を取得した場合に、前記第１の文字情報と関連付けられた前記第１の圧縮符号を前記辞書情報から取得する取得部と、取得した前記第１の圧縮符号を、圧縮データを格納する格納領域に書き込む書込部と、を含む。

Description

圧縮装置、圧縮方法、辞書生成装置、辞書生成方法、伸長装置、伸長方法、伸長プログラムおよび情報処理システム
　データの圧縮技術または伸長技術の少なくとも一方に関する。
　ハフマン符号化や算術圧縮などの可変長圧縮符号を用いた圧縮アルゴリズムでは、圧縮符号の割り当て対象の文字情報群に対して、文字情報群に含まれる文字情報ごとに出現頻度などの統計情報に応じた長さの圧縮符号が割り当てられる。ハフマン符号化の圧縮アルゴリズムでは、文字情報群に含まれる文字情報間の出現頻度の大小比較に基づいて圧縮符号の生成が行なわれる。算術圧縮では、文字情報群全体における各文字情報の出現割合に基づいて定められた符号長の圧縮符号が生成される。これらの圧縮アルゴリズムでは、出現頻度が高い文字情報ほど短い圧縮符号が割り当てられることで、短い圧縮符号の使用頻度が高くなるため、圧縮データ全体の圧縮率が向上する。
　ハフマン符号化や算術圧縮などの圧縮アルゴリズムにおける可変長圧縮符号の割り当て対象は、文字や数字などの記号である。また、圧縮符号の割り当て対象を拡長して、記号の組み合わせである単語やタグなどの文字列に対して可変長圧縮符号を割り当てる技術がある。この場合、複数の記号の組み合わせに１つの圧縮符号が割り当てられるので、圧縮率が向上する（例えば、特許文献１参照）。
特開２０１０－９３４１４号公報 特開平０５－２４１７７７号公報
解決しようとする課題
　文書データは、文字や数字などの記号の組み合わせである単語やタグなどの文字列により構成される。文書データ内の各文字列は、それぞれ特定の意味や文法的な機能などの概念と対応するが、共通する概念に対応する文字列同士であっても、互いに記号の組み合わせ（表記）が異なる、いわゆる表記ゆれが存在する。表記ゆれの例として、動詞や形容詞などの活用語の活用や、同義語や類語などが挙げられる。
　単語やタグなどの文字列への可変長圧縮符号の割り当てにおいては、出現頻度が高い文字情報ほど短い圧縮符号が割り当てられる。１つの概念に対して互いに表記が異なる複数の文字列（複数種類の文字列）が対応する表記ゆれが生じると、１つの概念に対して１種類の文字列が対応する表記ゆれがない場合の文字列の出現頻度よりも、複数種類の文字列それぞれの出現頻度が低くなってしまう。そのため、複数種類の文字列それぞれに割り当てられる圧縮符号が長くなり、圧縮率が低下する要因となる。
　本発明の一側面によれば、表記ゆれの存在による圧縮率の低下を抑制することを目的とする。
　一態様によれば、圧縮装置は、互いに異なる複数の文字情報に対して割り当てられた第１の圧縮符号が、前記複数の文字情報のそれぞれに関連付けられた辞書情報を記憶する記憶部と、前記複数の文字情報のうちの第１の文字情報を取得した場合に、前記第１の文字情報と関連付けられた前記第１の圧縮符号を前記辞書情報から取得する取得部と、取得した前記第１の圧縮符号を、圧縮データを格納する格納領域に書き込む書込部と、を含む。
　一態様によれば、伸長装置は、互いに異なる複数の文字情報に対して共通して割り当てられた第１の圧縮符号と、前記複数の文字情報に対応する第１の文字情報とを関連付けた辞書情報を記憶する記憶部と、前記第１の圧縮符号を圧縮データから取得した場合に、前記辞書情報において前記第１の圧縮符号に関連付けられた前記第１の文字情報を前記辞書情報から取得する取得部と、取得した前記第１の文字情報を前記圧縮データの伸長結果を格納する格納領域に書き込む書込部と、を含む。
　一態様によれば、情報処理システムは、圧縮データが記憶された記憶装置と、前記圧縮データに対する処理要求に応じた処理を実行する処理装置を含む情報処理システムであって、前記処理装置は、互いに異なる複数の文字情報に対して割り当てられた第１の圧縮符号を、前記複数の文字情報のそれぞれに関連付けた辞書情報を記憶する記憶部と、前記処理要求に応じて、前記記憶装置から前記圧縮データを読み出す読出部と、前記第１の圧縮符号を前記圧縮データから取得した場合に、前記辞書情報において前記第１の圧縮符号に関連付けられた第１の文字情報を前記辞書情報から取得する第１の取得部と、取得した前記第１の文字情報を前記圧縮データの伸長結果を格納する第１の格納領域に書き込む第１の書込部と、前記第１の格納領域に格納された伸長結果に対して前記処理要求に応じた処理を実行する処理部と、前記処理要求に応じた処理が行なわれたデータから前記第１の文字情報を取得した場合に、前記辞書情報により前記第１の文字情報と関連付けられた前記第１の圧縮符号を取得する第２の取得部と、取得した前記第１の圧縮符号を第２の格納領域に書き込む第２の書込部と、前記第２の領域に書き込まれたデータを前記記憶装置に格納する格納部と、を含む。
　一態様によれば、辞書生成装置は、互いに異なる複数の文字情報に対応する１種類の共通文字情報に対して圧縮符号の割り当て処理を行なう割当部と、前記互いに異なる複数の文字情報のそれぞれに、前記共通文字情報に割り当てられた第１の圧縮符号を関連付けた辞書情報を生成する生成部と、を含む。
　一態様によれば、辞書生成装置は、互いに異なる複数の文字情報に対して共通して割り当てられた第１の圧縮符号と、前記複数種類の文字情報に対応する第１の文字情報と、を関連付ける辞書情報を生成する生成部を含む。
　一側面によれば、表記ゆれの存在による圧縮率の低下を抑制することができる。
図１は、圧縮処理および伸長処理の概要を示す。 図２は、圧縮符号への変換例を示す。 図３は、機能ブロックの構成例を示す。 図４は、圧縮機能の処理手順例を示す。 図５は、圧縮辞書生成の処理手順例を示す。 図６は、頻度集計処理の処理手順例を示す。 図７は、変換テーブルＴ１の例を示す。 図８は、統計テーブルＴ２の例を示す。 図９は、圧縮辞書Ｄ１のデータ構造例を示す。 図１０は、圧縮データ生成処理の処理手順例を示す。 図１１は、伸長機能の処理手順例を示す。 図１２は、伸長辞書生成の処理手順例を示す。 図１３は、伸長辞書Ｄ２のデータ構造例を示す。 図１４は、伸長データ生成処理の処理手順例を示す。 図１５は、圧縮符号への変換例を示す。 図１６は、圧縮辞書のデータ構造例を示す。 図１７は、伸長辞書のデータ構造例を示す。 図１８は、伸長データ生成処理の処理手順例を示す。 図１９は、圧縮符号の割り当て例を示す。 図２０は、伸長辞書のデータ構造例を示す。 図２１は、伸長データ生成処理の処理手順例を示す。 図２２は、伸長データ生成処理の処理手順例を示す。 図２３は、伸長データ生成処理の処理手順例を示す。 図２４は、伸長データ生成処理の処理手順例を示す。 図２５は、伸長データ生成処理の処理手順例を示す。 図２６は、伸長データ生成処理の処理手順例を示す。 図２７は、伸長データ生成処理の処理手順例を示す。 図２８は、コンピュータ１のハードウェア構成例を示す。 図２９は、コンピュータ１で動作するプログラム構成例を示す。 図３０は、コンピュータ１を用いたシステム構成例を示す。 図３１は、コンピュータ１を用いたシステム構成例を示す。
　［圧縮処理および伸長処理の流れ］
　図１は、圧縮処理および伸長処理の概要を示す。圧縮ファイルＦ２の生成は、ファイルＦ１と変換テーブルＴ１とに基づいて行なわれる。変換テーブルＴ１は、共通の概念に対応する複数種類の文字情報のそれぞれと、その複数種類の文字情報で共通する概念を示す共通文字情報とを対応づける。例えば、変換テーブルＴ１は、前述の複数種類の文字情報（互いに異なる複数の文字情報）のそれぞれに対し、複数種類の文字情報同士を識別する識別記号をさらに対応付けてもよい。
　圧縮符号を割り当てる対象の文字情報群それぞれについて、ファイルＦ１における頻度集計Ｈ１が、変換テーブルＴ１に基づいて行なわれる。頻度集計Ｈ１の処理において、変換テーブルＴ１に共通文字情報と対応づけられた文字情報は、共通文字情報としてカウントされる。また、頻度集計Ｈ１の処理において、識別記号と対応付けられた文字情報は、共通文字情報および識別記号の双方でカウントされてもよい。頻度集計Ｈ１の処理の集計結果は、頻度テーブルＴ２に格納される。
　また、例えば、頻度集計Ｈ１の処理は、ファイルＦ１の代わりに、ファイルＦ１と共通の文字情報を多く含むことが見込まれるファイル（例えば、版数の異なる書籍など）に基づいて行なわれてもよい。また、頻度集計Ｈ１は、例えば、ファイルＦ１を含む複数のファイル（あるファイルを分割して得られる分割ファイル群（ファイルＦ１を含む）など）に基づいて行なわれてもよい。
　頻度テーブルＴ２に格納された文字情報群（共通文字情報を含む、または共通文字情報と識別記号との双方を含む）に対して、それぞれの出現頻度に基づいて符号割当てＨ２の処理が行なわれる。例えば、ハフマン符号化のアルゴリズムによれば、文字情報同士での出現頻度の比較により各文字情報に対して圧縮符号が割り当てられる。また、例えば、算術圧縮によれば、圧縮符号を割り当てる対象の文字情報群全体における各文字情報の出現割合に応じて符号長が設定され、設定された符号長の圧縮符号が各文字情報に割り当てられる。圧縮辞書Ｄ１には、文字情報群（共通文字情報を含む、または共通文字情報と識別記号との双方を含む）それぞれについて、割り当てられた圧縮符号との対応関係が示されている。圧縮処理Ｈ３では、ファイルＦ１に含まれる文字情報と対応する圧縮符号が圧縮辞書Ｄ１から順次取得される。圧縮ファイルＦ２は、順次取得された圧縮符号による圧縮符号列（圧縮データ）、変換テーブルＴ１および頻度テーブルＴ２を含む。
　上述の処理では、頻度集計Ｈ１の処理で、共通の概念に対応する複数種類の文字情報が共通文字情報に集約されるため、符号割当てＨ２において、圧縮符号を割り当てる対象の文字情報の種類が少なくなる。そのため、表記ゆれによる出現頻度低下が抑えられ、文字情報に割り当てられる圧縮符号の符号長が短く抑えられるので、表記ゆれを要因とする圧縮率の低下が抑制される。また、圧縮符号を割り当てる対象の文字情報の種類が少なくなることで、符号割当てＨ２の処理量が低減する。さらに、複数種類の文字情報のいずれについても圧縮符号が割り当てられるため、圧縮符号が割り当てられないことにより予期せずに圧縮率が低下することも抑制される。
　また、頻度テーブルＴ２に格納された共通文字情報の出現頻度の情報は、そのままテキストマイニングに活用可能である。圧縮データを伸長しなくても、文書データ内にどのような概念がどの程度の頻度で示されているかなどの情報を頻度テーブルＴ２から抽出可能である。
　伸長ファイルＦ３の生成は、圧縮ファイルＦ２に基づいて行なわれる。圧縮ファイルＦ２には、上述の通り、圧縮データ、変換テーブルＴ１および頻度テーブルＴ２が含まれる。圧縮ファイルＦ２から取り出された頻度テーブルＴ２に格納された文字情報群（共通文字情報を含む、または共通文字情報と識別記号との双方を含む）それぞれに対し、頻度テーブルＴ２で対応付けられた出現頻度に基づいて、符号割当てＨ４の処理が行なわれる。符号割当てＨ４の処理は、符号割当てＨ２の処理と同じアルゴリズムに基づいて行なわれる。伸長辞書Ｄ２は、圧縮符号と、圧縮符号が割り当てられた文字情報との対応関係を示す。伸長処理Ｈ５では、圧縮ファイルＦ２から取り出した圧縮符号に対応する文字情報が伸長辞書Ｄ２から取得される。伸長処理Ｈ５において、共通文字情報に対応する圧縮符号が圧縮ファイルＦ２から得られた場合には、圧縮符号に対応する共通文字情報が伸長辞書Ｄ２から取得される。また、識別記号に対応付けられた圧縮符号が用いられる場合には、伸長辞書Ｄ２は、共通文字情報の代わりに、圧縮ファイルＦ２から取り出した変換テーブルＴ１内の共通文字情報の格納位置（オフセット値）を含む。伸長処理Ｈ５において伸長辞書Ｄ２からオフセット値が得られた場合には、元の文字情報がオフセット値および識別記号に基づいて取得される。伸長ファイルＦ３は、伸長処理Ｈ５により得られた文字情報による文字情報列を含む。
　圧縮ファイルＦ２に含まれる頻度テーブルＴ２においても、共通の概念に対応する複数種類の文字情報が共通文字情報に集約されているので、符号割当てＨ４において、圧縮符号を割り当てる対象の文字情報の種類が少なく抑えられる。
　ファイルＦ１と伸長ファイルＦ３とが同一のデータであれば、圧縮処理Ｈ３および伸長処理Ｈ５は、可逆の圧縮伸長処理である。ファイルＦ１と伸長ファイルＦ３とが同一のデータでなければ、圧縮処理Ｈ３および伸長処理Ｈ５は、非可逆の圧縮伸長処理である。すなわち、共通の概念に対応する複数種類の文字情報同士が変換テーブルＴ１において識別記号により識別されると、伸長時に識別記号に基づいて圧縮前の文字情報を変換テーブルＴ１において特定可能となるため、可逆の圧縮伸長処理が行なわれる。
　［表記ゆれと文字情報の出現頻度］
　表記ゆれの一例として、文書データ内に同義語が存在しうる。例えば、英語では英国英語と米国英語で表記が異なる単語が存在する（例えば「ｐａｖｅｍｅｎｔ」と「ｓｉｄｅｗａｌｋ」など）し、そもそも複数通りに表記が認められた単語も存在する（例えば「ｃｅｎｔｅｒ」と「ｃｅｎｔｒｅ」など）。また、例えば、日本語では外国語を日本語表記に置き換える際に複数通りの表記が認められている（例えば「インターフェース」と「インタフェース」など）。さらに、各言語においては、同義語と同様に、類義語が存在しうる（例えば「ｃｅｎｔｅｒ」と「ｍｉｄｄｌｅ」など）。これらの同義語や類義語は概念が共通するので、共通文字情報に集約されることにより、表記ゆれによる出現頻度低下が抑えられる。これにより、文字情報に割り当てられる圧縮符号の符号長が短く抑えられるので、表記ゆれを要因とする圧縮率の低下が抑制される。また、圧縮符号の割り当て対象の文字情報が共通文字情報に集約されるので可変長圧縮符号割り当ての処理量が低減される。さらに、文字列に圧縮符号が割り当てられないことによる予期せぬ圧縮率低下が抑制される。
　また、英語などの言語においては、文頭の単語の頭文字は大文字表記される。頭文字が小文字表記の単語のみを圧縮符号の割り当て対象とすると、文書データ中の文頭の単語は圧縮符号に置き換えられないので、圧縮率が向上しない要因となる。一方、頭文字が大文字表記の単語と、小文字表記の単語との双方に圧縮符号を個別に割り当てると、圧縮符号を割り当てる対象の文字情報の種類が倍になるので、圧縮符号の割り当て処理の処理量が増大する。この表記ゆれに対しても、頭文字が大文字表記の単語と小文字表記の単語との双方に対応する共通文字情報と、頭文字が大文字か小文字かを示す識別記号と、を用いることにより、圧縮率低下の抑制および圧縮符号割り当ての処理量抑制の効果が得られる。
　また、特定の言語（例えば、英語、ドイツ語及び日本語など）においては、活用語が存在する。活用語とは、文法上の制約に応じて語形が変化する単語であり、例えば英語においては動詞、形容詞および副詞などである。活用語が存在する言語で記述された文書データでは、文法上の制約に応じた語形変化により異なる文字列で示される単語が存在する。例えば、英語においては、１種類の動詞について、原形、三人称単数現在形、過去形、過去分詞および現在分詞の５種類の活用形が存在する。これらは、共通の概念に対応するものの表記が異なる。そこで、例えば、活用形で表現された単語を活用語の概念に対応する共通文字情報（例えば動詞の原形）に集約して圧縮処理が行われることにより、圧縮率低下の抑制および圧縮符号割り当ての処理量抑制の効果が得られる。また、活用形を示す識別記号（例えば過去形を示す）を併用することにより、伸長時に元の活用形に戻すことができる。
　文字情報の出現頻度は文書データによって異なる。そのため、出現頻度は、文字情報ごとに異なる。しかし、同義語や類語、または文頭の単語の頭文字の表記ゆれと異なり、活用語については、共通する概念に対応する複数種類の文字情報は、出現頻度の傾向が類似する。活用語で互いに異なる活用形の文字情報同士は、文書内で併用されることがある。例えば、「ｓｅａｒｃｈ　ｄａｔａ　ｆｏｒ　・・・」などを含む文のあとに、「ｔｈｅ　ｓｅａｒｃｈｅｄ　ｄａｔａ　ｉｓ　・・・」などの文が続くことがある。共通文字情報に集約される文字情報同士で出現頻度の傾向が類似するので、文字情報そのものの出現頻度と整合しない符号長の圧縮符号が割り当てることが少なくなる。
　また、例えば、動詞に関しては原形と過去形の出現頻度が高い一方で過去分詞の出現頻度は低いなどの、動詞全体において共通する傾向が存在する。活用形を示す識別記号に対しても出現頻度に基づいて圧縮符号が割り当てられることで、出現頻度が高い活用形には短い圧縮符号が割り当てられ、出現頻度が低い活用形には長い圧縮符号が割り当てられる。異なる活用形の単語同士で出現頻度に差がある場合でも、識別記号に割り当てられた圧縮符号により、符号長が調整される。
　また、活用形を示す識別記号が用いられないと非可逆圧縮となるが、非可逆圧縮により得られた圧縮データは、例えばテキストマイニングなどの用途に用いられる。非可逆圧縮された圧縮データが伸長された場合には、動詞に関して活用形の情報が失われる。その一方で、圧縮データに基づいて、「ｌｉｋｅ」や「ｈａｔｅ」などの動詞の使用頻度や、それらの動詞と共起するキーワードの抽出などの分析は、非可逆圧縮された圧縮データに基づいて実行可能である。
　［圧縮符号への変換］
　図２は、圧縮符号への変換例を示す。図１には、「Ｈｅ　ｓｐｅｎｔ　ｍｕｃｈ　ｔｉｍｅ　ｆｏｒ　ｔａｌｋｉｎｇ　ａｂｏｕｔ　ｈｉｓ　ｉｎｖｅｎｔｉｏｎ．」という英語例文が示される。単語や文字などの文字情報に対して割り当てられた圧縮符号を用いて、図１に示す英語例文の一部を変換した場合の例（１）～（６）が図２に示される。例（１）～（３）は、「ｔａｌｋｉｎｇ」という文字情報に対応する圧縮符号の例である。また、例（４）～（６）は、「ｓｐｅｎｔ」という文字情報に対応する圧縮符号の例である。「ｔａｌｋｉｎｇ」および「ｓｐｅｎｔ」は、いずれも動詞の活用形である。
　単語に対して圧縮符号を割り当てる割り当て方法の一つとして、動詞については原形のみに対して圧縮符号を割り当てる方法がある。例えば、「ｔａｌｋ」や「ｓｐｅｎｄ」などの動詞に対して、それぞれ圧縮符号ｃ（ｔａｌｋ）や圧縮符号ｃ（ｓｐｅｎｄ）が割り当てられる。以下、圧縮符号は「ｃ（）」と示される。圧縮符号を「ｃ（）」と示す場合には、丸括弧内に圧縮符号に対応する文字情報が示される。その場合は、「ｔａｌｋｉｎｇ」のうち、圧縮符号は原形の「ｔａｌｋ」にしか割り当てられていないので、「ｉｎｇ」については、例えば、圧縮符号ｃ（ｉ）、圧縮符号ｃ（ｎ）および圧縮符号ｃ（ｇ）を組み合わせて表現される。すなわち例（１）に示される通り、「ｔａｌｋｉｎｇ」は、圧縮符号列ｃ（ｔａｌｋ）ｃ（ｉ）ｃ（ｎ）ｃ（ｇ）に変換される。また、「ｓｐｅｎｔ」は圧縮符号が割り当てられた「ｓｐｅｎｄ」を含む文字列でないため、圧縮符号ｃ（ｓｐｅｎｄ）が用いられない。そのため、例えば、例（４）に示されるように、「ｓｐｅｎｔ」は、圧縮符号列ｃ（ｓ）ｃ（ｐ）ｃ（ｅ）ｃ（ｎ）ｃ（ｔ）に変換される。
　「ｔａｌｋ」、「ｔａｌｋｅｄ」および「ｔａｌｋｉｎｇ」などの同じ動詞の活用形については、共通する意味を有しているものの文法上の制約により異なる表記で示される文字情報群である。その文字情報群の中の１つに圧縮符号を割り当てたとしても、他の文字情報を圧縮符号に変換する場合には、その一部または全部に対して文字単位の圧縮符号が行なわれることとなってしまう。そのため、単語単位の文字情報を複数の圧縮符号に変換することとなり、圧縮率向上の阻害要因になりうる。
　また、単語に対して圧縮符号を割り当てる割り当て方法の一つとして、各動詞の各活用形に対して圧縮符号を割り当てる方法がある。例えば、「ｔａｌｋ」という動詞に関しては「ｔａｌｋ」、「ｔａｌｋｉｎｇ」および「ｔａｌｋｅｄ」などに対して、圧縮符号ｃ（ｔａｌｋ）、ｃ（ｔａｌｋｉｎｇ）および（ｔａｌｋｅｄ）などがそれぞれ対応づけられる。また、例えば、「ｓｐｅｎｄ」という動詞に関しても、「ｓｐｅｎｄ」、「ｓｐｅｎｄｉｎｇ」および「ｓｐｅｎｔ」などに対して圧縮符号ｃ（ｓｐｅｎｄ）、ｃ（ｓｐｅｎｄｉｎｇ）および（ｓｐｅｎｔ）などがそれぞれ対応づけられる。その場合には、図２に示す英語例文中の「ｔａｌｋｉｎｇ」は、例（２）に示す通り、圧縮符号ｃ（ｔａｌｋｉｎｇ）に変換される。また、英語例文中の「ｓｐｅｎｔ」も、例（５）に示す通り、圧縮符号ｃ（ｓｐｅｎｔ）に変換される。
　例（２）および例（５）によれば、各動詞自体の意味が１つであるのに対し、語形変化により例えば５種類の活用形（原形、三人称単数現在形、過去形、過去分詞および現在分詞）それぞれに対応する圧縮符号が存在することになる。そのため、圧縮符号の種類が増大してしまう。圧縮符号の種類が多いほど、圧縮辞書や伸長辞書のサイズは増大し、また、各文字列に対して割り当てる圧縮符号を生成する処理の処理量が増大する。そのため、圧縮符号の種類が多くなることにより、圧縮速度や伸長速度が遅くなってしまう。圧縮符号の割り当て処理量や圧縮辞書データ構造と、圧縮符号の種類の数との関係についてさらに後述される。
　そこで、例えば、圧縮符号の割り当て方法の一つとして、共通の意味を有する複数種類の文字情報のいずれについても、その複数種類の文字情報で共通する意味を示す共通文字情報に対して割り当てた圧縮符号に変換する方法がある。例えば、「ｔａｌｋ」、「ｔａｌｋｉｎｇ」および「ｔａｌｋｅｄ」などについては、共通する意味を示す「ｔａｌｋ」に割り当てられた圧縮符号ｃ（ｔａｌｋ）に変換される。同様に、例えば、「ｓｐｅｎｔ」などの文字情報についても圧縮符号ｃ（ｓｐｅｎｄ）に変換される。共通文字情報に対して割り当てられた圧縮符号を用いて文字情報を圧縮すると、圧縮されたデータを伸長して得られる伸長データは、前述の複数種類の文字情報で共通する意味を示す。その一方で、共通の圧縮符号が割り当てられているため、伸長データは、同一表記となってしまう。共通文字情報に対して割り当てられた圧縮符号が用いられると、圧縮されたデータを伸長した場合に共通の意味だけが再現されることとなり、上述の方法は、非可逆圧縮として用いられる。
　さらに、上述の非可逆圧縮に加えて、例えば、共通の意味を有する複数の文字情報同士を識別する識別記号が用いられる。例えば、共通の「ｔａｌｋ」という意味を有する文字情報「ｔａｌｋｉｎｇ」および「ｔａｌｋｅｄ」などが、それぞれ識別記号［－ｉｎｇ］および［－ｅｄ］などで識別される。以下、角括弧［］により識別記号が示される。例えば、識別記号［－ｉｎｇ］は、単語が現在進行形であるという文法上の機能を示す。また、例えば、識別記号［－ｅｄ］は、単語が過去形であるという文法上の機能を示す。
　例えば、例（３）に示す通り、圧縮符号ｃ（ｔａｌｋ）および圧縮符号ｃ（［－ｉｎｇ］）の双方を用いることにより、文字情報「ｔａｌｋｉｎｇ」に対応する圧縮データが生成される。この圧縮データが伸長された場合に、伸長データに文字情報「ｔａｌｋ」の現在進行形が存在すると判断できるので、文字情報「ｔａｌｋｉｎｇ」が復元される。また、例えば、例（６）に示す通り、圧縮符号ｃ（ｓｐｅｎｄ）および圧縮符号ｃ（［－ｅｄ］）の双方を用いることにより、文字情報「ｓｐｅｎｔ」に対応する圧縮データが生成される。この圧縮データが伸長された場合に、伸長データに文字情報「ｓｐｅｎｔ」の過去形が存在すると判断できるので、文字情報「ｓｐｅｎｔ」が復元される。共通文字情報に対して割り当てられた圧縮符号と、識別記号に対して割り当てられた圧縮符号とが組み合わせて用いられることで、文字情報が復元されるため、可逆圧縮として用いられる。
　例（３）や例（６）を用いて示した圧縮方法によれば、文法上の制約により表記が変化したいずれの単語についても２つの圧縮符号で表現される。そのため、例（１）や例（４）のように、圧縮符号が割り当てられた単語と同じ概念に対応するにも関わらず表記が異なることにより、圧縮符号の種類が増大するという事態が回避される。また、識別記号は、複数種類の動詞に対して共通して用いることができる。そのため、圧縮符号の種類は、共通の概念に対応する文字情報の数程度増加する。例えば、８００種類の動詞に対して、例（２）や例（５）のごとく圧縮符号を割り当てると、圧縮符号の種類は、８００種類の数倍に跳ね上がってしまう。その一方で、文法上の機能の種類として、例えば、原形、三人称単数現在形、過去形、過去分詞および現在分詞の５種類を識別させる場合には、動詞に関しては圧縮符号の種類の数は５種類しか増加しない。例（３）や例（６）に示す圧縮符号の割り当てを行なうことにより、圧縮符号の種類の数をほぼ増大させず、例（１）や例（４）に示す事態を生じにくくなる。
　［本実施形態の構成および手順］
　図３は、機能ブロックの構成例を示す。コンピュータ１は、圧縮部１１、伸長部１２、生成部１３、生成部１４および記憶部１５を含む。記憶部１５は、例えば、圧縮対象のファイルＦ１、圧縮ファイルＦ２、伸長ファイルＦ３、圧縮辞書Ｄ１や伸長辞書Ｄ２などを記憶する。また、記憶部１５は、例えば圧縮辞書Ｄ１や伸長辞書Ｄ１の生成に用いられる単語リストＬ１を記憶する。単語リストＬ１は、圧縮符号を割り当てる対象の文字情報群のリストである。また、記憶部１５は、変換テーブルＴ１を記憶する。また、記憶部１５は、記憶領域Ａ１、Ａ２、Ａ３およびＡ４などの記憶領域を設け、圧縮部１１、伸長部１２、生成部１３および生成部１４の処理のワークエリアとして用いられる。圧縮部１１は、記憶部１５に記憶されたファイルＦ１の圧縮処理を実行し、圧縮ファイルＦ２を生成する。伸長部１２は、記憶部１５に記憶された圧縮ファイルＦ２の伸長処理を実行し、伸長ファイルＦ３を生成する。生成部１３は、圧縮部１１の圧縮処理で用いられる圧縮辞書Ｄ１を生成する。生成部１４は、伸長部１２の伸長処理で用いられる伸長辞書Ｄ２を生成する。
　圧縮部１１は、制御部１１１、検索部１１２、読出部１１３および書込部１１４を含む。制御部１１１は、検索部１１２、読出部１１３および書込部１１４の制御により、ファイルＦ１の圧縮処理を実行する。制御部１１１は、ファイルＦ１を記憶領域Ａ１にロードする。読出部１１３は、記憶領域Ａ１内のファイルＦ１からデータを読み出す。検索部１１２は、読出部１１３が読み出したデータについて、圧縮辞書Ｄ１の検索を行なう。書込部１１４は、検索部１１２の検索結果に応じた圧縮符号を記憶領域Ａ２に書き込む。制御部１１１は、読出部１１３の読出し位置や、書込部１１４の書込み位置などの管理を行ない、例えば、読出部１１３や書込部１１４に、ファイルＦ１に含まれる文字コード列に対して順次処理を実行させる。また、制御部１１１は、記憶領域Ａ２に格納された圧縮データに基づいて圧縮ファイルＦ２を生成し、記憶部１５に圧縮ファイルＦ２を格納する。
　伸長部１２は、制御部１２１、検索部１２２、読出部１２３および書込部１２４を含む。制御部１２１は、検索部１２２、読出部１２３および書込部１２４の制御により、圧縮ファイルＦ２の伸長処理を実行する。制御部１２１は、圧縮ファイルＦ２を記憶領域Ａ３にロードする。読出部１２３は、記憶領域Ａ３内の圧縮ファイルＦ２から圧縮符号を読み出す。検索部１２２は、読出部１２３が読み出した圧縮符号について、伸長辞書Ｄ２の検索を行なう。検索部１２２は、伸長辞書Ｄ２から取得した伸長コードが文字情報であるか変換テーブルＴ１におけるオフセット値であるか判定し、オフセット値である場合にはオフセット値に基づいて文字情報を取得する。書込部１２４は、検索部１２２により取得された文字情報を記憶領域Ａ４に書き込む。制御部１２１は、読出部１２３の読出し位置や、書込部１２４の書込み位置などの管理を行ない、例えば、読出部１２３や書込部１２４に、圧縮ファイルＦ２に含まれる圧縮符号に対して順次処理を実行させる。また、制御部１２１は、記憶領域Ａ４に格納された文字情報列（伸長データ）に基づいて伸長ファイルＦ３を生成し、記憶部１５に伸長ファイルＦ３を格納する。
　生成部１３は、制御部１３１、統計部１３２、割当部１３３およびソート部１３４を含む。生成部１３は、圧縮部１１からの指示に応じて、圧縮辞書Ｄ１を生成する。制御部１３１は、統計部１３２、割当部１３３およびソート部１３４の制御により、ファイルＦ１の圧縮に用いられる圧縮辞書Ｄ１を生成する。統計部１３２は、ファイルＦ１内に含まれる文字や単語などの文字情報ごとに出現回数をカウントして、各文字情報の出現頻度を示す頻度テーブルＴ２生成する。ソート部１３４は、統計部１３２が生成した出現頻度に基づいて、頻度テーブルＴ２内の各文字情報をソートする。割当部１３３は、統計部１３２が生成した出現頻度に基づいて、各文字情報に対応する圧縮符号を生成し、生成した圧縮符号を各文字情報に割り当てる。ソート部１３４は、さらに、文字情報および圧縮符号の組み合わせである各組を、各文字情報に対応する文字コードの順序（例えば文字コードの値が小さい順）でソートする。制御部１３１は、統計部１３２、割当部１３３およびソート部１３４による処理結果に基づいて圧縮辞書Ｄ１を生成し、記憶部１５に圧縮辞書Ｄ１を格納する。また、制御部１３１は、統計部１３２が生成した頻度テーブルＴ２を記憶部１５に格納する。
　生成部１４は、制御部１４１、割当部１４２、複製部１４３およびソート部１４４を含む。生成部１４は、伸長部１２からの指示に応じて、伸長辞書Ｄ２を生成する。制御部１４１は、割当部１４２、複製部１４３およびソート部１４４を制御し、圧縮ファイルＦ２の伸長に用いられる伸長辞書Ｄ２を生成する。割当部１４２は、頻度テーブルＴ２を用いて、頻度テーブルＴ２内の各文字情報に対応する圧縮符号を生成する。ソート部１４４は、圧縮符号が割り当てられた各文字情報を、圧縮符号の値に応じてソートする。複製部１４３は、ソートされた各圧縮符号の符号長に応じて、圧縮符号に対応する文字や単語を示す文字コードを複製する。制御部１４１は、複製部１４３により複製された文字コードを、割当部１４２により生成された圧縮符号に対応したオフセット位置に配置することにより、伸長辞書Ｄ２を生成する。制御部１４１は、さらに記憶部１５に伸長辞書Ｄ２を格納する。
　圧縮部１１および生成部１３によりファイルＦ１の圧縮が行なわれる。圧縮の処理手順は、図４、図５、図６および図１０に示される。また、伸長部１２および生成部１４により圧縮ファイルＦ２の伸長が行なわれる。伸長の処理手順は、図１１、図１２および図１４に示される。
　図４は、圧縮機能の処理手順例を示す。圧縮機能が呼び出されると、制御部１１１は、圧縮処理の前処理を実行する（Ｓ１０１）。圧縮機能の呼出しは、圧縮対象のファイルＦ１の指定を含む。Ｓ１０１の前処理においては、制御部１１１は、記憶領域Ａ１および記憶領域Ａ２を確保し、単語リストＬ１および変換テーブルＴ１を記憶部１５からロードし、頻度テーブルＴ２および圧縮辞書Ｄ１の格納領域を確保する。
　Ｓ１０１の処理が終了すると、制御部１１１は、記憶領域Ａ１にファイルＦ１をロードする（Ｓ１０２）。ファイルＦ１のサイズが所定のサイズよりも大きい場合には、制御部１１１は、ファイルＦ１をブロック分割し、分割して得られたブロックごとに以下の圧縮処理を行なう。続いて、制御部１１１は、生成部１３に圧縮辞書Ｄ１の生成指示を行なう（Ｓ１０３）。
　図５は、圧縮辞書生成の処理手順例を示す。制御部１１１から圧縮辞書の生成指示を受けると、制御部１３１は、統計部１３２にファイルＦ１に含まれる文字情報の頻度集計処理を実行させる（Ｓ２０１）。
　図６は、頻度集計処理の処理手順例を示す。制御部１３１により頻度集計処理の指示を受けると、統計部１３２は、記憶領域Ａ１にロードされたファイルＦ１について頻度集計処理を開始する。頻度集計処理の開始時において、読出し位置は記憶領域Ａ１にロードされたファイルＦ１の先頭を示す。まず、統計部１３２は、記憶部１５からロードされた単語リストＬ１と変換テーブルＴ１とに基づいて、各文字情報の出現頻度を格納するための頻度テーブルＴ２を生成する（Ｓ３０１）。具体的には、統計部１３２は、Ｓ１０１の処理で確保された記憶領域内に、頻度集計を行なう対象の文字情報を順次登録する。
　図７は、変換テーブルの例を示す。変換テーブルＴ１は、文字情報に対し、共通文字情報および識別記号の組を対応付ける。共通文字情報は、複数種類の共通の概念に対応する文字情報のそれぞれにおいて共通の概念を示す。識別記号は、それぞれの文字情報を識別する。例えば、「ｔａｌｋ」、「ｔａｌｋｓ」、「ｔａｌｋｅｄ」および「ｔａｌｋｉｎｇ」という文字情報のそれぞれは、「ｔａｌｋ」という共通の概念に対応する文字情報である。変換テーブルＴ１においては、「ｔａｌｋ」、「ｔａｌｋｓ」、「ｔａｌｋｅｄ」および「ｔａｌｋｉｎｇ」という文字情報のそれぞれに対し、「ｔａｌｋ」という共通の概念を示す文字情報（共通文字情報）が対応付けられる。また、変換テーブルＴ１においては、「ｔａｌｋ」、「ｔａｌｋｓ」、「ｔａｌｋｅｄ」および「ｔａｌｋｉｎｇ」という文字情報のそれぞれを識別するために、識別記号［ｃ１］、［ｃ２］、［ｃ３］および［ｃ４］がさらに対応付けられる。識別記号［ｃ１］は、動詞の原形であることを示す識別記号である。また、識別記号［ｃ２］は、動詞の三人称単数形であることを示す識別記号である。また、識別記号［ｃ３］は、動詞の過去形であることを示す識別記号である。また、識別記号［ｃ４］は、動詞の現在分詞であることを示す識別記号である。変換テーブルＴ１の左側の値は、変換テーブルＴ１において、各文字情報に関する情報が格納されるオフセット位置を示す。識別記号［ｃ１］、［ｃ２］、［ｃ３］および［ｃ４］として、ファイルＦ１に使用される文字コード系における空きコードが用いられる。その他の識別記号についても同様に空きコードが用いられる。
　「ｓｐｅｎｄ」、「ｓｐｅｎｄｓ」、「ｓｐｅｎｔ」および「ｓｐｅｎｄｉｎｇ」という文字情報に対しても、共通の概念を示す「ｓｐｅｎｄ」という共通文字情報が対応付けられる。また、「ｓｐｅｎｄ」、「ｓｐｅｎｄｓ」、「ｓｐｅｎｔ」および「ｓｐｅｎｄｉｎｇ」のそれぞれに対しては、「ｔａｌｋ」、「ｔａｌｋｓ」、「ｔａｌｋｅｄ」および「ｔａｌｋｉｎｇ」と同様に識別記号［ｃ１］、識別記号［ｃ２］、識別記号［ｃ３］および識別記号［ｃ４］が対応付けられる。また、例えば、「ｄｒｕｎｋ」という文字情報については、共通文字情報「ｄｒｉｎｋ」および動詞の過去分詞であることを示す識別記号［ｃ５］が対応付けられている。
　また、例えば、「ｇｏｏｄ」、「ｂｅｔｔｅｒ」および「ｂｅｓｔ」という形容詞に対し、共通する概念である「ｇｏｏｄ」を示す共通文字情報が対応付けられている。「ｇｏｏｄ」、「ｂｅｔｔｅｒ」および「ｂｅｓｔ」という形容詞のそれぞれは、形容詞の原形であることを示す識別記号［ｃ６］、形容詞の比較級であることを示す識別記号［ｃ７］および形容詞の最上級であることを示す識別記号［ｃ８］のそれぞれと対応付けられる。また、例えば、「Ｉ」、「ｍｙ」、「ｍｅ」、「ｍｉｎｅ」および「ｍｙｓｅｌｆ」という文字情報は、共通する概念である「Ｉ」を示す共通文字情報が対応付けられている。「Ｉ」、「ｍｙ」、「ｍｅ」、「ｍｉｎｅ」および「ｍｙｓｅｌｆ」のそれぞれは、人称代名詞の主格を示す識別記号［ｃ９］、人称代名詞の所有格を示す識別記号［ｃ１０］、人称代名詞の目的格を示す識別記号［ｃ１１］、所有代名詞を示す識別記号［ｃ１２］および再帰代名詞を示す識別記号［ｃ１３］が対応付けられる。
　例えば、変換テーブルＴ１は、文字情報と、共通文字情報および識別記号による組との対応関係が予め設定されて記憶部１５に記憶される。統計部１３２は、単語リストＬ１に登録された文字情報を、変換テーブルＴ１に登録された文字情報を除いて、頻度テーブルＴ２に登録する。さらに、統計部１３２は、変換テーブルＴ１内の共通文字情報および識別記号を頻度テーブルＴ２に登録する。
　図８は、頻度テーブルＴ２の例を示す。頻度テーブルＴ２は、文字情報（共通文字情報や識別記号も含む）と、出現頻度とを対応付けるテーブルである。上述の通り、統計部１３２の頻度テーブルＴ２の生成において、変換テーブルＴ１に登録されている文字情報が除かれている。そのため、「ｔａｌｋ」、「ｔａｌｋｓ」、「ｔａｌｋｅｄ」および「ｔａｌｋｉｎｇ」などの共通の概念に対応する複数種類の文字情報のそれぞれは、共通文字情報「ｔａｌｋ」と各識別記号［ｃ１］～［ｃ４］とに分けられて頻度テーブルＴ２に登録されている。
　図６に示す処理手順の説明に戻る。頻度テーブルＴ２に対して文字情報が登録されると、統計部１３２は、記憶領域Ａ１の読出し位置から文字コードを取得する（Ｓ３０２）。Ｓ３０２の処理において、読出し位置はＳ３０２で取得された文字コード分進められる。
　次に、統計部１３２は、Ｓ３０２で取得した文字コードが区切り記号であるか否かを判定する（Ｓ３０３）。Ｓ３０３の判定は、区切り記号として処理する文字コードを予め設定しておき、Ｓ３０２で取得した文字コードが予め設定した文字コードのいずれかに該当するか否かにより判断される。区切り記号は、例えば、スペース記号（ＡＳＣＩＩコード系で０ｘ２０）、エクスクラメーション（ＡＳＣＩＩコード系で０ｘ２１）、カンマ（ＡＳＣＩＩコード系で０ｘ２Ｃ）、ピリオド（ＡＳＣＩＩコード系で０ｘ２Ｅ）、コロン（ＡＳＣＩＩコード系で０ｘ３Ａ）、セミコロン（ＡＳＣＩＩコード系で０ｘ３Ｂ）およびクエスチョン（ＡＳＣＩＩコード系で０ｘ３Ｆ）などである。もしくは、Ｓ３０３の判定は、Ｓ３０２で取得した文字コードが、予め定めた数値範囲（例えば、ＡＳＣＩＩコード系で０ｘ２０～０ｘ３Ｆ）であるか否かにより判断されてもよい。
　Ｓ３０２で取得した文字コードが区切り記号でない場合（Ｓ３０３：ＮＯ）には、統計部１３２は、Ｓ３０２で取得した文字コードをバッファに格納する（Ｓ３０４）。Ｓ３０４の処理が終了すると、Ｓ３１１の手順に移行する。
　Ｓ３０２で取得した文字コードが区切り記号である場合（Ｓ３０３：ＹＥＳ）には、統計部１３２は、バッファに格納されている文字情報に基づき変換テーブルＴ１を参照する（Ｓ３０５）。さらに、統計部１３２は、Ｓ３０５の参照結果に基づいて、変換テーブルＴ１にバッファに格納されている文字情報が登録されているか否かを判定する（Ｓ３０６）。
　バッファに格納されている文字情報が変換テーブルＴ１に格納されていない場合（Ｓ３０６：ＮＯ）には、統計部１３２は、バッファに格納されている文字情報についてカウントする（Ｓ３０７）。Ｓ３０７において、頻度テーブルＴ２に、バッファに格納されている文字情報と同じ文字情報がない場合には、統計部１３２は、バッファに格納されている各々の文字コードについてカウントを行なう。
　バッファに格納されている文字情報が変換テーブルＴ１に格納されている場合（Ｓ３０６：ＹＥＳ）には、統計部１３２は、バッファに格納されている文字情報と変換テーブルＴ１により対応付けられた共通文字情報および識別記号の双方についてカウントする（Ｓ３０８）。例えば、統計部１３２は、Ｓ３０８において、共通文字情報と識別記号との双方について頻度テーブルＴ２により対応付けられたカウント値をインクリメントする。例えば、バッファに格納されている文字情報が「ｓｐｅｎｔ」である場合には、統計部１３２は、共通文字情報の「ｓｐｅｎｄ」と、識別記号［ｃ３］の双方についてカウント値をインクリメントする。
　Ｓ３０７またはＳ３０８の処理が行われると、統計部１３２は、Ｓ３０２で取得した区切り記号のカウントを行なう（Ｓ３０９）。Ｓ３０９において、統計部１３２は、頻度テーブルＴ２においてＳ３０２で取得した区切り記号に対応するカウント値をインクリメントする。さらに、統計部１３２は、バッファをクリアする（Ｓ３１０）。Ｓ３０９とＳ３１０の処理は互いに順序入れ替えても構わない。
　Ｓ３０４またはＳ３１０が行なわれると、統計部１３２は、読出し位置が、記憶領域Ａ１にロードしたファイルＦ１の終端であるか否かを判定する（Ｓ３１１）。Ｓ３１１の判定において終端でなければ（Ｓ３１１：ＮＯ）、統計部１３２は、Ｓ３０２の手順に移行する。またＳ３１１の判定において終端であれば（Ｓ３１１：ＹＥＳ）、統計部１３２は頻度集計処理を終了する。
　統計部１３２による頻度集計処理が終了すると、制御部１３１は、図５の手順に戻り、ソート部１３４にソート処理を実行させる（Ｓ２０２）。例えば、ソート部１３４は、頻度テーブルＴ２に登録された文字情報（文字、記号、単語、共通文字情報および識別記号など）を、統計部１３２により生成された頻度情報（各文字情報についての出現回数）に基づいて並べ替える。例えば、ソート部１３４は出現回数が多い順か少ない順のいずれか一方で、頻度テーブルＴ２に登録された文字情報を並べ替える。
　Ｓ２０２の処理が終了すると、制御部１３１は、割当部１３３に圧縮符号の割り当てを実行させる（Ｓ２０３）。例えば、割当部１３３は、Ｓ２０２で頻度順に並べ替えられた文字情報群に対して、ハフマン符号化や算術圧縮など、高頻度の文字情報ほど短い圧縮符号を割り当てるアルゴリズムに基づいて圧縮符号を割り当てる。
　頻度テーブルＴ２に登録された各文字情報に圧縮符号が割り当てられると、制御部１３１は、共通文字情報および識別記号の組み合わせに対応する圧縮符号の組を生成する（Ｓ２０４）。Ｓ２０４において、制御部１３１は、変換テーブルＴ１に登録された共通文字情報と識別記号との組み合わせに対応する文字情報と、組み合わせられた共通文字情報および識別情報それぞれに対応する圧縮符号の組み合わせとを対応付ける。例えば、文字情報「ｓｐｅｎｔ」は、変換テーブルＴ１において対応付けられた共通文字情報「ｓｐｅｎｄ」および識別記号［ｃ３］に対応する圧縮符号ｃ（ｓｐｅｎｄ）および圧縮符号ｃ（［ｃ３］）の組に対応付けられる。この際、圧縮符号ｃ（［ｃ３］）が先で圧縮符号ｃ（ｓｐｅｎｄ）が後である順序で圧縮符号が組み合わせられる。さらに、制御部１３１は、単語リストＬ１に登録された文字情報のそれぞれと、それぞれの文字情報に対応する圧縮符号とを対応付けた対応情報を、圧縮辞書Ｄ１を格納する領域に格納する。この対応情報において、変換テーブルＴ１に登録されている文字情報については、対応情報において圧縮符号の組（共通文字情報に対応する圧縮符号と識別記号に対応する圧縮符号の組）と対応付けられている。
　続いて、制御部１３１は、ソート部１３４に、対応情報に含まれる各文字情報と、各文字情報に対応付けられた圧縮符号とのセットを、各文字情報の文字コードの値に基づいてソート処理させる（Ｓ２０５）。ソート部１３４は、例えば、文字情報の文字コードが小さい順に並べ替える。例えば、ソート部１３４は、文字情報の１文字目の文字コードの値が小さい順に並べ、１文字目の文字コードが同じ文字情報同士は、２文字目の文字コードの値が小さい順に並べる。Ｓ２０５の処理により並べ替えられた状態が、図９に示す圧縮辞書Ｄ１である。
　Ｓ２０５の処理が終了すると、制御部１３１は、インデックスの生成処理を行なう（Ｓ２０６）。制御部１３１は、文字情報と、その文字情報がＳ２０５でソートされた文字情報群内で存在する位置を示す情報（オフセット値）とを対応付けてインデックスを生成する。図９に示す圧縮辞書Ｄ１に対して、例えば、文字「ｉ」にオフセット値「０ｘ００５２」などが対応付けられる。圧縮符号の生成においてこのインデックスが利用されると、「ｉ」から始まる単語に対応する圧縮符号の検索が「０ｘ００５２」から開始される。Ｓ２０６の処理が終了すると、生成部１３は、圧縮辞書Ｄ１の生成処理を終了する。
　図９は、圧縮辞書のデータ構造例を示す。図９に示される圧縮辞書Ｄ１には、文字情報と圧縮符号とが対応付けられて格納される。文字情報と圧縮符号とのセットの格納位置は、圧縮辞書Ｄ１の格納位置を始点とするオフセット値で示される。例えば、文字情報「ｉｎｖｅｎｔｉｏｎ」の情報は、オフセット値０ｘ００５３に格納される。Ｓ２０６で生成されるインデックスは、このオフセット値を利用して検索範囲の絞り込みを実現する。また、前述の通り、「ｃ（）」は、括弧内の文字情報に対応する圧縮符号であることを示す。図９の例においては、圧縮辞書Ｄ１に登録される文字情報のうち、変換テーブルＴ１に登録される文字情報については、複数の圧縮符号と対応付けられており、変換テーブルＴ２に登録されない文字情報については１つの圧縮符号と対応付けられている。
　圧縮辞書Ｄ１は、生成部１３により生成されたが、他の一例として、圧縮辞書Ｄ１が予め記憶部１５に記憶されていることとしてもよい。この場合に、圧縮辞書Ｄ１は、例えば複数のファイルにおいて共通で用いられる。例えば、予め記憶部１５に記憶される圧縮辞書Ｄ１では、例えば、過去に圧縮されたファイル（過去の版の文書ファイル）やデータベース内に存在する複数のファイルにおける文字情報の頻度情報に基づいて圧縮符号が割り当てられてもよい。
　生成部１３が圧縮辞書Ｄ１の生成処理を終了すると、制御部１１１は図４の手順に戻り、圧縮データ生成処理を実行する（Ｓ１０４）。
　図１０は、圧縮データ生成処理の処理手順例を示す。圧縮データ生成処理の開始時点において、読出し位置は記憶領域Ａ１にロードされたファイルＦ１の始点にセットされ、書込み位置は記憶領域Ａ２の所定の位置にセットされ、バッファはクリアされる。読出部１１３は、読出し位置から文字コードを取得する（Ｓ４０１）。制御部１１１は、Ｓ４０１の文字コード取得後、読出し位置を更新する。制御部１１１は、Ｓ４０１で取得した文字コードが区切り記号であるか否かを判定する（Ｓ４０２）。区切り記号は、Ｓ３０３と同様に、スペースやカンマなどの予め設定した文字コードである。
　Ｓ４０１で取得した文字コードが区切り記号でない場合（Ｓ４０２：ＮＯ）には、制御部１１１は、読出部１１３がＳ４０１で取得した文字コードをバッファに格納する（Ｓ４０３）。Ｓ４０３が行なわれると、Ｓ４０１の手順に戻り、読出部１１３は、読出し位置から文字コードを取得する。
　Ｓ４０１で取得した文字コードが区切り記号である場合（Ｓ４０２：ＹＥＳ）には、検索部１１２は、圧縮辞書Ｄ１をバッファ内に格納された文字コード（または文字コード列）で検索する（Ｓ４０４）。制御部１１１は、バッファ内に格納された文字コード（または文字コード列）と一致する一致文字情報が圧縮辞書Ｄ１内に存在するか否かを判定する（Ｓ４０５）。
　一致文字情報が存在する場合（Ｓ４０５：ＹＥＳ）には、書込部１１４は、記憶領域Ａ２の書込み位置に、圧縮辞書Ｄ１内で一致文字情報に対応付けられた圧縮符号を書き込む（Ｓ４０６）。さらに、制御部１１１は、書込み位置を更新する。圧縮辞書Ｄ１において、複数の圧縮符号が一致文字情報に対応付けられている場合には、書込部１１４は、複数の圧縮符号を書込み位置から書き込む。書込みが行われると制御部１１１は、書き込んだ圧縮符号長に基づいて、記憶領域Ａ２への書き込み位置の更新を行なう。
　圧縮辞書Ｄ１内に一致文字情報が存在しない場合（Ｓ４０５：ＮＯ）は、制御部１１１は、バッファ内の各文字コードに対して処理を行なう（Ｓ４０７～Ｓ４１０）。制御部１１１は、各文字コードについて、検索部１１２に圧縮辞書Ｄ１を検索させ（Ｓ４０８）、検索の結果得られた圧縮符号を書込部１１４に書込み位置に書き込ませる（Ｓ４０９）。Ｓ４０８およびＳ４０９の処理が、バッファに格納された各文字コードに対して行なわれるＳ４０７～Ｓ４１０の処理が終了する。
　Ｓ４０６またはＳ４１０のいずれかが行われると、制御部１１１は、バッファに格納された文字コード（または文字コード列）を削除（クリア）する（Ｓ４１１）。また、書込部１１４は、Ｓ４０１で取得した区切り記号に圧縮辞書Ｄ１において対応付けられた圧縮符号を書込み位置に書き込む（Ｓ４１２）。Ｓ４１１よりも先にＳ４１２が行われても構わない。さらに、制御部１１１は、読出し位置が記憶領域Ａ１にロードされたファイルＦ１の終端であるか否かを判定する（Ｓ４１３）。
　読出し位置がファイルＦ１の終端でない場合（Ｓ４１３：ＮＯ）には、Ｓ４０１の手順に戻り、読出部１１３は、読出し位置から文字コードを取得する。読出し位置がファイルＦ１の終端である場合（Ｓ４１３：ＹＥＳ）には、制御部１１１は、圧縮データ生成処理を終了する。
　上述の圧縮データ生成処理が終了すると、図４に示すＳ１０５に手順が戻る。制御部１１１は、記憶領域Ａ２内に格納された圧縮データを用いて圧縮ファイルＦ２を生成し、記憶部１５に格納する（Ｓ１０５）。圧縮ファイルＦ２は、例えば、ヘッダ、記憶領域Ａ２内の圧縮データおよびトレーラ情報で構成される。ヘッダには、例えば、圧縮アルゴリズムを識別する識別情報や、ヘッダ、圧縮データおよびトレーラ情報それぞれのデータサイズなどの情報が含まれる。また、トレーラ情報には、例えば、変換テーブルＴ１、頻度テーブルＴ２などが含まれる。
　Ｓ１０５の処理が終了すると、制御部１１１は、圧縮機能の呼出し先に圧縮処理が終了した旨の通知を行なう（Ｓ１０６）。Ｓ１０６の通知には、例えば、圧縮ファイルＦ２の格納先を示す情報が含まれる。Ｓ１０６の処理が終了すると、圧縮部１１による圧縮処理が終了する。
　図１１は、伸長機能の処理手順例を示す。伸長機能が呼び出されると、制御部１２１は、伸長処理の前処理を実行する（Ｓ５０１）。伸長機能の呼出しは、伸長対象の圧縮ファイルＦ２の指定を含む。Ｓ５０１の前処理においては、制御部１２１は、記憶領域Ａ３および記憶領域Ａ４を確保し、さらに、伸長辞書Ｄ３の格納領域を確保する。
　Ｓ５０１の処理が終了すると、制御部１２１は、圧縮ファイルＦ２を記憶領域Ａ３にロードする（Ｓ５０２）。次に、制御部１２１は生成部１４に伸長辞書を生成させる（Ｓ５０３）。
　図１２は、伸長辞書生成の処理手順例を示す。制御部１４１は、記憶領域Ａ３にロードされた圧縮ファイルＦ２のトレーラ情報から、変換テーブルＴ１および頻度テーブルＴ２を取得する（Ｓ６０１）。次に、制御部１４１は、頻度テーブルＴ２に登録された各文字情報（共通文字情報および識別記号を含む）について、頻度テーブルＴ２に基づいて圧縮符号を割り当てる（Ｓ６０２）。Ｓ６０２の処理においては、Ｓ２０３と同様のアルゴリズムにより圧縮符号が割り当てられる。次に、制御部１４１は、圧縮符号が割り当てられた文字情報のうち、共通文字情報は、取得した変換テーブルＴ１内のオフセット値に変更する（Ｓ６０３）。このオフセット値は、変換テーブルＴ１において、共通文字情報に対応する文字情報が格納される位置を示す。例えば、共通文字情報「ｔａｌｋ」については、オフセット値「０ｘ０１８２」が格納される。このオフセット値「０ｘ０１８２」により、「ｔａｌｋ」、「ｔａｌｋｓ」、「ｔａｌｋｅｄ」および「ｔａｌｋｉｎｇ」などの共通の概念「ｔａｌｋ」に対応する文字情報が参照可能となる。
　ソート部１４４は、圧縮符号が割り当てられた文字情報（Ｓ６０３により変更されたオフセット値を含む）を、圧縮符号の値に応じてソートする（Ｓ６０４）。さらに、制御部１４１は、圧縮符号が割り当てられた各文字情報（Ｓ６０３により変更されたオフセット値を含む）に対し、割り当てられた圧縮符号の符号長を関連付ける。
　次に、複製部１４３は、文字情報に関連付けられた符号長に応じた数に、文字情報および符号長の情報を複製する（Ｓ６０５）。例えば、最大の圧縮符号長が１２ビットと設定されている場合には、複製部１４３は、符号長がｎの文字情報（オフセット値を含む）および符号長の情報を２の（１２－ｎ）乗個に複製する。さらに、制御部１４１は、複製された情報を記憶部１５に確保された伸長辞書Ｄ２の格納領域内の位置であって、圧縮符号に基づいたオフセット位置に格納する（Ｓ６０６）。Ｓ６０６の結果、伸長辞書Ｄ２が生成され、手順は図１１のＳ５０４に移行する。
　図１３は、伸長辞書のデータ構造例を示す。伸長辞書Ｄ２は、伸長コード（文字情報または変換テーブルＴ１のオフセット値）と符号長とを示す情報が、対応する圧縮符号に基づくオフセット位置に格納されるデータ構造を有している。図１３の伸長辞書Ｄ２は、圧縮符号の最大の符号長が１２ビットである場合を例示するものである。
　伸長辞書Ｄ２を用いることにより、可変長の符号化が行なわれた圧縮データから固定長のデータを読み出して、読み出した固定長のデータに対応する伸長コードを取り出すことが可能である。固定長のデータを読み出すことで、1ビットずつ符号の境目を判定するよりも伸長速度の高速化が図られる。１２ビットよりも短い圧縮符号については余分に圧縮データからデータを読み出してしまうので、符号長に基づいて圧縮データからの読出し位置の調整が行なわれる。伸長辞書Ｄ２はこのような伸長処理に用いられる伸長辞書であるため、伸長コードおよび符号長が同じ情報が重複して登録される。
　例えば、伸長辞書Ｄ２における識別記号［ｃ３］に対応する圧縮符号ｃ（［ｃ３］）は、「０００１０１」という６ビットのデータであるのに対し、圧縮データから１２ビットのデータでまとめて読み出される。読み出した１２ビットのうち前半の６ビットが「０００１０１」であれば、後半の６ビットがどのようなデータであっても識別記号［ｃ３］という伸長コードが取得可能となる必要がある。そのため、後半の６ビットが取り得る値の全通りについて伸長コードおよび符号長を格納しておくことで、１２ビットの固定長データのうちの後半６ビットがどのようなデータであっても、６ビットの可変長符号に対応する伸長コードなどの情報が取得される。識別記号［ｃ３］の情報は、後半６ビットの全通り（「００００００」～「１１１１１１」）の数（６４個）に複製されて、圧縮符号が「０００１０１」に応じたオフセット位置（０００１０１００００００（０ｘ１４０））に格納される。すなわち、伸長辞書のオフセット値０ｘ１４０～０ｘ１７Ｆまでの６４個のデータは、識別記号［ｃ３］に関する情報が格納される。
　また、共通文字情報「ｔａｌｋ」に関する情報も、制御記号［ｃ３］と同様に、圧縮符号の符号長に応じた数に複製され、圧縮符号に応じたオフセット位置に格納される。ただし共通文字情報は、Ｓ６０３の処理で変換テーブルＴ１内のオフセット値（０ｘ０１８２）に変更されている。
　図１４は、伸長データ生成処理の処理手順例を示す。伸長辞書Ｄ２が生成されると、制御部１２１は、圧縮ファイルＦ２に含まれる圧縮データに対応する伸長データを生成する処理を開始する。記憶領域Ａ３からの読出し位置はファイルＦ２の圧縮データの始点にセットされ、記憶領域Ａ４への書込み位置は記憶領域Ａ４内の所定の位置にセットされる。
　読出部１２３は記憶領域Ａ３の読出し位置から圧縮データを読み出す（Ｓ７０１）。圧縮データの読出しは、前述の通り固定長（例えば、１２ビット）で行なわれる。検索部１２２は、読み出した固定長データに基づいて伸長辞書Ｄ２を参照する（Ｓ７０２）。制御部１２１は、Ｓ７０２の参照により得られた伸長コードが、識別記号であるか否か判定する（Ｓ７０３）。
　Ｓ７０２の参照により得られた伸長コードが、識別記号である場合（Ｓ７０３：ＹＥＳ）には、制御部１２１は活用フラグをＯＮにする（Ｓ７０４）。活用フラグは、伸長辞書Ｄ２において圧縮符号に対応付けられた伸長コードが文字情報であるかオフセット値であるかの判定に用いられる。Ｓ７０４において、制御部１２１は、Ｓ７０２の参照により得られた識別記号をバッファに記憶する。
　Ｓ７０２の参照により得られた伸長コードが、識別記号でない場合（Ｓ７０３：ＮＯ）には、制御部１２１は、活用フラグがＯＮであるか否かを判定する（Ｓ７０５）。活用フラグがＯＮである場合（Ｓ７０５：ＹＥＳ）には、検索部１２２は、変換テーブルＴ１を参照する（Ｓ７０６）。Ｓ７０６において、検索部１２２は、Ｓ７０２の参照により得られた伸長コードを変換テーブルＴ１のオフセット値として、オフセット値に基づいて変換テーブルＴ１を参照する。さらに、検索部１２２は、バッファに格納した識別記号と、オフセット値（伸長コード）により示される共通文字情報との組み合わせに対応する文字情報を、変換テーブルＴ１から取得する。制御部１２１は、活用フラグをＯＦＦにし、バッファに格納された識別記号を削除する（Ｓ７０７）。
　Ｓ７０５の判定で活用フラグがＯＦＦである（Ｓ７０５：ＮＯ）か、Ｓ７０７の処理を終えると、制御部１２１は、記憶領域Ａ４の書き込み位置に文字情報の書き込みを行なう（Ｓ７０８）。Ｓ７０８で書き込まれる文字情報は、Ｓ７０２の伸長辞書Ｄ２の参照により得られた伸長コードであるか、Ｓ７０６の変換テーブルＴ１の参照により得られた文字情報である。Ｓ７０８で書き込まれた文字情報の長さに応じて、制御部１２１は、記憶領域Ａ４への書込み位置を更新する（Ｓ７０９）。
　Ｓ７０４またはＳ７０９の処理が行なわれると、制御部１２１は、記憶領域Ａ３からの読出し位置を更新する（Ｓ７１０）。記憶領域Ａ３からの読出し位置は、Ｓ７０２の参照により得られた符号長に基づいて更新される。例えば、読出し位置は、符号長の情報示されるビット数だけ進められる。
　続いて、制御部１２１は、記憶領域Ａ３からの読出し位置が、圧縮ファイルＦ２の圧縮データの終端であるか否かを判断する（Ｓ７１１）。記憶領域Ａ３からの読出し位置が圧縮データの終端でない場合（Ｓ７１１：ＮＯ）には手順がＳ７０１に戻り、再度読出部１２３が圧縮データの読出しを行なう。記憶領域Ａ３からの読出し位置が圧縮データの終端である場合（Ｓ７１１：ＹＥＳ）には、制御部１２１は伸長データ生成処理を終了し、手順がＳ５０５に移行する。
　他の一例として、伸長辞書Ｄ２は、伸長辞書の一例であり、同じ情報が重複して登録されていない伸長辞書が用いられてもよい。例えば、一般的なハフマン符号化の伸長辞書が用いられてもよい。その場合であっても、伸長辞書から伸長コードが取得された場合には、制御部１２１は、Ｓ７０３の判定を行ない、その判定結果に応じてＳ７０４か、Ｓ７０５～Ｓ７０９かのいずれかの処理を行なう。
　伸長データ生成処理が終了すると、制御部１２１は、記憶領域Ａ４に格納された伸長データに基づいて伸長ファイルＦ３を生成し、生成した伸長ファイルＦ３を記憶部１５に格納する（Ｓ５０５）。さらに、制御部１２１は、伸長機能の呼出し先に伸長処理が終了した旨の通知を行なう（Ｓ５０６）。Ｓ５０６の通知には、例えば、伸長ファイルＦ３の格納先を示す情報が含まれる。Ｓ５０６の処理が終了すると、伸長部１２による伸長処理が終了する。
　［圧縮符号への変換］
　図２に示される例（３）および例（６）においては、識別記号に対応する圧縮符号と、共通文字情報に対応する圧縮符号との組み合わせが用いられる。この組み合わせにおいては、識別記号に対応する圧縮符号が先で、共通文字情報に対応する圧縮符号が後の順序で組み合わせられている。この順序により、識別記号が伸長辞書Ｄ１から先に読み出されるので、その後に読み出される圧縮符号に基づいて伸長辞書Ｄ１から取得される伸長コードが文字情報であるかオフセット値であるかの判定が可能となる。
　図１５は、圧縮符号への変換例を示す。例（３）に示すように識別記号に対応する圧縮符号を先にしてもよいが、例（７）に示すように共通文字情報に対応する圧縮符号を先にしてもよい。例（８）も例（７）と同様に、共通文字情報に対応する圧縮符号を先にし、識別記号に対応する圧縮符号を後にした場合を例示している。
　図９に示す圧縮辞書Ｄ１は、図５のＳ２０４の処理において、識別記号に対応する圧縮符号を先に、共通文字情報に対応する圧縮符号を後にする制御により生成される。図１５に示す例（７）や例（８）の順序で圧縮符号を並べるには、図５のＳ２０４の処理で、共通文字情報に対応する圧縮符号を先に、識別記号に対応する圧縮符号を後にする制御が行われればよい。
　図１６は、圧縮辞書のデータ構造例を示す。図１６に示される圧縮辞書Ｄ１ａは、変換テーブルＴ１に登録されている文字情報に対応付けられた圧縮符号の組み合わせにおける順序を、圧縮辞書Ｄ１とは逆にしたものである。すなわち、共通文字情報に対応する圧縮符号が先で、識別記号に対応する圧縮符号が後の順序となっている。
　圧縮辞書Ｄ１ａは、圧縮辞書Ｄ１と同様、文字情報と圧縮符号とを対応付けている。図１６においては、圧縮辞書Ｄ１ａの文字情報「ｓｐｅｎｄ」、「ｓｐｅｎｄｓ」、「ｓｐｅｎｔ」および「ｓｐｅｎｄｉｎｇ」に関する部分のみについて内容が例示されている。例えば、文字情報「ｓｐｅｎｔ」については、圧縮符号ｃ（ｓｐｅｎｄ）および圧縮符号ｃ（［ｃ３］）が、ｃ（ｓｐｅｎｄ）ｃ（［ｃ３］）の順序で並んでいる。圧縮辞書Ｄ１ａを用いて図１０の圧縮データ生成処理が行われると、圧縮辞書Ｄ１ａ内の圧縮符号の順序がそのまま圧縮データに反映されるので、圧縮ファイルＦ２においてもｃ（ｓｐｅｎｄ）ｃ（［ｃ３］）の順序で圧縮符号が並ぶ。
　図１７は、伸長辞書のデータ構造例を示す。図１７に示される伸長辞書Ｄ２ａは、伸長コード（文字情報またはオフセット値）および符号長に加えて、さらに活用フラグが対応付けられる。伸長辞書Ｄ２ａでは、共通文字情報に対応する圧縮符号に対しては、変換テーブルＴ１のオフセット値、圧縮符号の符号長およびＯＮの状態の活用フラグが対応付けられる。共通文字情報に対応する圧縮符号に基づいて伸長辞書Ｄ２ａが参照された場合には、活用フラグがＯＮであることにより、伸長コードがオフセット値であることが判断可能となる。共通文字情報でない文字情報に対応する圧縮符号に対しては、文字情報、圧縮符号の符号長およびＯＦＦの状態の活用フラグが対応付けられる。
　伸長辞書Ｄ２ａを用いると、伸長辞書Ｄ２ａの活用フラグの参照により、共通文字情報に対応する圧縮符号であることが明らかとなるため、この次に識別記号が得られることも明らかとなる。そのため、識別記号に対応する圧縮符号と、文字情報に対応する圧縮符号とが競合することについて考慮する必要がなくなる。すなわち、図１５に示す例（７）および例（８）の場合には、識別記号に対応する圧縮符号は、Ｓ２０３などで適用された符号割り当てのアルゴリズムによらずに、独自に割り当てても構わない。それにより、符号割り当てのアルゴリズムにより圧縮符号を割り当てる対象の文字情報の種類が少なくなる。特に、識別記号は、複数の文字情報に対して共通で用いられる（各動詞において過去形は識別記号［ｃ３］で示される）ので、出現頻度が高い傾向にある。そのため、他の文字情報とともに可変長圧縮符号の割り当てが行なわれると、短い圧縮符号が割り当てられやすく、他の文字情報に割り当てられる圧縮符号は、長くなりやすい。そのため、識別記号に対して圧縮符号を独自に（文字情報とは別に）割り当てることにより、文字情報に割り当てられる圧縮符号の符号長が短くなる傾向にある。
　また、識別記号に対して独自に短い圧縮符号を割り当てることが可能である。例えば、識別記号により８種類までの識別が行われるのであれば、３ビットの固定長符号を割り当ててもよい。この固定長割り当てについては、図１９を用いて後述する。
　図１８は、伸長データ生成処理の処理手順例を示す。伸長辞書Ｄ２ａを用いる場合には、伸長辞書Ｄ２を用いた場合と、伸長コードが文字情報であるか変換テーブルＴ１のオフセット値であるかを判定する仕組みが異なる。伸長辞書Ｄ２ａが生成されると、制御部１２１は、圧縮ファイルＦ２に含まれる圧縮データに対応する伸長データを生成する処理を開始する。記憶領域Ａ３からの読出し位置はファイルＦ２の圧縮データの始点にセットされ、記憶領域Ａ４への書込み位置は記憶領域Ａ４内の所定の位置にセットされる。
　読出部１２３は記憶領域Ａ３の読出し位置から圧縮データを読み出す（Ｓ８０１）。圧縮データの読出しは、前述の通り固定長（例えば、１２ビット）で行なわれる。検索部１２２は、読み出した固定長データに基づいて伸長辞書Ｄ２ａを参照する（Ｓ８０２）。制御部１２１は、記憶領域Ａ３からの読出し位置を更新する（Ｓ８０３）。記憶領域Ａ３からの読出し位置は、Ｓ８０２の参照により得られた符号長に基づいて更新される。
　続いて、Ｓ８０２の参照により得られた活用フラグがＯＮであるか否かを判定する（Ｓ８０４）。活用フラグがＯＮである場合（Ｓ８０４：ＹＥＳ）には、読出部１２３は、記憶領域Ａ３の読出し位置から識別記号に対応する圧縮符号を読み出す（Ｓ８０５）。さらに、制御部１２１は、読み出された圧縮符号に基づき識別記号を取得する。
　検索部１２２は、Ｓ８０２の参照により得られたオフセット値と、Ｓ８０５で取得した識別記号とに基づいて変換テーブルＴ１を参照する（Ｓ８０６）。Ｓ８０６において、検索部１２２は、オフセット値（伸長コード）および識別記号により示される文字情報を、変換テーブルＴ１から取得する。制御部１２１は、Ｓ８０５で読み出した圧縮符号の符号長に応じて記憶領域Ａ３の読出し位置を更新する（Ｓ８０７）。
　Ｓ８０４の判定で活用フラグがＯＦＦである（Ｓ８０４：ＮＯ）か、Ｓ８０７の処理を終えると、制御部１２１は、記憶領域Ａ４の書き込み位置に文字情報の書き込みを行なう（Ｓ８０８）。Ｓ８０８で書き込まれる文字情報は、Ｓ８０２の伸長辞書Ｄ２ａの参照により得られた伸長コードであるか、Ｓ８０６の変換テーブルＴ１の参照により得られた文字情報である。Ｓ８０８で書き込まれた文字情報の長さに応じて、制御部１２１は、記憶領域Ａ４への書込み位置を更新する（Ｓ８０９）。
　続いて、制御部１２１は、記憶領域Ａ３からの読出し位置が、圧縮ファイルＦ２の圧縮データの終端であるか否かを判断する（Ｓ８１０）。記憶領域Ａ３からの読出し位置が圧縮データの終端でない場合（Ｓ８１０：ＮＯ）には手順がＳ８０１に戻り、再度読出部１２３が圧縮データの読出しを行なう。記憶領域Ａ３からの読出し位置が圧縮データの終端である場合（Ｓ８１０：ＹＥＳ）には、制御部１２１は伸長データ生成処理を終了し、手順がＳ５０５に移行する。
　図７に示す変換テーブルＴ１によれば、識別記号［ｃ１］～［ｃ５］は動詞に対して用いられ、識別記号［ｃ６］～［ｃ８］は形容詞に対して用いられ、識別記号［ｃ９］～［ｃ１３］は代名詞に対して用いられる。例えば、識別記号［ｃ１］が用いられる文字情報に対しては、識別記号［ｃ６］～［ｃ１３］は用いられない。そのため、識別記号に対して割り当てる圧縮符号が、識別記号［ｃ６］～［ｃ１３］のいずれかに割り当てる圧縮符号と競合しても、共通文字情報に対応する圧縮符号と識別記号［ｃ１］に対応する圧縮符号との組み合わせにより文字情報が特定される。すなわち、識別記号［ｃ１］～［ｃ５］に対しては、識別記号［ｃ１］～［ｃ５］で互いに識別可能な圧縮符号が割り当てられればよい。また、識別記号［ｃ６］～［ｃ８］に対しては、識別記号［ｃ６］～［ｃ８］で互いに識別可能な圧縮符号が割り当てられればよい。同様に、識別記号［ｃ９］～［ｃ１３］に対しては、識別記号［ｃ９］～［ｃ１３］で互いに識別可能な圧縮符号が割り当てられればよい。
　図１９は、圧縮符号の割り当て例を示す。識別記号に対して固定長符号を割り当てるとすると、識別記号［ｃ１］～［ｃ５］（または［ｃ９］～［ｃ１３］）の５種類を識別可能な圧縮符号が割り当てられればよい。例えば、図１９の例によれば、各識別記号に対し、３ビットの固定長の圧縮符号が割り当てられる。
　図１９には、５種類の圧縮符号として、「０００」、「００１」、「０１０」、「０１１」および「１００」が例示される。固定長圧縮符号「０００」は、識別記号［ｃ１］、識別記号［ｃ６］および識別記号［ｃ９］に対して共通で割り当てられる。固定長圧縮符号「００１」は、識別記号［ｃ２］、識別記号［ｃ７］および識別記号［ｃ１０］に対して共通で割り当てられる。固定長圧縮符号「０１０」は、識別記号［ｃ３］、識別記号［ｃ８］および識別記号［ｃ１１］に対して共通で割り当てられる。固定長圧縮符号「０１１」は、識別記号［ｃ４］および識別記号［ｃ１２］に対して共通で割り当てられる。固定長圧縮符号「１００」は、識別記号［ｃ５］および識別記号［ｃ１３］に対して共通で割り当てられる。共通で固定長符号が割り当てられた識別記号同士は、識別対象の文字情報が競合しない（品詞の種類が異なるため）ので、圧縮符号同士が競合しても伸長データ生成処理時の変換テーブルＴ１の参照（Ｓ７０６またはＳ８０６）で問題なく文字情報を取得可能となる。例えば、変換テーブルＴ１において、共通文字情報「ｓｐｅｎｄ」で識別情報の圧縮符号が「０１０」となる文字情報を探せば、文字情報「ｓｐｅｎｔ」を取得することが可能である。圧縮符号「０１０」は、識別記号［ｃ３］にも識別記号［ｃ８］にも対応するが、変換テーブルＴ１において、共通文字情報「ｓｐｅｎｄ」と関連付けられるは識別記号［ｃ３］のみであるため、識別記号［ｃ３］が特定される。
　［規則変化する単語への対応］
　上述の方法によれば、伸長処理時に変換テーブルＴ１を参照することにより、表記が異なる文字情報が取得された。動詞や形容詞については、不規則に語形が変化する単語が存在する一方で、語形変化のパターンが共通する場合がある。語形の変化パターンが共通する場合には、単語の基本形を語形変化のルールに従って語形変化させることにより、語形変化した単語を特定することが可能である。伸長時に共通文字情報をルールに従って語形変化させることで元の文字情報を復元できれば、変換テーブルＴ１の参照が不要となる。そのため、変換テーブルＴ１のうち、規則変化する文字情報に関する情報は、圧縮ファイルＦ２に含まれなくても構わない。変換テーブルＴ１のうち、規則変化する文字情報に関する情報を除いて圧縮ファイルＦ２に含めることにより、トレーラ情報のデータサイズが小さくなり、圧縮ファイルＦ２全体のファイルサイズが小さくなる。また、この場合には、頻度テーブルＴ２に登録された共通文字情報のうち、圧縮ファイルＦ２から取り出された変換テーブルに登録されていない共通文字情報が規則変化フラグをＯＮにする対象となる。
　図２０は、伸長辞書のデータ構造例を示す。図２０に示す伸長辞書Ｄ２ｂは、伸長コード（文字情報）と、圧縮符号の符号長、活用フラグおよび規則変化フラグが関連付けられている。規則変化フラグは、関連付けられた文字情報が規則変化する文字情報であるか否かを示す。ＯＮの状態の規則変化フラグが関連付けられた文字情報は文法的に規則変化する文字情報（「ｔａｌｋ」などの動詞など）である。一方、ＯＦＦの状態の規則変化フラグが関連付けられた文字情報は文法的に不規則変化する文字情報（「ｓｐｅｎｄ」などの動詞など）であるか、または変化しない文字情報である（一般名詞など）。例えば、規則変化フラグは、例えば、変換テーブルＴ１を拡長し、変換テーブルＴ１に登録された文字情報のそれぞれに対して設定される。伸長辞書Ｄ２ｂを生成する際に、変換テーブルＴ１から規則変化フラグが設定された文字情報を特定し、特定された文字情報について、伸長辞書Ｄ２ｂ内の規則変化フラグがＯＮに設定される。規則変化の文字情報に関する伸長を、テーブル参照でなくアルゴリズムで実行するために、図１８に示す伸長データ生成処理が一部拡長される。
　図２１は、伸長データ生成処理の処理手順例を示す。Ｓ８０４において、活用フラグがＯＮと判定された場合（Ｓ８０４：ＹＥＳ）には、読出部１２３は、識別記号に対応する圧縮符号を読み出す（Ｓ８０５）。さらに、制御部１２１は、Ｓ８０２の伸長辞書Ｄ２ｂの参照により参照される規則変化フラグがＯＦＦであるか否かを判定する（Ｓ８１１）。
　規則変化フラグがＯＦＦである場合（Ｓ８１１：ＹＥＳ）には、変換テーブルＴ１を識別号とオフセット値に基づいて参照するＳ８０６の処理が行われる（Ｓ８０６）。Ｓ８０６が行われると、続いてＳ８０７の処理が行われる。
　図２２は、伸長データ生成処理の処理手順例を示す。規則変化フラグがＯＮである場合（Ｓ８１１：ＮＯ）には、Ｓ８０５で読み出された圧縮符号に対応する識別記号が［ｃ１］であるか否かを判定する（Ｓ８１２）。Ｓ８１２の判定で識別記号［ｃ１］である場合（Ｓ８１２：ＹＥＳ）には、制御部１２１は、伸長辞書Ｄ２ｂからＳ８０１で読み出した圧縮データに対応する伸長コード（文字情報）を取得する（Ｓ８１３）。Ｓ８１３の処理が行われると、それに続いてＳ８０７の処理が行われる。Ｓ８１２の判定で識別記号［ｃ１］でない場合（Ｓ８１２：ＮＯ）には、Ｓ８０５で読み出された圧縮符号に対応する識別記号が［ｃ２］であるか否かを判定する（Ｓ８１４）。Ｓ８１４の判定で識別記号［ｃ２］でない場合（Ｓ８１４：ＮＯ）には、Ｓ８０５で読み出された圧縮符号に対応する識別記号が［ｃ３］であるか否かを判定する（Ｓ８１５）。Ｓ８１５の判定で識別記号［ｃ３］でない場合（Ｓ８１５：ＮＯ）には、Ｓ８０５で読み出された圧縮符号に対応する識別記号が［ｃ４］であるか否かを判定する（Ｓ８１６）。Ｓ８１６の判定で識別記号［ｃ４］でない場合（Ｓ８１６：ＮＯ）には、Ｓ８０５で読み出された圧縮符号に対応する識別記号が［ｃ５］であるか否かを判定する（Ｓ８１７）。Ｓ８１７の判定で識別記号［ｃ６］である場合（Ｓ８１７：ＹＥＳ）には、制御部１２１は、伸長辞書Ｄ２ｂからＳ８０１で読み出した圧縮データに対応する伸長コード（文字情報）を取得する（Ｓ８１８）。Ｓ８１８の処理が行われると、それに続いてＳ８０７の処理が行われる。Ｓ８１７の判定で識別記号［ｃ６］でない場合（Ｓ８１７：ＮＯ）には、Ｓ８０５で読み出された圧縮符号に対応する識別記号が［ｃ７］であるか否かを判定する（Ｓ８１９）。
　図２３は、伸長データ生成処理の処理手順例を示す。Ｓ８１４の判定で識別記号［ｃ２］である場合（Ｓ８１４：ＹＥＳ）には、制御部１２１は、伸長辞書Ｄ２ｂからＳ８０１で読み出した圧縮データに対応する伸長コード（文字情報）を取得する（Ｓ８２０）。続いて、制御部１２１は、Ｓ８２０で取得した文字情報の末尾が、「ｓ」、「ｓｈ」、「ｃｈ」、「ｘ」および「ｏ」のうちのいずれかであるか否かを判定する（Ｓ８２１）。Ｓ８２１において、いずれかに該当すると判断された場合（Ｓ８２１：ＹＥＳ）には、制御部１２１は、Ｓ８２０で取得された文字情報に「ｅｓ」を追加する（Ｓ８２２）。Ｓ８２２の処理が行われると、それに続いてＳ８０７の処理が行われる。
　Ｓ８２１において、いずれにも該当しないと判断された場合（Ｓ８２１：ＮＯ）には、制御部１２１は、Ｓ８２０で取得された文字情報の末尾が、子音（「ａ」、「ｅ」、「ｉ」、「ｕ」および「ｏ」以外のアルファベット）に「ｙ」が後続する語形であるか否かを判定する（Ｓ８２３）。Ｓ８２３において、子音に「ｙ」が後続する語形であると判定された場合（Ｓ８２３：ＹＥＳ）には、制御部１２１は、Ｓ８２０で取得された文字情報の末尾の「ｙ」を「ｉｅｓ」に変更する（Ｓ８２４）。Ｓ８２４の処理が行われると、それに続いてＳ８０７の処理が行われる。
　Ｓ８２３において、子音に「ｙ」が後続する語形でないと判定された場合（Ｓ８２３：ＮＯ）には、制御部１２１は、Ｓ８２０で取得された文字情報の末尾に「ｓ」を追加する（Ｓ８２５）。Ｓ８２５の処理が行われると、それに続いてＳ８０７の処理が行われる。
　図２４は、伸長データ生成処理の処理手順例を示す。Ｓ８１５の判定で識別記号［ｃ３］である場合（Ｓ８１５：ＹＥＳ）には、制御部１２１は、伸長辞書Ｄ２ｂからＳ８０１で読み出した圧縮データに対応する伸長コード（文字情報）を取得する（Ｓ８２６）。続いて、制御部１２１は、Ｓ８２６で取得した文字情報の末尾が「ｅ」であるか否かを判定する（Ｓ８２７）。Ｓ８２７において、Ｓ８２６で取得した文字情報の末尾が「ｅ」であると判断された場合（Ｓ８２７：ＹＥＳ）には、制御部１２１は、Ｓ８２６で取得された文字情報に「ｄ」を追加する（Ｓ８２８）。Ｓ８２８の処理が行われると、それに続いてＳ８０７の処理が行われる。
　Ｓ８２７において、Ｓ８２６で取得した文字情報の末尾が「ｅ」でないと判断された場合（Ｓ８２７：ＮＯ）には、制御部１２１は、Ｓ８２６で取得された文字情報の末尾が、子音に「ｙ」が後続する語形であるか否かを判定する（Ｓ８２９）。Ｓ８２９において、子音に「ｙ」が後続する語形であると判定された場合（Ｓ８２９：ＹＥＳ）には、制御部１２１は、Ｓ８２６で取得された文字情報の末尾の「ｙ」を「ｉｅｄ」に変更する（Ｓ８３０）。Ｓ８３０の処理が行われると、それに続いてＳ８０７の処理が行われる。
　Ｓ８２９において、子音に「ｙ」が後続する語形でないと判定された場合（Ｓ８２９：ＮＯ）には、制御部１２１は、Ｓ８２６で取得された文字情報の末尾に「ｅｄ」を追加する（Ｓ８３１）。Ｓ８３１の処理が行われると、それに続いてＳ８０７の処理が行われる。
　図２５は、伸長データ生成処理の処理手順例を示す。Ｓ８１６の判定で識別記号［ｃ４］である場合（Ｓ８１６：ＹＥＳ）には、制御部１２１は、伸長辞書Ｄ２ｂからＳ８０１で読み出した圧縮データに対応する伸長コード（文字情報）を取得する（Ｓ８３２）。続いて、制御部１２１は、Ｓ８３２で取得した文字情報の末尾が「ｅ」であるか否かを判定する（Ｓ８３３）。Ｓ８３３において、Ｓ８３２で取得した文字情報の末尾が「ｅ」であると判断された場合（Ｓ８３３：ＹＥＳ）には、制御部１２１は、Ｓ８３２で取得された文字情報の末尾の「ｅ」を「ｉｎｇ」に変更する（Ｓ８３４）。Ｓ８３４の処理が行われると、それに続いてＳ８０７の処理が行われる。
　Ｓ８３３において、Ｓ８３２で取得した文字情報の末尾が「ｅ」でないと判断された場合（Ｓ８３３：ＮＯ）には、制御部１２１は、Ｓ８３２で取得された文字情報の末尾に「ｉｎｇ」を追加する（Ｓ８３５）。Ｓ８３５の処理が行われると、それに続いてＳ８０７の処理が行われる。
　図２６は、伸長データ生成処理の処理手順例を示す。Ｓ８１９の判定で識別記号［ｃ７］である場合（Ｓ８１９：ＹＥＳ）には、制御部１２１は、伸長辞書Ｄ２ｂからＳ８０１で読み出した圧縮データに対応する伸長コード（文字情報）を取得する（Ｓ８３６）。続いて、制御部１２１は、Ｓ８３６で取得した文字情報の末尾が「ｅ」であるか否かを判定する（Ｓ８３７）。Ｓ８３７において、Ｓ８３６で取得した文字情報の末尾が「ｅ」であると判断された場合（Ｓ８３７：ＹＥＳ）には、制御部１２１は、Ｓ８３６で取得された文字情報に「ｒ」を追加する（Ｓ８３８）。Ｓ８３８の処理が行われると、それに続いてＳ８０７の処理が行われる。
　Ｓ８３７において、Ｓ８３６で取得した文字情報の末尾が「ｅ」でないと判断された場合（Ｓ８３７：ＮＯ）には、制御部１２１は、Ｓ８３６で取得された文字情報の末尾が、子音に「ｙ」が後続する語形であるか否かを判定する（Ｓ８３９）。Ｓ８３９において、子音に「ｙ」が後続する語形であると判定された場合（Ｓ８３９：ＹＥＳ）には、制御部１２１は、Ｓ８３６で取得された文字情報の末尾の「ｙ」を「ｉｅｒ」に変更する（Ｓ８４０）。Ｓ８４０の処理が行われると、それに続いてＳ８０７の処理が行われる。
　Ｓ８３９において、子音に「ｙ」が後続する語形でないと判定された場合（Ｓ８３９：ＮＯ）には、制御部１２１は、Ｓ８３６で取得された文字情報の末尾に「ｅｒ」を追加する（Ｓ８４１）。Ｓ８４１の処理が行われると、それに続いてＳ８０７の処理が行われる。
　図２７は、伸長データ生成処理の処理手順例を示す。図２２のＳ８１９の判定で識別記号［ｃ７］でない場合（Ｓ８１９：ＮＯ）には、制御部１２１は、伸長辞書Ｄ２ｂからＳ８０１で読み出した圧縮データに対応する伸長コード（文字情報）を取得する（Ｓ８４２）。続いて、制御部１２１は、Ｓ８４２で取得した文字情報の末尾が「ｅ」であるか否かを判定する（Ｓ８４３）。Ｓ８４３において、Ｓ８４２で取得した文字情報の末尾が「ｅ」であると判断された場合（Ｓ８４３：ＹＥＳ）には、制御部１２１は、Ｓ８４２で取得された文字情報に「ｓｔ」を追加する（Ｓ８４４）。Ｓ８４４の処理が行われると、それに続いてＳ８０７の処理が行われる。
　Ｓ８４３において、Ｓ８４２で取得した文字情報の末尾が「ｅ」でないと判断された場合（Ｓ８４３：ＮＯ）には、制御部１２１は、Ｓ８４２で取得された文字情報の末尾が、子音に「ｙ」が後続する語形であるか否かを判定する（Ｓ８４５）。Ｓ８４５において、子音に「ｙ」が後続する語形であると判定された場合（Ｓ８４５：ＹＥＳ）には、制御部１２１は、Ｓ８４２で取得された文字情報の末尾の「ｙ」を「ｉｅｓｔ」に変更する（Ｓ８４６）。Ｓ８４６の処理が行われると、それに続いてＳ８０７の処理が行われる。
　Ｓ８４５において、子音に「ｙ」が後続する語形でないと判定された場合（Ｓ８４５：ＮＯ）には、制御部１２１は、Ｓ８４２で取得された文字情報の末尾に「ｅｓｔ」を追加する（Ｓ８４７）。Ｓ８４７の処理が行われると、それに続いてＳ８０７の処理が行われる。
　［本実施形態の実現手段］
　以下に、上述の圧縮処理や伸長処理を実施する構成について説明する。
　図２８は、コンピュータ１のハードウェア構成例を示す。コンピュータ１は、例えば、プロセッサ３０１、ＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）３０２、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）３０３、ドライブ装置３０４、記憶媒体３０５、入力インターフェース（Ｉ／Ｆ）３０６、入力デバイス３０７、出力インターフェース（Ｉ／Ｆ）３０８、出力デバイス３０９、通信インターフェース（Ｉ／Ｆ）３１０、ＳＡＮ（Ｓｔｏｒａｇｅ　Ａｒｅａ　Ｎｅｔｗｏｒｋ）インターフェース（Ｉ／Ｆ）３１１およびバス３１２などを含む。それぞれのハードウェアはバス３１２を介して接続されている。
　ＲＡＭ３０２は読み書き可能なメモリ装置であって、例えば、ＳＲＡＭ（Ｓｔａｔｉｃ　ＲＡＭ）やＤＲＡＭ（Ｄｙｎａｍｉｃ　ＲＡＭ）などの半導体メモリ、またはＲＡＭ以外にもフラッシュメモリなどが用いられてもよい。ＲＯＭ３０３は、ＰＲＯＭ（Ｐｒｏｇｒａｍｍａｂｌｅ　ＲＯＭ）などでもよい。ドライブ装置３０４は、記憶媒体３０５に記録された情報の読み出しか書き込みかの少なくともいずれか一方を行なう装置である。記憶媒体３０５は、ドライブ装置３０４によって書き込まれた情報を記憶する。記憶媒体３０５は、例えば、ハードディスク、ＳＳＤ（Ｓｏｌｉｄ　Ｓｔａｔｅ　Ｄｒｉｖｅ）などのフラッシュメモリ、ＣＤ（Ｃｏｍｐａｃｔ　Ｄｉｓｃ）、ＤＶＤ（Ｄｉｇｉｔａｌ　Ｖｅｒｓａｔｉｌｅ　Ｄｉｓｃ）、ブルーレイディスクなどの記憶媒体である。また、例えば、コンピュータ１は、複数種類の記憶媒体それぞれについて、ドライブ装置３０４及び記憶媒体３０５を設ける。
　入力インターフェース３０６は、入力デバイス３０７と接続されており、入力デバイス３０７から受信した入力信号をプロセッサ３０１に伝達する回路である。出力インターフェース３０８は、出力デバイス３０９と接続されており、出力デバイス３０９に、プロセッサ３０１の指示に応じた出力を実行させる回路である。通信インターフェース３１０はネットワーク３を介した通信の制御を行なう回路である。通信インターフェース３１０は、例えばネットワークインターフェースカード（ＮＩＣ）などである。ＳＡＮインターフェース３１１は、ストレージエリアネットワーク４によりコンピュータ１と接続された記憶装置との通信の制御を行なう回路である。ＳＡＮインターフェース３１１は、例えばホストバスアダプタ（ＨＢＡ）などである。
　入力デバイス３０７は、操作に応じて入力信号を送信する装置である。入力信号は、例えば、キーボードやコンピュータ１の本体に取り付けられたボタンなどのキー装置や、マウスやタッチパネルなどのポインティングデバイスである。出力デバイス３０９は、コンピュータ１の制御に応じて情報を出力する装置である。出力デバイス３０９は、例えば、ディスプレイなどの画像出力装置（表示デバイス）や、スピーカーなどの音声出力装置などである。また、例えば、タッチスクリーンなどの入出力装置が、入力デバイス３０７及び出力デバイス３０９として用いられる。また、入力デバイス３０７及び出力デバイス３０９は、コンピュータ１と一体になっていてもよいし、コンピュータ１に含まれず、例えば、コンピュータ１に外部から有線または無線で接続する装置であってもよい。
　例えば、プロセッサ３０１は、ＲＯＭ３０３や記憶媒体３０５に記憶されたプログラムをＲＡＭ３０２に読み出し、読み出されたプログラムの手順に従って圧縮部１１、伸長部１２、生成部１３および生成部１４の少なくとも１つの処理を行なう。その際にＲＡＭ３０２はプロセッサ３０１のワークエリアとして用いられる。記憶部１５の機能は、ＲＯＭ３０３および記憶媒体３０５がプログラムファイル（後述のアプリケーションプログラム２４、ミドルウェア２３およびＯＳ２２など）やデータファイル（ファイルＦ１、圧縮ファイルＦ２および伸長ファイルＦ３など）を記憶し、ＲＡＭ３０２がプロセッサ３０１のワークエリアとして用いられることによって実現される。プロセッサ３０１が読み出すプログラムについては、図２９を用いて説明する。
　図２９は、コンピュータ１で動作するプログラム構成例を示す。アプリケーションプログラム２４またはミドルウェア２３は、本実施形態の圧縮機能または伸長機能の処理手順が定められたプログラムである。もしくは、アプリケーションプログラム２４またはミドルウェア２３は、本実施形態の圧縮辞書生成または伸長辞書生成の処理手順が定められたプログラムである。
　圧縮機能の処理手順が定められた圧縮プログラムと、伸長機能の処理手順が定められた伸長プログラムとが一体のプログラムでもよいし、別体のプログラムでもよい。さらに、圧縮辞書生成の手順が定められた圧縮辞書生成プログラムは、圧縮プログラムに含まれてもよいし、圧縮プログラムにより呼び出される別体のプログラムでもよい。また、伸長辞書生成の手順が定められた伸長辞書生成プログラムは、伸長プログラムに含まれてもよいし、伸長プログラムにより読み出される別体のプログラムでもよい。もしくはＯＳ（オペレーティング・システム）２２の一機能として、本実施形態の圧縮機能および伸長機能の少なくとも一方が提供されてもよい。
　例えば、上述の圧縮機能および伸長機能の少なくとも一方、圧縮プログラム、伸長プログラム、圧縮辞書生成プログラムならびに伸長辞書生成プログラムの少なくとも１つは、記憶媒体に記憶される。例えば、その記憶媒体がドライブ装置３０４により読み取られ、インストールされることにより記憶媒体に記憶されたプログラムが実行可能な状態になる。インストールされたプログラムに定められた処理手順の各々は、ＯＳ２２に基づいてハードウェア群２１（３０１～３１２）が制御されることにより実行される。
　図３に示すコンピュータ１に含まれる各機能ブロックの機能は、プロセッサ３０１が、圧縮プログラムまたは伸長プログラムを実行することにより提供される。圧縮プログラムの各処理手順がプロセッサ３０１に実行されることにより圧縮部１１および生成部１３内に含まれる各機能ブロックの機能が提供される。また、伸長プログラムの処理手順がプロセッサ３０１に実行されることにより伸長部１２および生成部１４内に含まれる各機能ブロックの機能が提供される。
　例えば、圧縮部１１内の機能ブロックは、以下のようにハードウェア群２１を用いて実行される。制御部１１１の機能は、プロセッサ３０１が、ＲＡＭ３０２内へのアクセス（記憶領域の確保、ファイルのロードなど）を行ない、また、レジスタ内で処理ステータス（読出し位置や書込み位置など）を管理し、レジスタ内に保持された情報との合致判定を行なうことにより提供される。読出部１１３の機能は、プロセッサ３０１がレジスタ内の処理ステータスに応じてＲＡＭ３０２にアクセスすることにより提供される。検索部１１２の機能は、プロセッサ３０１がＲＡＭ３０２にアクセスし、アクセス結果に基づく照合判定を行なうことにより提供される。書込部１１４の機能は、プロセッサ３０１がレジスタ内の処理ステータスに応じてＲＡＭ３０２にアクセスすることにより提供される。
　例えば、伸長部１２内の機能ブロックは、以下のようにハードウェア群２１を用いて実行される。制御部１２１の機能は、プロセッサ３０１が、ＲＡＭ３０２内へのアクセス（記憶領域の確保、ファイルのロードなど）を行ない、レジスタ内で処理ステータス（読出し位置や書込み位置など）を管理し、レジスタ内に保持された情報との合致判定を行なうことにより提供される。また、読出部１２３の機能は、プロセッサ３０１がレジスタ内の処理ステータスに応じてＲＡＭ３０２にアクセスすることにより提供される。検索部１２２の機能は、プロセッサ３０１がＲＡＭ３０２にアクセスし、アクセス結果に基づく照合判定を行なうことにより提供される。書込部１２４の機能は、プロセッサ３０１がレジスタ内の処理ステータスに応じてＲＡＭ３０２にアクセスすることにより提供される。
　例えば、生成部１３内の機能ブロックは、以下のようにハードウェア群２１を用いて実行される。制御部１３１の機能は、プロセッサ３０１がＲＡＭ３０２の領域管理およびＲＡＭ３０２へのアクセスを行ない、さらに、プロセッサ３０１がルーチンの処理結果に応じたルーチンの呼出しを行なうことにより提供される。統計部１３２の機能は、プロセッサ３０１によるＲＡＭ３０２へのアクセス処理およびアクセス処理の結果に応じた演算処理により提供される。ソート部１３４の機能は、プロセッサ３０１によるＲＡＭ３０２へのアクセスとアクセス結果に応じた演算処理により提供される。割当部１３３の機能は、プロセッサ３０１がＲＡＭ３０２へのアクセスに基づく演算処理を行なうことにより提供される。
　例えば、生成部１４内の機能ブロックは、以下のようにハードウェア群２１を用いて実行される。制御部１４１の機能は、プロセッサ３０１がＲＡＭ３０２の領域管理およびＲＡＭ３０２へのアクセスを行ない、さらに、プロセッサ３０１がルーチンの処理結果に応じたルーチンの呼出しを行なうことにより提供される。複製部１４３の機能は、プロセッサ３０１によるＲＡＭ３０２へのアクセス処理により提供される。ソート部１４４の機能は、プロセッサ３０１によるＲＡＭ３０２へのアクセスとアクセス結果に応じた演算処理により提供される。割当部１４２の機能は、プロセッサ３０１がＲＡＭ３０２へのアクセスに基づく演算処理を行なうことにより提供される。
　図３０は、コンピュータ１を用いたシステム構成例を示す。図３０に例示する情報処理システムは、基地局２、ネットワーク３、コンピュータ１ａおよびコンピュータ１ｂを含む。コンピュータ１ａは、無線または有線の少なくとも一方により、コンピュータ１ｂと接続されたネットワーク３に接続している。図３に示す圧縮部１１、伸長部１２、生成部１３および生成部１４が、コンピュータ１ａのみに含まれてもよいし、コンピュータ１ａおよびコンピュータ１ｂの双方に含まれてもよい。コンピュータ１ａが圧縮部１１および生成部１３を含み、コンピュータ１ｂが伸長部１２および生成部１４を含んでもよいし、それとは逆に、コンピュータ１ｂが圧縮部１１および生成部１３を含み、コンピュータ１ａが伸長部１２および生成部１４を含んでもよい。
　例えば、コンピュータ１ａで生成された圧縮ファイルＦ２がネットワーク３を介した通信によりコンピュータ１ｂに送信され、コンピュータ１ｂにより圧縮ファイルＦ２が伸長されて伸長ファイルＦ３が生成される。圧縮ファイルＦ２は無線で基地局２に送信され、基地局２からコンピュータ１ｂに送信されてもよい。
　本実施形態の圧縮機能や伸長機能によれば圧縮率の増大が抑制されるので、通信される圧縮データの量が削減される。それにより通信処理に対する図３０に例示されるシステムのハードウェアリソースの使用が抑制される。
　図３１は、コンピュータ１を用いたシステム構成例を示す。図３１に例示する情報処理システムは、コンピュータ１、ネットワーク３、クライアント装置６、ストレージエリアネットワーク（ＳＡＮ）４およびストレージ装置５を含む。例えば、コンピュータ１は、クライアント装置６からの要求に応じた情報処理を行なう。情報処理対象のデータは、例えばストレージ装置５に圧縮されて記憶されている。コンピュータ１は、クライアント装置６から要求を受けた場合に、圧縮されてストレージ装置５に記憶された情報処理対象のデータを取得して伸長する。コンピュータ１は、伸長したデータに対してクライアント装置６から要求された情報処理を実行し、さらに、情報処理後のデータを圧縮し、ストレージ装置５に格納する。情報処理は、例えば、ストレージ装置５に記憶されたデータの更新処理や、ストレージ装置５に記憶されたデータの分析・解析処理などである。
　図３１に例示されるシステムにおいて、圧縮処理や伸長処理の度に圧縮辞書や伸長辞書を生成しなくても、一度作成した圧縮辞書や伸長辞書を保持しておき、その圧縮辞書や伸長辞書に基づいて圧縮処理または伸長辞書が実行されてもよい。その場合、図４のＳ１０３の処理や図１１のＳ５０３の処理は、単に保持されている圧縮辞書や伸長辞書をロードするのみでもよい。
　図３１に例示するシステムでは、情報処理の要求を受けるたびにデータの伸長が行なわれる。伸長処理に時間がかかると要求に対する応答までの時間も増大してしまう。本実施形態の圧縮機能により圧縮率が低下しにくいので、圧縮データをストレージ装置５から読み出すＩ／Ｏ回数の増大が抑制される。また、圧縮符号数が極端に増大しないので伸長処理にかかるメモリアクセスの回数が抑制される。また、圧縮ファイルＦ２のロードに確保される記憶領域も少なく抑えられる。
　［圧縮符号の種類］
　英和辞典などで大学教養課程程度までに必要であると分類される単語の数は約４０００語となる。この４０００語は、文書データにおいて使用頻度が比較的高い基礎単語である。そのうち、名詞が２０００語程度であり、形容詞が７００語程度であり、動詞が８００語程度である。例えば、形容詞の活用形それぞれに対して圧縮符号を割り当てると、形容詞に関して圧縮符号が２１００種類程度割り当てられることになる。また、例えば、動詞の活用形それぞれに対して圧縮符号を割り当てると、動詞に関して圧縮符号が３２００～４０００種類程度割り当てられることになる（過去形と過去分詞が同じ表記である動詞が存在するため、各動詞について４～５種類の活用形が存在するため）。
　本実施形態で示した圧縮辞書や伸長辞書の構造でなく、一般のハフマン符号化アルゴリズムで生成される圧縮辞書や伸長辞書が本実施形態において用いられてもよい。ハフマン符号化において、伸長辞書は、圧縮符号の割り当て対象の文字情報同士の出現頻度の比較によりビットが割り当てられる。ここで、出現頻度が比較された文字情報の組に対応する節のデータが生成される。さらに、生成された節同士で出現頻度の比較が行なわれ、順次ビットが生成される。上述の手順が繰り返されて木構造のデータ（ハフマン木）が形成される。圧縮符号の割り当て対象の文字情報（葉のデータ）が２の１２乗存在すると、それらの比較により２の１１乗の節のデータが生成される。節同士の頻度情報の比較により、順次節のデータが生成されると、葉のデータと節のデータとを合わせて２の１３乗存在することになる。節のデータには、それぞれ上位の節のデータへのポインタと、下位のポインタ（ビットが１の場合とビットが０の場合との双方）が含まれる。それぞれのポインタが２バイトであるとすると、ポインタにより３×２の１４乗のハフマン木のデータ構造内の位置が特定される。
　しかしながら、活用形に対して圧縮符号を割り当てることとすると、４０００語の基礎単語が８０００語程度になってしまう。すると、圧縮符号の割り当て対象の文字情報が２の１３乗存在することとなり、結果的にハフマン木のデータ構造内の位置が２バイトで特定できなくなってしまう。すると、アーキテクチャによるが、例えば、ポインタに４バイト使用することとなってしまい、ハフマン木のデータサイズが圧縮符号の割り当て対象が倍になったことにより倍増し、ポインタのデータサイズの都合によりさらに倍増してしまう。
　［変形例の説明］
　以下、上述の実施形態における変形例の一部を説明する。図７に示す変換テーブルＴ１において、同義語や類義語が設定されてもよい。たとえば、文字情報「ｃｅｎｔｅｒ」、「ｃｅｎｔｒｅ」および「ｍｉｄｄｌｅ」が共通文字情報「ｃｅｎｔｅｒ」に対応付けられる。さらに、例えば、変換テーブルＴ１において、文字情報「ｃｅｎｔｅｒ」は、共通文字情報「ｃｅｎｔｅｒ」および識別記号［ｃ１］の組み合わせと対応づけられる。また、例えば、変換テーブルＴ１において、文字情報「ｃｅｎｔｒｅ」は、共通文字情報「ｃｅｎｔｅｒ」および識別記号［ｃ２］の組み合わせと対応づけられる。さらに、例えば、変換テーブルＴ１において、文字情報「ｍｉｄｄｌｅ」は、共通文字情報「ｃｅｎｔｅｒ」および識別記号［ｃ３］の組み合わせと対応づけられる。このように同義語または類義語が設定された変換テーブルＴ１を上述の実施形態に適用することにより、同義語や類義語などの表記ゆれによる圧縮率低下を抑制できる。
　図７に示す変換テーブルＴ１において、頭文字が大文字の単語と頭文字が小文字の単語との双方が設定されてもよい。例えば、変換テーブルＴ１は、文字情報「ｔｈｉｓ」および「Ｔｈｉｓ」を共通文字情報「ｔｈｉｓ」とそれぞれ対応づける。文字情報「ｔｈｉｓ」は、共通文字情報「ｔｈｉｓ」および識別記号［ｃ１］の組み合わせと対応づけられる。文字情報「Ｔｈｉｓ」は、共通文字情報「ｔｈｉｓ」および識別記号［ｃ２］の組み合わせと対応づけられる。このように単語の頭文字が大文字である場合と小文字の場合との双方が設定された変換テーブルＴ１を上述の実施形態に適用することにより、文頭の単語の表記ゆれによる圧縮率低下を抑制できる。
　また、圧縮処理の対象は、ファイル以外にも、システムから出力される監視メッセージなどでもよい。例えば、バッファに順次格納される監視メッセージを上述の圧縮処理により圧縮し、ログファイルとして格納するなどの処理が行なわれる。また、例えば、データベース内のページ単位に圧縮が行なわれてもよいし、複数のページをまとめた単位で圧縮が行なわれてもよい。また、圧縮辞書は複数の監視メッセージに対して共通の圧縮辞書が用いられてもよいし、複数のページに対して共通の圧縮辞書が用いられてもよい。
　１　　　　コンピュータ
　１ａ　　　コンピュータ
　１ｂ　　　コンピュータ
　２　　　　基地局
　３　　　　ネットワーク
　４　　　　ストレージエリアネットワーク
　５　　　　ストレージ装置
　６　　　　クライアント装置
　１１　　　圧縮部
　１２　　　伸長部
　１３　　　生成部
　１４　　　生成部
　１５　　　記憶部

Claims (21)

  1. 　互いに異なる複数の文字情報対して割り当てられた第１の圧縮符号が、前記複数の文字情報のそれぞれに関連付けられた辞書情報を記憶する記憶部と、
    　前記複数の文字情報のうちの第１の文字情報を取得した場合に、前記第１の文字情報と関連付けられた前記第１の圧縮符号を前記辞書情報から取得する取得部と、
    　取得した前記第１の圧縮符号を、圧縮データを格納する格納領域に書き込む書込部と、
    　を含むことを特徴とする圧縮装置。
  2. 　前記複数の文字情報は、前記複数の文字情報のそれぞれにより表される意味または文法上の機能の少なくとも一部が互いに共通し、
    　前記第１の圧縮符号は、前記複数の文字情報の出現頻度の合計に応じて生成される、
    　ことを特徴とする請求項１に記載の圧縮装置。
  3. 　前記辞書情報は、前記第１の文字情報に、さらに、前記複数の文字情報に含まれる前記第１の文字情報以外の文字情報と前記第１の文字情報とを識別する第１の識別情報を関連付け、
    　前記取得部は、前記第１の圧縮符号を取得するとともに、前記第１の識別情報を取得し、
    　前記書込部は、前記第１の圧縮符号および前記第１の識別情報を前記格納領域に書き込む、
    　ことを特徴とする請求項１または請求項２に記載の圧縮装置。
  4. 　前記第１の識別情報は、前記第１の文字情報の出現頻度に応じて生成された圧縮符号であり、
    　前記第１の識別情報に続いて前記第１の圧縮符号が前記格納領域に書き込まれる、
    　ことを特徴とする請求項３に記載の圧縮装置。
  5. 　前記第１の識別情報は、固定長の圧縮符号であり、前記第１の圧縮符号に続いて前記格納領域に書き込まれる、
    　ことを特徴とする請求項３に記載の圧縮装置。
  6. 　コンピュータに、
    　互いに異なる複数の文字情報に対して割り当てられた第１の圧縮符号が前記複数の文字情報のそれぞれに関連付けられた辞書情報を、前記複数の文字情報のうちの第１の文字情報を取得した場合に参照して、前記辞書情報により前記第１の文字情報と関連付けられた前記第１の圧縮符号を取得し、
    　取得した前記第１の圧縮符号を、圧縮データを格納する格納領域に書き込む、
    　ことを実行させることを特徴とする圧縮方法。
  7. 　コンピュータに、
    　互いに異なる複数の文字情報に対して割り当てられた第１の圧縮符号が前記複数の文字情報のそれぞれに関連付けられた辞書情報を、前記複数の文字情報のうちの第１の文字情報を取得した場合に参照して、前記辞書情報により前記第１の文字情報と関連付けられた前記第１の圧縮符号を取得し、
    　取得した前記第１の圧縮符号を、圧縮データを格納する格納領域に書き込む、
    　処理を実行させることを特徴とする圧縮プログラム。
  8. 　互いに異なる複数の文字情報に対して共通して割り当てられた第１の圧縮符号と、前記複数の文字情報に対応する第１の文字情報とを関連付けた辞書情報を記憶する記憶部と、
    　前記第１の圧縮符号を圧縮データから取得した場合に、前記辞書情報において前記第１の圧縮符号に関連付けられた前記第１の文字情報を前記辞書情報から取得する取得部と、
    　取得した前記第１の文字情報を前記圧縮データの伸張結果を格納する格納領域に書き込む書込部と、
    　を含むことを特徴とする伸張装置。
  9. 　前記辞書情報は、前記第１の文字情報と、前記複数の文字情報に含まれる第２の文字情報を前記複数の文字情報に含まれる前記第２の文字情報以外の文字情報と識別する識別情報との組み合わせの格納先を示す格納先情報を、前記第１の圧縮符号に関連付けることにより、前記第１の圧縮符号と前記第１の文字情報とを関連付ける、
    　ことを特徴とする請求項８に記載の伸張装置。
  10. 　前記第１の圧縮符号は、前記複数の文字情報の出現頻度の合計に応じて生成され、
    　前記辞書情報は、前記第１の圧縮符号に、さらに、前記第１の圧縮符号が前記複数の文字情報の出現頻度の合計に基づいて生成された旨を示すフラグ情報を対応付け、
    　前記取得部は、前記辞書情報において前記第１の圧縮符号に前記フラグ情報が対応付けられている場合に、前記格納先情報に基づく前記格納先へのアクセスにより前記第１の文字情報を取得する、
    　ことを特徴とする請求項９に記載の伸張装置。
  11. 　コンピュータに、
    　互いに異なる複数の文字情報に対して共通して割り当てられた第１の圧縮符号と、前記複数の文字情報に対応する第１の文字情報とを関連付けた辞書情報を生成し、
    　前記第１の圧縮符号を圧縮データから取得した場合に、前記辞書情報において前記第１の圧縮符号に関連付けられた前記第１の文字情報を前記辞書情報から取得し、
    　取得した前記第１の文字情報を前記圧縮データの伸張結果を格納する格納領域に書き込む、
    　ことを実行させることを特徴とする伸張方法。
  12. 　コンピュータに、
    　複数の文字情報に対して共通して割り当てられた第１の圧縮符号と、前記複数の文字情報に対応する第１の文字情報とを関連付けた辞書情報を生成し、
    　前記第１の圧縮符号を圧縮データから取得した場合に、前記辞書情報において前記第１の圧縮符号に関連付けられた前記第１の文字情報を前記辞書情報から取得し、
    　取得した前記第１の文字情報を前記圧縮データの伸張結果を格納する格納領域に書き込む、
    　処理を実行させることを特徴とする伸張プログラム。
  13. 　圧縮データが記憶された記憶装置と、
    　前記圧縮データに対する処理要求に応じた処理を実行する処理装置を含む情報処理システムであって、
    　前記処理装置は、
    　互いに異なる複数の文字情報に対して割り当てられた第１の圧縮符号を、前記複数の文字情報のそれぞれに関連付けた辞書情報を記憶する記憶部と、
    　前記処理要求に応じて、前記記憶装置から前記圧縮データを読み出す読出部と、
    　前記第１の圧縮符号を前記圧縮データから取得した場合に、前記辞書情報において前記第１の圧縮符号に関連付けられた第１の文字情報を前記辞書情報から取得する第１の取得部と、
    　取得した前記第１の文字情報を前記圧縮データの伸張結果を格納する第１の格納領域に書き込む第１の書込部と、
    　前記第１の格納領域に格納された伸張結果に対して前記処理要求に応じた処理を実行する処理部と、
    　前記処理要求に応じた処理が行なわれたデータから前記第１の文字情報を取得した場合に、前記辞書情報により前記第１の文字情報と関連付けられた前記第１の圧縮符号を取得する第２の取得部と、
    　取得した前記第１の圧縮符号を第２の格納領域に書き込む第２の書込部と、
    　前記第２の領域に書き込まれたデータを前記記憶装置に格納する格納部と、
    　を含むことを特徴とする情報処理システム。
  14. 　互いに異なる複数の文字情報に対応する１種類の共通文字情報に対して圧縮符号の割り当て処理を行なう割当部と、
    　前記複数の文字情報のそれぞれに、前記共通文字情報に割り当てられた第１の圧縮符号を関連付けた辞書情報を生成する生成部と、
    　を含むことを特徴とする辞書生成装置。
  15. 　前記複数の文字情報は、前記複数の文字情報のそれぞれにより表される意味または文法上の機能の少なくとも一部が互いに共通し、
    　前記圧縮符号は、前記複数の文字情報の出現頻度の合計に応じて生成される、
    　ことを特徴とする請求項１４に記載の辞書生成装置。
  16. 　前記辞書情報は、前記複数の文字情報のうちの第１の文字情報に、前記複数の文字情報に含まれる前記第１の文字情報以外の文字情報と前記第１の文字情報とを識別する第１の識別情報をさらに関連付ける、
    　ことを特徴とする請求項１４または請求項１５に記載の辞書生成装置。
  17. 　コンピュータに、
    　互いに異なる複数の文字情報に対応する１種類の共通文字情報に対して圧縮符号の割り当て処理を行ない、
    　前記複数の文字情報のそれぞれに、前記共通文字情報に割り当てられた第１の圧縮符号を関連付けた辞書情報を生成する、
    　ことを実行させることを辞書生成方法。
  18. 　コンピュータに、
    　互いに異なる複数の文字情報に対応する１種類の共通文字情報に対して圧縮符号の割り当て処理を行ない、
    　前記複数の文字情報のそれぞれに、前記共通文字情報に割り当てられた第１の圧縮符号を関連付けた辞書情報を生成する、
    　処理を実行させることを特徴とする辞書生成プログラム。
  19. 　互いに異なる複数の文字情報に対して共通して割り当てられた第１の圧縮符号と、前記複数の文字情報に対応する第１の文字情報と、を関連付ける辞書情報を生成する生成部、
    　を含むことを特徴とする辞書生成装置。
  20. 　コンピュータに、
    　互いに異なる複数の文字情報に対して共通して割り当てられた第１の圧縮符号と、前記複数の文字情報に対応する第１の文字情報と、を関連付ける辞書情報を生成する、
    　ことを実行させることを特徴とする辞書生成方法。
  21. 　コンピュータに、
    　互いに異なる複数の文字情報に対して共通して割り当てられた第１の圧縮符号と、前記複数の文字情報に対応する第１の文字情報と、を関連付ける辞書情報を生成する、
    　処理を実行させることを特徴とする辞書生成プログラム。
PCT/JP2013/001977 2013-03-22 2013-03-22 圧縮装置、圧縮方法、辞書生成装置、辞書生成方法、伸長装置、伸長方法、伸長プログラムおよび情報処理システム WO2014147672A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
KR1020157025619A KR20150119403A (ko) 2013-03-22 2013-03-22 압축 장치, 압축 방법, 사전 생성 장치, 사전 생성 방법, 신장 장치, 신장 방법, 신장 프로그램 및 정보 처리 시스템
CN201380074814.3A CN105052041A (zh) 2013-03-22 2013-03-22 压缩装置、压缩方法、词典生成装置、词典生成方法、解压装置、解压方法、解压程序以及信息处理系统
PCT/JP2013/001977 WO2014147672A1 (ja) 2013-03-22 2013-03-22 圧縮装置、圧縮方法、辞書生成装置、辞書生成方法、伸長装置、伸長方法、伸長プログラムおよび情報処理システム
EP13878620.7A EP2978134A4 (en) 2013-03-22 2013-03-22 COMPRESSION DEVICE, COMPRESSION METHOD, DICTIONARY GENERATION DEVICE, DICTIONARY GENERATION METHOD, EXPANSION DEVICE, EXPANSION METHOD, EXPANSION PROGRAM, AND INFORMATION PROCESSING SYSTEM
JP2015506368A JPWO2014147672A1 (ja) 2013-03-22 2013-03-22 圧縮装置、圧縮方法、辞書生成装置、辞書生成方法、伸長装置、伸長方法、伸長プログラムおよび情報処理システム
AU2013382911A AU2013382911A1 (en) 2013-03-22 2013-03-22 Compression device, compression method, dictionary generation device, dictionary generation method, expansion device, expansion method, expansion program, and information processing system
US14/857,683 US20160006456A1 (en) 2013-03-22 2015-09-17 Compression device, compression method, dictionary generation device, dictionary generation method, decompression device, decompression method, information processing system, and recording medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2013/001977 WO2014147672A1 (ja) 2013-03-22 2013-03-22 圧縮装置、圧縮方法、辞書生成装置、辞書生成方法、伸長装置、伸長方法、伸長プログラムおよび情報処理システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/857,683 Continuation US20160006456A1 (en) 2013-03-22 2015-09-17 Compression device, compression method, dictionary generation device, dictionary generation method, decompression device, decompression method, information processing system, and recording medium

Publications (1)

Publication Number Publication Date
WO2014147672A1 true WO2014147672A1 (ja) 2014-09-25

Family

ID=51579414

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/001977 WO2014147672A1 (ja) 2013-03-22 2013-03-22 圧縮装置、圧縮方法、辞書生成装置、辞書生成方法、伸長装置、伸長方法、伸長プログラムおよび情報処理システム

Country Status (7)

Country Link
US (1) US20160006456A1 (ja)
EP (1) EP2978134A4 (ja)
JP (1) JPWO2014147672A1 (ja)
KR (1) KR20150119403A (ja)
CN (1) CN105052041A (ja)
AU (1) AU2013382911A1 (ja)
WO (1) WO2014147672A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105530011A (zh) * 2014-09-30 2016-04-27 华东师范大学 一种基于三角形统计的图数据压缩方法和查询方法
JP2017184200A (ja) * 2016-03-31 2017-10-05 富士通株式会社 符号化プログラム、符号化装置、符号化方法、復号化プログラム、復号化装置および復号化方法
JP2018195028A (ja) * 2017-05-16 2018-12-06 富士通株式会社 符号化プログラム、インデックス生成プログラム、検索プログラム、符号化装置、インデックス生成装置、検索装置、符号化方法、インデックス生成方法および検索方法
JPWO2021019789A1 (ja) * 2019-08-01 2021-02-04
US10942934B2 (en) 2016-10-07 2021-03-09 Fujitsu Limited Non-transitory computer-readable recording medium, encoded data searching method, and encoded data searching apparatus

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6107513B2 (ja) * 2013-07-29 2017-04-05 富士通株式会社 情報処理システム、情報処理方法、および情報処理プログラム
KR20180035642A (ko) 2016-09-29 2018-04-06 삼성전자주식회사 무선 셀룰라 통신 시스템에서 상향링크 제어신호 전송 방법 및 장치
JP6784636B2 (ja) * 2017-04-13 2020-11-11 日立オートモティブシステムズ株式会社 制御装置、プログラム更新システム、プログラム更新方法
CN108268583B (zh) * 2017-08-21 2022-06-14 阿里巴巴（中国）有限公司 表情符号含义展示的方法及设备
GB2575435B (en) * 2018-06-29 2022-02-09 Imagination Tech Ltd Guaranteed data compression
US11177824B2 (en) 2018-07-23 2021-11-16 International Business Machines Corporation Dictionary embedded expansion procedure
CN109412604A (zh) * 2018-12-05 2019-03-01 云孚科技(北京)有限公司 一种基于语言模型的数据压缩方法
US11301474B2 (en) * 2019-05-03 2022-04-12 Microsoft Technology Licensing, Llc Parallelized parsing of data in cloud storage
US11122095B2 (en) * 2019-09-23 2021-09-14 Netapp, Inc. Methods for dictionary-based compression and devices thereof
WO2021134574A1 (zh) * 2019-12-31 2021-07-08 深圳华大智造科技有限公司 创建基因突变词典及利用基因突变词典压缩基因组数据的方法和装置
CN113138968A (zh) * 2020-01-20 2021-07-20 普天信息技术有限公司 日志压缩方法及日志解压缩方法
US11321292B2 (en) * 2020-08-31 2022-05-03 Chicago Mercantile Exchange Inc. Accumulation-based data object processing
CN112437060B (zh) * 2020-11-11 2022-11-18 平安普惠企业管理有限公司 一种数据传输方法、装置、计算机设备及存储介质
CN117171399B (zh) * 2023-11-02 2024-02-20 云图数据科技(郑州)有限公司 基于云平台的新能源数据优化存储方法

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05241777A (ja) 1992-02-28 1993-09-21 Fujitsu Ltd データ圧縮方式
JPH05324730A (ja) * 1992-05-27 1993-12-07 Hitachi Ltd 文書情報検索装置
JPH07160684A (ja) * 1993-12-03 1995-06-23 Matsushita Electric Ind Co Ltd 文書圧縮装置および文書圧縮方法
JP2005242416A (ja) * 2004-02-24 2005-09-08 Shogakukan Inc 自然言語文の検索方法および検索装置
JP2010093414A (ja) 2008-10-06 2010-04-22 Fujitsu Ltd 情報処理プログラム、情報処理装置、および情報処理方法

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4747053A (en) * 1985-05-20 1988-05-24 Brother Kogyo Kabushiki Kaisha Electronic dictionary
US5590317A (en) * 1992-05-27 1996-12-31 Hitachi, Ltd. Document information compression and retrieval system and document information registration and retrieval method
CN101069354B (zh) * 2004-12-07 2010-04-14 日本电信电话株式会社 信息压缩编码装置、其解码装置、及其方法
JP4456554B2 (ja) * 2005-10-31 2010-04-28 富士通株式会社 データ圧縮方法及び圧縮データ送信方法
US8635194B2 (en) * 2006-10-19 2014-01-21 Oracle International Corporation System and method for data compression
CN101350624B (zh) * 2008-09-11 2011-05-04 中国科学院计算技术研究所 一种支持ansi编码的中文文本的压缩方法
CN101499094B (zh) * 2009-03-10 2010-09-29 焦点科技股份有限公司 一种数据压缩存储并检索的方法及系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05241777A (ja) 1992-02-28 1993-09-21 Fujitsu Ltd データ圧縮方式
JPH05324730A (ja) * 1992-05-27 1993-12-07 Hitachi Ltd 文書情報検索装置
JPH07160684A (ja) * 1993-12-03 1995-06-23 Matsushita Electric Ind Co Ltd 文書圧縮装置および文書圧縮方法
JP2005242416A (ja) * 2004-02-24 2005-09-08 Shogakukan Inc 自然言語文の検索方法および検索装置
JP2010093414A (ja) 2008-10-06 2010-04-22 Fujitsu Ltd 情報処理プログラム、情報処理装置、および情報処理方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2978134A4

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN105530011A (zh) * 2014-09-30 2016-04-27 华东师范大学 一种基于三角形统计的图数据压缩方法和查询方法
JP2017184200A (ja) * 2016-03-31 2017-10-05 富士通株式会社 符号化プログラム、符号化装置、符号化方法、復号化プログラム、復号化装置および復号化方法
US10942934B2 (en) 2016-10-07 2021-03-09 Fujitsu Limited Non-transitory computer-readable recording medium, encoded data searching method, and encoded data searching apparatus
JP2018195028A (ja) * 2017-05-16 2018-12-06 富士通株式会社 符号化プログラム、インデックス生成プログラム、検索プログラム、符号化装置、インデックス生成装置、検索装置、符号化方法、インデックス生成方法および検索方法
US11373040B2 (en) 2017-05-16 2022-06-28 Fujitsu Limited Computer-readable recording medium, encoding device, index generating device, search device, encoding method, index generating method, and search method
JPWO2021019789A1 (ja) * 2019-08-01 2021-02-04
JP7173351B2 (ja) 2019-08-01 2022-11-16 富士通株式会社 制御方法、制御プログラムおよび情報処理装置

Also Published As

Publication number Publication date
KR20150119403A (ko) 2015-10-23
CN105052041A (zh) 2015-11-11
AU2013382911A1 (en) 2015-10-15
EP2978134A1 (en) 2016-01-27
JPWO2014147672A1 (ja) 2017-02-16
US20160006456A1 (en) 2016-01-07
EP2978134A4 (en) 2016-06-15

Similar Documents

Publication Publication Date Title
WO2014147672A1 (ja) 圧縮装置、圧縮方法、辞書生成装置、辞書生成方法、伸長装置、伸長方法、伸長プログラムおよび情報処理システム
US9509333B2 (en) Compression device, compression method, decompression device, decompression method, information processing system, and recording medium
US11334609B2 (en) Semantic structure search device and semantic structure search method
JP6467937B2 (ja) 文書処理プログラム、情報処理装置および文書処理方法
US20220277139A1 (en) Computer-readable recording medium, encoding device, index generating device, search device, encoding method, index generating method, and search method
JP6252489B2 (ja) 圧縮装置、圧縮方法、圧縮プログラム、伸張装置、伸張方法、伸張プログラム、および圧縮伸張システム
WO2014097359A1 (ja) 圧縮プログラム、圧縮方法、圧縮装置およびシステム
JP2000201080A (ja) 付加コ―ドを用いたデ―タ圧縮／復元装置および方法
US9479195B2 (en) Non-transitory computer-readable recording medium, compression method, decompression method, compression device, and decompression device
EP3385860A1 (en) Compression of text using multiple dynamic dictionaries
US9219497B2 (en) Compression device, compression method, and recording medium
US10915559B2 (en) Data generation method, information processing device, and recording medium
JP6032291B2 (ja) 圧縮プログラム、圧縮装置、伸張プログラム、伸張装置およびシステム
US20160210304A1 (en) Computer-readable recording medium, information processing apparatus, and conversion process method
WO2017009958A1 (ja) 圧縮プログラム、圧縮方法および圧縮装置

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 201380074814.3

Country of ref document: CN

121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13878620

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20157025619

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2015506368

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2013878620

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2013878620

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2013382911

Country of ref document: AU

Date of ref document: 20130322

Kind code of ref document: A