WO2013038527A1 - 抽出方法、抽出プログラム、抽出装置、および抽出システム - Google Patents

抽出方法、抽出プログラム、抽出装置、および抽出システム Download PDF

Info

Publication number
WO2013038527A1
WO2013038527A1 PCT/JP2011/071028 JP2011071028W WO2013038527A1 WO 2013038527 A1 WO2013038527 A1 WO 2013038527A1 JP 2011071028 W JP2011071028 W JP 2011071028W WO 2013038527 A1 WO2013038527 A1 WO 2013038527A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
character
file
computer
predetermined character
Prior art date
Application number
PCT/JP2011/071028
Other languages
English (en)
French (fr)
Inventor
片岡 正弘
量 松村
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to AU2011377004A priority Critical patent/AU2011377004B2/en
Priority to CN201180073519.7A priority patent/CN103797480B/zh
Priority to KR1020147006760A priority patent/KR101560109B1/ko
Priority to PCT/JP2011/071028 priority patent/WO2013038527A1/ja
Priority to JP2013533401A priority patent/JP5741699B2/ja
Priority to EP11872214.9A priority patent/EP2757488B1/en
Publication of WO2013038527A1 publication Critical patent/WO2013038527A1/ja
Priority to US14/202,429 priority patent/US9916314B2/en

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/10File systems; File servers
    • G06F16/14Details of searching files based on file metadata
    • G06F16/148File search processing
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/70Information retrieval; Database structures therefor; File system structures therefor of video data
    • G06F16/78Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually
    • G06F16/783Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content
    • G06F16/7844Retrieval characterised by using metadata, e.g. metadata not derived from the content or metadata generated manually using metadata automatically derived from the content using original textual content or text extracted from visual content or transcript of audio data
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/30Information retrieval; Database structures therefor; File system structures therefor of unstructured textual data
    • G06F16/31Indexing; Data structures therefor; Storage structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22Indexing; Data structures therefor; Storage structures
    • G06F16/2228Indexing structures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/28Databases characterised by their database models, e.g. relational or object models
    • G06F16/284Relational databases
    • G06F16/285Clustering or classification

Definitions

  • the present invention relates to an extraction method, an extraction program, an extraction apparatus, and an extraction system for extracting information.
  • the present invention provides an extraction method, an extraction program, an extraction device, and an extraction system capable of suppressing an increase in search processing time in accordance with an increase in the number of files in order to solve the above-described problems caused by the prior art. Objective.
  • first information indicating whether or not predetermined character information is included for each of a plurality of files, and the plurality of files And at least one of the second information indicating whether or not the predetermined character information is included in the storage means, and when the search request for the predetermined character information is received, the second information Providing an extraction method, an extraction program, an extraction device, and an extraction system that extract a file including the predetermined character information based on the first information when it is detected that the predetermined character information is included Is done.
  • FIG. 1 is an explanatory diagram showing the distribution of the compression symbol map according to the present embodiment.
  • FIG. 2 is an explanatory diagram showing a server storing segment groups.
  • FIG. 3 is an explanatory diagram showing an example of adding a compression symbol map when a target file is added.
  • FIG. 4 is an explanatory diagram showing hierarchization of appearance maps.
  • FIG. 5 is an explanatory diagram showing hierarchization of the deletion map.
  • FIG. 6 is an explanatory diagram showing details of the hierarchized segment group.
  • FIG. 7 is an explanatory diagram showing a configuration example of a computer system in which the hierarchical segment group shown in FIG. 6 is implemented.
  • FIG. 8 is an explanatory diagram showing an example of narrowing down a compressed file using a hierarchical segment group.
  • FIG. 1 is an explanatory diagram showing the distribution of the compression symbol map according to the present embodiment.
  • FIG. 2 is an explanatory diagram showing a server storing segment groups.
  • FIG. 3 is an explan
  • FIG. 9 is a block diagram of a hardware configuration example of the computer according to the embodiment.
  • FIG. 10 is an explanatory diagram of a system configuration example according to the present embodiment.
  • FIG. 11 is a block diagram illustrating a functional configuration example 1 of the computer or the computer system according to the present embodiment.
  • FIG. 12 is an explanatory diagram showing the flow of processing from the counting unit to the second compression unit of the computer shown in FIG.
  • FIG. 13 is an explanatory diagram illustrating an example of creating the compression code map Ms by the summation unit and the creation unit.
  • FIG. 14 is an explanatory diagram showing details of (1) counting the number of appearances.
  • N 11
  • FIG. 17 is an explanatory diagram showing a correction result for each character information.
  • FIG. 20 is an explanatory diagram showing a leaf structure.
  • FIG. 21 is an explanatory diagram showing a structure of specific single characters.
  • FIG. 22 is an explanatory diagram of a divided character code structure.
  • FIG. 23 is an explanatory diagram of a basic word structure.
  • FIG. 24 is an explanatory diagram of an example of generating a compression symbol map.
  • FIG. 25 is a flowchart illustrating an example of a compression code map creation processing procedure by the creation unit.
  • FIG. 26 is a flowchart illustrating a detailed processing procedure example of the aggregation processing (step S2501) illustrated in FIG.
  • FIG. 27 is a flowchart illustrating a detailed processing procedure example of the target file aggregation processing (step S2603) illustrated in FIG.
  • FIG. 28 is an explanatory diagram of a character appearance frequency tabulation table.
  • FIG. 29 is a flowchart showing a detailed processing procedure example of the basic word totaling process (step S2702) shown in FIG.
  • FIG. 30 is an explanatory diagram of a basic word appearance frequency totaling table.
  • FIG. 31 is a flowchart showing a detailed processing procedure of the longest match search process (step S2901) shown in FIG.
  • FIG. 32 is a flowchart showing a detailed processing procedure example of the map allocation number determination processing (step S2502) shown in FIG.
  • FIG. 33 is a flowchart illustrating a detailed processing procedure example of the recounting process (step S2503) illustrated in FIG.
  • FIG. 34 is a flowchart illustrating a detailed processing procedure example of the recalculation processing of the target file (step S3303).
  • FIG. 35 is an explanatory diagram of an upper divided character code appearance frequency totaling table.
  • FIG. 36 is an explanatory diagram of a lower divided character code appearance frequency totaling table.
  • FIG. 37 is a flowchart showing a detailed processing procedure of the bi-gram character string specifying process (step S3406) shown in FIG.
  • FIG. 38 is an explanatory diagram of a bi-gram character string appearance frequency totaling table.
  • FIG. 39 is a flowchart showing a detailed processing procedure example of the Huffman tree generation processing (step S2504) shown in FIG.
  • FIG. 40 is a flowchart showing a detailed processing procedure example of the branch number specifying process (step S3904) shown in FIG.
  • FIG. 41 is a flowchart showing a detailed processing procedure of the construction process (step S3905) shown in FIG.
  • FIG. 42 is a flowchart of a detailed process procedure of the leaf pointer generation process (step S4103) shown in FIG.
  • FIG. 43 is a flowchart showing a detailed processing procedure example of the map creation processing (step S2505) shown in FIG.
  • FIG. 44 is a flowchart of a detailed process procedure of the target file map creation process (step S4303) depicted in FIG.
  • FIG. 45 is a flowchart showing a detailed processing procedure example of the basic word appearance map creation processing (step S4402) shown in FIG.
  • FIG. 46 is a flowchart showing a detailed processing procedure example of the specific single character appearance map creation processing (step S4403) shown in FIG.
  • FIG. 47 is a flowchart showing a detailed processing procedure example of the divided character code appearance map creation processing (step S4603) shown in FIG.
  • FIG. 48 is a flowchart showing a detailed processing procedure example of the bi-gram character string map creation processing (step S4404) shown in FIG.
  • FIG. 49 is a flowchart showing a detailed processing procedure example of the bi-gram character string appearance map generation processing (step S4803).
  • FIG. 50 is an explanatory diagram illustrating a specific example of compression processing using the 2 N- branch nodeless Huffman tree H.
  • FIG. 51 is a flowchart illustrating an example of a compression processing procedure for a target file group using the 2 N- branch nodeless Huffman tree H by the first compression unit.
  • FIG. 52 is a flowchart (part 1) showing a detailed processing procedure of the compression processing (step S5103) shown in FIG. FIG.
  • FIG. 53 is a flowchart (part 2) showing a detailed processing procedure of the compression processing (step S5103) shown in FIG.
  • FIG. 54 is a flowchart (part 3) showing a detailed processing procedure of the compression processing (step S5103) shown in FIG.
  • FIG. 55 is an explanatory diagram showing the relationship between the appearance rate and the appearance rate area.
  • FIG. 56 is an explanatory diagram of a compression pattern table having compression patterns for each appearance rate area.
  • FIG. 57 is an explanatory diagram showing compression patterns in the case of the B region and the B ′ region.
  • FIG. 58 is an explanatory diagram showing compression patterns in the case of the C region and the C ′ region.
  • FIG. 59 is an explanatory diagram showing compression patterns in the case of the D region and the D ′ region.
  • FIG. 60 is an explanatory diagram showing compression patterns for the E region and the E ′ region.
  • FIG. 61 is a flowchart showing a compression symbol map compression processing procedure.
  • FIG. 62 is a block diagram showing a functional configuration example 2 of the computer or the computer system according to the present embodiment.
  • FIG. 63 is an explanatory diagram of a file decompression example.
  • FIG. 64 is an explanatory diagram (part 1) illustrating a specific example of the decompression process in FIG. 63.
  • FIG. 65 is an explanatory diagram (part 2) of the specific example of the decompression process in FIG. 63.
  • FIG. 66 is an explanatory diagram of a specific example of the file addition process.
  • FIG. 67 is a flowchart of a detailed process procedure of the segment addition process.
  • FIG. 68 is a flowchart (first half) showing a detailed processing procedure of the map update processing (step S6709) using the additional file shown in FIG.
  • FIG. 69 is a flowchart (second half) showing a detailed processing procedure of the map update processing (step S6709) using the additional file shown in FIG.
  • FIG. 70 is a flowchart showing a detailed processing procedure of the segment hierarchization processing.
  • FIG. 71 is a flowchart showing a detailed processing procedure of the selected appearance map aggregation process (step S7004) shown in FIG.
  • FIG. 72 is a flowchart showing a detailed processing procedure of the deletion map aggregation processing (step S7005) shown in FIG.
  • FIG. 73 is a flowchart showing a search processing procedure according to the present embodiment.
  • FIG. 73 is a flowchart showing a search processing procedure according to the present embodiment.
  • FIG. 74 is a flowchart (part 1) showing a detailed processing procedure of the pointer specifying process (step S7302) shown in FIG.
  • FIG. 75 is a flowchart (part 2) showing a detailed processing procedure of the pointer specifying process (step S7302) shown in FIG.
  • FIG. 76 is a flowchart of a detailed process procedure of the file narrowing process (step S7303) depicted in FIG.
  • FIG. 77 is a flowchart (part 1) of a detailed process procedure example of the decompression process (step S7304) using the 2 N- branch nodeless Huffman tree H depicted in FIG. 73.
  • FIG. 78 is a flowchart (part 2) of a detailed process procedure example of the decompression process (step S7304) using the 2 N- branch nodeless Huffman tree H depicted in FIG.
  • character information refers to single characters, basic words, divided character codes, and the like that constitute text data.
  • the target file group is, for example, electronic data such as a document file, a Web page, and an e-mail, and is, for example, electronic data in a text format, an HTML (HyperText Markup Language) format, or an XML (Extensible Markup Language) format.
  • HTML HyperText Markup Language
  • XML Extensible Markup Language
  • single character is a character expressed by one character code.
  • the character code length of a single character varies depending on the character code type.
  • UTF Unicode Transform Format 16 is 16-bit code
  • ASCII American Standard Code for Information Interchange
  • Shift JIS Japanese Industrial Standard bit
  • Japanese characters with a shift JIS code two 8-bit codes are combined.
  • “basic words” refer to basic words learned at elementary and junior high schools and reserved words expressed in specific character strings. Taking the English text of “This is a ...” as an example, it is a word such as “This”, “is”, “a”, etc., and is classified into a thousand word level, a two thousand word level, and a several thousand word level. The dictionary is marked with “***”, “**”, and “*”.
  • the reserved word is a predetermined character string, and includes, for example, an HTML tag (for example, ⁇ br>).
  • the “division character code” is each code obtained by dividing a single character into an upper code and a lower code.
  • a single character may be divided into an upper code and a lower code.
  • the character code of a single character “turf” is represented by “9D82”, but is divided into an upper divided character code “0x9D” and a lower divided character code “0x82”.
  • “gram” is a character unit. For example, for a single character, one character is 1 gram. With regard to the divided character code, the divided character code alone is 1 gram. Therefore, the single character “turf” is 2 grams.
  • UTF16 will be described as an example of a character code.
  • bit when “bit is ON”, the value of the bit is “1”, and when “bit is OFF”, the value of the bit is “0”.
  • bit when “bit is ON”, the value of the bit may be “0”, and when “bit is OFF”, the value of the bit may be “1”.
  • “Appearance map” is an index for full-text search, and is a bit string concatenating a pointer that specifies character information and a bit string that indicates whether the character information exists in each target file. At the time of search processing, this bit string can be used as an index indicating whether or not to include character information to be searched according to ON / OFF of bits.
  • a pointer for designating character information for example, a compression code of character information is employed.
  • the character information itself may be used as the pointer for designating the character information.
  • the “compression code map” is a bitmap in which appearance maps for each character information indicated by the pointers of the compression codes are collected.
  • the compression code map of the bi-gram character string is a compression code string that combines the compression code of the first gram and the compression code of the second gram.
  • “2-gram character string” is a character string in which 1-gram character codes are concatenated.
  • the character string “doll play” includes two consecutive characters “doll”, “form turf”, and “play”. Since the two-character “doll” “person” and “shape” are single characters that are not divided, the two-character “doll” is a 2-gram character string as it is.
  • the target file group When the target file group is compressed by basic words, it is possible to access with one pass when generating or searching the compression symbol map. If the target file group is not compressed, the character code of the character information may be used as it is as a pointer for specifying the character information.
  • the “deletion map” is an index that indicates the existence or deletion of the target file as a bit string.
  • the target file can be excluded from the search target by turning off the deletion map corresponding to the target file without deleting the target file itself.
  • FIG. 1 is an explanatory diagram showing the distribution of the compression symbol map according to the present embodiment.
  • the segment sg0 (1) is a segment having a compression code map for compressed files f1 to fn
  • the segment sg0 (2) is a segment having a compression code map for compressed files f (n + 1) to f (2n).
  • the segment sg0 (3) is a segment having a compression symbol map from the compressed files f (2n + 1) to f (3n).
  • the segment sg0 (1) exists.
  • the segment sg0 (2) is generated.
  • the segment sg0 (3) Generated.
  • the last segment sg0 (K) becomes a segment having a compression symbol map from the compressed files f ((K ⁇ 1) n + 1) to f (Kn) (where K is Indicates the current number of segments, K is an integer greater than or equal to 1.)
  • Each segment has management areas A1 to AK (management area group As).
  • the management areas A1 to AK include a pointer to the preceding segment, a pointer to the succeeding segment, a pointer to each appearance map constituting the compression symbol map in the own segment, a pointer to the deletion map in the own segment, and the inside of the own segment A pointer to each compressed file is stored.
  • pointer to segment sg0 (1) (address of segment sg0 (1)“ 00000000h ”)” is stored in the pointer to the preceding segment of segment sg0 (2). Further, “0FFFFFFFh” is stored in the pointer to the segment subsequent to the segment sg0 (2).
  • the compression code maps M1 to MK (compression code map Ms) of each segment have appearance maps with the same character information, but have different file numbers in charge.
  • the file number in charge of the compression code maps M1 to MK of each segment is the file number of the compressed file held by the segment.
  • the compression symbol map MK of the segment sg0 (K) has a bit string indicating the presence / absence of the file numbers (K-1) n to Kn for the appearance map of each character information.
  • the deletion map D1 to DK (deletion map Ds) of each segment also has a different file number in charge, like the compression symbol map group Ms.
  • the file number assigned to each of the deletion maps D1 to DK is the file number of the compressed file held by the own segment.
  • the deletion map DK of the segment sg0 (K) has a bit string indicating the presence or deletion of the file numbers (K-1) n to Kn for the appearance map of each character information.
  • FIG. 2 is an explanatory diagram showing a server storing segment groups.
  • the server 200 has a database 201.
  • the database 201 stores an archive file 202.
  • the archive file 202 includes a batch unit 211 and an adding unit 212.
  • the batch unit 211 stores c segments sg0 (1) to sg0 (c) by default.
  • the adding unit 212 stores the added segments sg0 (c + 1) to sg0 (K). When there is no more free space in the adding unit 212, it is stored in another server that can communicate with the server 200 via the network.
  • FIG. 3 is an explanatory diagram showing an example of adding a compression symbol map when a target file is added.
  • the segments sg0 (1) and sg0 (2) have been registered, and in the appearance map for the compression codes P (LT1) to P (LTz) of the character information LT1 to LTz, the file numbers 1 to 2n The index information of is stored.
  • (B) shows a state where the appearance map group is compressed from the state of (A).
  • the compression method will be described later, it is assumed that the compression is performed, for example, when the number of files of one segment is a multiple of n. In this case, since the number of files is a multiple 2n of n, the bit string which is index information is compressed for each appearance map. Further, when confirming the presence / absence of the character information LT1 to LTz, it is assumed to be expanded.
  • the decompression method will also be described later. In this way, it is possible to save memory by usually compressing and storing and decompressing only when necessary.
  • (C) shows a state where a new compressed file f (2n + 1) is added from the state of (B).
  • the segment sg0 (2) which is the last segment in (B) cannot store the compressed file f (2n + 1), so the segment sg0 (3) is newly set and the compressed file f (2n + 1) is saved. become.
  • a bit for the compression file f (2n + 1) is set for each compression code.
  • “1” is set for the character information LT1, LT2, and “0” is set for LTz.
  • (D) shows a state in which n compressed files f (2n + 1) to f (3n) are added in the segment sg0 (3) from the state of (C).
  • FIG. 4 is an explanatory diagram showing hierarchization of appearance maps.
  • the bit string serving as index information for each compression code becomes redundant.
  • redundancy it is necessary to check ON / OFF of the bit indicating the presence or absence of the total number of files for each compression code, that is, for each character information, but it is useless to check for a nonexistent location, This increases search time. Therefore, when m + 1 segments are generated for each compression code, that is, for each character information, the index information is aggregated in units of m.
  • a case where the index information of the compression code P (LTx) of the character information LTx is collected in an upper layer will be described as an example.
  • X in “sgX (Y)” indicates a hierarchy number
  • Y indicates a segment number. Therefore, in the case of sgX (Y), it is the Yth segment of the Xth hierarchy.
  • the segments sg0 (1) to sg0 (K) described so far are the segments of the 0th layer.
  • Such aggregation is not only between the 0th layer and the 1st layer, but when the number of segments in the top layer becomes m, a segment in the upper layer is newly generated. For example, when the segment is completed up to the segment sg1 (m) in the first hierarchy, the segment sg2 (1) in the second hierarchy is generated as described above.
  • FIG. 4 shows an example up to the second layer, as the number of compressed files to be added increases, the files are consolidated into the third and higher layers.
  • FIG. 5 is an explanatory diagram showing hierarchization of the deletion map.
  • the deletion map is also aggregated in the upper hierarchy in the segment unit as in FIG.
  • FIG. 6 is an explanatory diagram showing details of the hierarchized segment group.
  • segment group of FIG. 6 m 2 segments sg0 (1) to sg0 (m 2 ) as shown in FIG. 1 are generated in the 0th hierarchy.
  • segments sg1 (1) to sg1 (m) having a similar data structure are generated for the upper layer.
  • an appearance map aggregated in the zeroth layer is stored for each compression code.
  • a deletion map aggregation deletion map
  • a pointer to the preceding segment and a pointer to the subsequent segment are set in each management area.
  • a pointer to the aggregate appearance map and a pointer to the aggregate deletion map in the own segment are also stored.
  • pointers to lower-layer segments are stored. For example, in segment sg1 (1), a pointer to segment sg0 (1) to a segment sg0 (m) in the lower hierarchy is stored, and segment sg0 (1) to segment sg0 (m) are designated. Can do. Note that the compressed file is not stored in the segment of the first hierarchy or higher.
  • FIG. 7 is an explanatory diagram showing a configuration example of a computer system in which the hierarchical segment group SG shown in FIG. 6 is mounted.
  • m segments are set as one archive file.
  • “AX (Y)” is a code of the archive file, X indicates a hierarchy number, and Y indicates an archive number. Therefore, in the case of AX (Y), it is the Yth archive file in the Xth hierarchy.
  • the archive file A0 (1) is a set of segments sg0 (1) to sg0 (m) in the 0th hierarchy.
  • the master server MS stores an archive file of the first hierarchy or higher.
  • the slave servers S1, S2,..., S (2m + 1),... Store one archive file assigned by the master server MS.
  • the allocation of the archive file in FIG. 7 is an example, and the master server MS does not need to be in charge of all the archive files of the first layer and higher, and may be distributed to other servers.
  • the slave servers S1, S2,..., S (2m + 1),... May be responsible for not only one archive file but also a plurality of archive files.
  • FIG. 8 is an explanatory view showing an example of narrowing down the compressed file using the hierarchical segment group SG.
  • the uppermost hierarchy is described as the second hierarchy.
  • the solid line arrow indicates that the lower layer segment is designated according to the AND result, and the dotted line arrow is not actually designated, but is illustrated for comparison with the designated segment. Yes.
  • FIG. 8 shows a case where “doll” is input as a search character string.
  • the AND result is “0”. Accordingly, it is understood that the AND results of the segments sg1 (3) and sg1 (4) are all 0 without performing the AND operations of the segments sg1 (3) and sg1 (4).
  • FIG. 9 is a block diagram of a hardware configuration example of the computer according to the embodiment.
  • the computer includes a CPU (Central Processing Unit) 901, a ROM (Read Only Memory) 902, a RAM (Random Access Memory) 903, a magnetic disk drive 904, a magnetic disk 905, an optical disk drive 906, An optical disc 907, a display 908, an I / F (Interface) 909, a keyboard 910, a mouse 911, a scanner 912, and a printer 913 are provided.
  • a bus 900 Each component is connected by a bus 900.
  • the CPU 901 controls the entire computer.
  • the ROM 902 stores programs such as a boot program.
  • the ROM 902 stores a program for generating and managing the compression code map Ms and a program for performing a search using the compression code map Ms.
  • the RAM 903 is used as a work area for the CPU 901, and the CPU 901 can read a program stored in the ROM 902 into the RAM 903 and execute it.
  • the magnetic disk drive 904 controls reading / writing of data with respect to the magnetic disk 905 according to the control of the CPU 901.
  • the magnetic disk 905 stores data written under the control of the magnetic disk drive 904.
  • the optical disk drive 906 controls reading / writing of data with respect to the optical disk 907 according to the control of the CPU 901.
  • the optical disk 907 stores data written under the control of the optical disk drive 906, and causes the information processing apparatus to read data stored on the optical disk 907.
  • the display 908 displays data such as a document, an image, and function information as well as a cursor, an icon, or a tool box.
  • a CRT a CRT
  • a TFT liquid crystal display a plasma display, or the like can be adopted.
  • I / F An interface (hereinafter abbreviated as “I / F”) 909 is connected to a network 914 such as a LAN (Local Area Network), a WAN (Wide Area Network), or the Internet through a communication line, and the other via the network 914. Connected to other devices.
  • the I / F 909 manages an internal interface with the network 914 and controls data input / output from an external device.
  • a modem or a LAN adapter may be employed as the I / F 909.
  • the keyboard 910 includes keys for inputting characters, numbers, various instructions, etc., and inputs data. Moreover, a touch panel type input pad or a numeric keypad may be used.
  • the mouse 911 performs cursor movement, range selection, window movement, size change, and the like.
  • a trackball or a joystick may be used as long as they have the same function as a pointing device.
  • the scanner 912 optically reads an image and takes in the image data into the computer.
  • the scanner 912 may have an OCR (Optical Character Reader) function.
  • the printer 913 prints image data and document data.
  • a laser printer or an inkjet printer can be employed as the printer 913.
  • the computer may be a portable terminal such as a mobile phone, a smartphone, an electronic book terminal, or a notebook personal computer in addition to the above-described various servers and stationary personal computers.
  • the present embodiment may be implemented according to a plurality of computers.
  • FIG. 10 is an explanatory diagram showing a system configuration example according to the present embodiment.
  • the system includes computers 1001 to 1003, a network 1004, a switch 1005, and a radio base station 1007 that can include the hardware shown in FIG.
  • the I / F included in the information processing apparatus 1003 has a wireless communication function.
  • the computer 1001 executes processing for generating a compression code map for content including a plurality of files, distributes the computer 1002, 1003, and executes search processing for the content distributed by the computers 1002, 1003, respectively. May be.
  • each of the computers 1001 to 1003 may be a portable terminal such as a mobile phone, a smartphone, an electronic book terminal, or a notebook personal computer in addition to the above-described various servers and stationary personal computers. Good.
  • FIG. 11 is a block diagram showing a functional configuration example 1 of the computer or computer system according to the present embodiment.
  • FIG. 12 is a diagram from the totaling unit to the second compression unit of the computer or computer system shown in FIG. It is explanatory drawing which shows the flow of a process.
  • a computer or a computer system (hereinafter referred to as “computer 1100”) includes a totaling unit 1101, a first generation unit 1102, a first compression unit 1103, a creation unit 1104, a second generation unit 1105, 2 compression unit 1106.
  • the totaling unit 1101 to the second compression unit 1106 extract the functions by causing the CPU 901 to execute a program stored in a storage device such as the ROM 902, the RAM 903, or the magnetic disk 905 shown in FIG. Realized as a device. Note that the totaling unit 1101 to the second compression unit 1106 write the execution results to the storage device and read the execution results of the other units, respectively, and execute the calculations.
  • the summary unit 1101 to the second compression unit 1106 will be briefly described below.
  • the totaling unit 1101 totals the number of appearances of character information in the target file group. Specifically, for example, the counting unit 1101 counts the number of appearances of character information in the target file group Fs as shown in FIG. The counting unit 1101 counts the number of appearances for each specific single character, upper divided character code, lower divided character code, bi-gram character, and basic word. Detailed processing contents of the counting unit 1101 will be described later.
  • generation part 1102 produces
  • the 2 N- branching nodeless Huffman tree H is a Huffman tree in which 2 N branches branch from the root, and the leaf is directly pointed by one or a plurality of branches. There are no nodes (inner nodes). Since there is no node and it hits the leaf directly, the expansion speed can be increased compared to a normal Huffman tree having nodes.
  • a leaf is a structure including corresponding character information and its compression code. Also called a leaf structure. The number of branches assigned to the leaf depends on the compression code length of the compression code existing in the assignment destination leaf. Detailed processing contents of the first generation unit 1102 will be described later.
  • the first compression unit 1103 compresses each target file of the target file group Fs using the 2 N branching no-node Huffman tree H to form a compressed file group fs (FIG. 12C). Detailed processing contents of the first compression unit 1103 will be described later.
  • the creating unit 1104 creates a compression code map Ms based on the summation result of the summation unit 1101 and the compression code assigned for each character information in the 2 N -branch nodeless Huffman tree H.
  • the creation unit 1104 also creates the compression code map Ms for each specific single character, upper divided character code, lower divided character code, bi-gram character, and basic word.
  • the creation unit 1104 turns on the bit of the file number (FIG. 12D). In the initial state, the deletion map Ds is all turned on for each target file. Detailed processing contents of the creation unit 1104 will be described later.
  • the second generation unit 1105 generates a no-node Huffman tree h that compresses the appearance map based on the appearance probability of the character information (FIG. 12E). Detailed processing contents of the second generation unit 1105 will be described later.
  • the nodeless Huffman tree generated by the second generation unit 1105 of the master server MS is transmitted to the slave servers S1, S2,.
  • the second compression unit 1106 compresses each appearance map using the nodeless Huffman tree generated by the second generation unit 1105 (FIG. 12 (F)). Detailed processing contents of the second compression unit 1106 will be described later.
  • the slave servers S1, S2,... are transmitted by the second compression unit 1106 using the Huffman tree generated and transmitted by the second generation unit 1105 of the master server MS.
  • FIG. 13 is an explanatory diagram showing an example of the totalization by the totalization unit 1101 and the creation of the compression symbol map Ms by the creation unit 1104.
  • the computer 1100 counts the appearance count of character information existing in the target file group Fs.
  • the tabulation results are sorted in descending order of the number of appearances, and the ascending order is given in descending order of the number of appearances.
  • the computer 1100 calculates the compression code length for each character information based on the total result obtained in (1). Specifically, the computer 1100 calculates the appearance rate for each character information. The appearance rate is obtained by dividing the number of appearances of character information by the total number of appearances of all character information. Then, the computer 1100 obtains an occurrence probability corresponding to the appearance rate, and derives a compression code length from the occurrence probability.
  • the probability of occurrence is expressed by 1/2 x .
  • x is a power number.
  • the compression code length is a power number x of the occurrence probability. Specifically, the compression code length is determined depending on which range of the occurrence rate is below the occurrence probability.
  • AR is the appearance rate. 1/2 0 > AR ⁇ 1/2 1 ...
  • the compression code length is 1 bit. 1/2 1 > AR ⁇ 1/2 2 ...
  • the compression code length is 2 bits. 1/2 2 > AR ⁇ 1/2 3 ...
  • the compression code length is 3 bits. 1/2 3 > AR ⁇ 1/2 4 ...
  • the compression code length is 4 bits. ⁇ ⁇ ⁇ 1/2 N-1> AR ⁇ 1 /2 N ⁇ compression code length N bits.
  • the computer 1100 specifies the number of leaves for each compression code length by counting the number of leaves for each compression code length.
  • the maximum compression code length is 17 bits.
  • the number of leaves is the number of types of character information. Therefore, when the number of leaves of the compression code length of 5 bits is 2, this indicates that there are two character information to which a 5-bit compression code is assigned.
  • the total number (number of leaves) of character information to which a compression code having a compression code length of 11 bits is assigned is 1215, but the number of branches per leaf is one.
  • the total number (number of leaves) of character information to which a compression code having a compression code length of 6 bits is assigned is 6, but the number of branches per leaf is 32.
  • 32 branches are assigned.
  • the leaf structure is a data structure in which character information, a compression code length thereof, and a compression code corresponding to the compression code length are associated with each other.
  • the compression code length of the character “0” that appears first is 6 bits, and the compression code is “000000”.
  • a pointer to a leaf is a bit string obtained by concatenating a bit string corresponding to a number corresponding to the number of branches per leaf to a compression code in the leaf structure that is the point destination. For example, since the compression code length of the compression code “000000” assigned to the character “0” that is the leaf L1 is 6 bits, the number of branches per leaf L1 is 32.
  • the first 6 bits of the pointer to the leaf L1 are the compression code “000000”.
  • the number of branches per leaf is one, there is one pointer to the leaf, and the compression code and the pointer to the leaf are the same bit string.
  • the computer 1100 constructs a 2 N- branch nodeless Huffman tree H.
  • a 2 N -branch nodeless Huffman tree H that directly specifies a leaf structure is constructed by using the leaf pointer as a root.
  • the compression code string is an 11-bit bit string whose leading 6 bits are “000000”
  • the character “0” is generated by the 2 N- branch nodeless Huffman tree H regardless of which of the 32 types of bit strings is the subsequent 5 bits.
  • Details of the construction of the 2 N- branch nodeless Huffman tree H will be described with reference to FIG.
  • FIG. 14 is an explanatory diagram showing details of (1) counting the number of appearances.
  • the computer 1100 executes three phases: (A) aggregation from the target file group Fs, (B) sorting in descending order of appearance frequency, and (C) extraction up to the rank of the target appearance rate.
  • A aggregation from the target file group Fs
  • B sorting in descending order of appearance frequency
  • C extraction up to the rank of the target appearance rate.
  • the computer 1100 reads the target file group Fs and counts the appearance frequency (number of appearances) of basic words.
  • the computer 1100 refers to the basic word structure, and if a character string matching the basic word in the basic word structure exists in the target file, the computer 1100 sets the appearance frequency of the basic word (initial value is 0) to 1 to add.
  • the basic word structure is a data structure in which basic words are described.
  • the computer 1100 sorts the basic word appearance frequency count table in descending order of appearance frequency. That is, sorting is performed in descending order of appearance frequency, and ranking is performed from the basic words having the highest appearance frequency.
  • the computer 1100 reads the target file group Fs and counts the appearance frequency of a single character. Specifically, the computer 1100 adds 1 to the appearance frequency (initial value is 0) of a single character.
  • the computer 1100 sorts the single character appearance frequency totaling table in descending order of appearance frequency. That is, sorting is performed in descending order of appearance frequency, and ranking is performed from a single character having the highest appearance frequency.
  • the computer 1100 refers to the basic word appearance frequency tabulation table after sorting (B1), and extracts basic words ranked up to the target appearance rate Pw. Specifically, the computer 1100 uses the sum of the appearance frequencies of all basic words (total appearance frequency) as the denominator, accumulates the appearance frequencies in descending order from the basic word ranked first, and sets the target to each rank. Appearance rate Pw is calculated.
  • the target appearance rate Pw is 75 [%]
  • the computer 1100 refers to the single character appearance frequency tabulation table after sorting (B2), and extracts single characters having ranks up to the target appearance rate Pc. Specifically, the computer 1100 uses the sum of the appearance frequencies of all single characters (total appearance frequency) as the denominator, accumulates the appearance frequencies in descending order from the single character with the highest rank, and uses them as the numerator. Calculate the rate.
  • the target appearance rate Pc is 80 [%]
  • single characters up to the y-th place are extracted.
  • the single character extracted in (C21) is referred to as “specific single character (group)” in order to distinguish it from the original single character group.
  • non-specific single character (group) since a single character excluded from the specific single character group (hereinafter, “non-specific single character (group)”) in the single character group has a lower appearance frequency than each specific single character, its character code Split. Specifically, the character code of a non-specific single character is divided into a character code of upper bits and a character code of lower bits.
  • any divided character code is expressed by a code of 0x00 to 0xFF.
  • the upper bit character code is the upper divided character code
  • the lower bit character code is the lower divided character code.
  • the character information table in FIG. 15 is a table reflecting the total result in (1) in FIG. 13, and rank items, decompression type items, code items, character items, appearance count items, total count items, An appearance rate item, an occurrence probability item before correction, and a compression code length item are set. Among them, information from the ranking item to the total number of items is information obtained by the re-sorting result.
  • the rank (ascending order) is written in descending order of the number of appearances of the character information.
  • the character information type is written in the decompression type item. “16” indicates a 16-bit code (a single character thereof). “8” indicates an 8-bit divided character code. “Base” indicates a basic word.
  • Specified single character or divided character code is written in the code item among the character information items. Leave blank for basic words. Of the character information items, characters and basic words are written in the character items. Leave blank for split character codes. In the appearance number field, the number of appearances of character information in the target file group Fs is written. In the total number field, the total number of appearances of all character information is written.
  • the appearance rate item a value obtained by dividing the number of appearances by the total number is written as the appearance rate.
  • the occurrence probability corresponding to the appearance rate is written in the occurrence probability item of the item before correction.
  • the compression code length item the compression code length corresponding to the occurrence probability, that is, the power y of the occurrence probability 1/2 y is written as the compression code length.
  • the number of leaves (total number of character information types) in the compression code length unit of the character information table in FIG. 15 is counted as the number of leaves before correction in FIG.
  • the correction A the compression code length upper length N (i.e., the maximum branch number 2 N number N powers of the 2 N branch-free node Huffman tree H) the number of leaves assigned to more compression code length
  • the correction is concentrated to the upper limit length N of the compression code length.
  • the computer 1100 determines whether or not the total occurrence probability is 1 or less.
  • Correction B is a correction for updating the number of leaves without changing the compression code length group (5 to 12 bits) in correction A. Specifically, the correction is performed when the total occurrence probability in the correction A is not greater than or equal to the threshold value t and not greater than 1. More specifically, there are two types of correction B.
  • correction B + when the total occurrence probability is less than the threshold t, a correction that increases the total occurrence probability until the total occurrence probability reaches a maximum value of 1 or less, for example, converges to the maximum asymptotic value.
  • correction B + when the total occurrence probability is greater than 1, the total occurrence probability is decreased until the maximum value less than 1 is obtained after the total occurrence probability is reduced to 1 or less, for example, until convergence to the maximum asymptotic value. Correction (hereinafter, correction B ⁇ ).
  • the correction B - 1 st (correction B - 1) in the number of leaves of the correction A in each of the compression code length, in the last correction sum of occurrence probabilities (in this case, the correction A) (1.146)
  • the number of leaves is updated by dividing. The decimal part may be rounded down or rounded off.
  • the upper limit length N of the compression code length is obtained.
  • the computer 1100 determines whether or not the total occurrence probability with the correction B - 1 has converged to the maximum asymptotic value of 1 or less. If probability sum of 1 has not converged to the maximum asymptotic value of 1 or less, the correction B - - Correction B shifts to - the second (2 Correction B). When it converges to the maximum asymptotic value, it does not shift to the correction B - 2 and is determined by the number of leaves for each compression code length at this time. Since the total occurrence probability “1.042” updated by the correction B - 1 is larger than 1, it does not converge to the maximum asymptotic value, and the process proceeds to the correction B - 2.
  • correction B - 2 the number of leaves is divided by dividing the number of leaves in correction B - 1 for each compression code length by the total occurrence probability (1.042) of the previous correction (in this case, correction B - 1). Update. The decimal part may be rounded down or rounded off.
  • the upper limit length N of the compression code length is obtained by subtracting the total number of leaves (excluding the upper limit length N of the compression code length) of the compression code length in the correction B - 2 from the total number of leaves (1305). Find the number of leaves. In this case, there are 1215.
  • the computer 1100 obtains the total occurrence probability with the correction B - 2 by the same calculation process as that for the correction B - 1. Then, the computer 1100 determines whether or not the total occurrence probability with the correction B - 2 has converged to a maximum asymptotic value of 1 or less. If probability sum for 2 has not converged to the maximum asymptotic value of 1 or less, the correction B - - Correction B shifts to - third (3 Correction B). When it converges to the maximum asymptotic value, it does not shift to the correction B - 3, but is determined by the number of leaves for each compression code length at this time. The total occurrence probability “0.982” updated with the correction B - 2 is 1 or less, but since it is unknown whether it has converged to the maximum asymptotic value, the process proceeds to the correction B - 3.
  • the number of leaves is calculated by dividing the number of leaves in the correction B - 2 for each compression code length by the total occurrence probability (0.982) of the previous correction (in this case, the correction B - 2). Update. The decimal part may be rounded down or rounded off.
  • the upper limit length N of the compression code length is obtained by subtracting the total number of leaves (excluding the upper limit length N of the compression code length) of the compression code length in the correction B - 3 from the total number of leaves (1305). Find the number of leaves. In this case, there are 1215.
  • the computer 1100 obtains the total occurrence probability with the correction B - 3 by the same calculation process as that with the correction B - 2. Then, the computer 1100, the correction B - probability sum for 3 determines whether converged to maximum asymptotic value of 1 or less. If probability sum of the three has not converged to the maximum asymptotic value of 1 or less, the correction B - - Correction B shifts to - fourth (4 Correction B). When it converges to the maximum asymptotic value, it does not shift to the correction B - 4, but is determined by the number of leaves for each compression code length at this time.
  • the total occurrence probability “0.982” updated with the correction B - 3 is the same value as the total occurrence probability “0.982” updated with the correction B - 2. That is, the number of leaves of each compression code length in the correction B - 3 and the number of leaves of each compression code length in the correction B - 2 are the same. In this case, the computer 1100 determines that the total occurrence probability has converged to the maximum asymptotic value, and determines the number of leaves.
  • the correction B ⁇ is continued until the number of leaves is determined.
  • the number of leaves for each compression code length is determined by the correction B - 3.
  • the computer 1100 calculates the number of branches per leaf for each compression code length.
  • the number of branches per leaf will be assigned as 5 and 26 .
  • the subtotal of the number of branches is a multiplication result obtained by multiplying the number of branches per leaf by the determined number of leaves for each compression code length.
  • FIG. 17 is an explanatory diagram showing a correction result for each character information.
  • correction results of correction A and correction B - 1 to correction B - 2 are added to the character information table.
  • a short compression code length is assigned from the first character information in the ranking item.
  • the number of leaves is 6 when the compression code length is 6 bits
  • the number of leaves is 18 when the compression code length is 7 bits
  • the number of leaves is 1215 when the compression code length is 11 bits. Therefore, 6-bit compression code length is used for character information with ranks 1 to 6 (for 6 leaves), and 7 for character information with ranks 7 to 24 (for 18 leaves).
  • the compression code length of bits ..., Is assigned a compression code length of 11 bits for character information (for 1215 leaves) whose rank is from 91st to 1305th.
  • the computer 1100 generates a leaf structure by assigning a compression code for each character information based on the character information, the compression code length assigned to the character information, and the number of leaves for each compression code length. . For example, since the single character “0” with the first appearance rate is assigned a compression code length of 5 bits, the compression code is “000000”. Therefore, a structure of the leaf L1 including the compression code “000000”, the compression code length “6”, and the character information “0” is generated.
  • the compression code length is 5 bits to 11 bits.
  • the compression code map M of the bi-gram character string may be divided, correction is performed so that the compression code length is an even number of bits. May be. Specifically, for example, the compression code length of 5 bits and 7 bits of character information is 6 bits, 9 bits of character information is 8 bits, and 11 bits of character information is 10 bits.
  • FIG. 18 shows a pointer to a leaf when the upper limit N of the compression code length is 11 bits.
  • N 11
  • the number of leaves with a compression code length of 6 bits is 6, “000000” to “000101” are assigned as compression codes.
  • the first 6 bits of the pointer to the leaf are a compression code and the subsequent 5 bits are 32 types of bit strings. Therefore, 32 types of leaf pointers are generated for each compression code having a compression code length of 6 bits.
  • the compression code length is 7 bits and the number of leaves is 18, compression codes “0001100” to “0011111” are assigned.
  • the first 7 bits of the pointer to the leaf are a compression code and the subsequent 4 bits are 16 types of bit strings. Therefore, 16 types of pointers to leaves are generated for each compression code having a compression code length of 7 bits.
  • compression code length is 9 bits and the number of leaves is 23, compression codes “010101110” to “011000100” are assigned.
  • the leading 9 bits of the pointer to the leaf are a compression code
  • the subsequent 2 bits are four types of bit strings. Therefore, four types of pointers to leaves are generated for each compression code having a compression code length of 9 bits.
  • the compression code length is 10 bits and the number of leaves is 20, compression codes “01100001001” to “0110011101” are assigned.
  • the first 10 bits of the pointer to the leaf are a compression code and the subsequent 1 bit is two types of bit strings. Therefore, two types of pointers to leaves are generated for each compression code having a compression code length of 10 bits.
  • the root structure stores a pointer to a leaf.
  • the pointer to the leaf can specify the structure of the leaf pointed to.
  • 32 pointers to the leaf are generated as shown in FIG. 18 for the leaf structure in which the compression code having a compression code length of 6 bits is stored. Accordingly, for the structure of the leaf L1, 32 pointers L1P (1) to L1P (32) to the leaf L1 are stored in the root structure. The same applies to the structure of the leaf L2 to the structure of the leaf L6.
  • the structures after the leaf L7 are as shown in FIG.
  • FIG. 20 is an explanatory view showing a leaf structure.
  • the leaf structure is a data structure having a first area to a fourth area.
  • a compression code and a compression code length thereof are stored in the first area.
  • the second area stores a leaf label, an extension type (see FIG. 15), and an appearance rate (see FIG. 15).
  • the third area stores a 16-bit character code that is a specific single character according to the decompression type, an 8-bit divided character code obtained by dividing the character code of a non-specific single character, or a pointer to a basic word. .
  • a basic word in the basic word structure is specified by a pointer to the basic word.
  • a collation flag is also stored. The collation flag is “0” by default. In the case of “0”, the decompressed character is written in the decompression buffer as it is, and in the case of “1”, it is sandwiched between the ⁇ color> tag and the ⁇ / color> tag and written into the decompression buffer.
  • the appearance rate of the stored character information and the appearance rate area of the appearance map are stored.
  • the appearance rate is the appearance rate of the character information shown in FIG.
  • the appearance rate area of the appearance map will be described with reference to FIGS. 55 and 56.
  • the code type and code classification are stored in the third area.
  • the code type is information for identifying whether a character code corresponds to a number, an alphabetic character, a special symbol, katakana, hiragana, or a kanji, or a pointer to a basic word.
  • the code classification is information for identifying whether the character code is 16 bits or 8 bits. In the case of a 16-bit character code or a reserved word, “1” is assigned as a code division, and in the case of an 8-bit divided character code, “0” is assigned as a code division.
  • step S3905 information in the first area to the fourth area is stored in a construction process (step S3905) described later.
  • FIG. 21 is an explanatory diagram showing a structure of specific single characters.
  • the specific single character structure 2100 is a data structure that stores a specific single character code e # and a pointer to its leaf L #.
  • the computer 1100 stores the specific single character code e # in the specific single character structure 2100 when the aggregation result from the target file group Fs is obtained. Then, when the 2 N -branch nodeless Huffman tree H is constructed, the computer 1100 stores a specific single character corresponding to the compression code stored in each leaf structure in the 2 N -branch nodeless Huffman tree H. A pointer to the specific character code e # in the structure 2100 is stored.
  • the computer 1100 moves to the leaf corresponding to each specific single character code e # in the 2 N- branch nodeless Huffman tree H. Are stored in association with the corresponding specific single character code e # in the structure 2100 of the specific single character. Thereby, the structure 2100 of a specific single character is generated.
  • FIG. 22 is an explanatory diagram of a divided character code structure.
  • the divided character code structure 2200 stores a divided character code and a pointer to its leaf L #. Specifically, for example, when the computer 1100 obtains the total result from the target file group Fs, the computer 1100 stores the divided character code in the divided character code structure 2200. Then, when the 2 N -branching nodeless Huffman tree H is constructed, the computer 1100 stores the divided character code corresponding to the compression code stored in each leaf structure in the 2 N -branching nodeless Huffman tree H. A pointer to the divided character code in the structure 2200 is stored.
  • the computer 1100 converts the pointer to the leaf corresponding to each divided character code in the 2 N- branch nodeless Huffman tree H to the divided character.
  • the code is stored in association with the corresponding divided character code in the code structure 2200. As a result, a divided character code structure 2200 is generated.
  • FIG. 23 is an explanatory diagram of a basic word structure.
  • the basic word structure 2300 is a data structure that stores a basic word and a pointer to its leaf L #.
  • Basic words are stored in the basic word structure 2300 in advance.
  • the computer 1100 constructs a basic word structure 2300 corresponding to the compression code stored in the structure of each leaf in the 2 N -branching nodeless Huffman tree H. Stores a pointer to the basic word in
  • the computer 1100 converts the pointer to the leaf corresponding to each basic word in the 2 N- branch nodeless Huffman tree H to the basic word structure. It will be stored in association with the corresponding foundation in the body 2300.
  • the creation unit 1104 compresses a single character compression code map Ms, a high-order divided character code compression code map Ms, and a low-order divided character code compression A code map Ms, a compression code map Ms for words, and a compression code map Ms for two-gram character strings are created.
  • a detailed example of creating a single character compression code map Ms, an upper divided character code compression code map Ms, a lower divided character code compression code map Ms, and a two-gram character string compression code map Ms will be described below.
  • the basic word compression code map Ms is omitted because it is performed in the same manner as the single character compression code map Ms.
  • FIG. 24 is an explanatory diagram showing an example of generating the compression code map Ms.
  • a character string “Ryoma has been removed” is described in the target file Fi.
  • the first character “dragon” is the target character. Since the target character “dragon” is a specific single character, the compression code of the specific single character “dragon” is acquired by accessing the 2 N- branch nodeless Huffman tree H, and the appearance map of the specific single character “dragon” is specified. To do. If it has not been generated, an appearance map of the specific single character “dragon” is generated with the compression code of the specific single character “dragon” as a pointer and the bit string indicating the existence of the target file set to all 0. Then, the bit of the target file Fi is turned ON (“0” ⁇ “1”) for the appearance map of the specific single character “dragon”.
  • the target character is shifted by 1 gram to make the target character “horse”. Since the target character “horse” is a specific single character, the compression code of the specific single character “horse” is obtained by accessing the 2 N- branch nodeless Huffman tree H, and the appearance map of the specific single character “horse” is specified. To do. If not generated, an appearance map of the specific single character “horse” is generated with the compression code of the specific single character “horse” as a pointer and the bit string indicating the existence of the target file set to all zeros. Then, the bit of the target file Fi is turned ON (“0” ⁇ “1”) for the appearance map of the specific single character “horse”.
  • (C) Next, the target character is shifted by 1 gram to change the target character to “ha”.
  • the target character “ha” is processed in the same manner as (B), so that the bit of the target file Fi is turned ON (“0” ⁇ “1”) for the appearance map of the specific single character “ha”. Similarly, the bit of the target file Fi is turned ON (“0” ⁇ “1”) in the appearance map of the bi-gram character string “Hamaha”.
  • the target character is shifted by 1 gram, and the target character is set to “Remove”. Since the target character “O” is not a specific single character, the character code “0x811” of the target character “O” is divided into an upper divided character code “0x81” and a lower divided character code “0x31”. Then, the target character is set to the upper divided character code “0x81”. The upper divided character code “0x81” is processed in the same manner as the specific single character, so that the bit of the target file Fi is turned ON (“0” ⁇ “1”) for the appearance map of the upper divided character code “0x81”. . Similarly, the bit of the target file Fi is turned ON (“0” ⁇ “1”) in the appearance map of the bi-gram character string “ha 0x81”.
  • FIG. 25 is a flowchart showing an example of a compression code map creation processing procedure by the creation unit 1104.
  • the computer 1100 executes tabulation processing (step S2501), map allocation number determination processing (step S2502), recounting processing (step S2503), Huffman tree generation processing (step S2504), and map creation processing (step S2505).
  • the computer 1100 executes a totaling process (step S2501) to a recounting process (step S2503) by the totaling unit 1101.
  • the first generation unit 1102 executes a Huffman tree generation process (step S2504), and the generation unit 1104 executes a map generation process (step S2505).
  • the aggregation process (step S2501) is a process of counting the number of appearances (also referred to as appearance frequency) of single characters and basic words in the target file group Fs.
  • the map allocation number determination process (step S2502) is a process of determining the map allocation number for the single characters and basic words totaled in the totaling process (step S2501). The single character and the basic word of the appearance order corresponding to the map allocation number become the specific single character and the basic word, respectively.
  • the re-counting process is a process of dividing non-specific single characters other than the specific single character among the single characters to obtain upper divided character codes and lower divided character codes, and totaling the number of appearances of each. Further, in the recounting process (step S2503), the number of appearances of the bi-gram character string is also counted.
  • the Huffman tree generation process (step S2504) is a process for generating a 2 N -branch nodeless Huffman tree H as shown in FIGS.
  • the map creation process (step S2505) is a process of generating a compression code map M for a specific single character, basic word, upper divided character code, lower divided character code, and bi-gram character string.
  • FIG. 26 is a flowchart illustrating a detailed processing procedure example of the aggregation processing (step S2501) illustrated in FIG.
  • step S2604 If i> n is not satisfied (step S2604: NO), the computer 1100 increments i (step S2605) and returns to step S2602. On the other hand, if i> n is satisfied (step S2604: YES), the computer 1100 shifts to the map allocation number determination process (step S2502) shown in FIG. 25 and ends the aggregation process (step S2501). According to this tabulation process (step S2501), the tabulation process (step S2603) of the target file Fi can be executed for each target file Fi.
  • FIG. 27 is a flowchart illustrating a detailed processing procedure example of the target file Fi counting process (step S2603) illustrated in FIG.
  • the computer 1100 sets the target character as the first character of the target file Fi (step S2701), and executes basic word tabulation processing (step S2702). Details of the basic word totaling process (step S2702) will be described with reference to FIG. Thereafter, the computer 1100 increments the appearance count of the target character by 1 in the character appearance frequency tabulation table (step S2703).
  • FIG. 28 is an explanatory diagram showing a character appearance frequency tabulation table.
  • the character appearance frequency totaling table 2800 is stored in a storage device such as the RAM 903 and the magnetic disk 905, and increases the number of appearances by one each time a corresponding character appears.
  • the computer 1100 determines whether or not the target character is the last character of the target file Fi (step S2704). If the target character is not the last character of the target file Fi (step S2704: No), the computer 1100 shifts the target character by one character toward the end (step S2705), and returns to step S2702.
  • step S2704 if the target character is the last character of the target file Fi (step S2704: Yes), the computer 1100 proceeds to step S2604 and ends the tabulation process of the target file Fi (step S2603). According to the totaling process (step S2603) of the target file Fi, the appearance frequencies of basic words and single characters existing in the target file group Fs can be totaled.
  • FIG. 29 is a flowchart showing a detailed processing procedure example of the basic word totaling process (step S2702) shown in FIG.
  • the computer 1100 executes the longest match search process (step S2901), and determines whether there is a longest matching basic word (step S2902). Details of the longest match search process (step S2901) will be described with reference to FIG. If there is a longest matching basic word (step S2902: Yes), the computer 1100 increments the longest matching basic word appearance count in the basic word appearance frequency tabulation table by 1 (step S2903), and the process proceeds to step S2703.
  • FIG. 30 is an explanatory diagram showing a basic word appearance frequency tabulation table.
  • the basic word appearance frequency totaling table 3000 is stored in a storage device such as the RAM 903 and the magnetic disk 905, and increases the number of appearances by one each time the corresponding basic word appears.
  • step S2902 determines whether there is no longest matching basic word. If there is no longest matching basic word (step S2902: No), the process proceeds to step S2703. Thereby, the basic word totaling process (step S2702) is terminated. According to this basic word totaling process (step S2702), since the basic words can be counted by the longest match search process (step S2901), basic words having a long character string can be preferentially counted.
  • FIG. 31 is a flowchart showing a detailed processing procedure of the longest match search process (step S2901) shown in FIG.
  • the computer 1100 performs a binary search for a basic word that matches forward with the target character string from the target character to the c-th character (step S3102). Then, the computer 1100 determines whether or not there is a basic word by the search (step S3103). When the basic word is not hit by the binary search (step S3103: No), the process proceeds to step S3106.
  • step S3103: Yes when the basic word is hit by the binary search (step S3103: Yes), the computer 1100 determines whether or not the hit basic word and the target character string completely match (step S3104). And when it does not correspond completely (step S3104: No), it transfers to step S3106. On the other hand, if there is a complete match (step S3104: Yes), the computer 1100 holds the longest match candidate in the storage device (step S3105), and proceeds to step S3106.
  • step S3106 the computer 1100 determines whether or not the binary search has been completed for the target character string (step S3106). Specifically, the computer 1100 determines whether a binary search has been performed up to the last basic word. If the binary search has not ended (step S3106: No), the computer 1100 proceeds to step S3102 and continues until the binary search ends.
  • step S3106 determines whether or not the binary search is completed for the target character string (step S3106: Yes).
  • the computer 1100 determines whether or not the c-th character is the last character of the target file Fi (step S3107).
  • the process proceeds to step S3110.
  • the computer 1100 determines whether c> cmax is satisfied (step S3108).
  • cmax is a preset value, whereby the upper limit number of characters of the target character string is set.
  • step S3108: NO the computer 1100 increments c (step S3109) and returns to step S3102.
  • step S3108: YES the computer 1100 determines whether there is a longest match candidate. Specifically, the computer 1100 determines whether at least one longest match candidate is held in the memory in step S3105.
  • step S3110: Yes If there is the longest match candidate (step S3110: Yes), the computer 1100 determines the longest character string among the longest match candidates as the longest matching basic word (step S3111). Then, control goes to a step S2902. On the other hand, if there is no longest match candidate in step S3110 (step S3110: No), the process proceeds to step S2902. Thus, the longest match search process (step S2901) is terminated. According to the longest match search process (step S2901), it is possible to search for the longest character string as the basic word in the character string that is completely matched from the basic words in the basic word structure.
  • FIG. 32 is a flowchart showing a detailed processing procedure example of the map allocation number determination processing (step S2502) shown in FIG.
  • Aw is the total number of appearances of the aggregated basic words.
  • step S3204 NO
  • the computer 1100 increments the appearance rank Rw (step S3205) and returns to step S3203. That is, the appearance rank Rw is continuously lowered until the above formula (1) is satisfied.
  • the map allocation number Nw is the number of basic words allocated to the basic word appearance map generated in the map creation process (step S3205), and means the number of records (number of lines) in the basic word appearance map.
  • step S3209: NO the computer 1100 increments the appearance rank Rc (step S3210) and returns to step S3208. That is, the appearance rank Rc is continuously lowered until the above formula (2) is satisfied.
  • step S3209 YES
  • the map allocation number Nc is the number of specific single characters allocated to the specific single character appearance map generated in the map creation process (step S2505), and means the number of records (number of lines) of the specific single character appearance map. To do. Thereafter, the process proceeds to the recounting process (step S2503), and the map allocation number determining process (step S2502) is ended.
  • the basic word appearance map can be generated for the number of basic words corresponding to the target appearance rate Pw in the map creation process (step S2505). Therefore, it is not necessary to perform map assignment for all basic words, and the map size can be optimized because it is determined according to the target appearance rate Pw.
  • the compression code map M of specific single characters can be generated for the number of single characters corresponding to the target appearance rate Pc in the map creation process (step S2505). Therefore, it is not necessary to perform map assignment for all single characters, and the map size can be optimized because it is determined according to the target appearance rate Pc.
  • FIG. 33 is a flowchart illustrating a detailed processing procedure example of the recounting process (step S2503) illustrated in FIG.
  • step S3304 If i> n is not satisfied (step S3304: NO), the computer 1100 increments i (step S3305) and returns to step S3302. On the other hand, if i> n is satisfied (step S3304: YES), the computer 1100 proceeds to the Huffman tree generation process (step S3204) shown in FIG. 25 and ends the recounting process (step S3203). According to the recounting process (step S3203), the recounting process (step S3303) of the target file Fi can be executed for each target file Fi.
  • FIG. 34 is a flowchart illustrating a detailed processing procedure example of the recalculation processing (step S3303) of the target file Fi.
  • the computer 1100 sets the target character as the first character of the target file Fi (step S3401), and determines whether the target character is a specific single character (step S3402). When it is a specific single character (step S3402: Yes), it transfers to step S3404 without dividing
  • step S3402 if it is not a specific single character (step S3402: NO), the computer 1100 divides the character code of the target character into an upper divided character code and a lower divided character code (step S3403). Then, the process proceeds to step S3404.
  • step S3404 the computer 1100 adds 1 to the upper divided character code appearance frequency tabulation table, the number of appearances of the same divided character code as the upper divided character code obtained in step S3403 (step S3404).
  • FIG. 35 is an explanatory diagram of an upper divided character code appearance frequency tabulation table.
  • the upper divided character code appearance frequency totaling table 3500 is stored in a storage device such as the RAM 903 and the magnetic disk 905, and increases the number of appearances by one each time the corresponding upper divided character code appears.
  • the computer 1100 adds 1 to the lower divided character code appearance frequency tabulation table, the number of appearances of the same divided character code as the lower divided character code obtained in step S3403 (step S3405).
  • FIG. 36 is an explanatory diagram showing a lower divided character code appearance frequency tabulation table.
  • the lower divided character code appearance frequency totaling table 3600 is stored in a storage device such as the RAM 903 and the magnetic disk 905, and increases the number of appearances by one each time the corresponding lower divided character code appears.
  • the computer 1100 executes a bi-gram character string specifying process (step S3406).
  • a bi-gram character string specifying process step S3406
  • a bi-gram character string having the target character as a base point is specified. Details of the bi-gram character string specifying process (step S3406) will be described with reference to FIG.
  • the computer 1100 adds 1 to the number of occurrences of the bi-gram character string specified in the bi-gram character string identification process (step S3406) to the bi-gram character string appearance frequency tabulation table (step S3407).
  • FIG. 37 is a flowchart showing a detailed processing procedure of the bi-gram character string specifying process (step S3406) shown in FIG.
  • the computer 1100 determines whether the target character has been divided with respect to the target character (step S3701). That is, the computer 1100 determines whether the target character is a divided character code. If it is not divided (step S3701: NO), that is, if it is a single character, the computer 1100 determines whether there is a previous character (step S3702).
  • step S3703 determines whether the previous character has been divided. That is, the computer 1100 determines whether the previous character is a divided character code.
  • step S3703: No that is, in the case of a single character
  • the computer 1100 converts the character string consisting of the single character immediately preceding the target character and the target character (single character) into a bi-gram character string. Determination is made (step S3704). Then, control goes to a step S3407.
  • step S3703 YES
  • step S3703: YES the computer 1100 determines that the character string including the lower divided character code, which is the previous character, and the target character is a bi-gram character string. Then, control goes to a step S3407.
  • step S3702 when there is no previous character (step S3702: No), only the target character is obtained, and the process proceeds to step S3407 without determining the bi-gram character string.
  • step S3701 If the target character is divided in step S3701 (step S3701: YES), that is, if it is a divided character code, the computer 1100 determines whether the divided character code is an upper divided character code or a lower divided character code. Is determined (step S3706).
  • step S3706 If it is the upper divided character code (step S3706: upper), the computer 1100 determines whether or not the previous character has been divided (step S3707). That is, it is determined whether or not the previous character is a divided character code. When the character is not divided (step S3707: No), that is, when the character is a single character, the computer 1100 determines that the character string composed of the single character preceding the target character and the upper divided character code divided from the target character is 2 The gram character string is determined (step S3708). Then, control goes to a step S3407.
  • step S3707 determines a character string composed of the lower divided character code which is the previous character and the upper divided character code divided from the target character as a bi-gram character string (step S3709). Then, control goes to a step S3407.
  • step S3706 if the character code is a lower divided character code (step S3706: lower order), the computer 1100 converts the character string composed of the upper divided character code and the lower divided character code divided from the target character into a bi-gram character string. Determination is made (step S3710). Then, control goes to a step S3407.
  • this bi-gram character string specifying process (step S3406), it is possible to specify a bi-gram character string even when the target character is divided. Further, since the bi-gram character string is specified according to the 1-character shift, it can be generated simultaneously with the compression code map M of the basic word and the compression code map M of the specific single character.
  • the number of basic words and the number of single characters to be created are limited by the target appearance rates Pw and Pc.
  • Map size optimization can be realized at the same time.
  • a plurality of types of map creation can be executed concurrently by shifting one character, and the efficiency of the creation of a plurality of types of maps used for high-precision search can be improved.
  • FIG. 38 is an explanatory view showing a 2-gram character string appearance frequency totaling table.
  • the bi-gram character string appearance frequency tabulation table 3800 is stored in a storage device such as the RAM 903 and the magnetic disk 905, and increases the number of appearances by one each time the corresponding bi-gram character string appears.
  • step S3408 determines whether or not a subsequent character of the target character exists in the target file Fi (step S3408). If there is a subsequent character (step S3408: Yes), the subsequent character is set as the target character. (Step S3409), it returns to step S3402. On the other hand, if there is no subsequent character (step S3408: No), the recalculation processing of the target file Fi (step S3303) is terminated, and the process proceeds to step S3304.
  • the upper divided character code, the lower divided character code, and the number of appearances of the bi-gram character string existing in the target file Fi can be totaled.
  • FIG. 39 is a flowchart showing a detailed processing procedure example of the Huffman tree generation processing (step S2504) shown in FIG.
  • the computer 1100 determines the upper limit length N of the compression code length (step S3901).
  • the computer 1100 executes correction processing (step S3902).
  • the correction processing is processing for correcting the occurrence probability and the compression code length for each character information using the upper limit length N of the compression code length, as described with reference to FIGS.
  • step S3904 the computer 1100 generates a leaf structure for each character information. Then, the computer 1100 executes the branch number specifying process (step S3904). In the branch number specifying process (step S3904), the number of branches per leaf is specified for each compression code length. Details of the branch number specifying process (step S3904) will be described with reference to FIG.
  • step S3905 Since the number of branches for each leaf structure is specified by the branch number specifying process (step S3904), first, the computer 1100 generates a group of pointers to the leaves for the number of branches for each leaf structure. Then, a group of pointers to leaves for each generated leaf structure is aggregated to form a root structure. As a result, a 2 N -branch nodeless Huffman tree H is generated. The generated 2 N -branch nodeless Huffman tree H is stored in a storage device (such as the RAM 903 or the magnetic disk 905) in the computer 1100. Thereafter, the process proceeds to the map creation process (step S2505) in FIG.
  • FIG. 40 is a flowchart showing a detailed processing procedure example of the branch number specifying process (step S3904) shown in FIG.
  • the computer 1100 calculates the total branch number B (L) of the compression code length CL (step S4005).
  • step S4006 the computer 1100 increments j, decrements the compression code length CL (step S4006), returns to step S4003, and determines whether or not the incremented j is j> D.
  • N 11
  • FIG. 41 is a flowchart showing a detailed processing procedure of the construction process (step S3905) shown in FIG.
  • the computer 1100 determines whether or not there is an unselected leaf with the compression code length CL (step S4102). If there is an unselected leaf (step S4102: Yes), the computer 1100 executes a pointer pointer generation process (step S4103) and returns to step S4102.
  • a leaf pointer group corresponding to the number of branches corresponding to the compression code length CL is generated for each leaf structure. Details of the leaf pointer generation process (step S4103) will be described with reference to FIG.
  • step S4102 determines whether CL> N is satisfied (step S4104). If CL> N is not satisfied (step S4104: NO), the computer 1100 increments CL (step S4105) and returns to step S4102. On the other hand, if CL> N (step S4104: Yes), the 2 N branching no-node Huffman tree H is constructed, and the process proceeds to step S2505. The information in the first area to the fifth area is stored in this construction process (step S3905).
  • FIG. 42 is a flowchart showing a detailed processing procedure of the leaf pointer generation processing (step S4103) shown in FIG.
  • the computer 1100 sets the bit length of the subsequent bit string of the pointer PL (k) to the selected leaf as a difference obtained by subtracting the compression code length CL of the selected leaf from the maximum compression code length N, and sets the initial value of the subsequent bit sequence to all. It is set to 0 (step S4204).
  • k 1, the subsequent bit string is all 0, so the subsequent bit string is “00000” of 5 bits.
  • the computer 1100 stores the pointer PL (k) to the selected leaf in the root structure (step S4205). Thereafter, the computer 1100 determines whether k> b (CL) is satisfied (step S4206).
  • b (CL) is the number of branches per leaf of the compression code length CL of the selected leaf. If k> b (CL) is not satisfied (step S4206: NO), since the pointers to the leaves have not been generated for all the branches assigned to the selected leaf, the computer 1100 increments k (step S4207).
  • step S4208 the computer 1100 increments the current subsequent bit string and concatenates the subsequent bit string after the increment to the end of the previous bit string, thereby newly generating a pointer PL (k) to the selected leaf (step S4208). .
  • the computer 1100 stores the pointer PL (k) to the selected leaf in the root structure (step S4209), and returns to step S4206.
  • step S4209 a group of pointers to leaves corresponding to the number of branches per leaf is generated.
  • step S4206 if k> b (CL) is satisfied (step S4206: YES), the process proceeds to step S4102.
  • the maximum branch number 2 N of 2 N branch-free node Huffman tree H can be set to the optimum number, 2 N min
  • the size of the branchless node Huffman tree H can be optimized.
  • the 2 N branchless nodeless Huffman tree with good compression efficiency H can be generated.
  • the computer 1100 converts the structure of each leaf of the 2 N -branch nodeless Huffman tree H, the structure of the basic word, the structure of the specific character code, and the structure of the divided character code into the characters of FIG. Browse and correlate information tables. Specifically, as described above, the leaf structure stores a specific character corresponding to the compression code stored in the leaf, a divided character code, a pointer to the leaf, and a pointer to the basic word.
  • the computer 1100 stores a pointer to the leaf storing the corresponding compression code for each basic word of the basic word structure.
  • the computer 1100 stores a pointer to a leaf that stores a corresponding compression code for each specific character of the specific character code structure.
  • the computer 1100 stores a pointer to a leaf storing a corresponding compression code for each divided character code of the divided character code structure.
  • FIG. 43 is a flowchart showing a detailed processing procedure example of the map creation processing (step S2505) shown in FIG.
  • step S4304: NO If i> ⁇ is not satisfied (step S4304: NO), the computer 1100 increments i (step S4305) and returns to step S4302. On the other hand, if i> ⁇ (step S4304: YES), the map creation process (step S2505) ends. According to this map creation process (step S2505), the map creation process (step S4303) of the target file Fi can be executed for each target file Fi.
  • FIG. 44 is a flowchart showing a detailed processing procedure of the map creation process (step S4303) of the target file Fi shown in FIG.
  • the computer 1100 sets the target character as the first character of the target file Fi (step S4401), basic word appearance map creation processing (step S4402), specific single character appearance map creation processing (step S4403), and bi-gram character string appearance map.
  • a creation process (step S4404) is executed.
  • step S4402 Details of the basic word appearance map creation process (step S4402) will be described with reference to FIG. Details of the specific single character appearance map creation process (step S4403) will be described with reference to FIG. Details of the bi-gram character string appearance map creation process (step S4404) will be described with reference to FIG.
  • the computer 1100 determines whether the target character is the last character of the target file Fi (step S4405). If the target character is not the end character of the target file Fi (step S4405: No), the computer 1100 shifts the target character by one character toward the end (step S4406) and returns to step S4402. On the other hand, if the target character is the last character of the target file Fi (step S4405: Yes), the process proceeds to step S4304, and the map creation process of the target file Fi (step S4303) is terminated.
  • the basic word appearance map, the specific single character appearance map, and the bi-gram character string appearance map are generated in parallel while shifting the target character one character at a time. be able to.
  • FIG. 45 is a flowchart showing a detailed processing procedure example of the basic word appearance map creation processing (step S4402) shown in FIG.
  • the computer 1100 executes the longest match search process for the target character (step S4501).
  • the detailed processing procedure of the longest match search process (step S4501) is the same as the longest match search process (step S2901) shown in FIG.
  • the computer 1100 determines whether or not there is a longest matching basic word, that is, a basic word (step S4502). If there is no longest matching basic word (step S4502: No), the process proceeds to a specific single character appearance map creation process (step S4403). On the other hand, when there is a longest matching basic word (step S4502: Yes), the computer 1100 determines whether a basic word appearance map has been set for the longest matching basic word (step S4503).
  • step S4503 If already set (step S4503: YES), the process proceeds to step S4506. On the other hand, if it has not been set (step S4503: No), the computer 1100 accesses the leaf of the longest matching basic word in the 2 N- branch nodeless Huffman tree H and acquires its compression code (step S4504). The computer 1100 sets the acquired compression code as a pointer to the basic word appearance map for the longest matching basic word (step S4505), and proceeds to step S4506. Thereafter, in step S4506, the computer 1100 turns on the bit of the target file Fi of the basic word appearance map for the longest matching basic word (step S4506).
  • step S4402 This completes the basic word appearance map creation process (step S4402), and proceeds to the specific single character appearance map creation process (step S4403).
  • step S4402 the basic word with the longest match for each target character can be created as a basic word.
  • FIG. 46 is a flowchart showing a detailed processing procedure example of the specific single character appearance map creation processing (step S4403) shown in FIG.
  • the computer 1100 performs a binary search for the target character with respect to the structure of the specific single character (step S4601), and determines whether or not they match (step S4602). If there is no matching single character (step S4602: NO), the computer 1100 executes a divided character code appearance map creation process (step S4603), and proceeds to a bi-gram character string appearance map creation process (step S4404). . Details of the divided character code appearance map creation processing (step S4603) will be described with reference to FIG.
  • step S4602 determines that the single character searched for binary in the 2 N- branch nodeless Huffman tree H The leaf is accessed and the compression code is acquired (step S4604). Then, the computer 1100 determines whether or not a specific single character appearance map has been set for the acquired compressed code (step S4605). If already set (step S4605: YES), the process proceeds to step S4607.
  • step S4605 the computer 1100 sets the acquired compression code as a pointer to the specific single character appearance map for the single character searched for in two (step S4606). The process moves to S4607. Thereafter, in step S4607, the bit of the target file Fi of the specific single character appearance map for the single character searched for in two is turned ON (step S4607).
  • step S4403 This completes the specific single character appearance map creation process (step S4403) and proceeds to the bi-gram character string appearance map creation process (step S4404).
  • step S4403 the target character searched for in two can be created as a specific single character.
  • FIG. 47 is a flowchart showing a detailed processing procedure example of the divided character code appearance map creation processing (step S4603) shown in FIG.
  • the computer 1100 divides the target character (step S4701), accesses the upper divided character code leaf in the 2 N- branch nodeless Huffman tree H, and obtains a compression code (step S4702). Then, the computer 1100 determines whether or not an upper divided character code appearance map has been set for the acquired compressed code (step S4703).
  • step S4703: YES If it has been set (step S4703: YES), the process proceeds to step S4705. On the other hand, if it has not been set (step S4703: No), the computer 1100 sets the acquired compression code as a pointer to the appearance map of the upper divided character code (step S4704), and proceeds to step S4705. Thereafter, in step S4705, the computer 1100 turns on the bit of the target file Fi in the appearance map of the upper divided character code divided from the target character (step S4705).
  • the computer 1100 accesses the leaf of the lower-order divided character code in the 2 N- branch nodeless Huffman tree H, and acquires the compression code (step S4706). Then, the computer 1100 determines whether or not the appearance map of the lower divided character code has been set for the acquired compressed code (step S4707). If already set (step S4707: YES), the process proceeds to step S4709.
  • step S4707 the computer 1100 sets the acquired compression code as a pointer to the appearance map of the lower divided character code (step S4708), and proceeds to step S4709. Thereafter, in step S4709, the computer 1100 turns on the bit of the target file Fi of the appearance map of the lower divided character code divided from the target character (step S4709).
  • step S4603 This completes the divided character code appearance map creation process (step S4603), and proceeds to the bi-gram character string appearance map creation process (step S4404).
  • step S4603 a single character lower than the rank corresponding to the target appearance rate Pc has a low appearance frequency, and therefore many OFF bits appear.
  • optimization of the map size of the compression symbol map Ms of the specific single character is not performed with respect to the single character lower than the rank corresponding to the target appearance rate Pc by excluding the appearance map of the specific single character appearance map. Can do.
  • the map sizes such as the compression code map Ms of the upper divided character code and the compression code map Ms of the lower divided character code are fixed. Set to the map. Therefore, regardless of the appearance rate set as the target appearance rate Pc, an increase in the map size can be prevented and memory saving can be achieved.
  • FIG. 48 is a flowchart showing a detailed processing procedure example of the bi-gram character string map creation processing (step S4404) shown in FIG.
  • the computer 1100 executes bigram character string specifying processing (step S4801).
  • the detailed processing procedure of the bi-gram character string specifying process (step S4801) is the same as the bi-gram character string specifying process (step S4806) shown in FIG.
  • step S4801 determines whether or not a bi-gram character string has been identified by the bi-gram character string identification process (step S4801) (step S4802). If not specified (step S4802: NO), the process proceeds to step S4405 in FIG.
  • step S4802 YES
  • the computer 1100 executes a bi-gram character string appearance map generation process (step S4803), and proceeds to step S4405.
  • FIG. 49 is a flowchart showing a detailed processing procedure example of the bi-gram character string appearance map generation processing (step S4803).
  • the computer 1100 determines 2 N branches for the first gram (specific single character or divided character code) of the bi-gram character string specified by the bi-gram character string specifying process (step S4801) of FIG.
  • the leafless node Huffman tree H is accessed to obtain a compression code (step S4901).
  • the computer 1100 accesses the leaves of the 2 N -branch nodeless Huffman tree H for the second gram (specific single character or divided character code), and acquires a compression code (step S4902).
  • step S4903 the computer 1100 concatenates the compression code of the first gram and the compression code of the second gram. Then, the computer 1100 determines whether or not an appearance map having the linked compression code as a pointer has been set (step S4904). If already set (step S4904: YES), the process proceeds to step S4906.
  • step S4904 sets the concatenated compression code to a pointer to the identified bigram character string appearance map (step S4905). Thereafter, in step S4906, the computer 1100 turns on the bit of the target file Fi in the appearance map of the identified bi-gram character string (step S4906).
  • the bi-gram character string appearance map can be directly designated by the concatenated compression code of the bi-gram character string.
  • FIG. 50 is an explanatory diagram illustrating a specific example of compression processing using the 2 N- branch nodeless Huffman tree H.
  • the computer 1100 acquires the compression target character code of the first character from the target file group Fs, and holds the position on the target file Fi. Then, the computer 1100 performs a binary tree search on the basic word structure 2300. Since the basic word is a character code string of two or more characters, when the compression target character code of the first character is hit, the second character code is acquired as the compression target character code.
  • the character code of the second character is searched from the position where the compression target character code of the first character is hit. Even after the third character, the binary tree search is repeated until a mismatched character code to be compressed appears.
  • a matching basic word ra (a is a leaf number) is searched, the structure of the leaf La is accessed by a pointer to the leaf La associated with the basic word structure 2300. Then, the computer 1100 searches for the compression code of the basic word ra stored in the structure of the access destination leaf La and stores it in the compression buffer 5000.
  • the computer 1100 sets the compression target character code of the first character in the register again, and performs a binary tree search for the structure 2100 of the specific single character.
  • the computer 1100 accesses the structure of the leaf Lb by a pointer to the leaf Lb. Then, the computer 1100 searches for the compression code of the character code eb stored in the structure of the access destination leaf Lb and stores it in the compression buffer 5000.
  • the computer 1100 divides the upper 8 bits and the lower 8 bits. Then, the computer 1100 performs a binary tree search for the divided character code structure 2200 for the upper 8-bit divided character code.
  • a matching divided character code Dc1 (c1 is a leaf number) is searched, the computer 1100 accesses the structure of the leaf Lc1 by using a pointer to the leaf Lc1. Then, the computer 1100 searches for the compression code of the divided character code Dc1 stored in the structure of the access destination leaf Lc1, and stores it in the compression buffer 5000.
  • the computer 1100 performs a binary tree search for the divided character code structure with respect to the divided character code of the lower 8 bits.
  • a matching divided character code Dc2 (c2 is a leaf number) is found
  • the computer 1100 accesses the structure of the leaf Lc2 by using a pointer to the leaf Lc2.
  • the computer 1100 searches for the compression code of the divided character code Dc2 stored in the structure of the access destination leaf Lc2, and stores it in the compression buffer 5000.
  • the target file Fi is compressed.
  • FIG. 51 is a flowchart illustrating an example of a compression processing procedure for the target file group Fs using the 2 N- branch nodeless Huffman tree H by the first compression unit 1103.
  • the computer 1100 executes a compression process (step S5103) and increments the file number: p (step S5104). Details of the compression processing (step S5103) will be described with reference to FIG.
  • step S5105 determines whether or not p> ⁇ is satisfied.
  • is the total number of files in the target file group Fs. If p> ⁇ is not satisfied (step S5105: NO), the process returns to step S5102. On the other hand, if p> ⁇ (step S5105: YES), the compression processing of the target file group Fs is terminated.
  • FIG. 52 is a flowchart (part 1) showing a detailed processing procedure of the compression processing (step S5103) shown in FIG.
  • the computer 1100 determines whether or not there is a compression target character code in the target file group Fs (step S5201). If there is (step S5201: YES), the computer 1100 acquires the compression target character code and sets it in the register (step S5202). Then, the computer 1100 determines whether or not it is the first compression target character code (step S5203).
  • the first character code to be compressed is the character code of the uncompressed first character.
  • the computer 1100 acquires a pointer that is the position (head position) of the compression target character code on the target file group Fs (step S5204), and proceeds to step S5205.
  • the process proceeds to step S5205 without acquiring the head position.
  • step S5205 the computer 1100 performs a binary tree search on the basic word structure 2300 (step S5205). If the compression target character codes match (step S5206: YES), the computer 1100 determines whether or not the continuously matched character code strings correspond to basic words (character code strings) (step S5207). If not applicable (step S5207: NO), the computer 1100 returns to step S5202 and acquires the subsequent character code as the compression target character code. In this case, since the subsequent character code is not the head, the head position is not acquired.
  • step S5207 if it corresponds to the basic word in step S5207 (step S5207: Yes), the computer 1100 accesses the structure of the leaf L # by the pointer to the leaf L # of the corresponding basic word (step S5208). Then, the computer 1100 extracts the compression code of the basic word stored in the pointed leaf L # structure (step S5209).
  • step S5210 stores the extracted compressed code in the compression buffer 5000 (step S5210), and returns to step S5201.
  • This loop is the flow of the basic word compression process.
  • step S5201 if there is no compression target character code (step S5201: No), the computer 1100 outputs the compressed file fp compressed from the target file Fp from the compression buffer 5000 and stores it (step S5211). Then, control goes to a step S5104. On the other hand, if no match is found in step S5206 (step S5206: No), a 16-bit character code compression processing loop is entered.
  • FIG. 53 is a flowchart (part 2) showing a detailed processing procedure of the compression processing (step S5103) shown in FIG.
  • the computer 1100 refers to the pointer at the head position acquired in step S5204, acquires the compression target character code from the target file group Fs, and sets it in the register (step S5301).
  • the computer 1100 performs a binary tree search for the specific single character structure 2100 for the compression target character code (step S5302). If they match (step S5303: YES), the computer 1100 accesses the structure of the leaf L # with a pointer to the leaf L # of the corresponding character (step S5304). Then, the computer 1100 extracts the compression code of the character code to be compressed stored in the structure of the pointed leaf L # (step S5305).
  • step S5306 the computer 1100 stores the searched compression code in the compression buffer 5000 (step S5306), and returns to step S5201.
  • This loop is a flow of compression processing of a 16-bit character code.
  • step S5303 NO
  • the process enters a compression process for the divided character code.
  • FIG. 54 is a flowchart (part 3) showing a detailed processing procedure of the compression processing (step S5103) shown in FIG.
  • the computer 1100 divides the compression target character code into upper 8 bits and lower 8 bits (step S5401), and extracts upper 8 bits of divided character codes (step S5402). Then, the computer 1100 performs a binary tree search for the divided character code structure 2200 (step S5403).
  • the computer 1100 accesses the structure of the leaf L # by using the pointer to the leaf L # of the searched divided character code (step S5404). Then, the computer 1100 extracts the compression code of the divided character code stored in the structure of the pointed leaf L # (step S5405). Thereafter, the computer 1100 stores the searched compression code in the compression buffer 5000 (step S5406).
  • step S5407 determines whether or not the lower 8 bits have been searched (step S5407), and if not searched (step S5407: No), the computer 1100 extracts the divided character code of the lower 8 bits. (Step S5408), Steps S5403 to S5406 are executed. On the other hand, if the lower 8 bits have already been searched (step S5407: YES), the process returns to step S5301 to enter the basic word compression processing loop.
  • the structure of the leaf L # in which the compression target character code is stored can be immediately specified by the basic word structure, the specific single character code structure, and the divided character code structure. Therefore, it is not necessary to search for the leaves of the 2 N- branch nodeless Huffman tree H, and the compression process can be speeded up. Further, by dividing the low-order character code into the upper bit code and the lower bit code, the non-specific single character can be compressed into 256 types of divided character code compression codes. Therefore, the compression rate can be improved.
  • the second compression unit 1106 compresses the appearance map in the compression area, and does not compress the appearance map in the non-compression area.
  • the bit string from file number (2n + 1) to ⁇ is an uncompressed area and is not compressed.
  • the number of consecutive “0” s in the bit string increases as the file total number ⁇ increases.
  • an appearance rate area is set.
  • the appearance rate area is a range of appearance rates.
  • the Huffman tree h for appearance map compression is assigned according to the appearance rate area.
  • FIG. 55 is an explanatory diagram showing the relationship between the appearance rate and the appearance rate area. If the appearance rate is in the range of 0 to 100%, as shown in FIG. 55, the area can be divided into areas A to E and areas A ′ to E ′. Accordingly, the Huffman tree h for appearance map compression is assigned as a compression pattern in accordance with the appearance rate area specified in the areas A to E and A ′ to E ′.
  • FIG. 56 is an explanatory diagram showing a compression pattern table having compression patterns for each appearance rate area. Since the appearance rate is stored in the fifth area of the structure of the leaf L # as shown in FIG. 20, the structure of the leaf L # is designated, so that the compression pattern table 5600 is referred to. The compression pattern is specified. Note that the A region and the A ′ region are not compressed, so there is no Huffman tree that becomes a compression pattern.
  • FIG. 57 is an explanatory diagram showing compression patterns in the case of the B region and the B ′ region.
  • the compression pattern 5700 is a Huffman tree h having 16 types of leaves.
  • FIG. 58 is an explanatory diagram showing compression patterns in the case of the C region and the C ′ region.
  • the compression pattern 5800 is a Huffman tree h with 16 types and 1 type of leaves.
  • the number of places where “0” continues or the place where “1” continues is probabilistically larger than in the B area and the B ′ area. Therefore, the code word “00” is assigned to a bit string whose value is “0” continuously for 16 bits.
  • FIG. 59 is an explanatory diagram showing compression patterns in the case of the D region and the D ′ region.
  • the compression pattern 5900 is a Huffman tree with 16 types and 1 type of leaves.
  • the code word “00” is assigned to a bit string whose value is “0” continuously for 32 bits.
  • FIG. 60 is an explanatory diagram showing compression patterns for the E region and the E ′ region.
  • the compression pattern 6000 is a Huffman tree with 16 types and 1 type of leaves. In the compressed pattern 6000, there are probabilistically more places where “0” continues or where “1” continues than in the D region and the D ′ region. Therefore, the code word “00” is assigned to a bit string whose value is “0” for 64 consecutive bits. As described above, the number of consecutive “0” s indicating that there is no character code increases in accordance with the appearance rate area, so that the compression efficiency of the compression symbol map Ms is improved according to the appearance rate of the character code. be able to.
  • compression symbol map compression processing is a process for compressing a bit string in a compression area. Specifically, the bit string in the compression area of the compression code map Ms is compressed using the compression pattern table 5600 shown in FIG. 56 and the compression patterns 5700 to 6000 (Huffman tree h) shown in FIGS. Hereinafter, the compression symbol map compression processing procedure will be described.
  • FIG. 61 is a flowchart showing a compression symbol map compression processing procedure.
  • the computer 1100 determines whether or not there is a pointer to an unselected appearance map in the compression symbol map Ms (step S6101). If there is an unselected address (step S6101: Yes), the computer 1100 selects the unselected address to access the structure of the leaf L # (step S6102), and the first area of the structure of the leaf L # The character code is acquired from the list (step S6103). Then, the computer 1100 acquires the appearance rate area from the fifth area of the structure of the access destination leaf L #, thereby specifying the appearance rate area of the acquired character code (step S6104).
  • the computer 1100 refers to the compression pattern table 5900 of FIG. 59 to determine whether or not the identified appearance rate area is a non-compressed area (for example, the appearance ratio areas A and A ′) (step). S6105). If it is an uncompressed area (step S6105: YES), the process returns to step S6101, and the next address is selected.
  • a non-compressed area for example, the appearance ratio areas A and A ′
  • step S6105 the computer 1100 uses the specified appearance rate region to perform the corresponding compression from the compression patterns 5700 to 6000 (Huffman tree h) shown in FIGS. A pattern (Huffman tree h) is selected (step S6106). Further, the computer 1100 extracts a bit string of the compression area in the appearance map of the acquired character code to be compressed (step S6107).
  • the computer 1100 determines whether the appearance rate of the acquired character code is 50% or more (step S6108).
  • the appearance rate is a value in which the total number of files in the target file group Fs is a population (denominator) and the number of files in which the character information exists is a numerator. Since the appearance rate area is determined according to the appearance rate (see FIG. 55), when the appearance rate area is A to E, it is determined that the appearance rate of the acquired character code is not 50% or more. On the other hand, when the appearance rate area is A ′ to E ′, the computer 1100 determines that the appearance rate of the acquired character code is 50% or more.
  • step S6108 If the appearance rate is 50% or more (step S6108: Yes), the computer 1100 inverts the bit string extracted in step S6107 in order to increase the compression efficiency (step S6109). For example, when the extracted bit string is “1110”, it is set to “0001” and the number of “0” is increased. Then, the computer 1100 compresses the inverted bit string using the Huffman tree selected in step S6106 and stores the compressed bit string in a storage device (for example, flash memory or magnetic disk 205) (step S6110). Then, the process returns to step S6101. In this way, by performing bit string inversion, it is not necessary to prepare the Huffman tree h for the appearance rate areas A ′ to E ′, so that memory saving can be achieved.
  • a storage device for example, flash memory or magnetic disk 205
  • step S6108 when the appearance rate is not 50% or more in step S6108 (step S6108: No), the computer 1100 selects the bit string extracted in step S6107 without performing the bit string inversion (step S6109) in step S6106. Compression is performed using the Huffman tree (step S6110), and the process returns to step S6101. In step S6101, if there is no unselected address (step S6101: NO), the compression symbol map compression process is terminated.
  • the bit string in the compression area is compressed according to the appearance rate for each character information.
  • the number of consecutive “0” s indicating that character information does not exist increases in accordance with the appearance rate area, so that the compression efficiency of the compression code map Ms is improved in accordance with the appearance rate of character information. be able to.
  • the target file is added later, when compressing the added target file, it is necessary to add a bit string indicating the presence or absence of characters to the compression code map Ms.
  • the bit string of the appearance map with the file numbers: 1 to ⁇ is compressed by the compression patterns 5700 to 6000, and the code length is different for each record. That is, since it has a variable length, it becomes a compression region.
  • the beginning (file number k side) of the compression code string is aligned, but the end (file number 1 side) is not aligned.
  • the bit string sequence is assigned in the order of the file numbers: 1 to ⁇ from the pointer to the compression code map Ms (compression code of character information)
  • the bit string of the additional file is inserted at the end of the compression code string.
  • the compression code string and the bit string of the additional file are discontinuous. Therefore, the bit strings in the compression area of the compression code map Ms are arranged in descending order of the file number p of the target file group Fs from the head position to the tail position in advance.
  • an uncompressed area is set between the pointer to the appearance map (compressed code of character information) and the compressed area.
  • the file number: 2n + 1 is assigned to the side where the compression code string is aligned among the file numbers: 1 to 2n + 1.
  • the bit string can be continued in the order of the file number even if the uncompressed file number: 2n + 1 to 3n is inserted.
  • the target file can be narrowed down accurately.
  • FIG. 62 is a block diagram showing a functional configuration example 2 of the computer or the computer system according to the present embodiment.
  • the computer 1100 includes a designation unit 6201, a first decompression unit 6202, a first compression unit 1103, an input unit 6203, an extraction unit 6204, a second decompression unit 6205, a specifying unit 6206, a segment A generating unit 6207.
  • the specification unit 6201 to the segment generation unit 6207 realize their functions by causing the CPU 901 to execute programs stored in a storage device such as the ROM 902, the RAM 903, and the magnetic disk 905 shown in FIG. .
  • the designation unit 6201 to the segment generation unit 6207 respectively write the execution results to the storage device and read the execution results of the other units, and execute the respective calculations.
  • the designation unit 6201 to segment generation unit 6207 will be briefly described below.
  • the designation unit 6201 accepts an open designation of any target file in the target file group Fs. Specifically, when the user operates a keyboard, a mouse, and a touch panel, the designation unit 6201 receives an open designation for the target file Fi. When the open designation is accepted, a pointer to the compressed file fi associated with the file number i of the target file Fi designated for opening is designated in the compression symbol map Ms. As a result, the compressed file fi of the target file Fi designated to be opened, which is stored at the point destination address, is read out.
  • the segment having the segment number that matches the quotient when the file number i of the designated target file Fi is divided by the number K of segments in the 0th layer is specified. Thereby, the compressed file fi can be designated from the identified segment.
  • the designation unit 6201 accepts additional designation of the target file Fi. Specifically, when the user operates a keyboard, a mouse, and a touch panel, the specification unit 6201 receives an additional specification of the target file Fi. When the additional designation is accepted, the additionally designated target file Fi is compressed by the 1 N compression section 1103 with the 2 N branching no-node Huffman tree H, and stored as the compressed file fi in the last segment of the 0th hierarchy. Is done.
  • the designation unit 6201 accepts segment aggregation designation. Specifically, when the user operates a keyboard, a mouse, and a touch panel, the designation unit 6201 accepts segment aggregation designation.
  • the segment aggregation designation may be received by a timer at a predetermined time or a predetermined time unit.
  • the first decompressing unit 6202 decompresses the compressed file fi of the target file Fi with the 2 N branching no-node Huffman tree H. Specifically, for example, the first decompressing unit 6202 decompresses the compressed file fi of the target file Fi designated by the designating unit 6201 using the 2 N branching no-node Huffman tree H. Further, the target file Fi specified by the specifying unit 6206, which will be described later, is also expanded by the 2 N- branch nodeless Huffman tree H. A specific example of expansion will be described later.
  • the input unit 6203 accepts input of a search character string. Specifically, when the user operates a keyboard, a mouse, and a touch panel, the input unit 6203 receives an input of a search character string. The input unit 6203 receives the search character string from the client device via the network, and accepts the input of the search character string.
  • the extraction unit 6204 extracts the compression code of the character information in the search character string input by the input unit 6203 from the 2 N branching no-node Huffman tree H. Specifically, for example, the extraction unit 6204 extracts corresponding character information from a search character string among a specific single character, an upper divided character code, a lower divided character code, a bi-gram character string, and a basic word.
  • the extraction unit 6204 can identify the compression code of the extracted character information by the 2 N -branch nodeless Huffman tree H and point to the corresponding appearance map of the compression code map Ms. For example, a compressed appearance map of a specific single character “person”, a compressed appearance map of “shape”, and a compressed appearance map of a bi-gram character string “doll” may be pointed to.
  • the master server MS extracts character information by the extraction unit 6204 and acquires a compressed code of the extracted character information by the 2 N- branch nodeless Huffman tree H. Since the acquired compressed code becomes a pointer to the appearance map, it is transmitted to the slave servers S1, S2,.
  • the second decompressing unit 6205 decompresses the compressed appearance map extracted by the extracting unit 6204. Specifically, since the appearance rate area can be specified from the appearance rate of the character information, the second decompressing unit 6205 uses the map Huffman tree corresponding to the specified appearance rate area to compress the compressed appearance map. Elongate. For example, in the above example, in all archive files (see FIG. 7), the compressed appearance map of the specific single character “person”, the compressed appearance map of “shape”, and the two-gram string “doll” The compressed appearance map of “” is decompressed.
  • the extension processing by the second extension unit 6205 is executed in each of the master server MS and the slave servers S1, S2,.
  • the identifying unit 6206 identifies the compressed file of the target file including the character information in the search character string from the compressed file group by performing an AND operation on the appearance map group and the deletion map D after being decompressed by the second decompressing unit 6205. To do.
  • the specifying unit 6206 includes a compressed appearance map of the specific single character “person”, a compressed appearance map of the “shape”, a compressed appearance map of the bi-gram character string “doll”, An AND operation is performed on the deletion map.
  • this AND operation is executed from the highest layer segment, finally narrowed down to the 0th layer segment, and the AND operation is executed on the narrowed down 0th layer segment.
  • the compressed appearance map of the bi-gram character string “doll” is omitted for simplification.
  • the master server MS narrows down the segment from the highest hierarchy to the first hierarchy by the specifying unit 6206, and manages the file number of the target file including the search character string.
  • the slave server that has received the file number narrows down the compressed file by performing an AND operation on the appearance map and the deletion map by the specifying process by the specifying unit 6206.
  • the first decompressing unit 6202 decompresses the compressed file identified by the identifying unit 6206 (compressed files f3 and f19 in the above example) with the 2 N branching no-node Huffman tree H.
  • the compressed file narrowed down by the slave server is transmitted to the master server MS.
  • the master server MS decompresses the compressed file from the slave server with the 2 N- branch nodeless Huffman tree H by the first decompression unit 6202.
  • the expanded target file (F3 and F19 in the above example) is displayed on a display device such as a display.
  • the master server MS transmits the expanded target file (F3, F19 in the above example) as a search result to the client device. If the compressed file is not specified by the specifying unit 6206, a search result to that effect is returned.
  • the segment generation unit 6207 determines whether or not the current total file number ⁇ is a multiple of the number n of files per segment. If it is a multiple of n, the last segment does not have a free area in which the compressed file of the target file that is additionally designated can be stored, so a segment in the 0th layer is newly generated. When a segment is newly generated, as shown in FIG. 1 and FIG. 6, association between management areas is performed. Then, the compressed file added to the new segment is sequentially stored.
  • a new segment 0 generation instruction is transmitted to the slave server having the last segment. If the slave server that holds the last segment does not have a free area that holds the new segment, a new segment generation instruction for the 0th hierarchy is transmitted to the other slave servers. Then, when a new segment is generated, the master server MS sequentially transmits the added compressed file. Thus, the added compressed file is sequentially stored in a new segment.
  • the segment generation unit 6207 aggregates the appearance map and the deletion map. Specifically, for example, as shown in FIG. 4, the segment generation unit 6207 performs aggregation to an upper hierarchy for each appearance map. Then, as shown in FIG. 4, the segment generation unit 6207 manages the management area of the upper-layer segment (for example, segment sg1 (1)) as the aggregation destination and the upper-layer segment group (for example, segment sg0) as the aggregation source. (1) to sg0 (m)) are associated with each management area. This aggregation process is similarly executed for the deletion map.
  • the upper-layer segment for example, segment sg1 (1)
  • the upper-layer segment group for example, segment sg0
  • FIG. 63 is an explanatory diagram of a file decompression example.
  • the processing shown in the file decompression example is executed by the input unit 6203, the extraction unit 6204, the second decompression unit 6205, the specifying unit 6206, and the first decompression unit 6202.
  • G1 First, when the search character string “doll” is input by the input unit 6203, the character “person” and “shape” constituting the search character string “doll” are divided into two parts with respect to the structure 2100 of the specific single character. By searching, specific single characters “person” and “form” are searched.
  • the specific single character structure 2100 is associated with a pointer to a leaf (specific single character) of the 2 N -branch nodeless Huffman tree H. Therefore, if a hit is made with a structure of a specific single character, the leaves of the 2 N -branch nodeless Huffman tree H can be directly specified.
  • the decompressed target file F3 is opened by collating and decompressing the extracted compressed file f3 in the compressed state.
  • the collation flag is ON for the “human” and “shaped” leaf structures, so when “human” and “shaped” are expanded, the character string is replaced and expanded.
  • “person” and “form” whose collation flag is ON are displayed in bold by expanding between ⁇ B> ⁇ / B> tags. Characters for which the collation flag is OFF are expanded as they are without being sandwiched by ⁇ B> ⁇ / B> tags.
  • a compression code string is set in a register, and a compression code is extracted using a mask pattern.
  • the extracted compression code is searched from the root of the 2 N -branch nodeless Huffman tree H in one pass (access for one branch). Then, the character code stored in the accessed structure of the leaf L # is read and stored in the decompression buffer.
  • the mask position of the mask pattern is offset.
  • the initial value of the mask pattern is “0xFFF00000”.
  • This mask pattern is a bit string in which the first 12 bits are “1” and the subsequent 20 bits are “0”.
  • FIG. 64 and 65 are explanatory diagrams showing a specific example of the decompression process in FIG.
  • FIG. 64 shows an extension example (A) for a specific single character “person”.
  • the CPU calculates a bit address abi, a byte offset byos, and a bit offset bios.
  • the bit address abi is a value indicating the bit position of the extracted compression code
  • the current bit address abi is a value obtained by adding the compression code length leg of the previously extracted compression code to the previous bit address abi.
  • a block in the memory indicates a 1-byte bit string, and an internal number indicates a byte position that is a byte boundary.
  • the compression code string of 4 bytes (shaded in the figure) from the beginning of the compression code string held in the memory is set in the register.
  • the character code “0xBA4E” is stored in the structure of the leaf L97, the character code “0xBA4E” is extracted and stored in the decompression buffer. In this case, since the collation flag is ON, the character code “0xBA4E” is sandwiched between ⁇ B> ⁇ / B> tags and stored.
  • the mask pattern is “0x3FFC0000”. Therefore, an AND result is obtained by performing an AND operation on the compression code string set in the register and the mask pattern “0x3FFC0000”.
  • the character code “0x625F” is stored in the structure of the leaf L105, the character code “0x625F” is extracted and stored in the decompression buffer.
  • the file decompression example (G1) it is stored in the decompression buffer as it is, but in the case of the file decompression example (G2), since the collation flag is ON, the character code “0x625F” is set to the ⁇ B> ⁇ / B> tag. Put it in and store it.
  • the segment generation unit 6207 adds the target file F (n + 1) to be added and updates the compression code map Ms without expanding the compressed compression code map Ms.
  • FIG. 66 is an explanatory diagram showing a specific example of the file addition process.
  • the target file F (n + 1) is added will be described as an example.
  • the compressed file f3 is expanded from the compressed file group fs and the expanded target file F3 is written on the main memory (for example, the RAM 903) in the file expansion example of FIG.
  • the file is changed to the target file F (n + 1) and a new save instruction is given.
  • the newly assigned file number n + 1 is assigned to the target file F (n + 1) on the main memory. That is, since the segment sg0 (1) has no free space, the segment sg0 (2) is set and is associated with the segment sg0 (1).
  • the target file F (n + 1) is compressed with the 2 N branching no-node Huffman tree H to form a compressed file f (n + 1), which is stored in the segment sg0 (2).
  • the presence / absence of character information can be detected by counting the character information of the target file F (n + 1) on the main memory by the counting unit 1101. Therefore, the newly assigned bit of the file number n + 1 is added to the appearance map of each character information (default is OFF), and the bit where the character information appears is turned ON. Further, the bit of the file number n + 1 is added to the deletion map D (default is ON).
  • the master server MS sends the compressed file f (m ⁇ n + 1) of the target file F (m ⁇ n + 1) to the slave server S2 that is the allocation destination. Send. It is assumed that the slave server to be assigned is determined in advance.
  • the slave server S2 generates the segment sg0 (m + 1) as a subsequent segment of the segment sg0 (m) of the slave server S1, and stores the compression f (m ⁇ n + 1) from the master server MS.
  • FIG. 67 is a flowchart showing a detailed processing procedure of the segment addition processing.
  • the computer 1100 waits for designation of file addition by the designation unit 6201 (step S6701: No).
  • the computer 1100 specifies the storage target segment sg0 (K) (step S6702). Specifically, a segment having the same number as the quotient obtained by dividing the number of files i by the number of files n per segment is set as a storage target segment sg0 (K).
  • the computer 1100 increments the number of files i (step S6703), and determines whether i> Kn is satisfied (step S6704). If i> Kn is not satisfied (step S6704: NO), since the compressed file can still be stored in the current segment sg0 (K), the computer 1100 executes map update processing using the additional file (step S6709). Details of the map update processing using the additional file (step S6709) will be described later.
  • the computer 1100 compresses the additional file with the 2 N- branch nodeless Huffman tree H (step S6710), and stores the compressed additional file in the storage target segment sg0 (K) (step S6711). Then, the computer 1100 associates a pointer to the compressed additional file with the management area AK of the storage target segment sg0 (K) (step S6712). Thereby, the segment addition process is terminated.
  • step S6704 if i> Kn (step S6704: Yes), the computer 1100 maps the compression symbol map of the current segment sg0 (K) because the compressed additional file cannot be stored in the current segment sg0 (K). Compress with the Huffman tree (step S6705). Then, the computer 1100 secures a new segment area (step S6706) and increments the segment number K (step S6707). Thereafter, the computer 1100 executes a pointer linking process between the incremented segment sg0 (K) and the preceding segment (step S6708). As a result, as shown in FIG. 1, it is associated with the preceding segment. Thereafter, the process proceeds to step S6709.
  • FIG. 68 is a flowchart (first half) showing a detailed processing procedure of the map update processing (step S6709) using the additional file shown in FIG.
  • the computer 1100 sets the bit of the file number of the additional file in the compression code map Ms and the deletion map Ds (step S6801). Specifically, for the appearance map, the OFF bit is set for the file number of the additional file, and for the deletion map D, the ON bit is set for the file number of the additional file.
  • the computer 1100 sets the first character in the additional file as the target character (step S6802), and executes the longest match search process for the target character (step S6803).
  • the longest match search process is the same process as the process shown in FIG.
  • step S6804 determines whether or not the longest matching basic word is in the basic word structure 2300 (step S6804). If not (step S6804: NO), the process proceeds to step S6901 in FIG. On the other hand, if there is one (step S6804: Yes), the computer 1100 identifies the compression code of the longest matching basic word from the 2 N -branch nodeless Huffman tree H, and the longest matching basic word appears by the compression code. A map is designated (step S6805). Then, the computer 1100 turns on the bit corresponding to the file number of the additional file in the designated appearance map (step S6806). Thereafter, the process proceeds to step S6901 in FIG.
  • FIG. 69 is a flowchart (second half) showing a detailed processing procedure of the map update processing (step S6709) using the additional file shown in FIG.
  • the computer 1100 determines whether or not the target character is a specific single character (step S6901). Specifically, for example, the computer 1100 determines whether or not the target character has hit with a structure of a specific single character.
  • step S6901 When the target character is a specific single character (step S6901: Yes), the computer 1100 identifies the compression code of the specific single character that has been hit from the 2 N- branch nodeless Huffman tree H, and hits with the compression code An appearance map of a specific single character is designated (step S6902). Then, the computer 1100 turns on the bit corresponding to the file number of the additional file in the designated appearance map (step S6903). Thereafter, the process proceeds to step S6909.
  • step S6901 the computer 1100 divides the target character into an upper divided character code and a lower divided character code (step S6904). Then, the computer 1100 specifies the compression code of the upper divided character code hit in the divided character code structure from the 2 N branching no-node Huffman tree H, and the appearance of the hit upper divided character code by the compression code A map is designated (step S6905). Then, the computer 1100 turns on the bit corresponding to the file number of the additional file in the designated appearance map (step S6906).
  • the computer 1100 identifies the compression code of the lower divided character code hit in the divided character code structure from the 2 N branching no-node Huffman tree H, and the hit lower divided character code is identified by the compression code.
  • An appearance map is designated (step S6907).
  • the computer 1100 turns on the bit corresponding to the file number of the additional file in the designated appearance map (step S6908). Thereafter, the process proceeds to step S6909.
  • step S6909 the computer 1100 executes a bi-gram character string specifying process (step S6909).
  • the bi-gram character string specifying process (step S6909) is the same as the process shown in FIG.
  • the computer 1100 concatenates the compression code of the first gram character (for example, “people”) and the compression code of the last gram character (for example, “shape”) in the 2-gram character string (for example, “doll”). (Step S6910).
  • the computer 1100 designates the appearance map of the bi-gram character string using the concatenated compression code (step S6911).
  • the computer 1100 turns on the bit corresponding to the file number of the additional file in the designated appearance map (step S6912), and ends the series of processes.
  • the segment hierarchization process is a process of aggregating the index information group of the lower layer segment group into the index information of the upper layer.
  • the segment generation processing is executed by the segment generation unit 6207.
  • FIG. 70 is a flowchart showing a detailed processing procedure of segment stratification processing.
  • the computer 1100 waits for segment aggregation designation by the designation unit (step S7001: No).
  • the computer 1100 sequentially selects a compression code that is a pointer for designating the appearance map (step S7002).
  • step S7002: Yes the computer 1100 selects one unselected compressed code (step S7003), and executes a selected appearance map aggregation process. ). Details of the selection appearance map aggregation processing (step S7004) will be described later.
  • step S7004 After the selected appearance map aggregation process (step S7004), the process returns to step S7002. If there is no unselected compression code (step S7002: No), the computer 1100 executes a deletion map aggregation process (step S7005). Details of the deletion map aggregation processing (step S7005) will be described later. Thereby, the segment hierarchization process is completed.
  • FIG. 71 is a flowchart showing a detailed processing procedure of the selected appearance map aggregation processing (step S7004) shown in FIG.
  • f is a target hierarchy number
  • h is a hierarchy number of an upper hierarchy of the target hierarchy.
  • j is a segment number.
  • the computer 1100 determines whether or not there is a free area of the compressed file in the segments sgf (j) to sgf (j + m ⁇ 1) of the f-th layer that is the target layer (step S7102).
  • m is the number of segments that can be aggregated.
  • step S7102 If there is no free space (step S7102: No), since the compressed file is stored at the maximum in each of the segments sgf (j) to sgf (j + m ⁇ 1) of the f-th layer, the computer 1100 It is determined whether or not the segment has been aggregated in a segment sgh (j) of a certain h layer (step S7103). Specifically, for example, the computer 1100 determines whether or not the h-th layer segment sgh (j) exists.
  • step S7103 NO
  • the computer 1100 sets the upper segment sgh (j) and secures an index area for the selected compression code in the upper segment sgh (j) (step S7104).
  • a j is set (step S7105).
  • a is a variable that identifies the target segment sgh (j).
  • the bit string which is the index information of the extracted segment sgf (a) is all 0, that is, the character information about the selected compression code exists in any of the compressed file groups in the segment sgf (a). It is determined whether it is not (step S7108).
  • step S7108 Yes
  • the computer 1100 writes “0” as the aggregation result in the upper segment sgh (a) (step S7109), and proceeds to step S7111.
  • step S7108: No “1” is written in the upper segment sgh (a) as the aggregation result (step S7110), and the process proceeds to step S7111.
  • step S7111 a is incremented (step S7111), and the process returns to step S7106.
  • FIG. 72 is a flowchart showing a detailed processing procedure of the deletion map aggregation processing (step S7005) shown in FIG.
  • f is a target hierarchy number
  • h is a hierarchy number of an upper hierarchy of the target hierarchy
  • j is a segment number.
  • the computer 1100 determines whether or not there is a free area of the compressed file in the segments sgf (j) to sgf (j + m ⁇ 1) of the f-th layer that is the target layer (step S7202).
  • m is the number of segments that can be aggregated.
  • step S7202 If there is no free space (step S7202: No), since the compressed file is stored at the maximum in each of the segments sgf (j) to sgf (j + m ⁇ 1) of the f-th layer, the computer 1100 It is determined whether or not the segment sgh (j) of a certain h-th layer has been aggregated (step S7203). Specifically, for example, the computer 1100 determines whether or not the h-th layer segment sgh (j) exists.
  • a is a variable that identifies the target segment sgh (j).
  • the computer 1100 determines whether the bit string that is the index information of the extracted segment sgf (a) is all 0, that is, whether the compressed file group in the segment sgf (a) has been deleted (step S7208).
  • step S7208: Yes the computer 1100 writes “0” as the aggregation result in the upper segment sgh (a) (step S7209), and proceeds to step S7211.
  • step S7208: No the computer 1100 writes “1” as the aggregation result in the upper segment sgh (a) (step S7210), and proceeds to step S7211.
  • step S7211 a is incremented (step S7211), and the process returns to step S7206.
  • segment hierarchization is realized as shown in FIGS. Therefore, it is possible to construct a hierarchical structure of archive files as shown in FIG.
  • ⁇ Search processing procedure> Next, a search processing procedure according to this embodiment will be described. Specifically, for example, the processing procedure for the file decompression example shown in FIG. 63 is performed.
  • FIG. 73 is a flowchart showing a search processing procedure according to the present embodiment.
  • the computer 1100 waits for input of a search character string (step S7301: No).
  • a search character string is input (step S7301: Yes)
  • pointer specifying processing step S7302
  • file narrowing processing step S7303
  • the decompression process step S7304
  • the pointer specifying process step S7302
  • step S7303 the compressed file fi of the target file Fi containing the character information constituting the search character string is narrowed from the hierarchical structure segment group. Details of the file narrowing process (step S7303) will be described with reference to FIG.
  • step S7304 collates the compression code string to be decompressed with the compressed character string of the search character string in the process of decompressing the compressed file fi narrowed down by the file narrowing process (step S7303). Details of the decompression process (step S7304) will be described with reference to FIGS. 77 and 78.
  • FIG. 74 is a flowchart (part 1) showing a detailed processing procedure of the pointer identifying process (step S7302) shown in FIG.
  • the computer 1100 sets a search character string as a target character string (step S7401), and executes a longest match search process (step S7402).
  • the longest match search process (step S7402) is the same process as the longest match search process (step S2901) shown in FIG.
  • the computer 1100 searches the longest match search result obtained in the longest match search process (step S7402) in the basic word structure in two (step S7403).
  • the longest match search result is searched for in the basic word structure (step S7403: Yes)
  • the compression code of the searched basic word is acquired from the 2 N -branch nodeless Huffman tree H and stored in the search buffer. (Step S7404).
  • step S7405 determines whether or not there is a subsequent character string (step S7405). If there is a continuation (step S7405: Yes), the computer 1100 sets the subsequent character string as a target character string (step S7406), and returns to the longest match search process (step S7402). On the other hand, when there is no subsequent (step S7405: No), the pointer specifying process (step S7302) ends, and the process proceeds to the file narrowing process (step S7303).
  • step S7403 if the longest match search result is not searched for in the basic word structure (step S7403: No), the process proceeds to step S7501 in FIG. Specifically, if the longest match search result is not registered in the basic word structure, or if there is no longest match candidate in the longest match search (step S7403: No), the process proceeds to step S7501 in FIG. To do.
  • FIG. 75 is a flowchart (part 2) showing a detailed processing procedure of the pointer specifying process (step S7302) shown in FIG.
  • the computer 1100 sets the first character of the target character string as the target character (step S7501).
  • the computer 1100 searches for the target character in two in the structure of the specific single character (step S7502). If the target character is searched (step S7503: YES), the computer 1100 acquires the compression code of the specific single character from the 2 N branching no-node Huffman tree H and stores it in the search buffer (step S7504).
  • step S7503 if no search is made in step S7503 (step S7503: No), the computer 1100 divides the target character into upper 8 bits and lower 8 bits (step S7505). Then, the computer 1100 acquires the compression code of the upper divided character code from the 2 N -branch nodeless Huffman tree H and stores it in the search buffer (step S7506).
  • the computer 1100 acquires the compression code of the lower divided character code from the 2 N -branch nodeless Huffman tree H and stores it in the search buffer (step S7507). Further, the computer 1100 accesses the leaves of the 2 N- branch nodeless Huffman tree H for the target character and the divided character code divided in step S7505, and turns on the collation flag (step S7508). Thereafter, the computer 1100 executes bigram character string specifying processing (step S7509).
  • the bi-gram character string specifying process (step S7509) is the same process as the bi-gram character string specifying process (step S3406) shown in FIG.
  • step S7509 step S7510: No
  • step S7510: Yes the computer 1100 acquires the compression code of the bi-gram character string from the 2 N branch no-node Huffman tree H and saves it in the search buffer (step S7510).
  • step S7511 the computer 1100 obtains and concatenates the compression code of the first gram and the compression code of the second gram by accessing the 2 N branchless nodeless Huffman tree H, and compresses the 2 gram character string.
  • An appearance map specified by a concatenated compression code is acquired from the code map M. Then, the process returns to step S7405 of FIG.
  • FIG. 76 is a flowchart showing a detailed processing procedure of the file narrowing process (step S7303) shown in FIG.
  • the computer 1100 determines whether or not the segment sgH (j) exists (step S7603).
  • the computer 1100 designates an appearance map and a deletion map for each compression code in the search buffer (step S7604).
  • the computer 1100 extracts index information of the target segment sgH (j) from the specified appearance map and deletion map (step S7605).
  • step S7607: Yes the position of “1” obtained by the AND result is the file number, so the compressed file with the number is stored in the search buffer, and the process proceeds to step S7610 ( Step S7609).
  • step S7610 the segment number j is incremented (step S7610), and the process returns to step S7603. At this time, since the subsequent segment is associated with the pointer, the subsequent segment can be specified by incrementing the segment number.
  • step S7603 if the target segment sgH (j) does not exist (step S7603: No), the computer 1100 decrements the hierarchy number h (step S7611) and determines whether h ⁇ 0 (Ste S7612). If h ⁇ 0 is not satisfied (step S7612: NO), the process returns to step S7602. On the other hand, if h ⁇ 0 (step S7612: Yes), since the compressed file to be decompressed can be identified in step S7609, the process proceeds to the decompression process (step S7304).
  • FIG. 77 is a flowchart (part 1) of a detailed process procedure example of the decompression process (step S7304) using the 2 N- branch nodeless Huffman tree H depicted in FIG. 73.
  • the computer 1100 sets the compression code string from the position of the byte offset byos in the register r1 (step S7704).
  • the computer 1100 shifts the mask pattern set in the register r2 by the bit offset bios toward the end (step S7705), and performs an AND operation with the compression code string set in the register r1 (step S7706). Thereafter, the computer 1100 calculates the register shift number rs (step S7707), and shifts the register r2 after the AND operation to the end by the register shift number rs (step S7708).
  • FIG. 78 is a flowchart (part 2) of a detailed process procedure example of the decompression process (step S7304) using the 2 N- branch nodeless Huffman tree H depicted in FIG.
  • the computer 1100 extracts the last N bits from the shifted register r2 as a target bit string (step S7801).
  • the computer 1100 specifies a pointer from the root structure of the 2 N -branch nodeless Huffman tree H to the leaf L # (step S7802), and the structure of the leaf L # that is the point destination is one pass. Access is made (step S7803). Thereafter, computer 1100 determines whether or not the collation flag of the structure of access destination leaf L # is ON (step S7804).
  • step S7804 If the collation flag is ON (step S7804: YES), the computer 1100 writes the replacement character in the decompression buffer for the character information in the structure of the access destination leaf L # (step S7805), and proceeds to step S7807. On the other hand, if the collation flag is OFF (step S7804: NO), the computer 1100 writes the character information (expanded character) in the structure of the access destination leaf L # into the expansion buffer (step S7806), and proceeds to step S7807. To do.
  • step S7807 the computer 1100 extracts the compression code length leg from the structure of the access destination leaf L # (step S7807), and updates the bit address abi (step S7808). Thereafter, the computer 1100 determines whether or not there is a compression code string in the memory, specifically, whether or not there is a compression code string that has not been subjected to mask processing using a mask pattern (step S7809). For example, the determination is made based on whether there is a byte position corresponding to the byte offset byos. If there is a compression code string (step S7809: YES), the process returns to step S7702 in FIG. On the other hand, if there is no compression code string (step S7809: NO), the decompression process (step S7304) is terminated.
  • step S7304 collation and decompression can be performed in the compressed state, and the decompression speed can be increased.
  • the search target file group is divided into a plurality of segments and stored, the search can be performed using the segment unit index information. Therefore, even if the size of the index information increases as the number of search target files increases, an increase in search processing time can be suppressed.
  • the hierarchical structure segment group SG is constructed by aggregating segment groups of the same hierarchy to generate upper layer segments. Therefore, by sequentially narrowing down from the index information of the segment of the highest hierarchy of the hierarchical structure segment group SG, it is possible to exclude a segment in which the search character string does not exist and a compressed file existing under the segment from the narrowing target. . In this way, since it is not necessary to use unnecessary narrowing down, it is possible to improve the search speed.
  • the master server narrows down to the first layer, and transmits the narrowed file number to the slave server that owns the file number. Therefore, since the slave server that has not been transmitted does not need to execute the narrowing-down process, useless search can be suppressed and search efficiency can be improved.
  • the master server MS decompresses the compressed file fi
  • the master server MS transmits the 2 N- branch nodeless Huffman tree H to each slave server in advance.
  • decompression processing of the compressed file fi may be executed in each slave server.
  • the slave server that has received the file number i from the master server MS decompresses the compressed file Fi of the file number i and returns the decompressed target file Fi to the master server MS.
  • load concentration on the master server MS can be suppressed and load distribution can be achieved.
  • the narrowing target may be an uncompressed target file Fi.
  • the above-described compression processing and decompression processing are not necessary.
  • the pointer to the appearance map may be a pointer that specifies character information, not a compression code.
  • bit string in the compression area of the compression code map Ms is arranged in advance in descending order of the file number p of the target file group Fs from the head position to the tail position.
  • all bits corresponding to the file number of the compression code map Ms become a compression area, so the compression code map Ms is compressed by the Huffman tree h. Is done. Thereby, memory saving can be achieved.
  • compression is performed in units of a predetermined number of files n (for example, 256), it is possible to simultaneously reduce the calculation load and save memory.
  • the information processing method described in this embodiment can be realized by executing a program prepared in advance on a computer 1100 such as a personal computer or a workstation.
  • the information processing program is recorded on a recording medium readable by the computer 1100 such as a hard disk, a flexible disk, a CD-ROM, an MO, and a DVD, and is executed by being read from the recording medium by the computer 1100.
  • the information processing program may be distributed through a network such as the Internet.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Library & Information Science (AREA)
  • Software Systems (AREA)
  • Multimedia (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

 セグメント(sg2(1))について、文字情報「人」の圧縮符号(P(人))の集約出現マップと、文字情報「形」の圧縮符号(P(形))の集約出現マップと、集約削除マップと、のAND演算をおこなう。AND結果は「1100」となり、セグメント(sg1(1)),(sg1(2))に、文字情報「人」および「形」が存在する可能性があることがわかる。このAND結果からセグメント(sg1(1)),(sg1(2))が指定されたため、AND演算を実行する。これにより、セグメント(sg0(1))、セグメント(sg0(5))が指定され、AND演算を実行する。これにより、セグメント(sg0(1))からはファイル番号3が指定され、セグメント(sg0(5))からはファイル番号19が指定される。したがって、圧縮ファイル(f3),(f19)に、文字情報「人」および「形」の両方が存在することがわかる。

Description

抽出方法、抽出プログラム、抽出装置、および抽出システム
 本発明は、情報を抽出する抽出方法、抽出プログラム、抽出装置、および抽出システムに関する。
 従来、所定の文字情報を含む検索文字列が入力された場合に、検索対象の複数のファイルのいずれが所定の文字情報を含むかを示すインデックス情報を参照して、検索対象のファイルのうちの所定の文字情報を含むファイルを絞り込む技術がある。
特許第2986865号公報
 しかしながら、検索対象のファイル数が増大すると、それに合わせてインデックス情報のサイズも増大する。インデックス情報のサイズ増大により、インデックス情報を参照する処理に要する時間が増大するため、結果として検索処理の時間が増大するという問題があった。 
 本発明は、上述した従来技術による問題点を解消するため、ファイル数増大に応じた検索処理時間の増大を抑制することができる抽出方法、抽出プログラム、抽出装置、および抽出システムを提供することを目的とする。
 上述した課題を解決し、目的を達成するため、本発明の一側面によれば、複数のファイルのそれぞれについて所定の文字情報を含むか否かを示す第1の情報と、前記複数のファイルの少なくともいずれかが前記所定の文字情報を含むか否かを示す第2の情報と、を記憶手段に記憶し、前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報に基づいて前記所定の文字情報を含むファイルを抽出する抽出方法、抽出プログラム、抽出装置、および抽出システムが提案される。
 本発明の一側面によれば、ファイル数増大に応じた検索処理時間の増大を抑制することができるという効果を奏する。
図1は、本実施の形態にかかる圧縮符号マップの分散化を示す説明図である。 図2は、セグメント群を記憶したサーバを示す説明図である。 図3は、対象ファイルが追加された場合の圧縮符号マップの追加例を示す説明図である。 図4は、出現マップの階層化を示す説明図である。 図5は、削除マップの階層化を示す説明図である。 図6は、階層化されたセグメント群の詳細を示す説明図である。 図7は、図6に示した階層構造セグメント群を実装したコンピュータシステムの構成例を示す説明図である。 図8は、階層構造セグメント群を用いた圧縮ファイルの絞込み例を示す説明図である。 図9は、実施の形態にかかるコンピュータのハードウェア構成例を示すブロック図である。 図10は、本実施の形態にかかるシステム構成例を示す説明図である。 図11は、本実施の形態にかかるコンピュータまたはコンピュータシステムの機能的構成例1を示すブロック図である。 図12は、図11に示したコンピュータの集計部~第2圧縮部までの処理の流れを示す説明図である。 図13は、集計部による集計および作成部による圧縮符号マップMsの作成例を示す説明図である。 図14は、(1)出現回数の集計の詳細を示す説明図である。 図15は、図13の(2)圧縮符号長算出の詳細(N=11)を示す説明図である。 図16は、図13の(3)葉数特定~(5)葉の構造体生成の詳細(N=11)を示す説明図である。 図17は、文字情報ごとの補正結果を示す説明図である。 図18は、図13の(6)葉へのポインタ生成の詳細(N=11)を示す説明図である。 図19は、図13の(7)2N分枝無節点ハフマン木Hの構築の詳細(N=11)を示す説明図である。 図20は、葉の構造体を示す説明図である。 図21は、特定単一文字の構造体を示す説明図である。 図22は、分割文字コードの構造体を示す説明図である。 図23は、基礎単語の構造体を示す説明図である。 図24は、圧縮符号マップの生成例を示す説明図である。 図25は、作成部による圧縮符号マップ作成処理手順例を示すフローチャートである。 図26は、図25に示した集計処理(ステップS2501)の詳細な処理手順例を示すフローチャートである。 図27は、図26に示した対象ファイルの集計処理(ステップS2603)の詳細な処理手順例を示すフローチャートである。 図28は、文字出現頻度集計テーブルを示す説明図である。 図29は、図27に示した基礎単語集計処理(ステップS2702)の詳細な処理手順例を示すフローチャートである。 図30は、基礎単語出現頻度集計テーブルを示す説明図である。 図31は、図29に示した最長一致検索処理(ステップS2901)の詳細な処理手順を示すフローチャートである。 図32は、図25に示したマップ割当数決定処理(ステップS2502)の詳細な処理手順例を示すフローチャートである。 図33は、図25に示した再集計処理(ステップS2503)の詳細な処理手順例を示すフローチャートである。 図34は、対象ファイルの再集計処理(ステップS3303)の詳細な処理手順例を示すフローチャートである。 図35は、上位分割文字コード出現頻度集計テーブルを示す説明図である。 図36は、下位分割文字コード出現頻度集計テーブルを示す説明図である。 図37は、図34で示した2グラム文字列特定処理(ステップS3406)の詳細な処理手順を示すフローチャートである。 図38は、2グラム文字列出現頻度集計テーブルを示す説明図である。 図39は、図25に示したハフマン木生成処理(ステップS2504)の詳細な処理手順例を示すフローチャートである。 図40は、図39に示した枝数特定処理(ステップS3904)の詳細な処理手順例を示すフローチャートである。 図41は、図39に示した構築処理(ステップS3905)の詳細な処理手順を示すフローチャートである。 図42は、図41に示した葉へのポインタ生成処理(ステップS4103)の詳細な処理手順を示すフローチャートである。 図43は、図25に示したマップ作成処理(ステップS2505)の詳細な処理手順例を示すフローチャートである。 図44は、図43に示した対象ファイルのマップ作成処理(ステップS4303)の詳細な処理手順を示すフローチャートである。 図45は、図44で示した基礎単語出現マップ作成処理(ステップS4402)の詳細な処理手順例を示すフローチャートである。 図46は、図44で示した特定単一文字出現マップ作成処理(ステップS4403)の詳細な処理手順例を示すフローチャートである。 図47は、図46で示した分割文字コード出現マップ作成処理(ステップS4603)の詳細な処理手順例を示すフローチャートである。 図48は、図44に示した2グラム文字列マップ作成処理(ステップS4404)の詳細な処理手順例を示すフローチャートである。 図49は、2グラム文字列出現マップ生成処理(ステップS4803)の詳細な処理手順例を示すフローチャートである。 図50は、2N分枝無節点ハフマン木Hを用いた圧縮処理の具体例を示す説明図である。 図51は、第1圧縮部による2N分枝無節点ハフマン木Hを用いた対象ファイル群の圧縮処理手順例を示すフローチャートである。 図52は、図51に示した圧縮処理(ステップS5103)の詳細な処理手順を示すフローチャート(その1)である。 図53は、図51に示した圧縮処理(ステップS5103)の詳細な処理手順を示すフローチャート(その2)である。 図54は、図51に示した圧縮処理(ステップS5103)の詳細な処理手順を示すフローチャート(その3)である。 図55は、出現率と出現率領域との関係を示す説明図である。 図56は、出現率領域別の圧縮パターンを有する圧縮パターンテーブルを示す説明図である。 図57は、B領域およびB´領域の場合の圧縮パターンを示す説明図である。 図58は、C領域およびC´領域の場合の圧縮パターンを示す説明図である。 図59は、D領域およびD´領域の場合の圧縮パターンを示す説明図である。 図60は、E領域およびE´領域の場合の圧縮パターンを示す説明図である。 図61は、圧縮符号マップ圧縮処理手順を示すフローチャートである。 図62は、本実施の形態にかかるコンピュータまたはコンピュータシステムの機能的構成例2を示すブロック図である。 図63は、ファイル伸長例を示す説明図である。 図64は、図63での伸長処理の具体例を示す説明図(その1)である。 図65は、図63での伸長処理の具体例を示す説明図(その2)である。 図66は、ファイル追加処理の具体例を示す説明図である。 図67は、セグメント追加処理の詳細な処理手順を示すフローチャートである。 図68は、図67に示した追加ファイルによるマップ更新処理(ステップS6709)の詳細な処理手順を示すフローチャート(前半)である。 図69は、図67に示した追加ファイルによるマップ更新処理(ステップS6709)の詳細な処理手順を示すフローチャート(後半)である。 図70は、セグメント階層化処理の詳細な処理手順を示すフローチャートである。 図71は、図70に示した選択出現マップ集約処理(ステップS7004)の詳細な処理手順を示すフローチャートである。 図72は、図70に示した削除マップ集約処理(ステップS7005)の詳細な処理手順を示すフローチャートである。 図73は、本実施の形態にかかる検索処理手順を示すフローチャートである。 図74は、図73に示したポインタ特定処理(ステップS7302)の詳細な処理手順を示すフローチャート(その1)である。 図75は、図73に示したポインタ特定処理(ステップS7302)の詳細な処理手順を示すフローチャート(その2)である。 図76は、図73に示したファイル絞込み処理(ステップS7303)の詳細な処理手順を示すフローチャートである。 図77は、図73に示した2N分枝無節点ハフマン木Hを用いた伸長処理(ステップS7304)の詳細な処理手順例を示すフローチャート(その1)である。 図78は、図73に示した2N分枝無節点ハフマン木Hを用いた伸長処理(ステップS7304)の詳細な処理手順例を示すフローチャート(その2)である。
 以下に添付図面を参照して、本発明の実施の形態を詳細に説明する。なお、本明細書において、「文字情報」とは、テキストデータを構成する、単一文字、基礎単語、分割文字コードなどである。対象ファイル群は、たとえば、文書ファイル、Webページ、電子メールなどの電子データであり、たとえば、テキスト形式、HTML(HyperText Markup Language)形式、XML(Extensible Markup Language)形式の電子データである。
 また、「単一文字」とは、1つの文字コードで表現される文字である。単一文字の文字コード長は、文字コード種により異なる。
 たとえば、UTF(Unicode Transformation Format)16の場合は16ビットコード、ASCII(American Standard Code for Information Interchange)コードの場合は8ビットコード、シフトJIS(Japanese Industrial Standard)コードの場合は8ビットコードである。シフトJISコードで日本語の文字を表現する場合は、2個の8ビットコードを組み合わせることとなる。
 また、「基礎単語」とは、小・中学校で学習する基本的な単語や、特定の文字列で表現される予約語をいう。「This is a・・・.」の英文を例にすると「This」、「is」、「a」などの単語であり、千語レベル、2千語レベル、数千語レベルに分類され、英和辞典には、「***」、「**」、「*」マークが付与されている。また、予約語とは、あらかじめ決められた文字列であり、たとえば、HTMLのタグ(たとえば、<br>)が挙げられる。
 また、「分割文字コード」とは、単一文字を、上位のコードと下位のコードに分割した各々のコードである。本実施の形態では、後述するように、単一文字を、上位のコードと下位のコードに分割する場合がある。たとえば、「芝」という単一文字の文字コードは、UTF16の場合、「9D82」で表現されるが、上位分割文字コード「0x9D」と下位分割文字コード「0x82」に分割される。
 また、「グラム」とは、文字単位である。たとえば、単一文字については、その1文字分が1グラムとなる。分割文字コードについては、分割文字コード単独で1グラムとなる。したがって、単一文字「芝」は2グラムとなる。なお、本実施の形態では、文字コードとしてUTF16を例に挙げて説明する。
 また、本明細書では、「ビットをON」とした場合は、そのビットの値を“1”にし、「ビットをOFF」とした場合は、そのビットの値を“0”として説明する。なお、「ビットをON」とした場合は、そのビットの値を“0”にし、「ビットをOFF」とした場合は、そのビットの値を“1”にしてもよい。
 「出現マップ」とは、全文検索のためのインデックスであり、文字情報を指定するポインタと文字情報の各対象ファイルでの存否を示すビット列を連結したビット列である。検索処理時には、このビット列を、ビットのON・OFFに応じて検索対象の文字情報を含むか否かを示すインデックスとして用いることができる。文字情報を指定するポインタとしては、たとえば、文字情報の圧縮符号が採用される。文字情報を指定するポインタは、たとえば、文字情報そのものを用いても良い。「圧縮符号マップ」とは、圧縮符号のポインタで示される文字情報ごとの出現マップをまとめたビットマップである。2グラム文字列の圧縮符号マップについては、第1グラムの圧縮符号と第2グラムの圧縮符号を組み合わせた圧縮符号列となる。
 「2グラム文字列」とは、1グラムの文字コードが連接する文字列である。たとえば、「人形芝居」という文字列には、2連接文字「人形」、「形芝」、「芝居」が含まれている。2連接文字「人形」の「人」、「形」はそれぞれ分割されない単一文字であるため、2連接文字「人形」はそのまま2グラム文字列となる。
 「芝」は上述したように分割されるため、単一文字「形」と「芝」の上位分割文字コード「0x9D」の組み合わせが2グラム文字列となる。また、上位分割文字コード「0x9D」と下位分割文字コード「0x82」の組み合わせも2グラム文字列となる。さらに、下位分割文字コード「0x82」と分割されない単一文字「居」の組み合わせも2グラム文字列となる。
 基礎単語により、対象ファイル群が圧縮されている場合、圧縮符号マップの生成時や検索時に1パスでアクセスすることが可能である。なお、対象ファイル群を圧縮しない場合は、文字情報を指定するポインタとしては、文字情報の文字コードをそのまま採用してもよい。
 また、「削除マップ」とは、対象ファイルの存在または削除をビット列で示したインデックスである。なお、削除マップにおいてON(=1)に該当するビットに対応するファイル番号の対象ファイルは、存在していることを意味する。一方、OFF(=0)になると、当該対象ファイルは削除されたことを意味する。これにより、圧縮符号マップを用いて検索を行う場合に、対象ファイルそのものを削除しなくても、対象ファイルに対応する削除マップをOFFにすることで、対象ファイルを検索対象から除くことができる。
 図1は、本実施の形態にかかる圧縮符号マップの分散化を示す説明図である。圧縮符号マップは、所定のファイル数n単位(たとえば、n=256)で分割されている。分割された各々を、セグメントと称す。
 セグメントsg0(1)は、圧縮ファイルf1~fnまでの圧縮符号マップを有するセグメントであり、セグメントsg0(2)は、圧縮ファイルf(n+1)~f(2n)までの圧縮符号マップを有するセグメントであり、セグメントsg0(3)は、圧縮ファイルf(2n+1)~f(3n)までの圧縮符号マップを有するセグメントである。
 セグメントは初期状態では、セグメントsg0(1)のみが存在し、ファイル追加によりファイル数がnを超えると、セグメントsg0(2)が生成され、ファイル数が2nを超えると、セグメントsg0(3)が生成される。このように、ファイル数増加により、最後尾のセグメントsg0(K)は、圧縮ファイルf((K-1)n+1)~f(Kn)までの圧縮符号マップを有するセグメントとなる(ただし、Kは現在のセグメント数を示す。Kは1以上の整数である。)。
 各セグメントは、管理領域A1~AK(管理領域群As)を有する。管理領域A1~AKには、先行セグメントへのポインタ、後続セグメントへのポインタ、自セグメント内の圧縮符号マップを構成する各出現マップへのポインタ、自セグメント内の削除マップへのポインタ、自セグメント内の各圧縮ファイルへのポインタが格納されている。
 先頭のセグメントsg0(1)については、先行セグメントがないため、先行セグメントへのポインタとして、たとえば、「00000000h」が格納される。アドレス「00000000h」は、先頭のセグメントsg0(1)を指定する論理アドレスである。同様に、最後尾のセグメントsg0(K)については、後続セグメントがないため、後続セグメントへのポインタとして、たとえば、「0FFFFFFFh」が格納される。還元すれば、後続セグメントへのポインタとして「0FFFFFFFh」が格納されているセグメントが最後尾のセグメントである。
 K=1の場合、すなわち、セグメントsg0(1)しか存在しない場合、セグメントsg0(1)の先行セグメントへのポインタは「00000000h」であり、後続セグメントへのポインタは「0FFFFFFFh」である。ファイル追加によりK=2になると、セグメントsg0(1)の後続セグメントへのポインタは、「0FFFFFFFh」から「セグメントsg0(2)へのポインタ」に変更される。
 また、セグメントsg0(2)の先行セグメントへのポインタには、「セグメントsg0(1)へのポインタ(セグメントsg0(1)のアドレス「00000000h」)」が格納される。また、セグメントsg0(2)の後続セグメントへのポインタには、「0FFFFFFFh」が格納される。このように、セグメントごとに先行セグメントおよび後続セグメントとの関連付けをしておくことで、セグメント単位での検索を連携しておこなうことができる。
 各セグメントの圧縮符号マップM1~MK(圧縮符号マップMs)は、文字情報が同じである出現マップを有するが、担当するファイル番号が異なる。各セグメントの圧縮符号マップM1~MKにおいて担当するファイル番号は、自セグメントが保持する圧縮ファイルのファイル番号となる。たとえば、セグメントsg0(K)の圧縮符号マップMKでは、各文字情報の出現マップについてファイル番号(K-1)n~Knの存否を示すビット列を有することとなる。
 各セグメントの削除マップD1~DK(削除マップDs)についても圧縮符号マップ群Msと同様、担当するファイル番号が異なる。各削除マップD1~DKにおいて担当するファイル番号は、自セグメントが保持する圧縮ファイルのファイル番号となる。たとえば、セグメントsg0(K)の削除マップDKでは、各文字情報の出現マップについてファイル番号(K-1)n~Knについての存在または削除を示すビット列を有することとなる。
 図2は、セグメント群を記憶したサーバを示す説明図である。サーバ200は、データベース201を有する。データベース201には、アーカイブファイル202が格納されている。アーカイブファイル202は、バッチ部211と、追加部212と、を有する。バッチ部211には、c個のセグメントsg0(1)~sg0(c)がデフォルトで格納されている。追加部212には、追加されたセグメントsg0(c+1)~sg0(K)が格納されている。なお、追加部212に空き領域がなくなった場合は、サーバ200とネットワークを介して通信可能な他のサーバに格納させるものとする。
 図3は、対象ファイルが追加された場合の圧縮符号マップの追加例を示す説明図である。(A)では、セグメントsg0(1),sg0(2)が登録済みであり、文字情報LT1~LTzの圧縮符号P(LT1)~P(LTz)についての出現マップにおいて、ファイル番号1~2nまでのインデックス情報が格納されている。
 (B)は、(A)の状態から出現マップ群を圧縮した状態を示している。圧縮手法については後述するが、圧縮するタイミングとしては、たとえば、1セグメントのファイル数nの倍数になった場合に圧縮するものとする。この場合、ファイル数がnの倍数2nであるため、出現マップごとにインデックス情報であるビット列を圧縮する。また、文字情報LT1~LTzの存否を確認する場合には、伸長されるものとする。伸長手法についても後述する。このように、通常は圧縮して保存しておき、必要なときにだけ伸長することで、省メモリ化を図ることができる。
 (C)は、(B)の状態からあらたな圧縮ファイルf(2n+1)が追加された状態を示している。(B)での最後尾のセグメントであるセグメントsg0(2)では圧縮ファイルf(2n+1)を格納できないため、あらたにセグメントsg0(3)が設定され、圧縮ファイルf(2n+1)が保存されることになる。また、セグメントsg0(3)の圧縮符号マップには、圧縮符号ごとに圧縮ファイルf(2n+1)についてのビットが設定される。(C)の例では、文字情報LT1,LT2については「1」、LTzについては「0」が設定されている。
 (D)は、(C)の状態からセグメントsg0(3)においてn個の圧縮ファイルf(2n+1)~f(3n)が追加された状態を示している。
 (E)は、(D)の状態においてセグメントsg0(3)でn個の圧縮ファイルf(2n+1)~f(3n)が追加されたため、圧縮符号ごとにセグメントsg0(1)~sg0(3)のインデックス情報を圧縮した状態を示している。このように、セグメント単位で圧縮ファイルがn個たまると、出現マップの圧縮がおこなわれる。
 図4は、出現マップの階層化を示す説明図である。セグメント数が増加すると、圧縮符号ごとにインデックス情報となるビット列が冗長化する。冗長化した場合、圧縮符号ごと、すなわち、文字情報ごとに、全ファイル数について存否を示すビットのON/OFFを確認する必要があるが、存在しない箇所について確認作業をするのは無駄であり、検索時間の増大の原因となる。そこで、圧縮符号ごと、すなわち、文字情報ごとに、セグメントがm+1個生成されたら、m個単位でインデックス情報を集約することにする。
 図4では、例として文字情報LTxの圧縮符号P(LTx)のインデックス情報を上位階層に集約する場合を例に挙げて説明する。なお、「sgX(Y)」のXは、階層番号を示しており、Yはセグメント番号を示している。したがって、sgX(Y)の場合は、第X階層のY番目のセグメントとなる。また、これまで説明してきたセグメントsg0(1)~sg0(K)は、第0階層のセグメントとなる。
 まず、基本階層である第0階層から上位階層である第1階層への集約例について説明する。集約のルールとしては、対象階層のセグメントのインデックス情報であるビット列がオール0、すなわち、文字情報LTxがそのセグメント内の対象ファイル群に存在しない場合、上位階層のインデックスとして「0」に集約する。一方、対象階層のセグメントのインデックス情報であるビット列1個でも「1」がある場合、すなわち、文字情報LTxがそのセグメント内の対象ファイル群の少なくともいずれか1つに存在する場合、上位階層のインデックスとして「1」に集約する。
 たとえば、セグメントsg0(1)については、「1」が存在するため、上位階層のセグメントsg1(1)には、「1」が設定される。同様に、セグメントsg0(m)については、オール0であるため、上位階層のセグメントsg1(1)には、「0」が設定される。この上位階層のセグメントsg1(1)のビット位置は、下位のセグメントsg0(1)~sg0(m)の位置を示している。このように、上位階層のセグメントのビットの値により下位のセグメントのインデックス情報の状態を特定することができる。
 また、このような集約は第0階層と第1階層との間だけではなく、最上位階層のセグメント数がm個になると、あらたに上位階層のセグメントが生成されることとなる。たとえば、第1階層でセグメントがセグメントsg1(m)まで出来上がると、上述したように第2階層のセグメントsg2(1)が生成されることとなる。なお、図4では、第2階層までの例を示したが、追加される圧縮ファイル数が増加するにしたがって、第3階層以上の階層に集約されることになる。
 図5は、削除マップの階層化を示す説明図である。削除マップについても、図4と同様セグメント単位で上位階層に集約されることになる。
 図6は、階層化されたセグメント群の詳細を示す説明図である。図6の階層構造セグメント群では、第0階層に図1に示したようなm2個のセグメントsg0(1)~sg0(m2)が生成されている。また、上位階層についても同様なデータ構造のセグメントsg1(1)~sg1(m)が生成されている。たとえば、第1階層のセグメントsg1(1)~sg1(m)では、第0階層で集約された出現マップ(集約出現マップ)が圧縮符号ごとに格納されている。同様に、第0階層で集約された削除マップ(集約削除マップ)が圧縮符号ごとに格納されている。
 また、第0階層と同様、それぞれの管理領域に、先行セグメントへのポインタや後続セグメントへのポインタが設定されている。また、自セグメント内の集約出現マップへのポインタや集約削除マップへのポインタも格納される。また、管理領域には、下位階層のセグメント(下位セグメント)へのポインタがそれぞれ格納されている。たとえば、セグメントsg1(1)では、下位階層のセグメントsg0(1)へのポインタ~セグメントsg0(m)へのポインタが格納されており、セグメントsg0(1)~セグメントsg0(m)を指定することができる。なお、第1階層以上のセグメントには、圧縮ファイルは格納されない。
 図7は、図6に示した階層構造セグメント群SGを実装したコンピュータシステムの構成例を示す説明図である。図7の階層構造セグメント群SGでは、m個のセグメントを1アーカイブファイルとする。なお、「AX(Y)」はアーカイブファイルの符号であり、Xは、階層番号を示しており、Yはアーカイブ番号を示している。したがって、AX(Y)の場合は、第X階層のY番目のアーカイブファイルとなる。たとえば、アーカイブファイルA0(1)は、第0階層のセグメントsg0(1)~sg0(m)の集合である。
 図7の例では、マスタサーバMSは、第1階層以上のアーカイブファイルを格納している。また、スレーブサーバS1,S2,…,S(2m+1),…は、マスタサーバMSにより割り当てられた1個のアーカイブファイルを格納している。図7のアーカイブファイルの割り当ては1例であり、マスタサーバMSが第1階層以上のアーカイブファイルをすべて担当する必要はなく、他のサーバに分散させてもよい。また、スレーブサーバS1,S2,…,S(2m+1),…についても1アーカイブファイルだけではなく、複数のアーカイブファイルを担当することとしてもよい。
 図8は、階層構造セグメント群SGを用いた圧縮ファイルの絞込み例を示す説明図である。図8では、説明を単純化するため、第0階層のセグメントのファイル数nをn=4とし、m=4とする。したがって、第0階層セグメントsg0(1)~sg0(16)まで存在することになるが、図示されていないセグメントについては説明を省略する。また、図8では、最上位階層を第2階層として説明する。また、図8において、実線矢印はAND結果にしたがって下位階層のセグメントを指定していることを示しており、点線矢印は実際には指定されないが、指定されたセグメントと対比するために図示している。また、図8では、検索文字列として「人形」が入力された場合を示す。
 (A)において、最上位階層である第2階層のセグメントsg2(1)について、文字情報「人」の圧縮符号P(人)の集約出現マップと、文字情報「形」の圧縮符号P(形)の集約出現マップと、集約削除マップと、のAND演算をおこなう。AND結果は「1100」となり、下位階層である第1階層のセグメントsg1(1),sg1(2)に、文字情報「人」および「形」が存在する可能性があることがわかる。
 また、下位セグメント番号3,4についてはAND結果が「0」である。したがって、セグメントsg1(3),sg1(4)の各AND演算をおこなうまでもなく、セグメントsg1(3),sg1(4)の各AND結果がオール0になることがわかる。
 (B)では、第2階層のAND結果から第1階層のセグメントsg1(1),sg1(2)が指定されたため、セグメントsg1(1),sg1(2)について、(A)と同様AND演算を実行する。これにより、セグメントsg1(1)からはセグメントsg0(1)が指定され、セグメントsg1(2)からはセグメントsg0(5)が指定されることになる。セグメントsg1(2)に着目すると、下位セグメント番号6~8についてはAND結果が「0」である。したがって、セグメントsg0(6)~sg0(8)の各AND演算をおこなうまでもなく、セグメントsg0(6)~sg0(8)の各AND結果がオール0になることがわかる。
 (C)では、第1階層のAND結果から第0階層のセグメントsg0(1),sg0(5)が指定されたため、sg0(1),sg0(5)について、(A),(B)と同様AND演算を実行する。これにより、セグメントsg0(1)からはファイル番号3が指定され、セグメントsg0(5)からはファイル番号19が指定されることになる。したがって、圧縮ファイルf3,f19に、文字情報「人」および「形」の両方が存在することがわかる。
<コンピュータのハードウェア構成例>
 図9は、実施の形態にかかるコンピュータのハードウェア構成例を示すブロック図である。図9において、コンピュータは、CPU(Central Processing Unit)901と、ROM(Read Only Memory)902と、RAM(Random Access Memory)903と、磁気ディスクドライブ904と、磁気ディスク905と、光ディスクドライブ906と、光ディスク907と、ディスプレイ908と、I/F(Interface)909と、キーボード910と、マウス911と、スキャナ912と、プリンタ913と、を備えている。また、各構成部はバス900によってそれぞれ接続されている。
 ここで、CPU901は、コンピュータの全体の制御を司る。ROM902は、ブートプログラムなどのプログラムを記憶している。また、ROM902は、圧縮符号マップMsを生成・管理するプログラム、圧縮符号マップMsを用いて検索を行うプログラムを記憶している。RAM903は、CPU901のワークエリアとして使用され、CPU901は、ROM902に記憶されたプログラムをRAM903に読み出して実行することができる。磁気ディスクドライブ904は、CPU901の制御にしたがって磁気ディスク905に対するデータのリード/ライトを制御する。磁気ディスク905は、磁気ディスクドライブ904の制御で書き込まれたデータを記憶する。
 光ディスクドライブ906は、CPU901の制御にしたがって光ディスク907に対するデータのリード/ライトを制御する。光ディスク907は、光ディスクドライブ906の制御で書き込まれたデータを記憶したり、光ディスク907に記憶されたデータを情報処理装置に読み取らせたりする。
 ディスプレイ908は、カーソル、アイコンあるいはツールボックスをはじめ、文書、画像、機能情報などのデータを表示する。このディスプレイ908は、たとえば、CRT、TFT液晶ディスプレイ、プラズマディスプレイなどを採用することができる。
 インターフェース(以下、「I/F」と略する。)909は、通信回線を通じてLAN(Local Area Network)、WAN(Wide Area Network)、インターネットなどのネットワーク914に接続され、このネットワーク914を介して他の装置に接続される。そして、I/F909は、ネットワーク914と内部のインターフェースを司り、外部装置からのデータの入出力を制御する。I/F909には、たとえばモデムやLANアダプタなどを採用することができる。
 キーボード910は、文字、数字、各種指示などの入力のためのキーを備え、データの入力をおこなう。また、タッチパネル式の入力パッドやテンキーなどであってもよい。マウス911は、カーソルの移動や範囲選択、あるいはウィンドウの移動やサイズの変更などをおこなう。ポインティングデバイスとして同様に機能を備えるものであれば、トラックボールやジョイスティックなどであってもよい。
 スキャナ912は、画像を光学的に読み取り、コンピュータ内に画像データを取り込む。なお、スキャナ912は、OCR(Optical Character Reader)機能を持たせてもよい。また、プリンタ913は、画像データや文書データを印刷する。プリンタ913には、たとえば、レーザプリンタやインクジェットプリンタを採用することができる。
 また、コンピュータは、上述した各種サーバや据置き型のパーソナル・コンピュータのほか、携帯電話機、スマートフォン、電子書籍端末、ノート型パソコンなどの携帯型端末であってもよい。また、本実施の形態は、複数のコンピュータに応じて実施されてもよい。
 図10は、本実施の形態にかかるシステム構成例を示す説明図である。図10において、システムは、図9に示す各ハードウェアを含みうるコンピュータ1001~1003、ネットワーク1004、スイッチ1005、無線基地局1007を含む。情報処理装置1003に含まれるI/Fは、無線通信機能を備える。
 たとえば、複数のファイルを含むコンテンツについての圧縮符号マップを生成する処理をコンピュータ1001で実行し、コンピュータ1002,1003に配信し、コンピュータ1002,1003のそれぞれで配信されたコンテンツについての検索処理を実行してもよい。
 また、複数のファイルを含むコンテンツについての圧縮符号マップを生成する処理をコンピュータ1001で実行し、コンピュータ1002またはコンピュータ1003からコンテンツについての検索依頼をコンピュータ1001が受け付けて、検索処理を実行し、実行した検索処理の結果をコンピュータ1002、コンピュータ1003のそれぞれに返すように構成してもよい。図2と同様に、コンピュータ1001~1003のそれぞれは、上述した各種サーバや据置き型のパーソナル・コンピュータのほか、携帯電話機、スマートフォン、電子書籍端末、ノート型パソコンなどの携帯型端末であってもよい。
<機能的構成例1>
 図11は、本実施の形態にかかるコンピュータまたはコンピュータシステムの機能的構成例1を示すブロック図であり、図12は、図11に示したコンピュータまたはコンピュータシステムの集計部~第2圧縮部までの処理の流れを示す説明図である。図11において、コンピュータまたはコンピュータシステム(以下、「コンピュータ1100」)は、集計部1101と、第1生成部1102と、第1圧縮部1103と、作成部1104と、第2生成部1105と、第2圧縮部1106と、を備える。
 集計部1101~第2圧縮部1106は、具体的には、たとえば、図9に示したROM902、RAM903、磁気ディスク905などの記憶装置に記憶されたプログラムをCPU901に実行させることによりその機能を抽出装置として実現する。なお、集計部1101~第2圧縮部1106は、それぞれ実行結果を記憶装置に書き込んだり、他の部の実行結果を読み出したりして、それぞれ演算を実行する。以下、集計部1101~第2圧縮部1106について簡単に説明する。
 集計部1101は、対象ファイル群内の文字情報の出現回数を集計する。具体的には、たとえば、集計部1101は、図12の(A)に示したように、対象ファイル群Fs内の文字情報の出現回数を集計する。集計部1101では、特定単一文字、上位分割文字コード、下位分割文字コード、2グラム文字、基礎単語別に出現回数を計数する。集計部1101の詳細な処理内容については後述する。
 第1生成部1102は、集計部1101の集計結果に基づいて2N分枝無節点ハフマン木Hを生成する(図12(B))。2N分枝無節点ハフマン木Hとは、根から分岐する枝が2N本あり、1または複数本の枝で葉を直接ポイントするハフマン木である。節点(内部節点)はない。節点がなく直接葉にヒットするため、節点を有する通常のハフマン木に比べて、伸長速度の高速化を図ることができる。葉は、該当する文字情報とその圧縮符号を含む構造体である。葉の構造体とも呼ぶ。葉に割り当てられる枝数は、割当先の葉に存在する圧縮符号の圧縮符号長に依存する。第1生成部1102の詳細な処理内容については後述する。
 第1圧縮部1103は、2N分枝無節点ハフマン木Hを用いて対象ファイル群Fsの各対象ファイルを圧縮して圧縮ファイル群fsにする(図12(C))。第1圧縮部1103の詳細な処理内容については後述する。
 作成部1104は、集計部1101の集計結果と2N分枝無節点ハフマン木Hにおいて文字情報ごとに割り当てられた圧縮符号に基づいて、圧縮符号マップMsを作成する。作成部1104は、圧縮符号マップMsについても、特定単一文字、上位分割文字コード、下位分割文字コード、2グラム文字、基礎単語別に作成する。作成部1104は、圧縮符号マップMsにおいて該当する文字情報が1個の対象ファイルに1回でも出現したらそのファイル番号のビットをONにする(図12(D))。また、初期状態では、削除マップDsは各対象ファイルですべてONにする。作成部1104の詳細な処理内容については後述する。
 第2生成部1105は、文字情報の出現確率に基づいて出現マップを圧縮する無節点ハフマン木hを生成する(図12(E))。第2生成部1105の詳細な処理内容については後述する。また、図7に示したコンピュータシステムの場合、マスタサーバMSの第2生成部1105で生成された無節点ハフマン木は、スレーブサーバS1,S2,…に送信される。
 第2圧縮部1106は、第2生成部1105で生成された無節点ハフマン木を用いて各出現マップを圧縮する(図12(F))。第2圧縮部1106の詳細な処理内容については後述する。また、図7に示したコンピュータシステムの場合、スレーブサーバS1,S2,…は、マスタサーバMSの第2生成部1105で生成され送信されてきたハフマン木を用いて、第2圧縮部1106により、スレーブサーバS1,S2,…内の出現マップを圧縮することとなる。
<集計および圧縮符号マップMsの作成の詳細>
 つぎに、集計部1101による集計および作成部1104による圧縮符号マップMsの作成の詳細について説明する。圧縮符号マップMsを作成する場合、作成に先立って、集計部1101により、対象ファイル群Fsから文字情報の出現回数を集計し、第1生成部1102により、2N分枝無節点ハフマン木Hを生成しておく必要がある。
 図13は、集計部1101による集計および作成部1104による圧縮符号マップMsの作成例を示す説明図である。
(1)出現回数の集計
 まず、コンピュータ1100は、対象ファイル群Fsに存在する文字情報の出現回数を計数する。集計結果は、出現回数の降順にソートされ、出現回数の大きい方から昇順の順位がつけられる。なお、ここでは、文字情報の総種類数は、例として1305個(<2048(=211))とする。(1)出現回数の集計の詳細は図7で説明する。
(2)圧縮符号長算出
 つぎに、(1)で得られた集計結果を基にして、コンピュータ1100は、文字情報ごとの圧縮符号長を算出する。具体的には、コンピュータ1100は、文字情報ごとに、出現率を算出する。出現率は、文字情報の出現回数を全文字情報の総出現回数で割ることで得られる。そして、コンピュータ1100は、出現率に対応する生起確率を求め、生起確率から圧縮符号長を導き出す。
 生起確率は、1/2xで表現される。xはべき数である。圧縮符号長は、生起確率のべき数xとなる。具体的には、出現率が生起確率の以下のどの範囲であるかで圧縮符号長が決定される。ARは出現率である。
1/20>AR≧1/21・・・圧縮符号長は1ビット。
1/21>AR≧1/22・・・圧縮符号長は2ビット。
1/22>AR≧1/23・・・圧縮符号長は3ビット。
1/23>AR≧1/24・・・圧縮符号長は4ビット。
                   ・
                   ・
                   ・
1/2N-1>AR≧1/2N・・・圧縮符号長はNビット。
 (2)圧縮符号長算出の詳細は図15で説明する。
(3)葉数特定
 つぎに、コンピュータ1100は、圧縮符号長ごとに葉数を集計することで圧縮符号長ごとの葉数を特定する。ここでは、最大圧縮符号長は17ビットとする。また、葉数とは、文字情報の種類数である。したがって、圧縮符号長5ビットの葉数が2である場合、5ビットの圧縮符号が割り当てられる文字情報が2つ存在することを示している。
(4)葉数補正
 つぎに、コンピュータ1100は、葉数を補正する。具体的には、コンピュータ1100は、枝数の上限2Nのべき数Nが最大圧縮符号長となるように補正する。たとえば、べき数N=11の場合、圧縮符号長11ビット~17ビットまでの葉数の総和を、補正後の圧縮符号長11ビットの葉数にする。そして、コンピュータ1100は、圧縮符号長ごとに葉当たりの枝数を割り当てる。具体的には、補正後の圧縮符号長に対し、その降順に、20、21、22、23、24、25、26として葉当たりの枝数を決定する。
 たとえば、図13では、圧縮符号長11ビットの圧縮符号が割り当てられる文字情報の総数(葉数)は1215個であるが、その葉当たりの枝数は1である。圧縮符号長11ビットの圧縮符号が割り当てられる文字情報については、それぞれ1本の枝しか割り当てられないこととなる。一方、圧縮符号長6ビットの圧縮符号が割り当てられる文字情報の総数(葉数)は6個であるが、その葉当たりの枝数は32である。圧縮符号長6ビットの圧縮符号が割り当てられる文字情報については、それぞれ32本の枝が割り当てられることとなる。(4)葉数補正は、必要な場合に実行すればよく、実行しなくてもよい。
(5)葉の構造体生成
 つぎに、コンピュータ1100は、葉の構造体を生成する。葉の構造体とは、文字情報とその圧縮符号長とその圧縮符号長での圧縮符号が対応付けられたデータ構造体である。たとえば、出現順位が1位である文字「0」の圧縮符号長は6ビットであり、圧縮符号は「000000」となる。図13の例では、文字情報の種類数(葉数)は1305個であるため、葉L1の構造体~葉L1305の構造体が生成されることとなる。(3)葉数特定~(5)葉の構造体生成の詳細(N=11)は、図16で説明する。
(6)葉へのポインタ生成
 つぎに、コンピュータ1100は、葉の構造体ごとに葉へのポインタを生成する。葉へのポインタは、そのポイント先となる葉の構造体内の圧縮符号に、その葉当たりの枝数分の番号に相当するビット列を連結したビット列である。たとえば、葉L1である文字「0」に割り当てられた圧縮符号「000000」の圧縮符号長は6ビットであるため、葉L1当たりの枝数は32本である。
 したがって、葉L1へのポインタの先頭6ビットは、圧縮符号「000000」となる。後続ビット列は、葉L1当たりの枝数で表現される32(=25)種のビット列となる。すなわち、32種の5ビットのビット列が圧縮符号「000000」の後続ビット列となる。したがって、葉L1へのポインタは、先頭6ビットが「000000」で固定された32種の11ビットのビット列となる。なお、葉当たりの枝数が1本の場合は、葉へのポインタは1個であり、圧縮符号とその葉へのポインタは同一ビット列となる。(6)葉へのポインタ生成の詳細は、図18で説明する。
(7)2N分枝無節点ハフマン木Hの構築
 最後に、コンピュータ1100は、2N分枝無節点ハフマン木Hを構築する。具体的には、葉のポインタを根とすることで、葉の構造体を直接指定する2N分枝無節点ハフマン木Hが構築される。圧縮符号列が、先頭6ビットが「000000」の11ビットのビット列である場合、後続の5ビットが32種のいずれのビット列であっても、2N分枝無節点ハフマン木Hにより文字「0」の葉L1の構造体をポイントすることができる。(7)2N分枝無節点ハフマン木Hの構築の詳細は、図19で説明する。
 図14は、(1)出現回数の集計の詳細を示す説明図である。図14において、コンピュータ1100は、(A)対象ファイル群Fsからの集計、(B)出現頻度の降順でのソート、(C)目標出現率の順位までの抽出という3つのフェーズを実行する。以下、基礎単語と単一文字に分けて説明する。
(A1)まず、コンピュータ1100は、対象ファイル群Fsを読み込んで、基礎単語の出現頻度(出現回数)を計数する。コンピュータ1100は、基礎単語の構造体を参照して、基礎単語の構造体内の基礎単語に一致する文字列が対象ファイルに存在する場合に、当該基礎単語の出現頻度(初期値は0)を1加算する。基礎単語の構造体とは、基礎単語が記述されたデータ構造体である。
(B1)対象ファイル群Fsにおいて基礎単語の集計が終了すると、コンピュータ1100は、基礎単語出現頻度集計テーブルを、出現頻度の降順にソートする。すなわち、出現頻度の高い順に並べ替え、出現頻度が最も高い基礎単語から順位付けをおこなう。
(A2)、また、コンピュータ1100は、対象ファイル群Fsを読み込んで、単一文字の出現頻度を計数する。具体的には、コンピュータ1100は、単一文字の出現頻度(初期値は0)を1加算する。
(B2)対象ファイル群Fsにおいて単一文字の集計が終了すると、コンピュータ1100は、単一文字出現頻度集計テーブルを、出現頻度の降順にソートする。すなわち、出現頻度の高い順に並べ替え、出現頻度が最も高い単一文字から順位付けをおこなう。
(C1)つぎに、コンピュータ1100は、(B1)ソート後の基礎単語出現頻度集計テーブルを参照して、目標出現率Pwまでの順位の基礎単語を抽出する。具体的には、コンピュータ1100は、全基礎単語の出現頻度の総和(総出現頻度)を分母とし、順位が1位の基礎単語から降順に出現頻度を累計して分子とし、各順位までの目標出現率Pwを算出する。
 たとえば、総出現頻度が40000、1位からy位までの基礎単語群の累計出現頻度が30000とすると、y位までの出現頻度は、(40000/30000)×100=75[%]となる。ここで、目標出現率Pwが75[%]である場合は、上位y位までの基礎単語を抽出することとなる。
(C21)つぎに、コンピュータ1100は、(B2)ソート後の単一文字出現頻度集計テーブルを参照して、目標出現率Pcまでの順位の単一文字を抽出する。具体的には、コンピュータ1100は、全単一文字の出現頻度の総和(総出現頻度)を分母とし、順位が1位の単一文字から降順に出現頻度を累計して分子とし、各順位までの出現率を算出する。
 たとえば、総出現頻度が50000、1位からy位までの単一文字群の累計出現頻度が40000とすると、y位までの出現頻度は、(50000/40000)×100=80[%]となる。ここで、目標出現率Pcが80[%]である場合は、上位y位までの単一文字を抽出することとなる。なお、(C21)で抽出された単一文字を、元の単一文字群と区別するために、「特定単一文字(群)」と称す。
(C22)また、単一文字群のうち特定単一文字群から外された単一文字(以下、「非特定単一文字(群)」)は、出現頻度が各特定単一文字よりも低いため、その文字コードを分割する。具体的には、非特定単一文字の文字コードを、上位ビットの文字コードと、下位ビットの文字コードに分割する。
 たとえば、単一文字がUTF16ビット文字コードで表現されている場合は、上位8ビットの文字コードと下位8ビットの文字コードに分割する。この場合、分割されたいずれの文字コードも、0x00~0xFFのコードで表現される。このように、上位ビットの文字コードが上位分割文字コードであり、下位ビットの文字コードが下位分割文字コードである。
 図15は、図13の(2)圧縮符号長算出の詳細(N=11)を示す説明図である。図15の文字情報テーブルは、図13の(1)での集計結果を反映したテーブルであり、文字情報ごとに順位項目、伸長種別項目、コード項目、文字項目、出現回数項目、総回数項目、出現率項目、補正前での生起確率項目および圧縮符号長項目が設定されている。このうち、順位項目~総回数項目までが再ソート結果で得られた情報である。
 ここで、順位項目には、文字情報の出現回数の降順に順位(昇順)が書き込まれている。文字情報項目のうち伸長種別項目には、文字情報の種別が書き込まれる。「16」は16ビットコード(の単一文字)を示している。「8」は8ビットの分割文字コードを示している。「基」は基礎単語を示している。
 文字情報項目のうちコード項目には、特定単一文字または分割文字コードが書き込まれている。基礎単語の場合は空欄とする。文字情報項目のうち文字項目には、文字や基礎単語が書き込まれている。分割文字コードの場合は空欄とする。出現回数項目には、対象ファイル群Fsでの文字情報の出現回数が書き込まれている。総回数項目には、全文字情報の総出現回数が書き込まれている。
 出現率項目には、出現回数を総回数で割り算した値が出現率として書き込まれている。補正前項目の生起確率項目には、出現率に対応する生起確率が書き込まれている。圧縮符号長項目には、生起確率に応じた圧縮符号長、すなわち、生起確率1/2yのべき数yが圧縮符号長として書き込まれている。
 図16は、図13の(3)葉数特定~(5)葉の構造体生成の詳細(N=11)を示す説明図である。図15の文字情報テーブルを圧縮符号長単位で葉数(文字情報の総種類数)を集計した結果が、図15における補正前の葉数となる。ここで、補正Aとは、圧縮符号長の上限長N(すなわち、2N分枝無節点ハフマン木Hの最大枝数2Nのべき数N)以上の圧縮符号長に割り当てられた葉数を、圧縮符号長の上限長Nに集約する補正である。この場合、補正前での最大圧縮符号長は17ビットであるが、文字情報の総種類数が1305種であるため、圧縮符号長の上限長Nは、N=11となる。したがって、補正Aでは、圧縮符号長11ビットの葉数が、圧縮符号長が11ビット~17ビットの葉数の総和(1190個)となる。
 そして、コンピュータ1100は、生起確率総和を求める。圧縮符号長ごとの生起確率は決められているため(5ビットなら1/25)、圧縮符号長ごとに生起確率を葉数で乗じることで、圧縮符号長ごとの乗算結果が得られる。たとえば、補正Aにおける圧縮符号長5ビットの葉数は2である。圧縮符号長5ビットの生起確率は、1/25である。したがって、補正Aにおける圧縮符号長5ビットの生起確率は、2×(1/25)=1/24となる。圧縮符号長6ビット以降も同様に補正Aにおける圧縮符号長生起確率を求める。そして、補正A後における各圧縮符号長の生起確率を合計することで、補正Aでの生起確率総和が得られる。
 そして、コンピュータ1100は、生起確率総和が1以下であるか否かを判断する。しきい値tは0<t≦1である。しきい値tを設けたくない場合は、t=1とすればよい。しきい値t未満であれば、補正Bに移行する。しきい値t以上1以下である場合は、補正Bに移行せず、この時点での圧縮符号長ごとの葉数で確定する。
 補正Bは、補正Aでの圧縮符号長群(5ビット~12ビット)は変えずに、葉数を更新する補正である。具体的には、補正Aでの生起確率総和が、しきい値t以上1以下でない場合におこなわれる補正である。より具体的には、補正Bは2種類ある。
 1つ目は、生起確率総和がしきい値t未満である場合、生起確率総和が1以下の最大値が得られるまで、たとえば、最大漸近値に収束するまで、生起確率総和を増加させる補正(以下、補正B+)である。もう1つは、生起確率総和が1より大きい場合、生起確率総和が1以下に割り込んでから1以下の最大値が得られるまで、たとえば、最大漸近値に収束するまで、生起確率総和を減少させる補正(以下、補正B-)である。
 図16に示した例では、補正Aでの生起確率総和が「1.146」であるため、補正B-をおこなうこととなる。なお、補正B+および補正B-のいずれの補正Bであっても、葉数を生起確率総和で割るという同じ補正をおこなう。
 まず、補正B-の1回目(補正B-1)では、圧縮符号長ごとの補正Aでの葉数を、前回の補正(この場合は補正A)の生起確率の総和(1.146)で割ることで、葉数を更新する。なお、小数点以下は切り捨てでも、四捨五入でもよい。なお、補正Aでの圧縮符号長の上限長N(N=11ビット)については、前回の補正(この場合は補正A)の生起確率総和(1.146)で割ることはせず、葉の総数(1305個)から、補正B-1での圧縮符号長ごとの葉の総数(圧縮符号長の上限長Nの葉数除く)を引くことで、圧縮符号長の上限長Nの葉数を求める。この場合は、1208個である。
 このあと、コンピュータ1100は、補正Aの場合と同様の計算処理により、補正B-1での生起確率総和を求める。そして、コンピュータ1100は、補正B-1での生起確率総和が1以下の最大漸近値に収束したか否かを判断する。補正B-1での生起確率総和が1以下の最大漸近値に収束していなければ、補正B-の2回目(補正B-2)に移行する。最大漸近値に収束した場合は、補正B-2に移行せず、この時点での圧縮符号長ごとの葉数で確定する。補正B-1で更新された生起確率総和「1.042」は1より大きいため、最大漸近値に収束しておらず、補正B-2に移行する。
 補正B-2では、圧縮符号長ごとの補正B-1での葉数を、前回の補正(この場合は補正B-1)の生起確率総和(1.042)で割ることで、葉数を更新する。なお、小数点以下は切り捨てでも、四捨五入でもよい。なお、補正B-1での圧縮符号長の上限長N(N=11ビット)については、前回の補正(この場合は補正B-1)の生起確率総和(1.042)で割ることはせず、葉の総数(1305個)から、補正B-2での圧縮符号長ごとの葉の総数(圧縮符号長の上限長Nの葉数除く)を引くことで、圧縮符号長の上限長Nの葉数を求める。この場合は、1215個である。
 このあと、コンピュータ1100は、補正B-1の場合と同様の計算処理により、補正B-2での生起確率総和を求める。そして、コンピュータ1100は、補正B-2での生起確率総和が1以下の最大漸近値に収束したか否かを判断する。補正B-2での生起確率総和が1以下の最大漸近値に収束していなければ、補正B-の3回目(補正B-3)に移行する。最大漸近値に収束した場合は、補正B-3に移行せず、この時点での圧縮符号長ごとの葉数で確定する。補正B-2で更新された生起確率総和「0.982」は1以下であるが、最大漸近値に収束しているかが不明であるため、補正B-3に移行する。
 補正B-3では、圧縮符号長ごとの補正B-2での葉数を、前回の補正(この場合は補正B-2)の生起確率総和(0.982)で割ることで、葉数を更新する。なお、小数点以下は切り捨てでも、四捨五入でもよい。なお、補正B-2での圧縮符号長の上限長N(N=11ビット)については、前回の補正(この場合は補正B-2)の生起確率総和(0.982)で割ることはせず、葉の総数(1305個)から、補正B-3での圧縮符号長ごとの葉の総数(圧縮符号長の上限長Nの葉数除く)を引くことで、圧縮符号長の上限長Nの葉数を求める。この場合は、1215個である。
 このあと、コンピュータ1100は、補正B-2の場合と同様の計算処理により、補正B-3での生起確率総和を求める。そして、コンピュータ1100は、補正B-3での生起確率総和が1以下の最大漸近値に収束したか否かを判断する。補正B-3での生起確率総和が1以下の最大漸近値に収束していなければ、補正B-の4回目(補正B-4)に移行する。最大漸近値に収束した場合は、補正B-4に移行せず、この時点での圧縮符号長ごとの葉数で確定する。
 補正B-3で更新された生起確率総和「0.982」は、補正B-2で更新された生起確率総和「0.982」と同じ値である。すなわち、補正B-3での各圧縮符号長の葉数と補正B-2での各圧縮符号長の葉数とは同じである。この場合、コンピュータ1100は、生起確率総和が最大漸近値に収束したと判断し、葉数が確定する。
 このようにして、葉数が確定するまで補正B-を継続することとなる。図16の例では、補正B-3で圧縮符号長ごとの葉数が確定したこととなる。このあと、コンピュータ1100は、圧縮符号長ごとに、葉当たりの枝数を算出することとなる。葉当たりの枝数の算出は、上述したように、圧縮符号長の上限長N(この場合はN=11ビット)から降順に、20、21、22、23、24、25、26として葉当たりの枝数を割り当てることとなる。なお、枝数の小計は、圧縮符号長ごとに、葉当たりの枝数に確定した葉数を乗じた乗算結果である。
 図17は、文字情報ごとの補正結果を示す説明図である。図17において、文字情報テーブルには、補正A、補正B-1~補正B-2までの補正結果が追加されている。図17に示したように、補正により圧縮符号長別の葉数が更新されるため、順位項目の1位の文字情報から短い圧縮符号長が割り当てられることとなる。
 たとえば、補正B-2で確定した場合、圧縮符号長6ビットでは葉数が6、圧縮符号長7ビットでは葉数が18、…、圧縮符号長11ビットでは葉数が1215となっている。したがって、順位が1位から6位までの文字情報(葉数6個分)については6ビットの圧縮符号長、順位が7位から24位までの文字情報(葉数18個分)については7ビットの圧縮符号長、…、順位が91位から1305位までの文字情報(葉数1215個分)については11ビットの圧縮符号長が割り当てられる。
 そして、コンピュータ1100は、文字情報と文字情報に割り当てられた圧縮符号長と圧縮符号長ごとの葉数とに基づいて、文字情報ごとに圧縮符号を割り当て、葉の構造体を生成することとなる。たとえば、出現率1位の単一文字「0」は5ビットの圧縮符号長が割り当てられているため、圧縮符号が「000000」となる。したがって、圧縮符号「000000」、圧縮符号長「6」、文字情報「0」を含む葉L1の構造体が生成されることとなる。
 なお、上述した補正処理では、圧縮符号長が5ビット~11ビットとしたが、2グラム文字列の圧縮符号マップMを分割する場合もあるため、圧縮符号長は偶数ビットとなるように、補正してもよい。具体的には、たとえば、圧縮符号長5ビットおよび7ビットの文字情報については6ビット、9ビットの文字情報については8ビット、11ビットの文字情報については10ビットとする。
 図18は、図13の(6)葉へのポインタ生成の詳細(N=11)を示す説明図である。図18は、圧縮符号長の上限Nが11ビットの場合の葉へのポインタを示している。図18において、圧縮符号長が6ビットの葉数は6個であるため、圧縮符号は「000000」~「000101」が割り当てられる。また、圧縮符号長が6ビットの葉当たりの枝数は、32本である。したがって、圧縮符号長が6ビットの圧縮符号についての葉へのポインタは、32(=25)個生成される。具体的には、葉へのポインタの先頭6ビットが圧縮符号で後続5ビットが32種のビット列となる。したがって、圧縮符号長が6ビットの圧縮符号の各々について、32種の葉へのポインタが生成されることとなる。
 なお、図示はしないが、圧縮符号長が7ビットの葉数は18個であるため、圧縮符号「0001100」~「0011111」が割り当てられる。また、圧縮符号長が7ビットの葉当たりの枝数は、16本である。したがって、圧縮符号長が7ビットの圧縮符号についての葉へのポインタは、16(=24)個生成される。具体的には、葉へのポインタの先頭7ビットが圧縮符号で後続4ビットが16種のビット列となる。したがって、圧縮符号長が7ビットの圧縮符号の各々について、16種の葉へのポインタが生成されることとなる。
 同様に、圧縮符号長が8ビットの葉数は23個であるため、圧縮符号「01000000」~「01010110」が割り当てられる。また、圧縮符号長が8ビットの葉当たりの枝数は、8本である。したがって、圧縮符号長が8ビットの圧縮符号についての葉へのポインタは、8(=23)個生成される。具体的には、葉へのポインタの先頭8ビットが圧縮符号で後続3ビットが8種のビット列となる。したがって、圧縮符号長が8ビットの圧縮符号の各々について、8種の葉へのポインタが生成されることとなる。
 同様に、圧縮符号長が9ビットの葉数は23個であるため、圧縮符号「010101110」~「011000100」が割り当てられる。また、圧縮符号長が9ビットの葉当たりの枝数は、4本である。したがって、圧縮符号長が9ビットの圧縮符号についての葉へのポインタは、4(=22)個生成される。具体的には、葉へのポインタの先頭9ビットが圧縮符号で後続2ビットが4種のビット列となる。したがって、圧縮符号長が9ビットの圧縮符号の各々について、4種の葉へのポインタが生成されることとなる。
 同様に、圧縮符号長が10ビットの葉数は20個であるため、圧縮符号「0110000110」~「0110011101」が割り当てられる。また、圧縮符号長が10ビットの葉当たりの枝数は、2本である。したがって、圧縮符号長が10ビットの圧縮符号についての葉へのポインタは、2(=21)個生成される。具体的には、葉へのポインタの先頭10ビットが圧縮符号で後続1ビットが2種のビット列となる。したがって、圧縮符号長が10ビットの圧縮符号の各々について、2種の葉へのポインタが生成されることとなる。
 同様に、圧縮符号長が11ビットの葉数は1215個であるため、圧縮符号「01100111100」~「11111111010」が割り当てられる。また、圧縮符号長が11ビットの葉当たりの枝数は、1本である。したがって、圧縮符号長が11ビットの圧縮符号についての葉へのポインタは、1(=20)個生成される。具体的には、圧縮符号がそのまま葉へのポインタとなる。したがって、圧縮符号長が11ビットの圧縮符号の各々について、1種の葉へのポインタが生成されることとなる。
 図19は、図13の(7)2N分枝無節点ハフマン木Hの構築の詳細(N=11)を示す説明図である。図19では、N=11とした場合の2048(=211)分枝無節点ハフマン木Hを示している。根の構造体には、葉へのポインタが格納されている。葉へのポインタはポイント先の葉の構造体を指定することができる。
 具体的には、圧縮符号長が6ビットの圧縮符号が格納される葉の構造体についての葉へのポインタは、図18に示したように32個生成される。したがって、葉L1の構造体については、根の構造体に32個の葉L1へのポインタL1P(1)~L1P(32)が格納される。葉L2の構造体~葉L6の構造体についても同様である。葉L7以降の構造体については、図19のとおりである。
 図20は、葉の構造体を示す説明図である。葉の構造体は、第1領域~第4領域を有するデータ構造体である。葉の構造体は、第1領域には、圧縮符号およびその圧縮符号長が格納される。第2領域には、葉の標識と伸長種別(図15参照)、出現率(図15参照)が格納される。第3領域には、伸長種別に応じて特定単一文字である16ビットの文字コード、非特定単一文字の文字コードが分割された8ビットの分割文字コード、または基礎単語へのポインタが格納される。基礎単語へのポインタにより基礎単語の構造体内の基礎単語が指定される。また、照合フラグも格納されている。照合フラグはデフォルトでは「0」である。「0」の場合は、伸長する文字をそのまま伸長バッファに書き出し、「1」の場合は、<color>タグと</color>タグで挟み込んで伸長バッファに書き出す。
 第4領域には、格納されている文字情報の出現率と出現マップの出現率領域が格納される。出現率とは、図15に示した文字情報の出現率である。出現マップの出現率領域については図55および図56で説明する。なお、第3領域には、そのほか、符号種別と符号区分が格納される。符号種別とは、文字コードが数字、英字、特殊記号、カタカナ、ひらがな、漢字のいずれに該当するか、または基礎単語へのポインタであるかを識別する情報である。符号区分とは、文字コードが16ビットであるか8ビットであるかを識別する情報である。16ビットの文字コードである場合または予約語である場合、符号区分として“1”を割り当て、8ビットの分割文字コードの場合、符号区分として“0”を割り当てる。
 なお、第1領域~第4領域内の情報は、後述する構築処理(ステップS3905)において格納されることとなる。
 図21は、特定単一文字の構造体を示す説明図である。特定単一文字の構造体2100は、特定単一文字コードe♯とその葉L♯へのポインタを格納するデータ構造体である。具体的には、たとえば、コンピュータ1100は、対象ファイル群Fsからの集計結果が得られたときに、コンピュータ1100が、特定単一文字の構造体2100に特定単一文字コードe♯を格納する。そして、コンピュータ1100は、2N分枝無節点ハフマン木Hが構築されると、2N分枝無節点ハフマン木Hにおける各葉の構造体に格納された圧縮符号に対応する、特定単一文字の構造体2100における特定文字コードe♯へのポインタを格納する。
 また、特定単一文字コードe♯へのポインタが対応する葉の構造体に格納されると、コンピュータ1100は、2N分枝無節点ハフマン木Hにおける各特定単一文字コードe♯に対応する葉へのポインタを、特定単一文字の構造体2100内の対応する特定単一文字コードe♯に関連付けて格納する。これにより、特定単一文字の構造体2100が生成される。
 図22は、分割文字コードの構造体を示す説明図である。分割文字コードの構造体2200は、分割文字コードとその葉L♯へのポインタを格納する。具体的には、たとえば、コンピュータ1100は、対象ファイル群Fsからの集計結果が得られたときに、コンピュータ1100が、分割文字コードの構造体2200に分割文字コードを格納する。そして、コンピュータ1100は、2N分枝無節点ハフマン木Hが構築されると、2N分枝無節点ハフマン木Hにおける各葉の構造体に格納された圧縮符号に対応する、分割文字コードの構造体2200における分割文字コードへのポインタを格納する。
 また、分割文字コードへのポインタが対応する葉の構造体に格納されると、コンピュータ1100は、2N分枝無節点ハフマン木Hにおける各分割文字コードに対応する葉へのポインタを、分割文字コードの構造体2200内の対応する分割文字コードに関連付けて格納する。これにより、分割文字コードの構造体2200が生成される。
 図23は、基礎単語の構造体を示す説明図である。基礎単語の構造体2300は、基礎単語とその葉L♯へのポインタを格納するデータ構造体である。基礎単語の構造体2300には、あらかじめ基礎単語が格納されている。コンピュータ1100は、2N分枝無節点ハフマン木Hが構築されると、2N分枝無節点ハフマン木Hにおける各葉の構造体に格納された圧縮符号に対応する、基礎単語の構造体2300における基礎単語へのポインタを格納する。
 また、基礎単語へのポインタが対応する葉の構造体に格納されると、コンピュータ1100は、2N分枝無節点ハフマン木Hにおける各基礎単語に対応する葉へのポインタを、基礎単語の構造体2300内の対応する基礎に関連付けて格納することとなる。
<圧縮符号マップMsの作成例>
 第1生成部1102により2N分枝無節点ハフマン木Hが生成されると、作成部1104は、単一文字の圧縮符号マップMs、上位分割文字コードの圧縮符号マップMs、下位分割文字コードの圧縮符号マップMs、単語の圧縮符号マップMs、2グラム文字列の圧縮符号マップMsを作成する。以下、単一文字の圧縮符号マップMs、上位分割文字コードの圧縮符号マップMs、下位分割文字コードの圧縮符号マップMs、2グラム文字列の圧縮符号マップMsの詳細な作成例について説明する。なお、基礎単語の圧縮符号マップMsは、単一文字の圧縮符号マップMsと同様に行われるため省略する。
 図24は、圧縮符号マップMsの生成例を示す説明図である。図24では、対象ファイルFi内に『竜馬は脱藩した』という文字列が記述されているものとする。
(A)まず、先頭文字「竜」が対象文字である。対象文字「竜」は特定単一文字であるため、2N分枝無節点ハフマン木Hにアクセスして特定単一文字「竜」の圧縮符号を取得し、特定単一文字「竜」の出現マップを特定する。未生成の場合は、特定単一文字「竜」の圧縮符号をポインタとし、かつ、対象ファイルの存否を示すビット列をオール0にした特定単一文字「竜」の出現マップを生成する。そして、特定単一文字「竜」の出現マップについて対象ファイルFiのビットをON(“0”→“1”)にする。
(B)つぎに、対象文字を1グラムシフトして、対象文字を「馬」にする。対象文字「馬」は特定単一文字であるため、2N分枝無節点ハフマン木Hにアクセスして特定単一文字「馬」の圧縮符号を取得し、特定単一文字「馬」の出現マップを特定する。未生成の場合は、特定単一文字「馬」の圧縮符号をポインタとし、かつ、対象ファイルの存否を示すビット列をオール0にした特定単一文字「馬」の出現マップを生成する。そして、特定単一文字「馬」の出現マップについて対象ファイルFiのビットをON(“0”→“1”)にする。
 また、対象文字が「馬」にシフトされた場合、「竜馬」という2グラム文字列が得られるため、「竜」の圧縮符号と「馬」の圧縮符号を結合した「竜馬」の圧縮符号列により、2グラム文字列「竜馬」の出現マップを特定する。未生成の場合は、「竜馬」の圧縮符号列をポインタとし、かつ、対象ファイルの存否を示すビット列をオール0にした2グラム文字列「竜馬」の出現マップを生成する。そして、2グラム文字列「竜馬」の出現マップにおいて対象ファイルFiのビットをON(“0”→“1”)にする。
(C)つぎに、対象文字を1グラムシフトして、対象文字を「は」にする。対象文字「は」についても(B)と同様に処理することで、特定単一文字「は」の出現マップについて対象ファイルFiのビットをON(“0”→“1”)にする。同様に、2グラム文字列「馬は」の出現マップにおいて対象ファイルFiのビットをON(“0”→“1”)にする。
(D)つぎに、対象文字を1グラムシフトして、対象文字を「脱」にする。対象文字「脱」は特定単一文字ではないため、対象文字「脱」の文字コード「0x8131」を、上位分割文字コード「0x81」と下位分割文字コード「0x31」に分割する。そして、対象文字を上位分割文字コード「0x81」にする。上位分割文字コード「0x81」についても、特定単一文字と同様に処理することで、上位分割文字コード「0x81」の出現マップについて対象ファイルFiのビットをON(“0”→“1”)にする。同様に、2グラム文字列「は 0x81」の出現マップにおいて対象ファイルFiのビットをON(“0”→“1”)にする。
(E)つぎに、対象文字を1グラムシフトして、文字「脱」の下位分割文字コード「0x31」を、対象文字にする。下位分割文字コード「0x31」についても、同様に処理することで、下位分割文字コード「0x31」の出現マップについて対象ファイルFiのビットをON(“0”→“1”)にする。同様に、2グラム文字列「0x81 0x31」の出現マップにおいて対象ファイルFiのビットをON(“0”→“1”)にする。
 (F)~(I)についても同様の処理をおこない、最後の対象ファイルFnについても処理を完了することで、単一文字、上位分割文字コード、下位分割文字コード、2グラム文字列のそれぞれについて、圧縮符号マップMsが生成される。
<圧縮符号マップ生成処理手順>
 つぎに、作成部1104による圧縮符号マップ作成処理手順例について説明する。
 図25は、作成部1104による圧縮符号マップ作成処理手順例を示すフローチャートである。コンピュータ1100は、集計処理(ステップS2501)、マップ割当数決定処理(ステップS2502)、再集計処理(ステップS2503)、ハフマン木生成処理(ステップS2504)、マップ作成処理(ステップS2505)を実行する。コンピュータ1100は、集計部1101により集計処理(ステップS2501)~再集計処理(ステップS2503)を実行する。また、第1生成部1102によりハフマン木生成処理(ステップS2504)を実行し、作成部1104によりマップ作成処理(ステップS2505)を実行する。
 集計処理(ステップS2501)とは、対象ファイル群Fs内の単一文字や基礎単語の出現回数(出現頻度ともいう)を計数する処理である。マップ割当数決定処理(ステップS2502)とは、集計処理(ステップS2501)で集計された単一文字および基礎単語についてのマップ割当数を決定する処理である。マップ割当数に対応する出現順位の単一文字および基礎単語が、それぞれ特定単一文字および基礎単語となる。
 再集計処理(ステップS2503)とは、単一文字のうち特定単一文字以外の非特定単一文字を分割して、上位分割文字コードおよび下位分割文字コードとし、それぞれの出現回数を集計する処理である。また、再集計処理(ステップS2503)では、2グラム文字列の出現回数も集計する。
 ハフマン木生成処理(ステップS2504)とは、図15~図20に示したように、2N分枝無節点ハフマン木Hを生成する処理である。マップ作成処理(ステップS2505)とは、特定単一文字、基礎単語、上位分割文字コード、下位分割文字コード、2グラム文字列についての圧縮符号マップMを生成する処理である。
(集計処理(ステップS2501))
 図26は、図25に示した集計処理(ステップS2501)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、ファイル番号iをi=1に設定し(ステップS2601)、対象ファイルFiを読み込む(ステップS2602)。そして、コンピュータ1100は、対象ファイルFiの集計処理を実行する(ステップS2603)。対象ファイルFiの集計処理(ステップS2603)の詳細については、図27で説明する。このあと、コンピュータ1100は、ファイル番号iがi>n(nは対象ファイルF1~Fnの総数)であるか否かを判断する(ステップS2604)。
 i>nでない場合(ステップS2604:No)、コンピュータ1100は、iをインクリメントし(ステップS2605)、ステップS2602に戻る。一方、i>nである場合(ステップS2604:Yes)、コンピュータ1100は、図25に示したマップ割当数決定処理(ステップS2502)に移行して、集計処理(ステップS2501)を終了する。この集計処理(ステップS2501)によれば、対象ファイルFiごとに対象ファイルFiの集計処理(ステップS2603)を実行することができる。
(対象ファイルFiの集計処理(ステップS2603))
 図27は、図26に示した対象ファイルFiの集計処理(ステップS2603)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、対象文字を対象ファイルFiの先頭文字とし(ステップS2701)、基礎単語集計処理を実行する(ステップS2702)。基礎単語集計処理(ステップS2702)の詳細については図29で説明する。このあと、コンピュータ1100は、文字出現頻度集計テーブルにおいて対象文字の出現回数を1増加する(ステップS2703)。
 図28は、文字出現頻度集計テーブルを示す説明図である。文字出現頻度集計テーブル2800は、RAM903や磁気ディスク905などの記憶装置に記憶されており、該当する文字が出現する都度出現回数を1ずつ増加させる。
 図27に戻り、コンピュータ1100は、対象文字が対象ファイルFiの末尾文字であるか否かを判断する(ステップS2704)。対象文字が対象ファイルFiの末尾文字でない場合(ステップS2704:No)、コンピュータ1100は、対象文字を末尾方向へ1文字シフトし(ステップS2705)、ステップS2702に戻る。
 一方、対象文字が対象ファイルFiの末尾文字である場合(ステップS2704:Yes)、コンピュータ1100は、ステップS2604に移行して、対象ファイルFiの集計処理(ステップS2603)を終了する。この対象ファイルFiの集計処理(ステップS2603)によれば、対象ファイル群Fsに存在する基礎単語および単一文字の出現頻度を集計することができる。
(基礎単語集計処理(ステップS2702))
 図29は、図27に示した基礎単語集計処理(ステップS2702)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、最長一致検索処理を実行し(ステップS2901)、最長一致した基礎単語があったか否かを判断する(ステップS2902)。最長一致検索処理(ステップS2901)の詳細については図31で説明する。最長一致した基礎単語があった場合(ステップS2902:Yes)、コンピュータ1100は、基礎単語出現頻度集計テーブルにおいて最長一致した基礎単語の出現回数を1増加し(ステップS2903)、ステップS2703に移行する。
 図30は、基礎単語出現頻度集計テーブルを示す説明図である。基礎単語出現頻度集計テーブル3000は、RAM903や磁気ディスク905などの記憶装置に記憶されており、該当する基礎単語が出現する都度出現回数を1ずつ増加させる。
 図29に戻り、最長一致した基礎単語がなかった場合(ステップS2902:No)、ステップS2703に移行する。これにより、基礎単語集計処理(ステップS2702)を終了する。この基礎単語集計処理(ステップS2702)によれば、最長一致検索処理(ステップS2901)により基礎単語を計数することができるため、文字列が長い基礎単語を優先的に計数することができる。
(最長一致検索処理(ステップS2901))
 図31は、図29に示した最長一致検索処理(ステップS2901)の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、c=1とする(ステップS3101)。cは対象文字からの文字数(対象文字含む)である。c=1の場合は、対象文字だけである。つぎに、コンピュータ1100は、対象文字からc文字目までの対象文字列と前方一致する基礎単語を2分探索する(ステップS3102)。そして、コンピュータ1100は、検索により基礎単語があるか否かを判断する(ステップS3103)。2分探索により基礎単語がヒットしなかった場合(ステップS3103:No)、ステップS3106に移行する。
 一方、2分探索により基礎単語がヒットした場合(ステップS3103:Yes)、コンピュータ1100は、ヒットした基礎単語と対象文字列とが完全一致するか否かを判断する(ステップS3104)。そして、完全一致しない場合(ステップS3104:No)、ステップS3106に移行する。一方、完全一致する場合(ステップS3104:Yes)、コンピュータ1100は、最長一致候補として記憶装置に保持し(ステップS3105)、ステップS3106に移行する。
 ステップS3106では、コンピュータ1100は、対象文字列について2分探索が終了したか否かを判断する(ステップS3106)。具体的には、コンピュータ1100は、末尾の基礎単語まで2分探索したか否かを判断する。2分探索が終了していない場合(ステップS3106:No)、コンピュータ1100は、ステップS3102に移行して、2分探索が終了するまで継続する。
 一方、対象文字列について2分探索が終了した場合(ステップS3106:Yes)、コンピュータ1100は、c文字目の文字が対象ファイルFiの末尾文字であるか否かを判断する(ステップS3107)。c文字目の文字が対象ファイルFiの末尾文字である場合(ステップS3107:Yes)、ステップS3110に移行する。一方、c文字目の文字が対象ファイルFiの末尾文字でない場合(ステップS3107:No)、コンピュータ1100は、c>cmaxであるか否かを判断する(ステップS3108)。cmaxはあらかじめ設定された値であり、これにより対象文字列の上限文字数が設定される。
 c>cmaxでない場合(ステップS3108:No)、コンピュータ1100は、cをインクリメントして(ステップS3109)、ステップS3102に戻る。一方、c>cmaxである場合(ステップS3108:Yes)、コンピュータ1100は、最長一致候補があるか否かを判断する(ステップS3110)。具体的には、コンピュータ1100は、ステップS3105において1つでも最長一致候補がメモリに保持されているか否かを判断する。
 最長一致候補がある場合(ステップS3110:Yes)、コンピュータ1100は、最長一致候補のうち最長文字列を、最長一致した基礎単語に決定する(ステップS3111)。そして、ステップS2902に移行する。一方、ステップS3110において、最長一致候補が1つもない場合(ステップS3110:No)、ステップS2902に移行する。これにより、最長一致検索処理(ステップS2901)を終了する。この最長一致検索処理(ステップS2901)によれば、基礎単語の構造体にある基礎単語の中から、完全一致した文字列の中でかつ最長の文字列を基礎単語として検索することができる。
(マップ割当数決定処理(ステップS2502))
 図32は、図25に示したマップ割当数決定処理(ステップS2502)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、集計処理(ステップS2501)による基礎単語ごとの出現頻度を示す基礎単語出現頻度集計テーブル3000と単一文字ごとの出現頻度を示す文字出現頻度集計テーブル2800を出現頻度の高い順にソートする(ステップS3201)。そして、コンピュータ1100は、ソート後の基礎単語出現頻度集計テーブル3000を参照して、基礎単語の出現順位RwをRw=1とし(ステップS3202)、出現順位Rwまでの累積出現回数Arwを計数する(ステップS3203)。そして、コンピュータ1100は、下記式(1)を満たすか否かを判断する(ステップS3204)。
 Arw>Pw×Aw・・・(1)
 Awは集計された基礎単語の総出現回数である。
 上記(1)式を満たさない場合(ステップS3204:No)、コンピュータ1100は、出現順位Rwをインクリメントして(ステップS3205)、ステップS3203に戻る。すなわち、上記式(1)を満たすまで出現順位Rwを下げ続ける。
 そして、上記式(1)を満たした場合(ステップS3204:Yes)、コンピュータ1100は、基礎単語のマップ割当数NwをNw=Rw-1とする(ステップS3206)。ここで、マップ割当数Nwとは、マップ作成処理(ステップS3205)で生成される基礎単語出現マップに割り当てられる基礎単語数であり、基礎単語出現マップのレコード数(行数)を意味する。
 また、コンピュータ1100は、単一文字の出現順位RcをRc=1とし(ステップS3207)、出現順位Rcまでの累積出現回数Arcを計数する(ステップS3208)。そして、コンピュータ1100は、下記式(2)を満たすか否かを判断する(ステップS3209)。
 Arc>Pc×Ac・・・(2)
 Acは集計された単一文字の総出現回数である。
 上記(2)式を満たさない場合(ステップS3209:No)、コンピュータ1100は、出現順位Rcをインクリメントして(ステップS3210)、ステップS3208に戻る。すなわち、上記式(2)を満たすまで出現順位Rcを下げ続ける。
 そして、上記式(2)を満たした場合(ステップS3209:Yes)、コンピュータ1100は、単一文字のマップ割当数NcをNc=Rc-1とする(ステップS3211)。ここで、マップ割当数Ncとは、マップ作成処理(ステップS2505)で生成される特定単一文字出現マップに割り当てられる特定単一文字数であり、特定単一文字出現マップのレコード数(行数)を意味する。この後、再集計処理(ステップS2503)に移行して、マップ割当数決定処理(ステップS2502)を終了する。
 このマップ割当数決定処理(ステップS2502)によれば、マップ作成処理(ステップS2505)において目標出現率Pwに応じた数の基礎単語分について基礎単語出現マップを生成することができる。したがって、すべての基礎単語についてマップ割当をおこなう必要はなく、目標出現率Pwにしたがって決められるため、マップサイズの最適化を図ることができる。
 また、単一文字についても、マップ作成処理(ステップS2505)において目標出現率Pcに応じた数の単一文字分について特定単一文字の圧縮符号マップMを生成することができる。したがって、すべての単一文字についてマップ割当をおこなう必要はなく、目標出現率Pcにしたがって決められるため、マップサイズの最適化を図ることができる。
(再集計処理(ステップS2503))
 図33は、図25に示した再集計処理(ステップS2503)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、ファイル番号iをi=1に設定し(ステップS3301)、対象ファイルFiを読み込む(ステップS3302)。そして、コンピュータ1100は、対象ファイルFiの再集計処理を実行する(ステップS3303)。対象ファイルFiの再集計処理(ステップS3303)の詳細については、図33で説明する。このあと、コンピュータ1100は、ファイル番号iがi>n(nは対象ファイルF1~Fnの総数)であるか否かを判断する(ステップS3304)。
 i>nでない場合(ステップS3304:No)、コンピュータ1100は、iをインクリメントし(ステップS3305)、ステップS3302に戻る。一方、i>nである場合(ステップS3304:Yes)、コンピュータ1100は、図25に示したハフマン木生成処理(ステップS3204)に移行して、再集計処理(ステップS3203)を終了する。この再集計処理(ステップS3203)によれば、対象ファイルFiごとに対象ファイルFiの再集計処理(ステップS3303)を実行することができる。
(対象ファイルFiの再集計処理(ステップS3303))
 図34は、対象ファイルFiの再集計処理(ステップS3303)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、対象文字を対象ファイルFiの先頭文字とし(ステップS3401)、対象文字が特定単一文字であるか否かを判断する(ステップS3402)。特定単一文字である場合(ステップS3402:Yes)、分割せずにステップS3404に移行する。
 一方、特定単一文字でない場合(ステップS3402:No)、コンピュータ1100は、対象文字の文字コードを上位分割文字コードと下位分割文字コードとに分割する(ステップS3403)。そして、ステップS3404に移行する。
 ステップS3404では、コンピュータ1100は、上位分割文字コード出現頻度集計テーブルに対し、ステップS3403で得られた上位分割文字コードと同一分割文字コードの出現回数を1加算する(ステップS3404)。
 図35は、上位分割文字コード出現頻度集計テーブルを示す説明図である。上位分割文字コード出現頻度集計テーブル3500は、RAM903や磁気ディスク905などの記憶装置に記憶されており、該当する上位分割文字コードが出現する都度出現回数を1ずつ増加させる。
 また、図34において、コンピュータ1100は、下位分割文字コード出現頻度集計テーブルに対し、ステップS3403で得られた下位分割文字コードと同一分割文字コードの出現回数を1加算する(ステップS3405)。
 図36は、下位分割文字コード出現頻度集計テーブルを示す説明図である。下位分割文字コード出現頻度集計テーブル3600は、RAM903や磁気ディスク905などの記憶装置に記憶されており、該当する下位分割文字コードが出現する都度出現回数を1ずつ増加させる。
 また、図34において、コンピュータ1100は、2グラム文字列特定処理を実行する(ステップS3406)。2グラム文字列特定処理(ステップS3406)では、対象文字を基点とする2グラム文字列を特定する。2グラム文字列特定処理(ステップS3406)の詳細は図37で説明する。
 コンピュータ1100は、2グラム文字列出現頻度集計テーブルに対し、2グラム文字列特定処理(ステップS3406)で特定された2グラム文字列の出現回数を1加算する(ステップS3407)。
 図37は、図34で示した2グラム文字列特定処理(ステップS3406)の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、対象文字に対し、対象文字は分割されたか否かを判断する(ステップS3701)。すなわち、コンピュータ1100は、対象文字が分割文字コードか否かを判断する。分割されていない場合(ステップS3701:No)、すなわち、単一文字の場合、コンピュータ1100は、1つ前の文字があるか否かを判断する(ステップS3702)。
 1つ前の文字がある場合(ステップS3702:Yes)、コンピュータ1100は、1つ前の文字は分割されたか否かを判断する(ステップS3703)。すなわち、コンピュータ1100は、1つ前の文字が分割文字コードか否かを判断する。分割されていない場合(ステップS3703:No)、すなわち、単一文字の場合、コンピュータ1100は、対象文字の1つ前の単一文字と対象文字(単一文字)からなる文字列を、2グラム文字列に決定する(ステップS3704)。そして、ステップS3407に移行する。
 一方、ステップS3703において、1つ前の文字が分割された場合(ステップS3703:Yes)、すなわち、分割文字コードである場合、その1つ前の文字である分割文字コードは、下位分割文字コードとなる。したがって、コンピュータ1100は、1つ前の文字である下位分割文字コードと対象文字からなる文字列を、2グラム文字列に決定する(ステップS3705)。そして、ステップS3407に移行する。
 また、ステップS3702において、1つ前の文字がない場合(ステップS3702:No)、対象文字だけとなるため、2グラム文字列を決定せずに、ステップS3407に移行する。
 また、ステップS3701において、対象文字が分割された場合(ステップS3701:Yes)、すなわち、分割文字コードである場合、コンピュータ1100は、その分割文字コードが上位分割文字コードか下位分割文字コードであるかを判断する(ステップS3706)。
 上位分割文字コードである場合(ステップS3706:上位)、コンピュータ1100は、1つ前の文字は分割されたか否かを判断する(ステップS3707)。すなわち、1つ前の文字が分割文字コードか否かを判断する。分割されていない場合(ステップS3707:No)、すなわち、単一文字の場合、コンピュータ1100は、対象文字の1つ前の単一文字と対象文字から分割された上位分割文字コードからなる文字列を、2グラム文字列に決定する(ステップS3708)。そして、ステップS3407に移行する。
 一方、ステップS3707において、1つ前の文字が分割された場合(ステップS3707:Yes)、すなわち、分割文字コードである場合、その1つ前の文字である分割文字コードは、下位分割文字コードとなる。したがって、コンピュータ1100は、1つ前の文字である下位分割文字コードと対象文字から分割された上位分割文字コードからなる文字列を、2グラム文字列に決定する(ステップS3709)。そして、ステップS3407に移行する。
 また、ステップS3706において、下位分割文字コードである場合(ステップS3706:下位)、コンピュータ1100は、対象文字から分割された上位分割文字コードおよび下位分割文字コードからなる文字列を、2グラム文字列に決定する(ステップS3710)。そして、ステップS3407に移行する。
 この2グラム文字列特定処理(ステップS3406)によれば、対象文字が分割された場合であっても2グラム文字列を特定することができる。また、1文字シフトにしたがって2グラム文字列を特定するため、基礎単語の圧縮符号マップMおよび特定単一文字の圧縮符号マップMと同時並行で生成することができる。
 このように、上述した情報生成によれば、目標出現率Pw,Pcにより、マップ作成される基礎単語数および単一文字数が制限されるため、無駄なマップ作成がなくなり、マップ作成の高速化およびマップサイズの最適化を同時に実現することができる。また、1文字シフトにより複数種類のマップ作成を同時並行で実行することができ、高精度な検索に用いる複数種類のマップ作成の効率化を図ることができる。
 図38は、2グラム文字列出現頻度集計テーブルを示す説明図である。2グラム文字列出現頻度集計テーブル3800は、RAM903や磁気ディスク905などの記憶装置に記憶されており、該当する2グラム文字列が出現する都度出現回数を1ずつ増加させる。
 このあと、コンピュータ1100は、対象文字の後続文字が対象ファイルFi内にあるか否かを判断し(ステップS3408)、後続文字がある場合(ステップS3408:Yes)、後続文字を対象文字に設定し(ステップS3409)、ステップS3402に戻る。一方、後続文字がない場合(ステップS3408:No)、対象ファイルFiの再集計処理(ステップS3303)を終了して、ステップS3304に移行する。
 これにより、対象ファイルFiごとに、対象ファイルFi内に存在する上位分割文字コード、下位分割文字コード、および2グラム文字列の出現回数を集計することができる。
(ハフマン木生成処理(ステップS2504))
 図39は、図25に示したハフマン木生成処理(ステップS2504)の詳細な処理手順例を示すフローチャートである。図39において、コンピュータ1100は、圧縮符号長の上限長Nを決定する(ステップS3901)。つぎに、コンピュータ1100は、補正処理を実行する(ステップS3902)。ここで、補正処理とは、図15~図17で説明したように、文字情報ごとの生起確率および圧縮符号長を、圧縮符号長の上限長Nを用いて補正する処理である。
 つぎに、コンピュータ1100は、文字情報ごとに葉の構造体を生成する(ステップS3903)。そして、コンピュータ1100は、枝数特定処理を実行する(ステップS3904)。枝数特定処理(ステップS3904)では、圧縮符号長ごとの葉当たりの枝数を特定する。枝数特定処理(ステップS3904)の詳細は図40で説明する。
 そして、コンピュータ1100は、構築処理を実行する(ステップS3905)。枝数特定処理(ステップS3904)により葉の構造体ごとの枝数が特定されるため、まず、コンピュータ1100は、葉の構造体ごとに、枝数分の葉へのポインタ群を生成する。そして、生成された各葉の構造体についての葉へのポインタ群を集約して根の構造体とする。これにより、2N分枝無節点ハフマン木Hが生成されることとなる。なお、生成された2N分枝無節点ハフマン木Hは、コンピュータ1100内の記憶装置(RAM903や磁気ディスク905など)に格納される。このあと、図25のマップ作成処理(ステップS2505)に移行する。
 図40は、図39に示した枝数特定処理(ステップS3904)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、最大圧縮符号長CLmax(=N)と最小圧縮符号長CLmin(=M)との差分D(=N-M)を算出する(ステップS4001)。たとえば、N=11の場合、図26を参照すると、M=6である。したがって、D=5である。
 つぎに、コンピュータ1100は、2のべき数の変数jをj=0とし、圧縮符号長の変数CLをCL=Nとする(ステップS4002)。そして、コンピュータ1100は、j>Dであるか否かを判断する(ステップS4003)。j>Dでない場合(ステップS4003:No)、コンピュータ1100は、圧縮符号長CLの葉当たりの枝数b(CL)を算出する(ステップS4004)。圧縮符号長CLの葉当たりの枝数b(CL)は、b(CL)=2jで算出される。たとえば、j=0のとき、圧縮符号長CL=N=11であるため、圧縮符号長11ビットでの葉当たりの枝数b(11)は、b(11)=2j=20=1となる。
 つぎに、コンピュータ1100は、圧縮符号長CLの総枝数B(L)を算出する(ステップS4005)。圧縮符号長CLの総枝数B(L)は、B(L)=L(CL)×b(CL)で算出される。L(CL)は、圧縮符号長CLでの葉数(文字情報の種類数)である。たとえば、j=0のとき、圧縮符号長CL=N=11であるため、圧縮符号長11ビットでの総枝数B(L)は、1216×20=1216となる。
 このあと、コンピュータ1100は、jをインクリメントし、圧縮符号長CLをデクリメントして(ステップS4006)、ステップS4003に戻り、インクリメント後のjがj>Dであるか否かが判断される。なお、N=11の場合は、j=Dになるとj=D=5となり、CL=M=6となる。したがって、ステップS4004では、圧縮符号長CL(5ビット)の葉当たりの枝数b(6)は、b(6)=26=64となる。同様に、総枝数B(L)は、B(6)=0×26=0となる。そして、j>Dである場合(ステップS4003:Yes)、構築処理(ステップS3905)に移行する。
 図41は、図39に示した構築処理(ステップS3905)の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、圧縮符号長CLをCL=CLmin=Mとする(ステップS4101)。つぎに、コンピュータ1100は、圧縮符号長CLでの未選択の葉があるか否かを判断する(ステップS4102)。未選択の葉がある場合(ステップS4102:Yes)、コンピュータ1100は、葉へのポインタ生成処理(ステップS4103)を実行して、ステップS4102に戻る。葉へのポインタ生成処理(ステップS4103)では、葉の構造体ごとに、圧縮符号長CLに応じた枝数分の葉へのポインタ群を生成する。なお、葉へのポインタ生成処理(ステップS4103)の詳細は図42で説明する。
 一方、ステップS4102において、未選択の葉がない場合(ステップS4102:No)、コンピュータ1100は、CL>Nであるか否かを判断する(ステップS4104)。CL>Nでない場合(ステップS4104:No)、コンピュータ1100は、CLをインクリメントして(ステップS4105)、ステップS4102に戻る。一方、CL>Nである場合(ステップS4104:Yes)、2N分枝無節点ハフマン木Hが構築されたこととなり、ステップS2505に移行することとなる。なお、第1領域~第5領域内の情報は、この構築処理(ステップS3905)において格納されることとなる。
 図42は、図41に示した葉へのポインタ生成処理(ステップS4103)の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、未選択の葉Lを選択し(ステップS4201)、選択葉へのポインタ数kをk=1に設定する(ステップS4202)。そして、コンピュータ1100は、選択葉へのポインタPL(k)の先行ビット列を、選択葉の圧縮符号に設定する(ステップS4203)。たとえば、上限長N=11については、選択葉が、文字情報「0」の葉の構造体である場合、圧縮符号は「000000」である。したがって、選択葉へのポインタPL(k)の先行ビット列も、「000000」となる。
 つぎに、コンピュータ1100は、選択葉へのポインタPL(k)の後続ビット列のビット長を、最大圧縮符号長Nから選択葉の圧縮符号長CLを引いた差分とし、後続ビット列の初期値をオール0に設定する(ステップS4204)。たとえば、選択葉が、文字情報「0」の葉の構造体である場合、圧縮符号長CLは6ビットであるため、後続ビット列のビット長は5ビット(=11-6)となる。k=1の場合は、後続ビット列はオール0となるため、後続ビット列は、5ビットの「00000」となる。
 そして、コンピュータ1100は、選択葉へのポインタPL(k)を根の構造体に格納する(ステップS4205)。このあと、コンピュータ1100は、k>b(CL)であるか否かを判断する(ステップS4206)。b(CL)は、選択葉の圧縮符号長CLの葉当たりの枝数である。k>b(CL)でない場合(ステップS4206:No)、選択葉に割り当てられたすべての枝について葉へのポインタが生成されていないため、コンピュータ1100は、kをインクリメントする(ステップS4207)。
 そして、コンピュータ1100は、現在の後続ビット列をインクリメントして、インクリメント後の後続ビット列を先行ビット列の末端に連結することで、あらたに、選択葉へのポインタPL(k)を生成する(ステップS4208)。そして、コンピュータ1100は、選択葉へのポインタPL(k)を根の構造体に格納し(ステップS4209)、ステップS4206に戻る。ステップS4206~ステップS4209を繰り返すことで、葉当たりの枝数分の葉へのポインタ群が生成されることとなる。そして、ステップS4206において、k>b(CL)である場合(ステップS4206:Yes)、ステップS4102に移行する。
 このように、対象ファイル群Fsに出現する文字情報の種類数に応じて、2N分枝無節点ハフマン木Hの最大枝数2Nを最適な本数に設定することができるため、2N分枝無節点ハフマン木Hのサイズの適正化を図ることができる。また、本実施の形態によれば、上限長Nが2~4の整数倍でない場合(たとえば、上限長N=11,13)であっても、圧縮効率のよい2N分枝無節点ハフマン木Hを生成することができる。
 このあと、コンピュータ1100は、2N分枝無節点ハフマン木Hの各葉の構造体と、基礎単語の構造体,特定文字コードの構造体,分割文字コードの構造体とを、図17の文字情報テーブルを参照して、相互に関連付ける。具体的には、上述したように、葉の構造体には、当該葉に格納されている圧縮符号に対応する特定文字、分割文字コードおよび葉へのポインタや基礎単語へのポインタを格納する。
 また、コンピュータ1100は、基礎単語の構造体の基礎単語ごとに、対応する圧縮符号を格納する葉へのポインタを格納する。また、コンピュータ1100は、特定文字コードの構造体の特定文字ごとに、対応する圧縮符号を格納する葉へのポインタを格納する。また、コンピュータ1100は、分割文字コードの構造体の分割文字コードごとに、対応する圧縮符号を格納する葉へのポインタを格納する。
(マップ作成処理(ステップS2505))
 図43は、図25に示したマップ作成処理(ステップS2505)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、ファイル番号iをi=1に設定し(ステップS4301)、対象ファイルFiを読み込む(ステップS4302)。そして、コンピュータ1100は、対象ファイルFiのマップ作成処理を実行する(ステップS4303)。対象ファイルFiのマップ作成処理(ステップS4303)の詳細は、図44で説明する。このあと、コンピュータ1100は、ファイル番号iがi>α(αは対象ファイルFsのファイル総数)であるか否かを判断する(ステップS4304)。
 i>αでない場合(ステップS4304:No)、コンピュータ1100は、iをインクリメントし(ステップS4305)、ステップS4302に戻る。一方、i>αである場合(ステップS4304:Yes)、マップ作成処理(ステップS2505)が終了する。このマップ作成処理(ステップS2505)によれば、対象ファイルFiごとに対象ファイルFiのマップ作成処理(ステップS4303)を実行することができる。
 図44は、図43に示した対象ファイルFiのマップ作成処理(ステップS4303)の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、対象文字を対象ファイルFiの先頭文字とし(ステップS4401)、基礎単語出現マップ作成処理(ステップS4402)、特定単一文字出現マップ作成処理(ステップS4403)、2グラム文字列出現マップ作成処理(ステップS4404)を実行する。
 基礎単語出現マップ作成処理(ステップS4402)の詳細は図45で説明する。また、特定単一文字出現マップ作成処理(ステップS4403)の詳細は図46で説明する。さらに、2グラム文字列出現マップ作成処理(ステップS4404)の詳細は図48で説明する。
 このあと、コンピュータ1100は、対象文字が対象ファイルFiの末尾文字であるか否かを判断する(ステップS4405)。対象文字が対象ファイルFiの末尾文字でない場合(ステップS4405:No)、コンピュータ1100は、対象文字を末尾方向へ1文字シフトし(ステップS4406)、ステップS4402に戻る。一方、対象文字が対象ファイルFiの末尾文字である場合(ステップS4405:Yes)、ステップS4304に移行して、対象ファイルFiのマップ作成処理(ステップS4303)を終了する。
 この対象ファイルFiのマップ作成処理(ステップS4303)によれば、基礎単語出現マップ、特定単一文字出現マップおよび2グラム文字列出現マップを、対象文字を1文字ずつシフトしながら、同時並行で生成することができる。
 図45は、図44で示した基礎単語出現マップ作成処理(ステップS4402)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、対象文字について最長一致検索処理を実行する(ステップS4501)。最長一致検索処理(ステップS4501)の詳細な処理手順は、図31に示した最長一致検索処理(ステップS2901)と同一処理内容であるため説明を省略する。
 そして、コンピュータ1100は、最長一致した基礎単語、すなわち、基礎単語があるか否かを判断する(ステップS4502)。最長一致した基礎単語がない場合(ステップS4502:No)、特定単一文字出現マップ作成処理(ステップS4403)に移行する。一方、最長一致した基礎単語がある場合(ステップS4502:Yes)、コンピュータ1100は、その最長一致した基礎単語について、基礎単語出現マップが設定済みであるか否かを判断する(ステップS4503)。
 設定済みである場合(ステップS4503:Yes)、ステップS4506に移行する。一方、設定済みでない場合(ステップS4503:No)、コンピュータ1100は、2N分枝無節点ハフマン木Hにおける最長一致した基礎単語の葉にアクセスして、その圧縮符号を取得する(ステップS4504)。そして、コンピュータ1100は、取得した圧縮符号を、最長一致した基礎単語についての基礎単語出現マップへのポインタに設定して(ステップS4505)、ステップS4506に移行する。このあと、ステップS4506では、コンピュータ1100は、最長一致した基礎単語についての基礎単語出現マップの対象ファイルFiのビットをONにする(ステップS4506)。
 これにより、基礎単語出現マップ作成処理(ステップS4402)を終了し、特定単一文字出現マップ作成処理(ステップS4403)に移行する。この基礎単語出現マップ作成処理(ステップS4402)によれば、対象文字ごとに最長一致した基礎単語を基礎単語としてマップ作成することができる。
 図46は、図44で示した特定単一文字出現マップ作成処理(ステップS4403)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、特定単一文字の構造体に対して対象文字の2分探索をおこない(ステップS4601)、一致したか否かを判断する(ステップS4602)。一致する単一文字がなかった場合(ステップS4602:No)、コンピュータ1100は、分割文字コード出現マップ作成処理を実行して(ステップS4603)、2グラム文字列出現マップ作成処理(ステップS4404)に移行する。分割文字コード出現マップ作成処理(ステップS4603)の詳細は図47で説明する。
 一方、ステップS4602において、2分探索により対象文字と一致する単一文字があった場合(ステップS4602:Yes)、コンピュータ1100は、2N分枝無節点ハフマン木Hにおける2分探索された単一文字の葉にアクセスして、その圧縮符号を取得する(ステップS4604)。そして、コンピュータ1100は、その取得された圧縮符号について、特定単一文字出現マップが設定済みであるか否かを判断する(ステップS4605)。設定済みである場合(ステップS4605:Yes)、ステップS4607に移行する。
 一方、設定済みでない場合(ステップS4605:No)、コンピュータ1100は、取得した圧縮符号を、2分探索された単一文字についての特定単一文字出現マップへのポインタに設定して(ステップS4606)、ステップS4607に移行する。このあと、ステップS4607では、2分探索された単一文字についての特定単一文字出現マップの対象ファイルFiのビットをONにする(ステップS4607)。
 これにより、特定単一文字出現マップ作成処理(ステップS4403)を終了し、2グラム文字列出現マップ作成処理(ステップS4404)に移行する。この特定単一文字出現マップ作成処理(ステップS4403)によれば、2分探索された対象文字を特定単一文字としてマップ作成することができる。
 図47は、図46で示した分割文字コード出現マップ作成処理(ステップS4603)の詳細な処理手順例を示すフローチャートである。まず、コンピュータ1100は、対象文字を分割し(ステップS4701)、2N分枝無節点ハフマン木Hにおける上位分割文字コードの葉にアクセスして、圧縮符号を取得する(ステップS4702)。そして、コンピュータ1100は、その取得された圧縮符号について、上位分割文字コード出現マップが設定済みであるか否かを判断する(ステップS4703)。
 設定済みである場合(ステップS4703:Yes)、ステップS4705に移行する。一方、設定済みでない場合(ステップS4703:No)、コンピュータ1100は、取得した圧縮符号を、上位分割文字コードの出現マップへのポインタに設定して(ステップS4704)、ステップS4705に移行する。このあと、ステップS4705では、コンピュータ1100は、対象文字から分割された上位分割文字コードの出現マップの対象ファイルFiのビットをONにする(ステップS4705)。
 また、コンピュータ1100は、2N分枝無節点ハフマン木Hにおける下位分割文字コードの葉にアクセスして、圧縮符号を取得する(ステップS4706)。そして、コンピュータ1100は、その取得された圧縮符号について、下位分割文字コードの出現マップが設定済みであるか否かを判断する(ステップS4707)。設定済みである場合(ステップS4707:Yes)、ステップS4709に移行する。
 一方、設定済みでない場合(ステップS4707:No)、コンピュータ1100は、取得した圧縮符号を、下位分割文字コードの出現マップへのポインタに設定して(ステップS4708)、ステップS4709に移行する。このあと、ステップS4709では、コンピュータ1100は、対象文字から分割された下位分割文字コードの出現マップの対象ファイルFiのビットをONにする(ステップS4709)。
 これにより、分割文字コード出現マップ作成処理(ステップS4603)を終了し、2グラム文字列出現マップ作成処理(ステップS4404)に移行する。この分割文字コード出現マップ作成処理(ステップS4603)によれば、目標出現率Pcに応じた順位よりも下位の単一文字については、出現頻度が低いため、OFFのビットが多数出現することとなる。
 しかしながら、目標出現率Pcに応じた順位よりも下位の単一文字については特定単一文字の出現マップの生成対象外とすることで、特定単一文字の圧縮符号マップMsのマップサイズの最適化を図ることができる。また、分割することで、目標出現率Pcに応じた順位よりも下位の単一文字については、上位分割文字コードの圧縮符号マップMsおよび下位分割文字コードの圧縮符号マップMsといったマップサイズが固定化されたマップに設定される。したがって、目標出現率Pcをどのような出現率に設定しても、マップサイズの増大化を防止でき、省メモリ化を図ることができる。
 図48は、図44に示した2グラム文字列マップ作成処理(ステップS4404)の詳細な処理手順例を示すフローチャートである。図48において、まず、コンピュータ1100は、2グラム文字列特定処理を実行する(ステップS4801)。2グラム文字列特定処理(ステップS4801)の詳細な処理手順は、図37に示した2グラム文字列特定処理(ステップS4806)と同一処理内容であるため説明を省略する。
 つぎに、コンピュータ1100は、2グラム文字列特定処理(ステップS4801)により2グラム文字列が特定されたか否かを判断する(ステップS4802)。特定されなかった場合(ステップS4802:No)、図44のステップS4405に移行する。
 一方、特定された場合(ステップS4802:Yes)、コンピュータ1100は、2グラム文字列出現マップ生成処理を実行して(ステップS4803)、ステップS4405に移行する。
 図49は、2グラム文字列出現マップ生成処理(ステップS4803)の詳細な処理手順例を示すフローチャートである。図49において、まず、コンピュータ1100は、図48の2グラム文字列特定処理(ステップS4801)で特定された2グラム文字列の第1グラム(特定単一文字または分割文字コード)について、2N分枝無節点ハフマン木Hの葉にアクセスして、圧縮符号を取得する(ステップS4901)。同様に、コンピュータ1100は、第2グラム(特定単一文字または分割文字コード)について、2N分枝無節点ハフマン木Hの葉にアクセスして、圧縮符号を取得する(ステップS4902)。
 そして、コンピュータ1100は、第1グラムの圧縮符号と第2グラムの圧縮符号を連結する(ステップS4903)。そして、コンピュータ1100は、連結圧縮符号をポインタとする出現マップが設定済みであるか否かを判断する(ステップS4904)。設定済みである場合(ステップS4904:Yes)、ステップS4906に移行する。
 一方、設定済みでない場合(ステップS4904:No)、コンピュータ1100は、連結圧縮符号を、特定された2グラム文字列の出現マップへのポインタに設定する(ステップS4905)。このあと、ステップS4906では、コンピュータ1100は、特定された2グラム文字列の出現マップの対象ファイルFiのビットをONにする(ステップS4906)。
 これにより、2グラム文字列出現マップ生成処理(ステップS4803)を終了し、ステップS4405に移行する。この2グラム文字列出現マップ生成処理(ステップS4803)によれば、2グラム文字列の連結圧縮符号により、2グラム文字列の出現マップを直接指定することができる。
<圧縮処理の具体例>
 つぎに、対象ファイルFiの圧縮処理の具体例について説明する。上述のように、圧縮符号マップMsを生成した場合は、検索文字列を圧縮した圧縮符号列により圧縮符号マップMs内の出現マップをポイントすることが可能となる。以下、圧縮処理の具体例について説明する。
 図50は、2N分枝無節点ハフマン木Hを用いた圧縮処理の具体例を示す説明図である。まず、コンピュータ1100は、対象ファイル群Fsから1文字目の圧縮対象文字コードを取得し、対象ファイルFi上の位置を保持しておく。そして、コンピュータ1100は、基礎単語の構造体2300に対して2分木探索をおこなう。基礎単語は2文字以上の文字コード列であるため、1文字目の圧縮対象文字コードがヒットした場合、2文字目の文字コードを圧縮対象文字コードとして取得する。
 そして、2文字目の文字コードは、1文字目の圧縮対象文字コードがヒットした位置から探索する。3文字目以降も、不一致の圧縮対象文字コードが出現するまで繰り返し2分木探索をおこなう。一致する基礎単語ra(aは葉の番号)が探索された場合、基礎単語の構造体2300において対応付けされている葉Laへのポインタにより葉Laの構造体にアクセスする。そして、コンピュータ1100は、アクセス先の葉Laの構造体に格納されている基礎単語raの圧縮符号を探索して、圧縮バッファ5000に格納する。
 一方、不一致の圧縮文字コードが出現した場合、基礎単語の構造体2300に対する2分木探索を終了する(EOT(End Of Transmission)まで進む)。そして、コンピュータ1100は、1文字目の圧縮対象文字コードを再度レジスタにセットして、特定単一文字の構造体2100に対する2分木探索をおこなう。
 一致する文字コードeb(bは葉の番号)が探索された場合、コンピュータ1100は、その葉Lbへのポインタにより葉Lbの構造体にアクセスする。そして、コンピュータ1100は、アクセス先の葉Lbの構造体に格納されている文字コードebの圧縮符号を探索して、圧縮バッファ5000に格納する。
 一方、一致する文字コードが出現せず2分木探索を終了した場合、圧縮対象文字コードは特定単一文字コードではないため、コンピュータ1100は、上位8ビットと下位8ビットに分割する。そして、コンピュータ1100は、上位8ビットの分割文字コードについて、分割文字コードの構造体2200に対する2分木探索をおこなう。一致する分割文字コードDc1(c1は葉の番号)が探索された場合、コンピュータ1100は、その葉Lc1へのポインタにより葉Lc1の構造体にアクセスする。そして、コンピュータ1100は、アクセス先の葉Lc1の構造体に格納されている分割文字コードDc1の圧縮符号を探索して、圧縮バッファ5000に格納する。
 引き続き、コンピュータ1100は、下位8ビットの分割文字コードについて、分割文字コードの構造体に対する2分木探索をおこなう。一致する分割文字コードDc2(c2は葉の番号)が探索された場合、コンピュータ1100は、その葉Lc2へのポインタにより葉Lc2の構造体にアクセスする。そして、コンピュータ1100は、アクセス先の葉Lc2の構造体に格納されている分割文字コードDc2の圧縮符号を探索して、圧縮バッファ5000に格納する。これにより、対象ファイルFiが圧縮されることとなる。
<対象ファイル群Fsの圧縮処理>
 つぎに、第1圧縮部1103による対象ファイル群Fsの圧縮処理の処理手順について説明する。
 図51は、第1圧縮部1103による2N分枝無節点ハフマン木Hを用いた対象ファイル群Fsの圧縮処理手順例を示すフローチャートである。まず、コンピュータ1100は、ファイル番号:pをp=1とし(ステップS5101)、対象ファイルFpを読み込む(ステップS5102)。つぎに、コンピュータ1100は、圧縮処理を実行して(ステップS5103)、ファイル番号:pをインクリメントする(ステップS5104)。圧縮処理(ステップS5103)の詳細は図52で説明する。
 そして、コンピュータ1100は、p>αであるか否かを判断する(ステップS5105)。αは対象ファイル群Fsのファイル総数である。p>αでない場合(ステップS5105:No)、ステップS5102に戻る。一方、p>αである場合(ステップS5105:Yes)、対象ファイル群Fsの圧縮処理を終了する。
 図52は、図51に示した圧縮処理(ステップS5103)の詳細な処理手順を示すフローチャート(その1)である。図52において、まず、コンピュータ1100は、対象ファイル群Fsに圧縮対象文字コードがあるか否かを判断する(ステップS5201)。ある場合(ステップS5201:Yes)、コンピュータ1100は、圧縮対象文字コードを取得してレジスタにセットする(ステップS5202)。そして、コンピュータ1100は、先頭の圧縮対象文字コードか否かを判断する(ステップS5203)。
 ここで、先頭の圧縮対象文字コードとは、未圧縮の1文字目の文字コードをいう。先頭である場合(ステップS5203:Yes)、コンピュータ1100は、その圧縮対象文字コードの対象ファイル群Fs上の位置(先頭位置)となるポインタを取得し(ステップS5204)、ステップS5205に移行する。一方、先頭でない場合(ステップS5203:No)、先頭位置を取得せずにステップS5205に移行する。
 そして、コンピュータ1100は、基礎単語の構造体2300に対して2分木探索をおこなう(ステップS5205)。圧縮対象文字コードが一致した場合(ステップS5206:Yes)、コンピュータ1100は、連続して一致した文字コード列が基礎単語(の文字コード列)に該当するか否かを判断する(ステップS5207)。該当しない場合(ステップS5207:No)、コンピュータ1100は、ステップS5202に戻って後続の文字コードを圧縮対象文字コードとして取得する。この場合、後続の文字コードは先頭ではないため、先頭位置は取得しないこととなる。
 一方、ステップS5207において、基礎単語に該当する場合(ステップS5207:Yes)、コンピュータ1100は、該当する基礎単語の葉L♯へのポインタにより葉L♯の構造体にアクセスする(ステップS5208)。そして、コンピュータ1100は、ポイントされた葉L♯の構造体に格納されている基礎単語の圧縮符号を抽出する(ステップS5209)。
 この後、コンピュータ1100は、抽出された圧縮符号を圧縮バッファ5000に格納して(ステップS5210)、ステップS5201に戻る。このループが基礎単語の圧縮処理の流れとなる。ステップS5201において、圧縮対象文字コードがない場合(ステップS5201:No)、コンピュータ1100は、対象ファイルFpから圧縮された圧縮ファイルfpを圧縮バッファ5000からファイル出力して保存する(ステップS5211)。そして、ステップS5104に移行する。一方、ステップS5206において不一致となった場合(ステップS5206:No)、16ビットの文字コードの圧縮処理のループに入る。
 図53は、図51に示した圧縮処理(ステップS5103)の詳細な処理手順を示すフローチャート(その2)である。図53において、コンピュータ1100は、ステップS5204で取得された先頭位置のポインタを参照して、対象ファイル群Fsから圧縮対象文字コードを取得してレジスタにセットする(ステップS5301)。
 つぎに、コンピュータ1100は、圧縮対象文字コードについて、特定単一文字の構造体2100に対して2分木探索をおこなう(ステップS5302)。一致した場合(ステップS5303:Yes)、コンピュータ1100は、該当する文字の葉L♯へのポインタにより葉L♯の構造体にアクセスする(ステップS5304)。そして、コンピュータ1100は、ポイントされた葉L♯の構造体に格納されている圧縮対象文字コードの圧縮符号を抽出する(ステップS5305)。
 この後、コンピュータ1100は、探索された圧縮符号を圧縮バッファ5000に格納して(ステップS5306)、ステップS5201に戻る。このループが16ビットの文字コードの圧縮処理の流れとなる。一方、ステップS5303において一致する文字コードが存在しなかった場合(ステップS5303:No)、分割文字コードの圧縮処理のループに入る。
 図54は、図51に示した圧縮処理(ステップS5103)の詳細な処理手順を示すフローチャート(その3)である。図54において、まず、コンピュータ1100は、圧縮対象文字コードを上位8ビットと下位8ビットとに分割し(ステップS5401)、上位8ビットの分割文字コードを抽出する(ステップS5402)。そして、コンピュータ1100は、分割文字コードの構造体2200に対して2分木探索をおこなう(ステップS5403)。
 そして、コンピュータ1100は、探索された分割文字コードの葉L♯へのポインタにより葉L♯の構造体にアクセスする(ステップS5404)。そして、コンピュータ1100は、ポイントされた葉L♯の構造体に格納されている分割文字コードの圧縮符号を抽出する(ステップS5405)。この後、コンピュータ1100は、探索された圧縮符号を圧縮バッファ5000に格納する(ステップS5406)。
 つぎに、コンピュータ1100は、下位8ビットが探索済みか否かを判断し(ステップS5407)、探索済みでない場合(ステップS5407:No)、コンピュータ1100は、下位8ビットの分割文字コードを抽出して(ステップS5408)、ステップS5403~S5406を実行する。一方、下位8ビットが探索済みである場合(ステップS5407:Yes)、ステップS5301に戻り、基礎単語の圧縮処理のループに入る。
 このように、2N分枝無節点ハフマン木Hを用いた圧縮処理では、内部節点がないため根に向かって探索する必要はなく、ポイントされた葉L♯の構造体に格納されている文字情報を抽出して、圧縮バッファ5000に書き込むだけでよい。したがって、圧縮処理の高速化を図ることができる。
 また、圧縮対象文字コードが格納されている葉L♯の構造体を、基礎単語の構造体、特定単一文字コードの構造体および分割文字コードの構造体により即座に特定することができる。したがって、2N分枝無節点ハフマン木Hの葉を探索する必要がなく、圧縮処理の高速化を図ることができる。また、低位文字コードを上位ビットコードと下位ビットコードに分割することで、非特定単一文字を256種の分割文字コードの圧縮符号に圧縮することができる。したがって、圧縮率の向上を図ることができる。
<マップ圧縮の具体例>
 つぎに、第2圧縮部1106による圧縮符号マップMs内の各出現マップのマップ圧縮の具体例について説明する。第2圧縮部1106は、圧縮領域内の出現マップを圧縮し、非圧縮領域の出現マップは圧縮しない。圧縮領域とは、ファイル番号1~αまで採番されている場合に、n×(α/nの商)となるファイル番号までの出現マップのビット列である。たとえば、n=256ビットであり、現在の対象ファイル数α=600である場合、α/nの商は2となるため、ファイル番号1~2nまでの出現マップのビット列が圧縮領域となる。そして、ファイル番号(2n+1)~αまでのビット列は非圧縮領域となり圧縮されない。
 また、出現マップのビット列は、ファイル総数αが増大することで、ビット列内の“0”が連続する箇所も多くなる。また、出現頻度が高い文字情報については、これとは逆に“1”が連続する箇所が多くなる。したがって、文字の出現率に応じた出現率領域を設定する。出現率領域とは、出現率の範囲である。出現率領域に応じて、出現マップ圧縮用のハフマン木hを割り当てることとする。
 図55は、出現率と出現率領域との関係を示す説明図である。出現率が0~100%の範囲とすると、図55に示したように、A~E領域およびA´~E´領域に領域分割することができる。したがって、A~E領域およびA´~E´領域で特定された出現率領域に応じて、出現マップ圧縮用のハフマン木hを圧縮パターンとして割り当てる。
 図56は、出現率領域別の圧縮パターンを有する圧縮パターンテーブルを示す説明図である。出現率は、図20に示したように、葉L#の構造体の第5領域に格納されているため、葉L#の構造体が指定されることで、圧縮パターンテーブル5600を参照して、圧縮パターンが特定されることとなる。なお、A領域およびA´領域は、非圧縮のため、圧縮パターンとなるハフマン木は存在しない。
 図57は、B領域およびB´領域の場合の圧縮パターンを示す説明図である。圧縮パターン5700は、葉が16種のハフマン木hとなる。
 図58は、C領域およびC´領域の場合の圧縮パターンを示す説明図である。圧縮パターン5800は、葉が16種+1種のハフマン木hとなる。圧縮パターン5800では、B領域およびB´領域に比べて、“0”が連続する箇所または“1”が連続する箇所が確率的に多くなる。したがって、16ビット連続して値が“0”であるビット列に、符号語“00”が割り当てられている。
 図59は、D領域およびD´領域の場合の圧縮パターンを示す説明図である。圧縮パターン5900は、葉が16種+1種のハフマン木となる。圧縮パターン5900では、C領域およびC´領域に比べて、“0”が連続する箇所または“1”が連続する箇所が確率的に多くなる。したがって、32ビット連続して値が“0”であるビット列に、符号語“00”が割り当てられている。
 図60は、E領域およびE´領域の場合の圧縮パターンを示す説明図である。圧縮パターン6000は、葉が16種+1種のハフマン木となる。圧縮パターン6000では、D領域およびD´領域に比べて、“0”が連続する箇所または“1”が連続する箇所が確率的に多くなる。したがって、64ビット連続して値が“0”であるビット列に、符号語“00”が割り当てられている。このように、出現率領域に応じて、文字コードが存在しないことを意味する“0”の連続数が増加するため、文字コードの出現率に応じて圧縮符号マップMsの圧縮効率の向上を図ることができる。
(圧縮符号マップ圧縮処理手順)
 つぎに、圧縮符号マップ圧縮処理について説明する。圧縮符号マップ圧縮処理は、圧縮領域のビット列を圧縮する処理である。具体的には、図56に示した圧縮パターンテーブル5600と図57~図60に示した圧縮パターン5700~6000(ハフマン木h)を用いて、圧縮符号マップMsの圧縮領域のビット列を圧縮する。以下、圧縮符号マップ圧縮処理手順について説明する。
 図61は、圧縮符号マップ圧縮処理手順を示すフローチャートである。図61において、まず、コンピュータ1100は、圧縮符号マップMsにおいて、未選択の出現マップへのポインタがあるか否かを判断する(ステップS6101)。未選択のアドレスがある場合(ステップS6101:Yes)、コンピュータ1100は、未選択のアドレスを選択して葉L#の構造体にアクセスし(ステップS6102)、葉L#の構造体の第1領域の中から文字コードを取得する(ステップS6103)。そして、コンピュータ1100は、アクセス先の葉L#の構造体の第5領域から出現率領域を取得することで、取得された文字コードの出現率領域を特定する(ステップS6104)。
 このあと、コンピュータ1100は、図59の圧縮パターンテーブル5900を参照して、特定された出現率領域が非圧縮領域(たとえば、出現率領域A、A´)であるか否かを判断する(ステップS6105)。非圧縮領域である場合(ステップS6105:Yes)、ステップS6101に戻り、つぎのアドレスを選択する。
 一方、非圧縮領域でない場合(ステップS6105:No)、コンピュータ1100は、特定された出現率領域により、図57~図60に示した圧縮パターン5700~6000(ハフマン木h)の中から該当する圧縮パターン(ハフマン木h)を選択する(ステップS6106)。また、コンピュータ1100は、圧縮対象となる取得文字コードの出現マップにおける圧縮領域のビット列を抽出する(ステップS6107)。
 そして、コンピュータ1100は、取得文字コードの出現率が50%以上であるか否かを判断する(ステップS6108)。出現率とは、上述したように、対象ファイル群Fs内の全ファイル数を母集団(分母)とし、当該文字情報が存在するファイル数を分子とした値である。出現率領域は、出現率に応じて決められているため(図55を参照)、出現率領域がA~Eである場合、取得文字コードの出現率が50%以上でないと判断する。一方、出現率領域がA´~E´である場合、コンピュータ1100は、取得文字コードの出現率が50%以上であると判断する。
 そして、出現率が50%以上である場合(ステップS6108:Yes)、コンピュータ1100は、圧縮効率を上げるために、ステップS6107で抽出されたビット列を反転する(ステップS6109)。たとえば、抽出されたビット列が“1110”である場合、“0001”にして、“0”の個数を増やす。そして、コンピュータ1100は、反転後のビット列を、ステップS6106で選択したハフマン木を用いて圧縮して、記憶装置(たとえば、フラッシュメモリや磁気ディスク205)に格納する(ステップS6110)。そして、ステップS6101に戻る。このように、ビット列反転をおこなうことで、出現率領域A´~E´のハフマン木hを用意する必要がないため、省メモリ化を図ることができる。
 一方、ステップS6108において、出現率が50%以上でない場合(ステップS6108:No)、コンピュータ1100は、ビット列反転(ステップS6109)をおこなうことなく、ステップS6107で抽出されたビット列を、ステップS6106で選択したハフマン木を用いて圧縮して(ステップS6110)、ステップS6101に戻る。また、ステップS6101において、未選択のアドレスがない場合(ステップS6101:No)、圧縮符号マップ圧縮処理を終了する。
 このような圧縮符号マップ圧縮処理手順により、図3に示したように、文字情報ごとに圧縮領域内のビット列が、出現率に応じて圧縮される。このように、出現率領域に応じて、文字情報が存在しないことを意味する“0”の連続数が増加するため、文字情報の出現率に応じて圧縮符号マップMsの圧縮効率の向上を図ることができる。
 また、対象ファイルが後から追加されると、追加された対象ファイルを圧縮する際、圧縮符号マップMsにも文字の存否を示すビット列を追加する必要がある。圧縮前の圧縮符号マップMsでは、ファイル番号:1~αの出現マップのビット列については、圧縮パターン5700~6000により圧縮されてレコードごとに符号長が異なる。すなわち、可変長であるため圧縮領域となる。
 したがって、図3に示したように、圧縮符号列の先頭(ファイル番号k側)は整列するが末尾(ファイル番号1側)が整列しない。仮に、ビット列の並びを、ファイル番号:1~αの順に、圧縮符号マップMsへのポインタ(文字情報の圧縮符号)側から割り当てると、追加ファイルのビット列は、圧縮符号列の末尾側に挿入することとなり、圧縮符号列と追加ファイルのビット列とが非連続となってしまう。したがって、あらかじめ、圧縮符号マップMsの圧縮領域のビット列を、先頭位置から末尾位置にかけて対象ファイル群Fsのファイル番号pの降順に配列しておく。そして、圧縮符号マップMsにおいて、出現マップへのポインタ(文字情報の圧縮符号)と圧縮領域との間に非圧縮領域を設定する。
 図3を例に挙げると、ファイル番号:1~2n+1のうち圧縮符号列が整列する側にファイル番号:2n+1のビットを割り当てる。これにより、ファイル番号;1~2nのビット列を圧縮した場合でも、非圧縮のファイル番号:2n+1~3nのビット列を挿入しても、ファイル番号順にビット列を連続させることができる。これにより、ファイル番号;1~2nのビット列が圧縮されても、追加ファイルのファイル番号とそのビットとのずれがなく、対象ファイルの絞込みを正確に実行することができる。
<機能的構成例2>
 図62は、本実施の形態にかかるコンピュータまたはコンピュータシステムの機能的構成例2を示すブロック図である。図62において、コンピュータ1100は、指定部6201と、第1伸長部6202と、第1圧縮部1103と、入力部6203と、抽出部6204と、第2伸長部6205と、特定部6206と、セグメント生成部6207と、を備える。指定部6201~セグメント生成部6207は、具体的には、たとえば、図9に示したROM902、RAM903、磁気ディスク905などの記憶装置に記憶されたプログラムをCPU901に実行させることによりその機能を実現する。なお、指定部6201~セグメント生成部6207は、それぞれ実行結果を記憶装置に書き込んだり、他の部の実行結果を読み出したりして、それぞれ演算を実行する。以下、指定部6201~セグメント生成部6207について簡単に説明する。
 指定部6201は、対象ファイル群Fs内のいずれかの対象ファイルのオープン指定を受け付ける。具体的には、キーボード、マウス、タッチパネルをユーザが操作することで、指定部6201は、対象ファイルFiのオープン指定を受け付ける。当該オープン指定が受け付けられると、圧縮符号マップMsにおいて、オープン指定された対象ファイルFiのファイル番号iに関連付けられている圧縮ファイルfiへのポインタが指定される。これにより、ポイント先となるアドレスに格納されている、オープン指定された対象ファイルFiの圧縮ファイルfiが読み出される。
 指定部6201による指定がマスタサーバにより実行された場合、指定された対象ファイルFiのファイル番号iを第0階層のセグメント数Kで割ったときの商に一致するセグメント番号のセグメントを特定する。これにより、特定されたセグメントから圧縮ファイルfiを指定することができる。
 また、指定部6201は、対象ファイルFiの追加指定を受け付ける。具体的には、キーボード、マウス、タッチパネルをユーザが操作することで、指定部6201は、対象ファイルFiの追加指定を受け付ける。当該追加指定が受け付けられると、追加指定された対象ファイルFiが第1圧縮部1103により2N分枝無節点ハフマン木Hで圧縮され、圧縮ファイルfiとして、第0階層の最後尾のセグメントに保存される。
 また、指定部6201は、セグメントの集約指定を受け付ける。具体的には、キーボード、マウス、タッチパネルをユーザが操作することで、指定部6201は、セグメントの集約指定を受け付ける。また、セグメントの集約指定は、タイマにより所定時刻または所定時間単位で受け付けてもよい。
 第1伸長部6202は、対象ファイルFiの圧縮ファイルfiを、2N分枝無節点ハフマン木Hで伸長する。具体的には、たとえば、第1伸長部6202は、指定部6201によってオープン指定された対象ファイルFiの圧縮ファイルfiを、2N分枝無節点ハフマン木Hで伸長する。また、後述する特定部6206で特定された対象ファイルFiについても2N分枝無節点ハフマン木Hで伸長する。伸長の具体例については後述する。
 入力部6203は、検索文字列の入力を受け付ける。具体的には、キーボード、マウス、タッチパネルをユーザが操作することで、入力部6203は、検索文字列の入力を受け付ける。また、入力部6203は、ネットワークを介してクライアント装置から検索文字列を受信することで、検索文字列の入力を受け付ける。
 抽出部6204は、入力部6203によって入力された検索文字列内の文字情報の圧縮符号を2N分枝無節点ハフマン木Hから抽出する。具体的には、たとえば、抽出部6204は、検索文字列から、特定単一文字、上位分割文字コード、下位分割文字コード、2グラム文字列、および基礎単語のうち該当する文字情報を抽出する。
 たとえば、検索文字列が「人形」である場合、特定単一文字「人」、「形」と、2グラム文字列「人形」が抽出される。これにより、抽出部6204は、抽出された文字情報の圧縮符号を2N分枝無節点ハフマン木Hで特定し、圧縮符号マップMsの該当する出現マップをポイントすることができる。たとえば、特定単一文字「人」の圧縮済みの出現マップと、「形」の圧縮済みの出現マップと、2グラム文字列「人形」の圧縮済みの出現マップとをポイントすることができる。
 図7に示したコンピュータシステムでは、マスタサーバMSが抽出部6204による文字情報の抽出をおこない、2N分枝無節点ハフマン木Hで抽出文字情報の圧縮符号を取得する。取得された圧縮符号は、出現マップへのポインタとなるため、スレーブサーバS1,S2,…に送信される。
 第2伸長部6205は、抽出部6204によって抽出された圧縮済みの出現マップを伸長する。具体的には、文字情報の出現率から出現率領域が特定できるため、第2伸長部6205は、特定された出現率領域に応じたマップ用のハフマン木により、圧縮済みの出現マップの圧縮領域を伸長する。たとえば、上記の例では、すべてのアーカイブファイル(図7を参照)において、特定単一文字「人」の圧縮済みの出現マップと、「形」の圧縮済みの出現マップと、2グラム文字列「人形」の圧縮済みの出現マップとが、伸長される。
 図7に示したコンピュータシステムでは、マスタサーバMSおよびスレーブサーバS1,S2,…の各々で、第2伸長部6205による伸長処理が実行されることになる。
 特定部6206は、第2伸長部6205による伸長後の出現マップ群および削除マップDのAND演算を実行することで、検索文字列内の文字情報を含む対象ファイルの圧縮ファイルを圧縮ファイル群から特定する。上記の例では、特定部6206は、特定単一文字「人」の圧縮済みの出現マップと、「形」の圧縮済みの出現マップと、2グラム文字列「人形」の圧縮済みの出現マップと、削除マップと、をAND演算する。
 このAND演算は、図8に示したように、最上位階層のセグメントから実行され、最終的に第0階層のセグメントに絞り込まれ、絞り込まれた第0階層のセグメントでAND演算が実行される。なお、図8では簡略化のため、2グラム文字列「人形」の圧縮済みの出現マップは省略されている。
 図7に示したコンピュータシステムでは、マスタサーバMSは、最上位階層から第1階層のセグメントについて特定部6206による絞込みをおこない、検索文字列を含む対象ファイルのファイル番号を、当該ファイル番号を管理するスレーブサーバに送信する。ファイル番号を受信したスレーブサーバは、特定部6206による特定処理により、出現マップおよび削除マップでAND演算することで、圧縮ファイルを絞り込むことになる。
 これにより、図8に示したように、ファイル番号3,19(の圧縮ファイルf3,f19)が特定される。第1伸長部6202では、特定部6206によって特定された圧縮ファイル(上記の例では圧縮ファイルf3,f19)を2N分枝無節点ハフマン木Hで伸長することとなる。
 このあと、スレーブサーバで絞り込まれた圧縮ファイルは、マスタサーバMSに送信される。マスタサーバMSは、スレーブサーバからの圧縮ファイルを、第1伸長部6202により2N分枝無節点ハフマン木Hで伸長する。伸長された対象ファイル(上記の例ではF3、F19)は、ディスプレイなどの表示装置に表示される。また、検索文字列がクライアント装置から受け付けられている場合は、マスタサーバMSがクライアント装置に、検索結果として伸長された対象ファイル(上記の例ではF3、F19)を送信することになる。また、特定部6206において圧縮ファイルが特定されなかった場合は、その旨の検索結果を返すことになる。
 セグメント生成部6207は、対象ファイルの追加指定が受け付けられると、現在のファイル総数αが1セグメントあたりのファイル数nの倍数であるか否かを判断する。nの倍数である場合は、最後尾のセグメントには追加指定された対象ファイルの圧縮ファイルを保存できる空き領域がないため、あらたに第0階層のセグメントを生成する。セグメントがあらたに生成されると、図1や図6に示したように、管理領域間での関連付けをおこなう。そして、あらたなセグメントに対し追加される圧縮ファイルが順次格納されることになる。
 セグメント生成部6207を実行するコンピュータがマスタサーバMSの場合は、最後尾のセグメントを有するスレーブサーバに対し、第0階層のあらたなセグメントの生成指示を送信する。また、最後尾のセグメントを保持するスレーブサーバに、あらたなセグメントを保持する空き領域がない場合は、他のスレーブサーバに第0階層のあらたなセグメントの生成指示を送信する。そして、あらたなセグメントが生成されると、マスタサーバMSは、追加された圧縮ファイルを順次送信することとなる。これにより、あらたなセグメントに、追加された圧縮ファイルが順次格納されることになる。
 また、セグメント生成部6207は、出現マップや削除マップの集約をおこなう。具体的には、たとえば、セグメント生成部6207は、図4に示したように、出現マップごとに、上位階層への集約をおこなう。そして、セグメント生成部6207は、図4に示したように、集約先の上位階層のセグメント(たとえば、セグメントsg1(1))の管理領域と、集約元の上位階層のセグメント群(たとえば、セグメントsg0(1)~sg0(m))の各管理領域との間での関連付けをおこなう。この集約処理は削除マップについても同様に実行される。
<ファイル伸長例>
 図63は、ファイル伸長例を示す説明図である。ファイル伸長例で示す処理は、入力部6203、抽出部6204、第2伸長部6205、特定部6206、第1伸長部6202により実行される。(G1)まず、入力部6203により検索文字列「人形」が入力された場合、検索文字列「人形」を構成する文字「人」、「形」について特定単一文字の構造体2100に対し2分探索することで、特定単一文字「人」、「形」が検索される。特定単一文字の構造体2100には、2N分枝無節点ハフマン木Hの葉(特定単一文字)へのポインタが関連付けられている。したがって、特定単一文字の構造体でヒットすると、2N分枝無節点ハフマン木Hの葉を直接指定することができる。
 (G2)2N分枝無節点ハフマン木Hの葉を直接指定すると、当該葉の構造体内の照合フラグがONに設定され、圧縮符号が抽出される。圧縮符号は特定単一文字の出現マップへのポインタとなるため、直接指定することができる。本例の場合、特定単一文字「人」、「形」の圧縮符号が抽出されるため、「人」の出現マップと「形」の出現マップとが抽出される。また、「人」の圧縮符号および「形」の圧縮符号を連結した連結圧縮符号も2グラム文字列の出現マップへのポインタとなるため、直接指定することができる。したがって、2グラム文字列「人形」の出現マップも抽出される。
 (G3)抽出された3個の出現マップは、マップ用ハフマン木により伸長される。このあと、図8に示したように、特定部6206が、最上位階層のセグメントから絞込みを行って、セグメントsg0(1)において、伸長された出現マップと削除マップとによりAND演算を実行して、AND結果が得られる。
 (G4)セグメントsg0(1)のAND結果においてファイル番号3がONになっているため、検索文字列「人形」が対象ファイルF3に存在することが判明する。したがって、圧縮ファイル群fsから圧縮ファイルf3が抽出される。これにより伸長すべき圧縮ファイルが絞り込まれることになり、無駄な伸長処理を低減することができる。
 (G5)最後に、抽出された圧縮ファイルf3を圧縮状態のまま、照合、伸長することで、伸長後の対象ファイルF3がオープンされる。なお、「人」、「形」の葉の構造体では照合フラグがONになっているため、「人」、「形」の伸長の際、強調表示となるように文字列置換されて伸長される。たとえば、照合フラグがONである「人」、「形」については、<B></B>タグではさんで伸長することで、太字で表示される。照合フラグがOFFの文字については<B></B>タグではさむことなくそのまま伸長する。
<伸長処理の具体例>
 つぎに、図63での伸長処理の具体例について説明する。ここでは、検索文字列「人形」の圧縮符号列を用いて圧縮ファイルfiについて照合しながら伸張する例について説明する。なお、例として、特定単一文字「人」の圧縮符号を「1100010011」(10ビット)とし、特定単一文字「形」の圧縮符号を「0100010010」(10ビット)とする。
 また、伸長処理では、レジスタに圧縮符号列をセットし、マスクパターンにより圧縮符号を抽出する。抽出した圧縮符号を、1パス(1枝分のアクセス)で2N分枝無節点ハフマン木Hの根から探索する。そして、アクセスした葉L♯の構造体に格納されている文字コードを読み出して伸長バッファに格納する。
 また、圧縮符号を抽出するため、マスクパターンのマスク位置をオフセットする。また、マスクパターンの初期値を“0xFFF00000”とする。このマスクパターンは先頭12ビットが“1”であり、後続の20ビットが“0”のビット列である。
 図64および図65は、図63での伸長処理の具体例を示す説明図である。図64では、特定単一文字「人」についての伸張例(A)を示している。図64において、まず、CPUは、ビットアドレスabiとバイトオフセットbyosとビットオフセットbiosとを算出する。ビットアドレスabiは、抽出された圧縮符号のビット位置を示す値であり、今回のビットアドレスabiは、前回のビットアドレスabiに前回抽出された圧縮符号の圧縮符号長legを加算した値となる。なお、初期状態では、ビットアドレスabiはabi=0とする。
 バイトオフセットbyosは、メモリに保持されている圧縮符号列のバイト境界を示す値であり、ビットアドレスabi/8の商で求められる。たとえば、バイトオフセットbyos=0のときは、メモリに記憶されている先頭からの圧縮符号列をレジスタにセットし、バイトオフセットbyos=1のときは、メモリに記憶されている先頭1バイト目からの圧縮符号列をレジスタにセットする。
 また、ビットオフセットbiosは、マスクパターンのマスク位置(“FFF”)をオフセットする値であり、ビットアドレスabi/8の余りである。たとえば、ビットオフセットbios=0のときは、マスク位置はシフトされないこととなり、マスクパターンは、“0xFFF00000”となる。一方、ビットオフセットbios=4のときは、マスク位置は末尾方向に4ビットシフトすることとなり、マスクパターンは、“0x0FFF0000”となる。
 レジスタシフト数rsは、マスクパターンとのAND演算後のレジスタ内の圧縮符号列を末尾方向にシフトするビット数であり、rs=32-12-biosで求められる。このシフトにより、シフト後のレジスタの末尾mビットのビット列を対象ビット列として抽出する。対象ビット列の抽出後はレジスタをクリアする。
 なお、メモリ内のブロックは1バイトのビット列を示しており、内部の数字は、バイト境界となるバイト位置を示している。図64では、ビットアドレスabi=0により、バイトオフセットbyos=0、ビットオフセットbios=0となる。バイトオフセットbyos=0により、メモリに保持されている圧縮符号列のうち先頭から4バイト分(図中、網掛け)の圧縮符号列をレジスタにセットする。
 また、ビットオフセットbios=0により、マスクパターンは、“0xFFF00000”である。したがって、レジスタにセットされた圧縮符号列とマスクパターン“0xFFF00000”を論理積(AND)演算することにより、AND結果が得られる。
 また、ビットオフセットbios=0により、レジスタシフト数rsは、rs=32-m―bios=32-12-0=20となる。したがって、レジスタ内のAND結果を末尾方向に20ビット分シフトする。このシフトによりレジスタには、“110001001100”が残されるため、末尾12ビットを対象ビット列として抽出する。この場合は、“110001001100”が対象ビット列として抽出される。抽出後、レジスタはクリアされる。
 2N分枝無節点ハフマン木Hの根の構造体には、抽出された対象ビット列“110001001100”があるため、この対象ビット列と一致する葉L♯へのポインタ(枝番号)を探索する。この場合、葉L97へのポインタ群の中の1つと一致するため、該当する葉L97へのポインタを読み出して、葉L97の構造体にアクセスする。
 葉L97の構造体には、文字コード“0xBA4E”が格納されているため、当該文字コード“0xBA4E”を抽出して伸長バッファに格納する。この場合、照合フラグがONであるため、文字コード“0xBA4E”を<B></B>タグで挟み込んで格納する。
 また、葉L97の構造体には、文字コード“0xBA4E”の圧縮符号長leg(=10ビット)も格納されているため、文字コード“0xBA4E”の圧縮符号長legも抽出する。この抽出された圧縮符号長legによりビットアドレスabiを更新する。この場合、更新後のビットアドレスabiはabi=0+10=10となる。
 図65では、特定単一文字「形」について伸張する例(B)を示している。具体的には、図64の状態(A)からレジスタをバイトオフセットbios分シフトした場合、前回である(A)のビットアドレスabiはabi=0、圧縮符号長legは10ビットであるため、(B)のビットアドレスabiはabi=10ビットとなる。
 また、このビットアドレスabi=10により、バイトオフセットbyos=1、ビットオフセットbios=2となる。バイトオフセットbyos=1により、メモリに保持されている圧縮符号列のうち先頭1バイト目から4バイト分(図中、網掛け)の圧縮符号列をレジスタにセットする。
 また、ビットオフセットbios=2により、マスクパターンは、“0x3FFC0000”である。したがって、レジスタにセットされた圧縮符号列とマスクパターン“0x3FFC0000”を論理積(AND)演算することにより、AND結果が得られる。
 また、ビットオフセットbios=2により、レジスタシフト数rsは、rs=32-m-bios=32-12-2=18となる。したがって、レジスタ内のAND結果を末尾方向に18ビット分シフトする。このシフトによりレジスタには、“00000100010010”が残されるため、末尾10ビットを対象ビット列として抽出する。この場合は、“0100010010”が対象ビット列として抽出される。抽出後、レジスタはクリアされる。
 2N分枝無節点ハフマン木Hの根の構造体には、抽出された対象ビット列“0100010010”があるため、このビット列と一致する葉L♯へのポインタ(枝番号)を探索する。この場合、対象ビット列“0100010010”が葉L105へのポインタ群の中の1つと一致するため、該当する葉L105へのポインタを読み出して、葉L24の構造体にアクセスする。
 葉L105の構造体には、文字コード“0x625F”が格納されているため、当該文字コード“0x625F”を抽出して伸長バッファに格納する。ファイル伸長例(G1)の場合は、そのまま伸長バッファに格納するが、ファイル伸長例(G2)の場合は、照合フラグがONであるため、文字コード“0x625F”を<B></B>タグで挟み込んで格納する。また、葉L105の構造体には、文字コード“0x625F”の圧縮符号長leg(=8ビット)も格納されているため、文字コード“0x625F”の圧縮符号長legも抽出する。この抽出された圧縮符号長legによりビットアドレスabiを更新する。この場合、更新後のビットアドレスabiはabi=10+8=18となる。このようにして伸長することで、対象ファイルがオープンされることとなる。
<ファイル追加処理の具体例>
 つぎに、ファイル追加処理の具体例について説明する。ここでは、圧縮済みの圧縮符号マップMsを伸長することなく、セグメント生成部6207が、追加対象となる対象ファイルF(n+1)の追加と、圧縮符号マップMsの更新とを実行する。
 図66は、ファイル追加処理の具体例を示す説明図である。図66では、対象ファイルF(n+1)を追加する場合を例に挙げて説明する。まず、図63のファイル伸長例により、圧縮ファイル群fsから圧縮ファイルf3が伸長され、伸長後の対象ファイルF3がメインメモリ(たとえば、RAM903)上に書き出されたとする。ここで、対象ファイルF(n+1)に変更し、新規保存指示を与えたとする。この場合、メインメモリ上の対象ファイルF(n+1)にはあたらしく採番されたファイル番号n+1が割り与えられる。すなわち、セグメントsg0(1)には空き領域がないため、セグメントsg0(2)が設定され、セグメントsg0(1)との間で関連付けがおこなわれる。
 (I)そして、対象ファイルF(n+1)を2N分枝無節点ハフマン木Hで圧縮して圧縮ファイルf(n+1)とし、セグメントsg0(2)に保存する。(J)また、メインメモリ上の対象ファイルF(n+1)の文字情報を集計部1101により集計することで、文字情報の存否を検出することができる。したがって、新たに採番されたファイル番号n+1のビットを、各文字情報の出現マップに追加(デフォルトはOFF)し、文字情報が出現したビットについてONにする。また、ファイル番号n+1のビットを削除マップDにも追加(デフォルトはON)する。
 (K)また、圧縮ファイルf(n+1)については、セグメントsg0(2)の管理領域においてポインタが関連付けされる。これにより、以降において、セグメントsg0(2)においてファイル番号(n+1)が指定されると、圧縮ファイルf(n+1)を伸長して対象ファイルF(n+1)をオープンすることができる。
 また、図7に示したコンピュータシステムにおいて、ファイル総数がαであるとすると、α=ファイル番号m×nの場合、スレーブサーバS1にのみアーカイブファイルA0(1)が格納されている。そして、あらたに対象ファイルF(m×n+1)が追加される場合、マスタサーバMSは、対象ファイルF(m×n+1)の圧縮ファイルf(m×n+1)を、割当先となるスレーブサーバS2に送信する。割当先をどのスレーブサーバにするかはあらかじめ決めておくものとする。スレーブサーバS2は、スレーブサーバS1のセグメントsg0(m)の後続セグメントとしてセグメントsg0(m+1)を生成して、マスタサーバMSからの圧縮f(m×n+1)を保存することになる。
 図67は、セグメント追加処理の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、指定部6201によりファイル追加が指定されるのを待ち受ける(ステップS6701:No)。ファイル追加の指定がされた場合(ステップS6701:Yes)、コンピュータ1100は、保存対象セグメントsg0(K)を特定する(ステップS6702)。具体的には、ファイル数iを1セグメントあたりのファイル数nで除算した商と同じ番号のセグメントを保存対象セグメントsg0(K)とする。
 そして、コンピュータ1100は、ファイル数iをインクリメントして(ステップS6703)、i>Knであるか否かを判断する(ステップS6704)。i>Knでない場合(ステップS6704:No)、現セグメントsg0(K)にはまだ圧縮ファイルを保存できるため、コンピュータ1100は、追加ファイルによるマップ更新処理を実行する(ステップS6709)。追加ファイルによるマップ更新処理(ステップS6709)の詳細については後述する。
 このあと、コンピュータ1100は、追加ファイルを2N分枝無節点ハフマン木Hで圧縮して(ステップS6710)、圧縮追加ファイルを保存対象セグメントsg0(K)に保存する(ステップS6711)。そして、コンピュータ1100は、保存対象セグメントsg0(K)の管理領域AKに、圧縮追加ファイルへのポインタを関連付ける(ステップS6712)。これにより、セグメント追加処理を終了する。
 また、ステップS6704において、i>Knである場合(ステップS6704:Yes)、現セグメントsg0(K)では圧縮追加ファイルを保存できないため、コンピュータ1100は、現セグメントsg0(K)の圧縮符号マップをマップ用ハフマン木で圧縮する(ステップS6705)。そして、コンピュータ1100は、新セグメントの領域を確保して(ステップS6706)、セグメント番号Kをインクリメントする(ステップS6707)。このあと、コンピュータ1100は、インクリメント後のセグメントsg0(K)とその先行セグメントとのポインタの連携処理を実行する(ステップS6708)。これにより、図1に示したように、先行セグメントと関連付けされることとなる。このあと、ステップS6709に移行する。
 図68は、図67に示した追加ファイルによるマップ更新処理(ステップS6709)の詳細な処理手順を示すフローチャート(前半)である。まず、コンピュータ1100は、圧縮符号マップMsおよび削除マップDsにおいて、追加ファイルのファイル番号のビットを設定する(ステップS6801)。具体的には、出現マップについてはOFFのビットを追加ファイルのファイル番号に対して設定し、削除マップDについてはONのビットを追加ファイルのファイル番号に対して設定する。
 つぎに、コンピュータ1100は、追加ファイル内の先頭文字を対象文字に設定し(ステップS6802)、対象文字について最長一致検索処理を実行する(ステップS6803)。最長一致検索処理(ステップS6803)は、図31に示した処理と同一処理であるため説明を省略する。
 このあと、コンピュータ1100は、最長一致した基礎単語が基礎単語の構造体2300にあるか否かを判断する(ステップS6804)。ない場合(ステップS6804:No)、図69のステップS6901に移行する。一方、ある場合(ステップS6804:Yes)、コンピュータ1100は、最長一致した基礎単語の圧縮符号を2N分枝無節点ハフマン木Hから特定して、当該圧縮符号により、最長一致した基礎単語の出現マップを指定する(ステップS6805)。そして、コンピュータ1100は、指定された出現マップにおいて追加ファイルのファイル番号に対応するビットをONにする(ステップS6806)。このあと、図69のステップS6901に移行する。
 図69は、図67に示した追加ファイルによるマップ更新処理(ステップS6709)の詳細な処理手順を示すフローチャート(後半)である。まず、コンピュータ1100は、対象文字が特定単一文字であるか否かを判断する(ステップS6901)。具体的には、たとえば、コンピュータ1100は、対象文字が特定単一文字の構造体でヒットしたか否かを判断する。
 対象文字が特定単一文字である場合(ステップS6901:Yes)、コンピュータ1100は、ヒットした特定単一文字の圧縮符号を2N分枝無節点ハフマン木Hから特定して、当該圧縮符号により、ヒットした特定単一文字の出現マップを指定する(ステップS6902)。そして、コンピュータ1100は、指定された出現マップにおいて追加ファイルのファイル番号に対応するビットをONにする(ステップS6903)。このあと、ステップS6909に移行する。
 一方、対象文字が特定単一文字でない場合(ステップS6901:No)、コンピュータ1100は、対象文字を上位分割文字コードと下位分割文字コードとに分割する(ステップS6904)。そして、コンピュータ1100は、分割文字コードの構造体でヒットした上位分割文字コードの圧縮符号を2N分枝無節点ハフマン木Hから特定して、当該圧縮符号により、ヒットした上位分割文字コードの出現マップを指定する(ステップS6905)。そして、コンピュータ1100は、指定された出現マップにおいて追加ファイルのファイル番号に対応するビットをONにする(ステップS6906)。
 同様に、コンピュータ1100は、分割文字コードの構造体でヒットした下位分割文字コードの圧縮符号を2N分枝無節点ハフマン木Hから特定して、当該圧縮符号により、ヒットした下位分割文字コードの出現マップを指定する(ステップS6907)。そして、コンピュータ1100は、指定された出現マップにおいて追加ファイルのファイル番号に対応するビットをONにする(ステップS6908)。このあと、ステップS6909に移行する。
 また、ステップS6909において、コンピュータ1100は、2グラム文字列特定処理を実行する(ステップS6909)。2グラム文字列特定処理(ステップS6909)は、図37に示した処理と同一処理であるため説明を省略する。
 このあと、コンピュータ1100は、2グラム文字列(たとえば「人形」)のうち先頭グラム文字(たとえば、「人」)の圧縮符号と末尾グラム文字(たとえば、「形」)の圧縮符号とを連結する(ステップS6910)。つぎに、コンピュータ1100は、連結圧縮符号により、2グラム文字列の出現マップを指定する(ステップS6911)。そして、コンピュータ1100は、指定された出現マップにおいて追加ファイルのファイル番号に対応するビットをONにして(ステップS6912)、一連の処理を終了する。
<セグメント階層化処理>
 つぎに、セグメント階層化処理について説明する。セグメント階層化処理とは、図4および図5に示したように、下位階層のセグメント群のインデックス情報群を上位階層のインデックス情報に集約していく処理である。セグメント階層化処理は、セグメント生成部6207が実行する。
 図70は、セグメント階層化処理の詳細な処理手順を示すフローチャートである。図70において、コンピュータ1100は、指定部により、セグメントの集約指定を待ち受ける(ステップS7001:No)。集約指定が受け付けられた場合(ステップS7001:Yes)、コンピュータ1100は、出現マップを指定するポインタである圧縮符号を順次選択する(ステップS7002)。具体的には、未選択の圧縮符号がある場合(ステップS7002:Yes)、コンピュータ1100は、未選択の圧縮符号を1つ選択し(ステップS7003)、選択出現マップ集約処理を実行する(ステップS7004)。選択出現マップ集約処理(ステップS7004)の詳細については後述する。
 選択出現マップ集約処理(ステップS7004)のあと、ステップS7002に戻る。そして、未選択の圧縮符号がない場合(ステップS7002:No)、コンピュータ1100は、削除マップ集約処理を実行する(ステップS7005)。削除マップ集約処理(ステップS7005)の詳細については後述する。これにより、セグメント階層化処理を終了する。
 図71は、図70に示した選択出現マップ集約処理(ステップS7004)の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、f=0、h=f+1、j=1に設定する(ステップS7101)。ここで、fは対象となる階層番号であり、hは対象階層の上位階層の階層番号である。jはセグメント番号である。つぎに、コンピュータ1100は、対象階層である第f階層のセグメントsgf(j)~sgf(j+m-1)で圧縮ファイルの空き領域があるか否かを判断する(ステップS7102)。mは、集約可能なセグメント数である。
 空き領域がない場合(ステップS7102:No)、第f階層のセグメントsgf(j)~sgf(j+m-1)の各々には圧縮ファイルが最大限格納されているため、コンピュータ1100は、上位階層である第h階層のセグメントsgh(j)に集約済みであるか否かを判断する(ステップS7103)。具体的には、たとえば、コンピュータ1100は、第h階層のセグメントsgh(j)が存在するか否かを判断する。
 集約済みでない場合(ステップS7103:No)、コンピュータ1100は、上位セグメントsgh(j)を設定し、上位セグメントsgh(j)内に選択圧縮符号のインデックス領域を確保する(ステップS7104)。そして、a=jに設定する(ステップS7105)。ここで、aは対象セグメントsgh(j)を特定する変数である。
 そして、コンピュータ1100は、a=j+mか否かを判断する(ステップS7106)。a=j+mでない場合(ステップS7106:No)、第f階層のセグメントsgf(j)~sgf(j+m-1)のすべてについて集約処理が完了していない。したがって、コンピュータ1100は、選択圧縮符号についてセグメントsgf(a)のインデックス情報を抽出する(ステップS7107)。
 そして、コンピュータ1100は、抽出されたセグメントsgf(a)のインデックス情報であるビット列がオール0、すなわち、選択圧縮符号についての文字情報がセグメントsgf(a)内の圧縮ファイル群のいずれにも存在していないか否かを判断する(ステップS7108)。
 オール0の場合(ステップS7108:Yes)、コンピュータ1100は、上位セグメントsgh(a)に集約結果として「0」を書き込み(ステップS7109)、ステップS7111に移行する。一方、オール0でない場合(ステップS7108:No)、上位セグメントsgh(a)に集約結果として「1」を書き込み(ステップS7110)、ステップS7111に移行する。ステップS7111では、aをインクリメントし(ステップS7111)、ステップS7106に戻る。
 また、ステップS7106において、a=j+mになった場合(ステップS7106:Yes)、第f階層のセグメントsgf(j)~sgf(j+m-1)のすべてについて集約処理が完了したことになる。したがって、コンピュータ1100は、上位セグメントsgh(j)と第f階層のセグメントsgf(j)~sgf(j+m-1)との間でポインタによる関連付けをおこなう(ステップS7112)。このあと、j=j+mにしてjをセグメントm個分シフトして(ステップS7113)、ステップS7102に戻る。
 また、ステップS7102において、空き領域がある場合(ステップS7102:Yes)、第f階層のセグメントsgf(j)~sgf(j+m-1)の集約処理を実行できないため、f=f+1,j=1とする(ステップS7114)。そして、コンピュータ1100は、セグメントsgf(j)が存在するか否かを判断する(ステップS7115)。存在する場合(ステップS7115:Yes)、ステップS7102に戻る。これにより、段階的に階層を上げて集約することができる。一方、存在しない場合(ステップS7115:No)、ステップS7002に戻る。
 図72は、図70に示した削除マップ集約処理(ステップS7005)の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、f=0、h=f+1、j=1に設定する(ステップS7201)。ここで、fは対象となる階層番号であり、hは対象階層の上位階層の階層番号である。jはセグメント番号である。つぎに、コンピュータ1100は、対象階層である第f階層のセグメントsgf(j)~sgf(j+m-1)で圧縮ファイルの空き領域があるか否かを判断する(ステップS7202)。mは、集約可能なセグメント数である。
 空き領域がない場合(ステップS7202:No)、第f階層のセグメントsgf(j)~sgf(j+m-1)の各々には圧縮ファイルが最大限格納されているため、コンピュータ1100は、上位階層である第h階層のセグメントsgh(j)に集約済みであるか否かを判断する(ステップS7203)。具体的には、たとえば、コンピュータ1100は、第h階層のセグメントsgh(j)が存在するか否かを判断する。
 集約済みでない場合(ステップS7203:No)、コンピュータ1100は、上位セグメントsgh(j)内に削除マップのインデックス領域を確保する(ステップS7204)。そして、a=jに設定する(ステップS7205)。ここで、aは対象セグメントsgh(j)を特定する変数である。
 そして、コンピュータ1100は、a=j+mか否かを判断する(ステップS7206)。a=j+mでない場合(ステップS7206:No)、第f階層のセグメントsgf(j)~sgf(j+m-1)のすべてについて集約処理が完了していない。したがって、コンピュータ1100は、削除マップについてセグメントsgf(a)のインデックス情報を抽出する(ステップS7207)。
 そして、コンピュータ1100は、抽出されたセグメントsgf(a)のインデックス情報であるビット列がオール0、すなわち、セグメントsgf(a)内の圧縮ファイル群が削除された否かを判断する(ステップS7208)。
 オール0の場合(ステップS7208:Yes)、コンピュータ1100は、上位セグメントsgh(a)に集約結果として「0」を書き込み(ステップS7209)、ステップS7211に移行する。一方、オール0でない場合(ステップS7208:No)、コンピュータ1100は、上位セグメントsgh(a)に集約結果として「1」を書き込み(ステップS7210)、ステップS7211に移行する。ステップS7211では、aをインクリメントし(ステップS7211)、ステップS7206に戻る。
 また、ステップS7206において、a=j+mになった場合(ステップS7206:Yes)、第f階層のセグメントsgf(j)~sgf(j+m-1)のすべてについて集約処理が完了したことになる。したがって、コンピュータ1100は、上位セグメントsgh(j)と第f階層のセグメントsgf(j)~sgf(j+m-1)との間でポインタによる関連付けをおこなう(ステップS7212)。このあと、j=j+mにしてjをセグメントm個分シフトして(ステップS7213)、ステップS7202に戻る。
 また、ステップS7202において、空き領域がある場合(ステップS7202:Yes)、第f階層のセグメントsgf(j)~sgf(j+m-1)について集約処理を実行できないため、f=f+1,j=1とする(ステップS7214)。そして、コンピュータ1100は、セグメントsgf(j)が存在するか否かを判断する(ステップS7215)。存在する場合(ステップS7215:Yes)、ステップS7202に戻る。これにより、段階的に階層を上げて集約することができる。一方、存在しない場合(ステップS7215:No)、ステップS7002に戻る。
 このように、セグメント階層化処理を実行することで、図4および図5に示したようにセグメントの階層化が実現される。したがって、図7に示したようなアーカイブファイルの階層構造を構築することができる。
<検索処理手順>
 つぎに、本実施の形態にかかる検索処理手順について説明する。具体的には、たとえば、図63に示したファイル伸長例についての処理手順となる。
 図73は、本実施の形態にかかる検索処理手順を示すフローチャートである。まず、コンピュータ1100は、検索文字列の入力を待ち受け(ステップS7301:No)、検索文字列が入力された場合(ステップS7301:Yes)、ポインタ特定処理(ステップS7302)、ファイル絞込み処理(ステップS7303)、伸長処理(ステップS7304)を実行する。ポインタ特定処理(ステップS7302)は、検索文字列から出現マップを指定するポインタとなる圧縮符号を特定する。ポインタ特定処理(ステップS7302)の詳細は、図74および図75で説明する。
 ファイル絞込み処理(ステップS7303)は、図8に示したように、階層構造セグメント群から検索文字列を構成する文字情報が存在する対象ファイルFiの圧縮ファイルfiを絞り込む。ファイル絞込み処理(ステップS7303)の詳細は、図76で説明する。
 伸長処理(ステップS7304)は、ファイル絞込み処理(ステップS7303)で絞り込まれた圧縮ファイルfiを伸長する過程で、伸長対象となる圧縮符号列と検索文字列の圧縮文字列とを照合する。伸長処理(ステップS7304)の詳細は、図77および図78で説明する。
 図74は、図73に示したポインタ特定処理(ステップS7302)の詳細な処理手順を示すフローチャート(その1)である。まず、コンピュータ1100は、検索文字列を対象文字列に設定し(ステップS7401)、最長一致検索処理を実行する(ステップS7402)。最長一致検索処理(ステップS7402)は、図31に示した最長一致検索処理(ステップS2901)と同一処理であるため説明を省略する。
 そして、コンピュータ1100は、基礎単語の構造体において、最長一致検索処理(ステップS7402)で得られた最長一致検索結果を2分探索する(ステップS7403)。最長一致検索結果が、基礎単語の構造体で探索された場合(ステップS7403:Yes)、探索された基礎単語の圧縮符号を2N分枝無節点ハフマン木Hから取得して検索バッファに保存する(ステップS7404)。
 そして、コンピュータ1100は、対象文字列に後続があるか否かを判断する(ステップS7405)。後続がある場合(ステップS7405:Yes)、コンピュータ1100は、後続文字列を対象文字列に設定して(ステップS7406)、最長一致検索処理(ステップS7402)に戻る。一方、後続がない場合(ステップS7405:No)、ポインタ特定処理(ステップS7302)は終了し、ファイル絞込み処理(ステップS7303)に移行する。
 また、ステップS7403において、最長一致検索結果が、基礎単語の構造体で探索されなかった場合(ステップS7403:No)、図75のステップS7501に移行する。具体的には、最長一致検索結果が基礎単語の構造体に登録されていない場合、または、最長一致検索で最長一致候補がなかった場合(ステップS7403:No)に、図75のステップS7501に移行する。
 図75は、図73に示したポインタ特定処理(ステップS7302)の詳細な処理手順を示すフローチャート(その2)である。まず、コンピュータ1100は、対象文字列の先頭文字を対象文字に設定する(ステップS7501)。つぎに、コンピュータ1100は、特定単一文字の構造体において対象文字を2分探索する(ステップS7502)。対象文字が探索された場合(ステップS7503:Yes)、コンピュータ1100は、特定単一文字の圧縮符号を2N分枝無節点ハフマン木Hから取得して検索バッファに保存する(ステップS7504)。
 一方、ステップS7503において、探索されなかった場合(ステップS7503:No)、コンピュータ1100は、対象文字を上位8ビットと下位8ビットに分割する(ステップS7505)。そして、コンピュータ1100は、上位分割文字コードの圧縮符号を2N分枝無節点ハフマン木Hから取得して検索バッファに保存する(ステップS7506)。
 また、コンピュータ1100は、下位分割文字コードの圧縮符号を2N分枝無節点ハフマン木Hから取得して検索バッファに保存する(ステップS7507)。また、コンピュータ1100は、対象文字やステップS7505で分割された分割文字コードについて、2N分枝無節点ハフマン木Hの葉にアクセスし、照合フラグをONにする(ステップS7508)。このあと、コンピュータ1100は、2グラム文字列特定処理を実行する(ステップS7509)。2グラム文字列特定処理(ステップS7509)は、図37に示した2グラム文字列特定処理(ステップS3406)と同一処理であるため説明を省略する。
 そして、コンピュータ1100は、2グラム文字列特定処理(ステップS7509)で2グラム文字列が特定されなかった場合(ステップS7510:No)、図74のステップS7405に戻る。一方、2グラム文字列が特定された場合(ステップS7510:Yes)、コンピュータ1100は、2グラム文字列の圧縮符号を2N分枝無節点ハフマン木Hから取得して検索バッファに保存する(ステップS7511)。具体的には、たとえば、コンピュータ1100は、第1グラムの圧縮符号および第2グラムの圧縮符号を2N分枝無節点ハフマン木Hにアクセスすることで取得、連結し、2グラム文字列の圧縮符号マップMから連結圧縮符号で指定された出現マップを取得する。そして、図74のステップS7405に戻る。
 図76は、図73に示したファイル絞込み処理(ステップS7303)の詳細な処理手順を示すフローチャートである。まず、コンピュータ1100は、階層番号hを現時点での最上位階層の階層番号Hとし(ステップS7601)、セグメント番号jをj=1に設定する(ステップS7602)。
 つぎに、コンピュータ1100は、セグメントsgH(j)が存在するか否かを判断する(ステップS7603)。セグメントsgH(j)が存在する場合(ステップS7603:Yes)、コンピュータ1100は、検索バッファ内の圧縮符号ごとに、出現マップおよび削除マップを指定する(ステップS7604)。そして、コンピュータ1100は、指定された出現マップおよび削除マップから対象セグメントsgH(j)のインデックス情報を抽出する(ステップS7605)。
 そして、コンピュータ1100は、抽出されたインデックス情報群をAND演算する(ステップS7606)。このあと、コンピュータ1100は、現在の階層番号hがh=0であるか否かを判断する(ステップS7607)。h≠0の場合(ステップS7607:No)、AND結果で得られる「1」の位置は下位セグメントの番号となるため、当該番号を検索バッファに保存して、ステップS7610に移行する(ステップS7608)。
 一方、h=0の場合(ステップS7607:Yes)、AND結果で得られる「1」の位置はファイル番号となるため、当該番号の圧縮ファイルを検索バッファに保存して、ステップS7610に移行する(ステップS7609)。
 ステップS7610では、セグメント番号jをインクリメントして(ステップS7610)、ステップS7603に戻る。この際、後続セグメントとはポインタで関連付けされているため、セグメント番号のインクリメントにより後続セグメントを特定できることとなる。
 また、ステップS7603において、対象セグメントsgH(j)が存在しない場合(ステップS7603:No)、コンピュータ1100は、階層番号hをデクリメントし(ステップS7611)、h<0であるか否かを判断する(ステップS7612)。h<0でない場合(ステップS7612:No)、ステップS7602に戻る。一方、h<0である場合(ステップS7612:Yes)、ステップS7609により伸長対象の圧縮ファイルが特定できているため、伸長処理(ステップS7304)に移行する。
 図77は、図73に示した2N分枝無節点ハフマン木Hを用いた伸長処理(ステップS7304)の詳細な処理手順例を示すフローチャート(その1)である。図77において、まず、コンピュータ1100は、ビットアドレスabiをabi=0とし(ステップS7701)、バイトオフセットbyosを算出し(ステップS7702)、ビットオフセットbiosを算出する(ステップS7703)。そして、コンピュータ1100は、バイトオフセットbyosの位置からの圧縮符号列をレジスタr1にセットする(ステップS7704)。
 つぎに、コンピュータ1100は、レジスタr2にセットされたマスクパターンをビットオフセットbios分、末尾方向にシフトして(ステップS7705)、レジスタr1にセットされた圧縮符号列とのAND演算をおこなう(ステップS7706)。このあと、コンピュータ1100は、レジスタシフト数rsを算出して(ステップS7707)、AND演算後のレジスタr2をレジスタシフト数rs分、末尾にシフトする(ステップS7708)。
 図78は、図73に示した2N分枝無節点ハフマン木Hを用いた伸長処理(ステップS7304)の詳細な処理手順例を示すフローチャート(その2)である。ステップS7708のあと、図78において、コンピュータ1100は、シフト後のレジスタr2から末尾Nビットを対象ビット列として抽出する(ステップS7801)。つぎに、コンピュータ1100は、2N分枝無節点ハフマン木Hの根の構造体から葉L♯へのポインタを特定し(ステップS7802)、ポイント先となる葉L♯の構造体に1パスでアクセスする(ステップS7803)。このあと、コンピュータ1100は、アクセス先の葉L♯の構造体の照合フラグがONであるか否かを判断する(ステップS7804)。
 照合フラグがONである場合(ステップS7804:Yes)、コンピュータ1100は、アクセス先の葉L♯の構造体内の文字情報について置換文字を伸長バッファに書き出して(ステップS7805)、ステップS7807に移行する。一方、照合フラグがOFFの場合(ステップS7804:No)、コンピュータ1100は、アクセス先の葉L♯の構造体内の文字情報(伸長文字)を伸長バッファに書き出して(ステップS7806)、ステップS7807に移行する。
 ステップS7807では、コンピュータ1100は、アクセス先の葉L♯の構造体から圧縮符号長legを抽出し(ステップS7807)、ビットアドレスabiを更新する(ステップS7808)。このあと、コンピュータ1100は、メモリに圧縮符号列があるか否か、具体的には、マスクパターンによるマスク処理が施されていない圧縮符号列があるか否かを判断する(ステップS7809)。たとえば、バイトオフセットbyosに該当するバイト位置があるか否かにより判断する。圧縮符号列がある場合(ステップS7809:Yes)、図77のステップS7702に戻る。一方、圧縮符号列がない場合(ステップS7809:No)、伸長処理(ステップS7304)を終了する。
 このような伸長処理(ステップS7304)により、圧縮状態のまま照合・伸長をおこなうことができ、伸長速度の高速化を図ることができる。
 以上説明したように、本実施の形態によれば、検索対象ファイル群を複数のセグメントに分割して保存しているため、セグメント単位のインデックス情報で検索をおこなうことができる。したがって、検索対象ファイルのファイル数の増大にともなってインデックス情報のサイズが増大しても、検索処理時間の増大を抑制することができる。
 また、同一階層のセグメント群を集約して上位階層のセグメントを生成して階層構造セグメント群SGを構築している。したがって、階層構造セグメント群SGの最上位階層のセグメントのインデックス情報から順次絞込みをおこなうことで、検索文字列が存在しないセグメントおよび当該セグメントの下位に存在する圧縮ファイルを絞り込み対象から除外することができる。このように、無駄な絞り込みをしなくて済むため、検索速度の向上を図ることができる。
 また、上述した実施の形態では、マスタサーバが第1階層までの絞込みをおこない、絞り込まれたファイル番号を、当該ファイル番号を所有するスレーブサーバに送信する。したがって、送信されなかったスレーブサーバでは絞込み処理を実行しなくて済むため、無駄な検索を抑制することができ、検索効率の向上を図ることができる。
 なお、上述した実施の形態では、マスタサーバMSが圧縮ファイルfiの伸長をおこなう例について説明したが、マスタサーバMSが2N分枝無節点ハフマン木Hを各スレーブサーバにあらかじめ送信しておくことで、各スレーブサーバにおいて圧縮ファイルfiの伸長処理を実行することとしてもよい。この場合、マスタサーバMSからファイル番号iを受けたスレーブサーバは、当該ファイル番号iの圧縮ファイルFiを伸長し、伸長した対象ファイルFiをマスタサーバMSに返すことになる。このように、スレーブサーバに伸長処理を実行させることで、マスタサーバMSへの負荷集中を抑制して負荷分散を図ることができる。
 また、上述した実施の形態では、圧縮ファイルfiを絞り込む例について説明したが絞込み対象は、非圧縮の対象ファイルFiでもよい。この場合、上述した圧縮処理や伸長処理は不要となる。また、出現マップへのポインタは圧縮符号ではなく、文字情報を特定するポインタであればよい。
 また、あらかじめ、圧縮符号マップMsの圧縮領域のビット列を、先頭位置から末尾位置にかけて対象ファイル群Fsのファイル番号pの降順に配列しておく。これにより、ファイル番号;1~nのビット列が圧縮されても、追加ファイルのファイル番号とそのビットとのずれがなく、対象ファイルFiの絞込みを正確に実行することができる。
 また、圧縮符号マップMsの圧縮領域を所定数の最大倍数(たとえば、所定ファイル数n=256の最大倍数)のビット列にすることで、対象ファイルが追加される都度、圧縮符号マップMsの圧縮をおこなう必要がない。これにより、コンピュータの演算負荷を低減することができる。また、追加後のファイル総数が初期のファイル数の最大倍数に達した場合に、圧縮符号マップMsのファイル番号に対応する全ビットが圧縮領域となるため、圧縮符号マップMsがハフマン木hにより圧縮される。これにより、省メモリ化を図ることができる。このように、所定ファイル数n(たとえば256個)単位で圧縮がおこなわれるため、演算負荷低減と省メモリ化を同時に実現することができる。
 なお、本実施の形態で説明した情報処理方法は、あらかじめ用意されたプログラムをパーソナル・コンピュータやワークステーション等のコンピュータ1100で実行することにより実現することができる。本情報処理プログラムは、ハードディスク、フレキシブルディスク、CD-ROM、MO、DVD等のコンピュータ1100で読み取り可能な記録媒体に記録され、コンピュータ1100によって記録媒体から読み出されることによって実行される。また本情報処理プログラムは、インターネット等のネットワークを介して配布してもよい。
6201 指定部
6202 第1伸長部
6203 入力部
6204 抽出部
6205 第2伸長部
6206 特定部
6207 セグメント生成部

Claims (11)

  1.  コンピュータに、
     複数のファイルのそれぞれについて所定の文字情報を含むか否かを示す第1の情報と、前記複数のファイルの少なくともいずれかが前記所定の文字情報を含むか否かを示す第2の情報と、を記憶手段に記憶し、
     前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報に基づいて前記所定の文字情報を含むファイルを抽出する、
     ことを実行させることを特徴とする抽出方法。
  2.  前記コンピュータに、さらに、
     前記検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示さないことが検出されると、前記複数のファイルが前記所定の文字情報を含まないと判定する、
     ことを実行させることを特徴とする請求項1に記載の抽出方法。
  3.  前記第1の情報は、前記複数のファイルのそれぞれについて前記所定の文字情報を含むか否かを示すビットによるビット列であり、
     前記第2の情報は、前記ビット列に含まれる各ビットを演算して得られるビットである、
     ことを特徴とする請求項1又は2に記載の抽出方法。
  4.  前記コンピュータに、
     前記記憶手段に、さらに、前記複数のファイルのそれぞれについて検索対象とするか否かを示す第3の情報を記憶し、
     前記検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報及び前記第3の情報に基づいて、検索対象であり、且つ前記所定の文字情報を含むファイルを抽出する、
     ことを実行させることを特徴とする請求項1~3のいずれか1項に記載の抽出方法。
  5.  前記コンピュータに、
     前記記憶手段に、さらに、前記複数のファイルの少なくともいずれかが検索対象であるか否かを示す第4の情報を記憶し、
     前記検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示し、且つ前記第4の情報が前記複数のファイルの少なくともいずれかが検索対象である旨を示すことを検出すると、前記第1の情報に基づいて前記所定の文字情報を含むファイルを抽出する、
     ことを実行させることを特徴とする請求項1~3のいずれか1項に記載の抽出方法。
  6.  コンピュータに、
     複数のファイルのそれぞれについて所定の文字情報を含むか否かを示す第1の情報と、前記複数のファイルのうちの一部のファイルについて、前記一部のファイルの少なくともいずれかが前記所定の文字情報を含むか否かを示す第2の情報と、を記憶手段に記憶し、
     前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報に基づいて前記複数のファイルから前記所定の文字情報を含むファイルを抽出し、
     前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示さないことが検出されると、前記複数のファイルのうちの前記一部のファイルに含まれないファイルから、前記第1の情報に基づいて前記所定の文字情報を含むファイルを抽出する、
     ことを実行させることを特徴とする抽出方法。
  7.  コンピュータに、
     複数のファイルのそれぞれについて所定の文字情報を含むか否かを示す第1の情報と、前記複数のファイルの少なくともいずれかが前記所定の文字情報を含むか否かを示す第2の情報と、を記憶手段に記憶し、
     前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報に基づいて前記所定の文字情報を含むファイルを抽出する、
     ことを実行させることを特徴とする抽出プログラム。
  8.  コンピュータに、
     複数のファイルのそれぞれについて所定の文字情報を含むか否かを示す第1の情報と、前記複数のファイルのうちの一部のファイルについて、前記一部のファイルの少なくともいずれかが前記所定の文字情報を含むか否かを示す第2の情報と、を記憶手段に記憶し、
     前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報に基づいて前記複数のファイルから前記所定の文字情報を含むファイルを抽出し、
     前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示さないことが検出されると、前記複数のファイルのうちの前記一部のファイルに含まれないファイルから、前記第1の情報に基づいて前記所定の文字情報を含むファイルを抽出する、
     ことを実行させることを特徴とする抽出プログラム。
  9.  複数のファイルのそれぞれについて所定の文字情報を含むか否かを示す第1の情報と、前記複数のファイルの少なくともいずれかが前記所定の文字情報を含むか否かを示す第2の情報と、を記憶する記憶手段と、
     前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報に基づいて前記所定の文字情報を含むファイルを抽出する抽出手段と、
     を備えることを特徴とする抽出装置。
  10.  複数のファイルのそれぞれについて所定の文字情報を含むか否かを示す第1の情報と、前記複数のファイルのうちの一部のファイルについて、前記一部のファイルの少なくともいずれかが前記所定の文字情報を含むか否かを示す第2の情報と、を記憶する記憶手段と、
     前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示すことが検出されると、前記第1の情報に基づいて前記複数のファイルから前記所定の文字情報を含むファイルを抽出し、前記所定の文字情報についての検索要求を受けた際に、前記第2の情報が前記所定の文字情報を含む旨を示さないことが検出されると、前記複数のファイルのうちの前記一部のファイルに含まれないファイルから、前記第1の情報に基づいて前記所定の文字情報を含むファイルを抽出する抽出手段と、
     を備えることを特徴とする抽出装置。
  11.  複数のコンピュータと、割当装置と、を含む抽出システムであって、
     前記割当装置が、
      複数のファイルを分割して得られる複数のファイル群のそれぞれについて、それぞれのファイル群に含まれる少なくとも1つのファイルが所定の文字情報を含むかを示す情報を保持する保持手段と、
      前記所定の文字情報についての検索要求を受けた場合に、前記保持手段に保持された情報に前記所定の文字情報を含むファイルを少なくとも1つ旨を示されるファイル群の数に応じて、前記複数のファイル群を前記複数のコンピュータのそれぞれに割り当てる割当手段と、を含み、
     前記複数のコンピュータのそれぞれが、
      前記複数のファイル群のそれぞれについて、それぞれのファイル群に含まれるいずれのファイルが所定の文字情報を含むかを示すインデックス情報を記憶する記憶手段と、
      前記記憶手段に記憶された前記複数のファイル群それぞれについてのインデックス情報のうち、前記割当装置に割り当てられたファイル群についての前記インデックス情報に基づいて前記所定の文字情報を含むファイルを抽出する抽出手段と、を含む、
     ことを特徴とする抽出システム。
PCT/JP2011/071028 2011-09-14 2011-09-14 抽出方法、抽出プログラム、抽出装置、および抽出システム WO2013038527A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
AU2011377004A AU2011377004B2 (en) 2011-09-14 2011-09-14 Extraction method, extraction program, extraction device, and extraction system
CN201180073519.7A CN103797480B (zh) 2011-09-14 2011-09-14 提取方法、提取程序、提取装置、以及提取系统
KR1020147006760A KR101560109B1 (ko) 2011-09-14 2011-09-14 추출 방법, 추출 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체, 추출 장치, 및 추출 시스템
PCT/JP2011/071028 WO2013038527A1 (ja) 2011-09-14 2011-09-14 抽出方法、抽出プログラム、抽出装置、および抽出システム
JP2013533401A JP5741699B2 (ja) 2011-09-14 2011-09-14 抽出方法、抽出プログラム、抽出装置、および抽出システム
EP11872214.9A EP2757488B1 (en) 2011-09-14 2011-09-14 Extraction method, extraction program, extraction device, and extraction system
US14/202,429 US9916314B2 (en) 2011-09-14 2014-03-10 File extraction method, computer product, file extracting apparatus, and file extracting system

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2011/071028 WO2013038527A1 (ja) 2011-09-14 2011-09-14 抽出方法、抽出プログラム、抽出装置、および抽出システム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/202,429 Continuation US9916314B2 (en) 2011-09-14 2014-03-10 File extraction method, computer product, file extracting apparatus, and file extracting system

Publications (1)

Publication Number Publication Date
WO2013038527A1 true WO2013038527A1 (ja) 2013-03-21

Family

ID=47882786

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2011/071028 WO2013038527A1 (ja) 2011-09-14 2011-09-14 抽出方法、抽出プログラム、抽出装置、および抽出システム

Country Status (7)

Country Link
US (1) US9916314B2 (ja)
EP (1) EP2757488B1 (ja)
JP (1) JP5741699B2 (ja)
KR (1) KR101560109B1 (ja)
CN (1) CN103797480B (ja)
AU (1) AU2011377004B2 (ja)
WO (1) WO2013038527A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014215839A (ja) * 2013-04-25 2014-11-17 富士通株式会社 検索システム、情報処理装置および検索方法
US9793920B1 (en) 2016-04-19 2017-10-17 Fujitsu Limited Computer-readable recording medium, encoding device, and encoding method
EP3236369A1 (en) 2016-04-18 2017-10-25 Fujitsu Limited Index generation program, index generation device and index generation method, search program
EP3236367A2 (en) 2016-04-18 2017-10-25 Fujitsu Limited Encoding program, encoding method, encoding device, retrieval program, retrieval method, and retrieval device

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10540404B1 (en) * 2014-02-07 2020-01-21 Amazon Technologies, Inc. Forming a document collection in a document management and collaboration system
US9450601B1 (en) * 2015-04-02 2016-09-20 Microsoft Technology Licensing, Llc Continuous rounding of differing bit lengths
KR102006245B1 (ko) * 2017-09-15 2019-08-06 주식회사 인사이너리 바이너리 파일에 기초하여 오픈소스 소프트웨어 패키지를 식별하는 방법 및 시스템
CN109993025B (zh) * 2017-12-29 2021-07-06 中移(杭州)信息技术有限公司 一种关键帧提取方法及设备
US10541708B1 (en) * 2018-09-24 2020-01-21 Redpine Signals, Inc. Decompression engine for executable microcontroller code
CN109855566B (zh) * 2019-02-28 2021-12-03 易思维(杭州)科技有限公司 一种槽孔特征的提取方法
US12072940B2 (en) * 2022-04-15 2024-08-27 UltraEdit, Inc. Systems and methods for simultaneously viewing and modifying multiple segments of one or more files

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2986865B2 (ja) 1989-07-24 1999-12-06 株式会社日立製作所 データ検索方法および装置
JP3263963B2 (ja) * 1991-12-25 2002-03-11 株式会社日立製作所 文書検索方法及び装置
JP2009048352A (ja) * 2007-08-17 2009-03-05 Nippon Telegr & Teleph Corp <Ntt> 情報検索装置、情報検索方法および情報検索プログラム
JP2011100320A (ja) * 2009-11-06 2011-05-19 Fujitsu Ltd 情報処理プログラム、情報検索プログラム、情報処理装置、および情報検索装置
JP2011138230A (ja) * 2009-12-25 2011-07-14 Fujitsu Ltd 情報処理プログラム、情報検索プログラム、情報処理装置、および情報検索装置

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5469354A (en) * 1989-06-14 1995-11-21 Hitachi, Ltd. Document data processing method and apparatus for document retrieval
US5748953A (en) * 1989-06-14 1998-05-05 Hitachi, Ltd. Document search method wherein stored documents and search queries comprise segmented text data of spaced, nonconsecutive text elements and words segmented by predetermined symbols
EP0437615B1 (en) 1989-06-14 1998-10-21 Hitachi, Ltd. Hierarchical presearch-type document retrieval method, apparatus therefor, and magnetic disc device for this apparatus
US5745745A (en) * 1994-06-29 1998-04-28 Hitachi, Ltd. Text search method and apparatus for structured documents
US5778361A (en) * 1995-09-29 1998-07-07 Microsoft Corporation Method and system for fast indexing and searching of text in compound-word languages
JPH09138809A (ja) * 1995-11-15 1997-05-27 Oki Electric Ind Co Ltd 全文検索方法
CA2340531C (en) * 2001-03-12 2006-10-10 Ibm Canada Limited-Ibm Canada Limitee Document retrieval system and search method using word set and character look-up tables
US7149748B1 (en) * 2003-05-06 2006-12-12 Sap Ag Expanded inverted index
CN1567174A (zh) * 2003-06-09 2005-01-19 吴胜远 对象表示和处理的方法及其装置
US20100005072A1 (en) * 2004-09-09 2010-01-07 Pitts William M Nomadic File Systems
US8504565B2 (en) * 2004-09-09 2013-08-06 William M. Pitts Full text search capabilities integrated into distributed file systems— incrementally indexing files
WO2006123429A1 (ja) * 2005-05-20 2006-11-23 Fujitsu Limited 情報検索方法、装置、プログラム、該プログラムを記録した記録媒体
WO2009063925A1 (ja) * 2007-11-15 2009-05-22 Nec Corporation 文書管理・検索システムおよび文書の管理・検索方法
CN101452465A (zh) * 2007-12-05 2009-06-10 高德软件有限公司 大批量文件数据存放和读取方法
US8266179B2 (en) * 2009-09-30 2012-09-11 Hewlett-Packard Development Company, L.P. Method and system for processing text

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2986865B2 (ja) 1989-07-24 1999-12-06 株式会社日立製作所 データ検索方法および装置
JP3263963B2 (ja) * 1991-12-25 2002-03-11 株式会社日立製作所 文書検索方法及び装置
JP2009048352A (ja) * 2007-08-17 2009-03-05 Nippon Telegr & Teleph Corp <Ntt> 情報検索装置、情報検索方法および情報検索プログラム
JP2011100320A (ja) * 2009-11-06 2011-05-19 Fujitsu Ltd 情報処理プログラム、情報検索プログラム、情報処理装置、および情報検索装置
JP2011138230A (ja) * 2009-12-25 2011-07-14 Fujitsu Ltd 情報処理プログラム、情報検索プログラム、情報処理装置、および情報検索装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014215839A (ja) * 2013-04-25 2014-11-17 富士通株式会社 検索システム、情報処理装置および検索方法
EP3236369A1 (en) 2016-04-18 2017-10-25 Fujitsu Limited Index generation program, index generation device and index generation method, search program
EP3236367A2 (en) 2016-04-18 2017-10-25 Fujitsu Limited Encoding program, encoding method, encoding device, retrieval program, retrieval method, and retrieval device
US10521414B2 (en) 2016-04-18 2019-12-31 Fujitsu Limited Computer-readable recording medium, encoding method, encoding device, retrieval method, and retrieval device
EP3770770A1 (en) 2016-04-18 2021-01-27 Fujitsu Limited Index generation program, index generation device and index generation method, search program
US11080234B2 (en) 2016-04-18 2021-08-03 Fujitsu Limited Computer readable recording medium for index generation
US9793920B1 (en) 2016-04-19 2017-10-17 Fujitsu Limited Computer-readable recording medium, encoding device, and encoding method

Also Published As

Publication number Publication date
JP5741699B2 (ja) 2015-07-01
US9916314B2 (en) 2018-03-13
CN103797480A (zh) 2014-05-14
EP2757488A1 (en) 2014-07-23
EP2757488B1 (en) 2019-02-20
EP2757488A4 (en) 2015-04-22
JPWO2013038527A1 (ja) 2015-03-23
KR20140061450A (ko) 2014-05-21
US20140229484A1 (en) 2014-08-14
KR101560109B1 (ko) 2015-10-13
AU2011377004A1 (en) 2014-03-27
AU2011377004B2 (en) 2015-11-12
CN103797480B (zh) 2017-11-28

Similar Documents

Publication Publication Date Title
JP5741699B2 (ja) 抽出方法、抽出プログラム、抽出装置、および抽出システム
JP4707198B2 (ja) 情報検索プログラム、該プログラムを記録した記録媒体、情報検索方法、および情報検索装置
JP5062131B2 (ja) 情報処理プログラム、情報処理装置、および情報処理方法
JPWO2012150637A1 (ja) 抽出方法、情報処理方法、抽出プログラム、情報処理プログラム、抽出装置、および情報処理装置
JP4893805B2 (ja) 情報処理プログラム、情報検索プログラム、および情報処理装置
JP5605288B2 (ja) 出現マップ生成方法、ファイル抽出方法、出現マップ生成プログラム、ファイル抽出プログラム、出現マップ生成装置、およびファイル抽出装置
WO2006123448A1 (ja) 情報検索プログラム
JP6609404B2 (ja) 圧縮プログラム、圧縮方法および圧縮装置
JP5505524B2 (ja) 生成プログラム、生成装置、および生成方法
JP5621906B2 (ja) 検索プログラム、検索装置、および検索方法
JP2016149160A (ja) 情報生成方法、およびインデックス情報
JP6931442B2 (ja) 符号化プログラム、インデックス生成プログラム、検索プログラム、符号化装置、インデックス生成装置、検索装置、符号化方法、インデックス生成方法および検索方法
JP2016149160A5 (ja)
US10318483B2 (en) Control method and control device
JP5494860B2 (ja) 情報管理プログラム、情報管理装置および情報管理方法
Allen A file index for document storage and retrieval utilizing descriptor fragments
JP2018060425A (ja) インデックス生成プログラム、インデックス生成装置、インデックス生成方法、検索プログラム、検索装置および検索方法
JPS62131348A (ja) マルチインデツクスフアイルアクセス方式

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 11872214

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013533401

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2011872214

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20147006760

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2011377004

Country of ref document: AU

Date of ref document: 20110914

Kind code of ref document: A