WO2023047934A1 - データ処理装置、データ処理方法、及びプログラム - Google Patents

データ処理装置、データ処理方法、及びプログラム Download PDF

Info

Publication number
WO2023047934A1
WO2023047934A1 PCT/JP2022/033333 JP2022033333W WO2023047934A1 WO 2023047934 A1 WO2023047934 A1 WO 2023047934A1 JP 2022033333 W JP2022033333 W JP 2022033333W WO 2023047934 A1 WO2023047934 A1 WO 2023047934A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
mask
result
scan
bit
Prior art date
Application number
PCT/JP2022/033333
Other languages
English (en)
French (fr)
Inventor
明男 三水
Original Assignee
明男 三水
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 明男 三水 filed Critical 明男 三水
Publication of WO2023047934A1 publication Critical patent/WO2023047934A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/21—Design, administration or maintenance of databases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/06—Arrangements for sorting, selecting, merging, or comparing data on individual record carriers
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/22—Arrangements for sorting or merging computer data on continuous record carriers, e.g. tape, drum, disc
    • G06F7/24—Sorting, i.e. extracting data from one or more carriers, rearranging the data in numerical or other ordered sequence, and rerecording the sorted data on the original carrier or on a different carrier or set of carriers sorting methods in general

Definitions

  • the present invention relates to a data processing device, a data processing method, and a program.
  • Patent Documents 1 and 2 and Non-Patent Documents 1 and 2 are known.
  • Japanese Patent Application Laid-Open No. 2002-200000 describes a memory capable of reading and writing information, which has a memory cell structure of M word addresses with a word bit width of N, and a word bit width of N that is repeatedly selected and designated from M word addresses.
  • CAM content addressable memory
  • Patent Document 2 also describes a memory-type processor having a structure similar to that of Patent Document 1. Note that the memory-type processors disclosed in Patent Documents 1 and 2 are sometimes called database processors (DBPs).
  • DBPs database processors
  • Non-Patent Documents 1 and 2 describe a technology called BitWeaving that enables parallel processing at the bit level in order to achieve high-speed scanning in the main memory.
  • DBP and BitWeaving which are related technologies such as those described above, can speed up search processing by processing memory data in parallel in units of bits.
  • the related technology mainly targets search processing as data processing, and does not consider other data processing such as grouping processing. Therefore, depending on the content of data processing, it may be difficult to perform processing efficiently.
  • the present invention has been made in view of such circumstances, and aims to provide a data processing device, a data processing method, and a program capable of efficiently performing data processing.
  • a data processing apparatus includes an acquisition unit that acquires scan data including bit data at the same bit position in a plurality of N-bit input data in order of bit positions, and mask data using the acquired scan data.
  • bit scan processing including mask processing for applying a mask and update processing of the mask data according to the result of the mask processing is performed, and from the scan data at the first bit position to the scan data at the Nth bit position; It comprises a scandown unit that performs scandown processing that repeats bit scan processing, and an output unit that sequentially outputs the input data of the same value obtained for each scandown process in sorted order.
  • a data processing method is a method for processing data by a data processing device, in which scan data including bit data at the same bit positions in a plurality of N-bit input data are acquired in order of bit positions, and bit scan processing including mask processing for masking the mask data using the scan data obtained from the first bit position and update processing for the mask data according to the result of the mask processing, and performing bit scan processing from the scan data at the first bit position to the A scan-down process is performed by repeating the bit scan process up to the scan data of the N-th bit position, and the input data of the same value obtained for each scan-down process are sequentially output in the order of sorting.
  • a program acquires scan data including bit data at the same bit position in a plurality of N-bit input data in order of bit position, and uses the acquired scan data to mask mask data. and update processing of the mask data according to the result of the mask processing, and repeat the bit scan processing from the scan data of the first bit position to the scan data of the Nth bit position.
  • FIG. 1 is a configuration diagram showing a configuration example of a data processing device according to Embodiment 1;
  • FIG. 3 is a diagram showing an example of a memory cell structure of a storage unit according to Embodiment 1;
  • FIG. 4 is a flow chart showing an example of a data processing method according to Embodiment 1;
  • 4 is a flowchart showing another example of the data processing method according to Embodiment 1;
  • 4 is a diagram showing an operation example of data processing according to Embodiment 1;
  • FIG. 4 is a diagram showing an operation example of data processing according to Embodiment 1;
  • FIG. 4 is a flowchart showing another example of the data processing method according to Embodiment 1;
  • 4 is a diagram showing an operation example of data processing according to Embodiment 1;
  • FIG. 1 is a configuration diagram showing a configuration example of a data processing device according to Embodiment 1;
  • FIG. 3 is a diagram showing an example of a memory cell structure of
  • FIG. 4 is a diagram showing an operation example of data processing according to Embodiment 1;
  • FIG. 2 is a configuration diagram showing a configuration example of a data processing device according to a second embodiment;
  • FIG. 10 is a diagram showing an operation example of data processing according to the second embodiment;
  • FIG. 10 is a diagram showing an operation example of data processing according to the second embodiment;
  • FIG. 11 is a configuration diagram showing a configuration example of a data processing device according to Embodiment 3;
  • 10 is a flow chart showing an example of a data processing method according to Embodiment 3;
  • FIG. 13 is a diagram showing an operation example of data processing according to Embodiment 3; 10 is a flow chart showing an example of a data processing method according to a modification of Embodiment 3;
  • FIG. 14 is a diagram showing an operation example of data processing according to a modification of the third embodiment;
  • FIG. 14 is a diagram showing an operation example of data processing according to a modification of the third embodiment;
  • FIG. 13 is a diagram showing another operation example of data processing according to a modification of the third embodiment;
  • FIG. 13 is a diagram showing another operation example of data processing according to a modification of the third embodiment;
  • FIG. 11 is a configuration diagram showing a configuration example of a data processing device according to Embodiment 4;
  • FIG. 14 is a diagram showing an operation example of data processing according to Embodiment 4;
  • FIG. 14 is a diagram showing an operation example of data processing according to Embodiment 4;
  • FIG. 12 is a configuration diagram showing a configuration example of a data processing device according to Embodiment 5;
  • FIG. 13 is a diagram showing an operation example of data processing according to Embodiment 5;
  • FIG. 13 is a diagram showing an operation example of data processing according to Embodiment 5;
  • FIG. 12 is a configuration diagram showing a configuration example of a data processing device according to Embodiment 6;
  • 13 is a flow chart showing an example of a data processing method according to Embodiment 6;
  • FIG. 12 is a diagram showing an operation example of data processing according to Embodiment 6;
  • FIG. 12 is a diagram showing an operation example of data processing according to Embodiment 6;
  • FIG. 12 is a diagram showing an operation example of data processing according to Embodiment 6;
  • FIG. 21 is a diagram for explaining the effect of data processing according to Embodiment 6;
  • FIG. FIG. 21 is a diagram for explaining the effect of data processing according to Embodiment 6;
  • FIG. FIG. 12 is a configuration diagram showing a configuration example of a data processing device according to Embodiment 7; 14 is a flow chart showing an example of a data processing method according to Embodiment 7;
  • FIG. 22 is a diagram showing an operation example of data processing according to Embodiment 7;
  • FIG. 22 is a diagram showing another operation example of data processing according to the seventh embodiment;
  • FIG. 22 is a configuration diagram showing a configuration example of a data processing device according to an eighth embodiment;
  • FIG. 12 is a flow chart showing an example of a data processing method according to an eighth embodiment;
  • FIG. FIG. 22 is a diagram showing an operation example of data processing according to the eighth embodiment;
  • Database processing can be broadly divided into search processing for narrowing down target data from a large amount of data and aggregation processing for classifying the results.
  • indexes are used to perform the former at high speed, and processes such as hashing and SORT are combined to perform the latter at high speed.
  • Patent Literatures 1 and 2 and Non-Patent Literatures 1 and 2 do not show an aggregation operation for the search results.
  • GROUP BY Grouping
  • JOIN processing
  • JOIN processing
  • JOIN processing
  • JOIN sorting
  • SORT and hashing are used as methods for this aggregation as described above.
  • a nested loop JOIN that sequentially searches for a joint destination one by one is also performed as an application of search processing using an index.
  • the data is once sorted by the grouping key, and the result is grouped in the same value range.
  • a hash value is first obtained for the grouping key, and data is distributed to blocks according to the hash value.
  • the same hash value may be generated for different keys (collision of hash values)
  • data with different grouping keys are included in the same hash block, separate them further. Disperse into blocks. By doing this, data with the same grouping key can be collected in the end block.
  • data is processed one by one in units such as words, which are the basic processing units of computers.
  • aggregation processing grouping processing
  • a plurality of pieces of data are processed simultaneously, and aggregation data (grouping data) are sequentially extracted.
  • a processing method different from that of the related technology is adopted, it is possible to obtain processing characteristics different from those of the related technology. For example, by selectively using a field in which the related technology is strong and a field in which the embodiments of the present invention are strong, depending on the content of the processing, it is possible to make use of the advantages of both, and to greatly improve the efficiency of the processing.
  • Embodiment 1 Next, Embodiment 1 will be described.
  • basic grouping sort processing by scandown including bit scan will be described.
  • FIG. 1 shows a configuration example of a data processing apparatus according to this embodiment.
  • the data processing apparatus 100 performs grouping sort processing on input data.
  • the result of grouping is to obtain data in which the same items are aggregated, and the order is not specified.
  • grouping and sorting are performed simultaneously, and the result of sorting includes grouping data. Therefore, the grouping in this case is called "grouping sort" in the following description.
  • the data processing apparatus 100 includes a storage section 110 , an acquisition section 120 , a mask holding section 130 , a scandown section 140 and an output section 150 .
  • the configuration in FIG. 1 is an example, and other configurations may be used as long as the data processing according to the present embodiment is possible.
  • the data processing device 100 may be a single device or a plurality of devices.
  • the storage unit 110 stores a plurality of input data to be input.
  • the input data is data to be processed by the data processing device 100 .
  • the storage unit 110 is a memory having a predetermined memory cell structure according to the bit width of input data and the number of records of input data.
  • the storage unit 110 may be a memory having a memory cell structure similar to the DBP as in Patent Documents 1 and 2, a memory having another structure, or any other storage means without being limited to a memory.
  • FIG. 2 shows an example of the memory cell structure of the storage unit 110. As shown in FIG. For example, when one record (one word) of input data is N (integer of N>0) bits and input data of M (integer of M>0) records is input, as shown in FIG.
  • the unit 110 has a memory cell structure of M rows ⁇ N columns, and each input data is stored in each row.
  • the acquisition unit 120 selects and acquires scan data to be processed by the scandown unit 140 from a plurality of input data stored in the storage unit 110 in bit string order (bit position order).
  • Scan data is data including bit data at the same bit position in a plurality of input data.
  • the acquiring unit 120 selects bit data at the same bit position in each record in N bit data of M records in units of bit strings, and sorts the selected M pieces of bit data in record order (input order). ) to get the scan data. That is, when N-bit data of M records is input, N pieces of M-bit scan data are acquired.
  • the acquisition unit 120 acquires scan data in the data search direction (scan down direction) from the first bit string to the N-th bit string in the order of the bit strings for the N-bit data of the M records.
  • the data search direction is the direction according to the processing order in which the scandown processing is performed by the scandown unit 140, and is the direction from the MSB (Most Significant Bit) to the LSB (Least Significant Bit). to the MSB, or a special order according to the contents of the processing.
  • the mask holding unit 130 holds (stores) a master mask that the scandown unit 140 uses in scandown processing.
  • the master mask is data for specifying sort targets (records) to be subjected to scandown processing from a plurality of input data.
  • the master mask is updated by the result of the scandown processing performed by the scandown unit 140, and is used to take over valid data to the next processing.
  • the master mask indicates target data by bit positions of ON bits (valid bits). When sorting all data (records), all bits of the master mask are turned ON. Also, when only a specific record is to be processed, the processing target can be freely set by setting only the bit at the corresponding record position to ON.
  • the scandown unit 140 performs scandown processing including bit scan processing on the scan data acquired by the acquisition unit 120 .
  • the scan down unit 140 is also a bit scan unit that performs bit scan processing on each scan data, and performs scan down processing that repeats bit scan processing from scan data at the first bit position to scan data at the Nth bit position. .
  • the bit scan processing includes mask processing for masking mask data using scan data and update processing of the mask data according to the result of the mask processing.
  • the scandown unit 140 may include a mask processing unit that performs mask processing and a mask data update processing unit that updates mask data.
  • the scan-down unit 140 applies a mask (ANDNot) to the mask data using the inverted data of the scan data when sorting the input data in ascending order, and performs masking (ANDNot) on the mask data when sorting the input data in descending order. is used as it is and a mask (AND: logical product) is applied.
  • the scan-down unit 140 starts scan-down processing (one-round bit scan processing) on the N pieces of scan data using the master mask held in the mask holding unit 130 as the initial value of the mask data used for mask processing.
  • the scan-down process includes a bit scan process that is repeated from the scan data of the first bit string (eg, MSB) to the scan data of the Nth bit string (eg, LSB) until all the data has been sorted (scanned). Repeat the scandown process.
  • the scandown unit 140 updates the master mask according to the result of the scandown process each time the scandown process for N scan data ends. For example, in updating the master mask, the master mask is updated based on the AND operation result of the current master mask and the inverted data (NOT) of the result of the scandown process.
  • the master mask updated in this manner is sorted by the next scandown process. That is, by updating the master mask, the data (records) to be processed in the next scandown process are narrowed down by excluding the data output as the scan process result (retrieved as the same value). When all the data are output as the result of the scanning process, that is, when the updated master mask is 0, the scanning of all the data is completed and the scandown process ends.
  • the output unit 150 outputs the result of the scandown processing by the scandown unit 140 as a predetermined data processing result.
  • the result of sorting equivalent data in ascending or descending order obtained by scandown processing is output as the result of grouping sort processing of input data (grouping sort data). That is, in the scandown process, data (records) of the same value can be searched simultaneously, so that the data groups of the same value that are searched at the same time are grouped and output as the same group as the result of sorting.
  • the output unit 150 sequentially outputs the same input data obtained in each scandown process in the order of sorting.
  • the output unit 150 can output the grouping result for each group each time the scan down process for N pieces of scan data is completed.
  • FIG. 3 shows an example of a flowchart of a data processing method according to this embodiment.
  • FIG. 3 shows an example of performing basic grouping and sorting by scandown in ascending order.
  • the following processing is mainly executed by the scandown unit 140, and the result output processing is executed by the output unit 150, but the present invention is not limited to this.
  • the data processing apparatus 100 sets the master mask (Mask) to the variable A and sets the MSB position to the variable P as an initial setting for the scandown process (S101).
  • the initial value of the master mask is all bits ON.
  • the variable A is mask data for narrowing down the data by updating the mask according to the scan data to be processed.
  • a variable P indicates a bit string of scan data to be acquired (processed), and specifies scan data to be processed from N scan data.
  • a variable B is a mask processing result obtained by masking the mask data with the scan data.
  • the data processing device 100 determines whether or not the variable B, which is the mask processing result, is 0, that is, whether or not all bits of the variable B are OFF (S103).
  • the variable B indicates that there is no data remaining as a result of narrowing down as a result of mask processing using the scan data of the P bit string. Therefore, when the variable B becomes 0, the narrowing down is regarded as failure, and the variable A, which is the mask data indicating the narrowing down result, is not updated.
  • the variable B is other than 0 in S103, that is, if any bit of the variable B is ON, it indicates that the narrowing down was successful. is updated by the variable B (S104).
  • the data processing device 100 determines whether or not the variable P, which is the bit string being processed, is LSB, that is, whether or not scanning (scandown processing) of all bits has ended (S105).
  • variable P is other than the LSB in S105, that is, if scanning of all bits has not been completed, the data processing apparatus 100 moves the variable P by one (1 bit) to the LSB side for the next scan. (S106) After S102, the bit scan process is repeated for the next bit string.
  • variable P is LSB in S105, that is, when scanning of all bits is completed
  • variable A which is the mask data (result of mask processing other than 0) updated in S104 is output (S107).
  • the position where the bit is ON indicates the record position of the minimum value in the target data specified by the master mask, and in the present embodiment, this is output as the same value data grouping result.
  • the data processing device 100 ANDs the master mask and the inverted data (NOT) of the variable A, which is the mask data, and updates the master mask according to the result (S108).
  • NOT inverted data
  • the data processing apparatus 100 determines whether or not the updated master mask is 0, that is, whether or not all data processing (sorting processing) has ended (S109).
  • the scan down process is repeated in S101 and subsequent steps. If the master mask is 0 in S109, that is, if all data processing is finished, the process is finished.
  • FIG. 4 shows another example of the flowchart of the data processing method according to this embodiment.
  • FIG. 4 shows an example of early detection of processing results in the basic grouping sort processing by scandown shown in FIG.
  • the mask processing result has only one ON bit
  • the target record is narrowed down to one at this point, and the processing result is obtained. Therefore, by detecting a mask processing result in which only one bit is ON as shown in FIG. 4, the processing result can be obtained without scanning up to the last bit (LSB), and the processing steps can be reduced.
  • FIGS. 5A and 5B show an operation example of data processing according to this embodiment.
  • FIGS. 5A and 5B are examples of performing the basic grouping sorting process by scandown in ascending order as shown in FIG.
  • data of 6 records with record numbers (RecNo) 0 to 5 are input.
  • the data value of record number 0 is 9, the data value of record number 1 is 6, the data value of record number 2 is 3, the data value of record number 3 is 6, the data value of record number 4 is 9, and the data of record number 5 has a value of 6.
  • Each data is 4-bit data, and the bit string (bit position) of each data is [0] to [3] (LSB to MSB).
  • Scan data and mask data are 6 bits, which is the number of records.
  • the first scan down process is performed on the four scan data.
  • the initial value of the master mask is "111111" (S201), and all data (record numbers 0 to 5) are sorted.
  • bit scan process is performed using the scan data of bit string [3] (MSB). Specifically, by using the master mask "111111” as mask data and masking "011101" which is the result of performing NOT operation on the scan data "100010” of bit string [3], the mask result becomes "011101” ( S202).
  • bit scan processing is performed using the scan data of bit string [2]. Specifically, using the mask result “011101” of bit string [3] as mask data, the result “101010” of performing NOT operation on the scan data “010101” of bit string [2] is masked, and the mask result becomes “001000”. (S203).
  • bit scan processing is performed using the scan data of bit string [1]. Specifically, using the mask result “001000” of bit string [2] as mask data, the result “100010” of performing NOT operation on the scan data “011101” of bit string [1] is masked, and the mask result is all 0 (“000000” ) (S204). In this way, when the mask result is all 0, as determined in S103 of the flowchart, the mask result is not updated, and the mask result of the bit string [2], which is the immediately preceding valid mask, is ". 001000" is taken over as a mask for the next process.
  • bit scan processing is performed using the scan data of bit string [0] (LSB).
  • the mask result of bit position [1] was 0, so the mask result "001000” of inherited bit string [2] is used as mask data, and the scan data "101010” of bit string [0] is NOT operated.
  • the result "010101” is masked, and the mask result is all 0 (S205).
  • the mask result is not updated, and "001000", which is the mask result of the previous valid mask bit string [2], is used as the mask for the next process. take over.
  • the master mask is updated according to the results of the first scandown process. Specifically, the current master mask "111111” is masked with "110111", which is a value obtained by NOT-operating the result of the first scandown process, and the mask result "110111” is used in the next second scan. A new master mask for down is used (S207). This calculation is the same as the result of XORing the current master mask "111111” and the first scandown processing result "001000", as indicated by S108 in the flowchart of FIG.
  • the new master mask "110111” is used (S211), data of record numbers 0, 1, 3, 4, and 5 are sorted, and four scan data are used for bit scan processing. I do.
  • the mask result is "010101" (S212), and bit scan processing is performed using the scan data of bit string [2].
  • the mask result becomes all 0 (S213), and when bit scan processing is performed using the scan data of bit string [1], the mask result becomes all 0 (S214), and the scan data of bit string [0] is used for bit scan.
  • the mask result becomes "010101" (S215).
  • the result of the second scandown process is the mask result "010101" of the bit string [0] (S216). That is, the data corresponding to the record numbers 1, 3, and 5 of the ON bit of "010101” are output as the second smallest data (second grouping result). Also, the current master mask "110111” and the result "101010” obtained by performing NOT operation on the second scandown processing result are masked, and the new master mask for the next third scandown is set to "100010" (S217). ).
  • the new master mask "100010” is used (S221), data of record numbers 0 and 4 are sorted, and bit scan processing is performed using four scan data.
  • the mask result is all 0 (S222), and bit scan processing is performed using the scan data of bit string [2].
  • the mask result becomes "100010” (S223), and when bit scan processing is performed using the scan data of bit string [1], the mask result becomes "100010" (S224).
  • the mask result becomes all 0 (S225).
  • the second time when the result of the bit scan is all 0, the mask is not updated, and the immediately preceding effective mask is inherited, and then the next bit scan process is performed.
  • the result of the third scandown process is that the mask result "100010" of the bit string [1] is inherited because the mask result of the bit string [0] is 0 (S226). That is, data corresponding to record numbers 0 and 4 of the ON bit of "100010” is output as the third smallest data (third grouping result). Also, masking the current master mask "100010” and the result "011101" of the result of the third scandown processing by NOT operation results in "000000", and since all bits are OFF, the process ends (S227). .
  • the corresponding bits of records (data) with the same value are turned ON at the same time, so the results of the scandown process are output as grouping results of the same value.
  • the count value of the records belonging to the group may be obtained (output). You can also use the grouping results to find the total by adding specific elements (data values) of those corresponding records, or you can find the average by dividing the total by the number of records belonging to the group. good. Furthermore, a deduplication result (a set of unique values) may be obtained by extracting only one data from each grouping result.
  • FIG. 6 shows another example of a flowchart of the data processing method according to this embodiment.
  • FIG. 6 shows an example of performing basic grouping and sorting by scandown in descending order.
  • the process of S102a is different from the ascending order flowchart of FIG. That is, in S102a, the variable A, which is the mask data, and the scan data of the P bit string are AND-operated as they are, and the result of the AND operation is set to the variable B in order to sort in descending order as mask processing.
  • FIGS. 7A and 7B show another operation example of data processing according to this embodiment.
  • FIGS. 7A and 7B are examples of performing the basic grouping sorting process by scandown in descending order as shown in FIG.
  • FIGS. 7A and 7B the same data as in FIGS. 5A and 5B are input.
  • the first scan down is performed using the master mask "111111” (S301).
  • the scan data "100010” of [3] is masked, and the mask result is "100010” (S302).
  • the mask result "100010” of bit string [3] is used as mask data.
  • the scan data “010101” of bit string [2] is masked, and the mask result is all 0 (“000000”) (S303).
  • the mask result is not updated, and "100010", which is the mask result of the bit string [3], which is the effective mask immediately before, is taken over as the mask for the next process.
  • the inherited mask result "100010” is used as mask data, and the scan data "011101" at bit position [1] is masked, and the mask result becomes all 0 (S304). Since the mask result is all 0 here as well, the mask result "100010” of bit string [3] is inherited as mask data, and the scan data "101010” of bit string [0] is masked, resulting in a mask result of "100010” ( S305).
  • the result of the first scandown process is the mask result "100010" for the bit string [0] (S306). That is, the data corresponding to the record numbers 0 and 4 of the ON bit of "100010” are output as the maximum value data (first grouping result). Also, by masking the current master mask "111111” and the result "011101” obtained by performing the NOT operation on the first scandown processing result, the new master mask for the next second scandown is set to "011101". (S307).
  • the new master mask "011101” is used (S311), the data of record numbers 1, 2, 3, and 5 are sorted, and bit scan processing is performed in the same manner as in the first scandown process. conduct.
  • the mask result of the scan data of bit string [3] is all 0 (S312)
  • the mask result of the scan data of bit string [2] is "010101"
  • the mask result of the scan data of bit string [1] is "010101”. ” (S314)
  • the result of masking the scan data of bit string [0] is all 0 (S315).
  • the bit scan result is all 0, the mask is not updated, and the immediately preceding valid mask is inherited before the next bit scan process.
  • the result of the second scandown process is "010101" for the bit string [1] because the mask result for the bit string [0] is 0 (S316). That is, ON-bit record numbers 1, 3, and 5 of "010101" are output as the second largest data (second grouping result). Also, by masking the current master mask "011101” and the result "101010” obtained by performing the NOT operation on the second scandown processing result, the new master mask for the next third scandown is set to "001000" ( S317).
  • the new master mask "001000” is used (S321), and the data of record number 2 is sorted, and the bit scan process is performed in the same manner as in the first scandown process.
  • the mask result of the scan data of bit string [3] is all 0 (S322)
  • the mask result of the scan data of bit string [2] is all 0 (S323)
  • the mask result of the scan data of bit string [1] is "001000”.
  • S324 and the result of masking the scan data of bit string [0] is "001000" (S325).
  • the bit scan result is all 0, the mask is not updated, and the immediately preceding effective mask is inherited before the next bit scan process.
  • a master mask is used to indicate the data to be processed by the position of the ON bit. From MSB to LSB, an AND operation is performed for sorting in descending order, and an ANDNot operation is performed for sorting in ascending order. Then, if the mask data becomes 0 in the middle of this calculation, the calculation result of that time is simply discarded and the mask data before the calculation is taken over.
  • This can significantly reduce the number of processing steps compared to related techniques such as Patent Documents 1 and 2 and Non-Patent Documents 1 and 2.
  • the related technology does not include a description of the grouping process, so it cannot be applied to the grouping process as in the present embodiment.
  • bit size in the horizontal direction (1 word) of the data stored in the memory in this embodiment is a general It can be 8-bit, 16-bit, 32-bit, or 64-bit Int data. It can also be 256 bits or 512 bits that can be used with SIMD (Single Instruction/Multiple Data) instructions called AVX, or 128 bits that can be used with SIMD called Neon for Arm (registered trademark). is. Further, when using the DBPs of Patent Documents 1 and 2, processing can be performed using a larger bit width.
  • GPGPU General-purpose computing on graphics processing units
  • GPGPU General-purpose computing on graphics processing units
  • the grouping results are sequentially output in a sorted state, so the grouping results of the lower nodes are simply combined by a simple merge process at the upper consolidation node, and the overall grouping results are also output sequentially. can be done.
  • Embodiment 2 Next, Embodiment 2 will be described. In the present embodiment, an example of suspending and resuming data processing in the data processing apparatus of the first embodiment will be described.
  • FIG. 8 shows a configuration example of a data processing device according to this embodiment.
  • the data processing apparatus 100 includes a mask saving unit 131 in addition to the configuration of the first embodiment.
  • the mask saving unit 131 saves the master mask in the mask holding unit 130 when the scandown process is interrupted. For example, when an arbitrary number (designated number) of data is obtained as a result of the scandown process, the master mask may be saved, the process may be interrupted, and the result may be output. Also, when restarting the scan-down process, the master mask saved in the mask saving unit 131 is restored to the mask holding unit 130, and the recovered master mask is used to perform the scan-down process.
  • 9A and 9B show an operation example of data processing according to this embodiment.
  • 9A and 9B show an example of interrupting the basic grouping sorting process by scandown in ascending order as in the first embodiment, and then resuming the process.
  • data is simply sorted is shown here, it is not limited to this, and can be grouped and sorted in the same manner as in the first embodiment.
  • the mask is not updated, and the immediately preceding effective mask is inherited, and the next bit scan process is performed. This processing will be described as being included in the processing.
  • data of four records with record numbers 0 to 3 are input.
  • the data value of record number 0 is 0, the data value of record number 1 is 5, the data value of record number 2 is 10, and the data value of record number 3 is 3.
  • Each data is 4-bit data of bit strings [0] to [3], and scan data and mask data are also 4-bit data.
  • the first scan down is performed using the master mask "1111" (S401).
  • the mask result of the scan data of bit string [3] is "1101" (S402)
  • the mask result of the scan data of bit string [2] is "1001” (S403)
  • the mask result of the scan data of bit string [1] is " 1000" (S404)
  • the mask result of the scan data of bit string [0] becomes "1000" (S405).
  • the result of the first scandown process is the mask result "1000" for the bit string [0] (S406). That is, record number 0 of the ON bit of "1000” is output as the minimum value data. Also, by masking using the current master mask "1111” and the result "0111” obtained by performing a NOT operation on the result of the first scandown processing, the new master mask for the next second scandown is set to "0111". (S407).
  • the new master mask "0111” is used (S411), and the data of record numbers 1, 2, and 3 are sorted, and the bit scan process is performed in the same manner as in the first scandown process. I do.
  • the mask result of the scan data of bit string [3] is "0101" (S412)
  • the mask result of the scan data of bit string [2] is "0001" (S413)
  • the mask result of the scan data of bit string [1] is all. 0 (“0000”) (S414)
  • the result of masking the scan data of bit string [0] is all 0 (S415).
  • the mask result of bit string [2] is "0001" (S416). That is, the on-bit record number 3 of "0001" is output as the second smallest data.
  • the new master mask for the next third scandown is set to "0110" by masking the current master mask "0111” and the result "1110” obtained by performing the NOT operation on the result of the second scandown (S417). ).
  • the master mask "0110” at this time is saved in the mask saving unit 131 (S418).
  • the master mask "0110” is recovered from the mask saving unit 131 (S420).
  • the third scandown process using the restored master mask "0110" (S421), data of record numbers 1 and 2 are sorted, and bit scan processing is performed in the same manner as in the first scandown process. conduct.
  • the mask result of the scan data of bit string [3] is "0100" (S422)
  • the mask result of the scan data of bit string [2] is all 0 (S423)
  • the mask result of the scan data of bit string [1] is "0100”. ” (S424)
  • the result of masking the scan data of bit string [0] is all 0 (S425).
  • the result of the third scan down process is the mask result "0100" for bit position [1] because the mask result for bit string [0] is 0 (S426). That is, the ON bit record number 1 of "0100” is output as the third smallest data.
  • the new master mask for the next fourth scandown is set to "0010” by masking the current master mask "0110” and the result "1011” obtained by performing NOT operation on the result of the third scandown (S427). ).
  • the new master mask "0010” is used (S431), and the data of record number 2 is sorted, and the bit scan process is performed in the same manner as in the first scandown process.
  • the mask result of the scan data of bit string [3] is all 0 (S432)
  • the mask result of the scan data of bit string [2] is "0010" (S433)
  • the mask result of the scan data of bit string [1] is all 0. (S434)
  • the result of masking the scan data of bit string [0] is "0010" (S435).
  • the result of the fourth scandown process is the bit string [0] mask result "0010” (S436). That is, the ON bit record number 2 of "0010” is output as the fourth smallest data. Also, the mask result of the current master mask "0010” and the result "1101” obtained by performing the NOT operation on the result of the fourth scandown process is "0000", and all the bits are OFF, so the process ends (S437).
  • the grouping sort result is obtained as a continuation (incremental) from the state before the interruption, and restart the process from the interruption position.
  • Grouping sort results are always output in ascending or descending order from the top, so it is possible to retrieve only the first 10 or 100 items of data, in which case the processing cost is proportional to the number of items retrieved. do. Since the master mask has a function of narrowing down the processing target, the master mask may be set (only the bit of the target record is ON) based on the result of some preliminary narrowing processing.
  • Embodiment 3 Next, Embodiment 3 will be described.
  • an example of performing positional grouping processing by narrowing down data to be processed before starting bit scan processing in the data processing apparatuses of the first and second embodiments will be described.
  • FIG. 10 shows a configuration example of a data processing device according to this embodiment.
  • the data processing apparatus 100 according to the present embodiment includes a narrowing section 132 in addition to the configuration of the first embodiment.
  • the narrowing-down unit 132 narrows down the data to be subjected to the grouping-sorting process to a predetermined range before performing the grouping-sorting process.
  • the narrowing-down unit 132 narrows down data to be sorted from the input data, and updates the master mask in the mask holding unit 130 according to the narrowing-down result.
  • the narrowing unit 132 extracts data in a predetermined range from the input data by performing bit scan processing (that is, scan down processing) on the N pieces of scan data in bit string order.
  • FIG. 11 shows a flowchart of a data processing method according to this embodiment.
  • FIG. 11 is an example of positional grouping processing in ascending order, in which the data is narrowed down to data larger than the narrowing-down start data (greater than search), and the narrowed-down data is grouped and sorted.
  • the following processing is mainly executed by the narrowing down unit 132, but is not limited to this.
  • the data processing device 100 first initializes the start mask (Start_mask) to 0 and sets the MSB position to the variable P as the initial setting of the narrowing process (S501).
  • the start mask is mask data for setting the start position of the grouping sort processing based on the result of narrowing down.
  • a variable P indicates a bit string of scan data to be obtained, as in the first embodiment.
  • the narrowing start data is a reference value for narrowing down data within a predetermined range, and indicates the minimum value of data to be extracted (searched) in the case of sorting in ascending order, and indicates the maximum value of data to be extracted in the case of sorting in descending order.
  • the data processing device 100 sets the master mask (Mask) to the temporary variable (Tmp), and combines the NOT operation result of the scan data of the P bit string with the master mask.
  • the master mask is updated with the result of the AND operation, the temporary variable and the master mask are then XORed, and the result of the XOR operation and the start mask are ORed (logical sum) to update the start mask (S503).
  • the data processing apparatus 100 updates the master mask with the result of the AND operation of the scan data of the P bit string and the master mask (S504).
  • the data processing device 100 determines whether or not the variable P, which is the bit string being processed, is LSB, that is, whether or not all bits have been scanned (S505). If the variable P is not LSB in S505, that is, if scanning of all bits has not been completed, the data processing apparatus 100 moves the variable P by one to the LSB side for the next scan (S506), After S502, bit scan processing (narrowing down processing) is repeated for the next bit string. Further, when the variable P is LSB in S505, that is, when scanning of all bits is completed, the data processing apparatus 100 masters the start mask as the search result of data larger than the narrowing start data (larger search result). Set to mask (S507).
  • search result is equal to or greater than the narrowing-down start data (search result greater than)
  • search result greater than the result of the OR operation of the obtained start mask and the current master mask is set as the master mask.
  • the ascending grouping and sorting process shown in the first embodiment is performed (S508).
  • FIG. 12 shows an operation example of data processing according to this embodiment.
  • FIG. 12 is an example of narrowing down processing for ascending positional grouping sort processing, and is an example of greater-than search for retrieving data larger than a comparison value.
  • the comparison value (narrowing down start data) for the greater-than search is 5, and data of 4 records with record numbers 0 to 3 are input.
  • the data value of record number 0 is 3, the data value of record number 1 is 7, the data value of record number 2 is 5, and the data value of record number 3 is 15.
  • Each data is 4-bit data of bit strings [0] to [3], and scan data and mask data are 4-bit data.
  • the initial value of the master mask is “1111” (S601)
  • the initial value of the start mask is “0000” (S602).
  • bit scan processing and start mask update processing are performed on the scan data of bit string [3]. Specifically, using the master mask "1111” as mask data, the result “1110” of performing NOT operation on the scan data "0001” of bit string [3] is masked, and the mask result becomes "1110” (S603). Further, the mask data "1111” and the mask result "1110” are XORed, the XOR result "0001” and the start mask "0000” are ORed, and the start mask is set to "0001” (S604).
  • bit string [2] of the comparison value is 1, bit scan processing is performed on the scan data of bit string [2]. Specifically, the mask result "1110" of bit string [3] is used as mask data, and the scan data "0111” of bit string [2] is masked, resulting in a mask result of "0110" (S605).
  • bit scan processing and start mask update processing are performed on the scan data of bit string [1]. Specifically, using the mask result “0110” of bit string [2] as mask data, the result “0010” of performing NOT operation on the scan data “1101” of bit string [1] is masked, and the mask result becomes “0010”. (S606). Further, the mask data "0110” and the mask result "0010” are XORed, the XOR result "0100" and the start mask "0001” are ORed, and the start mask is set to "0101" (S607).
  • bit scan processing is performed on the scan data of bit string [0]. Specifically, using the mask result “0010” of bit string [1] as mask data, the scan data “1111” of bit string [0] is masked, and the mask result becomes “0010” (S608).
  • the mask result "0010" of the bit string [0] becomes the result of the equivalence search (S609). That is, record number 2 of the ON bit of "0010” becomes data with the same value as comparison value 5.
  • the start mask "0101" updated with the bit string [1] is the result of the greater-than search (S610). That is, the record numbers 1 and 3 of the ON bit of "0101" are data larger than the comparison value 5.
  • FIG. Further, in the case of obtaining a search result of greater-than-equal, the result of the same value "0010" and the start mask "0101" are OR-operated to obtain "0111", which becomes the search result of greater-than-equal.
  • a start mask (GreaterMask) is prepared, and in this start mask, a logical sum (OR) is performed on portions where the data bit of the search destination is ON for the bit string in which the bit of the comparison value is OFF.
  • a greater-than search result that searches for data greater than a value is obtained.
  • the start mask obtained by this search processing is used as the mask data at the start of grouping sort (ascending order).
  • the result of OR operation of the greater than retrieval result and the same value result is used as mask data.
  • the bit scan processing results in a mask result of 0, it may be determined that there is no unprocessed data, and the search processing may be terminated early.
  • FIG. 13 shows another example of the flowchart of the data processing method according to this embodiment.
  • FIG. 13 shows an example of positional grouping processing in descending order, in which the data is narrowed down to data smaller than the narrowing-down start data (smaller-than search), and the narrowed-down data is grouped and sorted.
  • S502a, S503a, S504a, and S508a are different from the ascending order flowchart in FIG.
  • the data processing device 100 determines whether or not the bit of the P bit string of the narrowing start data is 1 (ON) (S502a). If the bit of the P bit string of the narrowing start data is 1 in S502a, the data processing device 100 sets the master mask (Mask) to the temporary variable (Tmp), and then performs an AND operation on the scan data of the P bit string and the master mask. The master mask is updated according to the result obtained, the temporary variable and the master mask are XORed, and the result of the XOR operation and the start mask are ORed to update the start mask (S503a).
  • Mask master mask
  • Tmp temporary variable
  • the master mask is updated according to the result obtained, the temporary variable and the master mask are XORed, and the result of the XOR operation and the start mask are ORed to update the start mask (S503a).
  • the data processing device 100 updates the master mask with the result of ANDing the result of the NOT operation of the scan data of the P bit string and the master mask (S504a). Further, after the master mask is updated in S507, the descending grouping sort processing shown in the first embodiment is performed (S508a).
  • FIG. 14 shows another operation example of data processing according to this embodiment.
  • FIG. 14 is an example of narrowing down processing for positional grouping sort processing in descending order, and is an example of less than search for searching for data smaller than a comparison value.
  • the comparison value (narrowing-down start data) for less than search and the data to be input are the same as in FIG.
  • the initial value of the master mask is "1111” (S701)
  • the initial value of the start mask is "0000” (S702).
  • bit scan processing is performed on the scan data of bit string [3]. Specifically, using the master mask “1111” as mask data, the result “1110” of performing NOT operation on the scan data “0001” of bit string [3] is masked, and the mask result becomes “1110” (S703).
  • bit string [2] of the comparison value is 1, bit scan processing and start mask update processing are performed on the scan data of bit string [2]. Specifically, the mask result "1110” of bit string [3] is used as mask data, and the scan data "0111” of bit string [2] is masked, resulting in a mask result of "0110” (S704). Further, the mask data "1110” and the mask result "0110” are XORed, the XOR result "1000" and the start mask "0000” are ORed, and the start mask is set to "1000" (S705).
  • bit scan processing is performed on the scan data of bit string [1]. Specifically, using the mask result “0110” of bit string [2] as mask data, the result “0010” of performing NOT operation on the scan data “1101” of bit string [1] is masked, and the mask result becomes “0010”. (S706).
  • bit string [0] of the comparison value is 1, bit scan processing and start mask update processing are performed on the scan data of bit string [0]. Specifically, the mask result "0010" of bit string [1] is used as mask data, and the scan data "1111” of bit string [0] is masked, resulting in a mask result of "0010” (S707). Further, the mask data "0010” and the mask result "0010” are XORed, the XOR result "0000" and the start mask "1000” are ORed, and the start mask is set to "1000" (S708).
  • the mask result "0010" of the bit string [0] becomes the result of the equivalence search (S709). That is, record number 2 of the ON bit of "0010” becomes data with the same value as comparison value 5.
  • FIG. Also, the start mask "1000" updated with the bit string [0] is the result of the less than search (S710). That is, the record number 0 of the ON bit of "1000” is smaller than the comparison value 5.
  • the same result "0010" and the start mask "1000” are ORed to obtain "1010", which is the less than equal search result.
  • a start mask (LessMask) is prepared, and for bit strings in which the bit of the comparison value is ON, a logical sum (OR) is performed on the portions where the data bit of the search destination is OFF in the start mask.
  • the start mask obtained by this search processing is used as the mask data at the start of grouping sort (descending order).
  • the result of logical sum operation of the less than retrieval result and the same value result is used as mask data.
  • the mask result is 0 in the bit scan process, it may be determined that there is no unprocessed data, and the search process may be terminated early.
  • the narrowing process is performed using the narrowing start data at the start of the process, and the grouping sorting process is performed in conjunction with the processing result.
  • the narrowing down unit 132 may output the first grouping sort result at the same time as the narrowing down.
  • FIG. 15 is a flowchart of this modification, showing a modification of the ascending-order positional grouping process shown in FIG.
  • the data processing device 100 initializes the first mask (First_mask) to 0 in addition to initializing the start mask (Start_mask) and the variable P (S511).
  • the first mask indicates the first extracted data (grouping result) closest to the narrowing start data.
  • the data processing device 100 determines whether or not the bit of the P bit string of the narrowing start data is 0 (S512).
  • Mask update the master mask with the result of ANDing the result of the NOT operation of the scan data of the P bit string and the master mask, and then update the temporary variable with the result of XORing the temporary variable and the master mask. Update (S513).
  • the data processing device 100 determines whether the temporary variable is 0 (S514). If the temporary variable is other than 0 in S514, that is, if the bit scan newly extracts data that is larger than the narrowing start data and closer to the narrowing start data, the data processing device 100 first masks ( The initial grouping result) is set, and the start mask is updated by the result of OR (logical sum) operation of the temporary variable and the start mask (S515).
  • the data processing device 100 updates the master mask with the result of the AND operation of the scan data of the P bit string and the master mask (S516). After that, the data processing apparatus 100 sets the result of ANDing the result of the NOT operation of the P-bit string scan data and the first mask to the temporary variable, including the case where the temporary variable is 0 in S514 (S517). After that, the data processing device 100 determines whether or not the temporary variable is 0 (S518). If the temporary variable is other than 0 in S518, that is, if narrowing down to a small value performed by bit scanning in S517 is effective, the data processing device 100 sets the content of the temporary variable to the first mask, and first is updated (S519).
  • the data processing device 100 determines whether the variable P, which is the bit string being processed, is LSB, that is, whether or not scanning of all bits has been completed. (S520). If the variable P is other than the LSB in S520, that is, if scanning of all bits has not been completed, the data processing apparatus 100 moves the variable P by one to the LSB side for the next scan (S521), After S512, the bit scan processing (narrowing down processing) is repeated for the next bit string.
  • the data processing device 100 outputs the contents of the first mask as the first grouping result (S522). Subsequently, the data processing apparatus 100 sets the result of AND operation of the NOT operation result of the first mask and the start mask, which is the search result of data larger than the narrowing start data (larger search result), to the master mask (S523). . Thereafter, using this master mask, the subsequent grouping sorting process is performed using the ascending grouping sorting shown in the first embodiment (S524).
  • search result is equal to or greater than the narrowing-down start data (search result that is equal to or greater than)
  • ⁇ Operating example of greater-than search processing> 16A and 16B show an operation example of this modification, which is a modification of the operation example of the greater-than search processing in the ascending positional grouping sort shown in FIG.
  • the comparison value (narrowing down start data) for the greater-than search is 5, and data of 6 records with record numbers 0 to 5 are input.
  • the data value of record number 0 is 3, the data value of record number 1 is 7, the data value of record number 2 is 5, the data value of record number 3 is 15, the data value of record number 4 is 6, and the data of record number 5 has a value of 10.
  • Each data is 4-bit data of bit strings [0] to [3], and scan data and mask data are 6-bit data.
  • the initial value of the master mask is "111111” (S611)
  • the initial value of the first mask is "000000” (S612)
  • the start mask is "GreaterMask ) is "000000” (S613).
  • bit scan processing and update processing of the first mask and start mask are performed on the scan data of bit string [3].
  • the master mask "111111” as mask data
  • the result "111010” of performing NOT operation on the scan data "000101” of bit string [3] is masked, and the mask result becomes "111010” (S614).
  • the mask data "111111” and the mask result "111010” are XOR-operated to update the first mask with "000101". 000101′′ (S615).
  • bit string [2] of the comparison value is 1, bit scan processing and first mask update processing are performed on the scan data of bit string [2]. Specifically, the mask result “111010” of bit string [3] is used as mask data, and the scan data “011110” of bit string [2] is masked, resulting in a mask result of “011010” (S616). Furthermore, the first mask "000101" updated with the bit string [3] is ANDed with the result "100001” obtained by NOT-operating the scan data "011110” of the bit string [2], and the first mask is set to "000001" with the result. (S617).
  • bit scan processing and update processing of the first mask and start mask are performed on the scan data of bit string [1].
  • the mask result "011010” of bit string [2] is used as mask data, and the result "001000” of performing NOT operation on the scan data "110111” of bit string [1] is masked, and the mask result becomes "001000”. (S618).
  • the mask data "011010” and the mask result "001000” are XOR'd to update the first mask with "010010". It is set to "010111” (S619).
  • bit string [0] of the comparison value is 1, bit scan processing and first mask update processing are performed on the scan data of bit string [0]. Specifically, the mask result "001000" of bit string [1] is used as mask data, and the scan data "111100” of bit string [0] is masked, resulting in a mask result of "001000” (S620). Furthermore, the first mask “010010” updated with the bit string [1] is NOT-operated with the scan data "111100" of the bit string [0] and the result "000011” is ANDed, and the first mask is set to "000010" with the result. (S621).
  • the mask result "001000" of the bit string [0] becomes the result of the equivalence search (S622). That is, the record number 2 of the ON bit of "001000” becomes the same data as the comparison value 5.
  • the start mask "010111” updated with the bit string [1] is the result of the greater-than search (S623). That is, the record numbers 1, 3, 4, and 5 of the ON bit of "010111” are data greater than the comparison value 5.
  • the first mask "000010” set by the bit string [0] becomes the first positional grouping result (S624). That is, record number 4 of the ON bit of "000010” is positional grouping data closest to comparison value 5 in the greater-than search.
  • a first mask (FirstMask) is prepared in addition to a start mask (GreaterMask). is set, and at the same time, the first mask is logically summed with the start mask to obtain data that is larger than the comparison value and closer to the comparison value and the result of greater than search. After that, the first mask is scanned down toward the minimum value in the same way as the ascending grouping process, so that the first grouping result and the result of the greater-than search can be obtained simultaneously in one scandown process.
  • the first mask obtained by this process is used as the result of the first positional grouping, and subsequent grouping is performed by removing the first mask from the start mask as mask data at the start of basic grouping sort (ascending order).
  • the same value result is used as the first grouping result
  • the start mask is used as the mask data at the start of basic grouping sorting (ascending order).
  • 17A and 17B show another operation example of this modification, which is a modification of the operation example of the less-than search processing in the descending positional grouping sort shown in FIG.
  • the comparison value (narrowing-down start data) for the less than search and the data to be input are the same as in FIGS. 16A and 16B.
  • the initial value of the master mask is “111111” (S711)
  • the initial value of the first mask is “000000” (S712)
  • the start mask is “LessMask) ) is “000000” (S713).
  • bit scan processing and first mask update processing are performed on the scan data of bit string [3].
  • the master mask “111111” as mask data
  • the result “111010” of performing NOT operation on the scan data “000101” of bit string [3] is masked, and the mask result becomes “111010” (S714).
  • the initial value of the first mask "000000” is ANDed with the scan data "000101" of the bit string [3], and the result is all 0 ("000000"), so the first mask is not updated. (S715).
  • bit string [2] of the comparison value is 1, bit scan processing and update processing of the first mask and start mask are performed on the scan data of bit string [2]. Specifically, the mask result "111010” of bit string [3] is used as mask data, and the scan data "011110” of bit string [2] is masked, resulting in a mask result of "011010” (S716). Further, the mask data "111010” and the mask result "011010” are XOR'd to update the first mask with "100000". 100000" (S717).
  • bit string [1] of the comparison value is 0, bit scan processing and first mask update processing are performed on the scan data of bit string [1]. Specifically, the mask result "011010” of bit string [2] is used as mask data, and the result "001000” of performing NOT operation on the scan data "110111” of bit string [1] is masked, and the mask result becomes "001000”. (S718). Furthermore, the AND operation of the scan data "110111” of the bit string [1] is performed with the first mask "100000” updated by the bit string [2], and the result is set to "100000” as the first mask (S719).
  • bit string [0] of the comparison value is 1, bit scan processing and first mask update processing are performed on the scan data of bit string [0]. Specifically, the mask result "001000" of bit string [1] is used as mask data, and the scan data "111100” of bit string [0] is masked, resulting in a mask result of "001000” (S720). Furthermore, the XOR operation is performed on the mask data “001000” and the mask result “001000”, but the result is all 0 (“000000”). ] is AND-operated, and the first mask is set to "100000" (S721).
  • the mask result "001000" of the bit string [0] becomes the result of the equivalence search (S722). That is, the record number 2 of the ON bit of "001000” becomes the same data as the comparison value 5.
  • the start mask "100000” updated with the bit string [2] is the result of the less than search (S723). That is, the record number 0 of the ON bit of "100000” is smaller than the comparison value 5.
  • the first mask "100000” set by the bit string [0] is the first positional grouping result (S724). That is, the ON bit record number 0 of "100000” is the positional grouping data closest to the comparison value 5 in the less than search.
  • a first mask (FirstMask) is prepared in addition to a start mask (LessMask). and, at the same time, performing a logical sum (OR) of the first mask to the start mask, data smaller than the comparison value and closer to the comparison value and the result of less than search are obtained.
  • the first mask is scanned down toward the maximum value in the same manner as the descending grouping process, so that the first grouping result and the less than search result can be obtained simultaneously in one scandown process.
  • the first mask obtained by this process is used as the result of the first positional grouping, and subsequent grouping is performed using the mask result obtained by removing the first mask from the start mask as mask data at the start of basic grouping sort (descending order).
  • the same value result is used as the first grouping result
  • the start mask is used as mask data at the start of basic grouping sorting (descending order).
  • Embodiment 4 Next, Embodiment 4 will be described. In the present embodiment, an example will be described in which scan data is divided and the divided scan data are processed in parallel in the data processing apparatuses of the first to third embodiments.
  • FIG. 18 shows a configuration example of a data processing device according to this embodiment.
  • the data processing apparatus 100 includes, in addition to the configuration of the first embodiment, a division unit 121 and two scandown units 140a and 140b. there is
  • the dividing unit 121 divides the scan data acquired by the acquiring unit 120 into two divided scan data so that the scandown units 140a and 140b can process the data.
  • data may be divided for each processing unit (word unit) of the system.
  • the scan-down unit 140a performs scan-down processing on one of the divided scan data divided by the division unit 121.
  • the scan-down unit 140b performs scan-down processing on the other divided scan data divided by the dividing unit 121.
  • one scandown unit may execute two scandown processes in parallel. Note that the scan data may be divided into a plurality of divided scan data, and a plurality of processes may be executed in parallel for each divided scan data.
  • 19A and 19B show an operation example of data processing by the data processing method according to this embodiment.
  • 19A and 19B show an example of performing basic grouping sort processing in ascending order using divided scan data obtained by dividing scan data.
  • the scan down processing for each divided scan data is basically the same as in Embodiment 1, but only the processing for 0 determination of the mask result (S103 in FIG. 3) is different. That is, bit scan processing is performed for each divided scan data, and if the mask result of all divided scan data is 0, the mask result is invalidated, and the previously valid mask result is used for processing (see below). (See S814 and S815). Conversely, even if the mask result of a plurality of divided data is 0, if the mask result of any of the divided data is not 0 (if any of the mask results has an ON bit), that mask result is treated as valid. (see S804 and S805 below).
  • the scan data is 7 bits, and the data divided into two is called divided scan data.
  • the first divided scan data is 4 bits corresponding to the bits of records 0-3, and the second divided scan data is 4 bits obtained by adding 1 bit to the bits of records 4-6.
  • the mask data are 4-bit first mask data and 4-bit second mask data corresponding to the two divided scan data.
  • the initial value of the first master mask is "1111" with all bits ON, and the initial value of the second master mask is the least significant bit (record The bit corresponding to number 7) is OFF and the other bits are ON (S801).
  • the first mask data is set to “1111”
  • the first divided scan data "0010” is NOT-operated, and the result "1101” is used for masking.
  • the second mask data is set to “1110”
  • the least significant bit (value is 0) is added to the second divided scan data “100” and the NOT operation “0111” is used to mask the second mask data. becomes “0110" (S802).
  • the first mask result "1101” of bit string [3] is used as mask data, and the first divided scan data "0100” is NOT-operated and masked using the result "1011”,
  • the first mask result is "1001”
  • the second mask result "0110” of bit string [3] is used as mask data, and "1011” obtained by adding the least significant bit to the second divided scan data "010” and performing NOT operation is used.
  • the second mask result is "0010" (S803).
  • the first mask result "1001" of bit string [2] is used as mask data, and the first divided scan data "0011” is subjected to NOT operation and masked using the result "1100",
  • the first mask result is "1000”
  • the second mask result "0010” of the bit string [2] is used as mask data
  • "0101" obtained by adding the least significant bit to the second divided scan data "101” and performing NOT operation is used.
  • the second mask result is all 0 ("0000") (S804).
  • the second mask result is 0, but since the first mask result is other than 0, the narrowing down is judged to be successful, and the mask result here is directly taken over as the next mask data.
  • the first mask result "1000” of bit string [1] is used as mask data, and the first divided scan data "0101" is subjected to a NOT operation and masked using the result "1010"
  • the first mask result is "1000”
  • the second mask result "0000” of the bit string [1] is used as mask data
  • "1001” obtained by adding the least significant bit to the second divided scan data "011” and performing the NOT operation is used.
  • the result of the second mask is all 0 (S805).
  • the second mask result is 0 here as well, since the first mask result is other than 0, it is determined that the narrowing down has been successful, and the mask result here is directly taken over as the next mask data.
  • the result of the first scandown process is the result of combining the first mask result "1000" of bit string [0] and the second mask result "0000" of bit string [0] (S806). That is, record number 0 of the ON bit of "10000000" is output as the minimum value data.
  • a new first master mask for the second scandown is created by masking the current first master mask "1111” and the result "0111” obtained by performing a NOT operation on the first scandown processing result corresponding to the first master mask. With the mask set to "0111”, the current second master mask "1110” and the result "1111” obtained by performing NOT operation on the first scandown processing result corresponding to the second master mask are used as masks for the second scandown.
  • the new second master mask is set to "1110" (S807).
  • bit scan processing of bit string [3] the first mask result of the first divided scan data is "0101", and the second mask result of the second divided scan data is "0110" (S812).
  • bit scan processing of bit string [2] the first mask result of the first divided scan data is "0001", and the second mask result of the second divided scan data is "0010" (S813).
  • the first mask result of the first divided scan data is all 0, and the second mask result of the second divided scan data is all 0 (S814). Since both mask results are all 0, narrowing does not hold in this case, and this narrowing operation is judged to be invalid.
  • both the first mask result and the second mask result for bit string [1] are 0 and are invalid, so the first mask result and the second mask result for bit string [2] to use. That is, with the first mask result “0001” of bit string [2] as mask data, the mask result of the first divided scan data is all 0, and the second mask result “0010” of bit string [2] is mask data, The result of masking the 2-divided scan data is all 0 (S815). As a result, both mask results are all 0, so the narrowing down operation is judged to be invalid, as in S814.
  • the result of the second scandown processing is that the first mask result and the second mask result of bit string [0] are 0, the first mask result and the second mask result of bit string [1] are also 0, and both Since it is invalid, the result is obtained by combining the first mask result "0001" of bit string [2] and the second mask result "0010" of bit string [2] (S816). That is, the ON-bit record numbers 3 and 6 of "00010010" are output as the second smallest data.
  • a new first master mask for the third scandown is created by masking the current first master mask "0111” and the result "1110” obtained by performing a NOT operation on the second scandown processing result corresponding to the first master mask.
  • the mask set to "0110” With the mask set to "0110”, the current second master mask "1110” and the result "1101” of the second scandown processing result corresponding to the second master mask are NOT-operated to obtain a mask for the third scandown.
  • the new second master mask is set to "1100" (S817). After the third time, the scandown process is repeated in the same manner as the first and second times.
  • Embodiment 5 Next, Embodiment 5 will be described. In this embodiment, an example in which the data processing apparatuses according to the first to fourth embodiments simultaneously perform ascending sorting and descending sorting will be described.
  • FIG. 20 shows a configuration example of a data processing device according to this embodiment.
  • the scandown section 140 includes an ascending order processing section 141 and a descending order processing section 142 in this embodiment.
  • the ascending order processing unit 141 performs scan down processing for sorting the input data in ascending order on the scan data acquired by the acquisition unit 120 .
  • the descending order processing unit 142 performs scan down processing for sorting the input data in descending order on the scan data acquired by the acquiring unit 120 .
  • 21A and 21B show an operation example of data processing according to this embodiment.
  • 21A and 21B show an example of dual-scanning grouping sort processing in which ascending sorting and descending sorting are simultaneously performed.
  • the ascending sorting and descending sorting processes are basically the same as in the first embodiment.
  • the same 4 records of data as in FIGS. 9A and 9B are input.
  • the scan data and the ascending and descending mask data are 4 bits.
  • the initial value of the master mask is "1111" (S801), and ascending and descending sorts are performed using the same master mask.
  • the mask result of ascending sort is "1101" (S802a), and the mask result of descending sort is "0010" (S802b).
  • the mask result of ascending sort is "1001" (S803a), and the mask result of descending sort is all 0 ("0000") (S803b).
  • the mask result of ascending sort is "1000" (S804a), and the mask result of descending sort is "0010" (S804b).
  • bit scan processing of bit string [0] the mask result of ascending sort is "1000" (S805a), and the mask result of descending sort is all 0 (S805b).
  • the result of ascending sorting is the masking result "1000" of bit string [0] (S806a), and the result of descending sorting is the masking result "0010” of bit string [1] (S806b). . That is, the ON bit record number 0 of "1000” is output as the minimum value data, and the ON bit record number 2 of "0010" is output as the maximum value data.
  • the current master mask "1111” and the result “0111” obtained by performing NOT operation on the result of the first ascending sort are masked, and the mask result "0111” and the result “1101” obtained by performing the NOT operation on the result of the first descending order are masked. are masked, and the mask result "0101" is used as a new master mask for the next second scandown (S807).
  • the new master mask "0101" is used (S811), the data of record numbers 1 and 3 are sorted, and bit scan processing is performed in the same manner as in the first scandown process.
  • bit scan processing of bit string [3] the mask result of ascending sort is "0101" (S812a), and the mask result of descending sort is all 0 (S812b).
  • the mask result of ascending sort is "0001" (S813a), and the mask result of descending sort is "0100" (S813b).
  • bit scan processing of bit string [1] the mask result of ascending sort is all 0 (S814a), and the mask result of descending sort is all 0 (S814b).
  • the mask result of ascending sort is all 0 (S815a), and the mask result of descending sort is "0100" (S815b).
  • the result of sorting in ascending order is the mask result "0001" of bit string [2] (S816a), and the result of sorting in descending order is the mask result "0100" of the scan data of bit string [0]. (S816b). That is, the ON bit record number 3 of "0001” is output as the second smallest data, and the ON bit record number 1 of "0100" is output as the second largest data.
  • the current master mask "0101" and the result “1110” obtained by performing NOT operation on the result of the second ascending order sorting are masked, and the result "1011” obtained by performing the NOT operation on the mask result "0100” and the result of the second descending order sorting are masked. are masked, and the result of masking is "0000", and all bits are off, so the process ends (S817).
  • Ascending and descending sort number 2
  • Ascending sort record number (3)
  • Descending sort record number (1)
  • Ascending sort record Number (0)
  • (1) If the number of loops for ascending sorting and descending sorting ends with an odd number, the same value is obtained in the ascending order and the descending order in the final processing result, so in this case either one is adopted.
  • grouping sorting in ascending order and grouping sorting in descending order are simultaneously performed in grouping sorting by scandown.
  • the scanning results of ascending sorting and descending sorting can be obtained at the same time in one scan down. Since the two processes of ascending order sorting and descending order sorting are performed at the same time, the number of processing loops for simple grouping can be halved.
  • Embodiment 6 Next, Embodiment 6 will be described. In this embodiment, an example of stacking mask results in the data processing apparatuses of the first to fifth embodiments will be described.
  • FIG. 22 shows a configuration example of a data processing device according to this embodiment.
  • the data processing apparatus 100 includes a stack section 133 in addition to the configuration of the first embodiment.
  • the stack unit 133 stacks the mask result of the bit scan processing in the scan down unit 140 and the scan position. Also, the scan-down unit 140 starts the scan-down process from the scan position corresponding to the stacked mask results.
  • FIG. 23 shows a flowchart of a data processing method according to this embodiment.
  • FIG. 23 is an example of stacking grouping sort processing in which mask results are stacked in ascending order.
  • the data processor 100 first initializes a stack level variable (StackLevel) to 0 as an initialization process, and sets a master mask (Mask) to the stack mask value of level 0, which is the top of the stack. , the MSB position is set to the stack scan position (S901).
  • the stack includes two items, a stack mask value (Stack[].mask) and a stack scan position (Stack[].pos).
  • the data processing apparatus 100 sets the stack mask value of the stack level to the variable A, which is the mask data, and sets the stack scan position of the same stack to the variable P in order to start the scan down process (S902).
  • the data processing device 100 determines whether the variable P is greater than or equal to LSB (S903). That is, if the scanning operation has not reached the LSB, the process proceeds to S904, and if the processing has been completed up to the LSB, the process proceeds to S910.
  • the data processing apparatus 100 performs an AND operation on the NOT operation result of the scan data of the P bit string and the variable A as the mask data, and sets the operation result to the variable B as the mask result as mask processing for sorting in ascending order. (S904).
  • the data processing device 100 decrements the variable P, which is the scanning position. That is, the scan position is moved to the LSB side. (S905)
  • the data processing apparatus 100 determines whether or not the variable B, which is the result of the mask processing, is 0, that is, whether the narrowing down is successful, or whether or not the variable B is the same as the variable A, that is, whether the mask is obtained by bit scanning. It is determined whether or not there has been a change (S906).
  • the data processor 100 sets the stack level stack mask value , and the variable P is set to the stack scan position of the same stack (S907). After that, the stack level variable is incremented (S908). Further, the variable A, which is the mask data, is updated by the variable B, which is the mask result (S909), and the bit scan processing for the next bit string is repeated after S903.
  • the data processing apparatus 100 outputs the variable A which is the mask data updated in S909 as a result (S910 ).
  • the data processing device 100 performs an AND operation on the master mask and the NOT result of the variable A, which is the mask data, and updates the master mask with the operation result (S911).
  • the data processing apparatus 100 determines whether or not the updated master mask is 0, that is, whether or not all data processing has been completed (S912). If the master mask is not 0 in S912, that is, if all data processing has not been completed, the data processor 100 decrements the stack level variable (S913), and replaces the stack mask value and the master mask for that stack level. An AND operation is performed, and the result is used to update the same stack mask (S914). After that, from S902 onward, the scan down process is repeated using the stacked stack mask value and stack scan position. If the master mask is 0 in S912, that is, if all data processing is completed, the process ends.
  • the next scan down start position is not the MSB position, but the change. You can start at the lowest bit string position that occurs.
  • early detection of the processing result may be performed. That is, after S909, it is determined whether or not the ON bit of the variable A is only one. If the ON bit of the variable A is not only one, the process proceeds to S903. You may proceed to Also, as in FIG. 6 of Embodiment 1, when sorting in descending order, in S904, the scan data of the P-bit string and the variable A may be AND-operated, and the result of the AND operation may be set to the variable B. .
  • FIGS. 24A and 24B show an operation example of data processing according to this embodiment.
  • FIGS. 24A and 24B are examples of stacking grouping sort processing performed in ascending order as shown in FIG.
  • data of four records with record numbers 0 to 3 are input.
  • the data value of record number 0 is 15, the data value of record number 1 is 2, the data value of record number 2 is 14, and the data value of record number 3 is 5.
  • Each data is 4-bit data of bit strings [0] to [3], and scan data and mask data are also 4-bit data.
  • the stack is initialized upon starting processing. Specifically, the stack level is set to "0", the stack mask value of stack [0] is set to "1111" which is the master mask, and the stack scan position is set to "3" which is the MSB position ( S1001).
  • the stack scan position "3" and the stack mask "1111” are obtained from the stack [0] corresponding to the position of the stack level "0", and set to the scan position and mask data ( S1002).
  • the mask result becomes "0101", and the scan position becomes "2" by decrementing. (S1003).
  • the mask result is not 0 and is not the same as the mask data "1111”. and set the stack scan position to "2", which is the current scan position. That is, at this point, the initial value set in the stack [0] in S1001 is updated by overwriting. After that, the stack level is counted up to "1", and the mask data is updated to "0101" which is the mask result (S1004).
  • the bit string [0] corresponding to the scan position "0" is bit-scanned using the inherited "0100" as mask data. 1”.
  • the mask result is not 0, it is the same as the mask data, so stack processing and update of the mask data are not performed, and the process moves to the next step (S1008).
  • the result of the first scandown process is the final mask data "0100" (S1009). That is, the ON bit record number 1 of "0100” is output as the minimum value data.
  • the new master mask for the next second scandown is set to "1011" (S1010). ). Further, the stack level is returned to "1", the new master mask "1011” and the stack mask "0101" of the stack [1] indicated by the returned stack level “1” are ANDed, and the operation result " The value of the same stack mask is updated by 0001" (S1011).
  • the second scan down process starts with stack scan position "1" stored in stack [1] pointed to by current stack level “1" as the scan position and stack mask "0001" as mask data. (S1016).
  • the mask result for the first bit string [1] is "0001".
  • the mask result is not 0, it is the same as the mask data "0001", so stack processing is not performed and the mask data is not updated (S1017). .
  • bit scan processing of bit string [0] the inherited mask data "0001" is used as mask data, and the mask result is all 0. Since the mask result is 0, stack processing is not performed and the mask data is updated. (S1018).
  • the result of the second scandown process is "0001", which is the finally handed over mask data (S1019). That is, the ON bit record number 3 of "0001” is output as the second smallest data.
  • the new master mask for the next third scandown is set to "1010” by masking the current master mask "1011” and the result "1110” obtained by performing the NOT operation on the second scandown processing result (S1020). ). Further, the stack level is returned to "0", the new master mask "1010” and the stack mask "1111” of the stack [0] indicated by the returned stack level "0” are ANDed, and the mask result is "1010". ” updates the value of the same stack mask (S1021).
  • the third scan-down process starts with stack scan position "2" stored in stack [0] pointed to by current stack level "0" as the scan position and stack mask "1010" as mask data. (S1024).
  • the mask result for the first bit string [2] is all 0, and since the mask result is 0, stack processing is not performed and mask data is not updated (S1025).
  • bit scan processing of bit string [1] the inherited mask data "1010" is used as mask data, and the mask result is all 0. Since the mask result is 0, stack processing is not performed and the mask data is updated. (S1026).
  • the inherited mask data "1010” is used as mask data, and the mask result is "0010" (S1027).
  • the mask result is not 0 and is not the same as the mask data "1010”.
  • "-1" which is the current scan position (because it is decremented after scanning the bit string [0] this time)
  • the stack scan position is set. That is, at this point, the value set in the stack [0] in S1021 is updated by overwriting. After that, the stack level is counted up to "1", and the mask data is updated to "0010" which is the mask result (S1028).
  • the result of the third scandown process is the final mask data "0010" (S1029). That is, the ON bit record number 2 of "0010” is output as the third smallest data. Also, the current master mask "1010” and the result “1101” obtained by performing NOT operation on the third scandown processing result are masked, and the new master mask for the next fourth scandown is set to "1000" (S1030). ). Further, the stack level is returned to "0", the new master mask "1000” and the stack mask "1010” of the stack [0] indicated by the returned stack level "0” are ANDed, and the mask result " The value of the same stack mask is updated by 1000" (S1031).
  • the fourth scan down starts with stack scan position "-1" stored in stack [0] pointed to by current stack level "0" as the scan position and stack mask "1000" as mask data. do.
  • the scan position is already -1 and points to a position below the LSB, bit scanning is not performed and the mask data is the result as is (S1038).
  • the result of the fourth scandown process is the final mask data "1000" (S1039). That is, the ON bit record number 0 of "1000” is output as the fourth smallest data. Further, when masking the current master mask "1000” and the result "0111” obtained by performing the NOT operation on the result of the fourth scandown, the mask result becomes "0000", and since all bits are off, the process ends (S1040). ).
  • a stack is prepared for stacking the mask result and the scan position, and if all bits are other than 0 in the scan down process and there is a change from the previous mask, the mask and scan position before the change are stacked on the stack. .
  • the stack is returned by one, and the mask stored there and the AND of the master mask are used as a new mask, and the next scan is performed from the scan position stored in the stack. start down.
  • the amount of processing in the processing sequence skip portion can be reduced (second bit string [3] and bit string [2] in FIG. 24A, third bit string [2] in FIG. 24B, bit string [3], the fourth bit string processing). This is especially effective when the number of significant bit digits is smaller than the total number of bit digits.
  • FIG. 25A and 25B show a comparison between the basic grouping and sorting method in the first embodiment and the stacking method in the present embodiment.
  • each scan down P1 to P4 is performed from the first bit (MSB) to the least significant bit ( LSB) is required.
  • each scandown requires 5 times of processing (bit scan processing), so 20 times of processing are required to sort all the data.
  • bit scan processing bit scan processing
  • efficient processing can be performed when the number of effective bits is less than the total number of bits, or when data is biased as a result of narrowing down.
  • the number of processing times can be further reduced. In FIG. itself becomes unnecessary.
  • Embodiment 7 Next, Embodiment 7 will be described. In the present embodiment, an example in which the grouping results are integrated by bit counting in the data processing apparatuses of the first to fifth embodiments will be described.
  • FIG. 26 shows a configuration example of a data processing device according to this embodiment.
  • the data processing apparatus 100 includes a bit count section 160 and an integration section 161 in addition to the configuration of the first embodiment.
  • the bit count unit 160 performs bit count processing for counting (bit counting) the ON bits of the grouping processing result. Also, the bits of the result of masking the grouping result and the plurality of scan data are counted. For example, when the processing result mask is "11011110", in the bit count process, the ON bits of this result mask are counted, and the bit count result is 6.
  • the integration unit 161 performs integration processing of the grouped data using the bit count result.
  • the accumulator 161 accumulates a value corresponding to the bit count value of the mask result. Specifically, the bit count value is bit-shifted according to the bit position of the scan data, and the bit-shifted values are totaled.
  • Data processing apparatus 100 may include at least bit count section 160 and integration section 161, and perform bit count processing and integration processing on a plurality of pieces of input data.
  • FIG. 27 shows a flowchart of a data processing method according to this embodiment.
  • FIG. 27 is an example of integration processing using bit count.
  • the following processing is mainly executed by the integrator 161, and bit count processing is executed by the bit count unit 160, but the present invention is not limited to this.
  • the data processing device 100 initializes the integration result to 0 and sets the MSB position to the variable P as initial settings for the integration process (S1101). Next, the data processing device 100 shifts the integration result to the left by 1 bit (S1102).
  • the data processing device 100 ANDs the master mask (Mask) and the accumulated bit data of the P bit string, and sets the result of the AND operation to the variable B (S1103).
  • the integrated bit data is each bit string data (scan data) of data to be integrated.
  • the data processing device 100 bit-counts the variable B, which is the mask result, adds the bit count result to the integration result, and updates the integration result with the addition result (S1104).
  • the data processing apparatus 100 determines whether or not the variable P, which is the bit string being processed, is LSB, that is, whether or not scanning of all bits has been completed (S1105).
  • variable P is other than the LSB in S1105, that is, if scanning of all bits has not been completed, the data processing apparatus 100 moves the variable P by one to the LSB side for the next scan (S1106), The processing after S1102 is repeated. If the variable P is LSB in S1105, that is, if scanning of all bits is completed, the data processing apparatus 100 outputs the integration result (S1107).
  • FIG. 28 shows an operation example of data processing according to this embodiment.
  • FIG. 28 shows an example of performing accumulation processing using a bit count as in FIG.
  • FIG. 29 shows another operation example of data processing according to the present embodiment.
  • FIG. 29 shows an example in which bit counting is performed for each bit string and the result is finally accumulated.
  • Input data and processing result masks are the same as in FIG.
  • the scan data of bit string [3] is masked with a processing result mask, and the mask result is bit-counted to be 1 (S1202).
  • This accumulation method shifts the bit count value to the left according to the bit position.
  • bit string [2] is masked with a processing result mask, and the mask result is bit-counted to be 2 (S1205).
  • bit string is [2]
  • bit string [1] is masked by the processing result mask, and the mask result is bit-counted to be 3 (S1208).
  • bit string is [1]
  • bit string [0] is masked by the processing result mask, and the mask result is bit-counted to be 2 (S1211).
  • bit string is [0]
  • the bit count is used to perform the accumulation processing, and high-speed arithmetic processing can be performed on vertically expanded data.
  • the bit count is obtained for each data bit string in the horizontal direction, and the results are added while being shifted, thereby carrying out integration.
  • the computational complexity of this scheme is O(n/bit count width*data bit size). Calculation speeds up as the bit count width becomes wider or the effective data bit size becomes smaller for a large amount of data.
  • the integration processing of the present embodiment can be obtained by simply counting the number of ON bits (the number of 1 bits) of the result mask by bit counting.
  • the integration result can be obtained efficiently. For example, when performing integration in the grouping and sorting process of Embodiment 1, the integration process in FIG. 27 is performed after S107 in FIG.
  • the count processing and accumulation processing of the number of records can be performed once the fields for result masking and accumulation have been determined, not only the grouping results, but also the totalization of all records and the results of normal narrowing down (search) can also be applied. Also, if the integrated value and the number of records are obtained, the average value can be easily obtained by obtaining (integrated value/number of records). Therefore, this process can also be used to calculate variances and standard deviations that use mean values.
  • Embodiment 8 Next, Embodiment 8 will be described. In this embodiment, an example of performing JOIN processing on data of a plurality of tables in the data processing apparatuses of the first to seventh embodiments will be described.
  • FIG. 30 shows a configuration example of a data processing device according to this embodiment.
  • the data processing apparatus 100 includes a JOIN processing unit 170 in addition to the configuration of the first embodiment.
  • the data processing apparatus 100 may include at least the JOIN processing unit 170 and perform only JOIN processing.
  • the JOIN processing unit 170 performs JOIN processing on the two tables.
  • JOIN processing is processing that joins two data sets using a specific key and finds correspondence between both records.
  • JOIN processing includes Full Outer-JOIN, Left Outer-JOIN, Right Outer-JOIN, and Inner-JOIN.
  • the grouping operation is performed on the left (one) table, and the JOIN key of the data output as a result is used to search the right (other) table.
  • the search if data with the same JOIN key exists in the right table, the corresponding record is added (joined state) to the grouping result of the left table and output.
  • the operations on the left and right tables of the LeftOuter-Join are reversed.
  • each of the left and right tables is grouped. If the values of the grouping keys of the left and right tables are different, positional grouping is performed by designating the larger grouping key as the refinement value of "greater than or equal to" for the table that outputs the smaller key. If the same value is obtained for the grouping keys of both tables, both of them are combined (joined state) and output to obtain the next grouping for each of the left and right tables. This operation is repeated until there is no data in any of the tables.
  • FIG. 31 shows a flowchart of inner-JOIN processing included in the data processing according to this embodiment.
  • JOIN processing is performed on table A and table B.
  • FIG. 31 shows a flowchart of inner-JOIN processing included in the data processing according to this embodiment.
  • JOIN processing is performed on table A and table B.
  • FIG. 31 shows a flowchart of inner-JOIN processing included in the data processing according to this embodiment.
  • JOIN processing is performed on table A and table B.
  • the data of each table is grouped by basic grouping sort in ascending order, and the specified number of data (one case) is acquired.
  • the data processing device 100 determines whether grouping values for both tables have been obtained (whether there is a grouping result) (S1302). If the grouping values for both tables have not been obtained in S1302, the data processing apparatus 100 terminates the process. Also, when the grouping values of both tables have been obtained in S1302, the data processing apparatus 100 determines whether or not the grouping values of both tables are the same (S1303).
  • the data processing device 100 combines the grouping results of both tables and outputs them (Join result output) (S1304).
  • FIG. 32 shows an operation example of JOIN processing, which is data processing according to this embodiment.
  • table A stores data of 1 (A1), 2 (A2), 4 (A4), 5 (A5), and 6 (A6)
  • table B stores data of 2 (B2). , 3 (B3), and 6 (B6) are stored.
  • each table contains only one data of each value, but when there are multiple data of the same value, the data of the same value are simultaneously detected by the grouping operation.
  • FIG. 32(c) in the case of RightOuter-JOIN, basic grouping is first performed on table B, and then table A is searched for equivalence using the grouping results of table B.
  • each of Table A and Table B is subjected to basic grouping, and the result of Table A is 1 and the result of Table B is 2 (S1401).
  • the value (1) of table A is smaller, so positional grouping of table A with the value (2) of table B or more results in 2 for table A (S1402).
  • Each configuration in the above-described embodiments is configured by hardware or software, or both, and may be configured from one piece of hardware or software, or may be configured from multiple pieces of hardware or software.
  • the functions (processing) of each device may be implemented by a computer having a CPU, memory, and the like.
  • a program for performing the method in the embodiment may be stored in a storage device, and each function may be realized by executing the program stored in the storage device with a CPU.
  • These programs contain instructions (or software code) that, when read into a computer, cause the computer to perform one or more of the functions described in the embodiments.
  • the program may be stored in a non-transitory computer-readable medium or tangible storage medium.
  • computer readable media or tangible storage media may include random-access memory (RAM), read-only memory (ROM), flash memory, solid-state drives (SSD) or other memory technology, CDs - ROM, digital versatile disc (DVD), Blu-ray disc or other optical disc storage, magnetic cassette, magnetic tape, magnetic disc storage or other magnetic storage device.
  • the program may be transmitted on a transitory computer-readable medium or communication medium.
  • transitory computer readable media or communication media include electrical, optical, acoustic, or other forms of propagated signals.
  • the present invention can be suitably applied to a data processing device that processes database data.
  • Data processing device 110 Storage unit 120 Acquisition unit 121 Division unit 130 Mask holding unit 131 Mask save unit 132 Narrowing unit 133 Stack units 140, 140a, 140b Scandown unit 141 Ascending order processing unit 142 Descending order processing unit 150 Output unit 160 Bit counting unit 161 integration unit 170 JOIN processing unit

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Mathematical Physics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Software Systems (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Computer Hardware Design (AREA)
  • Complex Calculations (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

効率よくデータ処理を行うことが可能なデータ処理装置、データ処理方法、及びプログラムを提供する。データ処理装置（１００）は、複数のＮビットの入力データにおける同じビット位置のビットデータを含むスキャンデータを、ビット位置順に取得する取得部（１２０）と、取得されるスキャンデータを用いてビットスキャン処理を行い、第１のビット位置のスキャンデータから第Ｎのビット位置のスキャンデータまでビットスキャン処理を繰り返すスキャンダウン処理を行うスキャンダウン部（１４０）と、スキャンダウン処理ごとに得られる同値の入力データをソート順に逐次出力する出力部（１５０）と、を備える。

Description

データ処理装置、データ処理方法、及びプログラム
　本発明は、データ処理装置、データ処理方法、及びプログラムに関する。
　近年、ＩＴ（Information Technology）技術の発達及び世界的な普及に伴い、データベースを含む各種ＩＴシステムが処理するデータ量が急増している。今後もＩｏＴ（Internet of Things）の推進や５Ｇの普及等により、全世界のデータ量はさらに爆発的に増加すると予測されている。このため、データ処理技術の飛躍的な向上が望まれている。
　関連する技術として、例えば、特許文献１及び２、非特許文献１及び２が知られている。特許文献１には、情報の読み出し書き込みが可能なメモリにおいて、１ワードビット幅がＮでＭワードアドレスの記憶セル構造とし、Ｍワードアドレスの中から繰り返し選択指定される１ワードビット幅がＮの記憶セル情報を１組Ｎビットの論理演算器に並列に入力し論理演算することで、大容量メモリを連想メモリ（ＣＡＭ）に匹敵する情報検索能力を持った能動型のメモリを実現する技術が記載されている。特許文献２にも、特許文献１と同様の構造を有するメモリ型プロセッサが記載されている。なお、特許文献１及び２のようなメモリ型プロセッサをデータベースプロセッサ（ＤＢＰ）と呼ぶ場合がある。
　また、非特許文献１及び２には、メインメモリで高速なスキャンを実現するため、ビットレベルで並列処理を可能とするＢｉｔＷｅａｖｉｎｇと呼ばれる技術が記載されている。
特開２０１７－１６６６８号公報 特開２０１８－１３９０１７号公報
Yinan Li, Jignesh M. Patel, "BitWeaving: Fast Scans for Main Memory Data Processing", SIGMOD '13: Proceedings of the 2013 ACM SIGMOD International Conference on Management of Data, June 2013, Pages 289-300, [online], [令和３年７月５日検索], インターネット<URL:http://pages.cs.wisc.edu/~jignesh/publ/BitWeaving.pdf> Yinan Li, Jignesh M. Patel, "CS564, BitWeaving: Fast Scans for Main Memory Data Processing", University of Wisconsin-Madison, [online], [令和３年７月５日検索], インターネット<URL:http://pages.cs.wisc.edu/~jignesh/cs564/rl/bitweaving.pdf>
　上記のような、関連する技術におけるＤＢＰやＢｉｔＷｅａｖｉｎｇでは、メモリのデータをビット単位に並列処理することにより検索処理の高速化を可能とし得る。しかしながら、関連する技術では、データ処理として主に検索処理を対象としており、グルーピング処理などその他のデータ処理が考慮されていない。このため、データ処理の内容によっては効率的に処理を行うことが困難な場合がある。
　本発明は、このような事情に鑑みてなされたものであって、効率よくデータ処理を行うことが可能なデータ処理装置、データ処理方法、及びプログラムを提供することを目的とする。
　本発明に係るデータ処理装置は、複数のＮビットの入力データにおける同じビット位置のビットデータを含むスキャンデータを、ビット位置順に取得する取得部と、前記取得されるスキャンデータを用いてマスクデータにマスクをかけるマスク処理と前記マスク処理の結果に応じた前記マスクデータの更新処理とを含むビットスキャン処理を行い、前記第１のビット位置のスキャンデータから前記第Ｎのビット位置のスキャンデータまで前記ビットスキャン処理を繰り返すスキャンダウン処理を行うスキャンダウン部と、前記スキャンダウン処理ごとに得られる同値の前記入力データをソート順に逐次出力する出力部と、を備えるものである。
　本発明に係るデータ処理方法は、データ処理装置がデータを処理する方法であって、複数のＮビットの入力データにおける同じビット位置のビットデータを含むスキャンデータを、ビット位置順に取得し、前記取得されるスキャンデータを用いてマスクデータにマスクをかけるマスク処理と前記マスク処理の結果に応じた前記マスクデータの更新処理とを含むビットスキャン処理を行い、前記第１のビット位置のスキャンデータから前記第Ｎのビット位置のスキャンデータまで前記ビットスキャン処理を繰り返すスキャンダウン処理を行い、前記スキャンダウン処理ごとに得られる同値の前記入力データをソート順に逐次出力するものである。
　本発明に係るプログラムは、複数のＮビットの入力データにおける同じビット位置のビットデータを含むスキャンデータを、ビット位置順に取得し、前記取得されるスキャンデータを用いてマスクデータにマスクをかけるマスク処理と前記マスク処理の結果に応じた前記マスクデータの更新処理とを含むビットスキャン処理を行い、前記第１のビット位置のスキャンデータから前記第Ｎのビット位置のスキャンデータまで前記ビットスキャン処理を繰り返すスキャンダウン処理を行い、前記スキャンダウン処理ごとに得られる同値の前記入力データをソート順に逐次出力する、処理をコンピュータに実行させるためのプログラムである。
　本発明によれば、効率よくデータ処理を行うことが可能なデータ処理装置、データ処理方法、及びプログラムを提供することができる。
実施の形態１に係るデータ処理装置の構成例を示す構成図である。 実施の形態１に係る記憶部のメモリセル構造の例を示す図である。 実施の形態１に係るデータ処理方法の一例を示すフローチャートである。 実施の形態１に係るデータ処理方法の他の例を示すフローチャートである。 実施の形態１に係るデータ処理の動作例を示す図である。 実施の形態１に係るデータ処理の動作例を示す図である。 実施の形態１に係るデータ処理方法の別の例を示すフローチャートである。 実施の形態１に係るデータ処理の動作例を示す図である。 実施の形態１に係るデータ処理の動作例を示す図である。 実施の形態２に係るデータ処理装置の構成例を示す構成図である。 実施の形態２に係るデータ処理の動作例を示す図である。 実施の形態２に係るデータ処理の動作例を示す図である。 実施の形態３に係るデータ処理装置の構成例を示す構成図である。 実施の形態３に係るデータ処理方法の一例を示すフローチャートである。 実施の形態３に係るデータ処理の動作例を示す図である。 実施の形態３に係るデータ処理方法の他の例を示すフローチャートである。 実施の形態３に係るデータ処理の動作例を示す図である。 実施の形態３の変形例に係るデータ処理方法の一例を示すフローチャートである。 実施の形態３の変形例に係るデータ処理の動作例を示す図である。 実施の形態３の変形例に係るデータ処理の動作例を示す図である。 実施の形態３の変形例に係るデータ処理の他の動作例を示す図である。 実施の形態３の変形例に係るデータ処理の他の動作例を示す図である。 実施の形態４に係るデータ処理装置の構成例を示す構成図である。 実施の形態４に係るデータ処理の動作例を示す図である。 実施の形態４に係るデータ処理の動作例を示す図である。 実施の形態５に係るデータ処理装置の構成例を示す構成図である。 実施の形態５に係るデータ処理の動作例を示す図である。 実施の形態５に係るデータ処理の動作例を示す図である。 実施の形態６に係るデータ処理装置の構成例を示す構成図である。 実施の形態６に係るデータ処理方法の一例を示すフローチャートである。 実施の形態６に係るデータ処理の動作例を示す図である。 実施の形態６に係るデータ処理の動作例を示す図である。 実施の形態６に係るデータ処理の効果を説明するための図である。 実施の形態６に係るデータ処理の効果を説明するための図である。 実施の形態７に係るデータ処理装置の構成例を示す構成図である。 実施の形態７に係るデータ処理方法の一例を示すフローチャートである。 実施の形態７に係るデータ処理の動作例を示す図である。 実施の形態７に係るデータ処理の他の動作例を示す図である。 実施の形態８に係るデータ処理装置の構成例を示す構成図である。 実施の形態８に係るデータ処理方法の一例を示すフローチャートである。 実施の形態８に係るデータ処理の動作例を示す図である。
　以下、図面を参照して本発明の実施の形態について説明する。ただし、本発明が以下の実施の形態に限定される訳ではない。また、説明を明確にするため、以下の記載および図面は、適宜、省略、および簡略化がなされている。なお、各図面において、同一の要素には同一の符号が付されており、必要に応じて重複説明は省略されている。
（関連する技術の検討）
　実施の形態の理解を助けるため、データベースのデータ処理について検討する。データベースの処理は大別すると、大量なデータの中から対象データを絞り込む検索処理と、その結果を分類する集約処理に分けられる。一般的なデータベースでは、前者を高速に行うためにインデックスを使用し、後者を高速に行うためにハッシュやＳＯＲＴなどの処理を組み合わせている。
　検索については、特許文献１及び２に記載されたようなＤＢＰ（超並列演算装置）を使うことで、インデックスを使わずに高速動作が可能になる。しかしながら、特許文献１及び２、非特許文献１及び２には、その検索結果に対する集約の操作については示されていない。
　そこで、集約処理について検討する。集約の種類としては、集合の中から同値のものを集めるグルーピング（ＧＲＯＵＰ　ＢＹ）処理、２つの集合を特定のキーによって結合する（ＪＯＩＮ）処理が代表的である。また、集合の中から同値のものを排除し、ユニークな集合を得る重複排除（ＤＩＳＴＩＮＣＴ）処理、集合をあるキーで昇順もしくは降順に並べ替えるソート（ＯＲＤＥＲ　ＢＹ）処理も集約処理に含まれ得る。一般的なデータベースでは、この集約を行うための方法として、上記のようにＳＯＲＴやハッシュが使われる。また、結合（ＪＯＩＮ）処理では、インデックスを使った検索処理の応用として一件ずつ順次結合先を探すネステッドループＪＯＩＮも行われる。
　ソート方式では、データに対して一旦、グルーピングキーでソートを行い、その結果に対し、同値の範囲をグルーピングしていく。ハッシュ方式の場合は、グルーピングキーに対し、まずハッシュ値を求めて、そのハッシュ値に従ったブロックにデータを分散させる。ただし、ハッシュ値は異なるキーに対して、同じハッシュ値が生成される（ハッシュ値の衝突）ことがあるため、同じハッシュブロックの中に異なるグルーピングキーのデータが入る場合は、それらを更に別々のブロックに分散させる。こうすることで、末端のブロックには同じグルーピングキーを持つデータを集めることができる。
　関連する技術では、これらの処理について、コンピュータの持つ基本的な処理単位であるワードなどの単位でデータを一件ずつ処理していく。これに対し、以下に説明するように、本発明の実施の形態における集約処理（グルーピング処理）では、複数のデータに対して同時に処理を行い、集約データ（グルーピングデータ）を順次抽出していく。このように、実施の形態では、関連する技術とは異なった処理方式を取るため、その処理特性においても、関連する技術とは異なった特性を得ることが可能となる。例えば、関連する技術が得意な分野と本発明の実施の形態が得意な分野を処理の内容によって使い分けることで、双方の長所を生かして大幅な処理の効率化を図ることも可能となる。
（実施の形態１）
　次に、実施の形態１について説明する。本実施の形態では、本発明の基本的な例として、ビットスキャンを含むスキャンダウンによる基本グルーピングソート処理について説明する。
＜データ処理装置の構成＞
　図１は、本実施の形態に係るデータ処理装置の構成例を示している。本実施の形態に係るデータ処理装置１００は、データ処理の一例として、入力データに対しグルーピングソート処理を行う。なお、本来データベースにおけるグルーピング処理では、グルーピングの結果は、あくまで同一のものを集約したデータを得ることで、その順序性については規定が無い。しかしながら、本件のグルーピング処理では、グルーピングとソートが同時に行われ、ソートの結果にグルーピングデータを含む形式になる。このため、以降の説明での本件のグルーピングを「グルーピングソート」と呼ぶ。図１に示すように、データ処理装置１００は、記憶部１１０、取得部１２０、マスク保持部１３０、スキャンダウン部１４０、出力部１５０を備えている。なお、図１の構成は一例であり、本実施の形態に係るデータ処理が可能であれば、その他の構成としてもよい。また、データ処理装置１００は、一つの装置でもよいし、複数の装置でもよい。
　記憶部１１０は、入力される複数の入力データを記憶する。入力データは、データ処理装置１００が処理する処理対象のデータである。例えば、記憶部１１０は、入力データのビット幅と入力データのレコード数に応じた所定のメモリセル構造のメモリである。例えば、記憶部１１０は、特許文献１及び２のようなＤＢＰと同様のメモリセル構造のメモリであるか、その他の構造のメモリでもよいし、メモリに限らずその他の任意の記憶手段でもよい。図２は、記憶部１１０のメモリセル構造の一例を示している。例えば、入力データの１レコード（１ワード）がＮ（Ｎ＞０の整数）ビットであり、Ｍ（Ｍ＞０の整数）レコードの入力データが入力される場合、図２に示すように、記憶部１１０をＭ行×Ｎ列のメモリセル構造とし、各行に各入力データを格納する。
　取得部１２０は、記憶部１１０が記憶する複数の入力データからスキャンダウン部１４０が処理するスキャンデータをビット列順（ビット位置順）に選択し取得する。スキャンデータは、複数の入力データにおける同じビット位置のビットデータを含むデータである。取得部１２０は、例えば図２に示すように、ＭレコードのＮビットデータにおいて、各レコードの同じビット位置のビットデータをビット列単位に選択し、選択したＭ個のビットデータをレコード順（入力順）に抽出して、スキャンデータを取得する。すなわち、ＭレコードのＮビットデータが入力される場合、ＭビットのスキャンデータがＮ個取得される。また、取得部１２０は、ＭレコードのＮビットデータに対し、ビット列順に第１ビット列から第Ｎビット列へデータ検索方向（スキャンダウン方向）にスキャンデータを取得する。データ検索方向は、スキャンダウン部１４０によりスキャンダウン処理が行われる処理順に応じた方向であり、ＭＳＢ（Most Significant Bit）からＬＳＢ（Least Significant Bit）へ向かう方向であるが、処理の内容によってはＬＳＢからＭＳＢへ向かう方向としてもよいし、処理の内容に応じた特別な順序でも良い。
　マスク保持部１３０は、スキャンダウン部１４０がスキャンダウン処理で使用するマスタマスクを保持（記憶）する。マスタマスクは、複数の入力データからスキャンダウン処理の対象となるソート対象（レコード）を特定するデータである。また、マスタマスクは、スキャンダウン部１４０によって行われるスキャンダウン処理の結果により更新され、次の処理への有効データの引継ぎに使われる。例えば、マスタマスクは、対象データをＯＮビット（有効ビット）のビット位置で示す。全データ（レコード）をソートする場合、マスタマスクは全ビットがＯＮとなる。また、特定のレコードのみを処理対象としたい場合は、該当するレコード位置のビットのみＯＮに設定することで、処理対象を自由に設定できる。
　スキャンダウン部１４０は、取得部１２０が取得したスキャンデータに対しビットスキャン処理を含むスキャンダウン処理を行う。スキャンダウン部１４０は、各スキャンデータに対しビットスキャン処理を行うビットスキャン部でもあり、第１のビット位置のスキャンデータから第Ｎのビット位置のスキャンデータまでビットスキャン処理を繰り返すスキャンダウン処理を行う。これにより、入力データを昇順または降順にソートする。この際、ビットスキャン処理の特性により、対象データの中に複数の同じ値を持つレコードが存在する場合は、それら複数レコードの検出が同時に行われる。ソートをした上で、グルーピング処理も同時に行うため、この処理をグルーピングソート処理とも呼び、特に本実施の形態のソート処理を基本グルーピングソート処理と呼ぶ場合がある。ビットスキャン処理は、スキャンデータを用いてマスクデータに対してマスクをかけるマスク処理とマスク処理の結果に応じたマスクデータの更新処理とを含む。例えば、スキャンダウン部１４０は、マスク処理を行うマスク処理部とマスクデータを更新するマスクデータ更新処理部を含んでいてもよい。スキャンダウン部１４０は、入力データを昇順にソートする場合、マスクデータに対しスキャンデータの反転データを使ってマスク(ＡＮＤＮｏｔ)をかけ、前記入力データを降順にソートする場合、マスクデータに対しスキャンデータをそのまま使ってマスク(ＡＮＤ：論理積)をかける。
　また、スキャンダウン部１４０は、マスク保持部１３０に保持されたマスタマスクをマスク処理に用いるマスクデータの初期値として、Ｎ個のスキャンデータに対するスキャンダウン処理（一巡のビットスキャン処理）を開始する。これにより、マスタマスクに対応するソート対象のデータ（レコード）の最小値（昇順の場合）または最大値（降順の場合）のデータを得る。スキャンダウン処理は、第１のビット列（例えばＭＳＢ）のスキャンデータから第Ｎのビット列（例えばＬＳＢ）のスキャンデータまで繰り返されるビットスキャン処理を含み、全てのデータのソート（スキャン）が完了するまでこのスキャンダウン処理を繰り返す。
　スキャンダウン部１４０は、Ｎ個のスキャンデータに対するスキャンダウン処理の終了ごとに、スキャンダウン処理の結果に応じてマスタマスクを更新する。例えば、マスタマスクの更新では、現在のマスタマスクとスキャンダウン処理の結果の反転データ（ＮＯＴ）をＡＮＤ演算した結果により、マスタマスクを更新する。こうして更新されたマスタマスクは次のスキャンダウン処理によるソート対象となる。すなわち、マスタマスクを更新することにより、スキャン処理結果として出力された（同値として検索された）データを除いて、次のスキャンダウン処理で処理するデータ（レコード）を絞り込む。全てのデータがスキャン処理結果として出力された場合、すなわち更新されたマスタマスクが０となった場合、全データに対するスキャンが完了したため、スキャンダウン処理を終了する。
　出力部１５０は、スキャンダウン部１４０によるスキャンダウン処理の結果を所定のデータ処理結果として出力する。本実施の形態では、スキャンダウン処理により得られる昇順または降順の同値データのソート結果を、入力データをグルーピングソート処理した結果（グルーピングソートデータ）として出力する。すなわち、スキャンダウン処理では、同値のデータ（レコード）を同時に検索できるため、ソートの結果には、同時に検索された同値のデータ群が同じグループとしてグルーピングされて出力される。換言すると、出力部１５０は、スキャンダウン処理ごとに得られる同値の入力データをソート順に逐次出力する。つまり、出力部１５０は、Ｎ個のスキャンデータに対するスキャンダウン処理が終了する毎に1グループずつグルーピング結果を出力することが出来る。これは関連する技術によるグルーピング処理には無い特性になる。当然ながら、内部にデータを蓄積し、全データのソート（スキャン）が完了したときに全てのグルーピング結果をまとめて出力してもよい。なお、グルーピング処理に限らず、同値のデータを集約する処理を含む、任意の集約処理に適用してもよい。
＜昇順の基本グルーピングソート処理の処理フロー＞
　図３は、本実施の形態に係るデータ処理方法のフローチャートの一例を示している。図３は、スキャンダウンによる基本グルーピングソート処理を昇順に行う場合の例である。例えば、以下の処理は主にスキャンダウン部１４０により実行され、結果の出力処理が出力部１５０により実行されるが、これに限られない。
　図３に示すように、まず、データ処理装置１００は、スキャンダウン処理の初期設定として、変数Ａにマスタマスク（Ｍａｓｋ）を設定し、変数ＰにＭＳＢ位置を設定する（Ｓ１０１）。例えば、マスタマスクの初期値は全ビットがＯＮである。変数Ａは、処理対象のスキャンデータにより、マスクを更新することで、データを絞り込んでいくマスクデータである。変数Ｐは、取得（処理）するスキャンデータのビット列を示し、Ｎ個のスキャンデータから処理対象のスキャンデータを特定する。
　次に、データ処理装置１００は、ビットスキャン処理に含まれるマスク処理として、この例では昇順にソートするため、Ｐビット列のスキャンデータのＮＯＴ（論理否定）演算結果とマスクデータである変数ＡとをＡＮＤ（論理積）演算し、そのＡＮＤ演算結果を変数Ｂに設定する（Ｓ１０２）。変数Ｂは、スキャンデータによってマスクデータに対してマスクをかけたマスク処理結果である。
　次に、データ処理装置１００は、マスク処理結果である変数Ｂが０か否か、すなわち、変数Ｂの全ビットがＯＦＦか否か判定する（Ｓ１０３）。変数Ｂが０の場合は、Ｐビット列のスキャンデータによるマスク処理の結果、絞り込みの結果として残るデータが無いことを示す。このため、変数Ｂが０になる場合は、絞り込み失敗として、絞り込み結果を示すマスクデータである変数Ａを更新しない。逆に、Ｓ１０３で変数Ｂが０以外の場合、すなわち、変数ＢのいずれかのビットがＯＮの場合は、絞り込みが成功したことを示し、この場合は、絞り込み結果を示すマスクデータである変数Ａを変数Ｂにより更新する（Ｓ１０４）。
　次に、データ処理装置１００は、処理中のビット列である変数ＰがＬＳＢか否か、すなわち、全ビットのスキャン（スキャンダウン処理）が終了したか否かを判定する（Ｓ１０５）。
　Ｓ１０５で変数ＰがＬＳＢ以外の場合、すなわち、全ビットのスキャンが終了していない場合、データ処理装置１００は、次のスキャンのために、変数ＰをＬＳＢ側に一つ（１ビット）移動し（Ｓ１０６）、Ｓ１０２以降で次のビット列に対するビットスキャン処理を繰り返す。
　また、Ｓ１０５で変数ＰがＬＳＢである場合、すなわち、全ビットのスキャンが終了した場合、Ｓ１０４で更新されたマスクデータ（０以外のマスク処理結果）である変数Ａを出力する（Ｓ１０７）。この処理結果のうち、ビットがＯＮの位置が、マスタマスクで指定された対象データにおける最小値のレコード位置を示しており、本実施の形態では、これを同値データのグルーピング結果として出力する。
　次に、データ処理装置１００は、マスタマスクとマスクデータである変数Ａの反転データ（ＮＯＴ）をＡＮＤ演算し、その結果によりマスタマスクを更新する（Ｓ１０８）。この処理により、マスタマスクの中のＯＮビット（処理対象のレコード位置に対応）のうち、今回の出力によって既に処理が完了したデータに対するレコード位置のビットがＯＦＦになる。なお、この処理にはマスタマスクとマスクデータである変数Ａの排他的論理和（ＸＯＲ）演算を使っても良い。次に、データ処理装置１００は、更新したマスタマスクが０か否か、すなわち、全データ処理（ソート処理）が終了したか否かを判定する（Ｓ１０９）。Ｓ１０９でマスタマスクが０以外の場合、すなわち、まだ処理すべきデータが残っている場合は、Ｓ１０１以降でスキャンダウン処理を繰り返す。また、Ｓ１０９でマスタマスクが０の場合、すなわち、全データ処理が終了した場合、処理を終了する。
　図４は、本実施の形態に係るデータ処理方法のフローチャートの他の例を示している。図４は、図３に示したスキャンダウンによる基本グルーピングソート処理において、さらに、処理結果を早期検出する例である。
　図４の例では、Ｓ１０４でマスクデータである変数Ａを変数Ｂにより更新した後、更新されたマスクデータ（０以外のマスク処理結果）である変数ＡのＯＮビットが一つのみか否かを判定する（Ｓ１１０）。Ｓ１１０で変数ＡのＯＮビットが一つのみではない場合は、更に絞り込みを行える可能性があるため、Ｓ１０５に進み全ビットのスキャンが終了したか否か判定する。一方、Ｓ１１０で変数ＡのＯＮビットが一つのみの場合は、それ以上の絞り込みが不可能なため、Ｓ１０７に進み、マスクデータ（マスク処理結果）である変数Ａを出力する。このように、マスク処理結果のＯＮビットが１つとなった場合は、この時点で対象のレコードが1つに絞られ、処理結果が求まっている。このため、図４のように、１ビットだけがＯＮとなるマスク処理結果を検出することで、最終ビット（ＬＳＢ）までスキャンすることなく処理結果を求めることができ、処理ステップを削減できる。
＜昇順の基本グルーピングソート処理の動作例＞
　図５Ａ及び図５Ｂは、本実施の形態に係るデータ処理の動作例を示している。図５Ａ及び図５Ｂは、図３に示したようにスキャンダウンによる基本グルーピングソート処理を昇順に行う場合の例である。
　図５Ａ及び図５Ｂの例では、レコード番号（ＲｅｃＮｏ）０～５の６レコードのデータが入力される。レコード番号０のデータ値が９、レコード番号１のデータ値が６、レコード番号２のデータ値が３、レコード番号３のデータ値が６、レコード番号４のデータ値が９、レコード番号５のデータ値が６である。各データは４ビットデータであり、各データのビット列（ビット位置）を［０］～［３］（ＬＳＢ～ＭＳＢ）とする。また、スキャンデータ及びマスクデータはレコード数である６ビットとなる。
　図５Ａに示すように、４個のスキャンデータに対し１回目のスキャンダウン処理を行う。１回目のスキャンダウン処理では、マスタマスクの初期値は、“１１１１１１”であり（Ｓ２０１）、全データ（レコード番号０～５）がソート対象となる。
　１回目のスキャンダウン処理では、まず、ビット列［３］（ＭＳＢ）のスキャンデータを使いビットスキャン処理を行う。具体的には、マスタマスク“１１１１１１”をマスクデータとして、ビット列［３］のスキャンデータ“１０００１０”をＮＯＴ演算した結果の“０１１１０１”をマスクにかけることで、マスク結果は“０１１１０１”となる（Ｓ２０２）。
　次に、ビット列［２］のスキャンデータを使いビットスキャン処理を行う。具体的には、ビット列［３］のマスク結果“０１１１０１”をマスクデータとして、ビット列［２］のスキャンデータ“０１０１０１”をＮＯＴ演算した結果“１０１０１０”をマスクにかけ、マスク結果は“００１０００”となる（Ｓ２０３）。
　次に、ビット列［１］のスキャンデータを使いビットスキャン処理を行う。具体的には、ビット列［２］のマスク結果“００１０００”をマスクデータとしてビット列［１］のスキャンデータ“０１１１０１”をＮＯＴ演算した結果“１０００１０”をマスクにかけ、マスク結果はオール０（“００００００”）となる（Ｓ２０４）。このように、マスク結果がすべて０に成ってしまう場合は、前記フローチャートのＳ１０３の判定の通り、マスク結果の更新は行わず、直前の有効なマスクであるビット列［２］のマスク結果である“００１０００”を次の処理のマスクとして引き継ぐ。
　次に、ビット列［０］（ＬＳＢ）のスキャンデータを使いビットスキャン処理を行う。この前の処理で、ビット位置［１］のマスク結果が０であったため、引き継いだビット列［２］のマスク結果“００１０００”をマスクデータとして、ビット列［０］のスキャンデータ“１０１０１０”をＮＯＴ演算した結果“０１０１０１”をマスクにかけ、マスク結果はオール０となる（Ｓ２０５）。ここでも同様に、マスク結果がすべて０に成ってしまうため、マスク結果の更新は行わず、直前の有効なマスクであるビット列［２］のマスク結果である“００１０００”を次の処理のマスクとして引き継ぐ。
　次に、１回目のスキャンダウン処理が終了したため、処理結果を出力する。具体的には、直前で引き継いだマスク結果である“００１０００”を１回目のスキャンダウン処理の結果として出力する（Ｓ２０６）。すなわち、“００１０００”のＯＮビットに対応するレコード番号２のデータが最小値のデータ（第１のグルーピング結果）となる。
　次に、１回目のスキャンダウン処理結果によりマスタマスクを更新する。具体的には、現在のマスタマスク“１１１１１１”に対し、１回目のスキャンダウン処理結果をＮＯＴ演算した値である“１１０１１１”でマスクをかけ、そのマスク結果“１１０１１１”を次の２回目のスキャンダウン用の新しいマスタマスクとする（Ｓ２０７）。なお、この演算は、図３のフローチャートのＳ１０８で示すように、現在のマスタマスク“１１１１１１”と１回目のスキャンダウン処理結果“００１０００”をＸＯＲ演算した結果でも同じである。
　次に、２回目のスキャンダウン処理を行う。２回目のスキャンダウン処理では、新しいマスタマスク“１１０１１１”を用いて（Ｓ２１１）、レコード番号０、１、３、４、５のデータをソート対象として、４個のスキャンデータを使ってビットスキャン処理を行う。１回目のスキャンダウン処理と同様に、ビット列［３］のスキャンデータを使いビットスキャン処理を行うと、マスク結果は“０１０１０１”となり（Ｓ２１２）、ビット列［２］のスキャンデータを使いビットスキャン処理を行うと、マスク結果はオール０となり（Ｓ２１３）、ビット列［１］のスキャンデータを使いビットスキャン処理を行うと、マスク結果はオール０となり（Ｓ２１４）、ビット列［０］のスキャンデータを使いビットスキャン処理を行うと、マスク結果は“０１０１０１”となる（Ｓ２１５）。細かな説明は省略しているが、1回目同様、ビットスキャンの結果がすべて０に成る場合は、マスクの更新は行わず、直前の有効なマスクを引き継いだ上で、次のビットスキャン処理を行う。
　この結果２回目のスキャンダウン処理の結果は、ビット列［０］のマスク結果“０１０１０１”となる（Ｓ２１６）。すなわち、“０１０１０１”のＯＮビットのレコード番号１、３、５に対応するデータが２番目に小さいデータ（第２のグルーピング結果）として出力される。また、現在のマスタマスク“１１０１１１”と２回目のスキャンダウン処理結果をＮＯＴ演算した結果“１０１０１０”とをマスクし、次の３回目のスキャンダウン用の新しいマスタマスクを“１０００１０”とする（Ｓ２１７）。
　次に、３回目のスキャンダウン処理を行う。３回目のスキャンダウン処理では、新しいマスタマスク“１０００１０”を用いて（Ｓ２２１）、レコード番号０、４のデータをソート対象として、４個のスキャンデータを使ってビットスキャン処理を行う。１回目のスキャンダウン処理と同様に、ビット列［３］のスキャンデータを使いビットスキャン処理を行うと、マスク結果はオール０となり（Ｓ２２２）、ビット列［２］のスキャンデータを使いビットスキャン処理を行うと、マスク結果は“１０００１０”となり（Ｓ２２３）、ビット列［１］のスキャンデータを使いビットスキャン処理を行うと、マスク結果は“１０００１０”となり（Ｓ２２４）、ビット列［０］のスキャンデータを使いビットスキャン処理を行うと、マスク結果はオール０となる（Ｓ２２５）。２回目同様、ビットスキャンの結果がすべて０に成る場合は、マスクの更新は行わず、直前の有効なマスクを引き継いだ上で、次のビットスキャン処理を行う。
　３回目のスキャンダウン処理の結果は、ビット列［０］のマスク結果が０であるため、ビット列［１］のマスク結果“１０００１０”を引き継いだものとなる（Ｓ２２６）。すなわち、“１０００１０”のＯＮビットのレコード番号０、４に対応するデータが３番目に小さいデータ（第３のグルーピング結果）として出力される。また、現在のマスタマスク“１０００１０”と３回目のスキャンダウン処理の結果をＮＯＴ演算した結果“０１１１０１”をマスクすると結果が“００００００”となり、全ビットがＯＦＦのため、処理を終了する（Ｓ２２７）。
　図５Ａ及び図５Ｂに示すように、各スキャンダウン処理の結果において、同値のレコード（データ）については同時に該当するビットがＯＮとなるため、スキャンダウン処理の結果を同値のグルーピング結果として出力する。図５Ａ及び図５Ｂの例では、昇順のグルーピングソート処理の結果は、個数＝３、レコード番号＝(２），(１，３，５），（０，４）となる。
　なお、グルーピング結果（ビットスキャン処理の結果）のＯＮビットの個数を数えることで、グループに属するレコードのカウント値を取得（出力）してもよい。また、グルーピング結果を使い、それらの該当するレコードの特定の要素（データ値）を加算することで合計を求めてもよいし、その合計をグループに属するレコード件数で割ることで平均を求めてもよい。さらに、グルーピングの結果から、各々一つのみのデータを抽出することで、重複排除の結果（ユニーク値の集合）を取得してもよい。
＜降順の基本グルーピングソート処理の処理フロー＞
　図６は、本実施の形態に係るデータ処理方法のフローチャートの別の例を示している。図６は、スキャンダウンによる基本グルーピングソート処理を降順に行う場合の例である。図６の例では、図３の昇順のフローチャートに対し、Ｓ１０２ａの処理のみが異なる。すなわち、Ｓ１０２ａにおいて、マスク処理として、降順にソートするため、マスクデータである変数ＡとＰビット列のスキャンデータをそのままＡＮＤ演算し、そのＡＮＤ演算結果を変数Ｂに設定する。
＜降順の基本グルーピングソート処理の動作例＞
　図７Ａ及び図７Ｂは、本実施の形態に係るデータ処理の他の動作例を示している。図７Ａ及び図７Ｂは、図６に示したようにスキャンダウンによる基本グルーピングソート処理を降順に行う場合の例である。図７Ａ及び図７Ｂの例では、図５Ａ及び図５Ｂと同じデータが入力される。
　図７Ａに示すように、図５Ａと同様、マスタマスク“１１１１１１により、１回目のスキャンダウンを行う（Ｓ３０１）。ビット列［３］のビットスキャン処理では、マスタマスク“１１１１１１”をマスクデータとして、ビット列［３］のスキャンデータ“１０００１０”をマスクにかけ、マスク結果が“１０００１０”となる（Ｓ３０２）。ビット列［２］のビットスキャン処理では、ビット列［３］のマスク結果“１０００１０”をマスクデータとして、ビット列［２］のスキャンデータ“０１０１０１”をマスクにかけ、マスク結果がオール０（“００００００”）となる（Ｓ３０３）。マスク結果がすべて０に成ってしまうため、前記図５Ａの昇順処理で示したＳ２０４同様、マスク結果の更新は行わず、直前の有効なマスクであるビット列［３］のマスク結果である“ １０００１０”を次の処理のマスクとして引き継ぐ。
　ビット列［１］のビットスキャン処理では、引き継いだマスク結果“１０００１０”をマスクデータとして、ビット位置［１］のスキャンデータ“０１１１０１”をマスクにかけ、マスク結果がオール０となる（Ｓ３０４）。ここでもマスク結果がすべて０になるため、ビット列［３］のマスク結果“１０００１０”をマスクデータとして引き継ぎ、ビット列［０］のスキャンデータ“１０１０１０”をマスクにかけ、マスク結果が“１０００１０”となる（Ｓ３０５）。
　１回目のスキャンダウン処理の結果は、ビット列［０］のマスク結果“１０００１０”となる（Ｓ３０６）。すなわち、“１０００１０”のＯＮビットのレコード番号０、４に対応するデータが最大値のデータ（第１のグルーピング結果）として出力される。また、現在のマスタマスク“１１１１１１”と１回目のスキャンダウン処理結果をＮＯＴ演算した結果“０１１１０１”とをマスクすることにより、次の２回目のスキャンダウン用の新しいマスタマスクを“０１１１０１”とする（Ｓ３０７）。
　次に、２回目のスキャンダウン処理を行う。２回目のスキャンダウン処理では、新しいマスタマスク“０１１１０１”を用いて（Ｓ３１１）、レコード番号１、２、３、５のデータをソート対象として、１回目のスキャンダウン処理と同様にビットスキャン処理を行う。ビット列［３］のスキャンデータのマスク結果はオール０となり（Ｓ３１２）、ビット列［２］のスキャンデータのマスク結果は“０１０１０１”となり（Ｓ３１３）、ビット列［１］のスキャンデータのマスク結果は“０１０１０１”となり（Ｓ３１４）、ビット列［０］のスキャンデータのマスク結果はオール０となる（Ｓ３１５）。なお、前記同様、ビットスキャンの結果がすべて０に成る場合は、マスクの更新は行わず、直前の有効なマスクを引き継いだ上で、次のビットスキャン処理を行う。
　２回目のスキャンダウン処理の結果は、ビット列［０］のマスク結果が０であるため、ビット列［１］のマスク結果“０１０１０１”となる（Ｓ３１６）。すなわち、“０１０１０１”のＯＮビットのレコード番号１、３、５が２番目に大きいデータ（第２のグルーピング結果）として出力される。また、現在のマスタマスク“０１１１０１”と２回目のスキャンダウン処理結果をＮＯＴ演算した結果“１０１０１０”をマスクすることにより、次の３回目のスキャンダウン用の新しいマスタマスクを“００１０００”とする（Ｓ３１７）。
　次に、３回目のスキャンダウン処理を行う。３回目のスキャンダウン処理では、新しいマスタマスク“００１０００”を用いて（Ｓ３２１）、レコード番号２のデータをソート対象として、１回目のスキャンダウン処理と同様にビットスキャン処理を行う。ビット列［３］のスキャンデータのマスク結果はオール０となり（Ｓ３２２）、ビット列［２］のスキャンデータのマスク結果はオール０となり（Ｓ３２３）、ビット列［１］のスキャンデータのマスク結果は“００１０００”となり（Ｓ３２４）、ビット列［０］のスキャンデータのマスク結果は“００１０００”となる（Ｓ３２５）。ここでも、前記同様、ビットスキャンの結果がすべて０に成る場合は、マスクの更新は行わず、直前の有効なマスクを引き継いだ上で、次のビットスキャン処理を行う。
　３回目のスキャンダウン処理の結果は、ビット列［０］のマスク結果“００１０００”となる（Ｓ３２６）。すなわち、“００１０００”のＯＮビットのレコード番号２に対応するデータが３番目に大きいデータ（第３のグルーピング結果）として出力される。また、現在のマスタマスク“００１０００”と３回目のスキャンダウン処理結果をＮＯＴ演算した結果“１１０１１１”とのマスク結果が“００００００”となり、全ビットがＯＦＦのため、処理を終了する（Ｓ３２７）。図７Ａ及び図７Ｂの例では、降順のグルーピングソート処理の結果は、個数＝３、レコード番号＝（０，４），(１，３，５），(２）となる。
＜本実施の形態の効果＞
　以上のように、本実施の形態における基本グルーピングソート処理では、ビットスキャン方向に対して直交する形で格納したデータのビットに対し、単純にＭＳＢを開始位置として、ＬＳＢ方向に対してデータをスキャンダウンしていくことにより、最終的なグルーピングデータを抽出することができる。また、この動作に、未処理データを示すマスタマスクを組み合わせ、スキャンダウンの結果をマスタマスクから減算し、マスタマスクの有効ビットが無くなるまで、ループ処理を繰り返すことにより、全グルーピングデータを順次抽出することができる。このような処理により、効率よく高速にグルーピング処理を行うことが可能となる。
　特に、本実施の形態のグルーピング処理では、上記のように、処理対象のデータをＯＮビットの位置で示すマスタマスクを使用し、そのマスタマスクにより初期化されたマスクデータに対し、データの各ビット位置をＭＳＢからＬＳＢに向かって、降順ソートの場合はＡＮＤ演算を行い、昇順ソートの場合はＡＮＤＮｏｔ演算を行う。そして、この演算の途中で、マスクデータが０になる場合は、単純にその回の演算結果は捨てて、演算前のマスクデータを引き継ぐだけでよい。これにより、特許文献１及び２、非特許文献１及び２のような関連する技術と比べて、大幅に処理ステップ数を減らすことができる。そもそも、関連する技術には、グルーピング処理に関する記載もないため、本実施の形態のようにグルーピング処理に適用することはできない。
　また、特許文献１及び２のような関連する技術では、各ビット位置が２のｎ乗に相当する値を持つことを前提としている。このため、ＢＣＤ（２進化１０進）コードを使用するような形態では処理が行えるが、ＢＣＤコードに変換できない浮動小数点のようなデータに対しては、同じ形で処理を行うことができない。例えば、浮動小数点数値（ＩＥＥＥ７５４形式）は、符号ビット、指数部、仮数部から構成されているため、関連する技術のロジックで使われている、特定のビットが２のｎ乗に相当するという理論は成立しない。しかしながら、浮動小数点数値では、符号ビットを除いた他のビットの配置は、より上位のビットが立っている数値は、ビットが立っていない数値に対して大きい値になるように設計されている。従って、スキャンダウンを使った本実施の形態の方式では論理に矛盾が生じることはなく、浮動小数点の最大、最小についても検出が可能になる。同様に、辞書式の文字列に対しても適用が可能になる。
　さらに、本実施の形態でメモリに格納されるデータの横方向（１ワード）のビットサイズは、例えばＩｎｔｅｌ（登録商標）の最近のＣＰＵ（Central Processing Unit）を利用する場合であれば、一般のＩｎｔ系のデータの８ビット、１６ビット、３２ビット、６４ビットとすることができる。また、ＡＶＸと呼ぶＳＩＭＤ（Single Instruction/Multiple Data）命令で利用できる２５６ビットや５１２ビットとすることもでき、Ａｒｍ（登録商標）であればＮｅｏｎと呼ぶＳＩＭＤで利用できる１２８ビットとすることも可能である。また、特許文献１及び２のＤＢＰを利用する場合は、さらに大きなビット幅を使って処理することができる。加えて、最近利用が広まっているＧＰＧＰＵ（General-purpose computing on graphics processing units）についても、数千のコアに対しビット演算系の命令を使って処理を行うことで、ＧＰＧＰＵの並列処理の特性を生かした処理を行うことが可能である。一方、Java（登録商標）のような中間コードを経由して実行するような言語の場合は、ＳＩＭＤを有効に使うＶｅｃｔｏｒＡＰＩなどの手段を使うことで、実施が可能になる。さらに、既存のハードウェア上でソフトウェアによる演算ロジックとして動作が可能なことから、その内容をＦＰＧＡ（Field Programmable Gate Array）に組み込んで、ハードウェア的な回路として実施することも可能である。従って、本実施の形態は、モバイルを含む組み込み系から、大規模なクラスターを構成するクラウドシステムまで、ほぼ全てのコンピュータシステムに適用可能である。特にクラスター構成では、グルーピング結果がソート済みの状態で逐次出力されるため、上位の集約ノードでは、下位ノードのグルーピング結果を、単純なマージ処理によってまとめるだけで、全体のグルーピング結果についても、逐次出力を行うことが出来る。
（実施の形態２）
　次に、実施の形態２について説明する。本実施の形態では、実施の形態１のデータ処理装置において、さらにデータ処理を中断及び再開する例について説明する。
＜データ処理装置の構成＞
　図８は、本実施の形態に係るデータ処理装置の構成例を示している。図８に示すように、本実施の形態に係るデータ処理装置１００は、実施の形態１の構成に加えて、マスク退避部１３１を備えている。マスク退避部１３１は、スキャンダウン処理の中断時、マスク保持部１３０のマスタマスクを退避する。例えば、スキャンダウン処理結果により任意の数（指定件数）のデータが得られたときに、マスタマスクを退避して、処理を中断し、結果を出力してもよい。また、スキャンダウン処理の再開時、マスク退避部１３１に退避されたマスタマスクをマスク保持部１３０に回復し、回復したマスタマスクを用いて、スキャンダウン処理を行う。
＜昇順のソート処理の動作例＞
　図９Ａ及び図９Ｂは、本実施の形態に係るデータ処理の動作例を示している。図９Ａ及び図９Ｂは、実施の形態１と同様にスキャンダウンによる基本グルーピングソート処理を昇順に行う際に、処理を中断し、その後、処理を再開する場合の例である。なお、ここではデータが単純にソートされる例を示すが、これに限らず、実施の形態１と同様にグルーピングソートすることが可能である。なお、以降の説明では、前記で示してきた、ビットスキャンの結果がすべて０に成る場合は、マスクの更新は行わず、直前の有効なマスクを引き継いだ上で、次のビットスキャン処理を行うという処理は、処理中に含まれているものとして説明する。
　図９Ａ及び図９Ｂの例では、レコード番号０～３の４レコードのデータが入力される。レコード番号０のデータ値が０、レコード番号１のデータ値が５、レコード番号２のデータ値が１０、レコード番号３のデータ値が３である。各データはビット列［０］～［３］の４ビットデータであり、スキャンデータ及びマスクデータも４ビットである。
　図９Ａに示すように、実施の形態１と同様、マスタマスク“１１１１”により、１回目のスキャンダウンを行う（Ｓ４０１）。ビット列［３］のスキャンデータのマスク結果は“１１０１”となり（Ｓ４０２）、ビット列［２］のスキャンデータのマスク結果は“１００１”となり（Ｓ４０３）、ビット列［１］のスキャンデータのマスク結果は“１０００”となり（Ｓ４０４）、ビット列［０］のスキャンデータのマスク結果は“１０００”となる（Ｓ４０５）。
　１回目のスキャンダウン処理の結果は、ビット列［０］のマスク結果“１０００”となる（Ｓ４０６）。すなわち、“１０００”のＯＮビットのレコード番号０が最小値のデータとして出力される。また、現在のマスタマスク“１１１１”と１回目のスキャンダウン処理結果をＮＯＴ演算した結果“０１１１”を使いマスクすることにより、次の２回目のスキャンダウン用の新しいマスタマスクを“０１１１”とする（Ｓ４０７）。
　次に、２回目のスキャンダウン処理では、新しいマスタマスク“０１１１”を用いて（Ｓ４１１）、レコード番号１、２、３のデータをソート対象として、１回目のスキャンダウン処理と同様にビットスキャン処理を行う。ビット列［３］のスキャンデータのマスク結果は“０１０１”となり（Ｓ４１２）、ビット列［２］のスキャンデータのマスク結果は“０００１”となり（Ｓ４１３）、ビット列［１］のスキャンデータのマスク結果はオール０（“００００”）となり（Ｓ４１４）、ビット列［０］のスキャンデータのマスク結果はオール０となる（Ｓ４１５）。
　２回目のスキャンダウン処理の結果は、ビット列［０］及び［１］のマスク結果が０であるため、ビット列［２］のマスク結果“０００１”となる（Ｓ４１６）。すなわち、“０００１”のオンビットのレコード番号３が２番目に小さいデータとして出力される。また、現在のマスタマスク“０１１１”と２回目のスキャンダウン処理結果をＮＯＴ演算した結果“１１１０”とのマスクにより、次の３回目のスキャンダウン用の新しいマスタマスクを“０１１０”とする（Ｓ４１７）。スキャンダウン処理を中断する場合、この時点のマスタマスク“０１１０”をマスク退避部１３１に退避する（Ｓ４１８）。この例は、２個のデータが得られた場合に処理を中断する例であり、中断時のソート処理の結果は、個数＝２、レコード番号＝（０），（３）となる。
　その後、スキャンダウン処理を再開する場合、マスク退避部１３１からマスタマスク“０１１０”を回復する（Ｓ４２０）。次に、３回目のスキャンダウン処理では、回復したマスタマスク“０１１０”を用いて（Ｓ４２１）、レコード番号１、２のデータをソート対象として、１回目のスキャンダウン処理と同様にビットスキャン処理を行う。ビット列［３］のスキャンデータのマスク結果は“０１００”となり（Ｓ４２２）、ビット列［２］のスキャンデータのマスク結果はオール０となり（Ｓ４２３）、ビット列［１］のスキャンデータのマスク結果は“０１００”となり（Ｓ４２４）、ビット列［０］のスキャンデータのマスク結果はオール０となる（Ｓ４２５）。
　３回目のスキャンダウン処理の結果は、ビット列［０］のマスク結果が０であるため、ビット位置［１］のマスク結果“０１００”となる（Ｓ４２６）。すなわち、“０１００”のＯＮビットのレコード番号１が３番目に小さいデータとして出力される。また、現在のマスタマスク“０１１０”と３回目のスキャンダウン処理結果をＮＯＴ演算した結果“１０１１”とのマスクにより、次の４回目のスキャンダウン用の新しいマスタマスクを“００１０”とする（Ｓ４２７）。
　次に、４回目のスキャンダウン処理を行う。４回目のスキャンダウン処理では、新しいマスタマスク“００１０”を用いて（Ｓ４３１）、レコード番号２のデータをソート対象として、１回目のスキャンダウン処理と同様にビットスキャン処理を行う。ビット列［３］のスキャンデータのマスク結果はオール０となり（Ｓ４３２）、ビット列［２］のスキャンデータのマスク結果は“００１０”となり（Ｓ４３３）、ビット列［１］のスキャンデータのマスク結果はオール０となり（Ｓ４３４）、ビット列［０］のスキャンデータのマスク結果は“００１０”となる（Ｓ４３５）。
　４回目のスキャンダウン処理の結果は、ビット列［０］のマスク結果“００１０”となる（Ｓ４３６）。すなわち、“００１０”のＯＮビットのレコード番号２が４番目に小さいデータとして出力される。また、現在のマスタマスク“００１０”と４回目のスキャンダウン処理結果をＮＯＴ演算した結果“１１０１”とのマスク結果が“００００”となり、全ビットがＯＦＦのため、処理を終了する（Ｓ４３７）。再開後のソート処理の結果は、個数＝２、レコード番号＝（１），（２）となる。
＜本実施の形態の効果＞
　以上のように、本実施の形態では、スキャンダウンによるグルーピングソート処理において、グルーピングにより任意の数のデータを取得した時点で、一旦マスタマスクを退避しておくことで、グルーピングソート処理を中断し、それまでのグルーピングソート結果を出力することができる。これにより、特定のグルーピングキーにランキング評価値が格納されているような場合、この値の上位、もしくは下位から指定件数だけを、効率よく取得することが可能になる。
　さらに、退避しておいたマスタマスクを回復し、スキャンダウン処理を再開することで、中断前の状態からの継続（インクリメンタル）としてのグルーピングソート結果を取得し、中断位置から処理を再開することができる。グルーピングソート結果は必ず昇順または降順で先頭から順番に出力されるため、先頭から１０件や１００件などの件数のデータのみを取得することも可能で、その場合の処理コストは取得する件数に比例する。なお、マスタマスクは処理対象を絞り込む機能を持つため、何らかの事前絞り込み処理の結果によりマスタマスクを設定（対象レコードのビットのみＯＮ）してもよい。
（実施の形態３）
　次に、実施の形態３について説明する。本実施の形態では、実施の形態１、２のデータ処理装置において、ビットスキャン処理の開始前に処理対象のデータを絞り込むことでポジショナルグルーピング処理を行う例について説明する。
＜データ処理装置の構成＞
　図１０は、本実施の形態に係るデータ処理装置の構成例を示している。図１０に示すように、本実施の形態に係るデータ処理装置１００は、実施の形態１の構成に加えて、絞り込み部１３２を備えている。
　絞り込み部１３２は、グルーピングソート処理を行う前に、グルーピングソート処理の対象となるデータを所定の範囲に絞り込む。絞り込み部１３２は、入力データからソート対象のデータを絞り込み、絞り込み結果に応じてマスク保持部１３０のマスタマスクを更新する。絞り込み部１３２は、Ｎ個のスキャンデータに対しビット列順にビットスキャン処理（すなわち、スキャンダウン処理）を行うことで、入力データから所定の範囲のデータを抽出する。例えば、昇順にソートする場合、絞り込みの基準値を示す絞り込み開始データよりも大きい（または基準値以上の）データを抽出し、降順にソートする場合、絞り込み開始データよりも小さい（または基準値以下の）データを抽出する。これにより、絞り込み開始データの位置からグルーピングソートを開始するポジショナルグルーピング処理を行うことができる。
＜昇順のポジショナルグルーピングソート処理の処理フロー＞
　図１１は、本実施の形態に係るデータ処理方法のフローチャートを示している。図１１は、昇順のポジショナルグルーピング処理の例であり、絞り込み開始データよりも大きいデータに絞り込み（大なり検索し）、絞り込んだデータをグルーピングソートする例である。例えば、以下の処理は主に絞り込み部１３２により実行されるが、これに限られない。
　図１１に示すように、まず、データ処理装置１００は、絞り込み処理の初期設定として、スタートマスク（Ｓｔａｒｔ＿ｍａｓｋ）を０に初期化し、変数ＰにＭＳＢ位置を設定する（Ｓ５０１）。スタートマスクは、絞り込み結果により、グルーピングソート処理の開始位置を設定するためのマスクデータである。変数Ｐは、実施の形態１と同様に、取得するスキャンデータのビット列を示す。
　次に、データ処理装置１００は、絞り込み開始データのＰビット列のビットが０（ＯＦＦ）か否か判定する（Ｓ５０２）。絞り込み開始データは、データを所定範囲に絞り込む基準値であり、昇順ソートの場合、抽出（検索）するデータの最小値を示し、降順ソートの場合、抽出するデータの最大値を示す。
　Ｓ５０２で絞り込み開始データのＰビット列のビットが０の場合、データ処理装置１００は、テンポラリ変数（Ｔｍｐ）にマスタマスク（Ｍａｓｋ）を設定し、Ｐビット列のスキャンデータのＮＯＴ演算結果とマスタマスクとをＡＮＤ演算した結果によりマスタマスクを更新し、続けてテンポラリ変数とマスタマスクとをＸＯＲ演算し、さらにそのＸＯＲ演算結果とスタートマスクとをＯＲ（論理和）演算した結果によりスタートマスクを更新する（Ｓ５０３）。また、Ｓ５０２で絞り込み開始データのＰビット列のビットが０以外の場合、データ処理装置１００は、Ｐビット列のスキャンデータとマスタマスクとをＡＮＤ演算した結果によりマスタマスクを更新する（Ｓ５０４）。
　Ｓ５０３またはＳ５０４の後、データ処理装置１００は、処理中のビット列である変数ＰがＬＳＢか否か、すなわち、全ビットのスキャンが終了したか否か判定する（Ｓ５０５）。Ｓ５０５で変数ＰがＬＳＢ以外の場合、すなわち、全ビットのスキャンが終了していない場合、データ処理装置１００は、次のスキャンのために、変数ＰをＬＳＢ側に一つ移動し（Ｓ５０６）、Ｓ５０２以降で次のビット列に対するビットスキャン処理（絞り込み処理）を繰り返す。また、Ｓ５０５で変数ＰがＬＳＢである場合、すなわち、全ビットのスキャンが終了した場合、データ処理装置１００は、絞り込み開始データよりも大きいデータの検索結果（大なり検索結果）としてスタートマスクをマスタマスクに設定する（Ｓ５０７）。なお、絞り込み開始データ以上の検索結果（大なりイコール検索結果）とする場合、求めたスタートマスクと現在のマスタマスクをＯＲ演算した結果をマスタマスクに設定する。その後、実施の形態１で示した昇順のグルーピングソート処理を行う（Ｓ５０８）。
＜大なり検索処理の動作例＞
　図１２は、本実施の形態に係るデータ処理の動作例を示している。図１２は、昇順のポジショナルグルーピングソート処理のための絞り込み処理の例であり、比較値よりも大きいデータを検索する大なり検索の例である。
　図１２の例では、大なり検索のための比較値（絞り込み開始データ）は５であり、レコード番号０～３の４レコードのデータが入力される。レコード番号０のデータ値が３、レコード番号１のデータ値が７、レコード番号２のデータ値が５、レコード番号３のデータ値が１５である。各データはビット列［０］～［３］の４ビットのデータあり、スキャンデータ及びマスクデータは４ビットである。
　図１２に示すように、マスタマスク（ＥｘｉｓｔＭａｓｋ）の初期値は“１１１１”であり（Ｓ６０１）、スタートマスク（ＧｒｅａｔｅｒＭａｓｋ）の初期値は“００００”である（Ｓ６０２）。
　まず、比較値のビット列［３］が０であるため、ビット列［３］のスキャンデータに対しビットスキャン処理及びスタートマスク更新処理を行う。具体的には、マスタマスク“１１１１”をマスクデータとして、ビット列［３］のスキャンデータ“０００１”をＮＯＴ演算した結果“１１１０”をマスクにかけ、マスク結果が“１１１０”となる（Ｓ６０３）。さらに、マスクデータ“１１１１”とマスク結果“１１１０”をＸＯＲ演算し、ＸＯＲ結果“０００１”とスタートマスク“００００”をＯＲ演算し、その結果によりスタートマスクを“０００１”とする（Ｓ６０４）。
　次に、比較値のビット列［２］が１であるため、ビット列［２］のスキャンデータに対しビットスキャン処理を行う。具体的には、ビット列［３］のマスク結果“１１１０”をマスクデータとして、ビット列［２］のスキャンデータ“０１１１”をマスクにかけ、マスク結果が“０１１０”となる（Ｓ６０５）。
　次に、比較値のビット列［１］が０であるため、ビット列［１］のスキャンデータに対しビットスキャン処理及びスタートマスク更新処理を行う。具体的には、ビット列［２］のマスク結果“０１１０”をマスクデータとして、ビット列［１］のスキャンデータ“１１０１”をＮＯＴ演算した結果“００１０”をマスクにかけ、マスク結果が“００１０”となる（Ｓ６０６）。さらに、マスクデータ“０１１０”とマスク結果“００１０”をＸＯＲ演算し、ＸＯＲ結果“０１００”とスタートマスク“０００１”をＯＲ演算し、その結果によりスタートマスクを“０１０１”とする（Ｓ６０７）。
　次に、比較値のビット列［０］が１であるため、ビット列［０］のスキャンデータに対しビットスキャン処理を行う。具体的には、ビット列［１］のマスク結果“００１０”をマスクデータとして、ビット列［０］のスキャンデータ“１１１１”にマスクをかけ、マスク結果が“００１０”となる（Ｓ６０８）。
　これにより、ビット列［０］のマスク結果“００１０”が同値検索の結果となる（Ｓ６０９）。すなわち、“００１０”のＯＮビットのレコード番号２が比較値５と同値のデータとなる。また、ビット列［１］で更新されたスタートマスク“０１０１”が大なり検索の結果となる（Ｓ６１０）。すなわち、“０１０１”のＯＮビットのレコード番号１、３が比較値５よりも大きいデータとなる。さらに、大なりイコールの検索結果とする場合は、同値の結果“００１０”とスタートマスク“０１０１”をＯＲ演算することにより、“０１１１”が得られ、これが大なりイコールの検索結果となる。
　このように、スタートマスク（ＧｒｅａｔｅｒＭａｓｋ）を用意し、このスタートマスクに、比較値のビットがＯＦＦのビット列について、検索先のデータビットがＯＮの箇所を論理和（ＯＲ）していくことにより、比較値よりも大きいデータを検索する大なり検索の結果が得られる。本実施の形態では、この検索処理により得られるスタートマスクをグルーピングソート（昇順）開始時のマスクデータとする。また、大なりイコール（比較値以上）のデータを検索する場合は、大なり検索結果と同値結果を論理和演算した結果をマスクデータとする。なお、図１２において、ビットスキャン処理でマスク結果が０となった場合、未処理データが無いと判断して、検索処理を早期終了してもよい。
＜降順のポジショナルグルーピングソート処理の処理フロー＞
　図１３は、本実施の形態に係るデータ処理方法のフローチャートの他の例を示している。図１３は、降順のポジショナルグルーピング処理の例であり、絞り込み開始データよりも小さいデータに絞り込み（小なり検索）し、絞り込んだデータをグルーピングソートする例である。図１３では、図１１の昇順のフローチャートに対し、Ｓ５０２ａ、Ｓ５０３ａ、Ｓ５０４ａ、Ｓ５０８ａが異なる。
　すなわち、降順の場合、Ｓ５０１の後、データ処理装置１００は、絞り込み開始データのＰビット列のビットが１（ＯＮ）か否か判定する（Ｓ５０２ａ）。Ｓ５０２ａで絞り込み開始データのＰビット列のビットが１の場合、データ処理装置１００は、テンポラリ変数（Ｔｍｐ）にマスタマスク（Ｍａｓｋ）を設定し、続けてＰビット列のスキャンデータとマスタマスクとをＡＮＤ演算した結果によりマスタマスクを更新し、さらにテンポラリ変数とマスタマスクとをＸＯＲ演算し、そのＸＯＲ演算結果とスタートマスクとをＯＲ演算した結果によりスタートマスクを更新する（Ｓ５０３ａ）。また、絞り込み開始データのＰビット列のビットが１以外の場合、データ処理装置１００は、Ｐビット列のスキャンデータのＮＯＴ演算結果とマスタマスクとをＡＮＤ演算した結果によりマスタマスクを更新する（Ｓ５０４ａ）。さらに、Ｓ５０７のマスタマスクの更新後、実施の形態１で示した降順のグルーピングソート処理を行う（Ｓ５０８ａ）。
＜小なり検索処理の動作例＞
　図１４は、本実施の形態に係るデータ処理の他の動作例を示している。図１４は、降順のポジショナルグルーピングソート処理のための絞り込み処理の例であり、比較値よりも小さいデータを検索する小なり検索の例である。図１４の例では、小なり検索のための比較値（絞り込み開始データ）及び入力されるデータは図１２と同じである。
　図１４に示すように、マスタマスク（ＥｘｉｓｔＭａｓｋ）の初期値は“１１１１”であり（Ｓ７０１）、スタートマスク（ＬｅｓｓＭａｓｋ）の初期値は“００００”である（Ｓ７０２）。
　まず、比較値のビット列［０］が０であるため、ビット列［３］のスキャンデータに対しビットスキャン処理を行う。具体的には、マスタマスク“１１１１”をマスクデータとして、ビット列［３］のスキャンデータ“０００１”をＮＯＴ演算した結果“１１１０”をマスクにかけ、マスク結果が“１１１０”となる（Ｓ７０３）。
　次に、比較値のビット列［２］が１であるため、ビット列［２］のスキャンデータに対しビットスキャン処理及びスタートマスク更新処理を行う。具体的には、ビット列［３］のマスク結果“１１１０”をマスクデータとして、ビット列［２］のスキャンデータ“０１１１”をマスクにかけ、マスク結果が“０１１０”となる（Ｓ７０４）。さらに、マスクデータ“１１１０”とマスク結果“０１１０”をＸＯＲ演算し、ＸＯＲ結果“１０００”とスタートマスク“００００”をＯＲ演算し、その結果によりスタートマスクを“１０００”とする（Ｓ７０５）。
　次に、比較値のビット列［１］が０であるため、ビット列［１］のスキャンデータに対しビットスキャン処理を行う。具体的には、ビット列［２］のマスク結果“０１１０”をマスクデータとして、ビット列［１］のスキャンデータ“１１０１”をＮＯＴ演算した結果“００１０”をマスクにかけ、マスク結果が“００１０”となる（Ｓ７０６）。
　次に、比較値のビット列［０］が１であるため、ビット列［０］のスキャンデータに対しビットスキャン処理及びスタートマスク更新処理を行う。具体的には、ビット列［１］のマスク結果“００１０”をマスクデータとして、ビット列［０］のスキャンデータ“１１１１”をマスクにかけ、マスク結果が“００１０”となる（Ｓ７０７）。さらに、マスクデータ“００１０”とマスク結果“００１０”をＸＯＲ演算し、ＸＯＲ結果“００００”とスタートマスク“１０００”をＯＲ演算し、その結果によりスタートマスクを“１０００”とする（Ｓ７０８）。
　これにより、ビット列［０］のマスク結果“００１０”が同値検索の結果となる（Ｓ７０９）。すなわち、“００１０”のＯＮビットのレコード番号２が比較値５と同値のデータとなる。また、ビット列［０］で更新されたスタートマスク“１０００”が小なり検索の結果となる（Ｓ７１０）。すなわち、“１０００”のＯＮビットのレコード番号０が比較値５よりも小さいデータとなる。小なりイコール検索の場合は、同値の結果“００１０”とスタートマスク“１０００”をＯＲすることにより、“１０１０”が得られ、これが小なりイコールの検索結果となる。
　このように、スタートマスク（ＬｅｓｓＭａｓｋ）を用意し、このスタートマスクに、比較値のビットがＯＮのビット列について、検索先のデータビットがＯＦＦの箇所を論理和（ＯＲ）していくことにより、比較値よりも小さいデータを検索する小なり検索の結果が得られる。本実施の形態では、この検索処理により得られるスタートマスクをグルーピングソート（降順）開始時のマスクデータとする。また、小なりイコール（比較値以下）データを検索する場合は、小なり検索結果と同値結果を論理和演算した結果をマスクデータとする。なお、図１４において、ビットスキャン処理でマスク結果が０となった場合、未処理データが無いと判断して、検索処理を早期終了してもよい。
＜本実施の形態の効果＞
　以上のように、本実施の形態では、スキャンダウン処理によるグルーピングソート処理において、処理の開始時に、絞り込み開始データを使用して絞り込み処理を行い、その処理結果と連動してグルーピングソート処理を行うことで、絞り込み開始データで指定した任意の位置からグルーピングした結果を得ることができる。例えば、実施の形態２のような取得件数指定と本実施の形態を組み合わせることで、任意の値を開始値とした、任意の件数のグルーピングソートの結果を、取得することが出来る。また、これを応用し、直前のグルーピング結果の最終値を、次のポジショナルグルーピングの開始位置に指定することで、関連する技術を使ったグルーピング処理方式では難しかった、グルーピング結果の部分取得とスクロール動作が可能になる。さらに、ポジショナルグルーピングの開始位置を任意の値に設定することで、ジャンプスクロールの動作にも応用できる。加えて、絞り込み処理をする前のマスタマスクと、絞り込み結果のスタートマスクをＸＯＲすることで、絞り込みによって外れるデータのマスクを得ることも出来るため、この部分の件数の取得や、該当するレコードの特定の要素（データ値）を加算して合計を求めることも出来る。
　なお、昇順、降順いずれのポジショナルグルーピング処理においても、後続のグルーピングソート処理を省略することで、大なり、もしくは小なりのデータ検索処理とすることが出来る。同様に、大なりイコール、小なりイコールの検索結果とする場合は、これに加えて、同値のマスクを単純にＯＲすれば良い。
（実施の形態３の変形例）
　実施の形態３の変形例として、絞り込み部１３２において、絞り込みと同時に、最初のグルーピングソート結果を出力してもよい。
＜昇順のポジショナルグルーピングソート処理の処理フロー＞
　図１５は、本変形例のフローチャートであり、図１１に示した、昇順のポジショナルグルーピング処理の変形例を示している。
　図１５に示すように、まず、データ処理装置１００は、スタートマスク（Ｓｔａｒｔ＿ｍａｓｋ）と変数Ｐの初期設定に加えて、ファーストマスク（Ｆｉｒｓｔ＿ｍａｓｋ）を０に初期化するする（Ｓ５１１）。ファーストマスクは、最も絞り込み開始データに近い最初の抽出データ（グルーピング結果）を示す。
　次に、データ処理装置１００は、絞り込み開始データのＰビット列のビットが０か否か判定し（Ｓ５１２）、絞り込み開始データのＰビット列のビットが０の場合、テンポラリ変数（Ｔｍｐ）にマスタマスク（Ｍａｓｋ）を設定し、Ｐビット列のスキャンデータのＮＯＴ演算結果とマスタマスクとをＡＮＤ演算した結果によりマスタマスクを更新し、続けて、テンポラリ変数とマスタマスクとをＸＯＲ演算した結果で、テンポラリ変数を更新する（Ｓ５１３）。
　次に、データ処理装置１００は、テンポラリ変数が０か否かを判定する（Ｓ５１４）。Ｓ５１４でテンポラリ変数が０以外の場合、すなわち、ビットスキャンにより新たに絞り込み開始データより大きく、より絞り込み開始データに近いデータが抽出された場合、データ処理装置１００は、テンポラリ変数の内容をファーストマスク(最初のグルーピング結果)に設定し、さらにテンポラリ変数とスタートマスクをＯＲ（論理和）演算した結果によりスタートマスクを更新する（Ｓ５１５）。
　また、Ｓ５１２で絞り込み開始データのＰビット列のビットが０以外の場合、データ処理装置１００は、Ｐビット列のスキャンデータとマスタマスクとをＡＮＤ演算した結果によりマスタマスクを更新する（Ｓ５１６）。その後、データ処理装置１００は、Ｓ５１４でテンポラリ変数が０だった場合も含め、Ｐビット列のスキャンデータのＮＯＴ演算結果とファーストマスクをＡＮＤ演算した結果をテンポラリ変数に設定する（Ｓ５１７）。その後、データ処理装置１００は、テンポラリ変数が０か否かを判定する（Ｓ５１８）。Ｓ５１８でテンポラリ変数が０以外の場合、すなわち、Ｓ５１７のビットスキャンにより行われた、小さな値への絞り込みが有効だった場合、データ処理装置１００は、テンポラリ変数の内容をファーストマスクに設定し、最初のグルーピング結果を更新する（Ｓ５１９）。
　Ｓ５１５、またはＳ５１９の後、あるいはＳ５１８でテンポラリ変数が０の場合、データ処理装置１００は、処理中のビット列である変数ＰがＬＳＢか否か、すなわち、全ビットのスキャンが終了したか否か判定する（Ｓ５２０）。Ｓ５２０で変数ＰがＬＳＢ以外の場合、すなわち、全ビットのスキャンが終了していない場合、データ処理装置１００は、次のスキャンのために、変数ＰをＬＳＢ側に一つ移動し（Ｓ５２１）、Ｓ５１２以降で次のビット列に対するビットスキャン処理（絞り込み処理）を繰り返す。
　また、Ｓ５２０で変数ＰがＬＳＢである場合、すなわち、全ビットのスキャンが終了した場合、データ処理装置１００は、最初のグルーピング結果として、ファーストマスクの内容を出力する（Ｓ５２２）。続いて、データ処理装置１００は、ファーストマスクのＮＯＴ演算結果と絞り込み開始データよりも大きいデータの検索結果（大なり検索結果）であるスタートマスクをＡＮＤ演算した結果をマスタマスクに設定する（Ｓ５２３）。その後、このマスタマスクを使い、実施の形態１で示した昇順のグルーピングソートを使って後続のグルーピングソート処理を行う（Ｓ５２４）。なお、絞り込み開始データ以上の検索結果（大なりイコール検索結果）とする場合は、Ｓ５２２の前に、その時点のマスタマスク(同値結果)が０か否かを判定し、０以外なら(同値があれば)、マスタマスクをファーストマスクに設定する。
　なお、図１３と同様、昇順の処理の一部を変更することで、降順のポジショナルグルーピングソート処理を行うことができる。具体的には、降順の場合、図１５の昇順のフローチャートに対し、Ｓ５１２、Ｓ５１３、Ｓ５１６、Ｓ５１７、Ｓ５２４の処理を変更する。すなわち、Ｓ５１２では、絞り込み開始データのＰビット列のビットが１（ＯＮ）か否か判定する。Ｓ５１３では、絞り込み開始データのＰビット列のビットが１の場合に、テンポラリ変数（Ｔｍｐ）にマスタマスク（Ｍａｓｋ）を設定し、Ｐビット列のスキャンデータとマスタマスクとをＡＮＤ演算した結果によりマスタマスクを更新し、続けて、テンポラリ変数とマスタマスクとをＸＯＲ演算した結果で、テンポラリ変数を更新する。Ｓ５１６では、絞り込み開始データのＰビット列のビットが１以外の場合に、Ｐビット列のスキャンデータのＮＯＴ演算結果とマスタマスクとをＡＮＤ演算した結果によりマスタマスクを更新する。Ｓ５１７では、Ｓ５１４でテンポラリ変数が０だった場合も含め、Ｐビット列のスキャンデータとファーストマスクをＡＮＤ演算することで、大きな値への絞り込みを行った結果をテンポラリ変数に設定する。Ｓ５２４では、Ｓ５２３のマスタマスクの更新後に、実施の形態１で示した降順のグルーピングソート処理を行う。
＜大なり検索処理の動作例＞
　図１６Ａ及び図１６Ｂは、本変形例の動作例であり、図１２に示した、昇順のポジショナルグルーピングソートにおける大なり検索処理の動作例の変形例である。
　図１６Ａ及び図１６Ｂの例では、大なり検索のための比較値（絞り込み開始データ）は５であり、レコード番号０～５の６レコードのデータが入力される。レコード番号０のデータ値が３、レコード番号１のデータ値が７、レコード番号２のデータ値が５、レコード番号３のデータ値が１５、レコード番号４のデータ値が６、レコード番号５のデータ値が１０である。各データはビット列［０］～［３］の４ビットのデータあり、スキャンデータ及びマスクデータは６ビットである。
　図１６Ａ及び図１６Ｂに示すように、マスタマスク（ＥｘｉｓｔＭａｓｋ）の初期値は“１１１１１１”であり（Ｓ６１１）、ファーストマスク（ＦｉｒｓｔＭａｓｋ）の初期値は“００００００”であり（Ｓ６１２）、スタートマスク（ＧｒｅａｔｅｒＭａｓｋ）の初期値は“００００００”である（Ｓ６１３）。
　まず、比較値のビット列［３］が０であるため、ビット列［３］のスキャンデータに対しビットスキャン処理及びファーストマスクとスタートマスクの更新処理を行う。具体的には、マスタマスク“１１１１１１”をマスクデータとして、ビット列［３］のスキャンデータ“０００１０１”をＮＯＴ演算した結果“１１１０１０”をマスクにかけ、マスク結果が“１１１０１０”となる（Ｓ６１４）。さらに、マスクデータ“１１１１１１”とマスク結果“１１１０１０”をＸＯＲ演算した結果“０００１０１”でファーストマスクを更新し、続けてファーストマスクとスタートマスク“００００００”をＯＲ演算し、その結果によりスタートマスクを“０００１０１”とする（Ｓ６１５）。
　次に、比較値のビット列［２］が１であるため、ビット列［２］のスキャンデータに対しビットスキャン処理とファーストマスクの更新処理を行う。具体的には、ビット列［３］のマスク結果“１１１０１０”をマスクデータとして、ビット列［２］のスキャンデータ“０１１１１０”をマスクにかけ、マスク結果が“０１１０１０”となる（Ｓ６１６）。さらに、ビット列［３］で更新したファーストマスク“０００１０１”に対し、ビット列［２］のスキャンデータ“０１１１１０”をＮＯＴ演算した結果“１００００１”をＡＮＤ演算し、その結果でファーストマスクを“０００００１”とする（Ｓ６１７）。
　次に、比較値のビット列［１］が０であるため、ビット列［１］のスキャンデータに対しビットスキャン処理及びファーストマスクとスタートマスクの更新処理を行う。具体的には、ビット列［２］のマスク結果“０１１０１０”をマスクデータとして、ビット列［１］のスキャンデータ“１１０１１１”をＮＯＴ演算した結果“００１０００”をマスクにかけ、マスク結果が“００１０００”となる（Ｓ６１８）。さらに、マスクデータ“０１１０１０”とマスク結果“００１０００”をＸＯＲ演算した結果“０１００１０”でファーストマスクを更新し、続けてファーストマスクとスタートマスク“０００１０１”をＯＲ演算し、その結果により、スタートマスクを“０１０１１１”とする（Ｓ６１９）。
　次に、比較値のビット列［０］が１であるため、ビット列［０］のスキャンデータに対しビットスキャン処理とファーストマスクの更新処理を行う。具体的には、ビット列［１］のマスク結果“００１０００”をマスクデータとして、ビット列［０］のスキャンデータ“１１１１００”をマスクにかけ、マスク結果が“００１０００”となる（Ｓ６２０）。さらに、ビット列［１］で更新したファーストマスク“０１００１０”に対し、ビット列［０］のスキャンデータ“１１１１００”をＮＯＴ演算した結果“００００１１”をＡＮＤ演算し、その結果でファーストマスクを“００００１０”とする（Ｓ６２１）。
　これにより、ビット列［０］のマスク結果“００１０００”が同値検索の結果となる（Ｓ６２２）。すなわち、“００１０００”のＯＮビットのレコード番号２が比較値５と同値のデータとなる。また、ビット列［１］で更新されたスタートマスク“０１０１１１”が大なり検索の結果となる（Ｓ６２３）。すなわち、“０１０１１１”のＯＮビットのレコード番号１、３、４，５が比較値５よりも大きいデータとなる。さらに、ビット列［０］で設定したファーストマスク“００００１０”が、最初のポジショナルグルーピング結果となる（Ｓ６２４）。すなわち、“００００１０”のＯＮビットのレコード番号４が、大なり検索で比較値５に最も近いポジショナルグルーピングデータとなる。
　なお、後続のグルーピング処理は、ファーストマスク“ ００００１０”をＮＯＴ演算した結果“１１１１０１”と、Ｓ６２３で得た大なり検索のマスク“０１０１１１”をＡＮＤ演算した結果である“０１０１０１”をマスタマスクとして、基本グルーピングソート(昇順)を行うことで実施する（Ｓ６２５）。また、大なりイコールに対応する場合は、同値の結果“００１０００”を最初のポジショナルグルーピング結果とし、Ｓ６２３で得た大なり検索のマスク“０１０１１１”を基本グルーピングソート(昇順)のマスタマスクに引き継ぐことで処理を行う。
　このように、本変形例では、スタートマスク（ＧｒｅａｔｅｒＭａｓｋ）に加えてファーストマスク（ＦｉｒｓｔＭａｓｋ）を用意し、このファーストマスクに、比較値のビットがＯＦＦのビット列について、検索先のデータビットがＯＮの箇所を設定し、同時に、ファーストマスクをスタートマスクに論理和（ＯＲ）していくことにより、比較値よりも大きく、比較値により近いデータと、大なり検索の結果が得られる。その後は、ファーストマスクを昇順のグルーピング処理と同じく、最小値に向かってスキャンダウンしていくことで、一回のスキャンダウン処理で最初のグルーピング結果と、大なり検索の結果を同時に得られる。本変形例では、この処理により得られるファーストマスクを最初のポジショナルグルーピングの結果とし、以降のグルーピングはスタートマスクからファーストマスクを外したマスク結果を基本グルーピングソート(昇順)開始時のマスクデータとして実施する。また、大なりイコール（比較値以上）のデータを検索する場合は、同値結果を最初のグルーピング結果とし、スタートマスクを基本グルーピングソート(昇順)開始時のマスクデータとする。
＜小なり検索処理の動作例＞
　図１７Ａ及び図１７Ｂは、本変形例の他の動作例であり、図１４に示した、降順のポジショナルグルーピングソートにおける小なり検索処理の動作例の変形例である。図１７Ａ及び図１７Ｂの例では、小なり検索のための比較値（絞り込み開始データ）及び入力されるデータは図１６Ａ及び図１６Ｂと同じである。
　図１７Ａ及び図１７Ｂに示すように、マスタマスク（ＥｘｉｓｔＭａｓｋ）の初期値は“１１１１１１”であり（Ｓ７１１）、ファーストマスク（ＦｉｒｓｔＭａｓｋ）の初期値は”００００００”であり（Ｓ７１２）、スタートマスク（ＬｅｓｓＭａｓｋ）の初期値は“００００００”である（Ｓ７１３）。
　まず、比較値のビット列［３］が０であるため、ビット列［３］のスキャンデータに対しビットスキャン処理とファーストマスクの更新処理を行う。具体的には、マスタマスク“１１１１１１”をマスクデータとして、ビット列［３］のスキャンデータ“０００１０１”をＮＯＴ演算した結果“１１１０１０”をマスクにかけ、マスク結果が“１１１０１０”となる（Ｓ７１４）。さらに、初期値であるファーストマスク“００００００”に対し、ビット列［３］のスキャンデータ“０００１０１”をＡＮＤ演算し、その結果がオール０（“００００００”）となるため、ファーストマスクの更新は行わない（Ｓ７１５）。
　次に、比較値のビット列［２］が１であるため、ビット列［２］のスキャンデータに対しビットスキャン処理及びファーストマスクとスタートマスクの更新処理を行う。具体的には、ビット列［３］のマスク結果“１１１０１０”をマスクデータとして、ビット列［２］のスキャンデータ“０１１１１０”をマスクにかけ、マスク結果が“０１１０１０”となる（Ｓ７１６）。さらに、マスクデータ“１１１０１０”とマスク結果“０１１０１０”をＸＯＲ演算した結果“１０００００”でファーストマスクを更新し、続けてファーストマスクとスタートマスク“００００００”をＯＲ演算し、その結果によりスタートマスクを“１０００００”とする（Ｓ７１７）。
　次に、比較値のビット列［１］が０であるため、ビット列［１］のスキャンデータに対しビットスキャン処理とファーストマスクの更新処理を行う。具体的には、ビット列［２］のマスク結果“０１１０１０”をマスクデータとして、ビット列［１］のスキャンデータ“１１０１１１”をＮＯＴ演算した結果“００１０００”をマスクにかけ、マスク結果が“００１０００”となる（Ｓ７１８）。さらに、ビット列［２］で更新したファーストマスク“１０００００”に対し、ビット列［１］のスキャンデータ“１１０１１１”をＡＮＤ演算し、その結果でファーストマスクを“１０００００”とする（Ｓ７１９）。
　次に、比較値のビット列［０］が１であるため、ビット列［０］のスキャンデータに対しビットスキャン処理とファーストマスクの更新処理を行う。具体的には、ビット列［１］のマスク結果“００１０００”をマスクデータとして、ビット列［０］のスキャンデータ“１１１１００”をマスクにかけ、マスク結果が“００１０００”となる（Ｓ７２０）。さらに、マスクデータ“００１０００”とマスク結果“００１０００”をＸＯＲ演算するが、この結果はオール０（“００００００”）のため、ビット列［１］で更新したファーストマスク“１０００００”に対し、ビット列［０］のスキャンデータ“１１１１００”をＡＮＤ演算し、その結果でファーストマスクを“１０００００”とする（Ｓ７２１）。
　これにより、ビット列［０］のマスク結果“００１０００”が同値検索の結果となる（Ｓ７２２）。すなわち、“００１０００”のＯＮビットのレコード番号２が比較値５と同値のデータとなる。また、ビット列［２］で更新されたスタートマスク“１０００００”が小なり検索の結果となる（Ｓ７２３）。すなわち、“１０００００”のＯＮビットのレコード番号０が比較値５よりも小さいデータとなる。さらに、ビット列［０］で設定したファーストマスク“１０００００”が、最初のポジショナルグルーピング結果となる（Ｓ７２４）。すなわち、“１０００００”のＯＮビットのレコード番号０が、小なり検索で比較値５に最も近い、ポジショナルグルーピングデータとなる。
　なお、この例では、ファーストマスク“１０００００”をＮＯＴ演算した結果“０１１１１１”と、Ｓ７２３で得た小なり検索のマスク“１０００００”をＡＮＤ演算すると結果がオール０（“００００００”）となるため、後続の基本グルーピングソート(降順)で処理するデータは無いことを示す（Ｓ７２５）。また、小なりイコールに対応する場合は、同値の結果“００１０００” を最初のポジショナルグルーピング結果とし、Ｓ７２３で得た小なり検索のマスク“１０００００”を基本グルーピングソート(降順)のマスタマスクに引き継ぐことで処理を行う。
　このように、本変形例では、スタートマスク（ＬｅｓｓＭａｓｋ）に加えてファーストマスク（ＦｉｒｓｔＭａｓｋ）を用意し、このファーストマスクに、比較値のビットがＯＮのビット列について、検索先のデータビットがＯＦＦの箇所を設定し、同時に、ファーストマスクをスタートマスクに論理和（ＯＲ）していくことにより、比較値よりも小さく、比較値により近いデータと、小なり検索の結果が得られる。その後は、ファーストマスクを降順のグルーピング処理と同じく、最大値に向かってスキャンダウンしていくことで、一回のスキャンダウン処理で最初のグルーピング結果と、小なり検索の結果を同時に得られる。本変形例では、この処理により得られるファーストマスクを最初のポジショナルグルーピングの結果とし、以降のグルーピングはスタートマスクからファーストマスクを外したマスク結果を基本グルーピングソート(降順)開始時のマスクデータとして実施する。また、小なりイコール（比較値以下）データを検索する場合は、同値結果を最初のグルーピング結果とし、スタートマスクを基本グルーピングソート(降順)開始時のマスクデータとする。
（実施の形態４）
　次に、実施の形態４について説明する。本実施の形態では、実施の形態１～３のデータ処理装置において、スキャンデータを分割し、分割したスキャンデータを並列に処理する例について説明する。
＜データ処理装置の構成＞
　図１８は、本実施の形態に係るデータ処理装置の構成例を示している。図１８に示すように、本実施の形態に係るデータ処理装置１００は、実施の形態１の構成に加えて、分割部１２１を備えており、また、２つのスキャンダウン部１４０ａ及び１４０ｂを備えている。
　分割部１２１は、取得部１２０が取得したスキャンデータをスキャンダウン部１４０ａ及び１４０ｂが処理できるように２つの分割スキャンデータに分割する。例えば、システムの処理単位（ワード単位）毎にデータを分割してもよい。スキャンダウン部１４０ａは、分割部１２１が分割した一方の分割スキャンデータに対しスキャンダウン処理を行う。スキャンダウン部１４０ｂは、分割部１２１が分割した他方の分割スキャンデータに対しスキャンダウン処理を行う。例えば、１つのスキャンダウン部において、２つのスキャンダウン処理を並列に実行してもよい。なお、スキャンデータを複数の分割スキャンデータに分割し、分割スキャンデータ毎に複数の処理を並列に実行してもよい。
＜分割スキャンデータによる昇順の基本グルーピングソート処理の動作例＞
　図１９Ａ及び図１９Ｂは、本実施の形態に係るデータ処理方法によるデータ処理の動作例を示している。図１９Ａ及び図１９Ｂは、スキャンデータを分割した分割スキャンデータを用いて、基本グルーピングソート処理を昇順に行う場合の例である。
　なお、分割スキャンデータ毎のスキャンダウン処理は、基本的に実施の形態１と同様であるが、マスク結果の０判定の処理（図３のＳ１０３）のみが異なる。すなわち、分割スキャンデータ毎にビットスキャン処理を行い、全ての分割スキャンデータのマスク結果が０の場合にそのマスク結果を無効とし、以前に有効だったマスク結果を使用して処理を行う（以下のＳ８１４，Ｓ８１５参照）。逆に、複数の分割データのマスク結果が０の場合でも、いずれかの分割データのマスク結果が０でない場合（いずれかのマスク結果にＯＮビットがある場合）は、そのマスク結果は有効として処理する（以下のＳ８０４，Ｓ８０５参照）。
　図１９Ａ及び図１９Ｂの例では、レコード番号０～６の７レコードのデータが入力される。レコード番号０のデータ値が０、レコード番号１のデータ値が５、レコード番号２のデータ値が１０、レコード番号３のデータ値が３、レコード番号４のデータ値が１０、レコード番号５のデータ値が５、レコード番号６のデータ値が３である。各データはビット列［０］～［３］の４ビットのデータである。
　スキャンデータは７ビットであり、２つに分割したデータを分割スキャンデータとする。第１分割スキャンデータをレコード０～３のビットに対応する４ビットとし、第２分割スキャンデータをレコード４～６のビットに１ビット加えた４ビットとする。マスクデータは、２つの分割スキャンデータに対応して、４ビットの第１マスクデータ及び４ビットの第２マスクデータとする。
　図１９Ａに示すように、１回目のスキャンダウン処理において、第１マスタマスクの初期値は、全ビットをＯＮとした“１１１１”であり、第２マスタマスクの初期値は、最下位ビット（レコード番号7に該当するビット）をＯＦＦ、他のビットをＯＮとした“１１１０”である（Ｓ８０１）。
　ビット列［３］のビットスキャン処理では、第１マスクデータを“１１１１”として、第１分割スキャンデータ“００１０”をＮＯＴ演算した結果“１１０１”を使ってマスクをかけ、第１マスク結果が“１１０１”となり、第２マスクデータを“１１１０”として、第２分割スキャンデータ“１００”に最下位ビット(値は０)を加えてＮＯＴ演算した“０１１１”を使ってマスクをかけ、第２マスク結果が“０１１０”となる（Ｓ８０２）。
　ビット列［２］のビットスキャン処理では、ビット列［３］の第１マスク結果“１１０１”をマスクデータとして、第１分割スキャンデータ“０１００”をＮＯＴ演算した結果“１０１１”を使ってマスクをかけ、第１マスク結果が“１００１”となり、ビット列［３］の第２マスク結果“０１１０”をマスクデータとして、第２分割スキャンデータ“０１０”に最下位ビットを加えてＮＯＴ演算した“１０１１”を使ってマスクをかけ、第２マスク結果が“００１０”となる（Ｓ８０３）。
　ビット列［１］のビットスキャン処理では、ビット列［２］の第１マスク結果“１００１”をマスクデータとして、第１分割スキャンデータ“００１１”をＮＯＴ演算した結果“１１００”を使ってマスクをかけ、第１マスク結果が“１０００”となり、ビット列［２］の第２マスク結果“００１０”をマスクデータとして、第２分割スキャンデータ“１０１”に最下位ビットを加えてＮＯＴ演算した“０１０１”を使ってマスクをかけ、第２マスク結果がオール０（“００００”）となる（Ｓ８０４）。なお、この時点で第２マスク結果が０であるが、第１マスク結果が０以外のため、絞り込みは成功と判断され、ここでのマスク結果をそのまま次のマスクデータとして引き継ぐ。
　ビット列［０］のビットスキャン処理では、ビット列［１］の第１マスク結果“１０００”をマスクデータとして、第１分割スキャンデータ“０１０１”をＮＯＴ演算した結果“１０１０”を使ってマスクをかけ、第１マスク結果が“１０００”となり、ビット列［１］の第２マスク結果“００００”をマスクデータとして、第２分割スキャンデータ“０１１”に最下位ビットを加えてＮＯＴ演算した“１００１”を使ってマスクをかけ、第２マスク結果がオール０となる（Ｓ８０５）。なお、ここでも第２マスク結果が０であるが、第１マスク結果が０以外のため、絞り込みは成功と判断され、ここでのマスク結果をそのまま次のマスクデータとして引き継ぐ。
　１回目のスキャンダウン処理の結果は、ビット列［０］の第１マスク結果“１０００”とビット列［０］の第２マスク結果“００００”とを結合した結果となる（Ｓ８０６）。すなわち、“１０００００００”のＯＮビットのレコード番号０が最小値のデータとして出力される。
　また、現在の第１マスタマスク“１１１１”と第１マスタマスクに対応する１回目のスキャンダウン処理結果をＮＯＴ演算した結果“０１１１”とのマスクにより、２回目のスキャンダウン用の新しい第１マスタマスクを“０１１１”とし、現在の第２マスタマスク“１１１０”と第２マスタマスクに対応する１回目のスキャンダウン処理結果をＮＯＴ演算した結果“１１１１”とのマスクにより、２回目のスキャンダウン用の新しい第２マスタマスクを“１１１０”とする（Ｓ８０７）。
　次に、２回目のスキャンダウン処理では、新しい第１マスタマスク“０１１１”、第２マスタマスク“１１１０”を用いて（Ｓ８１１）、レコード番号１～６のデータをソート対象として、１回目のスキャンダウン処理と同様にビットスキャン処理を行う。
　ビット列［３］のビットスキャン処理では、第１分割スキャンデータの第１マスク結果は“０１０１”となり、第２分割スキャンデータの第２マスク結果は“０１１０”となる（Ｓ８１２）。ビット列［２］のビットスキャン処理では、第１分割スキャンデータの第１マスク結果は“０００１”となり、第２分割スキャンデータの第２マスク結果は“００１０”となる（Ｓ８１３）。ビット列［１］のビットスキャン処理では、第１分割スキャンデータの第１マスク結果はオール０となり、第２分割スキャンデータの第２マスク結果はオール０となる（Ｓ８１４）。両方のマスク結果がすべて０に成るため、この場合は絞り込みが成立せず、この絞り込み動作は無効と判断される。
　ビット列［０］のビットスキャン処理では、ビット列［１］の第１マスク結果及び第２マスク結果の両方が０であり、無効となるため、ビット列［２］の第１マスク結果及び第２マスク結果を使用する。すなわち、ビット列［２］の第１マスク結果“０００１”をマスクデータとして、第１分割スキャンデータのマスク結果がオール０となり、ビット列［２］の第２マスク結果“００１０”をマスクデータとして、第２分割スキャンデータのマスク結果がオール０となる（Ｓ８１５）。この結果も、両方のマスク結果がすべて０に成るため、Ｓ８１４同様絞り込み動作は無効と判断される。
　２回目のスキャンダウン処理の結果は、ビット列［０］の第１マスク結果及び第２マスク結果が０であり、ビット列［１］の第１マスク結果及び第２マスク結果も０であり、いずれも無効となるため、ビット列［２］の第１マスク結果“０００１”とビット列［２］の第２マスク結果“００１０”とを結合した結果となる（Ｓ８１６）。すなわち、“０００１００１０”のＯＮビットのレコード番号３、６が２番目に小さいデータとして出力される。
　また、現在の第１マスタマスク“０１１１”と第１マスタマスクに対応する２回目のスキャンダウン処理結果をＮＯＴ演算した結果“１１１０”とのマスクにより、３回目のスキャンダウン用の新しい第１マスタマスクを“０１１０”とし、現在の第２マスタマスク“１１１０”と第２マスタマスクに対応する２回目のスキャンダウン処理結果をＮＯＴ演算した結果“１１０１”とのマスクにより、３回目のスキャンダウン用の新しい第２マスタマスクを“１１００”とする（Ｓ８１７）。３回目以降、１回目及び２回目と同様、スキャンダウン処理が繰り返される。
＜本実施の形態の効果＞
　以上のように、本実施の形態では、スキャンダウンによるグルーピングソート処理において、スキャンデータを分割し、分割したデータに対し並列にグルーピングソート処理を行う。入力データのレコードの格納数が多く、一つの操作幅ではビットの横幅が不足するような場合、すなわち、スキャンデータのビット幅が処理単位に収まらない場合、複数のデータに分けて、データ毎にスキャンダウン処理を行うことで、レコード数（横幅）を必要な個数まで拡張することができる。
（実施の形態５）
　次に、実施の形態５について説明する。本実施の形態では、実施の形態１～４のデータ処理装置において、昇順ソート処理と降順ソート処理を同時に行う例について説明する。
＜データ処理装置の構成＞
　図２０は、本実施の形態に係るデータ処理装置の構成例を示している。図２０に示すように、本実施の形態では、スキャンダウン部１４０が昇順処理部１４１と降順処理部１４２を含んでいる。昇順処理部１４１は、取得部１２０が取得したスキャンデータに対し、入力データを昇順にソートするスキャンダウン処理を行う。降順処理部１４２は、取得部１２０が取得したスキャンデータに対し、入力データを降順にソートするスキャンダウン処理を行う。
＜デュアルスキャン方式のグルーピングソート処理の動作例＞
　図２１Ａ及び図２１Ｂは、本実施の形態に係るデータ処理の動作例を示している。図２１Ａ及び図２１Ｂは、昇順ソートと降順ソートを同時に行うデュアルスキャン方式のグルーピングソート処理の例である。昇順ソートと降順ソートの処理は、基本的に実施の形態１と同様である。図２１Ａ及び図２１Ｂの例では、図９Ａ及び図９Ｂと同じ４レコードのデータが入力される。また、スキャンデータ、昇順及び降順のマスクデータは４ビットである。
　図２１Ａに示すように、１回目のスキャンダウン処理において、マスタマスクの初期値は“１１１１”であり（Ｓ８０１）、同じマスタマスクで昇順ソート及び降順ソートを行う。ビット列［３］のビットスキャン処理では、昇順ソートのマスク結果が“１１０１”となり（Ｓ８０２ａ）、降順ソートのマスク結果が“００１０”となる（Ｓ８０２ｂ）。ビット列［２］のビットスキャン処理では、昇順ソートのマスク結果が“１００１”となり（Ｓ８０３ａ）、降順ソートのマスク結果がオール０（“００００”）となる（Ｓ８０３ｂ）。ビット列［１］のビットスキャン処理では、昇順ソートのマスク結果が“１０００”となり（Ｓ８０４ａ）、降順ソートのマスク結果が“００１０”となる（Ｓ８０４ｂ）。ビット列［０］のビットスキャン処理では、昇順ソートのマスク結果が“１０００”となり（Ｓ８０５ａ）、降順ソートのマスク結果がオール０となる（Ｓ８０５ｂ）。
　１回目のスキャンダウン処理では、昇順ソートの結果は、ビット列［０］のマスク結果“１０００”となり（Ｓ８０６ａ）、降順ソートの結果は、ビット列［１］のマスク結果“００１０”となる（Ｓ８０６ｂ）。すなわち、“１０００”のＯＮビットのレコード番号０が最小値のデータとして出力され、“００１０”のＯＮビットのレコード番号２が最大値のデータとして出力される。
　また、現在のマスタマスク“１１１１”と１回目の昇順ソート結果をＮＯＴ演算した結果“０１１１”とをマスクし、そのマスク結果“０１１１”と１回目の降順ソート結果をＮＯＴ演算した結果“１１０１”とをマスクし、そのマスク結果“０１０１”を、次の２回目のスキャンダウン用の新しいマスタマスクとする（Ｓ８０７）。
　次に、２回目のスキャンダウン処理では、新しいマスタマスク“０１０１”を用いて（Ｓ８１１）、レコード番号１、３のデータをソート対象として、１回目のスキャンダウン処理と同様にビットスキャン処理を行う。ビット列［３］のビットスキャン処理では、昇順ソートのマスク結果は“０１０１”となり（Ｓ８１２ａ）、降順ソートのマスク結果はオール０となる（Ｓ８１２ｂ）。ビット列［２］のビットスキャン処理では、昇順ソートのマスク結果は“０００１”となり（Ｓ８１３ａ）、降順ソートのマスク結果は“０１００”となる（Ｓ８１３ｂ）。ビット列［１］のビットスキャン処理では、昇順ソートのマスク結果はオール０となり（Ｓ８１４ａ）、降順ソートのマスク結果はオール０となる（Ｓ８１４ｂ）。ビット列［０］のビットスキャン処理では、昇順ソートのマスク結果はオール０となり（Ｓ８１５ａ）、降順ソートのマスク結果は“０１００”となる（Ｓ８１５ｂ）。
　２回目のスキャンダウン処理では、昇順ソートの結果は、ビット列［２］のマスク結果“０００１”となり（Ｓ８１６ａ）、降順ソートの結果は、ビット列［０］のスキャンデータのマスク結果“０１００”となる（Ｓ８１６ｂ）。すなわち、“０００１”のＯＮビットのレコード番号３が２番目に小さいデータとして出力され、“０１００”のＯＮビットのレコード番号１が２番目に大きいデータとして出力される。
　また、現在のマスタマスク“０１０１”と２回目の昇順ソート結果をＮＯＴ演算した結果“１１１０”とをマスクし、そのマスク結果“０１００”と２回目の降順ソート結果をＮＯＴ演算した結果“１０１１”とをマスクし、そのマスク結果が“００００”となり、全ビットがオフのため、処理を終了する（Ｓ８１７）。
　図２１Ａ及び図２１Ｂの例では、１回目のソート処理の結果は、昇順及び降順ソート個数＝２、昇順ソートレコード番号＝(０）、降順ソートレコード番号＝(２）となり、２回目のソート処理の結果は、昇順及び降順ソート個数＝２、昇順ソートレコード番号＝(３）、降順ソートレコード番号＝(１）となり、最終的なソート処理結果は、昇順及び降順ソート個数＝４、昇順ソートレコード番号＝（０)，(３）、降順ソートレコード番号＝(２)，(１）となる。なお、昇順ソートと降順ソートのループ回数が奇数で終わる場合、最後の処理結果で昇順と降順に同じ値が得られるため、この場合はいずれか一方を採用する。
＜本実施の形態の効果＞
　以上のように、本実施の形態では、スキャンダウンによるグルーピングソート処理において、昇順のグルーピングソートと降順のグルーピングソートを同時に行う。マスタマスクを昇順ソートと降順ソートの２系統で使用しスキャンすることで、昇順ソートのスキャン結果と降順ソートのスキャン結果を一回のスキャンダウンで同時に求めることができる。昇順ソートと降順ソートの２つの処理を同時に行うため、単純にグルーピングを行う処理ループの回数を半分に減らすことができる。
（実施の形態６）
　次に、実施の形態６について説明する。本実施の形態では、実施の形態１～５のデータ処理装置において、マスク結果をスタックする例について説明する。
＜データ処理装置の構成＞
　図２２は、本実施の形態に係るデータ処理装置の構成例を示している。図２２に示すように、本実施の形態に係るデータ処理装置１００は、実施の形態１の構成に加えて、スタック部１３３を備えている。スタック部１３３は、スキャンダウン部１４０におけるビットスキャン処理のマスク結果とスキャン位置をスタックする。また、スキャンダウン部１４０は、スタックされたマスク結果に対応するスキャン位置からスキャンダウン処理を開始する。
＜スタック方式の昇順のグルーピングソート処理の処理フロー＞
　図２３は、本実施の形態に係るデータ処理方法のフローチャートを示している。図２３は、マスク結果をスタックするスタック方式のグルーピングソート処理を昇順に行う場合の例である。
　図２３に示すように、まず、データ処理装置１００は、初期化処理として、スタックレベル変数（ＳｔａｃｋＬｅｖｅｌ）を０に初期化し、スタックの先頭であるレベル０のスタックマスク値にマスタマスク（Ｍａｓｋ）を、スタックスキャン位置にＭＳＢ位置を設定する（Ｓ９０１）。なお、この例では、スタックにはスタックマスク値（Ｓｔａｃｋ［］．ｍａｓｋ）とスタックスキャン位置（Ｓｔａｃｋ［］．ｐｏｓ）の2つの項目が含まれるものとして説明する。
　次に、データ処理装置１００は、スキャンダウン処理を開始するため、マスクデータである変数Ａにスタックレベルのスタックマスク値を設定し、変数Ｐに同じスタックのスタックスキャン位置を設定する（Ｓ９０２）。次にデータ処理装置１００は、変数ＰがＬＳＢ以上であるかを判定する（Ｓ９０３）。すなわち、スキャン動作がＬＳＢに到達していない場合はＳ９０４に進み、ＬＳＢまで処理を終えた場合はＳ９１０に進む。
　次に、データ処理装置１００は、昇順ソートのマスク処理として、Ｐビット列のスキャンデータのＮＯＴ演算結果とマスクデータである変数ＡとをＡＮＤ演算し、その演算結果をマスク結果である変数Ｂに設定する（Ｓ９０４）。
　次に、データ処理装置１００は、スキャン位置である変数Ｐをデクリメントする。すなわち、スキャン位置をＬＳＢ側に移動する。（Ｓ９０５）
　次に、データ処理装置１００は、マスク処理結果である変数Ｂが０か否か、すなわち、絞り込みが成功したか、もしくは、変数Ｂが変数Ａと同じか否か、すなわち、ビットスキャンによりマスクが変化したか否かを判定する（Ｓ９０６）。
　Ｓ９０６でマスク処理結果である変数Ｂが０以外、かつ変数Ｂが変数Ａと異なる場合、すなわち、絞り込みが成功し、マスクの変化が起こった場合、データ処理装置１００は、スタックレベルのスタックマスク値に変数Ａを設定し、同じスタックのスタックスキャン位置に変数Ｐを設定する（Ｓ９０７）。その後、スタックレベル変数をインクリメントする（Ｓ９０８）。さらに、マスクデータである変数Ａをマスク結果である変数Ｂにより更新し（Ｓ９０９）、Ｓ９０３以降で次のビット列に対するビットスキャン処理を繰り返す。
　また、Ｓ９０３で変数Ｐが０より下になった場合、すなわち、全ビットのスキャンが終了した場合、データ処理装置１００は、Ｓ９０９で更新されたマスクデータである変数Ａを結果として出力する（Ｓ９１０）。次に、データ処理装置１００は、マスタマスクとマスクデータである変数ＡのＮＯＴの結果をＡＮＤ演算し、その演算結果によりマスタマスクを更新する（Ｓ９１１）。
　次に、データ処理装置１００は、更新したマスタマスクが０か否か、すなわち、全データ処理が終了したか否か判定する（Ｓ９１２）。Ｓ９１２でマスタマスクが０以外の場合、すなわち、全データ処理が終了していない場合、データ処理装置１００は、スタックレベル変数をデクリメントし（Ｓ９１３）、そのスタックレベルのスタックマスク値とマスタマスクとをＡＮＤ演算し、その結果で同じスタックマスクを更新する（Ｓ９１４）。その後、Ｓ９０２以降で、スタックされたスタックマスク値とスタックスキャン位置を用いて、スキャンダウン処理を繰り返す。また、Ｓ９１２でマスタマスクが０の場合、すなわち、全データ処理が終了した場合、処理を終了する。
　以上のように、本実施の形態では、前記に示したビットスキャンによるスキャンダウンの途中経過をスタックに蓄積していくことにより、次の回のスキャンダウン開始位置を、ＭＳＢ位置でなく、変化が生じる最も低いビット列の位置から開始することが出来る。
　なお、実施の形態１の図４と同様に、処理結果の早期検出を行ってもよい。すなわち、Ｓ９０９の後、変数ＡのＯＮビットが一つのみか否か判定し、変数ＡのＯＮビットが一つのみではない場合はＳ９０３に進み、変数ＡのＯＮビットが一つのみの場合はＳ９１０に進んでもよい。また、実施の形態１の図６と同様に、降順ソートを行う場合、Ｓ９０４において、Ｐビット列のスキャンデータと変数ＡとをＡＮＤ演算し、そのＡＮＤ演算の結果を変数Ｂに設定してもよい。
＜スタック方式の昇順のグルーピングソート処理の動作例＞
　図２４Ａ及び図２４Ｂは、本実施の形態に係るデータ処理の動作例を示している。図２４Ａ及び図２４Ｂは、図２３に示したようにスタック方式のグルーピングソート処理を昇順に行う場合の例である。図２４Ａ及び図２４Ｂの例では、レコード番号０～３の４レコードのデータが入力される。レコード番号０のデータ値が１５、レコード番号１のデータ値が２、レコード番号２のデータ値が１４、レコード番号３のデータ値が５である。各データはビット列［０］～［３］の４ビットデータであり、スキャンデータ及びマスクデータも４ビットである。
　図２４Ａに示すように、最初に、処理の開始に伴うスタックの初期化を行う。具体的には、スタックレベルを“０”に設定し、スタック［０］のスタックマスク値にマスタマスクである“１１１１”を設定し、スタックスキャン位置にＭＳＢ位置である“３”を設定する（Ｓ１００１）。
　スキャンダウン処理では、まず、スタックレベル“０”の位置に当たるスタック［０］からスタックスキャン位置の“３”と、スタックマスクである“１１１１”を取得し、各々スキャン位置とマスクデータに設定する（Ｓ１００２）。
　次に、取得した“１１１１”をマスクデータとして、スキャン位置“３”に当たるビット列［３］をビットスキャンすることで、マスク結果が“０１０１”となり、スキャン位置はデクリメントすることで“２”となる（Ｓ１００３）。この処理により、マスク結果が０ではなく、かつ、マスクデータの“１１１１”とも同じではないため、現在のスタックレベルである“０”の指すスタック［０］のスタックマスクにマスクデータ“１１１１”を設定し、スタックスキャン位置に、現在のスキャン位置である“２”を設定する。つまり、この時点で、Ｓ１００１でスタック［０］に設定した初期値を、上書きにより更新する。その後、スタックレベルをカウントアップして“１”にし、マスクデータをマスク結果である“０１０１”に更新する（Ｓ１００４）。
　次に、“０１０１”をマスクデータとして、スキャン位置“２”に当たるビット列［２］をビットスキャンすることで、マスク結果が“０１００”となり、スキャン位置はデクリメントすることで“１”となる（Ｓ１００５）。この処理により、マスク結果が０ではなく、かつ、マスクデータの“０１０１”とも同じではないため、現在のスタックレベルである“１”の指すスタック［１］のスタックマスクとしてマスクデータ“０１０１”を設定し、スタックスキャン位置に現在のスキャン位置である“１”を設定する。その後、スタックレベルをカウントアップして“２”にし、マスクデータをマスク結果である“０１００”に更新する（Ｓ１００６）。
　次に、“０１００”をマスクデータとして、スキャン位置“１”に当たるビット列［１］をビットスキャンすることで、マスク結果がオール０（“００００”）となり、スキャン位置はデクリメントすることで“０”となる。このとき、マスク結果が０のため、スタック処理と、マスクデータの更新は行わず次のビットスキャン処理に移る（Ｓ１００７）。
　次のビットスキャンでは、引き継いだ“０１００”をマスクデータとして、スキャン位置“０”に当たるビット列［０］をビットスキャンすることで、マスク結果が“０１００”となり、スキャン位置はデクリメントすることで“－１”となる。このとき、マスク結果が０ではないが、マスクデータと同じであるため、スタック処理と、マスクデータの更新は行わず次の処理に移る（Ｓ１００８）。
　１回目のスキャンダウン処理の結果は、最終的なマスクデータである“０１００”となる（Ｓ１００９）。すなわち、“０１００”のＯＮビットのレコード番号１が最小値のデータとして出力される。また、現在のマスタマスク“１１１１”と１回目のスキャンダウン処理の結果をＮＯＴ演算した“１０１１”とのマスクにより、次の２回目のスキャンダウン用の新しいマスタマスクを“１０１１”とする（Ｓ１０１０）。さらに、スタックレベルを一つ戻して“１”とし、新しいマスタマスク“１０１１”と、戻したスタックレベル“１”の指すスタック［１］のスタックマスク“０１０１”とをＡＮＤし、その演算結果“０００１”によって同スタックマスクの値を更新する（Ｓ１０１１）。
　次に、２回目のスキャンダウン処理は、現在のスタックレベル“１”の指すスタック［１］に格納されているスタックスキャン位置“１”をスキャン位置とし、スタックマスク“０００１”をマスクデータとして開始する（Ｓ１０１６）。最初のビット列［１］に対するマスク結果は“０００１”となり、このとき、マスク結果が０ではないが、マスクデータ“０００１”と同じため、スタック処理はされず、マスクデータの更新もされない（Ｓ１０１７）。
　次に、ビット列［０］のビットスキャン処理では、引き継いだマスクデータ“０００１”をマスクデータとして、マスク結果がオール０となり、マスク結果が０であるため、スタック処理はされず、マスクデータの更新もされない（Ｓ１０１８）。
　２回目のスキャンダウン処理の結果は、最終的に引き継いだマスクデータである“０００１”となる（Ｓ１０１９）。すなわち、“０００１”のＯＮビットのレコード番号３が２番目に小さいデータとして出力される。また、現在のマスタマスク“１０１１”と２回目のスキャンダウン処理結果をＮＯＴ演算した結果“１１１０”とのマスクにより、次の３回目のスキャンダウン用の新しいマスタマスクを“１０１０”とする（Ｓ１０２０）。さらに、スタックレベルを一つ戻して“０”とし、新しいマスタマスク“１０１０”と戻したスタックレベル“０”の指すスタック［０］のスタックマスク“１１１１”とをＡＮＤし、そのマスク結果“１０１０”によって同スタックマスクの値を更新する（Ｓ１０２１）。
　次に、３回目のスキャンダウン処理は、現在のスタックレベル“０”の指すスタック［０］に格納されているスタックスキャン位置“２”をスキャン位置とし、スタックマスク“１０１０”をマスクデータとして開始する（Ｓ１０２４）。最初のビット列［２］に対するマスク結果はオール０となり、マスク結果が０のため、スタック処理はされず、マスクデータの更新もされない（Ｓ１０２５）。
　次に、ビット列［１］のビットスキャン処理では、引き継いだマスクデータ“１０１０”をマスクデータとして、マスク結果がオール０となり、マスク結果が０であるため、スタック処理はされず、マスクデータの更新もされない（Ｓ１０２６）。
　次に、ビット列［０］のビットスキャン処理では、引き継いだマスクデータ“１０１０”をマスクデータとして、マスク結果が“００１０”となる（Ｓ１０２７）。このとき、マスク結果が０ではなく、かつ、マスクデータの“１０１０”とも同じではないため、現在のスタックレベルである“０”の位置に当たる、スタック［０］のスタックマスクとしてマスクデータ“１０１０”を設定し、スタックスキャン位置に現在のスキャン位置(今回のビット列［０］のスキャン後デクリメントしたため－１に成っている。)である“－１”を設定する。つまり、この時点で、Ｓ１０２１でスタック［０］に設定した値を、上書きにより更新する。その後、スタックレベルをカウントアップして“１”にし、マスクデータをマスク結果である“００１０”に更新する（Ｓ１０２８）。
　３回目のスキャンダウン処理の結果は、最終的なマスクデータである“００１０”となる（Ｓ１０２９）。すなわち、“００１０”のＯＮビットのレコード番号２が３番目に小さいデータとして出力される。また、現在のマスタマスク“１０１０”と３回目のスキャンダウン処理結果をＮＯＴ演算した結果“１１０１”とをマスクし、次の４回目のスキャンダウン用の新しいマスタマスクを“１０００”とする（Ｓ１０３０）。さらに、スタックレベルを一つ戻して“０”とし、新しいマスタマスク“１０００”と、戻したスタックレベル“０”の指すスタック［０］のスタックマスク“１０１０”とをＡＮＤし、そのマスク結果“１０００”によって同スタックマスクの値を更新する（Ｓ１０３１）。
　次に、４回目のスキャンダウンは、現在のスタックレベル“０”の指すスタック［０］に格納されているスタックスキャン位置“－１”をスキャン位置とし、スタックマスク“１０００”をマスクデータとして開始する。ここでは、スキャン位置が既に－１であり、ＬＳＢより下の位置を指しているため、ビットスキャンは行われず、マスクデータがそのまま結果となる（Ｓ１０３８）。
　４回目のスキャンダウン処理の結果は、最終的なマスクデータ“１０００”となる（Ｓ１０３９）。すなわち、“１０００”のＯＮビットのレコード番号０が４番目に小さいデータとして出力される。また、現在のマスタマスク“１０００”と４回目のスキャンダウンの結果をＮＯＴ演算した結果“０１１１”をマスクすると、マスク結果が“００００”となり、全ビットがオフのため、処理を終了する（Ｓ１０４０）。図２４Ａ及び図２４Ｂの例では、昇順のグルーピングソート処理の結果は、個数＝４、レコード番号＝(１），(３），（２）、（０）となる。
＜本実施の形態の効果＞
　以上のように、本実施の形態では、スキャンダウンによるグルーピングソート処理において、スキャンダウンの際にマスクが変化した位置をスタックして行くことで、次のスキャンダウン開始位置を、直前のマスク変化位置から開始することができ、効率よく処理を行うことが可能となる。
　すなわち、マスク結果とスキャン位置を積むスタックを用意し、スキャンダウン処理で全ビットが０以外、かつ、前のマスクと変化があった場合に、変化前のマスクとスキャン位置をスタックに積んでいく。処理をＬＳＢまで終えた場合は、スタックを一つ戻し、そこに格納されているマスクと、マスタマスクのＡＮＤを取ったものを新たなマスクとし、スタックに格納されているスキャン位置から次のスキャンダウンを開始する。これにより、最上位からスキャンダウンを開始する必要が無く、処理シーケンススキップ部分の処理量を減らすことができる（図２４Ａの２回目のビット列［３］及びビット列［２］、図２４Ｂの３回目のビット列［３］、同４回目のビット列全ての処理）。特に全体ビット桁数に比べ、有効ビット桁数が少ない場合に有効である。
　図２５Ａ及び図２５Ｂは、実施の形態１における基本グルーピングソート方式と本実施の形態におけるスタック方式の処理の比較を示している。基本グルーピングソート方式のソートでは、値が例に示す（２，５，１４，１５）だった場合、図２５Ａのように各スキャンダウン（Ｐ１～Ｐ４）で先頭ビット（ＭＳＢ）から最下位ビット（ＬＳＢ）までのスキャンが必要になる。この例では、各スキャンダウンで５回の処理（ビットスキャン処理）となるため、全データをソートするためには２０回の処理が必要になる。これに対し、スタック方式の場合は、図２５Ｂのように直前の分岐位置からスキャンダウンを行うため、ＭＳＢからＬＳＢまで全ビットをスキャンする必要がない。そうすると、この例では、スキャンダウン順に、Ｐ１＝５回、Ｐ２＝３回、Ｐ３＝４回、Ｐ４＝０回の処理となり、全データのソートを１２回の処理で行うことができる。例えば、全体のビット数に比べ有効ビットが少ない場合や、絞り込みの結果、データに偏りが生じた場合などに効率よく処理することができる。なお、処理結果の早期検出を行う場合、さらに処理回数を減らすことができ、図２５Ｂでは、Ｐ1のビット列［１］及びビット列［０］、Ｐ２のビット列［１］及びビット列［０］のスキャンダウン自体も不要になる。
（実施の形態７）
　次に、実施の形態７について説明する。本実施の形態では、実施の形態１～５のデータ処理装置において、グルーピング結果に対し、ビットカウントにより積算を行う例について説明する。
＜データ処理装置の構成＞
　図２６は、本実施の形態に係るデータ処理装置の構成例を示している。図２６に示すように、本実施の形態に係るデータ処理装置１００は、実施の形態１の構成に加えて、ビットカウント部１６０、積算部１６１を備えている。
　ビットカウント部１６０は、グルーピング処理結果のＯＮビットをカウント（ビットカウント）するビットカウント処理を行う。また、グルーピング結果と複数のスキャンデータとをマスクした結果のビットをビットカウントする。例えば、処理結果マスクが“１１０１１１１０”の場合、ビットカウント処理では、この結果マスクのＯＮビットをカウントし、ビットカウント結果は６となる。
　積算部１６１は、ビットカウント結果を用いて、グルーピングされたデータの積算処理を行う。積算部１６１は、マスク結果のビットカウント値に応じた値を積算する。具体的には、ビットカウント値をスキャンデータのビット位置に応じてビットシフトし、ビットシフトした値を合計する。なお、データ処理装置１００は、少なくとも、ビットカウント部１６０と積算部１６１を備え、入力される複数のデータに対しビットカウント処理と積算処理を行ってもよい。
＜ビットカウントによる積算処理の処理フロー＞
　図２７は、本実施の形態に係るデータ処理方法のフローチャートを示している。図２７は、ビットカウントを使った積算処理の例である。例えば、以下の処理は主に積算部１６１により実行され、ビットカウントの処理がビットカウント部１６０により実行されるが、これに限られない。
　図２７に示すように、まず、データ処理装置１００は、積算処理の初期設定として、積算結果を０に初期化し、変数ＰにＭＳＢ位置を設定する（Ｓ１１０１）。次に、データ処理装置１００は、積算結果を左に１ビットシフトする（Ｓ１１０２）。
　次に、データ処理装置１００は、マスタマスク（Ｍａｓｋ）とＰビット列の積算ビットデータとをＡＮＤ演算し、そのＡＮＤ演算の結果を変数Ｂに設定する（Ｓ１１０３）。積算ビットデータは、積算対象のデータの各ビット列データ（スキャンデータ）である。
　次に、データ処理装置１００は、マスク結果である変数Ｂをビットカウントし、そのビットカウント結果を積算結果に加算し、その加算結果により積算結果を更新する（Ｓ１１０４）。次に、データ処理装置１００は、処理中のビット列である変数ＰがＬＳＢか否か、すなわち、全ビットのスキャンが終了したか否か判定する（Ｓ１１０５）。
　Ｓ１１０５で変数ＰがＬＳＢ以外の場合、すなわち、全ビットのスキャンが終了していない場合、データ処理装置１００は、次のスキャンのために、変数ＰをＬＳＢ側に一つ移動し（Ｓ１１０６）、Ｓ１１０２以降の処理を繰り返す。また、Ｓ１１０５で変数ＰがＬＳＢである場合、すなわち、全ビットのスキャンが終了した場合、データ処理装置１００は、積算結果を出力する（Ｓ１１０７）。
＜ビットカウントによる積算処理の動作例＞
　図２８は、本実施の形態に係るデータ処理の動作例を示している。図２８は、図２７のようにビットカウントを使って積算処理を行う例である。
　図２８の例では、レコード番号０～７の８レコードのデータが入力される。レコード番号０のデータ値が０、レコード番号１のデータ値が５、レコード番号２のデータ値が１０、レコード番号３のデータ値が３、レコード番号４のデータ値が２、レコード番号５のデータ値が６、レコード番号６のデータ値が８、レコード番号７のデータ値が９である。
　例えば、図１４で示した小なりイコールの検索処理と同様に、ビット列［３］～［０］をスキャンし、８以下のデータを検索すると、処理結果マスク“１１０１１１１０”が得られる（Ｓ１２００）。
　まず、積算結果の初期値は０であり、左に１ビットシフトしても０である（Ｓ１２０１）。また、ビット列［３］のスキャンデータ“００１０００１１”を処理結果マスクによりマスクすると、マスク結果が“００００００１０”となり、このマスク結果をビットカウントすると１となる（Ｓ１２０２）。このビットカウント結果を積算結果に加えると、“００００１”（＝１）となる（Ｓ１２０３）。
　次に、現在の積算結果を１ビット左にシフトすると、“０００１０”（＝２）となる（Ｓ１２０４）。また、ビット列［２］のスキャンデータ“０１０００１００”を処理結果マスクによりマスクすると、マスク結果が“０１０００１００”となり、このマスク結果をビットカウントすると２となる（Ｓ１２０５）。このビットカウント結果を積算結果に加えると、“００１００”（＝４）となる（Ｓ１２０６）。
　次に、現在の積算結果を１ビット左にシフトすると、“０１０００”（＝８）となる（Ｓ１２０７）。また、ビット列［１］のスキャンデータ“００１１１１００”を処理結果マスクによりマスクすると、マスク結果が“０００１１１００”となり、このマスク結果をビットカウントすると３となる（Ｓ１２０８）。このビットカウント結果を積算結果に加えると、“０１０１１”（＝１１）となる（Ｓ１２０９）。
　次に、現在の積算結果を１ビット左にシフトすると、“１０１１０”（＝２２）となる（Ｓ１２１０）。また、ビット列［０］のスキャンデータ“０１０１０００１”を処理結果マスクによりマスクすると、マスク結果が“０１０１００００”となり、このマスク結果をビットカウントすると２となる（Ｓ１２１１）。このビットカウント結果を積算結果に加えると、最終的な積算結果は“１１０００”（＝２４）となる（Ｓ１２１２）。
　図２９は、本実施の形態に係るデータ処理の他の動作例を示している。図２９は、各ビット列でビットカウントを行い、最後に積算する例である。入力されるデータ及び処理結果マスクは図２５と同じである。
　まず、図２８と同様に、ビット列［３］のスキャンデータを処理結果マスクによりマスクし、そのマスク結果をビットカウントすると１となる（Ｓ１２０２）。この積算方法では、ビット位置に応じてビットカウント値を左にシフトする。このときビット列［３］のため、このビットカウント結果“１”を３ビット左にシフトすると、“０００１０００”（＝８）となる（Ｓ１２２１）。
　次に、ビット列［２］のスキャンデータを処理結果マスクによりマスクし、そのマスク結果をビットカウントすると２となる（Ｓ１２０５）。このときビット列［２］のため、このビットカウント結果“２”を２ビット左にシフトすると、“０００１０００”（＝８）となる（Ｓ１２２２）。
　次に、ビット列［１］のスキャンデータを処理結果マスクによりマスクし、そのマスク結果をビットカウントすると３となる（Ｓ１２０８）。このときビット列［１］のため、このビットカウント結果“３”を１ビット左にシフトすると、“００００１１０”（＝６）となる（Ｓ１２２３）。
　次に、ビット列［０］のスキャンデータを処理結果マスクによりマスクし、そのマスク結果をビットカウントすると２となる（Ｓ１２１１）。このときビット列［０］のため、このビットカウント結果“２”を０ビット左にシフトすると（シフトしないのと同じ）、“０００００１０”（＝２）となる（Ｓ１２２４）。
　次に、ビット列［３］のビットカウント値のシフト結果“８”、ビット列［２］のビットカウント値のシフト結果“８”、ビット列［１］のビットカウント値のシフト結果“６”、ビット列［０］のビットカウント値のシフト結果“２”を合計すると、積算結果“２４”となる（Ｓ１２２５）。本処理を使用しない一般的な積算方法では、０＋５＋３＋２＋６＋８＝２４となるのに対し、本処理では、８＋８＋６＋２により同じ結果を得ることができる。
＜本実施の形態の効果＞
　以上のように、本実施の形態では、ビットカウントを使用して積算処理を行い、縦展開されたデータに対し高速な演算処理を可能とする。この方式では、各データの、横方向のビット列に対して、ビットカウントを求め、その結果をシフトしながら加算することで、積算を行う。この方式の計算量は、Ｏ（ｎ／ビットカウント幅＊データビットサイズ）となる。大量データに対し、ビットカウントを行う幅が広くなる、もしくは、有効データビットサイズが小さくなるに従い、計算は高速化される。
　例えば、８ビットサイズ×２５６データに対し積算を行う場合、本方式を使用しない通常加算では２５６回の加算が必要となるが、本方式の２５６ビットのビットカウント型積算では、ＡＮＤ操作×８回＋ビットカウント×８回＋シフト×８回＋加算×８回＝３２回の演算で完了する。
　実施の形態１～６のようにグルーピングを行う際には、そのグループに属するデータのレコード数ならびに、そのグループの特定のフィールドの積算（Ｓｕｍ）値を同時に取得することが多い。上記のように、グループに属するレコード数のカウント処理は、単純にビットカウントにより結果マスクのＯＮビット数（１のビットの数）を数えることによって得られる。本実施の形態の積算処理をグルーピングの演算結果に適用することで、効率よく積算結果を求めることができる。例えば、実施の形態１のグルーピングソート処理において積算を行う場合、図３のＳ１０７の後に、図２７の積算処理を行う。
　なお、レコード数のカウント処理と積算処理は結果マスクと積算を行うフィールドが決まれば実施することができるため、グルーピングの結果に限らず、全件積算や通常の絞り込み（検索）の結果に対しても適用できる。また、積算値とレコード数が求められれば、（積算値÷レコード数）を求めることで、平均値も容易に求めることができる。従って、平均値を使う分散や標準偏差などの計算にもこの処理を活用することができる。
（実施の形態８）
　次に、実施の形態８について説明する。本実施の形態では、実施の形態１～７のデータ処理装置において、複数のテーブルのデータに対しＪＯＩＮ処理を行う例について説明する。
＜データ処理装置の構成＞
　図３０は、本実施の形態に係るデータ処理装置の構成例を示している。図３０に示すように、本実施の形態に係るデータ処理装置１００は、実施の形態１の構成に加えて、ＪＯＩＮ処理部１７０を備えている。なお、データ処理装置１００は、少なくとも、ＪＯＩＮ処理部１７０を備え、ＪＯＩＮ処理のみを行ってもよい。
　ＪＯＩＮ処理部１７０は、２つのテーブルに対しＪＯＩＮ処理を行う。ＪＯＩＮ処理とは、２つのデータ集合を特定のキーを使って結合し、双方のレコードの対応を取る処理である。ＪＯＩＮ処理には、ＦｕｌｌＯｕｔｅｒ－ＪＯＩＮ、ＬｅｆｔＯｕｔｅｒ－ＪＯＩＮ、ＲｉｇｈｔＯｕｔｅｒ－ＪＯＩＮ、Ｉｎｎｅｒ－ＪＯＩＮが含まれる。
　ＦｕｌｌＯｕｔｅｒ－Ｊｏｉｎの場合、２つのテーブルのＪＯＩＮキーを合わせて、グルーピング動作を行うことにより、２つのテーブルの全てのレコードを出力する。この際、双方のＪＯＩＮキーの同一のレコードは、一つのグループ（ＪＯＩＮされた状態）として出力する。
　ＬｅｆｔＯｕｔｅｒ－Ｊｏｉｎの場合、左側（一方）のテーブルでグルーピング動作を行い、その結果出力された、データのＪＯＩＮキーを使い、右側（他方）のテーブルを検索する。検索の結果、右側のテーブルに同じＪＯＩＮキーのデータが存在すれば、左側のテーブルのグルーピング結果に、該当レコードを追加（ＪＯＩＮされた状態）して出力する。ＲｉｇｈｔＯｕｔｅｒ－Ｊｏｉｎの場合、ＬｅｆｔＯｕｔｅｒ－Ｊｏｉｎの左と右のテーブルの操作が逆になる。
　Ｉｎｎｅｒ－Ｊｏｉｎの場合、最初に、左右のテーブル各々に対し、各々グルーピングする。左右のテーブルのグルーピングキーの値が異なる場合は、小さいキーを出力したテーブルに対し、大きいほうのグルーピングキーをポジショナルグルーピングの「以上」の絞り込み値に指定してポジショナルグルーピングを行う。両方のテーブルのグルーピングキーに同じ値が得られた場合は、その両方を合わせて（ＪＯＩＮされた状態）出力し、左右のテーブル各々に対し、各々次のグルーピングを得る。この動作を、いずれかのテーブルのデータが無くなるまで繰り返す。
＜Ｉｎｎｅｒ－Ｊｏｉｎの処理フロー＞
　図３１は、本実施の形態に係るデータ処理に含まれるＩｎｎｅｒーＪＯＩＮ処理のフローチャートを示している。この例では、テーブルＡとテーブルＢに対しＪＯＩＮ処理を行う。
　図３１に示すように、まず、データ処理装置１００は、テーブルＡとテーブルＢの各々の基本グルーピング結果を取得（昇順、取得件数＝１）する（Ｓ１３０１）。例えば、実施の形態２のように、昇順の基本グルーピングソートにより、各テーブルのデータをグルーピングし、指定された件数（１件）のデータを取得する。
　次に、データ処理装置１００は、両方のテーブルのグルーピング値が求まっているか（グルーピング結果があるか）否か判定する（Ｓ１３０２）。Ｓ１３０２で両方のテーブルのグルーピング値が求まっていない場合、データ処理装置１００は処理を終了する。また、Ｓ１３０２で両方のテーブルのグルーピング値が求まっている場合、データ処理装置１００は、両方のテーブルのグルーピング値が同じか否か判定する（Ｓ１３０３）。
　Ｓ１３０３で両方のテーブルのグルーピング値が同じ場合、データ処理装置１００は、両方のテーブルのグルーピング結果を合わせて出力（Ｊｏｉｎ結果出力）する（Ｓ１３０４）。次に、データ処理装置１００は、テーブルＡとテーブルＢの各々の次の基本グルーピング結果を取得（昇順、取得件数＝１）し（Ｓ１３０５）、その後、Ｓ１３０２以降を繰り返す。
　また、Ｓ１３０３で両方のテーブルのグルーピング値が異なる場合、データ処理装置１００は、テーブルＡのグルーピング値がテーブルＢのグルーピング値より小さいか否か判定する（Ｓ１３０６）。Ｓ１３０６でテーブルＡのグルーピング値がテーブルＢのグルーピング値より小さい場合、データ処理装置１００は、テーブルＢのグルーピング値によりテーブルＡをポジショナルグルーピングする（Ｓ１３０７）。すなわち、テーブルＢのグルーピング値を絞り込み開始データに指定し、テーブルＡを「以上（大なりイコール）」の条件でポジショナルグルーピング（昇順、取得件数＝１）し、その後、Ｓ１３０２以降を繰り返す。ポジショナルグルーピングは、実施の形態３のように、グルーピングの最初に、絞り込み動作（昇順の場合は、より大きいもしくは以下、降順の場合は、より小さいもしくは以下）を加えた、任意の位置を開始点とするグルーピング処理である。
　また、Ｓ１３０６でテーブルＡのグルーピング値がテーブルＢのグルーピング値以上の場合、データ処理装置１００は、テーブルＡのグルーピング値によりテーブルＢをポジショナルグルーピングする（Ｓ１３０８）。すなわち、テーブルＡのグルーピング値を絞り込み開始データに指定し、テーブルＢを「以上（大なりイコール）」の条件でポジショナルグルーピング（昇順、取得件数＝１）し、その後、Ｓ１３０２以降を繰り返す。
＜ＪＯＩＮ処理の動作例＞
　図３２は、本実施の形態に係るデータ処理であるＪＯＩＮ処理の動作例を示している。図２９の例では、テーブルＡには、１（Ａ１），２（Ａ２），４（Ａ４），５（Ａ５），６（Ａ６）のデータが格納され、テーブルＢには、２（Ｂ２），３（Ｂ３），６（Ｂ６）のデータが格納されている。なお、説明の簡略化のため、各テーブルに各値のデータが一つしか含まれていないが、同値のデータが複数ある場合は、グルーピング動作により同値のデータが同時検出される。
　図３２（ａ）に示すように、ＦｕｌｌＯｕｔｅｒ－ＪＯＩＮの場合、テーブルＡとテーブルＢのＪｏｉｎカラムを同一位置に配置し、全体を対象に基本グルーピングを行う。ＦｕｌｌＯｕｔｅｒ－ＪＯＩＮの結果は、ＪＯＩＮ個数＝６、ＪＯＩＮデータ＝（Ａ１）、（Ａ２，Ｂ２）、（Ｂ３）、（Ａ４）、（Ａ５）、（Ａ６，Ｂ６）となる。
　図３２（ｂ）に示すように、ＬｅｆｔＯｕｔｅｒ－ＪＯＩＮの場合、テーブルＡでまず基本グルーピングを行い、テーブルＡのグルーピング結果を使って、テーブルＢを同値検索する。ＬｅｆｔＯｕｔｅｒ－ＪＯＩＮの結果は、ＪＯＩＮ個数＝５、ＪＯＩＮデータ＝（Ａ１）、（Ａ２，Ｂ２)、（Ａ４）、（Ａ５）、（Ａ６,Ｂ６）となる。
　図３２（ｃ）に示すように、ＲｉｇｈｔＯｕｔｅｒ－ＪＯＩＮの場合、テーブルＢでまず基本グルーピングを行い、テーブルＢのグルーピング結果を使って、テーブルＡを同値検索する。ＲｉｇｈｔＯｕｔｅｒ－ＪＯＩＮの結果は、ＪＯＩＮ個数＝３、ＪＯＩＮデータ＝（Ａ２，Ｂ２)、（Ｂ３）、（Ａ６,Ｂ６）となる。
　図３２（ｄ）に示すように、Ｉｎｎｅｒ－ＪＯＩＮの場合、テーブルＡとテーブルＢでポジショナルグルーピングを行い、同値がある箇所のみ結果を出力する。
　まず、テーブルＡとテーブルＢを各々基本グルーピングし、テーブルＡの結果が１、テーブルＢの結果が２となる（Ｓ１４０１）。次に、Ｓ１４０１の結果ではテーブルＡの値（１）の方が小さいため、テーブルＢの値（２）以上でテーブルＡをポジショナルグルーピングすると、テーブルＡの結果が２となる（Ｓ１４０２）。
　次に、Ｓ１４０２の結果ではテーブルＡとテーブルＢに同じ値（２）が現れるため、グルーピング結果（Ａ２，Ｂ２）を出力し、さらに両テーブルを各々基本グルーピングする（Ｓ１４０３）。次に、Ｓ１４０３の結果ではテーブルＢの値（３）の方が小さいため、テーブルＡの値（４）以上でテーブルＢをポジショナルグルーピングすると、テーブルＢの結果が６となる（Ｓ１４０４）。
　次に、Ｓ１４０４の結果ではテーブルＡの値（４）の方が小さいため、テーブルＢの値（６）以上でテーブルＡをポジショナルグルーピングすると、テーブルＡの結果が６となる（Ｓ１４０５）。次に、Ｓ１４０５の結果ではテーブルＡとテーブルＢに同じ値（６）が現れるため、グルーピング結果（Ａ６、Ｂ６）を出力し、さらに両テーブルを各々基本グルーピングする（Ｓ１４０６）。Ｓ１４０６で新たなグルーピングデータ無しとなり処理を終了する（Ｓ１４０７）。
＜本実施の形態の効果＞
　通常、ＪＯＩＮ処理を高速に行うためにはインデックスの作成を避けては通れない。しかしながら、一般に使われるＢ－Ｔｒｅｅやハッシュインデックスの作成や更新は、序列（ＳＯＲＴ順）の維持や、生成されるハッシュ値の変化による格納位置の変更などの処理を伴うため、生成や更新の処理負荷が大きい。一方、本実施の形態に係るＪＯＩＮ処理では、上記実施の形態におけるグルーピング処理を使用することで、インデックスの作成を前提とせずに、任意のデータ集合をＪＯＩＮすることができ、効率よくＪＯＩＮ処理を行うことができる。
　なお、本発明は上記実施の形態に限られたものではなく、趣旨を逸脱しない範囲で適宜変更することが可能である。
　上述の実施形態における各構成は、ハードウェア又はソフトウェア、もしくはその両方によって構成され、１つのハードウェア又はソフトウェアから構成してもよいし、複数のハードウェア又はソフトウェアから構成してもよい。各装置の機能（処理）を、ＣＰＵやメモリ等を有するコンピュータにより実現してもよい。例えば、記憶装置に実施形態における方法を行うためのプログラムを格納し、各機能を、記憶装置に格納されたプログラムをＣＰＵで実行することにより実現してもよい。
　これらのプログラムは、コンピュータに読み込まれた場合に、実施形態で説明された１又はそれ以上の機能をコンピュータに行わせるための命令群（又はソフトウェアコード）を含む。プログラムは、非一時的なコンピュータ可読媒体又は実体のある記憶媒体に格納されてもよい。限定ではなく例として、コンピュータ可読媒体又は実体のある記憶媒体は、random-access memory（RAM）、read-only memory（ROM）、フラッシュメモリ、solid-state drive（SSD）又はその他のメモリ技術、CD-ROM、digital versatile disc（DVD）、Blu-ray（登録商標）ディスク又はその他の光ディスクストレージ、磁気カセット、磁気テープ、磁気ディスクストレージ又はその他の磁気ストレージデバイスを含む。プログラムは、一時的なコンピュータ可読媒体又は通信媒体上で送信されてもよい。限定ではなく例として、一時的なコンピュータ可読媒体又は通信媒体は、電気的、光学的、音響的、またはその他の形式の伝搬信号を含む。
　この出願は、２０２１年９月２２日に出願された日本出願特願２０２１－１５４５５０を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明は、データベースのデータを処理するデータ処理装置に好適に適用することができる。
１００　　データ処理装置
１１０　　記憶部
１２０　　取得部
１２１　　分割部
１３０　　マスク保持部
１３１　　マスク退避部
１３２　　絞り込み部
１３３　　スタック部
１４０、１４０ａ、１４０ｂ　スキャンダウン部
１４１　　昇順処理部
１４２　　降順処理部
１５０　　出力部
１６０　　ビットカウント部
１６１　　積算部
１７０　　ＪＯＩＮ処理部

Claims (15)

  1. 　複数のＮビットの入力データにおける同じビット位置のビットデータを含むスキャンデータを、ビット位置順に取得する取得部と、
    　前記取得されるスキャンデータを用いてマスクデータにマスクをかけるマスク処理と前記マスク処理の結果に応じた前記マスクデータの更新処理とを含むビットスキャン処理を行い、前記第１のビット位置のスキャンデータから前記第Ｎのビット位置のスキャンデータまで前記ビットスキャン処理を繰り返すスキャンダウン処理を行うスキャンダウン部と、
    　前記スキャンダウン処理ごとに得られる同値の前記入力データをソート順に逐次出力する出力部と、
    　を備えるデータ処理装置。
  2. 　前記ビットスキャン処理では、前記マスク処理の結果が０の場合、前記マスクデータの更新処理をスキップする、
    　請求項１に記載のデータ処理装置。
  3. 　前記マスク処理では、前記入力データを昇順にソートする場合、前記マスクデータに対し前記スキャンデータの反転データを使ってマスクをかけ、前記入力データを降順にソートする場合、前記マスクデータに対し前記スキャンデータをそのまま使ってマスクをかける、
    　請求項１または２に記載のデータ処理装置。
  4. 　前記複数の入力データのうちソート対象のデータに対応するマスタマスクを保持する保持部をさらに備え、
    　前記スキャンダウン部は、前記マスタマスクを前記マスクデータの初期値として、第１のビット位置のスキャンデータから第Ｎのビット位置のスキャンデータに対し前記スキャンダウン処理を開始し、前記スキャンダウン処理を繰り返す、
    　請求項１乃至３のいずれか一項に記載のデータ処理装置。
  5. 　前記スキャンダウン部は、前記スキャンダウン処理の終了ごとに、処理結果に応じて前記マスタマスクを更新する、
    　請求項４に記載のデータ処理装置。
  6. 　前記マスタマスクの更新では、前記マスタマスクと前記スキャンダウン処理の結果の反転データとを論理積演算した結果により、前記マスタマスクを更新する、
    　請求項５に記載のデータ処理装置。
  7. 　前記入力データからソート対象のデータを絞り込み、前記絞り込み結果に応じて前記マスタマスクを更新する絞り込み部を備える、
    　請求項４乃至６のいずれか一項に記載のデータ処理装置。
  8. 　前記絞り込み部は、前記複数のスキャンデータに対し前記ビットスキャン処理を行うことで、前記入力データから所定の範囲のデータを抽出する、
    　請求項７に記載のデータ処理装置。
  9. 　前記マスク処理の結果をスタックするスタック部をさらに備え、
    　前記スキャンダウン部は、前記スタックされたマスク結果に対応するビット位置から前記スキャンダウン処理を開始する、
    　請求項４乃至８のいずれか一項に記載のデータ処理装置。
  10. 　前記取得されたスキャンデータを複数の分割スキャンデータに分割する分割部をさらに備え、
    　前記スキャンダウン部は、前記分割スキャンデータごとに前記スキャンダウン処理を行う、
    　請求項１乃至９のいずれか一項に記載のデータ処理装置。
  11. 　前記スキャンダウン部は、前記入力データを昇順にソートするスキャンダウン処理と、前記入力データを降順にソートするスキャンダウン処理とを並列に行う、
    　請求項１乃至１０のいずれか一項に記載のデータ処理装置。
  12. 　前記スキャンダウン処理の結果と前記複数のスキャンデータとをマスクした結果のビットをビットカウントするビットカウント部と、
    　前記ビットカウントの結果に応じた値を積算する積算部と、をさらに備える、
    　請求項１乃至１１のいずれか一項に記載のデータ処理装置。
  13. 　前記スキャンダウン部は、複数のテーブルから取得されるスキャンデータに対しスキャンダウン処理を行い、
    　前記スキャンダウン処理によるソート結果に基づいて、前記複数のテーブルのＪＯＩＮ処理を行うＪＯＩＮ処理部をさらに備える、
    　請求項１乃至１２のいずれか一項に記載のデータ処理装置。
  14. 　データ処理装置がデータを処理する方法であって、
    　複数のＮビットの入力データにおける同じビット位置のビットデータを含むスキャンデータを、ビット位置順に取得し、
    　前記取得されるスキャンデータを用いてマスクデータにマスクをかけるマスク処理と前記マスク処理の結果に応じた前記マスクデータの更新処理とを含むビットスキャン処理を行い、前記第１のビット位置のスキャンデータから前記第Ｎのビット位置のスキャンデータまで前記ビットスキャン処理を繰り返すスキャンダウン処理を行い、
    　前記スキャンダウン処理ごとに得られる同値の前記入力データをソート順に逐次出力する、
    　データ処理方法。
  15. 　複数のＮビットの入力データにおける同じビット位置のビットデータを含むスキャンデータを、ビット位置順に取得し、
    　前記取得されるスキャンデータを用いてマスクデータにマスクをかけるマスク処理と前記マスク処理の結果に応じた前記マスクデータの更新処理とを含むビットスキャン処理を行い、前記第１のビット位置のスキャンデータから前記第Ｎのビット位置のスキャンデータまで前記ビットスキャン処理を繰り返すスキャンダウン処理を行い、
    　前記スキャンダウン処理ごとに得られる同値の前記入力データをソート順に逐次出力する、
    　処理をコンピュータに実行させるためのプログラム。
PCT/JP2022/033333 2021-09-22 2022-09-05 データ処理装置、データ処理方法、及びプログラム WO2023047934A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2021154550A JP6986309B1 (ja) 2021-09-22 2021-09-22 データ処理装置、データ処理方法、及びプログラム
JP2021-154550 2021-09-22

Publications (1)

Publication Number Publication Date
WO2023047934A1 true WO2023047934A1 (ja) 2023-03-30

Family

ID=79193192

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2022/033333 WO2023047934A1 (ja) 2021-09-22 2022-09-05 データ処理装置、データ処理方法、及びプログラム

Country Status (2)

Country Link
JP (1) JP6986309B1 (ja)
WO (1) WO2023047934A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0895753A (ja) * 1994-09-26 1996-04-12 Canon Inc 情報処理装置
JP2005085125A (ja) * 2003-09-10 2005-03-31 Oki Electric Ind Co Ltd データ並び替え方法
US20090177657A1 (en) * 2008-01-08 2009-07-09 Dennis James Carroll In-place sorting using node specific mask width
JP2017016668A (ja) * 2013-12-23 2017-01-19 井上　克己 情報検索機能を備えたメモリ、その利用方法、装置、情報処理方法。
JP2018139017A (ja) * 2015-06-08 2018-09-06 井上　克己 メモリ型プロセッサ、メモリ型プロセッサを含んだ装置、その使用方法。

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0895753A (ja) * 1994-09-26 1996-04-12 Canon Inc 情報処理装置
JP2005085125A (ja) * 2003-09-10 2005-03-31 Oki Electric Ind Co Ltd データ並び替え方法
US20090177657A1 (en) * 2008-01-08 2009-07-09 Dennis James Carroll In-place sorting using node specific mask width
JP2017016668A (ja) * 2013-12-23 2017-01-19 井上　克己 情報検索機能を備えたメモリ、その利用方法、装置、情報処理方法。
JP2018139017A (ja) * 2015-06-08 2018-09-06 井上　克己 メモリ型プロセッサ、メモリ型プロセッサを含んだ装置、その使用方法。

Also Published As

Publication number Publication date
JP6986309B1 (ja) 2021-12-22
JP2023045929A (ja) 2023-04-03

Similar Documents

Publication Publication Date Title
CN103229147B (zh) 用于去重存储系统内的合成备份的方法和系统
CN107391554B (zh) 高效分布式局部敏感哈希方法
JP2790466B2 (ja) 文字列検索方法及び装置
CN109299086B (zh) 最优排序键压缩和索引重建
Peng et al. Paris+: Data series indexing on multi-core architectures
JP6160259B2 (ja) 文字列探索方法、文字列探索装置および文字列探索プログラム
Li et al. Optimal in-place suffix sorting
JPWO2006061899A1 (ja) 文字列照合装置および文字列照合プログラム
JP6434162B2 (ja) データ管理システム、データ管理方法およびプログラム
Kärkkäinen et al. Engineering a lightweight external memory suffix array construction algorithm
US20230367781A1 (en) Systems and methods for processing timeseries data
Jenkins et al. ALACRITY: Analytics-driven lossless data compression for rapid in-situ indexing, storing, and querying
Patel et al. New Approach for K-mean and K-medoids Algorithm
US20110246451A1 (en) Storage device having full-text search function
US10049164B2 (en) Multidimensional-range search apparatus and multidimensional-range search method
JP4491480B2 (ja) インデクス構築方法、文書検索装置及びインデクス構築プログラム
Kempa et al. LZ-End parsing in linear time
WO2023047934A1 (ja) データ処理装置、データ処理方法、及びプログラム
Martayan et al. Conway–Bromage–Lyndon (CBL): an exact, dynamic representation of k-mer sets
CN113742332B (zh) 数据存储方法、装置、设备及存储介质
CN113407693A (zh) 一种用于全媒体审读的文本相似度比对方法及装置
JP2010225156A (ja) 文字列照合装置および文字列照合プログラム
JPWO2009147794A1 (ja) 有限オートマトン生成システム
Petri et al. Efficient indexing algorithms for approximate pattern matching in text
Wangikar et al. Study and Implementation of Record De-duplication Algorithms

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22872690

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 22872690

Country of ref document: EP

Kind code of ref document: A1