JP4850581B2

JP4850581B2 - Data processing system

Info

Publication number: JP4850581B2
Application number: JP2006142174A
Authority: JP
Inventors: 裕三石田; 敏幸小山; 昌明若井; 道春井深; 義昭浅田
Original assignee: Nomura Research Institute Ltd
Current assignee: Nomura Research Institute Ltd
Priority date: 2006-05-22
Filing date: 2006-05-22
Publication date: 2012-01-11
Anticipated expiration: 2026-05-22
Also published as: JP2007310844A

Description

この発明はデータ処理システムに係り、特に、APサーバからDBサーバへのアクセス数を減らすことによって検索処理等の高速化を実現する技術に関する。 The present invention relates to a data processing system, and more particularly to a technique for realizing high-speed search processing and the like by reducing the number of accesses from an AP server to a DB server.

クライアントサーバ型システムの進展に伴い、より大規模な情報処理の要求に応えるために、データの表示をするクライアントの他にデータの加工を行うAPサーバ及びデータの格納をするDBサーバを備えた、いわゆる三層構造のクライアントサーバシステムが普及してきている。
また、処理速度の向上を図るため、複数のAPサーバを並列配置させることで負荷を分散させることも行われている。
特開２００５−１６５６１０ Along with the development of client-server systems, in order to meet the demand for larger-scale information processing, in addition to the client that displays data, it has an AP server that processes data and a DB server that stores data. A so-called three-layer client-server system has become widespread.
In order to improve the processing speed, a load is distributed by arranging a plurality of AP servers in parallel.
JP 2005-165610 A

ところで、APサーバは廉価なPCサーバで構成することができるため、設置台数を増加させることで処理速度を向上させることは比較的容易であるが、DBサーバについてはデータの同期を維持する必要性があるため、APサーバのように簡単に分散処理に移行することはできない。
もちろん、データベースシステムのベンダ各社は、様々な技術を駆使してソフトウェア及びハードウェアの両面からDBサーバ自体の高速化を図ってきており、その結果一定の成果は上がっているが、その分システムの価格が上昇することは否めない。
また、今後ともクライアントサーバ型システムに担わされるデータベースの規模が増大を続ける限り、いずれはディスクI/O（データの読み書き）速度が壁となり、DBサーバの性能アップでは対応できない時期が来るものと予想される。 By the way, the AP server can be configured with an inexpensive PC server, so it is relatively easy to increase the processing speed by increasing the number of installed servers, but it is necessary to maintain data synchronization for the DB server Therefore, it is not possible to shift to distributed processing as easily as AP server.
Of course, database system vendors have been using various technologies to speed up the DB server itself from both the software and hardware sides, and as a result, certain results have been achieved. It cannot be denied that prices will rise.
In addition, as long as the scale of the database handled by the client-server system continues to increase, the disk I / O (data read / write) speed will eventually become a barrier, and there will be a time when the performance of the DB server cannot be improved. is expected.

この発明は、従来のデータ管理システムが抱えていた上記の問題を解決するために案出されたものであり、DBサーバ自体の性能アップに依存するのではなく、APサーバのメモリ上にDBサーバのテーブルを再現することにより、検索速度の向上を実現することを目的としている。 The present invention has been devised to solve the above-described problems that the conventional data management system has, and does not depend on the performance improvement of the DB server itself, but the DB server is stored in the memory of the AP server. The purpose is to improve the search speed by reproducing the table.

上記の目的を達成するため、請求項１に記載したデータ処理システムは、DBサーバとAPサーバを備えたデータ処理システムであって、上記DBサーバが、データベース管理システムと、テーブルを格納したデータベースを備え、上記APサーバが、メモリと、上記DBサーバにSQL文を発行し、上記テーブルに格納されたデータの読み出しを指令するデータ読み出し手段と、DBサーバから送信されたデータを少なくともビット配列を含む木構造のデータに変換し、上記メモリに格納するデータ圧縮手段と、上記ビット配列を含む木構造のデータに対し検索処理を実行するデータ検索手段を備え、上記のデータ圧縮手段が、上記DBサーバから送信された各レコードの中で、少なくとも最上位のデータ項目については、値が相互に重複する場合に一つのレコードのデータを残して他のレコードのデータを削除し、削除された上位データに従属していた下位データを残された上位データに関連付ける第１の処理と、残された最上位のデータ項目同士を一つの根の元に結合させ、木構造のデータを生成する第２の処理と、最下位のデータ項目に含まれる値の類型を抽出し、これらを所定の順序で整列させたディスティンクト・リストを生成し、メモリに格納する第３の処理と、上記ディスティンクト・リストに含まれる各要素と最下位のデータ項目の値とを、親のデータ項目を共通にする兄弟単位で順にマッチングさせ、ディスティンクト・リストの要素が最下位のデータ項目に存在する場合には、メモリ上に設けたビット配列における対応位置に１をセットすると同時に実データを削除し、該当の値が最下位のデータ項目に存在しない場合には上記ビット配列の対応位置に０をセットする第４の処理を実行し、上記データ検索手段が、各ビット配列及び上記ディスティンクト・リストを参照することにより、最下位のデータ項目の値を特定することを特徴としている。 In order to achieve the above object, a data processing system according to claim 1 is a data processing system including a DB server and an AP server, and the DB server includes a database management system and a database storing tables. The AP server includes a memory, data reading means for issuing an SQL statement to the DB server, and instructing reading of the data stored in the table, and at least a bit array of data transmitted from the DB server Data compression means for converting the data into tree structure data and storing the data in the memory; and data search means for executing search processing on the tree structure data including the bit array, wherein the data compression means is the DB server In each record sent from, at least the highest data item has one record when the values overlap each other. The first process that deletes the data of other records while leaving the data and associates the lower data that was subordinate to the deleted higher data with the remaining higher data, and the remaining uppermost data items A second process for generating tree-structured data by combining with one root element, and extracting a type of values included in the lowest data item and arranging them in a predetermined order The third process of generating a list and storing it in memory, and each element included in the above-mentioned distinct list and the value of the lowest data item are sequentially matched in units of siblings that share the parent data item. If the distinct list element exists in the lowest data item, 1 is set at the corresponding position in the bit array provided in the memory, and at the same time, the actual data is deleted and the corresponding value is the lowest. If the lower data item does not exist, a fourth process for setting 0 to the corresponding position of the bit array is executed, and the data search means refers to each bit array and the distinct list. The value of the lowest data item is specified .

請求項２に記載したデータ処理システムは、DBサーバとAPサーバを備えたデータ処理システムであって、上記DBサーバが、データベース管理システムと、テーブルを格納したデータベースを備え、上記APサーバが、メモリと、上記DBサーバにSQL文を発行し、上記テーブルに格納されたデータの読み出しを指令するデータ読み出し手段と、DBサーバから送信されたデータを少なくともビット配列を含む木構造のデータに変換し、上記メモリに格納するデータ圧縮手段と、上記ビット配列を含む木構造のデータに対し検索処理を実行するデータ検索手段とを備え、上記のデータ圧縮手段が、上記DBサーバから送信された各レコードの中で、少なくとも最上位のデータ項目については、値が相互に重複する場合に一つのレコードのデータを残して他のレコードのデータを削除し、削除された上位データに従属していた下位データを残された上位データに関連付ける第１の処理と、残された最上位のデータ項目同士を一つの根の元に結合させ、木構造のデータを生成する第２の処理と、最下位のデータ項目に含まれる値の類型を抽出し、これらを所定の順序で整列させたディスティンクト・リストを生成し、メモリに格納する第３の処理と、上記ディスティンクト・リストに含まれる各要素と最下位のデータ項目の値とを、親のデータ項目を共通にする兄弟単位で順にマッチングさせ、ディスティンクト・リストの要素が最下位のデータ項目に存在する場合には、メモリ上に設けたディスティンクト・リストと同サイズのブーリアン配列における対応位置にブーリアン型のtrueをセットすると同時に実データを削除し、該当の値が最下位のデータ項目に存在しない場合には上記ブーリアン配列の対応位置にブーリアン型のfalseをセットする第４の処理と、上記のブーリアン配列をビット配列に変換する第５の処理を実行し、上記データ検索手段が、各ビット配列をブーリアン配列に変換し、各ブーリアン配列及び上記ディスティンクト・リストを参照することにより、最下位のデータ項目の値を特定することを特徴としている。 The data processing system according to claim 2 is a data processing system including a DB server and an AP server , wherein the DB server includes a database management system and a database storing a table, and the AP server includes a memory. And a data reading means for issuing an SQL statement to the DB server and instructing reading of the data stored in the table, and converting the data transmitted from the DB server into data of a tree structure including at least a bit array, A data compression means for storing data in the memory; and a data search means for executing a search process on the tree-structured data including the bit arrangement, wherein the data compression means is configured to store each record transmitted from the DB server. Among them, at least for the highest data item, if the values overlap each other, the data of one record is left and other records are left. The first processing for deleting the data of the node and associating the lower data that was subordinate to the deleted higher data with the remaining higher data, and the remaining uppermost data items as one root A second process for combining and generating tree-structured data, extracting a type of values included in the lowest data item, generating a distinct list in which these are arranged in a predetermined order, and The third processing stored in the above-mentioned distinct list and the value of the lowest data item are sequentially matched in units of siblings sharing the parent data item, If the list element exists in the lowest data item, set a Boolean type true to the corresponding position in the Boolean array of the same size as the distinct list provided in memory. When the actual data is deleted and the corresponding value does not exist in the lowest data item, a fourth process for setting a Boolean type false to the corresponding position of the Boolean array, and the Boolean array is converted to a bit array The data search means converts each bit array into a Boolean array, and identifies the value of the lowest data item by referring to each Boolean array and the distinct list. It is characterized by doing.

請求項３に記載したデータ処理システムは、請求項１または２のシステムであって、さらに上記のデータ読み出し手段が、上記SQL文において一または複数のデータ項目の値を指定することにより、上記DBサーバから上記テーブルをグループに分割して読み出す処理を実行し、上記のデータ圧縮手段が、上記第１の処理をグループ単位で実行することを特徴としている。 Data processing system according to claim 3 is the claim 1 or 2 of the system, further said data reading means, by specifying a value for one or more data items in the SQL statement, said DB A process of reading the table divided into groups from the server is executed, and the data compression means executes the first process in units of groups.

請求項４に記載したデータ処理システムは、DBサーバとAPサーバを備えたデータ処理システムであって、上記DBサーバが、データベース管理システムと、テーブルを格納したデータベースを備え、上記APサーバが、メモリと、上記DBサーバにSQL文を発行し、上記テーブルに格納されたデータの読み出しを指令するデータ読み出し手段と、DBサーバから送信されたデータを少なくともビット配列を含む木構造のデータに変換し、上記メモリに格納するデータ圧縮手段と、上記ビット配列を含む木構造のデータに対し検索処理を実行するデータ検索手段を備え、上記のデータ圧縮手段が、上記DBサーバから送信された各レコードの中で、少なくとも最上位のデータ項目については、値が相互に重複する場合に一つのレコードのデータを残して他のレコードのデータを削除し、削除された上位データに従属していた下位データを残された上位データに関連付ける第１の処理と、値が相互に重複する下位のデータ項目については、一の値のみを実データとしてメモリ上に残し、他の値については上記実データを参照する型に変換する第２の処理と、残された最上位のデータ項目同士を一つの根の元に結合させ、木構造のデータを生成する第３の処理と、最下位のデータ項目に含まれる値の類型を抽出し、これらを所定の順序で整列させたディスティンクト・リストを生成し、メモリに格納する第４の処理と、上記ディスティンクト・リストに含まれる各要素と最下位のデータ項目の値とを、親のデータ項目を共通にする兄弟単位で順にマッチングさせ、ディスティンクト・リストの要素が最下位のデータ項目に存在する場合には、メモリ上に設けたビット配列における対応位置に１をセットすると同時に実データを削除し、該当の値が最下位のデータ項目に存在しない場合には上記ビット配列の対応位置に０をセットする第５の処理を実行し、上記データ検索手段が、各ビット配列及び上記ディスティンクト・リストを参照することにより、最下位のデータ項目の値を特定することを特徴としている。 The data processing system according to claim 4 is a data processing system including a DB server and an AP server , wherein the DB server includes a database management system and a database storing a table, and the AP server includes a memory. And a data reading means for issuing an SQL statement to the DB server and instructing reading of the data stored in the table, and converting the data transmitted from the DB server into data of a tree structure including at least a bit array, A data compression means for storing data in the memory; and a data search means for executing a search process on the tree-structured data including the bit arrangement, wherein the data compression means is included in each record transmitted from the DB server. In the case of at least the highest data item, if the values overlap each other, the data of one record is left and another record is left. The first process for deleting the data of the data and associating the lower data that was subordinate to the deleted higher data with the remaining higher data, and for the lower data items whose values overlap each other, only one value Is stored in the memory as real data, and for other values, the second process of converting to the type that refers to the real data is combined with the remaining top-level data items to one root, and the tree A third process for generating data of the structure, a type of values included in the lowest data item, and a distinct list in which these are arranged in a predetermined order, and stored in the memory 4 is matched with each element included in the above-mentioned distinct list and the value of the lowest data item in order of siblings sharing the parent data item, and the elements of the distinct list are Bottom If it exists in the data item, 1 is set at the corresponding position in the bit array provided on the memory and at the same time the actual data is deleted. If the corresponding value does not exist in the lowest data item, the bit array A fifth process of setting 0 to the corresponding position is executed, and the data search means specifies the value of the lowest data item by referring to each bit array and the distinct list. It is said.

請求項５に記載したデータ処理システムは、DBサーバとAPサーバを備えたデータ処理システムであって、上記DBサーバが、データベース管理システムと、テーブルを格納したデータベースを備え、上記APサーバが、メモリと、上記DBサーバにSQL文を発行し、上記テーブルに格納されたデータの読み出しを指令するデータ読み出し手段と、DBサーバから送信されたデータを少なくともビット配列を含む木構造のデータに変換し、上記メモリに格納するデータ圧縮手段と、上記ビット配列を含む木構造のデータに対し検索処理を実行するデータ検索手段とを備え、上記のデータ圧縮手段が、上記DBサーバから送信された各レコードの中で、少なくとも最上位のデータ項目については、値が相互に重複する場合に一つのレコードのデータを残して他のレコードのデータを削除し、削除された上位データに従属していた下位データを残された上位データに関連付ける第１の処理と、値が相互に重複する下位のデータ項目については、一の値のみを実データとしてメモリ上に残し、他の値については上記実データを参照する型に変換する第２の処理と、残された最上位のデータ項目同士を一つの根の元に結合させ、木構造のデータを生成する第３の処理と、最下位のデータ項目に含まれる値の類型を抽出し、これらを所定の順序で整列させたディスティンクト・リストを生成し、メモリに格納する第４の処理と、上記ディスティンクト・リストに含まれる各要素と最下位のデータ項目の値とを、親のデータ項目を共通にする兄弟単位で順にマッチングさせ、ディスティンクト・リストの要素が最下位のデータ項目に存在する場合には、メモリ上に設けたディスティンクト・リストと同サイズのブーリアン配列における対応位置にブーリアン型のtrueをセットすると同時に実データを削除し、該当の値が最下位のデータ項目に存在しない場合には上記ブーリアン配列の対応位置にブーリアン型のfalseをセットする第５の処理と、上記のブーリアン配列をビット配列に変換する第６の処理を実行し、上記データ検索手段が、各ビット配列をブーリアン配列に変換し、各ブーリアン配列及び上記ディスティンクト・リストを参照することにより、最下位のデータ項目の値を特定することを特徴としている。 The data processing system according to claim 5 is a data processing system including a DB server and an AP server , wherein the DB server includes a database management system and a database storing a table, and the AP server includes a memory. And a data reading means for issuing an SQL statement to the DB server and instructing reading of the data stored in the table, and converting the data transmitted from the DB server into data of a tree structure including at least a bit array, A data compression means for storing data in the memory; and a data search means for executing a search process on the tree-structured data including the bit arrangement, wherein the data compression means is configured to store each record transmitted from the DB server. Among them, at least for the highest data item, if the values overlap each other, the data of one record is left and other records are left. The first processing for deleting the data of the node and associating the lower data that was subordinate to the deleted higher data with the remaining higher data, and for the lower data items whose values overlap each other, one value Only the remaining data in the memory as the actual data, and for the other values, the second process for converting to the type that refers to the actual data, and the remaining most significant data items are combined into one root element, A third process for generating tree-structured data and a type of value included in the lowest data item are extracted, and a distinct list in which these are arranged in a predetermined order is generated and stored in the memory. The fourth process and each element included in the above-described distinct list and the value of the lowest data item are sequentially matched in units of siblings that share a common parent data item. Is the bottom If it exists in the data item, set the Boolean type true to the corresponding position in the Boolean array of the same size as the distinct list provided in the memory, and at the same time delete the actual data, the corresponding value is the lowest If the data item does not exist, the fifth process of setting a Boolean type false to the corresponding position of the Boolean array and the sixth process of converting the Boolean array into a bit array are executed, and the data search is performed. The means is characterized in that each bit array is converted into a Boolean array, and the value of the lowest data item is specified by referring to each Boolean array and the distinct list.

請求項６に記載したデータ処理システムは、請求項４または５のシステムであって、さらに上記のデータ読み出し手段が、上記SQL文において一または複数のデータ項目の値を指定することにより、上記DBサーバから上記テーブルをグループに分割して読み出す処理を実行し、上記のデータ圧縮手段が、上記第１の処理及び第２の処理をグループ単位で実行することを特徴としている。 The data processing system according to claim 6 is the system according to claim 4 or 5 , wherein the data reading unit further specifies the value of one or a plurality of data items in the SQL statement. A process of reading the table divided into groups from the server is executed, and the data compression unit executes the first process and the second process in units of groups.

請求項１、２、４、５に記載したデータ処理システムにあっては、DBサーバのデータベース内に格納されていたテーブルが、ディスクに比べて高速アクセスが可能なAPサーバのメモリ上に少なくともビット配列を含む木構造のデータとして再現されるため、APサーバはDBサーバにアクセスすることなく、したがってディスクI/Oを発生させることもなく、必要なデータの高速検索が可能となり、処理速度の飛躍的な向上を実現できる。
しかも、表形式のデータを木構造のデータに変換する過程で重複する最上位のデータ項目のデータが除去され、また最上位以外の下位データ項目のデータについてはビット型やブーリアン型、参照型でその存在が表現されるようになるため、全体のデータ量が大幅に圧縮される。このため、比較的容量の小さいAPサーバのメモリでも効率的に必要データを収容することが可能となる。 In the data processing system according to any one of claims 1, 2, 4 , and 5, the table stored in the database of the DB server is at least a bit on the memory of the AP server that can be accessed at a higher speed than the disk. Since it is reproduced as tree-structured data including arrays, the AP server does not access the DB server, and therefore does not generate disk I / O, enabling high-speed retrieval of necessary data, and a dramatic increase in processing speed. Improvement can be realized.
Moreover, in the process of converting tabular data into tree-structured data, the duplicate data of the highest data item is removed, and the data of subordinate data items other than the highest data is in the bit type, Boolean type, or reference type. Since its presence is expressed, the entire data amount is greatly compressed. For this reason, it is possible to efficiently accommodate the necessary data even in the memory of the AP server having a relatively small capacity.

請求項３及び６に記載したデータ処理システムの場合、APサーバがレコードをDBサーバから取り出すに際し、テーブル全体を一度に受け取るのではなく、特定のデータ項目の値を指定することにより、グループ単位に分割して受け取り、当該グループについて所定の圧縮処理が完了した時点で次のグループに係るレコードを受け取る方式を採用しているため、比較的大きなテーブルであってもAPサーバのメモリ上に格納することが可能となる。

In the case of the data processing system according to claim 3 and 6 , when the AP server retrieves the record from the DB server, it does not receive the entire table at a time, but by specifying the value of a specific data item in a group unit. Since a method is adopted in which a record related to the next group is received when a predetermined compression process is completed for the group in question, even a relatively large table can be stored in the memory of the AP server. Is possible.

図１は、この発明に係るデータ処理システム10の全体構成図であり、このシステム10は、複数のAPサーバ12と、DBサーバ14と、ロードバランサ（負荷分散装置）16とを備えている。
ロードバランサ16と各APサーバ12間、及び各APサーバ12とDBサーバ14間はネットワークによって接続されている。
また、各APサーバ12に対しては、イントラネット18やインターネット等のネットワーク及びロードバランサ16を介して多数のクライアント端末20が接続されている。 FIG. 1 is an overall configuration diagram of a data processing system 10 according to the present invention, and this system 10 includes a plurality of AP servers 12, a DB server 14, and a load balancer (load balancer) 16.
The load balancer 16 and each AP server 12, and each AP server 12 and DB server 14 are connected by a network.
A large number of client terminals 20 are connected to each AP server 12 via a network such as an intranet 18 or the Internet and a load balancer 16.

各APサーバ12は、データ処理部22と、データ圧縮部24と、メモリ26とを備えている。
各APサーバ12のハードディスク（図示省略）には、OS及びこのシステム専用のアプリケーションプログラムがセットアップされており、APサーバ12のCPUがこれらのプログラムに従って動作することにより、上記のデータ処理部22及びデータ圧縮部24が実現される。 Each AP server 12 includes a data processing unit 22, a data compression unit 24, and a memory 26.
The hard disk (not shown) of each AP server 12 is set up with an OS and an application program dedicated to this system, and the CPU of the AP server 12 operates according to these programs. The compression unit 24 is realized.

DBサーバ14は、データベース管理システム（DBMS）28と、業務処理用の各種テーブルが格納されたデータベース30を備えている。
データベース管理システム28は、データベース30を管理し、データベース30に格納されたデータの入出力、更新、および所定の演算などを行う。 The DB server 14 includes a database management system (DBMS) 28 and a database 30 in which various tables for business processing are stored.
The database management system 28 manages the database 30, and performs input / output and update of data stored in the database 30, and predetermined calculations.

図２は、データベース30に格納されたテーブルの一例を示すものであり、このテーブルは、日付、店Cd（店コード）、商品Cd（商品コード）のデータ項目を備えている。
これらのデータ項目間には概念上の階層構造が存在し、日付は最上位項目、店Cdは中位項目、商品Cdは最下位項目に該当する。 FIG. 2 shows an example of a table stored in the database 30, and this table includes data items of date, store Cd (store code), and product Cd (product code).
There is a conceptual hierarchical structure between these data items, the date corresponds to the top item, the store Cd corresponds to the middle item, and the product Cd corresponds to the lowest item.

ロードバランサ16は、クライアント端末20から送信されたリクエストを、各APサーバ12にかかっている負荷に応じて分散する役割を果たす。 The load balancer 16 serves to distribute the request transmitted from the client terminal 20 according to the load applied to each AP server 12.

クライアント端末20は、ＰＣ等のコンピュータよりなり、OSの他に、Webブラウザプログラムや専用のアプリケーションプログラムがセットアップされている。 The client terminal 20 is composed of a computer such as a PC, and in addition to the OS, a Web browser program and a dedicated application program are set up.

以下、図３〜図５のフローチャートに従い、このシステム10における処理手順を説明する。
まず、APサーバ12のデータ処理部22が起動すると（図３のＳ10）、DBサーバ14に対してSQL文を発行し、データの抽出をリクエストする（Ｓ12）。
この際データ処理部22は、例えば図２のテーブルに格納された各レコードを、日付×店コードで特定されるグループ単位で、かつ日付、店コード、商品コードに基づいて昇順に整列させた状態で送信することを指令するSQL文を生成し、DBサーバ14に送信する。 Hereinafter, the processing procedure in the system 10 will be described with reference to the flowcharts of FIGS.
First, when the data processing unit 22 of the AP server 12 is activated (S10 in FIG. 3), an SQL statement is issued to the DB server 14 to request data extraction (S12).
At this time, for example, the data processing unit 22 arranges the records stored in the table of FIG. 2 in ascending order based on the date, the store code, and the product code in units of groups specified by date × store code. The SQL statement instructing to be transmitted is generated and transmitted to the DB server 14.

DBサーバ14のデータベース管理システム28から対応のレコードが日付×店コードのグループ単位で送信されると、データ処理部22はこれをデータ圧縮部24に渡す（Ｓ14）。
データ圧縮部24は、各レコードの日付と店コードに重複する値が存在するか否かをチェックし、重複がある場合には一つの日付及び一つの店コードを残し、他のデータを削除した後、メモリ26に格納する（Ｓ16）。 When the corresponding record is transmitted from the database management system 28 of the DB server 14 in groups of date × store code, the data processing unit 22 passes this to the data compression unit 24 (S14).
The data compression unit 24 checks whether there is a duplicate value in the date and store code of each record, and if there is a duplicate, leaves one date and one store code, and deletes the other data Thereafter, it is stored in the memory 26 (S16).

図６は、メモリ26に格納されたデータグループのイメージを示すものであり、(a)は2006年３月15日の店コード：600店に係るグループのデータに対応している。
図示の通り、日付（20060315）及び店コード（600）のデータは先頭レコードについてのみ残されており、他のレコードからは削除されている。この時点で、日付及び店コードが削除されたレコードに係る商品コードは、先頭レコードの商品コードと共に配列として残された日付及び店コードに関連付けられている。 FIG. 6 shows an image of a data group stored in the memory 26. FIG. 6A corresponds to the data of the group relating to the store code: 600 stores on March 15, 2006.
As shown in the figure, the data of the date (20060315) and the store code (600) are left only for the first record and are deleted from the other records. At this time, the product code related to the record from which the date and the store code are deleted is associated with the date and the store code left as an array together with the product code of the top record.

つぎにデータ圧縮部24は、各レコードの店コード及び商品コードを先行するレコードの店コード及び商品コードと順次比較していき（Ｓ18）、同一の店コードまたは商品コードが存在するか否かを確認する（Ｓ20）。
図６(a)の場合には、店コード及び商品コードの双方について重複する先行データが存在しないため、メモリ26上のデータはそのまま維持される（Ｓ22）。 Next, the data compression unit 24 sequentially compares the store code and product code of each record with the store code and product code of the preceding record (S18), and determines whether or not the same store code or product code exists. Confirm (S20).
In the case of FIG. 6A, there is no overlapping preceding data for both the store code and the product code, so the data on the memory 26 is maintained as it is (S22).

一つのグループに関する上記の処理が完了すると、データ処理部22は次のグループ（日付×店コード）に属するレコードの抽出を指令するSQL文をDBサーバ14に発行し（Ｓ26、Ｓ12）、データ圧縮部24によるデータの圧縮及びメモリ26への格納が実行される（Ｓ14、Ｓ16）。 When the above processing for one group is completed, the data processing unit 22 issues an SQL statement for instructing extraction of a record belonging to the next group (date × store code) to the DB server 14 (S26, S12), and data compression The data is compressed by the unit 24 and stored in the memory 26 (S14, S16).

つぎにデータ圧縮部24は、各レコードの店コード及び商品コードを先行するレコードの店コード及び商品コードと順次比較していき（Ｓ18）、同一の店コードまたは商品コードが存在するか否かを確認する（Ｓ20）。
2006年３月15日の店コード：601店に係るグループのデータに対応した図６(b)の場合には、商品コードの「491234567891」及び「491234567893」の双方について重複するデータが先行のデータグループに存在するため、データ圧縮部24はこれらを削除すると共に、先行商品コードの実体データを参照する型に置き換える（Ｓ24）。
これに対し、店コード「601」については重複するデータが先行のデータグループに存在しないため、データ圧縮部24は当該店コードをそのまま維持する（Ｓ22）。 Next, the data compression unit 24 sequentially compares the store code and product code of each record with the store code and product code of the preceding record (S18), and determines whether or not the same store code or product code exists. Confirm (S20).
In the case of FIG. 6 (b) corresponding to the data of the group related to the store code of March 15, 2006: 601 stores, duplicate data for both “491234567891” and “491234567893” is the preceding data. Since they exist in the group, the data compression unit 24 deletes them and replaces them with a type that refers to the actual data of the preceding product code (S24).
On the other hand, since there is no duplicate data in the preceding data group for the store code “601”, the data compression unit 24 maintains the store code as it is (S22).

APサーバ12のデータ処理部22及びデータ圧縮部24は、対象となるテーブル上の全グループについて処理が完了するまで、Ｓ12〜Ｓ24のステップを繰り返す（Ｓ26）。
因みに、図６(c)は2006年３月16日の店コード：600店に係るグループのデータに対応しており、店コード及び商品コードの全データについて先行データが存在しているため、データ圧縮部24によって実データが削除されると共に、先行する実データの参照型に置き換えられている。 The data processing unit 22 and the data compression unit 24 of the AP server 12 repeat steps S12 to S24 until processing is completed for all groups on the target table (S26).
Incidentally, FIG. 6 (c) corresponds to the data of the group relating to the store code: 600 stores on March 16, 2006, and there is pre-existing data for all the store code and product code data. The actual data is deleted by the compression unit 24 and is replaced with the reference type of the preceding actual data.

つぎにデータ圧縮部24は、各グループ間で日付を同じくするもの同士を一つの日付の下に集約し、それぞれを一つの根（root）の元に結合する（この時点で重複する日付は削除される）。
この結果、図７に示すように、DBサーバ14のデータベース30内に格納されていたレコードが、APサーバ12のメモリ26上に参照型を含む木構造のデータとして再現される（図４のＳ28）。
この木構造においては、最上位の日付から複数の店コードが枝分かれしており、各店コードには商品コードの配列がぶら下がっている。 Next, the data compression unit 24 aggregates the same dates among the groups under one date, and joins them together under one root (deletes duplicate dates at this point) )
As a result, as shown in FIG. 7, the record stored in the database 30 of the DB server 14 is reproduced as tree-structured data including the reference type on the memory 26 of the AP server 12 (S28 in FIG. 4). ).
In this tree structure, a plurality of store codes are branched from the highest date, and an array of product codes is hung from each store code.

図２のテーブルにおいては、各レコード毎に日付及び店コードのデータを備えていたが、図７に示したデータ構造の場合、上位データ項目である日付については一切の重複がない形で集約され、また下位データ項目である店コード及び商品コードについても参照型を使うことで各グループを通じて一切の重複が存在しない形で表現されているため、データ容量の大幅な圧縮が達成されている。 In the table of FIG. 2, the data of the date and the store code are provided for each record. However, in the case of the data structure shown in FIG. 7, the date as the upper data item is aggregated without any duplication. Further, since the store code and the product code which are the lower data items are expressed in a form in which there is no duplication through each group by using the reference type, a large compression of the data capacity is achieved.

つぎにデータ圧縮部24は、商品コードのディスティンクト・リスト（DistinctList）32をメモリ26上に生成する。
このディスティンクト・リスト32は、上記参照型を含む木構造のデータ中に存在する商品コードの類型を、重複することなく昇順に整列させたリストである。 Next, the data compression unit 24 generates a distinction list (DistinctList) 32 of product codes on the memory 26.
The distinct list 32 is a list in which product code types existing in the tree-structured data including the reference type are arranged in ascending order without duplication.

つぎにデータ圧縮部24は、ディスティンクト・リスト32の要素と各商品コードの値を、商品コードの上位データ項目である店コードを共通にする兄弟単位で順番にマッチングさせていき（Ｓ32）、ディスティンクト・リストの要素と一致する場合には、当該商品コードを削除すると共に、メモリ26上に設けられたディスティンクト・リスト32と同サイズのブーリアン配列における対応位置にブーリアン型の「true」をセットし、ディスティンクト・リストの値が存在しない場合にはブーリアン型の「false」を対応位置にセットする処理を実行する（Ｓ34）。 Next, the data compression unit 24 sequentially matches the elements of the distinct list 32 and the value of each product code in units of siblings that share the store code, which is the upper data item of the product code (S32). If it matches the element of the distinct list, the product code is deleted and a Boolean type "" is displayed at the corresponding position in the Boolean array of the same size as the distinct list 32 provided on the memory 26. If “true” is set, and there is no value in the distinct list, processing for setting a Boolean type “false” to the corresponding position is executed (S34).

図８は、「20060315」−「600」に係る商品コードの配列34とディスティンクト・リスト32とのマッチングを示しており、この商品コードの配列34にはディスティンクト・リスト32と同じ位置に同じ商品コードが存在しているため、全商品コードがブーリアン型の「true」に置き換えられる。 FIG. 8 shows matching between the product code array 34 and the distinct list 32 relating to “20060315”-“600”, and the product code array 34 has the same position as the distinct list 32. Since the same product code exists in, all product codes are replaced with Boolean type “true”.

また、図９は、「20060315」−「601」に係る商品コードの配列34とディスティンクト・リスト32とのマッチングを示している。この場合、商品コードの「491234567891（参照型）」及び「491234567893（参照型）」のみがディスティンクト・リスト32中の２番目及び４番目の要素と対応しており、ディスティンクト・リスト32中の１番目及び３番目の要素である「491234567890」及び「491234567892」が欠落している。このため、データ圧縮部24は商品コードの「491234567891（参照型）」及び「491234567893（参照型）」を削除した後、ブーリアン型の「false」、「true」、「false」、「true」を商品コードの存在を表すデータとしてブーリアン配列にセットする。 FIG. 9 shows matching between the product code array 34 relating to “20060315”-“601” and the distinct list 32. In this case, only the product codes “491234567891 (reference type)” and “491234567893 (reference type)” correspond to the second and fourth elements in the distinct list 32, and the distinct list 32 The first and third elements “491234567890” and “491234567892” are missing. For this reason, the data compression unit 24 deletes the product codes “491234567891 (reference type)” and “491234567893 (reference type)”, and then sets the boolean type “false”, “true”, “false”, “true”. Set in the Boolean array as data representing the presence of the product code.

図１０は、実データ及び参照型を含む全ての商品コードが削除され、ディスティンクト・リスト32と同サイズのブーリアン配列に置き換えられた状態の木構造データを示している。
商品コードを参照型で表現した場合、32ビットシステムでは１参照当たり４バイトのメモリを消費することになるが（64ビットシステムでは８バイト）、ブーリアン型の場合には１バイトで特定の商品コードの存在を表現できるため、この時点でデータ容量の大幅な圧縮が実現されている。 FIG. 10 shows the tree structure data in a state where all the product codes including the actual data and the reference type are deleted and replaced with a Boolean array having the same size as the distinct list 32.
When the product code is expressed in the reference type, a 32-bit system consumes 4 bytes of memory per reference (8 bytes in a 64-bit system). Since the existence of the data can be expressed, the data capacity is greatly compressed at this point.

つぎにデータ圧縮部24は、上記のブーリアン配列をビット配列に変換する処理を実行する（Ｓ35）。
このビット配列は、図１１に示すように、８桁の二値データ（１または０）を備えており、各桁には下から１、２、４、８、１６、３２、６４、−１２８の定数が割り当てられている。
ここでデータ圧縮部24は、ブーリアン配列のある桁に「true」が格納されている場合には、ビット配列の対応の桁に「１」をセットし、「false」が格納されている場合には「０」をセットする。 Next, the data compression unit 24 executes a process of converting the above Boolean array into a bit array (S35).
As shown in FIG. 11, this bit arrangement includes 8-digit binary data (1 or 0), and each digit has 1, 2, 4, 8, 16, 32, 64, -128 from the bottom. Constants are assigned.
Here, when “true” is stored in a certain digit of the Boolean array, the data compression unit 24 sets “1” to the corresponding digit of the bit array and stores “false”. Sets “0”.

図１１(a)の場合には、商品コードの存在がブーリアン値のtrue, true, true, trueで表現されているため、データ圧縮部24がビット配列の上４桁に「１」をセットすると共に、下４桁に「該当する値なし」ということで「０」をセットする様子を示している。この「１１１１００００」のビット配列は、上記した各桁の定数を適用することにより、「−１６」という数値を表していることになる。
図１１(b)の場合には、商品コードの存在がブーリアン値のfalse, true, false, trueで表現されているため、データ圧縮部24がビット配列の上４桁に「０１０１」をセットすると共に、下４桁に「該当する値なし」ということで「０」をセットする様子を示している。この「０１０１００００」のビット配列は、上記した各桁の定数を適用することにより、「８０」という数値を表していることになる。
図１１(c)の場合には、商品コードの存在がブーリアン値のtrue, false, true, trueで表現されているため、データ圧縮部24がビット配列の上４桁に「１０１１」をセットすると共に、下４桁に「該当する値なし」ということで「０」をセットする様子を示している。この「１０１１００００」のビット配列は、上記した各桁の定数を適用することにより、「−８０」という数値を表していることになる。 In the case of FIG. 11 (a), since the presence of the product code is expressed by the boolean values true, true, true, true, the data compression unit 24 sets “1” in the first four digits of the bit array. In addition, it shows a state where “0” is set in the lower 4 digits because “no corresponding value”. This bit array of “11110000” represents a numerical value “−16” by applying the above-mentioned constants of each digit.
In the case of FIG. 11B, since the presence of the product code is expressed by the boolean values false, true, false, true, the data compression unit 24 sets “0101” in the first 4 digits of the bit array. In addition, it shows a state where “0” is set in the lower 4 digits because “no corresponding value”. This bit arrangement of “01010000” represents a numerical value of “80” by applying the above-described constant of each digit.
In the case of FIG. 11C, since the presence of the product code is expressed by the boolean values true, false, true, true, the data compression unit 24 sets “1011” in the first 4 digits of the bit array. In addition, it shows a state where “0” is set in the lower 4 digits because “no corresponding value”. This bit array of “10110000” represents a numerical value of “−80” by applying the above-described constant of each digit.

また、図１２(a)の場合には、商品コードの存在がブーリアン値のfalse, true, true, true, true, true, true, trueで表現されているため、データ圧縮部24がビット配列の最初の桁に「０」をセットすると共に、残りの桁に「１」をセットする様子を示している。この「０１１１１１１１」のビット配列は、上記した各桁の定数を適用することにより、「１２７」という数値を表していることになる。
図１２(b)の場合には、商品コードの存在がブーリアン値のtrue, false, false, false, false, false, false, falseで表現されているため、データ圧縮部24がビット配列の最初の桁に「１」をセットすると共に、残りの桁に「０」をセットする様子を示している。この「１０００００００」のビット配列は、上記した各桁の定数を適用することにより、「−１２７」という数値を表していることになる。 In the case of FIG. 12 (a), the presence of the product code is expressed as a boolean value of false, true, true, true, true, true, true, true. It shows a state where “0” is set in the first digit and “1” is set in the remaining digits. This bit arrangement of “01111111” represents a numerical value of “127” by applying the above-described constant of each digit.
In the case of FIG. 12 (b), since the existence of the product code is represented by the boolean values true, false, false, false, false, false, false, false, the data compression unit 24 is the first in the bit array. A state is shown in which “1” is set in the digits and “0” is set in the remaining digits. This bit array of “10000000” represents a numerical value of “−127” by applying the above-described constant of each digit.

上記のように、ブーリアン配列の代わりに８桁のビット配列を用いることにより、−１２７〜１２７までの２５６通りの数値を表現することが可能となり、これは即ち２５６パターンのブーリアン値の組合せを僅か８ビット（１バイト）で表現できることを意味している。 As described above, by using an 8-digit bit array instead of a Boolean array, it is possible to express 256 numbers from -127 to 127, which means that a combination of 256 Boolean values is slightly displayed. It means that it can be expressed by 8 bits (1 byte).

図１３は、図１０のブーリアン配列をビット配列に変換した木構造を示すイメージ図である。
例えば、2006年３月15日の600店における商品コードとして「１１１１００００」のビット配列が関連付けられていた場合、ここから「true, true,true, true, false, false, false, false」のブーリアン配列が導かれ、これをディスティンクト・リスト32と対比することにより、「491234567890」、「491234567891」、「491234567892」、「491234567893」の具体的な商品コードを特定することが可能となる（下４桁のfalseはディスティンクト・リスト32のサイズと合致しないため、無視される）。 FIG. 13 is an image diagram showing a tree structure obtained by converting the Boolean array of FIG. 10 into a bit array.
For example, if a bit array of “11110000” is associated as a product code at 600 stores on March 15, 2006, a boolean array of “true, true, true, true, false, false, false, false” from here By comparing this with the distinct list 32, it becomes possible to identify the specific product codes of “491234567890”, “491234567891”, “491234567892”, “491234567893” (below 4) The digit false is ignored because it does not match the size of the distinct list 32).

ここで、クライアント端末20からの検索リクエストをロードバランサ16経由でAPサーバ12が受信すると（図５のＳ36）、データ処理部22はメモリ26上に形成された参照型及びビット配列を含む木構造のデータに対して検索条件に該当するデータの抽出処理を実行し（Ｓ38）、その結果をクライアント端末20に送信する（Ｓ40）。
この際、データ処理部22は各ビット配列をブーリアン配列に変換した後、ディスティンクト・リスト32を参照することにより、各商品コードを特定する。 Here, when the AP server 12 receives a search request from the client terminal 20 via the load balancer 16 (S36 in FIG. 5), the data processing unit 22 has a tree structure including a reference type and a bit array formed on the memory 26. The data corresponding to the search condition is extracted from the data (S38), and the result is transmitted to the client terminal 20 (S40).
At this time, the data processing unit 22 converts each bit array into a Boolean array and then refers to the distinct list 32 to identify each product code.

このデータ処理システム10にあっては、DBサーバ14のデータベース30内に格納されていたテーブルが、ディスクに比べて高速アクセスが可能なAPサーバ12のメモリ26上に参照型データ及びビット配列を含む木構造のデータとして圧縮された形で再現されるため、APサーバ12はDBサーバ14にアクセスすることなく、したがってディスクI/Oを発生させることもなく、必要なデータの高速検索が可能となる。 In this data processing system 10, the table stored in the database 30 of the DB server 14 includes reference type data and a bit arrangement on the memory 26 of the AP server 12 that can be accessed at a higher speed than the disk. Since it is reproduced in compressed form as tree-structured data, the AP server 12 does not access the DB server 14 and therefore does not generate disk I / O, enabling high-speed retrieval of necessary data. .

また、表形式のデータを参照型データ及びビット配列を含む木構造のデータに変換する過程で重複するデータが除去され、全体のデータ量が圧縮される結果、比較的容量の小さいAPサーバ12のメモリ26（一般に２ＧＢ程度）でも効率的に必要データを収容することが可能となる。
ブーリアン配列の場合には、１つの状態（true or false）を表現するのにメモリを１バイト消費し、４つの状態を表現するのであれば４バイトのメモリを消費することになる。
これに対し、８桁のビット配列を用いた場合には、１バイトで８つの状態を表示可能となり、メモリの使用量を劇的に抑制可能となる。 Further, in the process of converting tabular data into tree-structured data including reference type data and bit arrays, duplicate data is removed, and the overall data amount is compressed. The memory 26 (generally about 2 GB) can efficiently accommodate necessary data.
In the case of a Boolean array, 1 byte of memory is consumed to express one state (true or false), and 4 bytes of memory are consumed if 4 states are expressed.
In contrast, when an 8-digit bit array is used, eight states can be displayed with one byte, and the amount of memory used can be drastically suppressed.

また、レコードをDBサーバ14から取り出すに際し、テーブル全体を一度に受け取るのではなく、日付及び店コードのデータ項目の値を指定することにより、グループ単位に分割して受け取り、当該グループについてある程度の圧縮処理が完了した時点で次のグループに係るレコードを受け取る方式を採用しているため、比較的大きなテーブルであってもAPサーバ12のメモリ26上に格納できるようになる。 Also, when retrieving records from the DB server 14, instead of receiving the entire table at once, by specifying the date and store code data item values, the records are received divided into groups, and the group is compressed to some extent. Since a method of receiving a record relating to the next group when the processing is completed is adopted, even a relatively large table can be stored in the memory 26 of the AP server 12.

なお、ブーリアン配列のサイズが８桁を越えている場合には、別のビット配列がデータ圧縮部24によって設けられ、そこにブーリアン値に応じた二値データがセットされる。
図１４はその具体例を示すものであり、ブーリアン配列が12桁である場合には１〜８桁までを第１のビット配列によって表現し、９〜12桁までが第２のビット配列によって表現される。
この場合、データ処理部22は第１のビット配列を参照することによってブーリアン配列の上８桁を特定し、また第２のビット配列を参照することによってブーリアン配列の下４桁を特定する。
その後、データ処理部22はディスティンクト・リストを参照することによって具体的な商品コードを特定する。 When the size of the Boolean array exceeds 8 digits, another bit array is provided by the data compression unit 24, and binary data corresponding to the Boolean value is set therein.
FIG. 14 shows a specific example. When the Boolean array is 12 digits, 1 to 8 digits are represented by the first bit array, and 9 to 12 digits are represented by the second bit array. Is done.
In this case, the data processing unit 22 specifies the upper eight digits of the Boolean array by referring to the first bit array, and specifies the lower four digits of the Boolean array by referring to the second bit array.
Thereafter, the data processing unit 22 identifies a specific product code by referring to the distinct list.

上記にあっては、ブーリアン配列を経由してビット配列を生成する例を説明したが、図７に示した参照型データを含む木構造のデータから直接ビット配列を生成することもできる。
すなわち、データ圧縮部24は、ディスティンクト・リスト32の各要素と各商品コードの値を、商品コードの上位データ項目である店コードを共通にする兄弟単位で順番にマッチングさせていき、ディスティンクト・リスト32の要素と一致する場合には、当該商品コードを削除すると共に、メモリ26上に設けた所定桁数のビット配列における対応位置に１をセットし、ディスティンクト・リスト32の値が存在しない場合には０を対応位置にセットする。
この場合もデータ処理部22は、メモリ26上に形成されたビット配列の各桁の値（１または０）とディスティンクト・リスト32を参照することにより、商品コードの値を取得する。 In the above description, an example in which a bit array is generated via a Boolean array has been described. However, a bit array can also be generated directly from tree-structured data including the reference type data shown in FIG.
That is, the data compression unit 24 sequentially matches each element of the distinct list 32 and the value of each product code in units of siblings that share a store code that is a higher-level data item of the product code. If it matches the element of the tint list 32, the product code is deleted, and 1 is set in the corresponding position in the bit array of the predetermined number of digits provided on the memory 26. If no value exists, 0 is set in the corresponding position.
Also in this case, the data processing unit 22 refers to the value (1 or 0) of each digit of the bit array formed on the memory 26 and the distinction list 32 to obtain the value of the product code.

また、データ圧縮部24によって日付×店コードで特定されるグループ毎に重複する日付及び店コードを削除した後、参照型データへの変換工程を省いて直ちに実データのみからなる木構造のデータをメモリ26上に生成し、商品コードの実データに基づいてディスティンクト・リスト32の生成及びビット配列への変換を行うことも可能である。
この後で、重複する店コードについては１の実データのみをメモリ26上に残し、他のデータは残された実データを参照する型に変換するようにしても勿論よい。 In addition, after deleting the duplicate date and store code for each group specified by the date x store code by the data compression unit 24, the data of the tree structure consisting only of the actual data is immediately removed without the conversion process to the reference type data. It is also possible to generate on the memory 26 and generate the distinct list 32 and convert it into a bit array based on the actual data of the product code.
Thereafter, only one actual data is left on the memory 26 for the duplicate store codes, and other data may be converted to a type that refers to the remaining actual data.

上記においては、最上位のデータ項目である日付と最下位のデータ項目である商品コードの間に、店コードのみが存在するテーブルを例に説明したが、最上位のデータ項目と最下位のデータ項目との間に複数階層のデータ項目（例えば「日付−地域コード−店コード−商品コード」）が存在している場合にも適用可能であることはいうまでもない。 In the above description, the table in which only the store code exists between the date that is the highest data item and the product code that is the lowest data item has been described as an example, but the highest data item and the lowest data Needless to say, the present invention can also be applied to a case where there are a plurality of data items (for example, “date-region code-store code-product code”) between items.

この発明に係るデータ処理システムの全体構成図である。1 is an overall configuration diagram of a data processing system according to the present invention. DBサーバのデータベースに格納されたテーブルの一例を示す図である。It is a figure which shows an example of the table stored in the database of DB server. このシステムにおける処理手順を示すフローチャートである。It is a flowchart which shows the process sequence in this system. このシステムにおける処理手順を示すフローチャートである。It is a flowchart which shows the process sequence in this system. このシステムにおける処理手順を示すフローチャートである。It is a flowchart which shows the process sequence in this system. メモリに格納されたグループデータを示すイメージ図である。It is an image figure which shows the group data stored in memory. メモリ上に形成された参照型を含む木構造のデータ構造を示すイメージ図である。It is an image figure which shows the data structure of the tree structure containing the reference type | mold formed on memory. ディスティンクト・リストと商品コードとのマッチングの要領を示すイメージ図である。It is an image figure which shows the point of matching of a distinct list and a product code. ディスティンクト・リストと商品コードとのマッチングの要領を示すイメージ図である。It is an image figure which shows the point of matching of a distinct list and a product code. メモリ上に形成された参照型及びブーリアン型を含む木構造のデータ構造を示すイメージ図である。It is an image figure which shows the data structure of the tree structure containing the reference type | mold and Boolean type | mold formed on memory. ブーリアン配列をビット配列に変換する様子を示すイメージ図である。It is an image figure which shows a mode that a Boolean arrangement | sequence is converted into a bit arrangement | sequence. ブーリアン配列をビット配列に変換する様子を示すイメージ図である。It is an image figure which shows a mode that a Boolean arrangement | sequence is converted into a bit arrangement | sequence. メモリ上に形成された参照型及びビット配列を含む木構造のデータ構造を示すイメージ図である。It is an image figure which shows the data structure of the tree structure containing the reference type and bit arrangement which were formed on the memory. ８桁を越えるブーリアン配列を複数のビット配列に変換する様子を示すイメージ図である。It is an image figure which shows a mode that the Boolean arrangement | sequence which exceeds 8 digits is converted into a some bit arrangement | sequence.

Explanation of symbols

10 データ処理システム
12 APサーバ
14 DBサーバ
16 ロードバランサ
18 イントラネット
20 クライアント端末
22 データ処理部
24 データ圧縮部
26 メモリ
28 データベース管理システム
30 データベース
32 ディスティンクト・リスト
34 商品コードの配列
10 Data processing system
12 AP server
14 DB server
16 Load balancer
18 Intranet
20 Client terminal
22 Data processing section
24 Data compression section
26 memory
28 Database management system
30 database
32 Distinct List
34 Product code array

Claims

A data processing system comprising a DB server and an AP server,
The DB server includes a database management system and a database storing tables.
The AP server includes a memory, data reading means for issuing an SQL statement to the DB server, and instructing reading of data stored in the table, and a tree structure including at least a bit array of data transmitted from the DB server Data compression means for converting the data into the memory and storing the data in the memory, and data search means for executing search processing on the tree-structured data including the bit array,
The above data compression means leaves data of one record when the values overlap each other at least for the highest data item in each record transmitted from the DB server. And a first process for associating the lower data dependent on the deleted higher data with the remaining higher data,
A second process for combining the remaining top-level data items with one root and generating tree-structured data;
A third process of extracting a type of values included in the lowest data item, generating a distinct list in which these are arranged in a predetermined order, and storing them in a memory;
Each element in the above-mentioned distinct list is matched with the value of the lowest data item in order of siblings that share the parent data item, and the data item with the lowest distinct list element Is set to 1 in the corresponding position in the bit array provided on the memory, and at the same time the actual data is deleted, and if the corresponding value does not exist in the lowest data item, the corresponding position in the bit array Execute the fourth process of setting 0 to
A data processing system characterized in that the data search means specifies the value of the lowest data item by referring to each bit arrangement and the distinct list .

A data processing system comprising a DB server and an AP server,
The DB server includes a database management system and a database storing tables.
The AP server includes a memory, data reading means for issuing an SQL statement to the DB server, and instructing reading of data stored in the table, and a tree structure including at least a bit array of data transmitted from the DB server Data compression means for converting the data into the memory and storing the data in the memory, and data search means for executing search processing on the tree-structured data including the bit array,
The above data compression means leaves data of one record when the values overlap each other at least for the highest data item in each record transmitted from the DB server. And a first process for associating the lower data dependent on the deleted higher data with the remaining higher data,
A second process for combining the remaining top-level data items with one root and generating tree-structured data;
A third process of extracting a type of values included in the lowest data item, generating a distinct list in which these are arranged in a predetermined order, and storing them in a memory;
Each element in the above-mentioned distinct list is matched with the value of the lowest data item in order of siblings that share the parent data item, and the data item with the lowest distinct list element If it exists, the Boolean type true is set at the corresponding position in the Boolean array of the same size as the distinct list provided in the memory, and at the same time, the actual data is deleted and the corresponding value is the lowest data item. A fourth process of setting a Boolean type false to the corresponding position of the Boolean array,
Execute the fifth process of converting the above Boolean array into a bit array,
A data processing system characterized in that the data search means converts each bit array into a Boolean array, and specifies the value of the lowest data item by referring to each Boolean array and the distinct list. .

The data reading means executes a process of reading the table divided into groups from the DB server by specifying one or more data item values in the SQL statement,
The data processing system according to claim 1 or 2 , wherein the data compression means executes the first processing in units of groups.

A data processing system comprising a DB server and an AP server,
The DB server includes a database management system and a database storing tables.
The AP server includes a memory, data reading means for issuing an SQL statement to the DB server, and instructing reading of data stored in the table, and a tree structure including at least a bit array of data transmitted from the DB server Data compression means for converting the data into the memory and storing the data in the memory, and data search means for executing search processing on the tree-structured data including the bit array,
The above data compression means leaves data of one record when the values overlap each other at least for the highest data item in each record transmitted from the DB server. And a first process for associating the lower data dependent on the deleted higher data with the remaining higher data,
For lower data items whose values overlap each other, a second process of leaving only one value in the memory as actual data and converting the other values to a type that refers to the actual data;
A third process for generating the tree-structured data by combining the remaining top-level data items with one root; and
A fourth process of extracting a type of a value included in the lowest data item, generating a distinct list in which these are arranged in a predetermined order, and storing it in a memory;
Each element in the above-mentioned distinct list is matched with the value of the lowest data item in order of siblings that share the parent data item, and the data item with the lowest distinct list element Is set to 1 in the corresponding position in the bit array provided on the memory, and at the same time the actual data is deleted, and if the corresponding value does not exist in the lowest data item, the corresponding position in the bit array Execute a fifth process of setting 0 to
A data processing system characterized in that the data search means specifies the value of the lowest data item by referring to each bit arrangement and the distinct list.

A data processing system comprising a DB server and an AP server,
The DB server includes a database management system and a database storing tables.
The AP server includes a memory, data reading means for issuing an SQL statement to the DB server, and instructing reading of data stored in the table, and a tree structure including at least a bit array of data transmitted from the DB server Data compression means for converting the data into the memory and storing the data in the memory, and data search means for executing search processing on the tree-structured data including the bit array,
The above data compression means leaves data of one record when the values overlap each other at least for the highest data item in each record transmitted from the DB server. And a first process for associating the lower data dependent on the deleted higher data with the remaining higher data,
For lower data items whose values overlap each other, a second process of leaving only one value in the memory as actual data and converting the other values to a type that refers to the actual data;
A third process for generating the tree-structured data by combining the remaining top-level data items with one root; and
A fourth process of extracting a type of a value included in the lowest data item, generating a distinct list in which these are arranged in a predetermined order, and storing it in a memory;
Each element in the above-mentioned distinct list is matched with the value of the lowest data item in order of siblings that share the parent data item, and the data item with the lowest distinct list element If it exists, the Boolean type true is set at the corresponding position in the Boolean array of the same size as the distinct list provided in the memory, and at the same time, the actual data is deleted and the corresponding value is the lowest data item. A fifth processing for setting a Boolean type false to the corresponding position of the Boolean array,
Execute the sixth process of converting the above Boolean array into a bit array,
A data processing system characterized in that the data search means converts each bit array into a Boolean array, and specifies the value of the lowest data item by referring to each Boolean array and the distinct list. .

The data reading means executes a process of reading the table divided into groups from the DB server by specifying one or more data item values in the SQL statement,
Data processing system according to claim 4 or 5, characterized in that said data compression means executes the first process and the second process in groups.