WO2014010038A1 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
WO2014010038A1
WO2014010038A1 PCT/JP2012/067644 JP2012067644W WO2014010038A1 WO 2014010038 A1 WO2014010038 A1 WO 2014010038A1 JP 2012067644 W JP2012067644 W JP 2012067644W WO 2014010038 A1 WO2014010038 A1 WO 2014010038A1
Authority
WO
WIPO (PCT)
Prior art keywords
column
row
processing system
information processing
type page
Prior art date
Application number
PCT/JP2012/067644
Other languages
English (en)
French (fr)
Inventor
敦 友田
淳二 山本
Original Assignee
株式会社日立製作所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社日立製作所 filed Critical 株式会社日立製作所
Priority to JP2014524531A priority Critical patent/JPWO2014010038A1/ja
Priority to PCT/JP2012/067644 priority patent/WO2014010038A1/ja
Publication of WO2014010038A1 publication Critical patent/WO2014010038A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/22—Indexing; Data structures therefor; Storage structures
    • G06F16/221—Column-oriented storage; Management thereof

Definitions

  • the present invention relates to an information processing system for accessing a relational database.
  • a column database that stores tables in column units is known.
  • processing such as aggregation of a specific column becomes faster.
  • the values in the columns have the same data type, a high compression rate can be realized and the storage can be used effectively.
  • Patent Document 1 in a column-type relational database, a row ID satisfying the conditions of another column is synchronized with a process of transferring a set of value + row ID related to a certain column from the secondary storage device to the main storage device. Data processing method is disclosed in which only the set of the value + row ID satisfying the condition among the set of the value + row ID being transferred is sent to the main memory. ing.
  • the target of the filtering process that extracts a row satisfying a condition from a table and the join process that joins a plurality of tables are accessed and processed in units of rows on the main memory.
  • the present invention aims to realize efficient access to a database.
  • An information processing system includes a memory device, a storage device, and a database processing engine.
  • the database processing engine converts a column-type page stored in the storage device into a row-type page and stores it in the memory device. Having the module solves the aforementioned problems.
  • the present invention can realize efficient access to the database.
  • FIG. 1 shows an information processing system 100 that is an embodiment of the present invention.
  • the information processing system 100 includes a storage device 101, a database (DB) processing engine 102, at least one central processing unit (CPU) 103, a memory device 104, and a switch 105.
  • the memory device 104 includes a DRAM as a storage element and functions as a main memory of the CPU 103.
  • the storage device 101 includes an HDD and functions as a secondary storage device of the information processing system 100.
  • the storage apparatus 101 is connected to the DB processing engine 102 through an independent I / O bus, and the DB processing engine 102 is connected to each of the CPU 103 and the memory device 104 via the switch 105.
  • the DB processing engine 102 includes a CPU that executes processing, and a storage device that holds programs and data for executing processing in the DB processing engine 102.
  • FIG. 3 shows an example of the structure of a relational database table, which is the processing target of this embodiment.
  • the table of this embodiment is composed of a plurality of rows and a plurality of columns. Each row and column is specified by a row ID that is row identification information and a column ID that is a column identification number.
  • the row ID and column ID are a row number and a column number, respectively.
  • the element where the row with the column number “i” and the column with the column number “j” intersect is called an (i, j) element.
  • FIG. 4 shows an example of processing for the table of this embodiment.
  • the table 400 in FIG. 4 includes four columns with column IDs “1”, “2”, “3”, and “4”, and row IDs “1”, “2”, “3”, “4”, It consists of 8 rows of “5”, “6”, “7”, “8”.
  • the value of the element with column ID “2” and the value of the element with column ID “3” are read, and only the rows that match the conditions are extracted.
  • the elements of column 1, column 2, and column 3 are generated.
  • rows with row IDs “2”, “4”, “5”, and “7” are extracted.
  • FIG. 5 is a schematic diagram of a column type page of the present embodiment.
  • elements belonging to the same column are arranged in order in a fixed-size address space.
  • the column type page storing the column with the column ID “2” has the row ID “1”, the (1,2) element value, and the row ID “2”. ", (2, 2) element value, row ID" 3 ", (3, 2) element value, and so on.
  • one element is described by a set of a row ID and a value stored in a corresponding column in the row indicated by the row ID.
  • FIG. 6 shows a raw page used when the DB processing engine 102 writes the value of the element extracted from the storage device 101 to the memory device 104.
  • each row is arranged in a row unit, such as a row 610 and a row 620, in an address space of a fixed size.
  • each element is described by a pair of column ID and element value such as a pair of column ID 611 and element value 612 and a pair of column ID 613 and element value 614. ing. In this way, column IDs and element values are arranged in order on the row type page. Referring to the table of FIG.
  • data is arranged at consecutive addresses in the order of (1,1) element, (1,2) element, and (1,3) element.
  • the entire table may not fit within a preset size. In that case, the entire table is stored in a plurality of pages, with one page up to the middle row of the table and two pages from the next row.
  • Elements included in the same column have the same data type, and the element values may be duplicated. For this reason, for example, by placing an index of a value appearing in an element stored in the same page at the top of the page, the actual element value can be replaced with the ID of the index.
  • various compression techniques can be applied, and the data size can be compressed.
  • FIG. 7 shows a functional block diagram of the information processing system 100.
  • the database table is stored in the storage apparatus 101 as a column type page 701.
  • a DB buffer 702 is provided in the storage area of the memory device 104.
  • the DB buffer 702 is provided with areas for storing a plurality of row-type pages 703, each area is assigned a DB buffer number, and the row-type pages converted from the column-type pages by the DB processing engine 102 are stored in the DB buffer 702. Cached.
  • a DB buffer table 704 for managing the DB buffer 702 is placed in the memory device 104.
  • a page conversion table 705, a table format 706, a write management table 707, a column-row conversion module 708, and a write module 709 are stored in the storage area 710 of the storage device of the DB processing engine 102.
  • FIG. 8 shows the configuration of the page conversion table 705.
  • Each entry of the page conversion table 705 includes a set of a column number that is column identification information, a column type page number that is identification information of a column type page, and a row type page number that is an identification number of a row type page.
  • the page conversion table 705 associates a row type page number that is identification information when placed in the memory device 104 with a column type page number that is identification information of a column type page stored in the storage device 101. .
  • a column with column number A includes at least two column type pages with column type page numbers a and a ′, and a column type page with a is at least a row type page with row type page numbers 801 and 802.
  • the column type page a ′ corresponds to at least the row type page with the row type page number 803.
  • the number of column-type pages included in one column is up to 10, for example.
  • the column type page with the column type page number j of the column with the column number J corresponds to at least the row type page with the row type page number 808.
  • the row type page number of the page conversion table 705 is searched, and the row type page number becomes 808.
  • FIG. 9 shows the configuration of the DB buffer table 704.
  • the DB buffer table 704 is placed for managing raw pages cached in the memory device 104.
  • Each entry of the DB buffer table 704 includes a DB buffer number that is identification information of the DB buffer, a row type page number of a row type page stored in the DB buffer, and a column number of a valid column of the row type page. Composed of a set. Note that the value of a column with a column number not listed as a valid column is not guaranteed.
  • a dummy value is written by the DB processing engine 102 in a column number column that is not listed as a valid column.
  • FIG. 10 shows the configuration of the table format 706.
  • a table format 706 is placed for each database table handled by the information processing system 100.
  • Each entry of the table format 706 includes a column number, a data type of a value of the element of the column number, and a size of the element of the column of the column number.
  • FIG. 11 shows the configuration of the write management table 707.
  • Each entry of the write management table 707 includes a row type page number of a row type page including a write location, a column number of a write location of the row type page, and a CPU ID which is CPU identification information.
  • each CPU 103 rewrites a certain element, it adds a row type page number of the row type page including the writing location, a column number of the writing location in the row type page, and a CPU ID entry of the CPU performing the rewriting. This prevents duplicate writing by other CPUs.
  • FIG. 12 shows a processing flow of the CPU 103 when reading the table.
  • the CPU 103 reads information included in a specific row type page, that is, a specific element in the row type page, the CPU 103 searches the row type page number and valid column identification number in the DB buffer table 704 (S1201), and accesses them. It is determined whether the target element is cached in the DB buffer 702 (S1202).
  • a specific element in a row type page is specified by a row type page number and a column number of a column included in the row type page. If the access target element is cached, the CPU 103 reads the access target as it is from the DB buffer 102 (S1203).
  • the CPU 103 transmits an access target load request to the DB processing engine 102 (S1204). At that time, as information to be included in the load request, the CPU 103 transmits an empty DB buffer number, a requested row type page number, and a column name. After transmitting the load request, the CPU 103 waits for an I / O completion interrupt from the DB processing engine (S1205), and when receiving the I / O completion interrupt, reads the access target (S1203).
  • FIG. 13 shows a processing flow of the DB processing engine 102 at the time of reading.
  • the column-row conversion module 708 of the DB processing engine 102 searches the page conversion table 705 for the column type page number corresponding to the row type page number and the column name specified in the load request. (S1301).
  • the column-row conversion module 708 transmits a column type page number load request obtained by the search to the storage apparatus 101 (S1302), and waits for an I / O completion notification from the storage apparatus 101 (S1303).
  • the column-row conversion module 708 converts the column type page received by making a load request to the storage apparatus 101 into a row type page (S1304), and transfers the row type page to the DB buffer designated by the load request from the CPU 103. (S1305), an I / O completion notification is issued to the CPU 103 (S1306), and the process is terminated.
  • FIG. 14 shows an example of data conversion by the DB processing engine 102 at the time of reading.
  • the case where the DB processing engine 102 generates the row type page 1410 with the column number “B” and the column number “C” enabled is described.
  • the column-row conversion module 708 of the DB processing engine 102 extracts the element 1421 and the element 1422 that are continuously stored in the column type page 1420 storing the column with the column number “B”, and each row type Write to discrete predetermined addresses on page 1410.
  • the element 1421 is written to the row type page 1410 by the first command from the column-row conversion module 708, and the element 1422 is written by the second command from the column-row conversion module 708.
  • the amount of transfer between the memory device 104 and the DB processing engine 102 increases due to processing of areas between discrete writing locations, whereas the first command and the second command
  • the amount of transfer can be suppressed by writing with two commands. As shown in FIG. 14, the element 1421 and the element 1422 are written at discrete locations on the raw page 1410.
  • a column with a column number “C” is additionally read into a row type page with a valid column number “B”.
  • the DB processing engine 102 sequentially writes the element 1431 and the element 1432 of the column with the column number “C” after the element of the column number “B” of the row page at the predetermined address of the row page. .
  • the elements from the column with the column number “B” and the elements from the column with the column number “C” are written in consecutive locations in the memory area.
  • the CPU 103 can efficiently access the element from the column with the column number “B” and the element from the column with the column number “C”. Further, in the example of FIG. 14, the element from the column with the column number “B” and the element from the column with the column number “C” are written in the consecutive locations in the memory area. Even if it is not, it is efficiently accessed from the CPU 103 by being written on the same row type page. The calculation of the address to be written is performed using the table format 706. Accordingly, since only the read column is transferred and written to the row type page, the actual transfer amount to the main memory is smaller than the size of the row type page, and the processing of the information processing system 100 is efficient. Become. In addition, since the DB buffer 702 is managed with raw pages, the CPU 103 can efficiently access the elements of the table.
  • FIG. 15 shows a processing flow of the CPU 103 when writing to the table.
  • the CPU 103 writes a specific element, a raw page including an element to be accessed is read from the table in advance. This is because the data read from the database is normally rewritten.
  • the CPU 103 transmits a lock request to be accessed to the DB processing engine 102 (S1501). At that time, the CPU 103 notifies the DB processing engine 102 of the row type page number of the row type page to be written, the column number of the column to be written in the row type page to be written, and its own CPU_ID.
  • the CPU 103 Upon receiving the lock acquisition notification (S1502), the CPU 103 writes, that is, rewrites the raw page cached in the DB buffer 702 (S1503). When the rewriting is completed, the acquired lock release request is transmitted to the DB processing engine 102 (S1504), and when the lock release notification is received (S1505), the flow ends.
  • FIG. 16 shows a processing flow of the DB processing engine 102 at the time of writing.
  • the write module 709 of the DB processing engine 102 receives the lock acquisition request from the CPU 103 (S1601)
  • the write module 709 searches the write management table 707 to check whether the column in the requested row type page is registered, that is, the write management table 707. It is determined whether there is an overlap with a column in the row type page in the entry (S1602, S1603). If registered, the writing module 709 transmits a lock acquisition error notification to the CPU 103 (S1604), and ends the flow. If not registered, the writing module 709 registers the row type page number, column number, and requesting CPU ID included in the request as a new entry in the writing management table 707, and sends a lock acquisition notification to the CPU 103. (S1605).
  • the writing module 709 reads out the column type page to be corrected from the storage device 101 based on the page conversion table 705 (S1606), caches it in the storage area 710 of the storage device of the DB processing engine 102, It waits to receive a lock release request from the CPU 103 (S1607).
  • the writing module 709 reads from the DB buffer 702 the row type page whose row type page number was included in the request from the CPU 103, that is, the row type page including the lock target, and the DB processing engine.
  • the data is cached in the storage area 710 of the storage device 102 (S1608).
  • the writing module 709 deletes the corresponding entry from the writing management table 707 and transmits a lock release notification to the CPU 103 (S1609). Finally, the writing module 709 corrects the corresponding part of the column type page read from the storage apparatus 101 using the value of the element rewritten by the CPU 103 in the row type page read from the DB buffer 702, The corrected column type page is written back to the storage apparatus 101 (S1610).
  • Fig. 17 shows an example of data conversion at the time of writing.
  • the writing module 709 of the DB processing engine 102 corrects the corresponding element 1722 of the corresponding column type page 1420 based on the page conversion table 705. Then, write back to the storage apparatus 101.
  • the storage apparatus 101 stores data in a column type, but the DB processing engine 102 locks access to a more specific column in the row type page converted by the DB processing engine 102. Therefore, the interference between CPUs is greatly reduced, and the processing speed of the information processing system 100 is improved.
  • FIG. 2 shows an information processing system 200 as a modification of the information processing system 100.
  • the number of sets of the DB processing engine 102 and the storage apparatus 101 is not limited to one, and a configuration in which one CPU can access a plurality of DB processing engines can be taken.
  • Information processing system 101 Storage device 102: Database (DB) processing engine 103: CPU 104: Memory device 105: Switch 702: DB buffer 704: DB buffer table 705: Page conversion table 706: Table format, 707: Write management table, 708: Column-row conversion module, 709: Write module.
  • DB Database
  • CPU CPU
  • Memory device 105 Switch 702: DB buffer 704: DB buffer table 705: Page conversion table 706: Table format, 707: Write management table, 708: Column-row conversion module, 709: Write module.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Software Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Memory System Of A Hierarchy Structure (AREA)

Abstract

　リレーショナルデータベースで、カラム単位でメモリ装置への転送が行われると、同一のカラムのデータが連続したアドレスに配置されることになり、１つのローにアクセスするにもかかわらず、離散的なアドレスに複数回アクセスしなければならず、アクセスの効率が悪くなる。　本発明の情報処理システムは、メモリ装置と、ストレージ装置と、データベース処理エンジンとを備え、データベース処理エンジンは、ストレージ装置に保存されたカラム型ページをロー型ページに変換してメモリ装置に保存するモジュールを有することで、メモリ装置ではロー型ページで管理されるので、データベースへの効率的なアクセスを実現できる。

Description

情報処理システム
　本発明は、リレーショナルデータベースへのアクセスを行う情報処理システムに関する。
　リレーショナルデータベースのデータ形式として，テーブルをカラム単位で格納するカラム型データベースが知られている。カラム型データベースにおいては、特定のカラムの集計を取るなどの処理が高速になる。また、カラム内の値はデータ型が同じであるために、高圧縮率を実現でき、ストレージを有効に使用することができる。
　特許文献１には、カラム型のリレーショナルデータベースにおいて、あるカラムに関するバリュー＋ローＩＤの集合を二次記憶装置から主記憶装置に転送する処理と同期して、他のカラムの条件を満たしたローＩＤの集合と転送中のローＩＤのつき合わせ処理を行い、転送中のバリュー＋ローＩＤの集合の中で、条件を満たしたバリュー＋ローＩＤの集合のみを主記憶に送るデータ処理方式が開示されている。
特開昭６３－１３１２２７号公報
　一方、リレーショナルデータベースにおいて、テーブルから条件を満たすローを抜き出すフィルター処理や複数のテーブルを結合するジョイン処理の対象は、主記憶上ではロー単位でアクセスされて処理される。
　しかしながら、特許文献１に開示の技術では、カラム単位で主記憶装置への転送が行われるので、同一のカラムのデータが連続したアドレスに配置されることになり、１つのローにアクセスするにもかかわらず、離散的なアドレスに複数回アクセスしなければならず、ＣＰＵの負荷が上昇してしまう。ひいては、情報処理システムの処理性能が下がってしまう。
　本発明は、データベースへの効率的なアクセスを実現することを目的とする。
　本発明の情報処理システムは、メモリ装置と、ストレージ装置と、データベース処理エンジンとを備え、データベース処理エンジンは、ストレージ装置に保存されたカラム型ページをロー型ページに変換してメモリ装置に保存するモジュールを有することで、前述の課題を解決する。
　本発明により、データベースへの効率的なアクセスを実現できる。
本発明の実施例である情報処理システムの例を示す図である。 本発明の実施例である情報処理システムの例を示す図である。 テーブルの構成例を示す図である。 テーブルに対する処理例を示す図である。 カラム型ページの模式図である。 ロー型ページの模式図である。 本発明の実施例の機能ブロック図である。 ページ変換テーブルの構成を示す図である。 ＤＢバッファテーブルの構成を示す図である。 テーブルフォーマットの構成を示す図である。 ロー管理テーブルの構成を示す図である。 読み出し時のＣＰＵの処理フローを示す図である。 読み出し時のＤＢ処理エンジンの処理フローを示す図である。 読み出しの際のＤＢ処理エンジン１０２によるデータの変換の例を示す図である。 書き込み時のＣＰＵの処理フローを示す図である。 書き込み時のＤＢ処理エンジンの処理フローを示す図である。 書き込み時のデータの変換例を示す図である。
　図１に本発明の実施例である情報処理システム１００を示す。情報処理システム１００は、ストレージ装置１０１と、データベース（ＤＢ）処理エンジン１０２と、少なくともひとつの中央処理装置（ＣＰＵ）１０３と、メモリ装置１０４と、スイッチ１０５とを備える。メモリ装置１０４は、記憶素子としてＤＲＡＭを含み、ＣＰＵ１０３の主記憶として働く。ストレージ装置１０１は、ＨＤＤを含み、情報処理システム１００の二次記憶装置として働く。ストレージ装置１０１は、独立したＩ／Ｏバスを通じてＤＢ処理エンジン１０２に接続されており、該ＤＢ処理エンジン１０２はＣＰＵ１０３のそれぞれと、メモリ装置１０４とにスイッチ１０５を介して接続されている。ＤＢ処理エンジン１０２は、処理を実行するＣＰＵと、ＤＢ処理エンジン１０２での処理を実行するためのプログラムやデータを保持する記憶装置を有する。
　図３に、本実施例の処理対象である、リレーショナルデータベースのテーブルの構造の例を示す。本実施例のテーブルは複数のローおよび複数のカラムから構成される。ローおよびカラムは、それぞれロー識別情報であるローＩＤおよびカラム識別番号であるカラムＩＤで特定される。本実施例では、ローＩＤおよびカラムＩＤは、それぞれロー番号およびカラム番号である。カラム番号「ｉ」のローとカラム番号「ｊ」のカラムの交わる要素を（ｉ，ｊ）エレメントと呼ぶ。
　図４に、本実施例のテーブルに対する処理の一例を示す。図４のテーブル４００は、カラムＩＤが「１」、「２」、「３」、「４」の４つのカラムと、ローＩＤが「１」、「２」、「３」、「４」、「５」、「６」、「７」、「８」の８つのローから構成されている。図４に示した処理では、各ローについて、カラムＩＤが「２」のエレメントの値と、カラムＩＤが「３」のエレメントの値を読み、条件に合致するローのみを抜き出し、抜き出したローのカラム１、カラム２、カラム３のエレメントを生成している。図４では、ローＩＤが「２」、「４」、「５」、「７」のローが抜き出されている。
　本実施例のテーブルのデータは、論理的に連続なデータであるカラム型ページでストレージ装置１０１に格納される。図５は、本実施例のカラム型ページの模式図である。図５に示すカラム型ページは、一定のサイズのアドレス空間に同一のカラムに属するエレメントが順に配置されている。図３のテーブルで説明すれば、カラムＩＤが「２」のカラムを格納しているカラム型ページは、ローＩＤである「１」、（１，２）エレメントの値、ローＩＤである「２」、（２，２）エレメントの値、ローＩＤである「３」、（３，２）エレメントの値というようにして順に配置される。このように、図５のカラム型ページでは、１つのエレメントは、ローＩＤと該ローＩＤが示すローの内で該当するカラムに格納されている値の組によって記述される。
　ＤＢ処理エンジン１０２がストレージ装置１０１から取り出したエレメントの値を、メモリ装置１０４に書き込む際に用いるロー型ページを図６に示す。図６のロー型ページには、一定のサイズのアドレス空間に、ロー６１０、ロー６２０のようにロー単位で各ローが配置されている。さらに、例えば、ロー６１０の領域の中に、各エレメントは、カラムＩＤ６１１とエレメントの値６１２の組、カラムＩＤ６１３とエレメントの値６１４の組のように、カラムＩＤとエレメントの値の組によって記述されている。このように、ロー型ページには、カラムＩＤとエレメントの値が順に配置されている。図３のテーブルで説明すれば、（１，１）エレメント、（１，２）エレメント、（１，３）エレメントの順に連続したアドレスにデータが配置されている。なお、カラム型ページおよびロー型ページのいずれの場合にも、予め設定したサイズにテーブル全体が収まらないことが発生する。その場合には、テーブルの途中のローまでを１ページ、次のローからを２ページというようにして、複数のページでテーブル全体を格納する。
　同一のカラムに含まれるエレメントは同一のデータ型であり、また、エレメントの値が重複していたりする。このため、例えば、同じページに格納されたエレメントに出現する値のインデックスをページの先頭に配置することで、実際のエレメントの値はインデックスのＩＤに置き換えることができる。ストレージ装置１０１にカラム型でデータを保存することで、各種の圧縮技術を適用でき、データサイズを圧縮することができる。
　図７に、情報処理システム１００の機能ブロック図を示す。データベースのテーブルはストレージ装置１０１にカラム型ページ７０１として格納される。メモリ装置１０４の記憶領域には、ＤＢバッファ７０２が設けられ、ＣＰＵ１０３がストレージ装置１０１に格納されたテーブルのデータにアクセスする場合には、ＤＢバッファ７０２にキャッシュしてからアクセスを行う。ＤＢバッファ７０２には、複数のロー型ページ７０３を格納する領域が用意されて、各領域にはＤＢバッファ番号が振られており、ＤＢ処理エンジン１０２によってカラム型ページから変換されたロー型ページがキャッシュされる。さらに、メモリ装置１０４には、ＤＢバッファ７０２を管理するためのＤＢバッファテーブル７０４が置かれる。また、ＤＢ処理エンジン１０２の記憶装置の記憶領域７１０には、ページ変換テーブル７０５と、テーブルフォーマット７０６と、書き込み管理テーブル７０７と、カラム－ロー変換モジュール７０８と、書き込みモジュール７０９とが格納される。
　図８にページ変換テーブル７０５の構成を示す。ページ変換テーブル７０５の各エントリーは、カラムの識別情報であるカラム番号、カラム型ページの識別情報であるカラム型ページ番号、およびロー型ページの識別番号であるロー型ページ番号の組で構成される。ページ変換テーブル７０５は、メモリ装置１０４に置かれる際の識別情報であるロー型ページ番号と、ストレージ装置１０１に格納されているカラム型ページの識別情報であるカラム型ページ番号を対応づけるものである。
　例えば、カラム番号がＡのカラムは、少なくともカラム型ページ番号がａ、ａ’の２つのカラム型ページを含み、ａのカラム型ページは、少なくともロー型ページ番号が８０１および８０２のロー型ページに対応し、ａ’のカラム型ページは、少なくともロー型ページ番号が８０３のロー型ページに対応している。一つのカラムに含まれるカラム型ページの数は、例えば１０までである。また例えば、カラム番号がＪのカラムのカラム型ページ番号ｊのカラム型ページは、少なくともロー型ページ番号８０８のロー型ページに対応している。逆に、例えば、特定のロー型ページであるロー型ページ番号８０８のロー型ページにアクセスする場合には、ページ変換テーブル７０５のロー型ページ番号を検索し、ロー型ページ番号が８０８となっているエントリーを集めることで、ロー型ページを生成するために必要なカラム型ページを見つけることができる。
　図９にＤＢバッファテーブル７０４の構成を示す。ＤＢバッファテーブル７０４は、メモリ装置１０４にキャッシュされているロー型ページを管理するために置かれている。ＤＢバッファテーブル７０４の各エントリーは、ＤＢバッファの識別情報であるＤＢバッファ番号、該ＤＢバッファに格納されているロー型ページのロー型ページ番号、および該ロー型ページの有効なカラムのカラム番号の組で構成される。なお、有効なカラムに挙げられていないカラム番号のカラムに関しては、その値は保障されない。ＤＢバッファ７０２では、有効なカラムに挙げられていないカラム番号のカラムの箇所には、ダミーの値がＤＢ処理エンジン１０２によって書き込まれる。
　図１０にテーブルフォーマット７０６の構成を示す。情報処理システム１００で取り扱うデータベースのテーブルごとにテーブルフォーマット７０６が置かれる。テーブルフォーマット７０６の各エントリーはカラム番号、該カラム番号のカラムのエレメントの値のデータ型、および該カラム番号のカラムのエレメントのサイズで構成されている。
　図１１に書き込み管理テーブル７０７の構成を示す。書き込み管理テーブル７０７の各エントリーは、書き込み箇所を含むロー型ページのロー型ページ番号と、該ロー型ページの書き込み箇所のカラム番号と、ＣＰＵの識別情報であるＣＰＵ　ＩＤで構成されている。各ＣＰＵ１０３が、あるエレメントを書き換えるときに、書き込み箇所を含むロー型ページのロー型ページ番号と、該ロー型ページ内の書き込み箇所のカラム番号と、書き換えを行うＣＰＵのＣＰＵ　ＩＤのエントリーを追加することによって、他のＣＰＵによる重複した書き込みを防ぐ。
　以下に、情報処理システム１００のテーブルの読み出しの場合と、テーブルへの書き込みの場合の動作フローを説明する。
　図１２に、テーブルの読み出し時のＣＰＵ１０３の処理フローを示す。ＣＰＵ１０３は特定のロー型ページに含まれる情報、すなわちロー型ページ内の特定のエレメントを読み出しする際、ＤＢバッファテーブル７０４のロー型ページ番号と有効なカラムの識別番号を検索し（Ｓ１２０１）、アクセス対象のエレメントがＤＢバッファ７０２にキャッシュされているかを判定する（Ｓ１２０２）。ロー型ページ内の特定のエレメントは、ロー型ページ番号と該ロー型ページ内に含まれるカラムのカラム番号で特定される。アクセス対象のエレメントがキャッシュされている場合には、ＣＰＵ１０３は、そのままアクセス対象をＤＢバッファ１０２から読み出しする（Ｓ１２０３）。一方、アクセス対象のエレメントがキャッシュされていない場合には、ＣＰＵ１０３は、ＤＢ処理エンジン１０２にアクセス対象のロードリクエストを送信する（Ｓ１２０４）。その際に、ロードリクエストに含める情報として、ＣＰＵ１０３は、空きＤＢバッファ番号と、リクエストするロー型ページ番号およびカラム名と、を送信する。ＣＰＵ１０３は、ロードリクエスト送信後は、ＤＢ処理エンジンからのＩ／Ｏ完了割込みを待ち（Ｓ１２０５）、Ｉ／Ｏ完了割込みを受信すると、アクセス対象を読み出す（Ｓ１２０３）。
　図１３に、読み出し時のＤＢ処理エンジン１０２の処理フローを示す。ＤＢ処理エンジン１０２のカラム－ロー変換モジュール７０８は、ＣＰＵ１０３からロードリクエストを受信すると、ページ変換テーブル７０５から、ロードリクエストで指示されたロー型ページ番号とカラム名に対応するカラム型ページ番号を検索する（Ｓ１３０１）。次に、カラム－ロー変換モジュール７０８は、ストレージ装置１０１に検索で得たカラム型ページ番号のロードリクエストを送信し（Ｓ１３０２）、ストレージ装置１０１からのＩ／Ｏ完了通知を待つ（Ｓ１３０３）。カラム－ロー変換モジュール７０８は、ストレージ装置１０１にロードリクエストして受信したカラム型ページをロー型ページに変換し（Ｓ１３０４）、ＣＰＵ１０３からのロードリクエストで指示されたＤＢバッファへロー型ページを転送し（Ｓ１３０５）、ＣＰＵ１０３へのＩ／Ｏ完了通知を発行し（Ｓ１３０６）、処理を終了する。
　図１４に、読み出しの際のＤＢ処理エンジン１０２によるデータの変換の例を示す。ＤＢ処理エンジン１０２が、ロー型ページ１４１０を、カラム番号「Ｂ」のカラム、カラム番号「Ｃ」のカラムを有効にして生成する場合を用いて説明する。ＤＢ処理エンジン１０２のカラム－ロー変換モジュール７０８は、カラム番号「Ｂ」のカラムを格納しているカラム型ページ１４２０で連続して格納されているエレメント１４２１、エレメント１４２２を抽出して、それぞれロー型ページ１４１０の離散した所定のアドレスに書き込む。この際に、カラム－ロー変換モジュール７０８からの第１のコマンドでエレメント１４２１がロー型ページ１４１０に書き込まれ、カラム－ロー変換モジュール７０８からの第２のコマンドでエレメント１４２２が書き込まれる。一つのコマンドで書き込みを行うと離散した書き込み箇所の間の領域の処理のためにメモリ装置１０４とＤＢ処理エンジン１０２の間の転送量が多くなるのに対して、第１のコマンドと第２のコマンドの２つのコマンドで書き込みを行うことで、転送量を抑えることができる。図１４に示したように、エレメント１４２１とエレメント１４２２はロー型ページ１４１０の離散した箇所に書き込まれる。
　既にＤＢバッファ７０２にキャッシュされているロー型ページの有効でないカラムを追加的に読み出す場合、例えばカラム番号「Ｂ」のカラムが有効なロー型ページにカラム番号「Ｃ」のカラムを追加的に読み出す場合には、ＤＢ処理エンジン１０２はロー型ページのカラム番号「Ｂ」カラムのエレメントの後ろにカラム番号「Ｃ」のカラムのエレメント１４３１、エレメント１４３２をそれぞれ順に、ロー型ページの所定のアドレスに書き込む。図１４の例では、ロー型ページ１４１０には、カラム番号「Ｂ」のカラムからのエレメントとカラム番号「Ｃ」のカラムからのエレメントがメモリ領域の連続した箇所に書き込まれる。これにより、ＣＰＵ１０３は、カラム番号「Ｂ」のカラムからのエレメントとカラム番号「Ｃ」のカラムからのエレメントに効率よくアクセスすることができる。また、図１４の例では、カラム番号「Ｂ」のカラムからのエレメントとカラム番号「Ｃ」のカラムからのエレメントがメモリ領域の連続した箇所に書き込まれるとしたが、メモリ領域の連続した箇所でなくても、同じロー型ページに書き込まれることで、ＣＰＵ１０３から効率よくアクセスされる。書き込むべきアドレスの計算はテーブルフォーマット７０６を使用して行われる。したがって、読み出されたカラムのみロー型ページに転送され、書き出されているため、実際の主記憶への転送量はロー型ページのサイズに比べて小さくなり、情報処理システム１００の処理が効率的になる。また、ＤＢバッファ７０２ではロー型ページで管理されるので、ＣＰＵ１０３は効率的にテーブルのエレメントにアクセスできる。
　図１５にテーブルへの書き込みの際のＣＰＵ１０３の処理フローを示す。ここで、ＣＰＵ１０３が特定のエレメントを書き込みする際、予めアクセス対象のエレメントを含むロー型ページをテーブルから読み出している状態を仮定する。通常、データベースから読み出したデータに書き換えが行われるからである。ＣＰＵ１０３は、アクセス対象のロック要求をＤＢ処理エンジン１０２に送信する（Ｓ１５０１）。その際に、ＣＰＵ１０３は、書き込みを行うロー型ページのロー型ページ番号と、書き込みを行うロー型ページの内の書き込みを行うカラムのカラム番号と、自身のＣＰＵ＿ＩＤをＤＢ処理エンジン１０２に通知する。ＣＰＵ１０３はロック取得通知を受信すると（Ｓ１５０２）、ＤＢバッファ７０２にキャッシュされたロー型ページに対して書き込み、すなわち書き換えを行う（Ｓ１５０３）。書き換えが完了すると、取得したロックの解除要求をＤＢ処理エンジン１０２に送信し（Ｓ１５０４）、ロック解除通知を受信（Ｓ１５０５）すると、フローを終了する。
　図１６に書き込み時のＤＢ処理エンジン１０２の処理フローを示す。ＤＢ処理エンジン１０２の書き込みモジュール７０９は、ＣＰＵ１０３からロック取得要求を受信（Ｓ１６０１）すると、書き込み管理テーブル７０７を検索し、要求されたロー型ページ内のカラムが登録されているか、すなわち書き込み管理テーブル７０７のエントリーにあるロー型ページ内のカラムと重複があるかを判定する（Ｓ１６０２，Ｓ１６０３）。登録がされている場合、書き込みモジュール７０９は、ＣＰＵ１０３にロック取得エラー通知を送信（Ｓ１６０４）し、フローを終了する。登録がされていない場合、書き込みモジュール７０９は、書き込み管理テーブル７０７に新規エントリーとして、要求に含まれているロー型ページ番号、カラム番号、要求元ＣＰＵ　ＩＤを登録し、ＣＰＵ１０３にロック取得通知を送信する（Ｓ１６０５）。
　次に、書き込みモジュール７０９は、ページ変換テーブル７０５に基づいて、修正の対象となるカラム型ページをストレージ装置１０１から読み出し（Ｓ１６０６）、ＤＢ処理エンジン１０２の記憶装置の記憶領域７１０内にキャッシュし、ＣＰＵ１０３からのロック解除要求を受信するのを待つ（Ｓ１６０７）。書き込みモジュール７０９は、ロック解除要求を受信すると、ＣＰＵ１０３からの要求にそのロー型ページ番号が含まれていたロー型ページ、すなわちロック対象を含んだロー型ページをＤＢバッファ７０２から読み出し、ＤＢ処理エンジン１０２の記憶装置の記憶領域７１０内にキャッシュする（Ｓ１６０８）。そして、書き込みモジュール７０９は、書き込み管理テーブル７０７から該当するエントリーを削除し、ＣＰＵ１０３にロック解除通知を送信する（Ｓ１６０９）。書き込みモジュール７０９は、最後に、ＤＢバッファ７０２から読み出したロー型ページにあるＣＰＵ１０３によって書き換えのあったエレメントの値を使用して、ストレージ装置１０１から読み出したカラム型ページの該当する箇所を修正し、修正後のカラム型ページをストレージ装置１０１に書き戻す（Ｓ１６１０）。
　図１７に書き込み時のデータの変換例を示す。ＣＰＵ１０３が、ロー型ページ１４１０において、ロー１７２０のエレメント１７２１の値を書き換えると、ＤＢ処理エンジン１０２の書き込みモジュール７０９は、ページ変換テーブル７０５に基づいて対応するカラム型ページ１４２０の対応するエレメント１７２２を修正し、ストレージ装置１０１に書き戻す。
　複数のＣＰＵ１０３による重複したアクセスを禁止するために、ストレージに格納されている単位、すなわちカラム型ページ単位でロックを掛けるとすれば、ロックの影響が該カラム型ページへのアクセスの全てに広がってしまう。これに対して、本実施例では、ストレージ装置１０１ではカラム型で保存しているが、ＤＢ処理エンジン１０２でこれを変換したロー型ページ内のさらに特定のカラムへのアクセスに対してロックを掛けるので、ＣＰＵ間の干渉が大幅に低減し、情報処理システム１００の処理速度が向上する。
　図２に、情報処理システム１００の変形例として情報処理システム２００を示す。図２に示すように、本発明では、必ずしも全てのＣＰＵ１０３が一つのメモリ装置１０４を共有する必要は無い。また、図２に示すように、ＤＢ処理エンジン１０２とストレージ装置１０１の組も一つに限定されず、一つのＣＰＵが複数のＤＢ処理エンジンにアクセス可能な構成も取り得る。
　１００：情報処理システム、１０１：ストレージ装置、１０２：データベース（ＤＢ）処理エンジン、１０３：ＣＰＵ、１０４：メモリ装置、１０５：スイッチ、７０２：ＤＢバッファ、７０４：ＤＢバッファテーブル、７０５：ページ変換テーブル、７０６：テーブルフォーマット、７０７：書き込み管理テーブル、７０８：カラム－ロー変換モジュール、７０９：書き込みモジュール。

Claims (8)

  1. 　メモリ装置と、
    　ストレージ装置と、
    　データベース処理エンジンとを備え、
    　前記データベース処理エンジンは、
    　前記ストレージに保存された論理的に連続な第１データを読み出し、前記第１データから抽出した第１エレメントを第１コマンドで、前記第１データから抽出した第２エレメントを第２コマンドで、離散的に前記メモリ装置のメモリ領域に書き込むモジュールを有することを特徴とする情報処理システム。
  2. 　請求項１に記載の情報処理システムにおいて、
    　前記モジュールは、さらに、
    　前記ストレージに保存された論理的に連続な第２データを読み出し、前記第２データから抽出した第３エレメントを前記第１エレメントの前記メモリ領域への書き込み箇所と連続した箇所に書き込むことを特徴とする情報処理システム。
  3. 　請求項２に記載の情報処理システムにおいて、
    　前記第１データおよび前記第２データは、カラム型ページであり、
    　前記第１エレメントおよび前記第３エレメントは同一のロー型ページに属することを特徴とする情報処理システム。
  4. 　請求項１に記載の情報処理システムにおいて、
    　前記メモリ装置はＤＲＡＭを含み、
    　前記ストレージ装置はＨＤＤを含むことを特徴とする情報処理システム。
  5. 　請求項１に記載の情報処理システムにおいて、
    　中央処理装置を有し、
    　前記メモリ装置は前記中央処理装置の主記憶であることを特徴とする情報処理システム。
  6. 　メモリ装置と、
    　ストレージ装置と、
    　データベース処理エンジンとを備え、
    　前記データベース処理エンジンは、
    　前記ストレージ装置に保存されたカラム型ページをロー型ページに変換して前記メモリ装置に保存するモジュールを有することを特徴とする情報処理システム。
  7. 　請求項６に記載の情報処理システムにおいて、
    　複数の中央処理装置を有し、
    　前記データベース処理エンジンは、
    　前記ロー型ページ内のカラム毎に各中央処理装置からのアクセスの有効無効を管理することを特徴とする情報処理システム。
  8. 　請求項６に記載の情報処理システムにおいて、
    　前記メモリ装置はＤＲＡＭを含み、
    　前記ストレージ装置はＨＤＤを含むことを特徴とする情報処理システム。
PCT/JP2012/067644 2012-07-11 2012-07-11 情報処理システム WO2014010038A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014524531A JPWO2014010038A1 (ja) 2012-07-11 2012-07-11 情報処理システム
PCT/JP2012/067644 WO2014010038A1 (ja) 2012-07-11 2012-07-11 情報処理システム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/067644 WO2014010038A1 (ja) 2012-07-11 2012-07-11 情報処理システム

Publications (1)

Publication Number Publication Date
WO2014010038A1 true WO2014010038A1 (ja) 2014-01-16

Family

ID=49915541

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/067644 WO2014010038A1 (ja) 2012-07-11 2012-07-11 情報処理システム

Country Status (2)

Country Link
JP (1) JPWO2014010038A1 (ja)
WO (1) WO2014010038A1 (ja)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018513454A (ja) * 2015-03-20 2018-05-24 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ カラム・ストアにおける挿入およびポイント・クエリ・オペレーションの効率的パフォーマンス
JP2019204250A (ja) * 2018-05-23 2019-11-28 株式会社日立製作所 アプリケーションサーバおよびサーバによる業務アプリケーションの実行方法
US10592556B2 (en) 2013-06-14 2020-03-17 International Business Machines Corporation On-the-fly encoding method for efficient grouping and aggregation
US10831736B2 (en) 2015-03-27 2020-11-10 International Business Machines Corporation Fast multi-tier indexing supporting dynamic update
US11061878B2 (en) 2015-03-20 2021-07-13 International Business Machines Corporation Parallel build of non-partitioned join hash tables and non-enforced N:1 join hash tables
US11080260B2 (en) 2015-03-27 2021-08-03 International Business Machines Corporation Concurrent reads and inserts into a data structure without latching or waiting by readers

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110016157A1 (en) * 2009-07-14 2011-01-20 Vertica Systems, Inc. Database Storage Architecture
US20120084274A1 (en) * 2010-10-05 2012-04-05 Frank Renkes Distributed Transaction Management With Tokens

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9626421B2 (en) * 2007-09-21 2017-04-18 Hasso-Plattner-Institut Fur Softwaresystemtechnik Gmbh ETL-less zero-redundancy system and method for reporting OLTP data

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110016157A1 (en) * 2009-07-14 2011-01-20 Vertica Systems, Inc. Database Storage Architecture
US20120084274A1 (en) * 2010-10-05 2012-04-05 Frank Renkes Distributed Transaction Management With Tokens

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MASARU FUKUZAWA: "Column Store Database no Shori Seino to Denryoku no Kankei ni Tsuite", DAI 3 KAI FORUM ON DATA ENGINEERING AND INFORMATION MANAGEMENT RONBUNSHU, 1 March 2011 (2011-03-01), pages 1 - 4 *
RAVISHANKAR RAMAMURTHY: "A Case for Fractured Mirrors", 28TH INTERNATIONAL CONFERENCE ON VERY LARGE DATA BASES, VERY LARGE DATA BASE ENDOWMENT INC., 2002, pages 1 - 12, Retrieved from the Internet <URL:http://www.vldb.org/conf/2002> *
TORU MORIYAMA ET AL.: "Saishin IT o Yomi Toku", NIKKEI COMPUTER, no. 804, 15 March 2012 (2012-03-15), pages 100 - 101 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10592556B2 (en) 2013-06-14 2020-03-17 International Business Machines Corporation On-the-fly encoding method for efficient grouping and aggregation
JP2018513454A (ja) * 2015-03-20 2018-05-24 インターナショナル・ビジネス・マシーンズ・コーポレーションＩｎｔｅｒｎａｔｉｏｎａｌ Ｂｕｓｉｎｅｓｓ Ｍａｃｈｉｎｅｓ Ｃｏｒｐｏｒａｔｉｏｎ カラム・ストアにおける挿入およびポイント・クエリ・オペレーションの効率的パフォーマンス
US10650011B2 (en) 2015-03-20 2020-05-12 International Business Machines Corporation Efficient performance of insert and point query operations in a column store
US11061878B2 (en) 2015-03-20 2021-07-13 International Business Machines Corporation Parallel build of non-partitioned join hash tables and non-enforced N:1 join hash tables
US10831736B2 (en) 2015-03-27 2020-11-10 International Business Machines Corporation Fast multi-tier indexing supporting dynamic update
US11080260B2 (en) 2015-03-27 2021-08-03 International Business Machines Corporation Concurrent reads and inserts into a data structure without latching or waiting by readers
JP2019204250A (ja) * 2018-05-23 2019-11-28 株式会社日立製作所 アプリケーションサーバおよびサーバによる業務アプリケーションの実行方法
JP7266970B2 (ja) 2018-05-23 2023-05-01 株式会社日立製作所 アプリケーションサーバおよびサーバによる業務アプリケーションの実行方法

Also Published As

Publication number Publication date
JPWO2014010038A1 (ja) 2016-06-20

Similar Documents

Publication Publication Date Title
US10387673B2 (en) Fully managed account level blob data encryption in a distributed storage environment
WO2014010038A1 (ja) 情報処理システム
US9659050B2 (en) Delta store giving row-level versioning semantics to a non-row-level versioning underlying store
CN103294710B (zh) 一种数据存取方法和装置
CN102662992B (zh) 一种海量小文件的存储、访问方法及装置
US9519664B1 (en) Index structure navigation using page versions for read-only nodes
TWI664541B (zh) 用於自主記憶體搜尋之方法及系統
CN103379159B (zh) 一种分布式Web站点数据同步的方法
EP2534571B1 (en) Method and system for dynamically replicating data within a distributed storage system
US8380663B2 (en) Data integrity in a database environment through background synchronization
US9110820B1 (en) Hybrid data storage system in an HPC exascale environment
US9081784B2 (en) Delta indexing method for hierarchy file storage
CN104331453A (zh) 一种分布式文件系统及分布式文件系统的构建方法
CN107153644A (zh) 一种数据同步方法及装置
WO2022105585A1 (zh) 数据存储方法、装置、设备及存储介质
CN102917005B (zh) 一种支持事务的海量存储访问方法及装置
WO2015118865A1 (ja) 情報処理装置、情報処理システム及びデータアクセス方法
US10394459B2 (en) Data storage device for filtering page in two steps, system including the same, and method of operating the same
WO2015156000A1 (ja) 計算機システム、データの検査方法及び計算機
US20240037104A1 (en) A system and method for hierarchical database operation accelerator
CN103365987A (zh) 一种基于共享磁盘架构的集群数据库系统及数据处理方法
CN107741947A (zh) 基于hdfs文件系统的随机数密钥的存储与获取方法
US9483200B2 (en) System and method for optical cold storage wherein plurality of first and second chunks are encoded and placed on different optical disks
US8793455B2 (en) Storage apparatus, control method for storage apparatus, and storage system
CN105930520A (zh) 一种基于集群文件系统的缓存保护方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12881065

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014524531

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 12881065

Country of ref document: EP

Kind code of ref document: A1