JP6540110B2 - データベースシステム、情報処理装置、及び、データベースプログラム - Google Patents
データベースシステム、情報処理装置、及び、データベースプログラム Download PDFInfo
- Publication number
- JP6540110B2 JP6540110B2 JP2015048177A JP2015048177A JP6540110B2 JP 6540110 B2 JP6540110 B2 JP 6540110B2 JP 2015048177 A JP2015048177 A JP 2015048177A JP 2015048177 A JP2015048177 A JP 2015048177A JP 6540110 B2 JP6540110 B2 JP 6540110B2
- Authority
- JP
- Japan
- Prior art keywords
- value
- data
- range information
- minimum value
- maximum value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computing Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
図1は、データベースのパーティショニングの概要を説明する図である。データベースのパーティショニングは、データベースが有するデータ群を複数に分割する技術である。図1の例では、データベースは、データ群を3つに区分した、3つのパーティション20−1〜20−3(パーティション20とも呼ぶ)を有する。本実施例では、データは、所定の項目「X」を有する。データは複数の項目を有していてもよい。
図2は、アクセスプログラムによる、データ削除に応じたレンジ情報rgの更新処理を説明する図である。図2において、図1で示したものと同一のものは、同一の記号で示す。
図3は、本実施の形態のレンジ情報rgの更新処理の概要を説明する図である。図3は、図1に示した3つのパーティション20−1〜20−3のうち、1つのパーティション20のレンジ情報rgを例示する。
図4は、図1、図2に示したデータベースを有するデータベースシステム400のハードウェア構成図である。図4において、図1、図2で示したものと同一のものは、同一の記号で示す。
図5は、図4に示した情報処理装置100のアクセスプログラム211のソフトウェアブロックの構成図である。図5において、図4で示したものと同一のものは、同一の記号で示す。図5に示すように、アクセスプログラム211は、例えば、アクセスモジュール11、レンジ情報更新モジュール(データベースプログラム)12を有する。
図6は、図5に示したレンジ情報更新モジュール12による、削除後のパーティション20の所定の項目の最小値の算出処理を説明する図である。図6に示すパーティション20は、削除条件にしたがって、データを削除した後のパーティション20を示す。図6に示す削除後のパーティション20は、4つのデータdt11〜dt14を有する。なお、実際のパーティション20は多量のデータを有するが、図6は説明のために簡易な例を示す。
図7は、図5に示したレンジ情報更新モジュール12による、レンジ情報rgの最小値「Xmin」の更新処理を説明する図である。図7は、図6とは異なるデータの例を示す。
図8は、図5に示したレンジ情報更新モジュール12による、削除後のパーティション20の所定の項目の最大値の算出処理を説明する図である。図8に示す、削除後のパーティション20の4つのデータdt11〜dt14は、図6の例と同一である。
図9は、図5に示したレンジ情報更新モジュール12による、レンジ情報rgの最大値「Xmax」の更新処理を説明する図である。図9は、図8とは異なるデータの例を示す。
図10は、図5で説明したアクセスプログラム211による、レンジ情報rgの更新処理(図6〜図9)の流れを説明するフローチャート図である。
なお、図10のフローチャートでは、パーティション20のそれぞれが、1つの所定の項目のレンジ情報rgを有する場合の処理を説明した。ただし、図4で前述したとおり、パーティション20は、複数の項目について、それぞれレンジ情報rgを有していてもよい。複数のレンジ情報rgがある場合、レンジ情報更新モジュール12は、データの削除に応答して、図10の工程S16〜S22を、レンジ情報rgのそれぞれに対して繰り返すことにより、複数のレンジ情報rgを更新する。
複数のデータ群と、それぞれの前記データ群内のデータ内の所定項目の最小値及び最大値を含む範囲情報と、前記所定項目の合計値とデータ群内のデータ数を格納するデータベースを記憶する記憶装置と、
前記データ群内の第1データの削除の際に、前記所定項目の合計値と前記データ数を更新し、前記データ数および前記範囲情報の前記最大値または前記最小値に基づく前記所定項目の合計値と、前記所定項目の合計値との差を、削除後のデータ群の最小値または最大値として算出し、前記算出した最小値が前記範囲情報の最小値を超えるか否か、または、前記算出した最大値が前記範囲情報の最大値未満であるか否かを判定し、前記判定に応じて前記範囲情報を更新する処理部を有する情報処理装置と、を有することを特徴とする
データベースシステム。
付記1において、
前記処理部は、前記範囲情報の最大値に基づく前記所定項目の合計値と、前記所定項目の合計値との差を、前記削除後のデータ群の前記最小値として算出し、前記算出した最小値が前記範囲情報の最小値を超える場合に、前記範囲情報の最小値を前記算出した最小値に更新する、
データベースシステム。
付記1または2において、
前記処理部は、前記範囲情報の最小値に基づく前記所定項目の合計値と、前記所定項目の合計値との差を、前記削除後のデータ群の前記最大値として算出し、前記算出した最大値が前記範囲情報の最大値未満である場合に、前記範囲情報の最大値を前記算出した最大値に更新する、
データベースシステム。
付記1乃至3のいずれかにおいて、
前記処理部は、前記範囲情報の最小値を前記削除後のデータ群の前記所定項目の最小値以下の値に、または、前記範囲情報の最大値を前記削除後のデータ群の前記所定項目の最大値以上の値に更新する、
データベースシステム。
付記1乃至4のいずれかにおいて、
前記処理部は、前記範囲情報の最小値を更新した場合に、前記削除後のデータ群の最大値の前記算出及び前記判定を省略し、前記範囲情報の最大値を更新した場合に、前記削除後のデータ群の最小値の前記算出及び前記判定を省略する、
データベースシステム。
付記1乃至5のいずれかにおいて、
前記処理部は、前記データ群内のデータの更新処理及び削除処理が含む前記データの削除に応答して、前記更新、前記算出及び前記判定を行う、
データベースシステム。
付記1乃至6のいずれかにおいて、
前記記憶装置は、前記データベースが有する複数のデータを区分した前記複数のデータ群を記憶する、
データベースシステム。
複数のデータ群と、それぞれの前記データ群内のデータ内の所定項目の最小値及び最大値を含む範囲情報と、前記所定項目の合計値とデータ群内のデータ数を格納するデータベースにアクセスする処理部と、
前記処理部が処理の実行に使用する記憶部と、を有し、
前記処理部は、前記データ群内の第1データの削除の際に、前記所定項目の合計値と前記データ数を更新し、前記データ数および前記範囲情報の前記最大値または前記最小値に基づく前記所定項目の合計値と、前記所定項目の合計値との差を、削除後のデータ群の最小値または最大値として算出し、前記算出した最小値が前記範囲情報の最小値を超えるか否か、または、前記算出した最大値が前記範囲情報の最大値未満であるか否かを判定し、前記判定に応じて前記範囲情報を更新することを特徴とする
情報処理装置。
付記8において、
前記処理部は、前記範囲情報の最大値に基づく前記所定項目の合計値と、前記所定項目の合計値との差を、前記削除後のデータ群の前記最小値として算出し、前記算出した最小値が前記範囲情報の最小値を超える場合に、前記範囲情報の最小値を前記算出した最小値に更新する、
情報処理装置。
付記8または9において、
前記処理部は、前記範囲情報の最小値に基づく前記所定項目の合計値と、前記所定項目の合計値との差を、前記削除後のデータ群の前記最大値として算出し、前記算出した最大値が前記範囲情報の最大値未満である場合に、前記範囲情報の最大値を前記算出した最大値に更新する、
情報処理装置。
付記8乃至10のいずれかにおいて、
前記処理部は、前記範囲情報の最小値を前記削除後のデータ群の前記所定項目の最小値以下の値に、または、前記範囲情報の最大値を前記削除後のデータ群の前記所定項目の最大値以上の値に更新する、
情報処理装置。
付記8乃至11のいずれかにおいて、
前記処理部は、前記範囲情報の最小値を更新した場合に、前記削除後のデータ群の最大値の前記算出及び前記判定を省略し、前記範囲情報の最大値を更新した場合に、前記削除後のデータ群の最小値の前記算出及び前記判定を省略する、
情報処理装置。
付記8乃至12のいずれかにおいて、
前記処理部は、前記データ群内のデータの更新処理及び削除処理が含む前記データの削除に応答して、前記更新、前記算出及び前記判定を行う、
情報処理装置。
複数のデータ群と、それぞれの前記データ群内のデータ内の所定項目の最小値及び最大値を含む範囲情報と、前記所定項目の合計値とデータ群内のデータ数を格納するデータベースの、前記データ群内の第1データの削除の際に、前記所定項目の合計値と前記データ数を更新し、
前記データ数および前記範囲情報の前記最大値または前記最小値に基づく前記所定項目の合計値を算出し、
前記範囲情報の前記最大値または前記最小値に基づく前記所定項目の合計値と、前記前記所定項目の合計値との差を、削除後のデータ群の最小値または最大値として算出し、
前記算出した最小値が前記範囲情報の最小値を超えるか否か、または、前記算出した最大値が前記範囲情報の最大値未満であるか否かを判定し、
前記判定に応じて前記範囲情報を更新する、
処理をコンピュータに実行させるデータベースプログラム。
付記14において、
前記差の算出は、前記範囲情報の最大値に基づく前記所定項目の合計値と、前記所定項目の合計値との差を、前記削除後のデータ群の前記最小値として算出し、
前記更新は、前記算出した最小値が前記範囲情報の最小値を超える場合に、前記範囲情報の最小値を前記算出した最小値に更新する、
データベースプログラム。
付記14または15において、
前記差の算出は、前記範囲情報の最小値に基づく前記所定項目の合計値と、前記所定項目の合計値との差を、前記削除後のデータ群の前記最大値として算出し
前記更新は、前記算出した最大値が前記範囲情報の最大値未満である場合に、前記範囲情報の最大値を前記算出した最大値に更新する、
データベースプログラム。
付記14乃至16のいずれかにおいて、
前記更新は、前記範囲情報の最小値を前記削除後のデータ群の前記所定項目の最小値以下の値に、または、前記範囲情報の最大値を前記削除後のデータ群の前記所定項目の最大値以上の値に更新する、
データベースプログラム。
付記14乃至17のいずれかにおいて、
前記差の算出及び前記判定は、前記範囲情報の最小値を更新した場合に、前記削除後のデータ群の最大値の前記算出及び前記判定を省略し、前記範囲情報の最大値を更新した場合に、前記削除後のデータ群の最小値の前記算出及び前記判定を省略する、
データベースプログラム。
付記14乃至18のいずれかにおいて、
前記合計値と前記データ数の更新は、前記データ群内のデータの更新処理及び削除処理が含む前記データの削除に応答して、前記合計値と前記データ数とを更新する、
データベースプログラム。
付記14乃至19のいずれかにおいて、
前記合計値と前記データ数の更新は、前記データベースが有する複数のデータを区分した前記複数のデータ群を記憶するデータベースの、前記データ群内のデータの削除に応答して、前記合計値と前記データ数とを更新する、
データベースプログラム。
Claims (7)
- 複数のデータ群と、それぞれの前記データ群内のデータの最小値及び最大値を含む範囲情報と、前記データ群内のデータの合計値と前記データ群内のデータのデータ数を格納するデータベースを記憶する記憶装置と、
第1データ群内の第1データの削除の際に、前記第1データ群の合計値とデータ数を更新し、
前記第1データ群の最大値に、前記更新したデータ数から1を減じた数値を乗じた数値と、前記更新した合計値との差を、第1最小値として算出し、
前記第1データ群の最小値に、前記更新したデータ数から1を減じた数値を乗じた数値と、前記更新した合計値との差を、第1最大値として算出し、
前記算出した第1最小値が前記範囲情報の最小値を超えるか否か、または、前記算出した第1最大値が前記範囲情報の最大値未満であるか否かを判定し、前記判定に応じて前記範囲情報を更新する処理部を有する情報処理装置と、を有することを特徴とする
データベースシステム。 - 請求項1において、
前記処理部は、前記算出した第1最小値が、前記範囲情報の最小値を超える場合に、前記範囲情報の最小値を前記算出した第1最小値に更新する、
データベースシステム。 - 請求項1または2において、
前記処理部は、前記算出した第1最大値が、前記範囲情報の最大値未満である場合に、前記範囲情報の最大値を前記算出した第1最大値に更新する、
データベースシステム。 - 請求項1乃至3のいずれかにおいて、
前記処理部は、前記範囲情報の最小値を前記削除後のデータ群内のデータの最小値以下の値に、または、前記範囲情報の最大値を前記削除後のデータ群内のデータの最大値以上の値に更新する、
データベースシステム。 - 請求項1乃至4のいずれかにおいて、
前記処理部は、前記範囲情報の最小値を更新した場合に、前記削除後のデータ群の前記第1最大値の前記算出及び前記判定を省略し、前記範囲情報の最大値を更新した場合に、前記削除後のデータ群の前記第1最小値の前記算出及び前記判定を省略する、
データベースシステム。 - 複数のデータ群と、それぞれの前記データ群内のデータの最小値及び最大値を含む範囲情報と、前記データ群内のデータの合計値と前記データ群内のデータのデータ数を格納するデータベースにアクセスする処理部と、
前記処理部が処理の実行に使用する記憶部と、を有し、
前記処理部は、第1データ群内の第1データの削除の際に、前記第1データ群の合計値とデータ数を更新し、
前記第1データ群の最大値に、前記更新したデータ数から1を減じた数値を乗じた数値と、前記更新した合計値との差を、第1最小値として算出し、
前記第1データ群の最小値に、前記更新したデータ数から1を減じた数値を乗じた数値と、前記更新した合計値との差を、第1最大値として算出し、
前記算出した第1最小値が前記範囲情報の最小値を超えるか否か、または、前記算出した第1最大値が前記範囲情報の最大値未満であるか否かを判定し、前記判定に応じて前記範囲情報を更新することを特徴とする
情報処理装置。 - 複数のデータ群と、それぞれの前記データ群内のデータの最小値及び最大値を含む範囲情報と、前記データ群内のデータの合計値と前記データ群内のデータのデータ数を格納するデータベースの前記データ群のひとつである第1データ群内の第1データの削除の際に、前記第1データ群の合計値とデータ数を更新し、
前記第1データ群の最大値に、前記更新したデータ数から1を減じた数値を乗じた数値と、前記更新した合計値との差を、第1最小値として算出し、
前記第1データ群の最小値に、前記更新したデータ数から1を減じた数値を乗じた数値と、前記更新した合計値との差を、第1最大値として算出し、
前記算出した第1最小値が前記範囲情報の最小値を超えるか否か、または、前記算出した第1最大値が前記範囲情報の最大値未満であるか否かを判定し、
前記判定に応じて前記範囲情報を更新する、
処理をコンピュータに実行させるデータベースプログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015048177A JP6540110B2 (ja) | 2015-03-11 | 2015-03-11 | データベースシステム、情報処理装置、及び、データベースプログラム |
US15/059,382 US10528594B2 (en) | 2015-03-11 | 2016-03-03 | Database system, information processing device and database program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2015048177A JP6540110B2 (ja) | 2015-03-11 | 2015-03-11 | データベースシステム、情報処理装置、及び、データベースプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016170486A JP2016170486A (ja) | 2016-09-23 |
JP6540110B2 true JP6540110B2 (ja) | 2019-07-10 |
Family
ID=56886738
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015048177A Active JP6540110B2 (ja) | 2015-03-11 | 2015-03-11 | データベースシステム、情報処理装置、及び、データベースプログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US10528594B2 (ja) |
JP (1) | JP6540110B2 (ja) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111865328B (zh) * | 2020-08-11 | 2022-03-01 | 珠海美佳音科技有限公司 | 环境数据的压缩方法及相关装置 |
Family Cites Families (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7599910B1 (en) | 1993-11-16 | 2009-10-06 | Hitachi, Ltd. | Method and system of database divisional management for parallel database system |
US5870752A (en) * | 1997-08-21 | 1999-02-09 | Lucent Technologies Inc. | Incremental maintenance of an approximate histogram in a database system |
US20020099691A1 (en) * | 1998-06-24 | 2002-07-25 | Michael Dean Lore | Method and apparatus for aggregation of data in a database management system |
JP4206586B2 (ja) * | 1999-11-12 | 2009-01-14 | 株式会社日立製作所 | データベース管理方法および装置並びにデータベース管理プログラムを記録した記憶媒体 |
JP2000347911A (ja) | 2000-01-01 | 2000-12-15 | Hitachi Ltd | データベース管理方法およびシステム |
JP4330941B2 (ja) * | 2003-06-30 | 2009-09-16 | 株式会社日立製作所 | データベース分割格納管理装置、方法及びプログラム |
US7461060B2 (en) * | 2005-10-04 | 2008-12-02 | International Business Machines Corporation | Generalized partition pruning in a database system |
JP4349463B2 (ja) | 2008-03-06 | 2009-10-21 | 株式会社日立製作所 | 記憶装置管理方法 |
US8364677B2 (en) * | 2008-08-01 | 2013-01-29 | International Business Machines Corporation | Method and apparatus for generating partitioning keys for a range-partitioned database |
US20140059000A1 (en) * | 2011-04-08 | 2014-02-27 | Hitachi, Ltd. | Computer system and parallel distributed processing method |
WO2012162485A2 (en) * | 2011-05-26 | 2012-11-29 | Causata, Inc. | Real-time adaptive binning |
JP2013080403A (ja) * | 2011-10-04 | 2013-05-02 | Nippon Telegr & Teleph Corp <Ntt> | テーブルパーティション分割装置及び方法及びプログラム |
US9372889B1 (en) * | 2013-04-04 | 2016-06-21 | Amazon Technologies, Inc. | Incremental statistics update |
US9569493B2 (en) * | 2013-12-31 | 2017-02-14 | International Business Machines Corporatin | Avoidance of intermediate data skew in a massive parallel processing environment |
US9286001B2 (en) * | 2014-06-30 | 2016-03-15 | Microsoft Licensing Technology Llc | Effective range partition splitting in scalable storage |
-
2015
- 2015-03-11 JP JP2015048177A patent/JP6540110B2/ja active Active
-
2016
- 2016-03-03 US US15/059,382 patent/US10528594B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
US20160267162A1 (en) | 2016-09-15 |
JP2016170486A (ja) | 2016-09-23 |
US10528594B2 (en) | 2020-01-07 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5978383B2 (ja) | 非反復的マルウェアスキャンを実施するためにプロパティテーブルを使用するためのシステム及び方法 | |
US11544300B2 (en) | Reducing storage required for an indexing structure through index merging | |
US20180004751A1 (en) | Methods and apparatus for subgraph matching in big data analysis | |
US10594573B2 (en) | Systems and methods for rule quality estimation | |
US20130067448A1 (en) | Application deployment | |
CN110597855B (zh) | 一种数据查询方法、终端设备及计算机可读存储介质 | |
US9886476B2 (en) | Min/max query with synopsis guided scan order | |
US20160188723A1 (en) | Cloud website recommendation method and system based on terminal access statistics, and related device | |
US11520588B2 (en) | Prefetch filter table for storing moderately-confident entries evicted from a history table | |
US10915533B2 (en) | Extreme value computation | |
JP6188607B2 (ja) | インデクスツリーの探索方法及び計算機 | |
CN108062418B (zh) | 一种数据搜索方法、装置及服务器 | |
WO2017204819A1 (en) | Similarity analyses in analytics workflows | |
CN105468644B (zh) | 一种用于在数据库中进行查询的方法与设备 | |
US20170147686A1 (en) | Managing complex queries with predicates | |
CN106874332B (zh) | 数据库访问方法和装置 | |
JP6540110B2 (ja) | データベースシステム、情報処理装置、及び、データベースプログラム | |
US8606772B1 (en) | Efficient multiple-keyword match technique with large dictionaries | |
CN103995831B (zh) | 基于物品间相似度的物品处理方法、系统和装置 | |
CN110019783B (zh) | 属性词聚类方法及装置 | |
US10754855B2 (en) | Data partitioning for improved computer performance when processing | |
US20180285419A1 (en) | Method of sparse array implementation for large arrays | |
US11593014B2 (en) | System and method for approximating replication completion time | |
CN109214884B (zh) | 需求撮合方法及装置、电子设备 | |
Asif Naeem et al. | Optimizing queue-based semi-stream joins with indexed master data |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20180115 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20180927 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20181002 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20181203 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20190514 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20190527 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6540110 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |