JP5712851B2 - データ分割装置、データ分割方法およびデータ分割プログラム - Google Patents
データ分割装置、データ分割方法およびデータ分割プログラム Download PDFInfo
- Publication number
- JP5712851B2 JP5712851B2 JP2011167784A JP2011167784A JP5712851B2 JP 5712851 B2 JP5712851 B2 JP 5712851B2 JP 2011167784 A JP2011167784 A JP 2011167784A JP 2011167784 A JP2011167784 A JP 2011167784A JP 5712851 B2 JP5712851 B2 JP 5712851B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- bucket
- information
- group
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24568—Data stream processing; Continuous queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
Description
図1は、実施例1に係るシステムの全体構成例を示す図である。図1に示すように、このシステムは、ストリームデータ発生装置1とデータ分割装置10とユーザ端末5とを有する。ストリームデータ発生装置1とデータ分割装置10とはネットワークを介して接続され、同様に、ユーザ端末5とデータ分割装置10とはネットワークを介して接続される。
図2は、実施例1に係るデータ分割装置の構成を示す機能ブロック図である。図2に示すように、このデータ分割装置10は、通信制御I/F(Inter Face)部11と、記憶部12と、制御部13とを有する。なお、記憶部12は、半導体メモリ素子やハードディスクなどの記憶装置である。制御部13は、FPGA(Field-Programmable Gate Array)などの集積回路やCPU(Central Processing Unit)などの電子回路である。データ分割装置10が有する処理部等はあくまで例示でありこれに限定されるものではなく、例えば、マウスなどの入力装置やディスプレイなどの表示装置を有していてもよい。
次に、図13から図16を用いてデータ分割装置10が実行する処理の流れを説明する。まず、全体的な処理の流れを説明し、次に、サブフローなどの各処理について説明する。
図13は、データ分割装置によるデータ分割から出力までの一連の流れを示すフローチャートである。なお、ここでは、受信部16が、受信したストリームデータを順番に記憶部12の作業領域等に格納している例で説明する。また、記憶されるストリームデータをS[i](iは自然数)とする。
図14は、データ分割装置による分割境界更新処理の流れを示すフローチャートである。図14に示すように、バケット判定部19は、新たなデータ(以下、挿入データ(d)と呼ぶ)がバケット(Dp)の内部に挿入されたか否かを判定する(S201)。
図15は、分割境界更新処理のサブフロー1の流れを示すフローチャートである。図15に示すように、バケット(Dp)が小バケットであると、バケット判定部19によって判定された場合(S301肯定)、更新部20は、「処理3」を実行する(S302)。すなわち、更新部20は、分割境界DB12bに記憶されるバケット(Dp)の末尾情報を挿入データ(d)の情報に修正して、データ数を1増やす。
図16は、分割境界更新処理のサブフロー2の流れを示すフローチャートである。図16に示すように、バケット判定部19は、受信済みDB12aを参照して挿入データ(d)の挿入位置が全データの先頭であると判定した場合(S401肯定)、先頭バケット(D1)が大バケットであるか否かを判定する(S402)。
次に、図17から図28を用いて、ストリームデータを受信して分割境界を更新する一連の処理の具体例を説明する。まず、具体例の説明に用いるデータ例等について説明する。図17は、具体例として取り上げるストリームデータの例を示す図である。図18は、具体例として取り上げる分割境界の例を示す図である。
次に、図29から図32を用いて、データ出力の具体例を説明する。図29は、データ分割装置がデータ分割を実行した結果を示す図である。図29に示すように、データ分割装置10が、時刻1から時刻10までのデータを5つのバケットに均等分割したとする。具体的には、データ分割装置10は、時刻9と時刻4のデータをバケット(D1)に分割し、時刻5と時刻8のデータをバケット(D2)に分割し、時刻7と時刻2のデータをバケット(D3)に分割したとする。同様に、データ分割装置10は、時刻10と時刻1のデータをバケット(D4)に分割し、時刻6と時刻3のデータをバケット(D5)に分割したとする。
このように、実施例1に係るデータ分割装置10は、バケット数を固定したまま1レコードごとに動的に分割境界を変更するような整列均等分割を実現することができる。つまり、データ分割装置10は、ストリームデータを受信するたびにデータをソートして格納するとともに、データ分割を行うことができる。このとき、データ分割装置10は、ソートした順序を示す連番をデータに割り振ることなく、グループ分けすることができるので、データの分割にかかる時間を短縮できる。つまり、実施例で示す「時刻」のように、レコードを識別する番号を示す「通番」は与えられているが、「連番」が与えられていないデータを、「連番」を与えることなく高速に分割することができる。
実施例1では、データ分割とデータ出力とを1つのフローチャートで説明したが、これに限定されるものではない。例えば、データ分割とデータ出力とは全く別の契機で実行させることもできる。つまり、データ分割処理した後にデータ出力処理を実行するのではなく、全く別の処理として実行することができる。また、データ分割装置10は、ユーザ端末5にデータを出力するだけでなく、例えばディスプレイなどの表示部に表示させることもでき、記憶媒体等に書き込むこともできる。
実施例1で説明したストリームデータやデータの構成はあくまで例であり、これに限定するものではない。また、データ分割装置10は、ストリームデータに限ったものではなく、様々なデータに適用することができる。例えば、データ分割装置10は、ストレージ等に格納されるデータや、記憶媒体等から読み出されたデータに対しても同様に分割することができる。
また、本実施例において説明した各処理のうち、自動的におこなわれるものとして説明した処理の全部または一部を手動的におこなうこともできる。あるいは、手動的におこなわれるものとして説明した処理の全部または一部を公知の方法で自動的におこなうこともできる。この他、上記文書中や図面中で示した処理手順、制御手順、具体的名称、各種のデータやパラメータを含む情報については、特記する場合を除いて任意に変更することができる。
ところで、上記の実施例で説明した各種の処理は、あらかじめ用意されたプログラムをパーソナルコンピュータやワークステーションなどのコンピュータシステムで実行することによって実現することができる。そこで、以下では、上記の実施例と同様の機能を有するプログラムを実行するコンピュータシステムの一例を説明する。
5 ユーザ端末
10 データ分割装置
11 通信制御I/F部
12 記憶部
12a 受信済みDB
12b 分割境界DB
13 制御部
14 分割数設定部
15 分割処理部
16 受信部
17 位置特定部
18 格納制御部
19 バケット判定部
20 更新部
20a 拡張実行部
20b 縮退実行部
20c スライド実行部
21 出力部
Claims (8)
- 特定の項目でソートした複数のデータを記憶するデータ記憶部と、
前記データ記憶部に記憶されるデータが予め定めたグループ数に分割されるグループごとに、当該グループ内の先頭に位置するデータを特定する先頭情報と当該グループ内の末尾に位置するデータを特定する末尾情報とを記憶する情報記憶部と、
前記データ記憶部にデータを格納する場合に、当該データが有する前記特定の項目に基づいて特定される位置に格納する格納制御部と、
前記格納制御部によって前記データが前記データ記憶部に格納された場合に、前記各グループに属するデータ数の差が1つ以下となるように、前記情報記憶部に記憶される前記グループごとの先頭情報と末尾情報とを更新する更新部と
を有することを特徴とするデータ分割装置。 - 前記更新部は、前記格納制御部によってデータが格納されたグループに属するデータ数と他のグループに属するデータ数との差分が所定値を超える場合に、前記データが格納されたグループについて、前記データが格納されたグループの先頭情報と末尾情報との間に位置するデータ数が1つ減るように、前記先頭情報または末尾情報を更新することを特徴とする請求項1に記載のデータ分割装置。
- 前記更新部は、前記格納制御部によってデータが格納されたグループに属するデータ数との差分が前記所定値を超える他のグループについて、当該他のグループの先頭情報と末尾情報との間に位置するデータ数が1つ増えるように、前記先頭情報または末尾情報を更新することを特徴とする請求項2に記載のデータ分割装置。
- 前記更新部は、前記格納制御部によってデータが格納されたグループに属するデータ数との差分が前記所定値を超える他のグループと、前記格納されたグループとの間に位置する各グループについて、前記先頭情報と末尾情報との間に位置するデータ数を変えることなく、当該各グループの先頭情報および末尾情報を前記格納したグループの方向に1つずつスライドさせたデータを特定する情報に更新することを特徴とする請求項3に記載のデータ分割装置。
- 前記データ記憶部に記憶されるデータが分割されるグループのうち、ユーザに指定されたグループの先頭情報と末尾情報とを前記情報記憶部から読み出し、読み出した先頭情報に該当するデータから末尾情報に該当するデータまでのデータを前記データ記憶部から読み出して、所定の装置に出力する出力部をさらに有することを特徴とする請求項1から4のいずれか一つに記載のデータ分割装置。
- 前記更新部は、前記格納制御部によってデータが前記データ記憶部に格納されるのに伴って、前記データが追加されたグループ内のデータ数を1増加させた後、前記データが格納されたグループに属するデータ数と他のグループに属するデータ数との差分が所定値を超える場合に、前記データが格納されたグループの先頭情報と末尾情報との間に位置するデータ数を1つ減らして各グループに属するデータ数の差が1つ以下となるように、前記データが格納されたグループに対応付けられる先頭情報または末尾情報を更新する請求項1に記載のデータ分割装置。
- コンピュータが、
特定の項目でソートした複数のデータを記憶するデータ記憶部にデータを格納する場合に、当該データが有する前記特定の項目に基づいて特定される位置に格納し、
前記データが前記データ記憶部に格納された場合に、前記データ記憶部に記憶される前記データが予め定めたグループ数に分割される各グループに属するデータ数の差が1つ以下となるように、前記グループごとに当該グループ内の先頭に位置するデータを特定する先頭情報と当該グループ内の末尾に位置するデータを特定する末尾情報とを記憶する情報記憶部における前記グループごとの先頭情報と末尾情報とを更新する
処理を含んだことを特徴とするデータ分割方法。 - コンピュータに、
特定の項目でソートした複数のデータを記憶するデータ記憶部にデータを格納する場合に、当該データが有する前記特定の項目に基づいて特定される位置に格納し、
前記データが前記データ記憶部に格納された場合に、前記データ記憶部に記憶される前記データが予め定めたグループ数に分割される各グループに属するデータ数の差が1つ以下となるように、前記グループごとに当該グループ内の先頭に位置するデータを特定する先頭情報と当該グループ内の末尾に位置するデータを特定する末尾情報とを記憶する情報記憶部における前記グループごとの先頭情報と末尾情報とを更新する
処理を実行させることを特徴とするデータ分割プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011167784A JP5712851B2 (ja) | 2011-07-29 | 2011-07-29 | データ分割装置、データ分割方法およびデータ分割プログラム |
US13/473,345 US9235578B2 (en) | 2011-07-29 | 2012-05-16 | Data partitioning apparatus and data partitioning method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2011167784A JP5712851B2 (ja) | 2011-07-29 | 2011-07-29 | データ分割装置、データ分割方法およびデータ分割プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013033306A JP2013033306A (ja) | 2013-02-14 |
JP5712851B2 true JP5712851B2 (ja) | 2015-05-07 |
Family
ID=47598096
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011167784A Active JP5712851B2 (ja) | 2011-07-29 | 2011-07-29 | データ分割装置、データ分割方法およびデータ分割プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US9235578B2 (ja) |
JP (1) | JP5712851B2 (ja) |
Families Citing this family (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9471657B1 (en) | 2013-05-20 | 2016-10-18 | Amazon Technologies, Inc. | Range query capacity allocation |
US20160371353A1 (en) * | 2013-06-28 | 2016-12-22 | Qatar Foundation | A method and system for processing data |
GB2554250B (en) * | 2015-07-02 | 2021-09-01 | Google Llc | Distributed storage system with replica location selection |
WO2022019095A1 (ja) | 2020-07-22 | 2022-01-27 | 株式会社有沢製作所 | 熱硬化性樹脂組成物、カバーレイフィルム、接着シート、及びフレキシブルプリント配線板 |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0267648A (ja) * | 1988-09-02 | 1990-03-07 | Hitachi Ltd | ツリー構造データベースのレコード追加方式 |
US5625811A (en) * | 1994-10-31 | 1997-04-29 | International Business Machines Corporation | Method and system for database load balancing |
US20040088513A1 (en) * | 2002-10-30 | 2004-05-06 | Biessener David W. | Controller for partition-level security and backup |
US7580879B2 (en) * | 2002-11-05 | 2009-08-25 | Hartford Fire Insurance Company | Financial system that provides investment funds and a death benefit |
AU2003901454A0 (en) * | 2003-03-28 | 2003-04-10 | Secure Systems Limited | Security system and method for computer operating systems |
JP2005301590A (ja) * | 2004-04-09 | 2005-10-27 | Hitachi Ltd | ストレージシステム及びデータ複製方法 |
JP4476683B2 (ja) * | 2004-04-28 | 2010-06-09 | 株式会社日立製作所 | データ処理システム |
JP4644002B2 (ja) * | 2005-02-18 | 2011-03-02 | 国立大学法人東京工業大学 | ディレクトリ更新方法及びディレクトリ更新プログラム、並びに、木構造型データ記憶装置 |
JP4479908B2 (ja) * | 2005-06-30 | 2010-06-09 | 富士通株式会社 | データソート処理プログラム、データソート処理方法およびデータソート処理装置 |
US7836266B2 (en) * | 2005-09-19 | 2010-11-16 | International Business Machines Corporation | Managing snapshot history in a data storage system |
JP4800031B2 (ja) * | 2005-12-28 | 2011-10-26 | 株式会社日立製作所 | ストレージシステム及びスナップショット管理方法 |
US7809892B1 (en) * | 2006-04-03 | 2010-10-05 | American Megatrends Inc. | Asynchronous data replication |
US7991244B2 (en) * | 2007-04-30 | 2011-08-02 | Hewlett-Packard Development Company, L.P. | Variable skew correction system and method |
US7949921B2 (en) * | 2007-09-21 | 2011-05-24 | Synopsys, Inc. | Method and apparatus for synthesis of augmented multimode compactors |
US8392482B1 (en) * | 2008-03-31 | 2013-03-05 | Amazon Technologies, Inc. | Versioning of database partition maps |
US8607020B2 (en) * | 2008-06-06 | 2013-12-10 | International Business Machines Corporation | Shared memory partition data processing system with hypervisor managed paging |
US8364677B2 (en) * | 2008-08-01 | 2013-01-29 | International Business Machines Corporation | Method and apparatus for generating partitioning keys for a range-partitioned database |
JP5314570B2 (ja) * | 2009-11-06 | 2013-10-16 | 日本電信電話株式会社 | 蓄積データの再構成システム、再構成方法およびプログラム |
US9152318B2 (en) * | 2009-11-25 | 2015-10-06 | Yahoo! Inc. | Gallery application for content viewing |
JP4967014B2 (ja) * | 2009-12-16 | 2012-07-04 | 株式会社日立製作所 | ストリームデータ処理装置及び方法 |
US8631000B2 (en) * | 2010-09-30 | 2014-01-14 | International Business Machines Corporation | Scan sharing for query predicate evaluations in column-based in-memory database systems |
-
2011
- 2011-07-29 JP JP2011167784A patent/JP5712851B2/ja active Active
-
2012
- 2012-05-16 US US13/473,345 patent/US9235578B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013033306A (ja) | 2013-02-14 |
US20130031048A1 (en) | 2013-01-31 |
US9235578B2 (en) | 2016-01-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4782490B2 (ja) | データ集合分割プログラム、データ集合分割装置、およびデータ集合分割方法 | |
JP5798503B2 (ja) | ファイルリスト生成方法及びシステム、ファイルリスト生成装置並びにプログラム | |
US8682874B2 (en) | Information processing system | |
JP5427640B2 (ja) | 決定木生成装置、決定木生成方法、及びプログラム | |
US11349824B2 (en) | Block sequencing method and system based on tree-graph structure, and data processing terminal | |
CN111931097B (zh) | 信息展示方法、装置、电子设备以及存储介质 | |
JP5712851B2 (ja) | データ分割装置、データ分割方法およびデータ分割プログラム | |
EP2804115B1 (en) | Index scan device and index scan method | |
US20120303359A1 (en) | Dictionary creation device, word gathering method and recording medium | |
US9235613B2 (en) | Flexible partitioning of data | |
US10664555B2 (en) | Two-stage distributed estimation system | |
KR20160100211A (ko) | 대용량 오디오 핑거프린트 데이터베이스의 온라인 실시간 업데이팅을 구성하기 위한 방법 및 장치 | |
Arge et al. | Cache-oblivious data structures | |
JP5539066B2 (ja) | クラスタリング処理装置、クラスタリング処理方法 | |
JP6638919B2 (ja) | クラスタリング装置、クラスタリング方法およびクラスタリングプログラム | |
US20120310944A1 (en) | Dictionary creation device | |
JP2008225686A (ja) | 分散型データ処理プラットフォームにおけるデータ配置管理装置と方法、システム及びプログラム | |
JP3215351B2 (ja) | 配置方式 | |
US9922109B1 (en) | Adaptive column set composition | |
JP5600694B2 (ja) | クラスタリング装置及び方法及びプログラム | |
CN113656046A (zh) | 一种应用部署方法和装置 | |
JP7041603B2 (ja) | 計算機システム及び業務フローのパターンの生成方法 | |
US8775873B2 (en) | Data processing apparatus that performs test validation and computer-readable storage medium | |
US20180239640A1 (en) | Distributed data processing system, and distributed data processing method | |
CN109829147B (zh) | 报表导出方法及装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140404 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141107 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150119 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150210 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5712851 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |