JP7382233B2 - データベースアクセラレータに対する並列計算オフロード - Google Patents
データベースアクセラレータに対する並列計算オフロード Download PDFInfo
- Publication number
- JP7382233B2 JP7382233B2 JP2019570482A JP2019570482A JP7382233B2 JP 7382233 B2 JP7382233 B2 JP 7382233B2 JP 2019570482 A JP2019570482 A JP 2019570482A JP 2019570482 A JP2019570482 A JP 2019570482A JP 7382233 B2 JP7382233 B2 JP 7382233B2
- Authority
- JP
- Japan
- Prior art keywords
- database
- integrated circuit
- data
- dbms
- data blocks
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000012545 processing Methods 0.000 claims description 36
- 238000000034 method Methods 0.000 claims description 29
- 230000008569 process Effects 0.000 claims description 20
- 230000004044 response Effects 0.000 claims description 8
- 238000012546 transfer Methods 0.000 claims description 7
- 230000006870 function Effects 0.000 description 26
- 238000010586 diagram Methods 0.000 description 15
- 230000008901 benefit Effects 0.000 description 8
- 239000000872 buffer Substances 0.000 description 8
- 230000005540 biological transmission Effects 0.000 description 4
- 238000004590 computer program Methods 0.000 description 4
- 230000009466 transformation Effects 0.000 description 4
- 238000003491 array Methods 0.000 description 3
- 238000004364 calculation method Methods 0.000 description 3
- 238000011161 development Methods 0.000 description 3
- 239000000835 fiber Substances 0.000 description 2
- 230000006872 improvement Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000001902 propagating effect Effects 0.000 description 2
- RYGMFSIKBFXOCR-UHFFFAOYSA-N Copper Chemical compound [Cu] RYGMFSIKBFXOCR-UHFFFAOYSA-N 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000015572 biosynthetic process Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 229910052802 copper Inorganic materials 0.000 description 1
- 239000010949 copper Substances 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000014509 gene expression Effects 0.000 description 1
- 238000004519 manufacturing process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000002441 reversible effect Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000000638 solvent extraction Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000003786 synthesis reaction Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
- 230000001052 transient effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
- G06F16/24553—Query execution of query operations
- G06F16/24554—Unary operations; Data partitioning operations
- G06F16/24557—Efficient disk access during query execution
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
- G06F16/24532—Query optimisation of parallel queries
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/24569—Query processing with adaptation to specific hardware, e.g. adapted for using GPUs or SSDs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
- G06F3/0601—Interfaces specially adapted for storage systems
- G06F3/0628—Interfaces specially adapted for storage systems making use of a particular technique
- G06F3/0638—Organizing or formatting or addressing of data
- G06F3/064—Management of blocks
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computational Linguistics (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Advance Control (AREA)
Description
Claims (11)
- 照会処理システムであって、
データベース管理システム(DBMS:data base management system)を実行するように構成されたホスト中央処理ユニット(CPU:central processing unit)を含む第1の集積回路と、
複数の処理ユニット(PU:processing unit)を備えるデータベースアクセラレータを含む第2の集積回路と、
を備え、前記DBMSは、
データベース上で実行するために照会を受信し、
前記データベースから前記照会に対応するデータベーステーブルを取り出し、
行および列を備える前記データベーステーブルを、各々が前記複数のPUのうちの1つに対応する複数のPUデータブロックを備え、前記複数のPUデータブロックの各々が前記データベーステーブルの前記行および列内に記憶されたデータの一部を備えるデータブロックに再フォーマットし、
前記データベーステーブルの再フォーマットに応答して、前記複数のPUデータブロックの各々におけるデータの量を示すヘッダを、前記複数のPUデータブロックの各々に追加し、および、
前記データブロックを前記データベースアクセラレータに伝送するように構成され、
前記データベースアクセラレータは、
前記複数のPUを並列に使用して、伝送された前記データブロックの前記複数のPUデータブロックを処理して個々の結果を生成するように構成され、および、
前記複数のPUの各々からの前記個々の結果を受信し、および、前記個々の結果を前記DBMSに転送する結合結果に組み合わせるように構成されたコンバイナを備える、照会処理システム。 - 前記照会は、構造化照会言語(SQL:structured query language)照会を含む、請求項1に記載の照会処理システム。
- 前記第2の集積回路は、プログラム可能集積回路である、請求項1に記載の照会処理システム。
- 前記DBMSは、前記DBMSと前記プログラム可能集積回路との間のインターフェースとして働く、プログラム可能集積回路フレームワークを備え、前記プログラム可能集積回路フレームワークは、前記DBMSによって発せられた命令を、前記プログラム可能集積回路によって解釈可能なコマンドに変換するように構成される、請求項3に記載の照会処理システム。
- 前記プログラム可能集積回路は、フィールドプログラマブルゲートアレイ(FPGA:field-programmable gate array)を形成する、請求項3に記載の照会処理システム。
- 前記第2の集積回路は、特定用途向け集積回路(ASIC:application specific integrated circuit)である、請求項1に記載の照会処理システム。
- 集積回路であって、
複数のPUを含むデータベースアクセラレータを備え、前記データベースアクセラレータは、別の集積回路に実装された別のホストCPU上で実行するDBMSからデータブロックを受信するように構成され、前記データブロックは、データベースから取り出された行および列を備えるデータベーステーブルに基づき、各々が前記複数のPUのうちの1つに対応する複数のPUデータブロックを備え、前記複数のPUデータブロックの各々が前記データベーステーブルの前記行および列内に記憶されたデータの一部を備え、
前記複数のPUデータブロックの各々は、前記複数のPUデータブロックの各々におけるデータの量を示すヘッダを備え、
前記複数のPUは、前記複数のPUデータブロックを並列に処理するように構成され、
前記集積回路は、前記複数のPUの各々から個々の結果を受信し、および、前記個々の結果を、前記DBMSに転送される結合結果に組み合わせるように構成された、コンバイナを備える、集積回路。 - 前記データベーステーブルは、SQL照会を使用して前記データベースから取り出される、請求項7に記載の集積回路。
- 前記集積回路は、プログラム可能集積回路である、請求項7に記載の集積回路。
- 前記データベースアクセラレータは、前記DBMSと前記プログラム可能集積回路との間のインターフェースとして働く、前記DBMS内のプログラム可能集積回路フレームワークと通信するように構成され、前記プログラム可能集積回路フレームワークは、前記DBMSによって発せられた命令を、前記プログラム可能集積回路によって解釈可能なコマンドに変換するように構成される、請求項9に記載の集積回路。
- 前記プログラム可能集積回路は、フィールドプログラマブルゲートアレイ(FPGA)を形成する、請求項9に記載の集積回路。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US15/632,082 | 2017-06-23 | ||
US15/632,082 US20180373760A1 (en) | 2017-06-23 | 2017-06-23 | Parallel compute offload to database accelerator |
PCT/US2018/037627 WO2018236672A1 (en) | 2017-06-23 | 2018-06-14 | CALCULATION DELIVERY PARALLEL TO DATABASE ACCELERATOR |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2020524853A JP2020524853A (ja) | 2020-08-20 |
JP7382233B2 true JP7382233B2 (ja) | 2023-11-16 |
Family
ID=62842251
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019570482A Active JP7382233B2 (ja) | 2017-06-23 | 2018-06-14 | データベースアクセラレータに対する並列計算オフロード |
Country Status (6)
Country | Link |
---|---|
US (1) | US20180373760A1 (ja) |
EP (1) | EP3642736B1 (ja) |
JP (1) | JP7382233B2 (ja) |
KR (1) | KR102610636B1 (ja) |
CN (1) | CN110959156A (ja) |
WO (1) | WO2018236672A1 (ja) |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN111176725B (zh) * | 2019-12-27 | 2022-05-06 | 北京市商汤科技开发有限公司 | 数据处理方法、装置、设备和存储介质 |
US11403102B2 (en) | 2020-06-27 | 2022-08-02 | Intel Corporation | Technology to learn and offload common patterns of memory access and computation |
CN113468220A (zh) * | 2021-09-03 | 2021-10-01 | 苏州浪潮智能科技有限公司 | 一种数据查询方法、装置、设备及介质 |
KR20230037333A (ko) * | 2021-09-09 | 2023-03-16 | 삼성전자주식회사 | 스토리지 장치 및 메모리 시스템 |
US11927634B2 (en) | 2022-04-01 | 2024-03-12 | Samsung Electronics Co., Ltd | Systems and methods for database scan acceleration |
CN116302178B (zh) * | 2023-02-23 | 2023-10-20 | 合肥申威睿思信息科技有限公司 | 一种列存数据的加速处理方法和装置 |
CN116627892B (zh) * | 2023-05-31 | 2024-05-07 | 中国人民解放军国防科技大学 | 一种数据近存储计算方法、装置和存储介质 |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016130929A (ja) | 2015-01-14 | 2016-07-21 | 日本電気株式会社 | 集約装置、集約システム、集約方法、および、プログラム |
Family Cites Families (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5553280A (en) * | 1994-08-17 | 1996-09-03 | The United States Of America As Represented By The Secretary Of The Navy | Method for providing critical time reactive management of database transactions for systems process |
JP2005004243A (ja) * | 2003-06-09 | 2005-01-06 | Tkc Corp | データベースバックアップ方法、およびその方法をコンピュータに実行させるプログラム、データベースバックアップシステム、データサーバ、管理サーバ |
JP2005129173A (ja) * | 2003-10-24 | 2005-05-19 | Matsushita Electric Ind Co Ltd | ファイル管理方法 |
US9141670B2 (en) * | 2007-08-27 | 2015-09-22 | Teradata Us, Inc. | Methods and systems for hardware acceleration of streamed database operations and queries based on multiple hardware accelerators |
WO2012025915A1 (en) * | 2010-07-21 | 2012-03-01 | Sqream Technologies Ltd | A system and method for the parallel execution of database queries over cpus and multi core processors |
JP5500552B2 (ja) * | 2010-10-15 | 2014-05-21 | 独立行政法人産業技術総合研究所 | 表データのデータ処理方法、データ処理システムおよびそのコンピュータプログラム |
WO2012142186A2 (en) * | 2011-04-11 | 2012-10-18 | Child Timothy | Database acceleration using gpu and multicore cpu systems and methods |
CN102253919A (zh) * | 2011-05-25 | 2011-11-23 | 中国石油集团川庆钻探工程有限公司 | 基于gpu和cpu协同运算的并行数值模拟方法和系统 |
US9292569B2 (en) * | 2012-10-02 | 2016-03-22 | Oracle International Corporation | Semi-join acceleration |
US10289632B1 (en) * | 2013-03-15 | 2019-05-14 | Teradata Us, Inc. | Dynamic array type in a data store system |
GB2516493A (en) * | 2013-07-25 | 2015-01-28 | Ibm | Parallel tree based prediction |
US9830354B2 (en) * | 2013-08-07 | 2017-11-28 | International Business Machines Corporation | Accelerating multiple query processing operations |
US9355038B2 (en) * | 2014-09-11 | 2016-05-31 | Qualcomm Incorporated | Cache bank spreading for compression algorithms |
JP2016095606A (ja) * | 2014-11-13 | 2016-05-26 | 国立大学法人電気通信大学 | データ処理装置およびデータ処理方法、並びにプログラム |
US10474648B2 (en) * | 2014-11-25 | 2019-11-12 | Sap Se | Migration of unified table metadata graph nodes |
US10372692B2 (en) * | 2015-01-25 | 2019-08-06 | Iguazio Systems Ltd. | Virtual data objects |
CN104731729B (zh) * | 2015-03-23 | 2018-07-13 | 华为技术有限公司 | 一种基于异构系统的表连接优化方法、cpu和加速器 |
JP6316503B2 (ja) * | 2015-05-18 | 2018-04-25 | 株式会社日立製作所 | 計算機システム、アクセラレータ及びデータベースの処理方法 |
US10353768B2 (en) * | 2015-06-29 | 2019-07-16 | Hitachi, Ltd. | Computer system and computer system control method |
CA2955672A1 (en) * | 2016-01-22 | 2017-07-22 | Solufy Information Technologies Inc. | Database grid search methods and systems |
US20170228422A1 (en) * | 2016-02-10 | 2017-08-10 | Futurewei Technologies, Inc. | Flexible task scheduler for multiple parallel processing of database data |
-
2017
- 2017-06-23 US US15/632,082 patent/US20180373760A1/en active Pending
-
2018
- 2018-06-14 JP JP2019570482A patent/JP7382233B2/ja active Active
- 2018-06-14 KR KR1020207002082A patent/KR102610636B1/ko active IP Right Grant
- 2018-06-14 WO PCT/US2018/037627 patent/WO2018236672A1/en active Search and Examination
- 2018-06-14 CN CN201880048004.3A patent/CN110959156A/zh active Pending
- 2018-06-14 EP EP18738093.6A patent/EP3642736B1/en active Active
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2016130929A (ja) | 2015-01-14 | 2016-07-21 | 日本電気株式会社 | 集約装置、集約システム、集約方法、および、プログラム |
Also Published As
Publication number | Publication date |
---|---|
WO2018236672A1 (en) | 2018-12-27 |
KR102610636B1 (ko) | 2023-12-05 |
EP3642736A1 (en) | 2020-04-29 |
CN110959156A (zh) | 2020-04-03 |
US20180373760A1 (en) | 2018-12-27 |
JP2020524853A (ja) | 2020-08-20 |
KR20200019734A (ko) | 2020-02-24 |
EP3642736B1 (en) | 2024-01-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP7382233B2 (ja) | データベースアクセラレータに対する並列計算オフロード | |
US11537635B2 (en) | Hadoop OLAP engine | |
US10169409B2 (en) | System and method for transferring data between RDBMS and big data platform | |
EP3602351B1 (en) | Apparatus and method for distributed query processing utilizing dynamically generated in-memory term maps | |
US10069916B2 (en) | System and method for transparent context aware filtering of data requests | |
US9411659B2 (en) | Data processing method used in distributed system | |
Bohlouli et al. | Towards an integrated platform for big data analysis | |
Mostak | An overview of MapD (massively parallel database) | |
JP2015532748A (ja) | フィルタリング/射影動作のハードウェア実装 | |
US11200231B2 (en) | Remote query optimization in multi data sources | |
JP2020061167A (ja) | 疎要素を密行列に変換するためのシステムおよび方法 | |
WO2020211717A1 (zh) | 一种数据处理方法、装置及设备 | |
US10810174B2 (en) | Database management system, database server, and database management method | |
US11194522B2 (en) | Networked shuffle storage | |
WO2016027451A1 (ja) | データ処理装置、データ処理方法、及び、記録媒体 | |
JP6316503B2 (ja) | 計算機システム、アクセラレータ及びデータベースの処理方法 | |
US10997175B2 (en) | Method for predicate evaluation in relational database systems | |
GB2516501A (en) | Method and system for processing data in a parallel database environment | |
CN108319604B (zh) | 一种hive中大小表关联的优化方法 | |
US9129001B2 (en) | Character data compression for reducing storage requirements in a database system | |
US9705833B2 (en) | Event driven dynamic multi-purpose internet mail extensions (MIME) parser | |
JP7508725B2 (ja) | 分散データソースに存在するデータストリームの連続処理のためのコンピュータによる処理方法 | |
US11636111B1 (en) | Extraction of relationship graphs from relational databases | |
US11416496B2 (en) | Computer implemented method for continuous processing of data-in-motion streams residing in distributed data sources | |
WO2018083751A1 (ja) | インテリジェント・ストレージ・サブシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A529 Effective date: 20200213 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20210610 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20211012 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20211019 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220119 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20220531 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20220929 |
|
C60 | Trial request (containing other claim documents, opposition documents) |
Free format text: JAPANESE INTERMEDIATE CODE: C60 Effective date: 20220929 |
|
C11 | Written invitation by the commissioner to file amendments |
Free format text: JAPANESE INTERMEDIATE CODE: C11 Effective date: 20221018 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20221208 |
|
C21 | Notice of transfer of a case for reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C21 Effective date: 20221213 |
|
A912 | Re-examination (zenchi) completed and case transferred to appeal board |
Free format text: JAPANESE INTERMEDIATE CODE: A912 Effective date: 20230113 |
|
C211 | Notice of termination of reconsideration by examiners before appeal proceedings |
Free format text: JAPANESE INTERMEDIATE CODE: C211 Effective date: 20230124 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230207 |
|
C22 | Notice of designation (change) of administrative judge |
Free format text: JAPANESE INTERMEDIATE CODE: C22 Effective date: 20230314 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230823 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231106 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7382233 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |