JPWO2020234719A5 - - Google Patents
Download PDFInfo
- Publication number
- JPWO2020234719A5 JPWO2020234719A5 JP2021569234A JP2021569234A JPWO2020234719A5 JP WO2020234719 A5 JPWO2020234719 A5 JP WO2020234719A5 JP 2021569234 A JP2021569234 A JP 2021569234A JP 2021569234 A JP2021569234 A JP 2021569234A JP WO2020234719 A5 JPWO2020234719 A5 JP WO2020234719A5
- Authority
- JP
- Japan
- Prior art keywords
- index
- run
- index run
- stored
- zone
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000000034 method Methods 0.000 claims 12
- 238000013500 data storage Methods 0.000 claims 6
- 230000002085 persistent effect Effects 0.000 claims 3
- 238000004590 computer program Methods 0.000 claims 2
- 230000010365 information processing Effects 0.000 claims 2
- 238000013507 mapping Methods 0.000 claims 2
- 238000003672 processing method Methods 0.000 claims 2
- 238000010926 purge Methods 0.000 claims 2
Claims (20)
- コンピュータの情報処理による方法であって、
第1のゾーンがトランザクション処理用に編成されたデータを含み、第2のゾーンが分析処理用に編成されたデータを含む、複数のゾーンを含んでいる複数のゾーンのデータ・ストレージ・システムにハイブリッド・インデックスを作成することであって、前記ハイブリッド・インデックス内の各インデックス・エントリが、少なくとも、
等価列を含んでいるインデックス・キーと、
前記インデックス・エントリに対応する前記データが挿入された時間のタイムスタンプを示す開始タイムスタンプ列と、
階層型ストレージ内の前記インデックス・エントリの位置を示すタプル・シーケンス番号列と
を含む、前記作成することと、
前記ハイブリッド・インデックスに含められるインデックス・ランを構築することであって、前記インデックス・ランが複数のインデックス・エントリを含み、前記インデックス・ランを構築することが、
前記第1のゾーンから、前記インデックス・ランに関連付けられるデータ・ブロックをスキャンすることによって、前記インデックス・ランに作成する列を決定することと、
前記ハイブリッド・インデックスに含められる前記インデックス・エントリのタプル・シーケンス番号の値を計算することであって、前記タプル・シーケンス番号の値が前記タプル・シーケンス番号列に格納される、前記計算することと、
前記インデックス・ランに含められる前記列を使用して、既定の順序に従って前記インデックス・エントリを並べ替えることと
を含む、前記構築することと
を含む、方法。 - 前記インデックス・ランを構築することが、
前記インデックス・ランのヘッダーを作成することであって、前記ヘッダーが、インデックス・ラン・ポインタの現在の値に設定されたポインタを含む、前記作成することと、
前記ヘッダーを指し示すように前記インデックス・ラン・ポインタの値を設定することと
をさらに含む、請求項1に記載の方法。 - 前記インデックス・ラン内に格納されたデータ要素の概要が前記ヘッダー内に格納される、請求項2に記載の方法。
- 前記インデックス・エントリがハッシュ列をさらに含み、前記インデックス・ランを構築することが、
前記等価列のハッシュ値を前記インデックス・エントリから計算すること
をさらに含み、前記ハッシュ値が前記ハッシュ列に格納される、請求項2に記載の方法。 - 前記インデックス・ランを構築することが、
前記インデックス・ランのオフセット配列を計算すること
をさらに含み、前記オフセット配列が前記ヘッダーに格納され、前記オフセット配列が、前記ハッシュ値の最上位nビットを前記インデックス・ラン内の前記インデックス・エントリのオフセットにマッピングする、請求項4に記載の方法。 - 前記インデックス・エントリがソート列を前記インデックス・キーにさらに含む、請求項1に記載の方法。
- 前記インデックス・ランにレベル番号が割り当てられ、前記レベル番号が、前記インデックス・ランを構築するために使用されるデータのソースを示す、請求項1に記載の方法。
- 前記レベル番号が、前記インデックス・ランに関連付けられた前記データが格納されるゾーンをさらに示し、前記ゾーンが、前記複数のゾーンのデータ・ストレージ・システム内の前記複数のゾーンのうちの1つである、請求項7に記載の方法。
- 各レベルからの1つまたは複数のインデックス・ランを維持するために、分離したスレッドを割り当てることをさらに含む、請求項7に記載の方法。
- 階層型データ・ストレージを含んでいるストレージ・システムと、
前記ストレージ・システムに結合された1つまたは複数の処理ノードと
を備えているシステムであって、前記1つまたは複数の処理ノードが、第1のゾーンがトランザクション処理用に編成されたデータを含み、第2のゾーンが分析処理用に編成されたデータを含む、複数のゾーンを含んでいる複数のゾーンのデータ・ストレージ・システムにハイブリッド・インデックスを作成して維持するように構成され、前記ハイブリッド・インデックス内の各インデックス・エントリが、少なくとも、
等価列を含んでいるインデックス・キーと、
前記インデックス・エントリに対応する前記データが挿入された時間のタイムスタンプを示す開始タイムスタンプ列と、
階層型ストレージ内の前記インデックス・エントリの位置を示すタプル・シーケンス番号列と
を含み、
前記1つまたは複数の処理ノードが、前記ハイブリッド・インデックスに含められるインデックス・ランを構築するように構成され、前記インデックス・ランが複数のインデックス・エントリを含み、前記インデックス・ランを構築することが、
前記第1のゾーンから、前記インデックス・ランに関連付けられるデータ・ブロックをスキャンすることによって、前記インデックス・ランに作成する列を決定することと、
前記ハイブリッド・インデックスに含められる前記インデックス・エントリのタプル・シーケンス番号の値を計算することであって、前記タプル・シーケンス番号の値が前記タプル・シーケンス番号列に格納される、前記計算することと、
前記インデックス・ランに含められる前記列を使用して、既定の順序に従って前記インデックス・エントリを並べ替えることと
を含む、システム。 - 前記インデックス・ランを構築することが、
前記インデックス・ランのヘッダーを作成することであって、前記ヘッダーが、インデックス・ラン・ポインタの現在の値に設定されたポインタを含む、前記作成することと、
前記ヘッダーを指し示すように前記インデックス・ラン・ポインタの値を設定することと
をさらに含む、請求項10に記載のシステム。 - 前記インデックス・ラン内に格納されたデータ要素の概要が前記ヘッダー内に格納される、請求項11に記載のシステム。
- 前記インデックス・エントリがハッシュ列をさらに含み、前記インデックス・ランを構築することが、
前記等価列のハッシュ値を前記インデックス・エントリから計算することであって、前記ハッシュ値が前記ハッシュ列に格納される、前記計算することと、
前記インデックス・ランのオフセット配列を計算することと
をさらに含み、前記オフセット配列が前記ヘッダーに格納され、前記オフセット配列が、前記ハッシュ値の最上位nビットを前記インデックス・ラン内の前記インデックス・エントリのオフセットにマッピングする、請求項11に記載のシステム。 - 前記インデックス・ランにレベルが割り当てられ、レベル番号が、前記インデックス・ランを構築するために使用されるデータのソースを示し、前記レベル番号が、前記インデックス・ランに関連付けられた前記データが格納されるゾーンをさらに示し、前記ゾーンが、前記複数のゾーンのデータ・ストレージ・システム内の前記複数のゾーンのうちの1つである、請求項10に記載のシステム。
- 請求項1~9の何れか1項に記載の方法をコンピュータに実行させる、コンピュータ・プログラム。
- 請求項15に記載の前記コンピュータ・プログラムを、コンピュータ可読ストレージ媒体に記憶した、ストレージ媒体。
- コンピュータの情報処理による方法であって、
第1のインデックス・ランおよび第2のインデックス・ランという2つのインデックス・ランを、階層型データ・ストレージを使用してデータが格納されるデータベース内でマージすることの要求の受信に応答して、
前記第1のインデックス・ランからの列および前記第2のインデックス・ランからの列を含むための第3のインデックス・ランを作成することと、
マージ・ソートを使用して、前記第1のインデックス・ランからの前記列および前記第2のインデックス・ランからの前記列をグローバルに並べ替えることと、
前記第3のインデックス・ランが非永続的レベルに属するということの決定に基づいて、前記第3のインデックス・ランをキャッシュ・ストレージのみに格納することと、
前記第3のインデックス・ランが永続的レベルに属し、前記第3のインデックス・ランのレベル番号がパージ・レベルを下回るということの決定に基づいて、前記第3のインデックス・ランを前記キャッシュ・ストレージおよび共有ストレージに格納することと、
前記第3のインデックス・ランが永続的レベルに属し、前記第3のインデックス・ランの前記レベル番号が前記パージ・レベル以上であるということの決定に基づいて、前記第3のインデックス・ランを前記共有ストレージのみに格納することと
を含む、方法。 - 前記データベース内のインデックス・ランのリストを更新すること
をさらに含み、前記更新することが、
前記第1のインデックス・ランのアドレスを指し示す第4のインデックス・ランのポインタを変更することであって、前記ポインタが前記第3のインデックス・ランのアドレスに変更される、前記変更することと、
前記第1のインデックス・ランおよび前記第2のインデックス・ランを削除することと
を含む、請求項17に記載の方法。 - 前記第1のインデックス・ランおよび前記第2のインデックス・ランが、前記第1のインデックス・ランおよび前記第2のインデックス・ランが前記永続的レベルに属するインデックス・ランにマージされた後に、削除される、
請求項18に記載の方法。 - 請求項17~19の何れか1項に記載の方法の各ステップをコンピュータ・ハードウェアによって実行する、システム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US16/420,394 US11182356B2 (en) | 2019-05-23 | 2019-05-23 | Indexing for evolving large-scale datasets in multi-master hybrid transactional and analytical processing systems |
US16/420,394 | 2019-05-23 | ||
PCT/IB2020/054619 WO2020234719A1 (en) | 2019-05-23 | 2020-05-15 | Indexing for evolving large-scale datasets in multi-master hybrid transactional and analytical processing systems |
Publications (3)
Publication Number | Publication Date |
---|---|
JP2022534215A JP2022534215A (ja) | 2022-07-28 |
JPWO2020234719A5 true JPWO2020234719A5 (ja) | 2022-09-26 |
JP7410181B2 JP7410181B2 (ja) | 2024-01-09 |
Family
ID=73456775
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2021569234A Active JP7410181B2 (ja) | 2019-05-23 | 2020-05-15 | ハイブリッド・インデックス作成方法、システム、プログラム |
Country Status (6)
Country | Link |
---|---|
US (1) | US11182356B2 (ja) |
JP (1) | JP7410181B2 (ja) |
CN (1) | CN113874852A (ja) |
DE (1) | DE112020000749T5 (ja) |
GB (1) | GB2599538A (ja) |
WO (1) | WO2020234719A1 (ja) |
Families Citing this family (17)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
EP3791283A1 (en) * | 2018-09-14 | 2021-03-17 | Google LLC | Staggered merging in log-structured merge forests |
US11599583B2 (en) * | 2020-04-23 | 2023-03-07 | Paypal, Inc. | Deep pagination system |
US11366810B2 (en) * | 2020-04-27 | 2022-06-21 | Salesforce.Com, Inc. | Index contention under high concurrency in a database system |
US11860844B2 (en) * | 2020-09-07 | 2024-01-02 | Pliops Ltd. | Managing a LSM tree of key value pairs that is stored in a non-volatile memory |
US11641665B2 (en) | 2020-09-09 | 2023-05-02 | Self Financial, Inc. | Resource utilization retrieval and modification |
US11475010B2 (en) * | 2020-09-09 | 2022-10-18 | Self Financial, Inc. | Asynchronous database caching |
US20220075877A1 (en) | 2020-09-09 | 2022-03-10 | Self Financial, Inc. | Interface and system for updating isolated repositories |
IL302236A (en) * | 2020-10-20 | 2023-06-01 | Redis Ltd | Systems, methods, and media for providing conflict-free replicated data types in in-memory data structures |
US11782954B2 (en) * | 2020-10-20 | 2023-10-10 | Salesforce, Inc. | User identifier match and merge process |
US20220244988A1 (en) * | 2021-01-30 | 2022-08-04 | Salesforce.Com, Inc. | Data shards for distributed processing |
US11543993B1 (en) * | 2021-06-17 | 2023-01-03 | Western Digital Technologies, Inc. | Fast garbage collection in zoned namespaces SSDs |
US20230037619A1 (en) * | 2021-07-09 | 2023-02-09 | Pawel Terlecki | Systems and method for processing timeseries data |
US11947490B2 (en) * | 2021-08-31 | 2024-04-02 | Bmc Software, Inc. | Index generation and use with indeterminate ingestion patterns |
US11947822B2 (en) * | 2022-03-31 | 2024-04-02 | Microsoft Technology Licensing, Llc. | Maintaining a record data structure using page metadata of a bookkeeping page |
CN114579596B (zh) * | 2022-05-06 | 2022-09-06 | 达而观数据(成都)有限公司 | 一种实时更新搜索引擎索引数据的方法及系统 |
CN117951141A (zh) * | 2022-10-21 | 2024-04-30 | 华为云计算技术有限公司 | 数据处理方法及装置 |
CN117519839B (zh) * | 2024-01-05 | 2024-04-16 | 恒生电子股份有限公司 | 数据加载方法及装置 |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN102890682B (zh) | 2011-07-21 | 2017-08-01 | 腾讯科技(深圳)有限公司 | 构建索引的方法、检索方法、装置及系统 |
KR20130049117A (ko) | 2011-11-03 | 2013-05-13 | 한국전자통신연구원 | 메모리 기반의 서머리 벡터를 구비한 인덱스 구조의 데이터 검색 장치 및 방법 |
US20140279839A1 (en) | 2013-03-14 | 2014-09-18 | Sap Ag | Integration of transactional and analytical capabilities of a database management system |
US9720576B2 (en) * | 2013-09-30 | 2017-08-01 | Sonos, Inc. | Controlling and displaying zones in a multi-zone system |
KR101642072B1 (ko) * | 2014-05-08 | 2016-07-22 | 주식회사 알티베이스 | 하이브리드스토리지장치 및 방법 |
US9767149B2 (en) | 2014-10-10 | 2017-09-19 | International Business Machines Corporation | Joining data across a parallel database and a distributed processing system |
US9703797B2 (en) * | 2015-02-18 | 2017-07-11 | Exagrid Systems, Inc. | Multi-level deduplication |
US10831736B2 (en) | 2015-03-27 | 2020-11-10 | International Business Machines Corporation | Fast multi-tier indexing supporting dynamic update |
US9772911B2 (en) | 2015-03-27 | 2017-09-26 | International Business Machines Corporation | Pooling work across multiple transactions for reducing contention in operational analytics systems |
US10664462B2 (en) * | 2017-03-01 | 2020-05-26 | Sap Se | In-memory row storage architecture |
JP6897248B2 (ja) | 2017-04-06 | 2021-06-30 | 富士通株式会社 | 更新反映プログラム、更新反映方法及び更新反映装置 |
CN107943927B (zh) | 2017-11-21 | 2018-10-16 | 清华大学 | 一种分布式存储系统中多维数据的存储模式转换方法 |
US10430100B2 (en) * | 2018-02-28 | 2019-10-01 | International Business Machines Corporation | Transactional operations in multi-master distributed data management systems |
-
2019
- 2019-05-23 US US16/420,394 patent/US11182356B2/en active Active
-
2020
- 2020-05-15 DE DE112020000749.9T patent/DE112020000749T5/de active Pending
- 2020-05-15 CN CN202080037664.9A patent/CN113874852A/zh active Pending
- 2020-05-15 JP JP2021569234A patent/JP7410181B2/ja active Active
- 2020-05-15 GB GB2117963.5A patent/GB2599538A/en not_active Withdrawn
- 2020-05-15 WO PCT/IB2020/054619 patent/WO2020234719A1/en active Application Filing
Similar Documents
Publication | Publication Date | Title |
---|---|---|
GB2599538A (en) | Indexing for evolving large-scale datasets in multi-master hybrid transactional and analytical processing systems | |
US10311048B2 (en) | Full and partial materialization of data from an in-memory array to an on-disk page structure | |
US20210042286A1 (en) | Transactional key-value store | |
JPWO2020234719A5 (ja) | ||
US11023453B2 (en) | Hash index | |
CN110083601B (zh) | 面向键值存储系统的索引树构建方法及系统 | |
US10296611B2 (en) | Optimized rollover processes to accommodate a change in value identifier bit size and related system reload processes | |
US8924365B2 (en) | System and method for range search over distributive storage systems | |
US7716182B2 (en) | Version-controlled cached data store | |
US7418544B2 (en) | Method and system for log structured relational database objects | |
US9916313B2 (en) | Mapping of extensible datasets to relational database schemas | |
US10452491B2 (en) | Scalable log partitioning system | |
CN112363979B (zh) | 一种基于图数据库的分布式索引方法和系统 | |
US20150089125A1 (en) | Framework for numa affinitized parallel query on in-memory objects within the rdbms | |
US10754854B2 (en) | Consistent query of local indexes | |
US20180011892A1 (en) | Foster twin data structure | |
US9576038B1 (en) | Consistent query of local indexes | |
US11392567B2 (en) | Just-in-time multi-indexed tables in a shared log | |
US20130254240A1 (en) | Method of processing database, database processing apparatus, computer program product | |
US10585896B2 (en) | Managing data in relational database management system | |
US11100083B2 (en) | Read only bufferpool | |
US10013442B2 (en) | Database value identifier hash map | |
US20200278980A1 (en) | Database processing apparatus, group map file generating method, and recording medium | |
CN114610959B (zh) | 数据处理方法、装置、设备及存储介质 | |
US8073823B2 (en) | Database management program |