JPWO2020234719A5 - - Google Patents

Download PDF

Info

Publication number
JPWO2020234719A5
JPWO2020234719A5 JP2021569234A JP2021569234A JPWO2020234719A5 JP WO2020234719 A5 JPWO2020234719 A5 JP WO2020234719A5 JP 2021569234 A JP2021569234 A JP 2021569234A JP 2021569234 A JP2021569234 A JP 2021569234A JP WO2020234719 A5 JPWO2020234719 A5 JP WO2020234719A5
Authority
JP
Japan
Prior art keywords
index
run
index run
stored
zone
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2021569234A
Other languages
English (en)
Other versions
JP7410181B2 (ja
JP2022534215A (ja
Publication date
Priority claimed from US16/420,394 external-priority patent/US11182356B2/en
Application filed filed Critical
Publication of JP2022534215A publication Critical patent/JP2022534215A/ja
Publication of JPWO2020234719A5 publication Critical patent/JPWO2020234719A5/ja
Application granted granted Critical
Publication of JP7410181B2 publication Critical patent/JP7410181B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Claims (20)

  1. コンピュータの情報処理による方法であって
    第1のゾーンがトランザクション処理用に編成されたデータを含み、第2のゾーンが分析処理用に編成されたデータを含む、複数のゾーンを含んでいる複数のゾーンのデータ・ストレージ・システムにハイブリッド・インデックスを作成することであって、前記ハイブリッド・インデックス内の各インデックス・エントリが、少なくとも、
    等価列を含んでいるインデックス・キーと、
    前記インデックス・エントリに対応する前記データが挿入された時間のタイムスタンプを示す開始タイムスタンプ列と、
    階層型ストレージ内の前記インデックス・エントリの位置を示すタプル・シーケンス番号列と
    を含む、前記作成することと、
    前記ハイブリッド・インデックスに含められるインデックス・ランを構築することであって、前記インデックス・ランが複数のインデックス・エントリを含み、前記インデックス・ランを構築することが、
    前記第1のゾーンから、前記インデックス・ランに関連付けられるデータ・ブロックをスキャンすることによって、前記インデックス・ランに作成する列を決定することと、
    前記ハイブリッド・インデックスに含められる前記インデックス・エントリのタプル・シーケンス番号の値を計算することであって、前記タプル・シーケンス番号の値が前記タプル・シーケンス番号列に格納される、前記計算することと、
    前記インデックス・ランに含められる前記列を使用して、既定の順序に従って前記インデックス・エントリを並べ替えることと
    を含む、前記構築することと
    を含む、方法
  2. 前記インデックス・ランを構築することが、
    前記インデックス・ランのヘッダーを作成することであって、前記ヘッダーが、インデックス・ラン・ポインタの現在の値に設定されたポインタを含む、前記作成することと、
    前記ヘッダーを指し示すように前記インデックス・ラン・ポインタの値を設定することと
    をさらに含む、請求項1に記載の方法
  3. 前記インデックス・ラン内に格納されたデータ要素の概要が前記ヘッダー内に格納される、請求項2に記載の方法
  4. 前記インデックス・エントリがハッシュ列をさらに含み、前記インデックス・ランを構築することが、
    前記等価列のハッシュ値を前記インデックス・エントリから計算すること
    をさらに含み、前記ハッシュ値が前記ハッシュ列に格納される、請求項に記載の方法
  5. 前記インデックス・ランを構築することが、
    前記インデックス・ランのオフセット配列を計算すること
    をさらに含み、前記オフセット配列が前記ヘッダーに格納され、前記オフセット配列が、前記ハッシュ値の最上位nビットを前記インデックス・ラン内の前記インデックス・エントリのオフセットにマッピングする、請求項4に記載の方法
  6. 前記インデックス・エントリがソート列を前記インデックス・キーにさらに含む、請求項1に記載の方法
  7. 前記インデックス・ランにレベル番号が割り当てられ、前記レベル番号が、前記インデックス・ランを構築するために使用されるデータのソースを示す、請求項1に記載の方法
  8. 前記レベル番号が、前記インデックス・ランに関連付けられた前記データが格納されるゾーンをさらに示し、前記ゾーンが、前記複数のゾーンのデータ・ストレージ・システム内の前記複数のゾーンのうちの1つである、請求項7に記載の方法
  9. 各レベルからの1つまたは複数のインデックス・ランを維持するために、分離したスレッドを割り当てることをさらに含む、請求項7に記載の方法
  10. 階層型データ・ストレージを含んでいるストレージ・システムと、
    前記ストレージ・システムに結合された1つまたは複数の処理ノードと
    を備えているシステムであって、前記1つまたは複数の処理ノードが、第1のゾーンがトランザクション処理用に編成されたデータを含み、第2のゾーンが分析処理用に編成されたデータを含む、複数のゾーンを含んでいる複数のゾーンのデータ・ストレージ・システムにハイブリッド・インデックスを作成して維持するように構成され、前記ハイブリッド・インデックス内の各インデックス・エントリが、少なくとも、
    等価列を含んでいるインデックス・キーと、
    前記インデックス・エントリに対応する前記データが挿入された時間のタイムスタンプを示す開始タイムスタンプ列と、
    階層型ストレージ内の前記インデックス・エントリの位置を示すタプル・シーケンス番号列と
    を含み、
    前記1つまたは複数の処理ノードが、前記ハイブリッド・インデックスに含められるインデックス・ランを構築するように構成され、前記インデックス・ランが複数のインデックス・エントリを含み、前記インデックス・ランを構築することが、
    前記第1のゾーンから、前記インデックス・ランに関連付けられるデータ・ブロックをスキャンすることによって、前記インデックス・ランに作成する列を決定することと、
    前記ハイブリッド・インデックスに含められる前記インデックス・エントリのタプル・シーケンス番号の値を計算することであって、前記タプル・シーケンス番号の値が前記タプル・シーケンス番号列に格納される、前記計算することと、
    前記インデックス・ランに含められる前記列を使用して、既定の順序に従って前記インデックス・エントリを並べ替えることと
    を含む、システム。
  11. 前記インデックス・ランを構築することが、
    前記インデックス・ランのヘッダーを作成することであって、前記ヘッダーが、インデックス・ラン・ポインタの現在の値に設定されたポインタを含む、前記作成することと、
    前記ヘッダーを指し示すように前記インデックス・ラン・ポインタの値を設定することと
    をさらに含む、請求項10に記載のシステム。
  12. 前記インデックス・ラン内に格納されたデータ要素の概要が前記ヘッダー内に格納される、請求項11に記載のシステム。
  13. 前記インデックス・エントリがハッシュ列をさらに含み、前記インデックス・ランを構築することが、
    前記等価列のハッシュ値を前記インデックス・エントリから計算することであって、前記ハッシュ値が前記ハッシュ列に格納される、前記計算することと、
    前記インデックス・ランのオフセット配列を計算することと
    をさらに含み、前記オフセット配列が前記ヘッダーに格納され、前記オフセット配列が、前記ハッシュ値の最上位nビットを前記インデックス・ラン内の前記インデックス・エントリのオフセットにマッピングする、請求項11に記載のシステム。
  14. 前記インデックス・ランにレベルが割り当てられ、レベル番号が、前記インデックス・ランを構築するために使用されるデータのソースを示し、前記レベル番号が、前記インデックス・ランに関連付けられた前記データが格納されるゾーンをさらに示し、前記ゾーンが、前記複数のゾーンのデータ・ストレージ・システム内の前記複数のゾーンのうちの1つである、請求項10に記載のシステム。
  15. 請求項1~9の何れか1項に記載の方法をコンピュータに実行させる、コンピュータ・プログラム
  16. 請求項15に記載の前記コンピュータ・プログラムを、コンピュータ可読ストレージ媒体に記憶した、ストレージ媒体
  17. コンピュータの情報処理による方法であって、
    第1のインデックス・ランおよび第2のインデックス・ランという2つのインデックス・ランを、階層型データ・ストレージを使用してデータが格納されるデータベース内でマージすることの要求の受信に応答して、
    前記第1のインデックス・ランからの列および前記第2のインデックス・ランからの列を含むための第3のインデックス・ランを作成することと、
    マージ・ソートを使用して、前記第1のインデックス・ランからの前記列および前記第2のインデックス・ランからの前記列をグローバルに並べ替えることと、
    前記第3のインデックス・ランが非永続的レベルに属するということの決定に基づいて、前記第3のインデックス・ランをキャッシュ・ストレージのみに格納することと、
    前記第3のインデックス・ランが永続的レベルに属し、前記第3のインデックス・ランのレベル番号がパージ・レベルを下回るということの決定に基づいて、前記第3のインデックス・ランを前記キャッシュ・ストレージおよび共有ストレージに格納することと、
    前記第3のインデックス・ランが永続的レベルに属し、前記第3のインデックス・ランの前記レベル番号が前記パージ・レベル以上であるということの決定に基づいて、前記第3のインデックス・ランを前記共有ストレージのみに格納することと
    を含む、方法
  18. 前記データベース内のインデックス・ランのリストを更新すること
    をさらに含み、前記更新することが、
    前記第1のインデックス・ランのアドレスを指し示す第4のインデックス・ランのポインタを変更することであって、前記ポインタが前記第3のインデックス・ランのアドレスに変更される、前記変更することと、
    前記第1のインデックス・ランおよび前記第2のインデックス・ランを削除することと
    を含む、請求項17に記載の方法
  19. 前記第1のインデックス・ランおよび前記第2のインデックス・ランが、前記第1のインデックス・ランおよび前記第2のインデックス・ランが前記永続的レベルに属するインデックス・ランにマージされた後に、削除される、
    請求項18に記載の方法
  20. 請求項17~19の何れか1項に記載の方法の各ステップをコンピュータ・ハードウェアによって実行する、システム。
JP2021569234A 2019-05-23 2020-05-15 ハイブリッド・インデックス作成方法、システム、プログラム Active JP7410181B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US16/420,394 US11182356B2 (en) 2019-05-23 2019-05-23 Indexing for evolving large-scale datasets in multi-master hybrid transactional and analytical processing systems
US16/420,394 2019-05-23
PCT/IB2020/054619 WO2020234719A1 (en) 2019-05-23 2020-05-15 Indexing for evolving large-scale datasets in multi-master hybrid transactional and analytical processing systems

Publications (3)

Publication Number Publication Date
JP2022534215A JP2022534215A (ja) 2022-07-28
JPWO2020234719A5 true JPWO2020234719A5 (ja) 2022-09-26
JP7410181B2 JP7410181B2 (ja) 2024-01-09

Family

ID=73456775

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021569234A Active JP7410181B2 (ja) 2019-05-23 2020-05-15 ハイブリッド・インデックス作成方法、システム、プログラム

Country Status (6)

Country Link
US (1) US11182356B2 (ja)
JP (1) JP7410181B2 (ja)
CN (1) CN113874852A (ja)
DE (1) DE112020000749T5 (ja)
GB (1) GB2599538A (ja)
WO (1) WO2020234719A1 (ja)

Families Citing this family (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3791283A1 (en) * 2018-09-14 2021-03-17 Google LLC Staggered merging in log-structured merge forests
US11599583B2 (en) * 2020-04-23 2023-03-07 Paypal, Inc. Deep pagination system
US11366810B2 (en) * 2020-04-27 2022-06-21 Salesforce.Com, Inc. Index contention under high concurrency in a database system
US11860844B2 (en) * 2020-09-07 2024-01-02 Pliops Ltd. Managing a LSM tree of key value pairs that is stored in a non-volatile memory
US11641665B2 (en) 2020-09-09 2023-05-02 Self Financial, Inc. Resource utilization retrieval and modification
US11475010B2 (en) * 2020-09-09 2022-10-18 Self Financial, Inc. Asynchronous database caching
US20220075877A1 (en) 2020-09-09 2022-03-10 Self Financial, Inc. Interface and system for updating isolated repositories
IL302236A (en) * 2020-10-20 2023-06-01 Redis Ltd Systems, methods, and media for providing conflict-free replicated data types in in-memory data structures
US11782954B2 (en) * 2020-10-20 2023-10-10 Salesforce, Inc. User identifier match and merge process
US20220244988A1 (en) * 2021-01-30 2022-08-04 Salesforce.Com, Inc. Data shards for distributed processing
US11543993B1 (en) * 2021-06-17 2023-01-03 Western Digital Technologies, Inc. Fast garbage collection in zoned namespaces SSDs
US20230037619A1 (en) * 2021-07-09 2023-02-09 Pawel Terlecki Systems and method for processing timeseries data
US11947490B2 (en) * 2021-08-31 2024-04-02 Bmc Software, Inc. Index generation and use with indeterminate ingestion patterns
US11947822B2 (en) * 2022-03-31 2024-04-02 Microsoft Technology Licensing, Llc. Maintaining a record data structure using page metadata of a bookkeeping page
CN114579596B (zh) * 2022-05-06 2022-09-06 达而观数据(成都)有限公司 一种实时更新搜索引擎索引数据的方法及系统
CN117951141A (zh) * 2022-10-21 2024-04-30 华为云计算技术有限公司 数据处理方法及装置
CN117519839B (zh) * 2024-01-05 2024-04-16 恒生电子股份有限公司 数据加载方法及装置

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102890682B (zh) 2011-07-21 2017-08-01 腾讯科技(深圳)有限公司 构建索引的方法、检索方法、装置及系统
KR20130049117A (ko) 2011-11-03 2013-05-13 한국전자통신연구원 메모리 기반의 서머리 벡터를 구비한 인덱스 구조의 데이터 검색 장치 및 방법
US20140279839A1 (en) 2013-03-14 2014-09-18 Sap Ag Integration of transactional and analytical capabilities of a database management system
US9720576B2 (en) * 2013-09-30 2017-08-01 Sonos, Inc. Controlling and displaying zones in a multi-zone system
KR101642072B1 (ko) * 2014-05-08 2016-07-22 주식회사 알티베이스 하이브리드스토리지장치 및 방법
US9767149B2 (en) 2014-10-10 2017-09-19 International Business Machines Corporation Joining data across a parallel database and a distributed processing system
US9703797B2 (en) * 2015-02-18 2017-07-11 Exagrid Systems, Inc. Multi-level deduplication
US10831736B2 (en) 2015-03-27 2020-11-10 International Business Machines Corporation Fast multi-tier indexing supporting dynamic update
US9772911B2 (en) 2015-03-27 2017-09-26 International Business Machines Corporation Pooling work across multiple transactions for reducing contention in operational analytics systems
US10664462B2 (en) * 2017-03-01 2020-05-26 Sap Se In-memory row storage architecture
JP6897248B2 (ja) 2017-04-06 2021-06-30 富士通株式会社 更新反映プログラム、更新反映方法及び更新反映装置
CN107943927B (zh) 2017-11-21 2018-10-16 清华大学 一种分布式存储系统中多维数据的存储模式转换方法
US10430100B2 (en) * 2018-02-28 2019-10-01 International Business Machines Corporation Transactional operations in multi-master distributed data management systems

Similar Documents

Publication Publication Date Title
GB2599538A (en) Indexing for evolving large-scale datasets in multi-master hybrid transactional and analytical processing systems
US10311048B2 (en) Full and partial materialization of data from an in-memory array to an on-disk page structure
US20210042286A1 (en) Transactional key-value store
JPWO2020234719A5 (ja)
US11023453B2 (en) Hash index
CN110083601B (zh) 面向键值存储系统的索引树构建方法及系统
US10296611B2 (en) Optimized rollover processes to accommodate a change in value identifier bit size and related system reload processes
US8924365B2 (en) System and method for range search over distributive storage systems
US7716182B2 (en) Version-controlled cached data store
US7418544B2 (en) Method and system for log structured relational database objects
US9916313B2 (en) Mapping of extensible datasets to relational database schemas
US10452491B2 (en) Scalable log partitioning system
CN112363979B (zh) 一种基于图数据库的分布式索引方法和系统
US20150089125A1 (en) Framework for numa affinitized parallel query on in-memory objects within the rdbms
US10754854B2 (en) Consistent query of local indexes
US20180011892A1 (en) Foster twin data structure
US9576038B1 (en) Consistent query of local indexes
US11392567B2 (en) Just-in-time multi-indexed tables in a shared log
US20130254240A1 (en) Method of processing database, database processing apparatus, computer program product
US10585896B2 (en) Managing data in relational database management system
US11100083B2 (en) Read only bufferpool
US10013442B2 (en) Database value identifier hash map
US20200278980A1 (en) Database processing apparatus, group map file generating method, and recording medium
CN114610959B (zh) 数据处理方法、装置、设备及存储介质
US8073823B2 (en) Database management program