JP2023543004A - ヒルベルト曲線に基づくr木インデックスのマージ更新方法、装置及び媒体 - Google Patents
ヒルベルト曲線に基づくr木インデックスのマージ更新方法、装置及び媒体 Download PDFInfo
- Publication number
- JP2023543004A JP2023543004A JP2023519043A JP2023519043A JP2023543004A JP 2023543004 A JP2023543004 A JP 2023543004A JP 2023519043 A JP2023519043 A JP 2023519043A JP 2023519043 A JP2023519043 A JP 2023519043A JP 2023543004 A JP2023543004 A JP 2023543004A
- Authority
- JP
- Japan
- Prior art keywords
- tree
- node
- layer
- hilbert
- leaf
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2272—Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/901—Indexing; Data structures therefor; Storage structures
- G06F16/9027—Trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
- G06F16/2246—Trees, e.g. B+trees
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2453—Query optimisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/24—Querying
- G06F16/245—Query processing
- G06F16/2455—Query execution
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Computational Linguistics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
【課題】本発明はヒルベルト曲線に基づくR木インデックスのマージ更新方法、装置及び媒体を提供する。【解決手段】方法のステップは、マージ対象の第1R木と、第1R木を挿入する第2R木とを取得し、R木の非葉ノードには含まれるオブジェクトのヒルベルト値の上下限範囲が記憶されるステップS1と、「上から下への」階層クエリアルゴリズムによって第1R木の葉ノード層におけるマージされた各葉ノードの第2R木の葉ノード層での挿入対象ノードをクエリするステップS2と、「下から上への」階層調整アルゴリズムによって第1R木における各葉ノードに対して、それに含まれる空間オブジェクトをヒルベルト値の順序に従ってS2において決定された挿入対象ノードに挿入して、2本のR木のマージを実現するステップS3と、マージ後の第2R木に対して、葉ノードから根ノードまでの順序に従って各ノードの記憶情報を1層ずつ更新するステップS4と、を含む。本発明は地理時空大データの高性能記憶分野において重要な実際の応用価値がある。【選択図】図1
Description
本発明はデータの検索及び更新の技術分野に関し、特にヒルベルトR木インデックスのマージ更新技術に関する。
空間データの更新頻度は地理情報データ収集装置の発展につれて徐々に高まり、空間データの管理は効率的なクエリニーズを満足する必要があるだけでなく、迅速な更新ニーズを考慮する必要もある。LSM木構造を組み合わせた空間インデックスは空間データの頻繁な挿入及び更新のニーズを効果的にサポートすることができ、LSM R木インデックスはDBH木、DHVB木及びSHB木よりも汎用性及び安定性が高い。しかしながら、LSM R木の実際の応用過程は大量のR木のマージ操作に関する場合が多く、R木はマージ過程においてシステムの一定の内部記憶及び計算資源を占有してこの間にインデックスに対してクエリ、挿入、削除などの操作を行う効率に影響することとなる。従って、R木のマージ効率を向上させることによりLSM R木の利用可能性を全体的に向上させる効率的なヒルベルトR木のマージアルゴリズムを必要とする。
本発明の目的は従来技術における高周波時空間データを挿入する際にインデックスの更新効率及びクエリ効率が低い問題を克服して、ヒルベルト曲線に基づく改良されたR木インデックスを提供することである。
本発明が用いる具体的な技術案は以下の通りである。
ヒルベルト曲線に基づくR木インデックスのマージ更新方法であって、
マージ対象の第1R木と、第1R木を挿入する第2R木とを取得し、第1R木の高さが第2R木の高さ以下であり、各本のR木において、各葉ノードの記憶情報が空間オブジェクトの最小外接矩形枠及びその主キーポインタを含み、各非葉ノードの記憶情報がすべての子ノードの最小外接矩形枠、すべての子ノードの主キーポインタセット、最小外接矩形枠におけるすべての空間オブジェクトの最大ヒルベルト値、及び最小外接矩形枠におけるすべての空間オブジェクトの最小ヒルベルト値を含むステップS1と、
各ノードに記憶されるヒルベルト値情報に基づいて、根ノード層から葉ノード層まで1層ずつクエリする順序に従って、第1R木の葉ノード層におけるマージされた各葉ノードの第2R木の葉ノード層での挿入対象ノードをクエリして取得するステップS2と、
第1R木における各葉ノードに対して、それに含まれる空間オブジェクトをヒルベルト値の順序に従ってS2において決定された挿入対象ノードに挿入して、2本のR木のマージを実現し、且つマージ過程において葉ノードの容量がオーバーフローした場合、第2R木に対してノード分割を行って、第1R木及び第2R木に含まれるすべての空間オブジェクトをヒルベルト値の順序に従って分割後の第2R木のすべての葉ノードに改めて割り当てる必要があるステップS3と、
第1R木とマージした後の第2R木に対して、葉ノードから根ノードまでの順序に従って各ノードの記憶情報を1層ずつ更新するステップS4と、を含む。
マージ対象の第1R木と、第1R木を挿入する第2R木とを取得し、第1R木の高さが第2R木の高さ以下であり、各本のR木において、各葉ノードの記憶情報が空間オブジェクトの最小外接矩形枠及びその主キーポインタを含み、各非葉ノードの記憶情報がすべての子ノードの最小外接矩形枠、すべての子ノードの主キーポインタセット、最小外接矩形枠におけるすべての空間オブジェクトの最大ヒルベルト値、及び最小外接矩形枠におけるすべての空間オブジェクトの最小ヒルベルト値を含むステップS1と、
各ノードに記憶されるヒルベルト値情報に基づいて、根ノード層から葉ノード層まで1層ずつクエリする順序に従って、第1R木の葉ノード層におけるマージされた各葉ノードの第2R木の葉ノード層での挿入対象ノードをクエリして取得するステップS2と、
第1R木における各葉ノードに対して、それに含まれる空間オブジェクトをヒルベルト値の順序に従ってS2において決定された挿入対象ノードに挿入して、2本のR木のマージを実現し、且つマージ過程において葉ノードの容量がオーバーフローした場合、第2R木に対してノード分割を行って、第1R木及び第2R木に含まれるすべての空間オブジェクトをヒルベルト値の順序に従って分割後の第2R木のすべての葉ノードに改めて割り当てる必要があるステップS3と、
第1R木とマージした後の第2R木に対して、葉ノードから根ノードまでの順序に従って各ノードの記憶情報を1層ずつ更新するステップS4と、を含む。
従来技術に比べて、本発明は以下の有益な効果を有する。
本発明は「上から下への」階層クエリアルゴリズム及び「下から上への」階層調整アルゴリズムによってヒルベルトR木の迅速なマージ更新を実現することができる。マージ過程において、各挿入対象のノードは1回しか読み取られず、各ノードの書き込み及び分割も1回しか行われない。1つずつ挿入する方式に比べて、磁気ディスクの読み書き回数を大幅に減少させ、ヒルベルトR木のマージ効率を向上させ、R木のマージが空間インデックス全体の操作に与えた影響を軽減する。それと同時に、改良されたヒルベルトR木は一括挿入・均一分割の方式を用い、ノードの充填率をある程度で向上させ、R木の空間使用率を向上させることもでき、従って、クエリ効率の面でもある程度で向上する。
以下、図面を参照しながら具体的な実施形態によって本発明を更に詳述及び説明する。互いに衝突しない限り、本発明の各実施形態の技術的特徴はいずれも互いに組み合わせられてもよい。
R木はマージ過程においてシステムの一定の内部記憶及び計算資源を占有してこの間にインデックスに対してクエリ、挿入、削除などの操作を行う効率に影響することとなる。従って、効率的なヒルベルトR木のマージ方法によって、上記状況の発生を減少させて木空間インデックスの使用効率を全体的に向上させることができる。本発明は従来のヒルベルトR木構造を改良して、改良されたヒルベルトR木のマージ方法を設計し、ヒルベルトR木の効率的なマージを実現する。
図1に示すように、本発明の好適な実施例では、ヒルベルト曲線に基づくR木インデックスのマージ更新方法を提供し、該方法のステップは以下の通りである。
S1では、まず、2本のR木を取得し、それらがそれぞれマージ対象の第1R木及び第1R木を挿入する第2R木である。叙述しやすくするために、以下に第1R木をR1として記し、第2R木をR2として記す。インデックスのマージがいずれも低位層から高位層へ行われるため、木R2の高さが必ず木R1の高さ以上である。
本発明における木R1及び木R2がいずれも改良されたヒルベルトR木であり、2本のR木の基本構造が同じである。用語の意味を一致させるために、以下にR木の葉ノードをR木における子ノードがないノード即ち最後の層のノードとして定義し、R木の根ノードがR木における第1層のノード即ち最上層のノードであり、R木におけるノードの階層は、根ノードから根ノードの階層を第1層、根ノードの子ノードの階層を第2層として設定し、これによって類推し、あるノードの階層が第L層である場合、その子ノードの階層が第L+1層であり、R木の高さがR木におけるすべてのノードの階層の最大値である。
各本のR木において、改良されたヒルベルトR木の葉ノードClは通常のヒルベルトR木の葉ノードの構造と一致し、各葉ノードの記憶情報が空間オブジェクトの最小外接矩形枠及びその主キーポインタであり、即ちCl=(R,object_id)である。
しかしながら、非葉ノードCnに対して、2本の改良されたヒルベルトR木はいずれも元の動的ヒルベルトR木の非葉ノードの構造を基に、最小ヒルベルト値が追加して記憶され、従って、各非葉ノードの記憶情報は該ノードのすべての子ノードの最小外接矩形枠R、該ノードのすべての子ノードの主キーポインタセットptr、最小外接矩形枠Rにおけるすべての空間オブジェクトの最大ヒルベルト値maxLHV及び最小外接矩形枠Rにおけるすべての空間オブジェクトの最小ヒルベルト値minLHVであり、即ちCn=(R,ptr,maxLHV,minLHV)である。
図2は改良されたヒルベルトR木構造の模式図であり、図面から分かるように、ノードI、ノードII、ノードIIIが3つの非葉ノードである。ノードIIを例とし、3つの空間オブジェクトが含まれており、そのヒルベルト値がそれぞれ5010、7671及び13646であり、従って、ノードIIに記憶される最大ヒルベルト値maxLHVが13646であり、最小ヒルベルト値minLHVが5010である。根ノードはノードI、ノードII、ノードIIIを含み、従って、根ノードに保存される必要がある最大ヒルベルト値LHVは14033であり、最小ヒルベルト値minLHVは415である。
該改良されたヒルベルトR木において、ノードにおけるすべての空間オブジェクトのヒルベルト値範囲を記録することにより、各空間オブジェクトの挿入に対していずれも根ノードからクエリする必要とせずに、このノードにおける空間オブジェクトの挿入対象のヒルベルトR木における非葉ノードでの経路を決定することができる。これにより、磁気ディスクの読み書き回数を減少させてマージ効率を向上させることができる。
本発明に係る改良されたヒルベルトR木において、最小外接矩形のヒルベルト値の計算方式は様々あり、第1)としては、矩形の中心点を2次元のヒルベルト値として計算し、第2)としては、左下角座標及び右上角座標を4次元点のヒルベルト値として計算し、第3)としては、矩形の中心点及び中心から矩形境界までの距離dx、dyを4次元点のヒルベルト値として計算する。異なるヒルベルト値の計算方式によって複数の集中状況が生じることとなる。
本実施例では、好ましくは、空間オブジェクトの最小外接矩形枠の中心点の2次元座標のヒルベルト曲線上での1次元コード値を各空間オブジェクトのヒルベルト値とする。ヒルベルト値の符号化過程は任意の従来技術を用いてもよく、理解しやすくするために、以下に符号化過程を提供し、
ヒルベルト曲線の次数がnであって、空間データの座標がx及びyである場合には、
ステップ1において、最小外接矩形枠の中心点の2次元座標x及びyを読み取って、x及びy値を長さが2nであるバイナリ値に変換してxB、yBで示し、
ステップ2において、順番にそれぞれxB及びyBにおける1ビットのバイナリ値を抽出して組み合わせて、バイナリ値セクションを取得し、第i組のバイナリ値セクションをxi Byi Bとして記し、
ステップ3において、すべてのバイナリ値セクションを変換し、「00」を00に変換し、「01」を01に変換し、「10」を11に変換し、「11」を10に変換し、
ステップ4において、すべての変換後のバイナリ値セクションを改めて順番に組み合わせて、完全なバイナリ値を取得して十進値即ちヒルベルト値に変換する。
ヒルベルト曲線の次数がnであって、空間データの座標がx及びyである場合には、
ステップ1において、最小外接矩形枠の中心点の2次元座標x及びyを読み取って、x及びy値を長さが2nであるバイナリ値に変換してxB、yBで示し、
ステップ2において、順番にそれぞれxB及びyBにおける1ビットのバイナリ値を抽出して組み合わせて、バイナリ値セクションを取得し、第i組のバイナリ値セクションをxi Byi Bとして記し、
ステップ3において、すべてのバイナリ値セクションを変換し、「00」を00に変換し、「01」を01に変換し、「10」を11に変換し、「11」を10に変換し、
ステップ4において、すべての変換後のバイナリ値セクションを改めて順番に組み合わせて、完全なバイナリ値を取得して十進値即ちヒルベルト値に変換する。
また、理解しやすくするために、以下にヒルベルトR木の構築過程を詳しく説明するが、注意すべきことは、R木の構築過程は本発明に必要なステップではなく、本発明は構築されたR木をマージするためのものであってもよい。ヒルベルトR木の構築過程は、
各空間オブジェクトのヒルベルトを計算した後、すべての空間オブジェクトをヒルベルト値に従って昇順に配列するS11と、
すべての空間オブジェクトを抽出してk個の葉ノードを取得してノードの構築順序に従って先入れ先出し待ち行列に加えるまで、R木の各ノードの容量cに基づいて、上位c個の空間オブジェクトを抽出して1つのR木の1番目の葉ノードに構築し、その次のc個の空間オブジェクトを抽出して次の葉ノードに構築するように繰り返すS12と、
葉ノードから根ノードまでの順序に従って非葉ノードを1層ずつ構築し、且つ各層の非葉ノードに対しては、先入れ先出し待ち行列におけるすべてのノードを抽出して現在の非葉ノード層を取得してその中のすべての非葉ノードをノードの構築順序に従って新たな先入れ先出し待ち行列に加えて次の層の非葉ノードの構築に用いるまで、その子ノード層の先入れ先出し待ち行列から上位c個のノードを抽出して1番目の非葉ノードに構築し、更に先入れ先出し待ち行列から上位c個のノードを抽出して次の非葉ノードに構築するように繰り返すS13と、を含む。
各空間オブジェクトのヒルベルトを計算した後、すべての空間オブジェクトをヒルベルト値に従って昇順に配列するS11と、
すべての空間オブジェクトを抽出してk個の葉ノードを取得してノードの構築順序に従って先入れ先出し待ち行列に加えるまで、R木の各ノードの容量cに基づいて、上位c個の空間オブジェクトを抽出して1つのR木の1番目の葉ノードに構築し、その次のc個の空間オブジェクトを抽出して次の葉ノードに構築するように繰り返すS12と、
葉ノードから根ノードまでの順序に従って非葉ノードを1層ずつ構築し、且つ各層の非葉ノードに対しては、先入れ先出し待ち行列におけるすべてのノードを抽出して現在の非葉ノード層を取得してその中のすべての非葉ノードをノードの構築順序に従って新たな先入れ先出し待ち行列に加えて次の層の非葉ノードの構築に用いるまで、その子ノード層の先入れ先出し待ち行列から上位c個のノードを抽出して1番目の非葉ノードに構築し、更に先入れ先出し待ち行列から上位c個のノードを抽出して次の非葉ノードに構築するように繰り返すS13と、を含む。
S2では、各ノードに記憶されるヒルベルト値情報に基づいて、根ノード層から葉ノード層まで1層ずつクエリする順序に従って、第1R木の葉ノード層におけるマージされた各葉ノードの第2R木の葉ノード層での挿入対象ノードをクエリして取得する。クエリ過程において、挿入対象ノードの決定原則は、マージされたノードのヒルベルト値範囲を挿入されたノードのヒルベルト値範囲内にできる限り完全にすることである。
本実施例では、S2における該クエリ過程は「上から下への」階層クエリアルゴリズムを用い、該階層クエリアルゴリズムの具体的な実現過程は以下の通りである。
S21では、第1R木における現在の検索対象ノード層の階層nを1として設定し、第2R木における現在の検索対象ノード層の階層mを1として設定し、第1R木の高さがH1であり、第2R木の高さがH2であり、第1R木及び第2R木の第1層のノード層がいずれも根ノードであり、第2R木の根ノードが第1R木の根ノードに対応する挿入対象ノードとされ、
S22では、第1R木における第n層のノードに対して、それぞれ各ノードxi nのすべての子ノードセットXi n+1を取得するとともに、第2R木からノードxi nに対応する挿入対象ノードのすべての子ノードセットYi n+1を取得し、セットXi n+1に含まれる各ノードxi n+1に対して、ノードxi n+1に記憶される最大ヒルベルト値maxLHVi及び最小ヒルベルト値minLHViに基づいて、セットYi n+1に含まれるすべてのノードから最大ヒルベルト値がminLHViよりも大きい1番目のノードのポインタAを検索し、且つセットYi n+1に含まれるすべてのノードから最大ヒルベルト値がmaxLHViよりも大きい1番目のノードのポインタBを検索し、セットYi n+1におけるポインタ値が[A,B]区間内にあるノードをノードxi nの挿入対象ノードとする。
S22では、第1R木における第n層のノードに対して、それぞれ各ノードxi nのすべての子ノードセットXi n+1を取得するとともに、第2R木からノードxi nに対応する挿入対象ノードのすべての子ノードセットYi n+1を取得し、セットXi n+1に含まれる各ノードxi n+1に対して、ノードxi n+1に記憶される最大ヒルベルト値maxLHVi及び最小ヒルベルト値minLHViに基づいて、セットYi n+1に含まれるすべてのノードから最大ヒルベルト値がminLHViよりも大きい1番目のノードのポインタAを検索し、且つセットYi n+1に含まれるすべてのノードから最大ヒルベルト値がmaxLHViよりも大きい1番目のノードのポインタBを検索し、セットYi n+1におけるポインタ値が[A,B]区間内にあるノードをノードxi nの挿入対象ノードとする。
S22を実行するとき、セットYi
n+1に含まれるすべてのノードからそれぞれバイナリ検索の方式でポインタA及びポインタBに対応するノードを検索してもよい。
S23では、n及びmの値にそれぞれ1を加えてからS22を繰り返し、
S24では、n及びmの値がいずれもH1になるまで、S23を繰り返し続けて、第1R木における各葉ノードの第2R木での対応する挿入対象ノードを取得し、
S25では、判断過程を実行し続け、m<H2の場合、nの値が変化しないように維持し且つm値に1を加えてからS22を繰り返し、m=H2になると、クエリが完了され、第1R木の葉ノード層におけるマージされた各葉ノードがいずれも第2R木の葉ノード層から対応する挿入対象ノードを見つけるようにする。
S24では、n及びmの値がいずれもH1になるまで、S23を繰り返し続けて、第1R木における各葉ノードの第2R木での対応する挿入対象ノードを取得し、
S25では、判断過程を実行し続け、m<H2の場合、nの値が変化しないように維持し且つm値に1を加えてからS22を繰り返し、m=H2になると、クエリが完了され、第1R木の葉ノード層におけるマージされた各葉ノードがいずれも第2R木の葉ノード層から対応する挿入対象ノードを見つけるようにする。
該階層クエリアルゴリズムにおいて、ステップS22を初めて実行する際に根ノードの挿入対象ノードを対応してクエリする。まず、R1の根ノードを読み取って、その子ノードのセットXi
2を取得し、下付き文字iがi番目のノードを表し、以下も同様である。改良されたヒルベルトR木ノードの特徴に基づいて、セットXi
2におけるノードに該ノードにおける空間オブジェクトのヒルベルト値範囲が記憶される。セットXi
2における各ノードxi
2に対して、その最小ヒルベルト値minLHVi及び最大ヒルベルト値LHViに基づいて、バイナリ検索の方式を用いて、R2木の根ノードの子ノードセットYi
2におけるmaxLHVがminLHViよりも大きい1番目の子ノードポインタを計算してfromPageiとして記す。同様に、R2木の根ノードの子ノードYi
2におけるmaxLHVがLHViよりも大きい1番目の子ノードポインタを計算してtoPageiとして記す。以上から分かるように、ノードxi
2における空間オブジェクトを挿入すべき磁気ディスクのページ位置PageはfromPagei≦Page≦toPageiを満足し、即ちfromPageiからtoPageiまでの範囲内のノードに挿入する。セットXi
2における各ノードのfromPagei及びtoPageiを計算し、このとき、R1木の第2層の各ノードはR2木の根ノードから挿入位置でのノードのポインタを見つける。その後でS23を実行するとき、ポインタ値に基づいてR2木の第2層のノードを見つけ、更に上記と同様の方式でR1木の第3層のノードにおけるR2木の第3層のノードに対応する位置を見つける。この方式で階層的に検索し、階層がR1木の葉ノードに対応する空間オブジェクトになると、R1木を更に検索して細分することができないが、R2木はS24の実行過程において更に葉ノードを見つければ、対応するR1木における空間オブジェクトを該葉ノードに一括挿入する。
S3では、第1R木における各葉ノードに対して、それに含まれる空間オブジェクトをヒルベルト値の順序に従ってS2において決定された挿入対象ノードに挿入して、2本のR木のマージを実現する。そして、マージ過程において葉ノードの容量がオーバーフローした場合、第2R木に対してノード分割を行って、第1R木及び第2R木に含まれるすべての空間オブジェクトをヒルベルト値の順序に従って分割後の第2R木のすべての葉ノードに改めて割り当てる必要がある。
第2R木に対してノード分割を行う方法は従来技術におけるノードインデックスの分割方式で処理してもよく、本実施例では、一括且つ迅速なR木のマージを実現するために、「下から上への」階層調整アルゴリズムを提供し、それにより第2R木に対してノードインデックス分割を行うことを容易にし、その作り方はS31~S33に示され、
S31において、第1R木及び第2R木に含まれるすべての空間オブジェクトの総数の、第2R木のノード容量に対するオーバーフローオブジェクトの数を計算し、
S32において、第2R木の葉ノードを分割して、すべてのオーバーフローオブジェクトを収容するための最少の追加の葉ノードを作成し、
S33において、第1R木及び第2R木に含まれるすべての空間オブジェクトをヒルベルト値に従って昇順に配列し、次に第2R木の分割後の各葉ノードに順番に改めて割り当て、
S34において、葉ノード層から根ノード層まで1層ずつ調整する順序に従って、第2R木の各層の非葉ノードに対してノード容量オーバーフロー判断を行い、1層の非葉ノードにノード容量オーバーフローが生じた場合、該層の非葉ノードに対してノード分割を行って、該層の非葉ノードのすべての子ノードを分割後の該層の非葉ノードに改めて割り当て、最終的に根ノードの調整を完了した後に第2R木のノード分割処理を完了する。
S31において、第1R木及び第2R木に含まれるすべての空間オブジェクトの総数の、第2R木のノード容量に対するオーバーフローオブジェクトの数を計算し、
S32において、第2R木の葉ノードを分割して、すべてのオーバーフローオブジェクトを収容するための最少の追加の葉ノードを作成し、
S33において、第1R木及び第2R木に含まれるすべての空間オブジェクトをヒルベルト値に従って昇順に配列し、次に第2R木の分割後の各葉ノードに順番に改めて割り当て、
S34において、葉ノード層から根ノード層まで1層ずつ調整する順序に従って、第2R木の各層の非葉ノードに対してノード容量オーバーフロー判断を行い、1層の非葉ノードにノード容量オーバーフローが生じた場合、該層の非葉ノードに対してノード分割を行って、該層の非葉ノードのすべての子ノードを分割後の該層の非葉ノードに改めて割り当て、最終的に根ノードの調整を完了した後に第2R木のノード分割処理を完了する。
この方法に基づいて、まず最後の層のすべての葉ノードに対して空間オブジェクトデータの挿入及び分割を実現し、その後、前の層の非葉ノードを上向きに調整する。葉ノード層におけるノード分割につれて、ノードの数が増加することとなり、下から数えて第2層の非葉ノードのオーバーフロー状況を引き起こす恐れがある。従って、その後、下から数えて第2層のノードを調整し、同様の方式でノード分割を行い、根ノードに調整するまで続く。根ノードにノード容量オーバーフローが生じた場合、根ノードを2つのノードに分割して、この2つのノードを子ノードとして1つの根ノードに改めて構築する。
なお、2本のR木のマージ過程において、第1R木の空間オブジェクトを第2R木の挿入対象ノードに挿入するとき、ヒルベルト値の順序に従って挿入すべきであり、これにより、最終的な各葉ノードにおけるすべての空間オブジェクトをヒルベルト値に従って昇順に配列し、すべての葉ノード全体も最大ヒルベルト値に従って昇順に配列するように確保する。
S4では、ノードはマージ、分割された後、それに記憶される空間オブジェクトが変化することとなるため、ノードの記憶情報は変化することとなり、従って、第1R木とマージした後の第2R木に対して、葉ノードから根ノードまでの順序に従って各ノードの記憶情報を1層ずつ更新する必要がある。葉ノードの場合、更新すべき記憶情報は空間オブジェクトの最小外接矩形枠R、主キーポインタobject_idを含み、非葉ノードの場合、更新すべき記憶情報は空間オブジェクトの最小外接矩形枠R、主キーポインタセットprt、最大ヒルベルト値maxLHV及び最小ヒルベルト値minLHVを含む。
本発明の技術的効果を更に説明するために、以下に1つの具体的な実例によって上記ヒルベルト曲線に基づくR木インデックスのマージ更新方法の具体的な空間データにおける効果を示す。
実施例
本実施例のステップ及び具体的な実施形態は上記ステップ即ちステップS1~S4と同様であり、且つステップS2は具体的にS21~S25により実現され、ステップS3は具体的にS31~S34により実現され、ここで詳細な説明は省略する。以下、実施過程及び実施結果の一部を示す。
本実施例のステップ及び具体的な実施形態は上記ステップ即ちステップS1~S4と同様であり、且つステップS2は具体的にS21~S25により実現され、ステップS3は具体的にS31~S34により実現され、ここで詳細な説明は省略する。以下、実施過程及び実施結果の一部を示す。
本実施例は面状の空間データタイプを研究対象とし、データがOpenStreetMapによりダウンロードされた中国全土の建築領域データを用いて、要素の数が合計して1000192本である。図3には研究対象の空間データを示す。図面から分かるように、空間データは、サイズが異なって分布が不均一であり、データの疎密度に一定のランダム性があり、実験サンプルとされることができる。
1000~50000本の記録合計して50組のデータをランダムに選択して、ヒルベルト曲線に基づく改良されたR木インデックス、通常のR木インデックス及びヒルベルトR木インデックスに対して更新操作を行って、本発明に係る改良されたヒルベルトR木のマージアルゴリズムの高効率性を検証し、且つマージ後のクエリ効率を比較して、LH R木のマージアルゴリズムがより高い空間集中性及びより高いクエリ効率を確保できることが証明される。
図4において、横軸がマージされたR木のサイズを示し、縦軸がR木のマージに必要な時間を示す。折れ線グラフにおいて上から下へそれぞれは、黄色折れ線が通常のR木のマージに必要な時間を示し、灰色折れ線が動的ヒルベルトR木のマージに必要な時間を示し、オレンジ色折れ線が静的ヒルベルトR木のマージに必要な時間を示し、青色折れ線が本発明に係る改良されたヒルベルトR木のマージに必要な時間を示す。図面から分かるように、動的ヒルベルトR木のマージ方式は通常のR木のマージ方式よりも優れ、本発明に係る改良されたヒルベルトR木のマージ方式は静的ヒルベルトR木のマージ方式よりも優れ、本発明に係る改良されたヒルベルトR木のマージ方式及び静的ヒルベルトR木のマージ方式に必要な時間は1つずつ挿入してマージするという2種類の方式よりも明らかに短い。
図5において、横軸は矩形の検索範囲を示し、経度と緯度を単位とし、縦軸はR木の磁気ディスクを読み取る回数を示し、単位が万ページである。R木のクエリにおいて、クエリ範囲がより狭い場合、クエリ速度がより速く、取得されたクエリ時間の誤差値がより大きい。磁気ディスクの読み書き速度が内部メモリの検索よりも遥かに大きいため、磁気ディスクページの読み取り回数で範囲クエリ時間を代替してもよく、本実験は磁気ディスクの読み取り回数をクエリ効率の比較根拠として用いる。図面において上から下へそれぞれは、通常のR木の空間クエリ効率の折れ線グラフ、動的ヒルベルトR木の空間クエリ効率の折れ線グラフ、本発明に係る改良されたヒルベルトR木の空間クエリ効率の折れ線グラフ及び静的ヒルベルトR木の空間クエリの折れ線グラフである。図面から分かるように、4種類のR木の空間クエリ効率は空間範囲の増加変化傾向に伴ってほぼ一致する。しかしながら、動的ヒルベルトR木のクエリ効率が通常のR木よりも優れたことは、ヒルベルトR木の空間集中性が通常のR木よりも高いことが説明される。一括マージアルゴリズムにより取得されたR木のクエリ効率は上記2種類のR木よりも明らかに高く、静的ヒルベルトR木の効率は本発明に係る改良されたヒルベルトR木よりも少々高い。しかしながら、本発明に係る改良されたヒルベルトR木はR木の平均クエリ効率よりも52%向上し、動的ヒルベルトR木の平均クエリ効率よりも41%向上し、静的ヒルベルトR木のクエリ効率よりも5%低下する。
また、他の実施例では、ヒルベルト曲線に基づくR木インデックスのマージ更新装置を更に提供することができ、
コンピュータプログラムを記憶するためのメモリと、
前記コンピュータプログラムを実行したとき、上記ヒルベルト曲線に基づくR木インデックスのマージ更新方法を実現するためのプロセッサと、を備える。
コンピュータプログラムを記憶するためのメモリと、
前記コンピュータプログラムを実行したとき、上記ヒルベルト曲線に基づくR木インデックスのマージ更新方法を実現するためのプロセッサと、を備える。
また、他の実施例では、コンピュータ読み取り可能な記憶媒体を更に提供することができ、該記憶媒体にコンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサにより実行されたとき、上記ヒルベルト曲線に基づくR木インデックスのマージ更新方法を実現することができる。
以上に記載された実施例は単に本発明の好適な解決手段であり、本発明を制限するためのものではない。当業者であれば、本発明の趣旨及び範囲を逸脱せずに、更に種々の変化及び変形を行うことができる。従って、等価置換又は等価変換の方式で取得された技術案は、いずれも本発明の保護範囲内に含まれる。
Claims (10)
- ヒルベルト曲線に基づくR木インデックスのマージ更新方法であって、以下のステップS1~ステップS4を含み、
前記ステップS1では、マージ対象の第1R木と、第1R木を挿入する第2R木とを取得し、第1R木の高さが第2R木の高さ以下であり、各本のR木において、各葉ノードの記憶情報が空間オブジェクトの最小外接矩形枠及びその主キーポインタを含み、各非葉ノードの記憶情報がすべての子ノードの最小外接矩形枠、すべての子ノードの主キーポインタセット、最小外接矩形枠におけるすべての空間オブジェクトの最大ヒルベルト値、及び最小外接矩形枠におけるすべての空間オブジェクトの最小ヒルベルト値を含み、
前記ステップS2では、各ノードに記憶されるヒルベルト値情報に基づいて、根ノード層から葉ノード層まで1層ずつクエリする順序に従って、第1R木の葉ノード層におけるマージされた各葉ノードの第2R木の葉ノード層での挿入対象ノードをクエリして取得し、
前記ステップS3では、第1R木における各葉ノードに対して、それに含まれる空間オブジェクトをヒルベルト値の順序に従って前記ステップS2において決定された挿入対象ノードに挿入して、2本のR木のマージを実現し、且つマージ過程において葉ノードの容量がオーバーフローした場合、第2R木に対してノード分割を行って、第1R木及び第2R木に含まれるすべての空間オブジェクトをヒルベルト値の順序に従って分割後の第2R木のすべての葉ノードに改めて割り当てる必要があり、
前記ステップS4では、第1R木とマージした後の第2R木に対して、葉ノードから根ノードまでの順序に従って各ノード中の記憶情報を1層ずつ更新する
ことを特徴とするヒルベルト曲線に基づくR木インデックスのマージ更新方法。 - 前記R木において、各空間オブジェクトのヒルベルト値は該空間オブジェクトの最小外接矩形枠の中心点の2次元座標のヒルベルト曲線上での1次元コード値である
ことを特徴とする請求項1に記載のヒルベルト曲線に基づくR木インデックスのマージ更新方法。 - 前記R木の構築過程は、以下のステップS11~ステップS13を含み、
前記ステップS11では、すべての空間オブジェクトをヒルベルト値に従って昇順に配列し、
前記ステップS12では、すべての空間オブジェクトを抽出してk個の葉ノードを取得してノードの構築順序に従って先入れ先出し待ち行列に加えるまで、R木の各ノードの容量cに基づいて、上位c個の空間オブジェクトを抽出して1つのR木の1番目の葉ノードに構築し、その次のc個の空間オブジェクトを抽出して次の葉ノードに構築するように繰り返し、
前記ステップS13では、葉ノードから根ノードまでの順序に従って非葉ノードを1層ずつ構築し、且つ各層の非葉ノードに対しては、先入れ先出し待ち行列におけるすべてのノードを抽出して現在の非葉ノード層を取得してその中のすべての非葉ノードをノードの構築順序に従って新たな先入れ先出し待ち行列に加えて次の層の非葉ノードの構築に用いるまで、その子ノード層の先入れ先出し待ち行列から上位c個のノードを抽出して1番目の非葉ノードに構築し、更に先入れ先出し待ち行列から上位c個のノードを抽出して次の非葉ノードに構築するように繰り返す
ことを特徴とする請求項1に記載のヒルベルト曲線に基づくR木インデックスのマージ更新方法。 - 前記ステップS2の具体的な実現方法は、以下のステップS21~ステップS25を含み、
前記ステップS21では、第1R木における現在の検索対象ノード層の階層nを1として設定し、第2R木における現在の検索対象ノード層の階層mを1として設定し、第1R木の高さがH1であり、第2R木の高さがH2であり、第1R木及び第2R木の第1層のノード層がいずれも根ノードであり、第2R木の根ノードが第1R木の根ノードに対応する挿入対象ノードとされ、
前記ステップS22では、第1R木における第n層のノードに対して、それぞれ各ノードxi nのすべての子ノードセットXi n+1を取得するとともに、第2R木からノードxi nに対応する挿入対象ノードのすべての子ノードセットYi n+1を取得し、セットXi n+1に含まれる各ノードxi n+1に対して、ノードxi n+1に記憶される最大ヒルベルト値maxLHVi及び最小ヒルベルト値minLHViに基づいて、セットYi n+1に含まれるすべてのノードから最大ヒルベルト値がminLHViよりも大きい1番目のノードのポインタAを検索し、且つセットYi n+1に含まれるすべてのノードから最大ヒルベルト値がmaxLHViよりも大きい1番目のノードのポインタBを検索し、セットYi n+1におけるポインタ値が[A,B]区間内にあるノードをノードxi nの挿入対象ノードとし、
前記ステップS23では、n及びmの値にそれぞれ1を加えてから前記ステップS22を繰り返し、
前記ステップS24では、n及びmの値がいずれもH1になるまで、前記ステップS23を繰り返し続けて、第1R木における各葉ノードの第2R木での対応する挿入対象ノードを取得し、
前記ステップS25では、判断過程を実行し続け、m<H2の場合、nの値が変化しないように維持し且つm値に1を加えてから前記ステップS22を繰り返し、m=H2になると、クエリが完了され、第1R木の葉ノード層におけるマージされた各葉ノードがいずれも第2R木の葉ノード層から対応する挿入対象ノードを見つけるようにする
ことを特徴とする請求項1に記載のヒルベルト曲線に基づくR木インデックスのマージ更新方法。 - 前記ステップS22において、セットYi n+1に含まれるすべてのノードからそれぞれバイナリ検索の方式でポインタA及びポインタBに対応するノードを検索する
ことを特徴とする請求項4に記載のヒルベルト曲線に基づくR木インデックスのマージ更新方法。 - 前記ステップS3において、2本のR木のマージ過程において葉ノードの容量がオーバーフローした場合、以下のステップS31~ステップS33によってオーバーフローに対してノード分割処理を行う必要があり、
前記ステップS31において、第1R木及び第2R木に含まれるすべての空間オブジェクトの総数の、第2R木のノード容量に対するオーバーフローオブジェクトの数を計算し、
前記ステップS32において、第2R木の葉ノードを分割して、すべてのオーバーフローオブジェクトを収容するための最少の追加の葉ノードを作成し、
前記ステップS33において、第1R木及び第2R木に含まれるすべての空間オブジェクトをヒルベルト値に従って昇順に配列し、次に第2R木の分割後の各葉ノードに順番に改めて割り当て、
前記ステップS34において、葉ノード層から根ノード層まで1層ずつ調整する順序に従って、第2R木の各層の非葉ノードに対してノード容量オーバーフロー判断を行い、1層の非葉ノードにノード容量オーバーフローが生じた場合、該層の非葉ノードに対してノード分割を行って、該層の非葉ノードのすべての子ノードを分割後の該層の非葉ノードに改めて割り当て、最終的に根ノードの調整を完了した後に第2R木のノード分割処理を完了する
ことを特徴とする請求項1に記載のヒルベルト曲線に基づくR木インデックスのマージ更新方法。 - 前記ステップS34において、根ノードにノード容量オーバーフローが生じた場合、根ノードを2つのノードに分割して、この2つのノードを子ノードとして1つの根ノードを改めて構築する
ことを特徴とする請求項6に記載のヒルベルト曲線に基づくR木インデックスのマージ更新方法。 - 前記ステップS3において、2本のR木をマージした後、各葉ノードにおける空間オブジェクトをヒルベルト値に従って昇順に配列する
ことを特徴とする請求項6に記載のヒルベルト曲線に基づくR木インデックスのマージ更新方法。 - ヒルベルト曲線に基づくR木インデックスのマージ更新装置であって、
コンピュータプログラムを記憶するためのメモリと、
前記コンピュータプログラムを実行したとき、請求項1~8のいずれか1項に記載のヒルベルト曲線に基づくR木インデックスのマージ更新方法を実現するためのプロセッサと、を備える
ことを特徴とするヒルベルト曲線に基づくR木インデックスのマージ更新装置。 - コンピュータ読み取り可能な記憶媒体であって、
コンピュータプログラムが記憶され、前記コンピュータプログラムがプロセッサにより実行されたとき、請求項1~8のいずれか1項に記載のヒルベルト曲線に基づくR木インデックスのマージ更新方法を実現する
ことを特徴とするコンピュータ読み取り可能な記憶媒体。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202011026535.8 | 2020-09-25 | ||
CN202011026535.8A CN112395288B (zh) | 2020-09-25 | 2020-09-25 | 基于希尔伯特曲线的r树索引合并更新方法、装置及介质 |
PCT/CN2020/121521 WO2022061995A1 (zh) | 2020-09-25 | 2020-10-16 | 基于希尔伯特曲线的r树索引合并更新方法、装置及介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
JP2023543004A true JP2023543004A (ja) | 2023-10-12 |
Family
ID=74596520
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2023519043A Pending JP2023543004A (ja) | 2020-09-25 | 2020-10-16 | ヒルベルト曲線に基づくr木インデックスのマージ更新方法、装置及び媒体 |
Country Status (4)
Country | Link |
---|---|
US (1) | US20230281182A1 (ja) |
JP (1) | JP2023543004A (ja) |
CN (1) | CN112395288B (ja) |
WO (1) | WO2022061995A1 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN113312312B (zh) * | 2021-06-08 | 2022-08-05 | 武汉理工大学 | 一种基于lsm高效查询流数据的分布式索引方法及系统 |
CN113704565B (zh) * | 2021-10-28 | 2022-02-18 | 浙江大学 | 基于全局区间误差的学习型时空索引方法、装置及介质 |
CN117271531B (zh) * | 2023-11-21 | 2024-02-23 | 苏州元脑智能科技有限公司 | 一种数据存储方法、系统、设备及介质 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN100418092C (zh) * | 2006-02-20 | 2008-09-10 | 南京联创科技股份有限公司 | 海量数据内存数据库中快速定位的网格+t树索引的方法 |
US9367938B2 (en) * | 2013-02-28 | 2016-06-14 | Nokia Technologies Oy | Method and apparatus for automated real-time detection of overlapping painted markup elements |
US10929501B2 (en) * | 2013-08-08 | 2021-02-23 | Sap Se | Managing and querying spatial point data in column stores |
CN103617162B (zh) * | 2013-10-14 | 2016-09-07 | 南京邮电大学 | 一种对等云平台上构建希尔伯特r树索引的方法 |
CN104408039B (zh) * | 2014-09-06 | 2017-09-08 | 东北大学 | 基于Hilbert曲线与R‑tree的HBase多维查询系统的构建及其查询方法 |
CN104731984B (zh) * | 2015-04-22 | 2019-01-22 | 山东理工大学 | 汽车轮毂表面样点r树上溢结点增量式聚类优化方法 |
CN104933189B (zh) * | 2015-07-08 | 2019-01-22 | 山东理工大学 | 基于结点中心漂移分裂的佛像表面采样数据r树优化方法 |
CN105828292A (zh) * | 2016-05-09 | 2016-08-03 | 青岛海信移动通信技术股份有限公司 | 一种基于地理围栏的位置检测方法及装置 |
CN109582677B (zh) * | 2018-12-03 | 2021-05-04 | 东北大学 | 基于孩子节点的多粒度分布式读写锁的r树索引优化方法 |
CN109978274A (zh) * | 2019-04-02 | 2019-07-05 | 海南阿凡题科技有限公司 | 调度路径的规划方法 |
CN110059067B (zh) * | 2019-04-04 | 2022-09-27 | 南京南瑞水利水电科技有限公司 | 一种水利空间矢量大数据存储管理方法 |
-
2020
- 2020-09-25 CN CN202011026535.8A patent/CN112395288B/zh active Active
- 2020-10-16 JP JP2023519043A patent/JP2023543004A/ja active Pending
- 2020-10-16 WO PCT/CN2020/121521 patent/WO2022061995A1/zh active Application Filing
-
2023
- 2023-03-17 US US18/185,410 patent/US20230281182A1/en active Pending
Also Published As
Publication number | Publication date |
---|---|
US20230281182A1 (en) | 2023-09-07 |
WO2022061995A1 (zh) | 2022-03-31 |
CN112395288B (zh) | 2022-07-12 |
CN112395288A (zh) | 2021-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP2023543004A (ja) | ヒルベルト曲線に基づくr木インデックスのマージ更新方法、装置及び媒体 | |
CN107423422B (zh) | 基于网格的空间数据分布式存储及检索方法和系统 | |
Procopiuc et al. | Bkd-tree: A dynamic scalable kd-tree | |
CN111291016B (zh) | 一种海量遥感影像数据分层混合存储与索引方法 | |
CN111427847B (zh) | 面向用户自定义元数据的索引与查询方法和系统 | |
CN104199986A (zh) | 基于hbase和geohash的矢量数据空间索引方法 | |
Zhang et al. | Hbasespatial: A scalable spatial data storage based on hbase | |
CN103577440A (zh) | 一种非关系型数据库中的数据处理方法和装置 | |
CN103714145A (zh) | 关系型和Key-Value型数据库空间数据索引方法 | |
Jing et al. | An improved distributed storage and query for remote sensing data | |
CN107273443B (zh) | 一种基于大数据模型元数据的混合索引方法 | |
KR102006283B1 (ko) | 패스트맵을 이용한 데이터셋의 m-트리 적재방법 | |
Roumelis et al. | Bulk-loading and bulk-insertion algorithms for xBR^+-trees xBR+-trees in Solid State Drives | |
JP6418658B2 (ja) | 情報処理装置、情報処理方法、及びプログラム | |
JP6006740B2 (ja) | インデックス管理装置 | |
CN105354310B (zh) | 基于MapReduce的地图瓦片存储布局优化方法 | |
CN112463904B (zh) | 一种分布式空间矢量数据与单点空间数据混合分析方法 | |
CN112817982B (zh) | 一种基于lsm树的动态幂律图存储方法 | |
CN109597865B (zh) | 基于嵌入式平台的海量地理信息数据的存储与检索方法 | |
CN112069135A (zh) | 一种海量地震数据可视化存储方法 | |
CN104809217B (zh) | 一种gis栅格数据云存储方法 | |
Mazumdar et al. | An index scheme for fast data stream to distributed append-only store | |
Li et al. | A hybrid structure of spatial index based on multi-grid and QR-tree | |
JPWO2016072249A1 (ja) | 情報処理装置、情報処理方法、及びコンピュータ読み取り可能な記録媒体 | |
CN107193487A (zh) | 一种随机访问识别方法及系统 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20230519 |