JP6251388B2 - KeyValueデータベースのデータテーブルを更新するための方法およびテーブルデータを更新するための装置 - Google Patents
KeyValueデータベースのデータテーブルを更新するための方法およびテーブルデータを更新するための装置 Download PDFInfo
- Publication number
- JP6251388B2 JP6251388B2 JP2016519954A JP2016519954A JP6251388B2 JP 6251388 B2 JP6251388 B2 JP 6251388B2 JP 2016519954 A JP2016519954 A JP 2016519954A JP 2016519954 A JP2016519954 A JP 2016519954A JP 6251388 B2 JP6251388 B2 JP 6251388B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- full
- row
- file
- update
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 88
- 238000012217 deletion Methods 0.000 claims description 258
- 230000037430 deletion Effects 0.000 claims description 258
- 230000008676 import Effects 0.000 claims description 75
- 238000004587 chromatography analysis Methods 0.000 description 12
- 230000008859 change Effects 0.000 description 10
- 239000003607 modifier Substances 0.000 description 9
- 238000005516 engineering process Methods 0.000 description 7
- 230000008569 process Effects 0.000 description 6
- 238000013500 data storage Methods 0.000 description 4
- 230000008878 coupling Effects 0.000 description 3
- 238000010168 coupling process Methods 0.000 description 3
- 238000005859 coupling reaction Methods 0.000 description 3
- 238000010586 diagram Methods 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 238000004891 communication Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000009286 beneficial effect Effects 0.000 description 1
- 230000006870 function Effects 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/16—File or folder operations, e.g. details of user interfaces specifically adapted to file systems
- G06F16/162—Delete operations
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Software Systems (AREA)
- Human Computer Interaction (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
フルデータ更新命令を受信するステップと、
フルデータ更新命令に従って、インポートされるべきデータを取得し、インポートされるべきデータに従って、フルデータ更新ファイルを生成するステップであって、フルデータ更新ファイルはP行の新しいデータを含み、新しいデータの各行は、1つの行キーとQ個の新しい列修飾子とを含み、各新しい列修飾子のデータ型はプット型であり、更新タイムスタンプが各新しい列修飾子に対して設定される、ステップと、
フルデータ更新命令に対応するデータテーブルにおけるM行の古いデータを取得するステップであって、古いデータの各行は、1つの行キーとN個の古い列修飾子とを含み、オリジナル・タイムスタンプが各古い列修飾子に対して設定される、ステップと、
M行の古いデータに従って、フルデータ削除ファイルを生成するステップであって、フルデータ削除ファイルはM行の削除データを含み、削除データの各行は古いデータの各行と一対一で対応し、削除データの各行のデータ型は削除型であり、削除タイムスタンプが削除データの各行に対して設定され、削除データのR番目の行の削除タイムスタンプは古いデータのR番目の行のオリジナル・タイムスタンプの最大値よりも大きく、削除データのR番目の行の削除タイムスタンプは新しいデータのS番目の行の更新タイムスタンプの最小値よりも小さく、削除データのR番目の行、古いデータのR番目の行および新しいデータのS番目の行は同じRowKeyを持ち、1 ≦ R ≦ M、且つ1 ≦ S ≦ Pである、ステップと、
フルデータ更新ファイルをデータテーブルにインポートするステップと、
フルデータ削除ファイルをデータテーブルにインポートするステップと
を含む。
各新しい列修飾子の更新タイムスタンプのモーメントは、フルデータ更新ファイルが生成されるモーメントであるとともに、削除データの各行の削除タイムスタンプのモーメントは、フルデータ削除ファイルが生成されるモーメントである。
フルデータ更新ファイルの保存パスをフルデータ更新命令に対応するデータテーブルのディレクトリに変更するステップ
を含む。
フルデータ削除ファイルをデータテーブルにインポートするステップは、
フルデータ削除ファイルの保存パスをフルデータ更新命令に対応するデータテーブルのディレクトリに変更するステップ
を含む。
フルデータ更新命令を受信するように構成された受信モジュールと、
フルデータ更新命令に従って、インポートされるべきデータを取得し、インポートされるべきデータに従って、フルデータ更新ファイルを生成するように構成されたファイル生成モジュールであって、フルデータ更新ファイルはP行の新しいデータを含み、新しいデータの各行は、1つの行キーとQ個の新しい列修飾子とを含み、各新しい列修飾子のデータ型はプット型であり、更新タイムスタンプが各新しい列修飾子に対して設定される、ファイル生成モジュールと、
フルデータ更新命令に対応するデータテーブルにおけるM行の古いデータを取得するように構成された取得モジュールであって、古いデータの各行は、1つの行キーとN個の古い列修飾子とを含み、オリジナル・タイムスタンプが各古い列修飾子に対して設定される、取得モジュールと、
フルデータ更新ファイルをデータテーブルにインポートするとともにフルデータ削除ファイルをデータテーブルにインポートするように構成されたインポートモジュールとを含み、
ファイル生成モジュールは、M行の古いデータに従って、フルデータ削除ファイルを生成するようにさらに構成され、フルデータ削除ファイルはM行の削除データを含み、削除データの各行は古いデータの各行と一対一で対応し、削除データの各行のデータ型はDelete型であり、削除タイムスタンプが削除データの各行に対して設定され、削除データのR番目の行の削除タイムスタンプは古いデータのR番目の行のオリジナル・タイムスタンプの最大値よりも大きく、削除データのR番目の行の削除タイムスタンプは新しいデータのS番目の行の更新タイムスタンプの最小値よりも小さく、削除データのR番目の行、古いデータのR番目の行および新しいデータのS番目の行は同じRowKeyを持ち、1 ≦ R ≦ M、且つ1 ≦ S ≦ Pである。
フルデータ更新命令を受信するステップと、
フルデータ更新命令に従って、インポートされるべきデータを取得し、インポートされるべきデータに従って、フルデータ更新ファイルを生成するステップであって、フルデータ更新ファイルはP行の新しいデータを含み、新しいデータの各行は、1つの行キーとQ個の新しい列修飾子とを含み、各新しい列修飾子のデータ型はプット型であり、更新タイムスタンプが各新しい列修飾子に対して設定される、ステップと、
フルデータ更新命令に対応するデータテーブルにおけるM行の古いデータを取得するステップであって、古いデータの各行は、1つの行キーとN個の古い列修飾子とを含み、オリジナル・タイムスタンプが各古い列修飾子に対して設定される、ステップと、
M行の古いデータに従って、フルデータ削除ファイルを生成するステップであって、フルデータ削除ファイルはM行の削除データを含み、削除データの各行は古いデータの各行と一対一で対応し、削除データの各行のデータ型はDelete型であり、削除タイムスタンプが削除データの各行に対して設定され、削除データのR番目の行の削除タイムスタンプは古いデータのR番目の行のオリジナル・タイムスタンプの最大値よりも大きく、削除データのR番目の行の削除タイムスタンプは新しいデータのS番目の行の更新タイムスタンプの最小値よりも小さく、削除データのR番目の行、古いデータのR番目の行および新しいデータのS番目の行は同じRowKeyを持ち、1 ≦ R ≦ M、且つ1 ≦ S ≦ Pである、ステップと、
フルデータ更新ファイルをデータテーブルにインポートするステップと、
フルデータ削除ファイルをデータテーブルにインポートするステップと
を実行するように構成される。
フルデータ更新ファイルの保存パスをフルデータ更新命令に対応するデータテーブルのディレクトリに変更するようにさらに構成される。
フルデータ削除ファイルの保存パスをフルデータ更新命令に対応するデータテーブルのディレクトリに変更するようにさらに構成される。
フルデータ更新命令を受信するステップと、
フルデータ更新命令に従って、インポートされるべきデータを取得し、インポートされるべきデータに従って、フルデータ更新ファイルを生成するステップであって、フルデータ更新ファイルはP行の新しいデータを含み、新しいデータの各行は、1つの行キーとQ個の新しい列修飾子とを含み、各新しい列修飾子のデータ型はプット型であり、更新タイムスタンプが各新しい列修飾子に対して設定される、ステップと、
フルデータ更新命令に対応するデータテーブルにおけるM行の古いデータを取得するステップであって、古いデータの各行は、1つの行キーとN個の古い列修飾子とを含み、オリジナル・タイムスタンプが各古い列修飾子に対して設定される、ステップと、
M行の古いデータに従って、フルデータ削除ファイルを生成するステップであって、フルデータ削除ファイルはM行の削除データを含み、削除データの各行は古いデータの各行と一対一で対応し、削除データの各行のデータ型は削除型であり、削除タイムスタンプが削除データの各行に対して設定され、削除データのR番目の行の削除タイムスタンプは古いデータのR番目の行のオリジナル・タイムスタンプの最大値よりも大きく、削除データのR番目の行の削除タイムスタンプは新しいデータのS番目の行の更新タイムスタンプの最小値よりも小さく、削除データのR番目の行、古いデータのR番目の行および新しいデータのS番目の行は同じRowKeyを持ち、1 ≦ R ≦ M、且つ1 ≦ S ≦ Pである、ステップと、
フルデータ更新ファイルとフルデータ削除ファイルとを結合してテーブルデータ更新ファイルにするステップと、
テーブルデータ更新ファイルをデータテーブルにインポートするステップと
を含む。
テーブルデータ更新ファイルの保存パスをフルデータ更新命令に対応するデータテーブルのディレクトリに変更するステップ
を含む。
フルデータ更新命令を受信するように構成された命令受信モジュールと、
フルデータ更新命令に従って、インポートされるべきデータを取得し、インポートされるべきデータに従って、フルデータ更新ファイルを生成するように構成されたファイル生成モジュールであって、フルデータ更新ファイルはP行の新しいデータを含み、新しいデータの各行は、1つの行キーとQ個の新しい列修飾子とを含み、各新しい列修飾子のデータ型はプット型であり、更新タイムスタンプが各新しい列修飾子に対して設定される、ファイル生成モジュールと、
フルデータ更新命令に対応するデータテーブルにおけるM行の古いデータを取得するように構成されたデータ取得モジュールであって、古いデータの各行は、1つの行キーとN個の古い列修飾子とを含み、オリジナル・タイムスタンプが各古い列修飾子に対して設定される、データ取得モジュールと、
フルデータ更新ファイルとフルデータ削除ファイルとを結合してテーブルデータ更新ファイルにするように構成されたファイル結合モジュールと、
テーブルデータ更新ファイルをデータテーブルにインポートするように構成されたファイル・インポート・モジュールとを含み、
ファイル生成モジュールは、M行の古いデータに従って、フルデータ削除ファイルを生成するようにさらに構成され、フルデータ削除ファイルはM行の削除データを含み、削除データの各行は古いデータの各行と一対一で対応し、削除データの各行のデータ型はDelete型であり、削除タイムスタンプが削除データの各行に対して設定され、削除データのR番目の行の削除タイムスタンプは古いデータのR番目の行のオリジナル・タイムスタンプの最大値よりも大きく、削除データのR番目の行の削除タイムスタンプは新しいデータのS番目の行の更新タイムスタンプの最小値よりも小さく、削除データのR番目の行、古いデータのR番目の行および新しいデータのS番目の行は同じRowKeyを持ち、1 ≦ R ≦ M、且つ1 ≦ S ≦ Pである。
テーブルデータ更新ファイルの保存パスをフルデータ更新命令に対応するデータテーブルのディレクトリに変更するように構成される。
フルデータ更新命令を受信するステップと、
フルデータ更新命令に従って、インポートされるべきデータを取得し、インポートされるべきデータに従って、フルデータ更新ファイルを生成するステップであって、フルデータ更新ファイルはP行の新しいデータを含み、新しいデータの各行は、1つの行キーとQ個の新しい列修飾子とを含み、各新しい列修飾子のデータ型はプット型であり、更新タイムスタンプが各新しい列修飾子に対して設定される、ステップと、
フルデータ更新命令に対応するデータテーブルにおけるM行の古いデータを取得するステップであって、古いデータの各行は、1つの行キーとN個の古い列修飾子とを含み、オリジナル・タイムスタンプが各古い列修飾子に対して設定される、ステップと、
M行の古いデータに従って、フルデータ削除ファイルを生成するステップであって、フルデータ削除ファイルはM行の削除データを含み、削除データの各行は古いデータの各行と一対一で対応し、削除データの各行のデータ型はDelete型であり、削除タイムスタンプが削除データの各行に対して設定され、削除データのR番目の行の削除タイムスタンプは古いデータのR番目の行のオリジナル・タイムスタンプの最大値よりも大きく、削除データのR番目の行の削除タイムスタンプは新しいデータのS番目の行の更新タイムスタンプの最小値よりも小さく、削除データのR番目の行、古いデータのR番目の行および新しいデータのS番目の行は同じRowKeyを持ち、1 ≦ R ≦ M、且つ1 ≦ S ≦ Pである、ステップと、
フルデータ更新ファイルとフルデータ削除ファイルとを結合してテーブルデータ更新ファイルにするステップと、
テーブルデータ更新ファイルをデータテーブルにインポートするステップと
を実行するように構成される。
テーブルデータ更新ファイルの保存パスをフルデータ更新命令に対応するデータテーブルのディレクトリに変更するようにさらに構成される。
101.フルデータ更新命令を受信する。
201. フルデータ更新命令を受信する。
受信モジュール301はフルデータ更新命令を受信するように構成される。
フルデータ更新命令を受信するステップと、
フルデータ更新命令に従って、インポートされるべきデータを取得し、インポートされるべきデータに従って、フルデータ更新ファイルを生成するステップであって、フルデータ更新ファイルはP行の新しいデータを含み、新しいデータの各行は、1つの行キーとQ個の新しい列修飾子とを含み、各新しい列修飾子のデータ型はプット型であり、更新タイムスタンプが各新しい列修飾子に対して設定される、ステップと、
フルデータ更新命令に対応するデータテーブルにおけるM行の古いデータを取得するステップであって、古いデータの各行は、1つの行キーとN個の古い列修飾子とを含み、オリジナル・タイムスタンプが各古い列修飾子に対して設定される、ステップと、
M行の古いデータに従って、フルデータ削除ファイルを生成するステップであって、フルデータ削除ファイルはM行の削除データを含み、削除データの各行は古いデータの各行と一対一で対応し、削除データの各行のデータ型はDelete型であり、削除タイムスタンプが削除データの各行に対して設定され、削除データのR番目の行の削除タイムスタンプは古いデータのR番目の行のオリジナル・タイムスタンプの最大値よりも大きく、削除データのR番目の行の削除タイムスタンプは新しいデータのS番目の行の更新タイムスタンプの最小値よりも小さく、削除データのR番目の行、古いデータのR番目の行および新しいデータのS番目の行は同じRowKeyを持ち、1 ≦ R ≦ M、且つ1 ≦ S ≦ Pである、ステップと、
フルデータ更新ファイルをデータテーブルにインポートするステップと、
フルデータ削除ファイルをデータテーブルにインポートするステップと
を実行するように構成される。
フルデータ更新ファイルの保存パスをフルデータ更新命令に対応するデータテーブルのディレクトリに変更するステップ
を実行するようにさらに構成される。
フルデータ削除ファイルの保存パスをフルデータ更新命令に対応するデータテーブルのディレクトリに変更するステップ
を実行するようにさらに構成される。
501. フルデータ更新命令を受信する。
命令受信モジュール601は、フルデータ更新命令を受信するように構成される。
ファイル生成モジュール602は、フルデータ更新命令に従って、インポートされるべきデータを取得し、インポートされるべきデータに従って、フルデータ更新ファイルを生成するように構成される。
データ取得モジュール603は、フルデータ更新命令に対応するデータテーブルにおけるM行の古いデータを取得するように構成される。
ファイル生成モジュール602は、M行の古いデータに従って、フルデータ削除ファイルを生成するようにさらに構成される。
モジュール601から603は基本的にモジュール301から303と同じであり、詳細はここでは説明されない。
フルデータ更新命令を受信するステップと、
フルデータ更新命令に従って、インポートされるべきデータを取得し、インポートされるべきデータに従って、フルデータ更新ファイルを生成するステップであって、フルデータ更新ファイルはP行の新しいデータを含み、新しいデータの各行は、1つの行キーとQ個の新しい列修飾子とを含み、各新しい列修飾子のデータ型はプット型であり、更新タイムスタンプが各新しい列修飾子に対して設定される、ステップと、
フルデータ更新命令に対応するデータテーブルにおけるM行の古いデータを取得するステップであって、古いデータの各行は、1つの行キーとN個の古い列修飾子とを含み、オリジナル・タイムスタンプが各古い列修飾子に対して設定される、ステップと、
M行の古いデータに従って、フルデータ削除ファイルを生成するステップであって、フルデータ削除ファイルはM行の削除データを含み、削除データの各行は古いデータの各行と一対一で対応し、削除データの各行のデータ型はDelete型であり、削除タイムスタンプが削除データの各行に対して設定され、削除データのR番目の行の削除タイムスタンプは古いデータのR番目の行のオリジナル・タイムスタンプの最大値よりも大きく、削除データのR番目の行の削除タイムスタンプは新しいデータのS番目の行の更新タイムスタンプの最小値よりも小さく、削除データのR番目の行、古いデータのR番目の行および新しいデータのS番目の行は同じRowKeyを持ち、1 ≦ R ≦ M、且つ1 ≦ S ≦ Pである、ステップと、
フルデータ更新ファイルとフルデータ削除ファイルとを結合してテーブルデータ更新ファイルにするステップと、
テーブルデータ更新ファイルをデータテーブルにインポートするステップと
を実行するように構成される。
テーブルデータ更新ファイルの保存パスをフルデータ更新命令に対応するデータテーブルのディレクトリに変更するステップ
を実行するようにさらに構成される。
302 ファイル生成モジュール
303 取得モジュール
304 インポートモジュール
400 テーブルデータを更新するための装置
401 入力装置
402 出力装置
403 プロセッサ
404 メモリ
601 命令受信モジュール
602 ファイル生成モジュール
603 データ取得モジュール
604 ファイル結合モジュール
605 ファイル・インポート・モジュール
Claims (14)
- プロセッサによって、KeyValueデータベースのデータテーブルを更新するための方法であって、
フルデータ更新命令を受信するステップであって、前記フルデータ更新命令は、前記KeyValueデータベースにおける指定されたデータテーブルのテーブルデータを完全に更新するように命令するために使用され、且つ、前記フルデータ更新命令は、フルデータ更新ファイルの保存パスを含む、ステップと、
前記フルデータ更新命令に従って、インポートされるべきデータを取得し、前記インポートされるべきデータに従って、フルデータ更新ファイルを生成するステップであって、前記フルデータ更新ファイルは、前記フルデータ更新命令で指定された、前記フルデータ更新ファイルの前記保存パスに保存され、前記フルデータ更新ファイルはP行の新しいデータを有し、新しいデータの各行は、1つの行キーとQ個の新しい列修飾子とを有し、各新しい列修飾子のデータ型はプット型であり、更新タイムスタンプが各新しい列修飾子に対して設定される、ステップと、
前記フルデータ更新命令に対応する前記データテーブルにおけるM行の古いデータを取得するステップであって、古いデータの各行は、1つの行キーとN個の古い列修飾子とを有し、オリジナル・タイムスタンプが各古い列修飾子に対して設定される、ステップと、
前記M行の古いデータに従って、フルデータ削除ファイルを生成するステップであって、前記フルデータ削除ファイルはM行の削除データを有し、削除データの各行は古いデータの各行と一対一で対応し、削除データの各行のデータ型は削除型であり、削除タイムスタンプが削除データの各行に対して設定され、削除データのR番目の行の削除タイムスタンプは古いデータの前記R番目の行のオリジナル・タイムスタンプの最大値よりも大きく、削除データの前記R番目の行の前記削除タイムスタンプは新しいデータのS番目の行の更新タイムスタンプの最小値よりも小さく、削除データの前記R番目の行、古いデータの前記R番目の行および新しいデータの前記S番目の行は同じRowKeyを持ち、1 ≦ R ≦ M、且つ1 ≦ S ≦ Pである、ステップと、
前記フルデータ更新ファイルの前記保存パスを前記フルデータ更新命令に対応する前記データテーブルのディレクトリに変更することによって、前記フルデータ更新ファイルを前記データテーブルにインポートするステップと、
前記フルデータ削除ファイルを前記データテーブルにインポートするステップと
を有する、KeyValueデータベースのデータテーブルを更新するための方法。 - フルデータ削除ファイルを生成する前記ステップが最初に実行され、次いで、フルデータ更新ファイルを生成する前記ステップが実行され、
各新しい列修飾子の前記更新タイムスタンプの時点は、前記フルデータ更新ファイルが生成される時点であるとともに、削除データの各行の前記削除タイムスタンプの時点は、前記フルデータ削除ファイルが生成される時点である、請求項1に記載のKeyValueデータベースのデータテーブルを更新するための方法。 - 前記フルデータ更新ファイルを前記データテーブルにインポートする前記ステップが最初に実行され、次いで、前記フルデータ削除ファイルを前記データテーブルにインポートする前記ステップが実行される、請求項1または2に記載のKeyValueデータベースのデータテーブルを更新するための方法。
- 前記フルデータ削除ファイルを前記データテーブルにインポートする前記ステップは、
前記フルデータ削除ファイルの保存パスを前記フルデータ更新命令に対応する前記データテーブルのディレクトリに変更するステップ
を有する、請求項1乃至3のいずれか1項に記載のKeyValueデータベースのデータテーブルを更新するための方法。 - テーブルデータを更新するための装置であって、
フルデータ更新命令を受信するように構成された受信モジュールであって、前記フルデータ更新命令は、KeyValueデータベースにおける指定されたデータテーブルのテーブルデータを完全に更新するように命令するために使用され、且つ、前記フルデータ更新命令は、フルデータ更新ファイルの保存パスを含む受信モジュールと、
前記フルデータ更新命令に従って、インポートされるべきデータを取得し、前記インポートされるべきデータに従って、フルデータ更新ファイルを生成するように構成されたファイル生成モジュールであって、前記フルデータ更新ファイルは、前記フルデータ更新命令で指定された、前記フルデータ更新ファイルの前記保存パスに保存され、前記フルデータ更新ファイルはP行の新しいデータを有し、新しいデータの各行は、1つの行キーとQ個の新しい列修飾子とを有し、各新しい列修飾子のデータ型はプット型であり、更新タイムスタンプが各新しい列修飾子に対して設定される、ファイル生成モジュールと、
前記フルデータ更新命令に対応する前記データテーブルにおけるM行の古いデータを取得するように構成された取得モジュールであって、古いデータの各行は、1つの行キーとN個の古い列修飾子とを有し、オリジナル・タイムスタンプが各古い列修飾子に対して設定される、取得モジュールと、
前記フルデータ更新ファイルの前記保存パスを前記フルデータ更新命令に対応する前記データテーブルのディレクトリに変更することによって、前記フルデータ更新ファイルを前記データテーブルにインポートするとともにフルデータ削除ファイルを前記データテーブルにインポートするように構成されたインポートモジュールとを有し、
前記ファイル生成モジュールは、前記M行の古いデータに従って、前記フルデータ削除ファイルを生成するようにさらに構成され、前記フルデータ削除ファイルはM行の削除データを有し、削除データの各行は古いデータの各行と一対一で対応し、削除データの各行のデータ型はDelete型であり、削除タイムスタンプが削除データの各行に対して設定され、削除データのR番目の行の削除タイムスタンプは古いデータの前記R番目の行のオリジナル・タイムスタンプの最大値よりも大きく、削除データの前記R番目の行の前記削除タイムスタンプは新しいデータのS番目の行の更新タイムスタンプの最小値よりも小さく、削除データの前記R番目の行、古いデータの前記R番目の行および新しいデータの前記S番目の行は同じRowKeyを持ち、1 ≦ R ≦ M、且つ1 ≦ S ≦ Pである、テーブルデータを更新するための装置。 - 前記ファイル生成モジュールは最初に前記フルデータ削除ファイルを生成し、次いで、前記フルデータ更新ファイルを生成し、且つ、前記フルデータ更新ファイルが生成される時点を各新しい列修飾子の前記更新タイムスタンプとして設定するとともに、前記フルデータ削除ファイルが生成される時点を削除データの各行の前記削除タイムスタンプとして設定する、請求項5に記載のテーブルデータを更新するための装置。
- 前記インポートモジュールは最初に前記フルデータ更新ファイルを前記データテーブルにインポートし、次いで、前記フルデータ削除ファイルを前記データテーブルにインポートする、請求項5または6に記載のテーブルデータを更新するための装置。
- 前記インポートモジュールは、前記フルデータ削除ファイルの保存パスを前記フルデータ更新命令に対応する前記データテーブルのディレクトリに変更する方法を使用することによって、前記フルデータ削除ファイルを前記データテーブルにインポートする、請求項5乃至7のいずれか1項に記載のテーブルデータを更新するための装置。
- プロセッサによって、KeyValueデータベースのデータテーブルを更新するための方法であって、
フルデータ更新命令を受信するステップであって、前記フルデータ更新命令は、前記KeyValueデータベースにおける指定されたデータテーブルのテーブルデータを完全に更新するように命令するために使用される、ステップと、
前記フルデータ更新命令に従って、インポートされるべきデータを取得し、前記インポートされるべきデータに従って、フルデータ更新ファイルを生成するステップであって、前記フルデータ更新ファイルはP行の新しいデータを有し、新しいデータの各行は、1つの行キーとQ個の新しい列修飾子とを有し、各新しい列修飾子のデータ型はプット型であり、更新タイムスタンプが各新しい列修飾子に対して設定される、ステップと、
前記フルデータ更新命令に対応する前記データテーブルにおけるM行の古いデータを取得するステップであって、古いデータの各行は、1つの行キーとN個の古い列修飾子とを有し、オリジナル・タイムスタンプが各古い列修飾子に対して設定される、ステップと、
前記M行の古いデータに従って、フルデータ削除ファイルを生成するステップであって、前記フルデータ削除ファイルはM行の削除データを有し、削除データの各行は古いデータの各行と一対一で対応し、削除データの各行のデータ型は削除型であり、削除タイムスタンプが削除データの各行に対して設定され、削除データのR番目の行の削除タイムスタンプは古いデータの前記R番目の行のオリジナル・タイムスタンプの最大値よりも大きく、削除データの前記R番目の行の前記削除タイムスタンプは新しいデータのS番目の行の更新タイムスタンプの最小値よりも小さく、削除データの前記R番目の行、古いデータの前記R番目の行および新しいデータの前記S番目の行は同じRowKeyを持ち、1 ≦ R ≦ M、且つ1 ≦ S ≦ Pである、ステップと、
前記フルデータ更新ファイルと前記フルデータ削除ファイルとを結合してテーブルデータ更新ファイルにするステップと、
前記テーブルデータ更新ファイルの保存パスを前記フルデータ更新命令に対応する前記データテーブルのディレクトリに変更することによって、前記テーブルデータ更新ファイルを前記データテーブルにインポートするステップと
を有する、KeyValueデータベースのデータテーブルを更新するための方法。 - テーブルデータを更新するための装置であって、
フルデータ更新命令を受信するように構成された命令受信モジュールであって、前記フルデータ更新命令は、KeyValueデータベースにおける指定されたデータテーブルのテーブルデータを完全に更新するように命令するために使用される、命令受信モジュールと、
前記フルデータ更新命令に従って、インポートされるべきデータを取得し、前記インポートされるべきデータに従って、フルデータ更新ファイルを生成するように構成されたファイル生成モジュールであって、前記フルデータ更新ファイルはP行の新しいデータを有し、新しいデータの各行は、1つの行キーとQ個の新しい列修飾子とを有し、各新しい列修飾子のデータ型はプット型であり、更新タイムスタンプが各新しい列修飾子に対して設定される、ファイル生成モジュールと、
前記フルデータ更新命令に対応する前記データテーブルにおけるM行の古いデータを取得するように構成されたデータ取得モジュールであって、古いデータの各行は、1つの行キーとN個の古い列修飾子とを有し、オリジナル・タイムスタンプが各古い列修飾子に対して設定される、データ取得モジュールと、
前記フルデータ更新ファイルとフルデータ削除ファイルとを結合してテーブルデータ更新ファイルにするように構成されたファイル結合モジュールと、
前記テーブルデータ更新ファイルの保存パスを前記フルデータ更新命令に対応する前記データテーブルのディレクトリに変更することによって、前記テーブルデータ更新ファイルを前記データテーブルにインポートするように構成されたファイル・インポート・モジュールとを有し、
前記ファイル生成モジュールは、前記M行の古いデータに従って、前記フルデータ削除ファイルを生成するようにさらに構成され、前記フルデータ削除ファイルはM行の削除データを有し、削除データの各行は古いデータの各行と一対一で対応し、削除データの各行のデータ型はDelete型であり、削除タイムスタンプが削除データの各行に対して設定され、削除データのR番目の行の削除タイムスタンプは古いデータの前記R番目の行のオリジナル・タイムスタンプの最大値よりも大きく、削除データの前記R番目の行の前記削除タイムスタンプは新しいデータのS番目の行の更新タイムスタンプの最小値よりも小さく、削除データの前記R番目の行、古いデータの前記R番目の行および新しいデータの前記S番目の行は同じRowKeyを持ち、1 ≦ R ≦ M、且つ1 ≦ S ≦ Pである、テーブルデータを更新するための装置。 - その上に記録されるプログラムを有するコンピュータ可読記憶媒体であって、前記プログラムは、コンピュータに請求項1乃至4のいずれか1項の方法を実行させる、コンピュータ可読記憶媒体。
- その上に記録されるプログラムを有するコンピュータ可読記憶媒体であって、前記プログラムは、コンピュータに請求項9の方法を実行させる、コンピュータ可読記憶媒体。
- プロセッサおよびメモリを含む、テーブルデータを更新するための装置であって、前記メモリに記憶された操作命令を呼び出すことによって、前記プロセッサは、請求項1乃至4のいずれか1項の前記方法を実行する、装置。
- プロセッサおよびメモリを含む、テーブルデータを更新するための装置であって、前記メモリに記憶された操作命令を呼び出すことによって、前記プロセッサは、請求項9の前記方法を実行する、装置。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN2014090934 | 2014-11-12 | ||
CNPCT/CN2014/090934 | 2014-11-12 | ||
PCT/CN2015/073211 WO2016074370A1 (zh) | 2014-11-12 | 2015-02-17 | 一种KeyValue数据库的数据表的更新方法与表数据更新装置 |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017224417A Division JP6521402B2 (ja) | 2014-11-12 | 2017-11-22 | KeyValueデータベースのデータテーブルを更新するための方法およびテーブルデータを更新するための装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2017500622A JP2017500622A (ja) | 2017-01-05 |
JP6251388B2 true JP6251388B2 (ja) | 2017-12-20 |
Family
ID=55953654
Family Applications (2)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2016519954A Active JP6251388B2 (ja) | 2014-11-12 | 2015-02-17 | KeyValueデータベースのデータテーブルを更新するための方法およびテーブルデータを更新するための装置 |
JP2017224417A Active JP6521402B2 (ja) | 2014-11-12 | 2017-11-22 | KeyValueデータベースのデータテーブルを更新するための方法およびテーブルデータを更新するための装置 |
Family Applications After (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2017224417A Active JP6521402B2 (ja) | 2014-11-12 | 2017-11-22 | KeyValueデータベースのデータテーブルを更新するための方法およびテーブルデータを更新するための装置 |
Country Status (6)
Country | Link |
---|---|
US (1) | US10467192B2 (ja) |
EP (1) | EP3051440B1 (ja) |
JP (2) | JP6251388B2 (ja) |
CN (2) | CN105900093B (ja) |
AU (1) | AU2015316450B2 (ja) |
WO (1) | WO2016074370A1 (ja) |
Families Citing this family (10)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10366083B2 (en) | 2015-07-29 | 2019-07-30 | Oracle International Corporation | Materializing internal computations in-memory to improve query performance |
US10204135B2 (en) * | 2015-07-29 | 2019-02-12 | Oracle International Corporation | Materializing expressions within in-memory virtual column units to accelerate analytic queries |
US10671641B1 (en) * | 2016-04-25 | 2020-06-02 | Gravic, Inc. | Method and computer program product for efficiently loading and synchronizing column-oriented databases |
CN109960212B (zh) * | 2017-12-25 | 2020-07-31 | 北京京东乾石科技有限公司 | 任务发送方法和装置 |
US11226955B2 (en) | 2018-06-28 | 2022-01-18 | Oracle International Corporation | Techniques for enabling and integrating in-memory semi-structured data and text document searches with in-memory columnar query processing |
CN108920725B (zh) * | 2018-08-02 | 2020-08-04 | 网宿科技股份有限公司 | 一种对象存储的方法及对象存储网关 |
CN109471866B (zh) * | 2018-11-09 | 2021-10-22 | 南京医渡云医学技术有限公司 | 增量医疗数据更新方法及系统 |
CN109582726B (zh) * | 2018-12-18 | 2021-09-07 | 网易(杭州)网络有限公司 | 数据表的处理方法和装置 |
CN109688266B (zh) * | 2018-12-21 | 2020-12-18 | 北京金山安全软件有限公司 | 铃声设置方法、装置和电子设备 |
US11507590B2 (en) | 2019-09-13 | 2022-11-22 | Oracle International Corporation | Techniques for in-memory spatial object filtering |
Family Cites Families (24)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6959301B2 (en) | 2001-01-04 | 2005-10-25 | Reuters Limited | Maintaining and reconstructing the history of database content modified by a series of events |
US6665654B2 (en) * | 2001-07-03 | 2003-12-16 | International Business Machines Corporation | Changing table records in a database management system |
US6792429B2 (en) * | 2001-12-19 | 2004-09-14 | Hewlett-Packard Development Company, L.P. | Method for fault tolerant modification of data representation in a large database |
US7149736B2 (en) * | 2003-09-26 | 2006-12-12 | Microsoft Corporation | Maintaining time-sorted aggregation records representing aggregations of values from multiple database records using multiple partitions |
US7624119B2 (en) * | 2004-02-11 | 2009-11-24 | International Business Machines Corporation | Low-overhead built-in timestamp column for relational database systems |
US8533169B1 (en) * | 2005-09-21 | 2013-09-10 | Infoblox Inc. | Transactional replication |
US7769732B2 (en) * | 2007-08-27 | 2010-08-03 | International Business Machines Corporation | Apparatus and method for streamlining index updates in a shared-nothing architecture |
US20090083503A1 (en) * | 2007-09-20 | 2009-03-26 | Inventec Corporation | System of creating logical volume and method thereof |
CN101127915B (zh) | 2007-09-20 | 2011-04-20 | 中兴通讯股份有限公司 | 一种基于增量式的电子节目导航数据同步方法及系统 |
JP5448428B2 (ja) * | 2008-11-27 | 2014-03-19 | 三菱電機株式会社 | データ管理システム及びデータ管理方法及びデータ管理プログラム |
US8918380B2 (en) * | 2009-07-09 | 2014-12-23 | Norsync Technology As | Methods, systems and devices for performing incremental updates of partial databases |
EP2302534B1 (en) * | 2009-09-18 | 2017-12-13 | Software AG | Method for mass-deleting data records of a database system |
US8825601B2 (en) * | 2010-02-01 | 2014-09-02 | Microsoft Corporation | Logical data backup and rollback using incremental capture in a distributed database |
US20120284317A1 (en) * | 2011-04-26 | 2012-11-08 | Dalton Michael W | Scalable Distributed Metadata File System using Key-Value Stores |
CN102279885A (zh) | 2011-08-16 | 2011-12-14 | 中兴通讯股份有限公司 | 内存数据库对数据的操作方法及装置 |
US8751525B2 (en) * | 2011-12-23 | 2014-06-10 | Sap Ag | Time slider operator for temporal data aggregation |
CN103473239B (zh) | 2012-06-08 | 2016-12-21 | 腾讯科技(深圳)有限公司 | 一种非关系型数据库数据更新方法和装置 |
US20150286671A1 (en) | 2012-10-29 | 2015-10-08 | Nec Corporation | Transaction system |
CN103002011B (zh) | 2012-10-29 | 2016-06-29 | 北京奇虎科技有限公司 | 基于服务器的数据更新方法和服务器 |
US9449039B2 (en) * | 2012-11-26 | 2016-09-20 | Amazon Technologies, Inc. | Automatic repair of corrupted blocks in a database |
WO2014141594A1 (ja) * | 2013-03-15 | 2014-09-18 | 日本電気株式会社 | 計算機システム |
CN103595776A (zh) * | 2013-11-05 | 2014-02-19 | 福建网龙计算机网络信息技术有限公司 | 分布式缓存方法及系统 |
CN103617232B (zh) * | 2013-11-26 | 2018-03-30 | 北京京东尚科信息技术有限公司 | 一种针对HBase表的分页查询方法 |
CN103714163B (zh) * | 2013-12-30 | 2017-02-15 | 中国科学院信息工程研究所 | 一种NoSQL数据库的模式管理方法及系统 |
-
2015
- 2015-02-17 JP JP2016519954A patent/JP6251388B2/ja active Active
- 2015-02-17 EP EP15832861.7A patent/EP3051440B1/en active Active
- 2015-02-17 CN CN201580000911.7A patent/CN105900093B/zh active Active
- 2015-02-17 WO PCT/CN2015/073211 patent/WO2016074370A1/zh active Application Filing
- 2015-02-17 AU AU2015316450A patent/AU2015316450B2/en active Active
- 2015-02-17 CN CN201710767670.XA patent/CN107977396B/zh active Active
-
2016
- 2016-02-26 US US15/054,475 patent/US10467192B2/en active Active
-
2017
- 2017-11-22 JP JP2017224417A patent/JP6521402B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP6521402B2 (ja) | 2019-05-29 |
CN105900093B (zh) | 2018-02-02 |
US10467192B2 (en) | 2019-11-05 |
EP3051440A1 (en) | 2016-08-03 |
EP3051440B1 (en) | 2019-01-02 |
CN107977396A (zh) | 2018-05-01 |
JP2018049656A (ja) | 2018-03-29 |
WO2016074370A1 (zh) | 2016-05-19 |
JP2017500622A (ja) | 2017-01-05 |
AU2015316450B2 (en) | 2016-11-03 |
EP3051440A4 (en) | 2016-12-28 |
CN105900093A (zh) | 2016-08-24 |
CN107977396B (zh) | 2021-07-20 |
US20160179836A1 (en) | 2016-06-23 |
AU2015316450A1 (en) | 2016-05-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6251388B2 (ja) | KeyValueデータベースのデータテーブルを更新するための方法およびテーブルデータを更新するための装置 | |
CN105243067B (zh) | 一种实现实时增量同步数据的方法及装置 | |
CN108509462B (zh) | 一种同步活动事务表的方法及装置 | |
CN109144785B (zh) | 用于备份数据的方法和装置 | |
US20190045008A1 (en) | Systems and methods for generating, deploying, and managing data infrastructure stacks | |
CN113204598B (zh) | 一种数据同步方法、系统及存储介质 | |
US10545988B2 (en) | System and method for data synchronization using revision control | |
US20170060922A1 (en) | Method and device for data search | |
EP2842034A1 (en) | Providing client and service compatibility through cloud-hosted adapters | |
CN111858760A (zh) | 一种异构数据库的数据处理方法及装置 | |
JP2024026143A (ja) | 最終的に一貫性のあるデータベース複製への切り替え | |
US20180121532A1 (en) | Data table partitioning management method and apparatus | |
CN111046106A (zh) | 缓存数据同步方法、装置、设备及介质 | |
CN110489483B (zh) | 数据同步方法、装置、计算机设备以及存储介质 | |
US10534756B1 (en) | Systems and methods for cross-referencing electronic documents on distributed storage servers | |
CN113268483B (zh) | 请求处理方法和装置、电子设备和存储介质 | |
US11789971B1 (en) | Adding replicas to a multi-leader replica group for a data set | |
CA2922388C (en) | Method and apparatus for updating data table of keyvalue database | |
CN108573042B (zh) | 报表同步方法、电子设备及计算机可读存储介质 | |
CN112527900A (zh) | 一种数据库读多副本一致性的方法、装置、设备及介质 | |
CN111966650A (zh) | 一种运维大数据共享数据表的处理方法、装置及存储介质 | |
CN108595552B (zh) | 数据立方体发布方法、装置、电子设备和存储介质 | |
CN108073584B (zh) | 一种数据处理方法及服务器 | |
CN117390078B (zh) | 数据处理方法、装置、存储介质和计算机设备 | |
US11334455B2 (en) | Systems and methods for repairing a data store of a mirror node |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A871 | Explanation of circumstances concerning accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A871 Effective date: 20170113 |
|
A975 | Report on accelerated examination |
Free format text: JAPANESE INTERMEDIATE CODE: A971005 Effective date: 20170228 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20170411 |
|
A601 | Written request for extension of time |
Free format text: JAPANESE INTERMEDIATE CODE: A601 Effective date: 20170711 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20170719 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20171024 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20171124 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6251388 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |