JP5798248B2 - 規模変更可能なデータ記憶サービスを実装するためのシステムおよび方法 - Google Patents
規模変更可能なデータ記憶サービスを実装するためのシステムおよび方法 Download PDFInfo
- Publication number
- JP5798248B2 JP5798248B2 JP2014518955A JP2014518955A JP5798248B2 JP 5798248 B2 JP5798248 B2 JP 5798248B2 JP 2014518955 A JP2014518955 A JP 2014518955A JP 2014518955 A JP2014518955 A JP 2014518955A JP 5798248 B2 JP5798248 B2 JP 5798248B2
- Authority
- JP
- Japan
- Prior art keywords
- items
- request
- attribute
- resizable
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 196
- 238000013500 data storage Methods 0.000 title claims description 182
- 238000005192 partition Methods 0.000 claims description 288
- 230000004044 response Effects 0.000 claims description 205
- 238000000638 solvent extraction Methods 0.000 claims description 48
- 230000008569 process Effects 0.000 claims description 37
- 230000008685 targeting Effects 0.000 claims description 17
- 230000003247 decreasing effect Effects 0.000 claims description 10
- 230000000977 initiatory effect Effects 0.000 claims description 10
- 230000008859 change Effects 0.000 claims description 7
- 238000001514 detection method Methods 0.000 claims description 7
- 230000011218 segmentation Effects 0.000 claims description 5
- 238000004513 sizing Methods 0.000 claims description 5
- 230000005856 abnormality Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 44
- 230000009471 action Effects 0.000 description 42
- 239000002131 composite material Substances 0.000 description 32
- 238000007726 management method Methods 0.000 description 31
- 239000008186 active pharmaceutical agent Substances 0.000 description 19
- 230000007246 mechanism Effects 0.000 description 19
- 230000010076 replication Effects 0.000 description 16
- 230000004048 modification Effects 0.000 description 13
- 238000012986 modification Methods 0.000 description 13
- 241000208818 Helianthus Species 0.000 description 8
- 235000003222 Helianthus annuus Nutrition 0.000 description 8
- 238000013499 data model Methods 0.000 description 8
- 238000013507 mapping Methods 0.000 description 8
- 238000004891 communication Methods 0.000 description 7
- 230000002829 reductive effect Effects 0.000 description 7
- 241000207840 Jasminum Species 0.000 description 6
- 235000010254 Jasminum officinale Nutrition 0.000 description 6
- 238000011084 recovery Methods 0.000 description 6
- 230000009172 bursting Effects 0.000 description 5
- 230000006870 function Effects 0.000 description 5
- 230000007423 decrease Effects 0.000 description 4
- 230000000694 effects Effects 0.000 description 4
- 230000002093 peripheral effect Effects 0.000 description 4
- 241001417527 Pempheridae Species 0.000 description 3
- 230000002159 abnormal effect Effects 0.000 description 3
- 230000000737 periodic effect Effects 0.000 description 3
- 238000012545 processing Methods 0.000 description 3
- 241000219745 Lupinus Species 0.000 description 2
- 238000012217 deletion Methods 0.000 description 2
- 230000037430 deletion Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 239000000835 fiber Substances 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 238000012423 maintenance Methods 0.000 description 2
- 238000005259 measurement Methods 0.000 description 2
- 230000005012 migration Effects 0.000 description 2
- 238000013508 migration Methods 0.000 description 2
- 238000012544 monitoring process Methods 0.000 description 2
- 230000006855 networking Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000000644 propagated effect Effects 0.000 description 2
- 238000010200 validation analysis Methods 0.000 description 2
- 244000230712 Narcissus tazetta Species 0.000 description 1
- 230000003466 anti-cipated effect Effects 0.000 description 1
- 230000003416 augmentation Effects 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000008901 benefit Effects 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000013480 data collection Methods 0.000 description 1
- 238000011156 evaluation Methods 0.000 description 1
- 230000003993 interaction Effects 0.000 description 1
- 230000000670 limiting effect Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 230000036961 partial effect Effects 0.000 description 1
- 230000002085 persistent effect Effects 0.000 description 1
- 229920001690 polydopamine Polymers 0.000 description 1
- 230000002265 prevention Effects 0.000 description 1
- 230000035755 proliferation Effects 0.000 description 1
- 230000001902 propagating effect Effects 0.000 description 1
- 230000009467 reduction Effects 0.000 description 1
- 230000008439 repair process Effects 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 238000012546 transfer Methods 0.000 description 1
- 230000001960 triggered effect Effects 0.000 description 1
- 238000013024 troubleshooting Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/27—Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor
- G06F16/278—Data partitioning, e.g. horizontal or vertical partitioning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/215—Improving data quality; Data cleansing, e.g. de-duplication, removing invalid entries or correcting typographical errors
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/21—Design, administration or maintenance of databases
- G06F16/217—Database tuning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2228—Indexing structures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
- G06F16/2282—Tablespace storage structures; Management thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/252—Integrating or interfacing systems involving database management systems between a Database Management System and a front-end application
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/02—Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1097—Protocols in which an application is distributed across nodes in the network for distributed storage of data in networks, e.g. transport arrangements for network file system [NFS], storage area networks [SAN] or network attached storage [NAS]
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/50—Network services
- H04L67/56—Provisioning of proxy services
- H04L67/561—Adding application-functional data or data for application control, e.g. adding metadata
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0844—Multiple simultaneous or quasi-simultaneous cache accessing
- G06F12/0846—Cache with multiple tag or data arrays being simultaneously accessible
- G06F12/0848—Partitioned cache, e.g. separate instruction and operand caches
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/964—Database arrangement
- Y10S707/966—Distributed
- Y10S707/967—Peer-to-peer
- Y10S707/968—Partitioning
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10—TECHNICAL SUBJECTS COVERED BY FORMER USPC
- Y10S—TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y10S707/00—Data processing: database and file management or data structures
- Y10S707/964—Database arrangement
- Y10S707/966—Distributed
- Y10S707/971—Federated
- Y10S707/972—Partitioning
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- General Physics & Mathematics (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Software Systems (AREA)
- Computer Networks & Wireless Communication (AREA)
- Signal Processing (AREA)
- Computing Systems (AREA)
- Quality & Reliability (AREA)
- Library & Information Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
ScalarType:={N|S}
MultiValuedType:={NS|SS}
Number_format=[+|−][{integer}][{.Integer}]
{“my−string−attr”:{“S”:“my−string−value”}} # String type
{“my−number−attr”:{“N”:123456.7}} # Number type
{“Size”:{“SS”:[“XL”,“L”,“M”,“S”]} # String set
{“SingleDigitPrimes”:{“NS”:[2,3,5,7]} # Number set
{
“PictureId”:{“S”:“picture123”},
“CustomerId”:{“N”:1234567},
“Title”:{“S”:“sun flower”},
“Tags”:{“SS”:[“flower”,“seattle”]}
}
・ハッシュ−ハッシュは、文字列または数字であってもよい。単純一次キーは、文字列または数字であり得る、ハッシュインデックスである、1つのインデックス値を有してもよい。
・範囲−範囲は、文字列または数字であってもよい。範囲は、データクエリが範囲に基づいて結果を精緻化することができるように、テーブルアイテムが選別されることを可能にしてもよい。複合一次キーは、ハッシュインデックス(本明細書ではハッシュキー値と呼ばれることもある)および範囲インデックス(本明細書では範囲キー値と呼ばれることもある)といった、インデックスの2つの値を含有してもよい。
・テーブルを作成または削除する
・一次キーおよび作成情報を含む、1つまたは複数のテーブルの現在の状態を要求する
・テーブルの中にアイテムを入れる(記憶する)
・一次キーを介して1つ以上のアイテム(および/またはそれらの属性)を入手する(読み出す)
・テーブルからアイテムを削除する
・単一のアイテムにおける属性を更新する
・範囲インデックスおよび比較演算子を使用して、アイテムについて問い合わせる
・テーブル全体にわたってスキャンし、随意に、比較演算子を使用して返されるアイテムにフィルタをかける
Creating−テーブルが作成されている
Active−テーブルが存在する
Deleting−テーブルが削除されている
要求形式例:
{
CreateTable{
“TableName”:“Pictures”,
“KeySchema”:[
{
“Name”:“FolderID”,
“IndexType”:“HASH”,
“DataType”:“S”
},
{
“Name”:“DateCreated”,
“IndexType”:“RANGE”,
“DataType”:“N”
}
]
}
}
応答形式例:
{
“TableName”:“Pictures”,
“TableStatus”:“Creating”,
“KeySchema”:[
{“Name”=“ImageID”,
“IndexType”=HASH,
“DataType”=“N”
}
],
“DateCreated”:“20100101T05:05:05Z”
}
・Tablesテーブル:このテーブルは、テーブルの現在の状態(例えば、Creating、Active、Deleting等)とともに、あらゆるテーブルのリストを本システムの中で維持してもよい。このテーブルの一次キーは、いくつかの実施形態では、SubscriberId属性(代わりにテーブルが維持されるであろう、ユーザを識別するために使用され得る)、およびTableName属性(作成されるであろうテーブルの名前を特定し得る)を含んでもよい。入力が新しいテーブルのために作成されるとき、テーブル状態は、テーブルが作成のために容認されているが、テーブルを作成するようにワークフローがまだ呼び出されていないことを示し得る、「Creation Pending」に設定されてもよい。
・Subscribersテーブル:このテーブルは、単一のクライアント(すなわち、ユーザ/加入者またはクライアントアプリケーション)の代わりに維持されているテーブルの総数のカウントを維持してもよく、また、アイテムのうちのいくつが、Active、Creating、および/またはDeletingという状態のそれぞれにあるかを示してもよい。このテーブルの一次キーは、いくつかの実施形態では、上記で説明されるようなSubscriberId属性を含んでもよい。いくつかの実施形態では、このテーブルは、Tablesテーブルに対する二次インデックスとして扱われてもよい。テーブルの総数のカウントおよび/またはCreating状態のテーブルの数のカウントは、CreateTableワークフローの起動に応答して増分されてもよい。
・Partitionsテーブル:このテーブルは、特定のテーブルに対する全ての区分のリストを維持してもよく、かつそれらの場所を示してもよい。このテーブルの一次キーは、いくつかの実施形態では、TableId属性およびPartitionId属性とを含んでもよい。
・Nodesテーブル:このテーブルは、ノードのリストを維持してもよく、かつそれらのそれぞれの上でホストされる区分を示してもよい。このテーブルの一次キーは、いくつかの実施形態では、NodeId属性を含んでもよい。いくつかの実施形態では、このテーブルは、Partitionsテーブルに対する二次インデックスとして扱われてもよい。
CreateTable(‘Merchandise’,array(
‘HashKeyElement’=>array(
‘AttributeName’=>‘ID’,
‘AttributeType’=>NUMBER
)));
CreateTable(‘Merchandise’,array(
‘HashKeyElement’=>array(
‘AttributeName’=>‘ID’,
‘AttributeType’=>NUMBER
),
‘RangeKeyElement’=>array(
‘AttributeName’=>‘song’,
‘AttributeType’=>STRING
)
));
//Poll and sleep until the table is ready,
do{
sleep(3);
status=DescribeTables (array(
‘TableNames’=>‘Merchandise’
));
status=status−>body−>Tables−>to_array();
}
while(status[0][‘TableStatus’]!==‘ACTIVE’);
要求形式例:
{
DeleteTable{
“TableName”:“Pictures”
}
}
応答形式例:
{
“TableName”:“Pictures”,
“TableStatus”:“Deleting”,
“KeySchema”:[
{“Name”=“ImageID”,
“IndexType”=HASH,
“DataType”=“N”
}
],
“DateCreated”:“20100101T05:05:05Z”
}
要求形式例:
{
DescribeTables{
“TableNames”:[]
}
}
応答形式例:
{“Tables”:[{
“TableName”:“Pictures”,
“TableStatus”:“Deleting”,
“KeySchema”:[
{“Name”=“ImageID”,
“IndexType”=HASH,
“DataType”=“N”
}
],
“DateCreated”:“20100101T05:05:05Z”}]
}
要求形式例:
{
PutItem{
“TableName”:“Pictures”,
“Item”:{
“PictureId”:{“S”:“pic123”},
“Title”:{“S”:“Sun Flower”},
“Tags”:{“SS”:[“Flower”,“Sun”]}
}
“Expected”:{
“Tags”:{“Exists”:false}},
}
“ReturnValues”:“All_Old”
}
}
応答形式例:
{
“Attributes”:{
“PictureId”:{“S”:“pic123”},
“Title”:{“S”:“Sun Flower”}
}
}
PutItem(‘my−table 2’,array(
‘ID’=>array(NUMBER=>1), //Primary Key
‘Category’=>array(STRING=>‘Clothes’),
‘Subcategory’=>array(STRING=>‘Sweater’),
‘Color’=>array(STRING=>‘Blue’),
‘Size’=>array(ARRAY_OF_STRINGS=>array(‘Medium’,‘Large’)),
));
PutItem(‘my−table2’,array(
‘ID’=>array(NUMBER=>1), //Primary Key
‘Category’=>array(STRING=>‘Tools’),
‘Subcategory’=>array(STRING=>‘Shovel’),
),array(
‘ReturnValues’=>All_Old));
要求形式例:
{
DeleteItem:{
“TableName”:“Pictures”,
“Key”:[l,“picture−id”],
“Expected”:{
“Title”:{“AttributeValue”:{“S”:“flower”}}
}
}
}
応答形式例:
{
“Attributes”:{
“CustomerId”:{“N”:1},
“PictureId”:{“S”:“picture−id”},
“Title”:{“S”:“flower”}
}
}
要求形式例:
{
GetItems{
“TableName”:“Pictures”,
“Keys”:[[“image123”],[“image456”],[“image789”]],
“AttributesToGet”:[“ImageID”,“Title”,“Tags”],
“ConsistentRead”:true
}
応答形式例:
{
“Items”:[
{“ImageId”:{“S”:“image123”},“Title”:{“S”:“sun flower”},“Tags”:{“SS”:[“flower”]}},
{“ImageId”:{“S”:“image456”},“Title”:{“S”:“jasmine flower”},“Tags”:{“SS”:[“flower”,“jasmine”]}}
]
}
要求形式例:
{
UpdateItem{
“TableName”:“Pictures”,
“Key”:[1,2009−12−12T10:30:30Z],
“AttributeUpdates”:{
“Title”:{“AttributeValue”:{“S”:“Sun Flower”},“Action”:“PUT”}
“Tags”:{“AttributeValue”:{“S”:[“Flower”,“Sun”]},“Action”:“ADD”}
},
“Expected”:{
“Title”:{“AttributeValue”:{“S”:“flower”}},
“Rating”:{“Exists”:false}
},
“ReturnValues”:“UPDATED_NEW”
}
}
応答形式例:
{
“Attributes”:{
“Title”:{“S”:“Sun Flower”}
“Tags”:{“S”:“Flower”,“Sun”},
}
}
要求形式例:
{
Query{
“TableName”:“Pictures”,
“QueryFilter”:{
“CustomerId”:(“AttributeValues”:[{“S”:“12345678”}],
“ComparisonOperator”:“EQ”},
“Ratings”:{“AttributeValues”:[{“S”:“***”},{“S”:“****”}
“ComparisonOperator”:“BETWEEN”}}
}
}
}
応答形式例:
{
“Items”:[{“CustomerId”:{“S”:“12345678”},
“Title”:{“S”:“sun flower”},
“DateCreated”:{“S”:“20100205T00:00:00Z”},
“Ratings”:{“S”:“***”}},
{“CustomerId”:{“S”:“12345678”},
“Title”:{“S”:“jasmine”},
“DateCreated”:{“D”:“20100206T00:00:00Z”},
“Ratings”:(“S”:“****”}},
{“CustomerId”:{“S”:“12345678”},
“Title”:{“S”:“lupine”},
“DateCreated”:{“D”:“20100301T00:00:00Z”},
“Ratings”:{“S”:“***”}}
],
“Count”:3,
“LastEvaluatedKey”:[{“S”:“12345678”},{“S”:“***”}]
}
results=Query(‘hashrange−table’,array(NUMBER=>2),array(
‘RangeKeyCondition’=>array(
‘ComparisonOperator’=>BEGINS_WITH,
‘AttributeValueList’=>array(array(STRING=>“The”))
)
));
//first query
results=query(‘hashrange−table’,array(NUMBER=>1),array(‘Limit’=>2));
//retrieve the LastEvaluatedKey
lastEvaluatedKey=results−>body−>LastEvaluatedKey;
//create ExclusiveStartKey
exclusiveStartKey=array(‘HashKeyElement’=>array(NUMBER=>
(int)lastEvaluatedKey−>HashKeyElement−>N),
‘RangeKeyElement’=>array(STRING=>
(string)lastEvaluatedKey−>RangeKeyElement−>S)
);
//perform another query providing the LastEvaluatedKey as the ExclusiveStartKey
//for the second query
results=query(‘hashrange−table’,
array(NUMBER=>1),
array(‘Limit’=>2,
‘ExclusiveStartKey’=>ExclusiveStartKey)
);
要求形式例:
{
“TableName”:“Pictures”,
“AttributesToGet”:[“Title”,“DateCreated”],
“MaxItemsToScan”:1000,
“Filter”:{
“DateCreated”:{“AttributeValues”:[{“S”:“2009−12−12T10:30:30Z”}],
“ComparisonOperator”:“GT”},
“Rating”:{“AttributeValues”:[{“S”:“*”},{“S”:“*****”}],
“ComparisonOperator”:“IN”}
}
}
}
応答形式例:
{
“Items“:[
{“Title”:{“S”:“sun flower”},“DateCreated”:{“S”:“20100205T00:00:00Z”}},
{“Title”:{“S”:“jasmine”},“DateCreated”:{“S”:“20100206T00:00:00Z”}},
{“Title”:{“S”:“lupine”},“DateCreated”:{“D”:“20100301T00:00:00Z”}},
],
],
“Count”:3,
“ScannedCount”:200,
“LastEvaluatedKey”:[{“S”:“some−customer”},{“S”:“Daffodils”}]
}
Scan(‘my−table’,array(
‘AttributesToGet’=>‘ID’
)
);
Scan(‘my−table’,array(
‘AttributesToGet’=>‘ID’,
‘ScanFilter’=>array(//WHERE
‘ID’=>array(
‘ComparisonOperator’=>LESS_THAN,
‘AttributeValueList’=>array(
array(NUMBER=>10)
)
)
)
);
・InvalidParameterValue
・MissingParameterValue
・InternalFailure
・ServiceUnavailable
付記1.
データ記憶サービスを集合的に実装する、それぞれ、少なくとも1つのプロセッサと、メモリとを備える、複数のコンピューティングノードを備え、
前記複数のコンピューティングノードは、
それを通してサービス要求が受信される、ウェブサービスインターフェースを提供し、処理するためにサービス要求を解析および発送するように構成される、フロントエンドモジュールと、
システム内のリソースを割り付けるように、前記システムの状態を監視するように、およびサービス要求が果たされている間に前記システムにおいて体験される異常を検出するように構成される、管理構成要素と、
非リレーショナルデータ記憶部を集合的に実装する、複数の記憶ノードと、
を備え、
前記フロントエンドモジュールが記憶サービスクライアントの代わりにテーブルを作成するサービス要求を受信することに応答して、前記サービス要求は、前記テーブルの中に記憶されたアイテムを区分してインデックス作成する、テーブル名および一次キーを特定し、
前記フロントエンドモジュールは、前記サービス要求を前記複数の記憶ノードのうちの1つに発送するように構成され、
前記サービス要求の受信に応答して、前記複数の記憶ノードのうちの前記1つは、前記非リレーショナルデータ記憶部の中で規模変更可能なテーブルを作成するように構成され、前記規模変更可能なテーブルは、それぞれが前記一次キーの値を含む、複数のアイテムを記憶するように構成され、前記規模変更可能なテーブルは、所定のサイズ制限を持たず、
前記規模変更可能なテーブルが作成された後、前記管理構成要素は、前記システムにおける異常の検出に応答して、あるいは前記規模変更可能なテーブルの中のアイテムを記憶する、読み出す、修正する、または削除する1つ以上のサービス要求の受信に応答して、プログラムで前記規模変更可能なテーブルをサイズ決定または区分させるように構成される、
システム。
付記2.
前記規模変更可能なテーブルを作成することは、非同期テーブル作成ワークフローの実施を開始することを含み、
前記データ記憶サービスによって維持される1つ以上のテーブルを記述するサービス要求の受信に応答して、前記非リレーショナルデータ記憶部は、前記1つ以上のテーブルに関する情報を返すように構成され、前記1つ以上のテーブルに関する前記情報は、前記非同期テーブル作成ワークフローによって前記規模変更可能なテーブルの作成が成功したかどうかを示す情報を含む、
付記1に記載のシステム。
付記3.
前記規模変更可能なテーブルの中に複数のアイテムを記憶する1つ以上のサービス要求の受信に応答して、前記管理構成要素は、
前記複数のアイテムを、前記規模変更可能なテーブルの単一の区分の中に記憶することができるかどうかを判定し、
前記複数のアイテムを前記規模変更可能なテーブルの単一の区分の中に記憶することができないという判定に応答して、前記規模変更可能なテーブルをプログラムで区分することを行うように構成される、
付記1に記載のシステム。
付記4.
前記一次キーは、ハッシュキー属性として指定される単一の属性を備え、
前記規模変更可能なテーブルを区分することは、それらのそれぞれのハッシュキー属性値のハッシュに依存して、前記規模変更可能なテーブルの中の前記アイテムを2つ以上の区分に分割することを含む、
付記1に記載のシステム。
付記5.
テーブルを作成する前記サービス要求はさらに、1つ以上のユーザ選好の指示を備え、前記1つ以上のユーザ選好は、好ましいサービス要求スループットレベル、または保証が要求されるサービス要求スループットレベルを備え、
前記管理構成要素は、前記ユーザ選好のうちの1つ以上が満たされていないという検出に応答して、プログラムで前記規模変更可能なテーブルをサイズ決定または区分させるように構成される、
付記1に記載のシステム。
付記6. プログラムで前記規模変更可能なテーブルを区分させることは、前記フロントエンドモジュールが、前記規模変更可能なテーブルの中のアイテム、前記規模変更可能なテーブルの特定の区分の中のアイテム、または前記規模変更可能なテーブルの中の前記アイテムの少なくともサブセットと同一のコンピューティングノード上に記憶されたアイテムを標的にする、増加する数の要求を受信することに応答して行われる、付記1に記載のシステム。
付記7.
コンピュータによって、
要求が、テーブルの識別子、および前記テーブルの中に記憶されたアイテムにインデックス作成する一次キーを特定する、非リレーショナルデータ記憶部の中で前記テーブルを作成する要求を受信することと、
前記受信に応答して、
規模変更可能なテーブルが、それぞれが前記一次キーの値を含む、複数のアイテムを記憶するように構成され、前記規模変更可能なテーブルが、所定のサイズ制限を持たない、前記非リレーショナルデータ記憶部の中で前記規模変更可能なテーブルを作成することと、
前記規模変更可能なテーブルにアクセスする1つ以上の要求の受信に応答して、前記規模変更可能なテーブルのサイズ決定または区分化のうちの少なくとも1つをプログラムで行うことと、
を含む、方法。
付記8. 前記規模変更可能なテーブルにアクセスする前記1つ以上の要求は、前記規模変更可能なテーブルの中のアイテムを記憶する、読み出す、修正する、または削除する1つ以上の要求を含む、付記7に記載の方法。
付記9. 前記規模変更可能なテーブルを作成することは、
前記複数のコンピューティングノードのうちの1つ以上の状態を反映する情報を収集することと、
前記収集された情報に依存して、前記規模変更可能なテーブルを作成する1つ以上のコンピューティングノードを判定することと、
を含む、付記7に記載の方法。
付記10. 前記規模変更可能なテーブルを作成することは、非同期テーブル作成ワークフローの実施を開始することを含み、
前記方法はさらに、
前記非リレーショナルデータ記憶部の中で維持された1つ以上のテーブルを記述する要求を受信することと、
1つ以上のテーブルを記述する前記要求の受信に応答して、1つ以上のテーブルに関する情報が、前記非同期テーブル作成ワークフローによって前記規模変更可能なテーブルの作成が成功したかどうかを示す情報を含む、前記1つ以上のテーブルに関する前記情報を返すことと、
を含む、付記7に記載の方法。
付記11. 前記規模変更可能なテーブルの中に複数のアイテムを記憶する1つ以上の要求を受信することと、
前記1つ以上の要求の受信に応答して、
前記複数のアイテムを、前記規模変更可能なテーブルの単一の区分の中に記憶することができるかどうかを判定することと、
前記複数のアイテムを前記規模変更可能なテーブルの単一の区分の中に記憶することができないという判定に応答して、前記規模変更可能なテーブルをプログラムで区分することを行うことと、
をさらに含む、付記7に記載の方法。
付記12. 前記一次キーは、ハッシュキー属性として指定される単一の属性を備え、
前記規模変更可能なテーブルの中に記憶された前記アイテムのそれぞれは、前記ハッシュキー属性のそれぞれの値を備え、
前記規模変更可能なテーブルをプログラムで区分することは、それらのそれぞれのハッシュキー属性値のハッシュに依存して、前記規模変更可能なテーブルの中の前記アイテムを2つ以上の区分に分割することを含む、
付記7に記載の方法。
付記13. 前記一次キーは、ハッシュキー属性として指定される属性と、範囲キー属性として指定される別の属性とを備え、
前記規模変更可能なテーブルの中に記憶された前記アイテムのそれぞれは、前記ハッシュキー属性のそれぞれの値と、前記範囲キー属性のそれぞれの値とを備え、
前記範囲キー属性値は、同一のハッシュキー属性値を有する前記規模変更可能なテーブルの中の全てのアイテムの中から、特定のアイテムを一意的に識別し、前記同一のハッシュキーを有する前記アイテムは、それらのそれぞれの範囲キー属性値に従って順序付けられ、
前記規模変更可能なテーブルをプログラムで区分することは、それらのそれぞれの範囲キー属性値に依存して、同一のハッシュキー属性値を有する前記規模変更可能なテーブルの中のアイテムを2つ以上の区分に分割することを含む、
付記7に記載の方法。
付記14. 前記規模変更可能なテーブルをプログラムで区分することは、前記規模変更可能なテーブルを2つ以上の区分に分割することと、複数のコンピューティングノードのうちの異なるものの上に、前記2つの区分のそれぞれを記憶することとを含む、付記7に記載の方法。
付記15. 前記規模変更可能なテーブルをプログラムで区分することは、区分の1つ以上の複製が要求を受け入れて処理し続けている間に、前記規模変更可能なテーブルの前記区分を移動させること、または分割することを含む、付記7に記載の方法。
付記16. 前記規模変更可能なテーブルをプログラムで区分することは、前記規模変更可能なテーブルの中のアイテム、前記規模変更可能なテーブルの特定の区分の中のアイテム、または前記規模変更可能なテーブルの中の前記アイテムの少なくともサブセットと同一のコンピューティングノード上に記憶されたアイテムを標的にする、増加する数の要求の受信に応答して、あるいは、前記規模変更可能なテーブルの中のアイテム、前記規模変更可能なテーブルの特定の区分の中のアイテム、または前記規模変更可能なテーブルの中の前記アイテムの少なくともサブセットと同一のコンピューティングノード上に記憶されたアイテムを標的にする、減少する数の要求の受信に応答して行われる、付記7に記載の方法。
付記17. テーブルを作成する前記要求はさらに、1つ以上のユーザ選好の指示を備え、前記1つ以上のユーザ選好は、好ましいサービス要求スループットレベル、または保証が要求されるサービス要求スループットレベルを備え、
前記規模変更可能なテーブルのサイズ決定または区分化のうちの少なくとも1つをプログラムで行うことは、前記ユーザ選好のうちの1つ以上が満たされていないという検出に応答して行われる、
付記7に記載の方法。
付記18.
要求が、好ましい一貫性モデルの指示を含む、前記規模変更可能なテーブルから1つ以上のアイテムを読み出す要求を受信することと、
前記1つ以上のアイテムを読み出す前記要求の受信に応答して、前記好ましい一貫性モデルと一致する方式で前記1つ以上のアイテムを返すことと、
をさらに含む、付記7に記載の方法。
付記19. 前記作成することは、
前記規模変更可能なテーブルと関連付けられるメタデータを生成することと、
前記非リレーショナルデータ記憶部内の別の規模変更可能なテーブルの中に前記メタデータを記憶することと、
を含む、付記7に記載の方法。
付記20. 1つ以上のコンピュータ上で実行されたときに、前記1つ以上のコンピュータに、
サービス要求が、テーブルの識別子、および前記テーブルの中に記憶されたアイテムにインデックス作成する一次キーを特定する、記憶サービスクライアントの代わりに前記テーブルを作成するサービス要求を受信することと、
前記受信に応答して、
前記規模変更可能なテーブルが、それぞれが前記一次キーの値を含む、複数のアイテムを記憶するように構成され、前記規模変更可能なテーブルが、所定のサイズ制限を持たない、非リレーショナルデータ記憶部の中で前記規模変更可能なテーブルを作成することと、
前記規模変更可能なテーブルの中に複数のアイテムを記憶する1つ以上のサービス要求の受信に応答して、
前記複数のアイテムを、前記規模変更可能なテーブルの単一の区分の中に記憶することができるかどうかを判定することと、
前記複数のアイテムを前記規模変更可能なテーブルの単一の区分の中に記憶することができないという判定に応答して、前記規模変更可能なテーブルを区分することと、
を行わせる、プログラム命令を記憶する、非一過性のコンピュータ可読媒体。
付記21. 前記1つ以上のコンピュータ上で実行されたとき、前記プログラム命令はさらに、前記1つ以上のコンピュータに、
前記規模変更可能なテーブルを区分した後、前記規模変更可能なテーブルの中のアイテムを記憶する、読み出す、修正する、または削除する1つ以上のサービス要求の受信に応答して、前記規模変更可能なテーブルのサイズ決定または再区分化のうちの少なくとも1つを行うことを行わせる、
付記20に記載の記憶媒体。
付記22. 前記規模変更可能なテーブルの前記再区分化は、前記規模変更可能なテーブルの中のアイテム、前記規模変更可能なテーブルの特定の区分の中のアイテム、または前記規模変更可能なテーブルの中の前記アイテムの少なくともサブセットと同一のコンピューティングノード上に記憶されたアイテムを標的にする、増加する数の要求の受信に応答して、あるいは、前記規模変更可能なテーブルの中のアイテム、前記規模変更可能なテーブルの特定の区分の中のアイテム、または前記規模変更可能なテーブルの中の前記アイテムの少なくともサブセットと同一のコンピューティングノード上に記憶されたアイテムを標的にする、減少する数の要求の受信に応答して行われる、付記21に記載の記憶媒体。
付記23. 前記規模変更可能なテーブルを作成することは、
前記複数のコンピューティングノードのうちの1つ以上の状態を反映する情報を収集することと、
前記収集された情報に依存して、前記規模変更可能なテーブルを作成する1つ以上のコンピューティングノードを判定することと、
前記1つ以上のコンピューティングノードのそれぞれの上に前記規模変更可能なテーブルの少なくともサブセットを記憶するためのそれぞれの区分を作成することと、
を含む、付記20に記載の記憶媒体。
付記24.
前記規模変更可能なテーブルを作成することは、非同期テーブル作成ワークフローの実施を開始することを含み、
前記非リレーショナルデータ記憶部の中で維持された1つ以上のテーブルを記述するサービス要求の受信に応答して、前記プログラム命令はさらに、前記1つ以上のコンピュータに、前記1つ以上のテーブルに関する情報を返すことを行わせ、前記1つ以上のテーブルに関する前記情報は、前記非同期テーブル作成ワークフローによって前記規模変更可能なテーブルの作成が成功したかどうかを示す情報を含む、
付記20に記載の記憶媒体。
付記25.
前記一次キーは、ハッシュキー属性として指定される単一の属性を備え、
前記規模変更可能なテーブルの中に記憶された前記アイテムのそれぞれは、前記ハッシュキー属性のそれぞれの値を備え、
前記規模変更可能なテーブルを区分することは、それらのそれぞれのハッシュキー属性値のハッシュに依存して、前記規模変更可能なテーブルの中の前記アイテムを2つ以上の区分に分割することを含む、
付記20に記載の記憶媒体。
付記26. 前記規模変更可能なテーブルを区分することは、前記規模変更可能なテーブルを2つ以上の区分に分割することと、複数のコンピューティングノードのうちの異なるものの上に、前記2つ以上の区分のそれぞれを記憶することとを含む、付記20に記載の記憶媒体。
付記27.
前記一次キーは、ハッシュキー属性として指定される属性と、範囲キー属性として指定される別の属性とを備え、
前記規模変更可能なテーブルの中に記憶された前記アイテムのそれぞれは、前記ハッシュキー属性のそれぞれの値と、前記範囲キー属性のそれぞれの値とを備え、
前記範囲キー属性値は、同一のハッシュキー属性値を有する前記規模変更可能なテーブルの中の全てのアイテムの中から、特定のアイテムを一意的に識別し、前記同一のハッシュキーを有する前記アイテムは、それらのそれぞれの範囲キー属性値に従って順序付けられ、
前記規模変更可能なテーブルを区分することは、それらのそれぞれの範囲キー属性値に依存して、同一のハッシュキー属性値を有する前記規模変更可能なテーブルの中のアイテムを2つ以上の区分に分割することを含む、
付記20に記載の記憶媒体。
付記28.
それぞれ、少なくとも1つのプロセッサと、メモリとを備える、複数のコンピューティングノードを備える、システムであって、前記複数のコンピューティングノードは、データ記憶サービスを実装するように構成され、
記憶サービスクライアントの代わりにテーブルを作成するサービス要求の受信に応答して、前記サービス要求は、前記テーブルの識別子、および前記テーブルの中に記憶されたアイテムにインデックス作成する一次キーを特定し、前記データ記憶サービスは、非リレーショナルデータ記憶部の中で規模変更可能なテーブルを作成するように構成され、
前記規模変更可能なテーブルは、それぞれが前記一次キーの値を含む、複数のアイテムを記憶するように構成され、
前記規模変更可能なテーブルは、所定のサイズ制限を持たず、
前記規模変更可能なテーブルを作成することは、非同期テーブル作成ワークフローの実施を開始することを含む、
システム。
付記29.
前記データ記憶サービスによって維持された1つ以上のテーブルを記述するサービス要求の受信に応答して、前記データ記憶サービスは、前記1つ以上のテーブルに関する情報を返すように構成され、
前記1つ以上のテーブルに関する前記情報は、前記非同期テーブル作成ワークフローによって前記規模変更可能なテーブルの作成が成功したかどうかを示す情報を含む、
付記28に記載のシステム。
付記30. 前記データ記憶サービスはさらに、前記規模変更可能なテーブルの中のアイテムを記憶する、読み出す、修正する、または削除する1つ以上のサービス要求の受信に応答して、前記規模変更可能なテーブルのサイズ決定または区分化のうちの少なくとも1つをプログラムで行うように構成される、付記28に記載のシステム。
付記31.
前記規模変更可能なテーブルの中に複数のアイテムを記憶する1つ以上のサービス要求の受信に応答して、前記データ記憶サービスは、
前記複数のアイテムを、前記規模変更可能なテーブルの単一の区分の中に記憶することができるかどうかを判定し、
前記複数のアイテムを前記規模変更可能なテーブルの単一の区分の中に記憶することができないという判定に応答して、前記規模変更可能なテーブルをプログラムで区分するように構成される、
付記28に記載のシステム。
付記32. 前記データ記憶サービスはさらに、前記規模変更可能なテーブルをプログラムで区分することが、前記規模変更可能なテーブルの中のアイテム、前記規模変更可能なテーブルの特定の区分の中のアイテム、または前記規模変更可能なテーブルの中の前記アイテムの少なくともサブセットと同一のコンピューティングノード上に記憶されたアイテムを標的にする、増加する数の要求の受信に応答して、あるいは、前記規模変更可能なテーブルの中のアイテム、前記規模変更可能なテーブルの特定の区分の中のアイテム、または前記規模変更可能なテーブルの中の前記アイテムの少なくともサブセットと同一のコンピューティングノード上に記憶されたアイテムを標的にする、減少する数の要求に応答して行われるように、構成される、付記28に記載のシステム。
付記33.
前記一次キーは、ハッシュキー属性として指定される単一の属性と、範囲キー属性として指定される別の属性とを備え、
前記規模変更可能なテーブルの中に記憶された前記アイテムのそれぞれは、前記ハッシュキー属性のそれぞれの値と、前記範囲キー属性のそれぞれの値とを備え、
前記範囲キー属性値は、同一のハッシュキー属性値を有する前記規模変更可能なテーブルの中の全てのアイテムの中から、特定のアイテムを一意的に識別し、前記同一のハッシュキーを有する前記アイテムは、それらのそれぞれの範囲キー属性値に従って順序付けられ、
前記データ記憶サービスはさらに、それらのそれぞれの範囲キー属性値に依存して、同一のハッシュキー属性値を有する前記規模変更可能なテーブルの中のアイテムを2つ以上の区分に分割するように構成される、
付記28に記載のシステム。
付記34. 規模変更可能なテーブルを作成することはさらに、
前記複数のコンピューティングノードのうちの1つ以上の状態を反映する情報を収集することと、
前記収集された情報に依存して、前記規模変更可能なテーブルを作成する1つ以上のコンピューティングノードを判定することと、
前記1つ以上のコンピューティングノードのそれぞれの上に前記規模変更可能なテーブルの少なくともサブセットを記憶するためのそれぞれの区分を作成することと、
を含む、付記28に記載のシステム。
付記35.
前記規模変更可能なテーブルから1つ以上のアイテムを読み出す要求の受信に応答して、前記要求は、好ましい一貫性モデルの指示を含み、前記データ記憶サービスは、前記好ましい一貫性モデルと一致する方式で前記1つ以上のアイテムを返すように構成される、
付記28に記載のシステム。
Claims (15)
- コンピュータによって、
要求が、テーブルの識別子、および前記テーブルの中に記憶されたアイテムにインデックス作成する一次キーを特定する、非リレーショナルデータ記憶部の中で前記テーブルを作成する要求を受信することと、
前記受信に応答して、
規模変更可能なテーブルが、それぞれが前記一次キーの値を含む、複数のアイテムを記憶するように構成され、前記規模変更可能なテーブルが、所定のサイズ制限を持たない、前記非リレーショナルデータ記憶部の中で前記規模変更可能なテーブルを作成することと、
前記規模変更可能なテーブルにアクセスする1つ以上の要求の受信に応答して、あるいは非リレーショナルデータ記憶部を実装するシステムにおける異常の検出に応答して、前記規模変更可能なテーブルのサイズ決定または区分化のうちの少なくとも1つをプログラムで行うことと、
を行うことを含む、方法。 - 前記規模変更可能なテーブルを作成することは、非同期テーブル作成ワークフローの実施を開始することを含み、
前記方法はさらに、
前記非リレーショナルデータ記憶部の中で維持された1つ以上のテーブルを記述する要求を受信することと、
1つ以上のテーブルを記述する前記要求の受信に応答して、前記1つ以上のテーブルに関する情報が、前記非同期テーブル作成ワークフローによって前記規模変更可能なテーブルの作成が成功したかどうかを示す情報を含む、前記1つ以上のテーブルに関する前記情報を返すことと、
を含む、請求項1に記載の方法。 - 前記規模変更可能なテーブルの中に複数のアイテムを記憶する1つ以上の要求を受信することと、
前記1つ以上の要求の受信に応答して、
前記複数のアイテムを、前記規模変更可能なテーブルの単一の区分の中に記憶することができるかどうかを判定することと、
前記複数のアイテムを前記規模変更可能なテーブルの単一の区分の中に記憶することができないという判定に応答して、前記規模変更可能なテーブルをプログラムで区分することを行うことと、
をさらに含む、請求項1に記載の方法。 - 前記一次キーは、ハッシュキー属性として指定される単一の属性を備え、
前記規模変更可能なテーブルの中に記憶された前記アイテムのそれぞれは、前記ハッシュキー属性のそれぞれの値を備え、
前記規模変更可能なテーブルをプログラムで区分することは、それらのそれぞれのハッシュキー属性値のハッシュに依存して、前記規模変更可能なテーブルの中の前記アイテムを2つ以上の区分に分割することを含む、
請求項1に記載の方法。 - 前記一次キーは、ハッシュキー属性として指定される属性と、範囲キー属性として指定される別の属性とを備え、
前記規模変更可能なテーブルの中に記憶された前記アイテムのそれぞれは、前記ハッシュキー属性のそれぞれの値と、前記範囲キー属性のそれぞれの値とを備え、
前記範囲キー属性値は、同一のハッシュキー属性値を有する前記規模変更可能なテーブルの中の全てのアイテムの中から、特定のアイテムを一意的に識別し、前記同一のハッシュキーを有する前記アイテムは、それらのそれぞれの範囲キー属性値に従って順序付けられ、
前記規模変更可能なテーブルをプログラムで区分することは、それらのそれぞれの範囲キー属性値に依存して、同一のハッシュキー属性値を有する前記規模変更可能なテーブルの中のアイテムを2つ以上の区分に分割することを含む、
請求項1に記載の方法。 - 前記規模変更可能なテーブルをプログラムで区分することは、前記規模変更可能なテーブルを2つ以上の区分に分割することと、複数のコンピューティングノードのうちの異なるものの上に、前記2つの区分のそれぞれを記憶することとを含む、請求項1に記載の方法。
- 前記規模変更可能なテーブルをプログラムで区分することは、区分の1つ以上の複製が要求を受け入れて処理し続けている間に、前記規模変更可能なテーブルの前記区分を移動させること、または分割することを含む、請求項1に記載の方法。
- 前記規模変更可能なテーブルをプログラムで区分することは、前記規模変更可能なテーブルの中のアイテム、前記規模変更可能なテーブルの特定の区分の中のアイテム、または前記規模変更可能なテーブルの中の前記アイテムの少なくともサブセットと同一のコンピューティングノード上に記憶されたアイテムを標的にする、増加する数の要求の受信に応答して、あるいは、前記規模変更可能なテーブルの中のアイテム、前記規模変更可能なテーブルの特定の区分の中のアイテム、または前記規模変更可能なテーブルの中の前記アイテムの少なくともサブセットと同一のコンピューティングノード上に記憶されたアイテムを標的にする、減少する数の要求の受信に応答して行われる、請求項1に記載の方法。
- テーブルを作成する前記要求はさらに、1つ以上のユーザ選好の指示を備え、前記1つ以上のユーザ選好は、好ましいサービス要求スループットレベル、または保証が要求されるサービス要求スループットレベルを備え、
前記規模変更可能なテーブルのサイズ決定または区分化のうちの少なくとも1つをプログラムで行うことは、前記ユーザ選好のうちの1つ以上が満たされていないという検出に応答して行われる、
請求項1に記載の方法。 - それぞれ、少なくとも1つのプロセッサと、メモリとを備える、複数のコンピューティングノードを備える、システムであって、前記複数のコンピューティングノードは、データ記憶サービスを実装するように構成され、
記憶サービスクライアントの代わりにテーブルを作成するサービス要求の受信に応答して、前記サービス要求は、前記テーブルの識別子、および前記テーブルの中に記憶されたアイテムにインデックス作成する一次キーを特定し、前記データ記憶サービスは、非リレーショナルデータ記憶部の中で規模変更可能なテーブルを作成するように構成され、
前記規模変更可能なテーブルは、それぞれが前記一次キーの値を含む、複数のアイテムを記憶するように構成され、
前記規模変更可能なテーブルは、所定のサイズ制限を持たず、
前記規模変更可能なテーブルを作成することは、非同期テーブル作成ワークフローの実施を開始することを含み、
さらに、前記データ記憶サービスにおける異常の検出に応答して、前記規模変更可能なテーブルのサイズ決定または区分化のうちの少なくとも1つをプログラムで行う、
システム。 - 前記データ記憶サービスはさらに、前記規模変更可能なテーブルの中のアイテムを記憶する、読み出す、修正する、または削除する1つ以上のサービス要求の受信に応答して、前記規模変更可能なテーブルのサイズ決定または区分化のうちの少なくとも1つをプログラムで行うように構成される、請求項10に記載のシステム。
- 前記規模変更可能なテーブルの中に複数のアイテムを記憶する1つ以上のサービス要求の受信に応答して、前記データ記憶サービスは、
前記複数のアイテムを、前記規模変更可能なテーブルの単一の区分の中に記憶することができるかどうかを判定し、
前記複数のアイテムを前記規模変更可能なテーブルの単一の区分の中に記憶することができないという判定に応答して、前記規模変更可能なテーブルをプログラムで区分するように構成される、
請求項10に記載のシステム。 - 前記データ記憶サービスはさらに、前記規模変更可能なテーブルをプログラムで区分することが、前記規模変更可能なテーブルの中のアイテム、前記規模変更可能なテーブルの特定の区分の中のアイテム、または前記規模変更可能なテーブルの中の前記アイテムの少なくともサブセットと同一のコンピューティングノード上に記憶されたアイテムを標的にする、増加する数の要求の受信に応答して、あるいは、前記規模変更可能なテーブルの中のアイテム、前記規模変更可能なテーブルの特定の区分の中のアイテム、または前記規模変更可能なテーブルの中の前記アイテムの少なくともサブセットと同一のコンピューティングノード上に記憶されたアイテムを標的にする、減少する数の要求の受信に応答して行われるように、構成される、請求項10に記載のシステム。
- 前記一次キーは、ハッシュキー属性として指定される単一の属性と、範囲キー属性として指定される別の属性とを備え、
前記規模変更可能なテーブルの中に記憶された前記アイテムのそれぞれは、前記ハッシュキー属性のそれぞれの値と、前記範囲キー属性のそれぞれの値とを備え、
前記範囲キー属性値は、同一のハッシュキー属性値を有する前記規模変更可能なテーブルの中の全てのアイテムの中から、特定のアイテムを一意的に識別し、前記同一のハッシュキーを有する前記アイテムは、それらのそれぞれの範囲キー属性値に従って順序付けられ、
前記データ記憶サービスはさらに、それらのそれぞれの範囲キー属性値に依存して、同一のハッシュキー属性値を有する前記規模変更可能なテーブルの中のアイテムを2つ以上の区分に分割するように構成される、
請求項10に記載のシステム。 - 規模変更可能なテーブルを作成することはさらに、
前記複数のコンピューティングノードのうちの1つ以上の状態を反映する情報を収集することと、
前記収集された情報に依存して、前記規模変更可能なテーブルを作成する1つ以上のコンピューティングノードを判定することと、
前記1つ以上のコンピューティングノードのそれぞれの上に前記規模変更可能なテーブルの少なくともサブセットを記憶するためのそれぞれの区分を作成することと、
を含む、請求項10に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US13/170,031 US8595267B2 (en) | 2011-06-27 | 2011-06-27 | System and method for implementing a scalable data storage service |
US13/170,031 | 2011-06-27 | ||
PCT/US2012/044371 WO2013003443A2 (en) | 2011-06-27 | 2012-06-27 | System and method for implementing a scalable data storage service |
Related Child Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015163040A Division JP2016027476A (ja) | 2011-06-27 | 2015-08-20 | 規模変更可能なデータ記憶サービスを実装するためのシステムおよび方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2014525082A JP2014525082A (ja) | 2014-09-25 |
JP5798248B2 true JP5798248B2 (ja) | 2015-10-21 |
Family
ID=47362813
Family Applications (4)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014518955A Active JP5798248B2 (ja) | 2011-06-27 | 2012-06-27 | 規模変更可能なデータ記憶サービスを実装するためのシステムおよび方法 |
JP2015163040A Pending JP2016027476A (ja) | 2011-06-27 | 2015-08-20 | 規模変更可能なデータ記憶サービスを実装するためのシステムおよび方法 |
JP2017156531A Active JP6560308B2 (ja) | 2011-06-27 | 2017-08-14 | データ記憶サービスを実装するシステム及び方法 |
JP2019132958A Active JP6962971B2 (ja) | 2011-06-27 | 2019-07-18 | データ記憶サービスを実装するシステム及び方法 |
Family Applications After (3)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2015163040A Pending JP2016027476A (ja) | 2011-06-27 | 2015-08-20 | 規模変更可能なデータ記憶サービスを実装するためのシステムおよび方法 |
JP2017156531A Active JP6560308B2 (ja) | 2011-06-27 | 2017-08-14 | データ記憶サービスを実装するシステム及び方法 |
JP2019132958A Active JP6962971B2 (ja) | 2011-06-27 | 2019-07-18 | データ記憶サービスを実装するシステム及び方法 |
Country Status (7)
Country | Link |
---|---|
US (6) | US8595267B2 (ja) |
EP (2) | EP2724268B1 (ja) |
JP (4) | JP5798248B2 (ja) |
CN (3) | CN104067216B (ja) |
BR (1) | BR112013033693A2 (ja) |
CA (2) | CA3053376C (ja) |
WO (1) | WO2013003443A2 (ja) |
Families Citing this family (324)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US7707136B2 (en) * | 2006-03-31 | 2010-04-27 | Amazon Technologies, Inc. | System and method for providing high availability data |
US8589655B2 (en) | 2010-09-15 | 2013-11-19 | Pure Storage, Inc. | Scheduling of I/O in an SSD environment |
US11275509B1 (en) | 2010-09-15 | 2022-03-15 | Pure Storage, Inc. | Intelligently sizing high latency I/O requests in a storage environment |
US12008266B2 (en) | 2010-09-15 | 2024-06-11 | Pure Storage, Inc. | Efficient read by reconstruction |
US11614893B2 (en) | 2010-09-15 | 2023-03-28 | Pure Storage, Inc. | Optimizing storage device access based on latency |
US8589625B2 (en) | 2010-09-15 | 2013-11-19 | Pure Storage, Inc. | Scheduling of reconstructive I/O read operations in a storage environment |
US8468318B2 (en) | 2010-09-15 | 2013-06-18 | Pure Storage Inc. | Scheduling of I/O writes in a storage environment |
US8732426B2 (en) | 2010-09-15 | 2014-05-20 | Pure Storage, Inc. | Scheduling of reactive I/O operations in a storage environment |
US8775868B2 (en) | 2010-09-28 | 2014-07-08 | Pure Storage, Inc. | Adaptive RAID for an SSD environment |
US9244769B2 (en) | 2010-09-28 | 2016-01-26 | Pure Storage, Inc. | Offset protection data in a RAID array |
US8392408B1 (en) | 2011-05-04 | 2013-03-05 | Google Inc. | Coordinating successive search queries using a query cursor |
US8595267B2 (en) | 2011-06-27 | 2013-11-26 | Amazon Technologies, Inc. | System and method for implementing a scalable data storage service |
US9170779B2 (en) * | 2011-07-19 | 2015-10-27 | International Business Machines Corporation | Managing an application development environment |
US8589640B2 (en) | 2011-10-14 | 2013-11-19 | Pure Storage, Inc. | Method for maintaining multiple fingerprint tables in a deduplicating storage system |
US11636031B2 (en) | 2011-08-11 | 2023-04-25 | Pure Storage, Inc. | Optimized inline deduplication |
US8886743B2 (en) * | 2011-08-30 | 2014-11-11 | Open Text S.A. | System and method of browsing offline and queried content |
US9110933B1 (en) | 2011-11-04 | 2015-08-18 | Google Inc. | Processing data triggers in an untrusted environment based on information stored in a trusted environment |
US9148329B1 (en) * | 2011-11-30 | 2015-09-29 | Google Inc. | Resource constraints for request processing |
US8953453B1 (en) | 2011-12-15 | 2015-02-10 | Amazon Technologies, Inc. | System and method for throttling service requests using work-based tokens |
US8914497B1 (en) | 2011-12-15 | 2014-12-16 | Amazon Technologies, Inc. | System and method for throttling service requests having non-uniform workloads |
CN102566940B (zh) * | 2011-12-21 | 2014-11-05 | 华为技术有限公司 | I/o平衡处理方法和设备 |
US8719225B1 (en) | 2012-01-17 | 2014-05-06 | Amazon Technologies, Inc. | System and method for log conflict detection and resolution in a data store |
US8930312B1 (en) * | 2012-01-17 | 2015-01-06 | Amazon Technologies, Inc. | System and method for splitting a replicated data partition |
US9116862B1 (en) | 2012-01-17 | 2015-08-25 | Amazon Technologies, Inc. | System and method for data replication using a single master failover protocol |
US8843441B1 (en) | 2012-01-17 | 2014-09-23 | Amazon Technologies, Inc. | System and method for maintaining a master replica for reads and writes in a data store |
US9489434B1 (en) | 2012-01-17 | 2016-11-08 | Amazon Technologies, Inc. | System and method for replication log branching avoidance using post-failover rejoin |
US9069827B1 (en) | 2012-01-17 | 2015-06-30 | Amazon Technologies, Inc. | System and method for adjusting membership of a data replication group |
US8594623B2 (en) * | 2012-01-25 | 2013-11-26 | Telefonaktiebolaget L M Ericsson (Publ) | Subscriber portfolio management system |
US8719540B1 (en) | 2012-03-15 | 2014-05-06 | Pure Storage, Inc. | Fractal layout of data blocks across multiple devices |
US9235607B1 (en) | 2012-03-29 | 2016-01-12 | Google Inc. | Specifying a predetermined degree of inconsistency for test data |
US9229901B1 (en) * | 2012-06-08 | 2016-01-05 | Google Inc. | Single-sided distributed storage system |
US9185235B2 (en) | 2012-08-02 | 2015-11-10 | Ab Initio Technology Llc | Aggregating data in a mediation system |
US8745415B2 (en) | 2012-09-26 | 2014-06-03 | Pure Storage, Inc. | Multi-drive cooperation to generate an encryption key |
US11032259B1 (en) | 2012-09-26 | 2021-06-08 | Pure Storage, Inc. | Data protection in a storage system |
US10623386B1 (en) | 2012-09-26 | 2020-04-14 | Pure Storage, Inc. | Secret sharing data protection in a storage system |
US9852220B1 (en) * | 2012-10-08 | 2017-12-26 | Amazon Technologies, Inc. | Distributed workflow management system |
US9646039B2 (en) | 2013-01-10 | 2017-05-09 | Pure Storage, Inc. | Snapshots in a storage system |
US10908835B1 (en) | 2013-01-10 | 2021-02-02 | Pure Storage, Inc. | Reversing deletion of a virtual machine |
US11768623B2 (en) | 2013-01-10 | 2023-09-26 | Pure Storage, Inc. | Optimizing generalized transfers between storage systems |
US11733908B2 (en) | 2013-01-10 | 2023-08-22 | Pure Storage, Inc. | Delaying deletion of a dataset |
US9015123B1 (en) * | 2013-01-16 | 2015-04-21 | Netapp, Inc. | Methods and systems for identifying changed data in an expandable storage volume |
US9612921B2 (en) * | 2013-03-01 | 2017-04-04 | Teradata Us, Inc. | Method and system for load balancing a distributed database providing object-level management and recovery |
US11086898B2 (en) | 2013-03-13 | 2021-08-10 | Amazon Technologies, Inc. | Token-based admission control for replicated writes |
US9953351B1 (en) * | 2013-03-13 | 2018-04-24 | Amazon Technologies, Inc. | Managing resource requests that exceed reserved resource capacity |
US10817312B2 (en) * | 2013-03-14 | 2020-10-27 | Microsoft Technology Licensing, Llc | Programming model for performant computing in document-oriented storage services |
US9230040B2 (en) | 2013-03-14 | 2016-01-05 | Microsoft Technology Licensing, Llc | Scalable, schemaless document query model |
US9552296B2 (en) * | 2013-03-15 | 2017-01-24 | International Business Machines Corporation | Verifying shared memory integrity |
US10268639B2 (en) * | 2013-03-15 | 2019-04-23 | Inpixon | Joining large database tables |
JP2014215914A (ja) * | 2013-04-26 | 2014-11-17 | 株式会社東芝 | 端末装置、情報処理方法及び情報処理プログラム |
US10924562B1 (en) * | 2013-05-02 | 2021-02-16 | Amazon Technologies, Inc. | Real-time monitoring of IO load and latency |
US9471657B1 (en) * | 2013-05-20 | 2016-10-18 | Amazon Technologies, Inc. | Range query capacity allocation |
US9489443B1 (en) | 2013-05-24 | 2016-11-08 | Amazon Technologies, Inc. | Scheduling of splits and moves of database partitions |
US9384227B1 (en) * | 2013-06-04 | 2016-07-05 | Amazon Technologies, Inc. | Database system providing skew metrics across a key space |
US9602426B2 (en) | 2013-06-21 | 2017-03-21 | Microsoft Technology Licensing, Llc | Dynamic allocation of resources while considering resource reservations |
US9553821B2 (en) | 2013-06-25 | 2017-01-24 | Amazon Technologies, Inc. | Equitable distribution of excess shared-resource throughput capacity |
US9471393B2 (en) | 2013-06-25 | 2016-10-18 | Amazon Technologies, Inc. | Burst-mode admission control using token buckets |
US10764185B2 (en) * | 2013-06-25 | 2020-09-01 | Amazon Technologies, Inc. | Token-based policies burst-mode operations |
US9218221B2 (en) | 2013-06-25 | 2015-12-22 | Amazon Technologies, Inc. | Token sharing mechanisms for burst-mode operations |
US9385956B2 (en) | 2013-06-25 | 2016-07-05 | Amazon Technologies, Inc. | Compound token buckets for burst-mode admission control |
CN104283906B (zh) * | 2013-07-02 | 2018-06-19 | 华为技术有限公司 | 分布式存储系统、集群节点及其区间管理方法 |
WO2015015727A1 (ja) * | 2013-07-30 | 2015-02-05 | 日本電気株式会社 | ストレージ装置、データアクセス方法およびプログラム記録媒体 |
US10263770B2 (en) | 2013-11-06 | 2019-04-16 | Pure Storage, Inc. | Data protection in a storage system using external secrets |
US10365858B2 (en) | 2013-11-06 | 2019-07-30 | Pure Storage, Inc. | Thin provisioning in a storage device |
US11128448B1 (en) | 2013-11-06 | 2021-09-21 | Pure Storage, Inc. | Quorum-aware secret sharing |
CN103593236B (zh) * | 2013-11-14 | 2017-02-22 | 华为技术有限公司 | 一种业务流程调度的计算机设备、方法和装置 |
US20150142733A1 (en) * | 2013-11-18 | 2015-05-21 | Ori Software Development Ltd. | System and method for efficient management of big data in a database using streaming tables |
CN104751235A (zh) * | 2013-12-27 | 2015-07-01 | 伊姆西公司 | 用于数据挖掘的方法和装置 |
US10592475B1 (en) | 2013-12-27 | 2020-03-17 | Amazon Technologies, Inc. | Consistent data storage in distributed computing systems |
CN104750599A (zh) * | 2013-12-30 | 2015-07-01 | 鸿富锦精密工业(武汉)有限公司 | 使用保留系统及使用保留方法 |
US9633074B1 (en) * | 2014-01-03 | 2017-04-25 | Amazon Technologies, Inc. | Querying data set tables in a non-transactional database |
US9208086B1 (en) | 2014-01-09 | 2015-12-08 | Pure Storage, Inc. | Using frequency domain to prioritize storage of metadata in a cache |
US10055440B2 (en) * | 2014-02-24 | 2018-08-21 | Sap Se | Database table re-partitioning using trigger-based capture and replay |
US10108649B2 (en) | 2014-02-25 | 2018-10-23 | Internatonal Business Machines Corporation | Early exit from table scans of loosely ordered and/or grouped relations using nearly ordered maps |
US10250673B1 (en) | 2014-03-14 | 2019-04-02 | Amazon Technologies, Inc. | Storage workload management using redirected messages |
US10656864B2 (en) | 2014-03-20 | 2020-05-19 | Pure Storage, Inc. | Data replication within a flash storage array |
US9971801B2 (en) * | 2014-03-26 | 2018-05-15 | Interject Data Systems, Inc. | Grid cell data requests |
US9274710B1 (en) | 2014-03-31 | 2016-03-01 | Amazon Technologies, Inc. | Offset-based congestion control in storage systems |
WO2015157340A1 (en) * | 2014-04-07 | 2015-10-15 | Aine Jr Harry Eugene | An ultra-low latency platform as a service system for large scale media data and workflows |
US9330104B2 (en) * | 2014-04-30 | 2016-05-03 | International Business Machines Corporation | Indexing and searching heterogenous data entities |
US10409920B1 (en) * | 2014-05-23 | 2019-09-10 | EMC IP Holding Company LLC | Data services for tiered memory |
US9779268B1 (en) | 2014-06-03 | 2017-10-03 | Pure Storage, Inc. | Utilizing a non-repeating identifier to encrypt data |
US9218244B1 (en) | 2014-06-04 | 2015-12-22 | Pure Storage, Inc. | Rebuilding data across storage nodes |
US11399063B2 (en) | 2014-06-04 | 2022-07-26 | Pure Storage, Inc. | Network authentication for a storage system |
US10496556B1 (en) | 2014-06-25 | 2019-12-03 | Pure Storage, Inc. | Dynamic data protection within a flash storage system |
US9218407B1 (en) | 2014-06-25 | 2015-12-22 | Pure Storage, Inc. | Replication and intermediate read-write state for mediums |
US10296469B1 (en) | 2014-07-24 | 2019-05-21 | Pure Storage, Inc. | Access control in a flash storage system |
US9495255B2 (en) | 2014-08-07 | 2016-11-15 | Pure Storage, Inc. | Error recovery in a storage cluster |
US9558069B2 (en) | 2014-08-07 | 2017-01-31 | Pure Storage, Inc. | Failure mapping in a storage array |
US9864761B1 (en) | 2014-08-08 | 2018-01-09 | Pure Storage, Inc. | Read optimization operations in a storage system |
CN104199881B (zh) * | 2014-08-21 | 2018-07-06 | 广州华多网络科技有限公司 | 数据库集群、数据查询方法、数据同步方法和装置 |
US10430079B2 (en) | 2014-09-08 | 2019-10-01 | Pure Storage, Inc. | Adjusting storage capacity in a computing system |
US10164841B2 (en) | 2014-10-02 | 2018-12-25 | Pure Storage, Inc. | Cloud assist for storage systems |
US10430282B2 (en) | 2014-10-07 | 2019-10-01 | Pure Storage, Inc. | Optimizing replication by distinguishing user and system write activity |
US9489132B2 (en) | 2014-10-07 | 2016-11-08 | Pure Storage, Inc. | Utilizing unmapped and unknown states in a replicated storage system |
CN104407987B (zh) * | 2014-10-30 | 2018-10-23 | 曙光信息产业股份有限公司 | 一种分级存储方法 |
US11157473B2 (en) * | 2014-11-21 | 2021-10-26 | Red Hat, Inc. | Multisource semantic partitioning |
US9727485B1 (en) | 2014-11-24 | 2017-08-08 | Pure Storage, Inc. | Metadata rewrite and flatten optimization |
US9965359B2 (en) * | 2014-11-25 | 2018-05-08 | Sap Se | Log forwarding to avoid deadlocks during parallel log replay in asynchronous table replication |
US9773007B1 (en) | 2014-12-01 | 2017-09-26 | Pure Storage, Inc. | Performance improvements in a storage system |
US9552248B2 (en) | 2014-12-11 | 2017-01-24 | Pure Storage, Inc. | Cloud alert to replica |
US9588842B1 (en) | 2014-12-11 | 2017-03-07 | Pure Storage, Inc. | Drive rebuild |
US9864769B2 (en) | 2014-12-12 | 2018-01-09 | Pure Storage, Inc. | Storing data utilizing repeating pattern detection |
US10545987B2 (en) | 2014-12-19 | 2020-01-28 | Pure Storage, Inc. | Replication to the cloud |
US11947968B2 (en) | 2015-01-21 | 2024-04-02 | Pure Storage, Inc. | Efficient use of zone in a storage device |
US10296354B1 (en) | 2015-01-21 | 2019-05-21 | Pure Storage, Inc. | Optimized boot operations within a flash storage array |
US10599621B1 (en) | 2015-02-02 | 2020-03-24 | Amazon Technologies, Inc. | Distributed processing framework file system fast on-demand storage listing |
US11386107B1 (en) * | 2015-02-13 | 2022-07-12 | Omnicom Media Group Holdings Inc. | Variable data source dynamic and automatic ingestion and auditing platform apparatuses, methods and systems |
WO2016127438A1 (zh) * | 2015-02-15 | 2016-08-18 | 华为技术有限公司 | 信息分享方法及装置 |
US9710165B1 (en) | 2015-02-18 | 2017-07-18 | Pure Storage, Inc. | Identifying volume candidates for space reclamation |
US9843536B2 (en) * | 2015-02-27 | 2017-12-12 | Netapp, Inc. | Techniques for dynamically allocating resources in a storage cluster system |
US10082985B2 (en) | 2015-03-27 | 2018-09-25 | Pure Storage, Inc. | Data striping across storage nodes that are assigned to multiple logical arrays |
US9875249B1 (en) * | 2015-03-31 | 2018-01-23 | Maginatics Llc | Reducing database fragmentation |
US10178169B2 (en) | 2015-04-09 | 2019-01-08 | Pure Storage, Inc. | Point to point based backend communication layer for storage processing |
US9860317B1 (en) | 2015-04-30 | 2018-01-02 | Amazon Technologies, Inc. | Throughput throttling for distributed file storage services with varying connection characteristics |
US10410155B2 (en) | 2015-05-01 | 2019-09-10 | Microsoft Technology Licensing, Llc | Automatic demand-driven resource scaling for relational database-as-a-service |
US10140149B1 (en) | 2015-05-19 | 2018-11-27 | Pure Storage, Inc. | Transactional commits with hardware assists in remote memory |
US10310740B2 (en) | 2015-06-23 | 2019-06-04 | Pure Storage, Inc. | Aligning memory access operations to a geometry of a storage device |
US9547441B1 (en) | 2015-06-23 | 2017-01-17 | Pure Storage, Inc. | Exposing a geometry of a storage device |
US11301457B2 (en) | 2015-06-29 | 2022-04-12 | Microsoft Technology Licensing, Llc | Transactional database layer above a distributed key/value store |
US11275721B2 (en) * | 2015-07-17 | 2022-03-15 | Sap Se | Adaptive table placement in NUMA architectures |
CN106445677A (zh) * | 2015-08-06 | 2017-02-22 | 阿里巴巴集团控股有限公司 | 负载均衡方法及设备 |
US10721328B2 (en) * | 2015-08-26 | 2020-07-21 | International Business Machines Corporation | Offering application program interfaces (APIs) for sale in cloud marketplace |
US10262012B2 (en) * | 2015-08-26 | 2019-04-16 | Oracle International Corporation | Techniques related to binary encoding of hierarchical data objects to support efficient path navigation of the hierarchical data objects |
US11269884B2 (en) | 2015-09-04 | 2022-03-08 | Pure Storage, Inc. | Dynamically resizable structures for approximate membership queries |
US11341136B2 (en) | 2015-09-04 | 2022-05-24 | Pure Storage, Inc. | Dynamically resizable structures for approximate membership queries |
KR20170028825A (ko) | 2015-09-04 | 2017-03-14 | 퓨어 스토리지, 아이앤씨. | 압축된 인덱스들을 사용한 해시 테이블들에서의 메모리 효율적인 스토리지 및 탐색 |
US9898614B1 (en) * | 2015-09-18 | 2018-02-20 | Amazon Technologies, Inc. | Implicit prioritization to rate-limit secondary index creation for an online table |
US10146814B1 (en) * | 2015-09-18 | 2018-12-04 | Amazon Technologies, Inc. | Recommending provisioned throughput capacity for generating a secondary index for an online table |
US10013449B1 (en) | 2015-09-18 | 2018-07-03 | Amazon Technologies, Inc. | Validating and non-validating secondary indexes for a table in a non-relational data store |
US11327937B1 (en) * | 2015-09-18 | 2022-05-10 | Amazon Technologies, Inc. | Determining indexing progress for a table in a distributed data store |
US10747739B1 (en) * | 2015-09-18 | 2020-08-18 | Amazon Technologies, Inc. | Implicit checkpoint for generating a secondary index of a table |
WO2017052600A1 (en) * | 2015-09-25 | 2017-03-30 | Hewlett Packard Enterprise Development Lp | Queries based on ranges of hash values |
US11082515B2 (en) * | 2015-09-26 | 2021-08-03 | Intel Corporation | Technologies for offloading data object replication and service function chain management |
US10666574B2 (en) * | 2015-09-28 | 2020-05-26 | Amazon Technologies, Inc. | Distributed stream-based database triggers |
US10033647B2 (en) * | 2015-10-13 | 2018-07-24 | Oracle International Corporation | System and method for efficient network isolation and load balancing in a multi-tenant cluster environment |
US9843453B2 (en) | 2015-10-23 | 2017-12-12 | Pure Storage, Inc. | Authorizing I/O commands with I/O tokens |
CN105491101B (zh) * | 2015-11-17 | 2018-09-21 | 华为技术有限公司 | 数据的处理方法和装置 |
CN105867942B (zh) * | 2016-04-19 | 2019-08-27 | 深圳Tcl数字技术有限公司 | 键值扩展方法及系统 |
US10452297B1 (en) | 2016-05-02 | 2019-10-22 | Pure Storage, Inc. | Generating and optimizing summary index levels in a deduplication storage system |
US10133503B1 (en) | 2016-05-02 | 2018-11-20 | Pure Storage, Inc. | Selecting a deduplication process based on a difference between performance metrics |
US11416912B2 (en) * | 2016-05-13 | 2022-08-16 | Digital River, Inc. | High volume transaction queueing with machine learning |
US10264072B2 (en) * | 2016-05-16 | 2019-04-16 | Carbonite, Inc. | Systems and methods for processing-based file distribution in an aggregation of cloud storage services |
US10356158B2 (en) | 2016-05-16 | 2019-07-16 | Carbonite, Inc. | Systems and methods for aggregation of cloud storage |
US11100107B2 (en) | 2016-05-16 | 2021-08-24 | Carbonite, Inc. | Systems and methods for secure file management via an aggregation of cloud storage services |
US10116629B2 (en) | 2016-05-16 | 2018-10-30 | Carbonite, Inc. | Systems and methods for obfuscation of data via an aggregation of cloud storage services |
US10404798B2 (en) | 2016-05-16 | 2019-09-03 | Carbonite, Inc. | Systems and methods for third-party policy-based file distribution in an aggregation of cloud storage services |
CN105897915B (zh) * | 2016-05-23 | 2022-09-09 | 珠海格力电器股份有限公司 | 一种数据接收服务器、及数据处理系统 |
US10838620B2 (en) | 2016-05-26 | 2020-11-17 | Nutanix, Inc. | Efficient scaling of distributed storage systems |
US10409824B2 (en) * | 2016-06-29 | 2019-09-10 | International Business Machines Corporation | System, method and recording medium for cognitive proximates |
US11086842B1 (en) * | 2016-06-30 | 2021-08-10 | EMC IP Holding Company LLC | Highly scalable and consistent pluggable messaging system |
US10203903B2 (en) | 2016-07-26 | 2019-02-12 | Pure Storage, Inc. | Geometry based, space aware shelf/writegroup evacuation |
EP3485421B1 (en) * | 2016-08-12 | 2020-07-15 | ALTR Solutions, Inc. | Fragmenting data for the purposes of persistent storage across multiple immutable data structures |
US10936559B1 (en) * | 2016-09-28 | 2021-03-02 | Amazon Technologies, Inc. | Strongly-consistent secondary index for a distributed data set |
US10162523B2 (en) | 2016-10-04 | 2018-12-25 | Pure Storage, Inc. | Migrating data between volumes using virtual copy operation |
US10756816B1 (en) | 2016-10-04 | 2020-08-25 | Pure Storage, Inc. | Optimized fibre channel and non-volatile memory express access |
US10545861B2 (en) | 2016-10-04 | 2020-01-28 | Pure Storage, Inc. | Distributed integrated high-speed solid-state non-volatile random-access memory |
US10191662B2 (en) | 2016-10-04 | 2019-01-29 | Pure Storage, Inc. | Dynamic allocation of segments in a flash storage system |
US10481798B2 (en) | 2016-10-28 | 2019-11-19 | Pure Storage, Inc. | Efficient flash management for multiple controllers |
US10185505B1 (en) | 2016-10-28 | 2019-01-22 | Pure Storage, Inc. | Reading a portion of data to replicate a volume based on sequence numbers |
US10359942B2 (en) | 2016-10-31 | 2019-07-23 | Pure Storage, Inc. | Deduplication aware scalable content placement |
US10452290B2 (en) | 2016-12-19 | 2019-10-22 | Pure Storage, Inc. | Block consolidation in a direct-mapped flash storage system |
US11550481B2 (en) | 2016-12-19 | 2023-01-10 | Pure Storage, Inc. | Efficiently writing data in a zoned drive storage system |
US11093146B2 (en) | 2017-01-12 | 2021-08-17 | Pure Storage, Inc. | Automatic load rebalancing of a write group |
US10725988B2 (en) * | 2017-02-09 | 2020-07-28 | Micron Technology, Inc. | KVS tree |
US10706106B2 (en) | 2017-02-09 | 2020-07-07 | Micron Technology, Inc. | Merge tree modifications for maintenance operations |
US10706105B2 (en) | 2017-02-09 | 2020-07-07 | Micron Technology, Inc. | Merge tree garbage metrics |
US10719495B2 (en) | 2017-02-09 | 2020-07-21 | Micron Technology, Inc. | Stream selection for multi-stream storage devices |
EP3563268B1 (en) * | 2017-02-27 | 2022-09-14 | Timescale, Inc. | Scalable database system for querying time-series data |
US11030169B1 (en) * | 2017-03-07 | 2021-06-08 | Amazon Technologies, Inc. | Data re-sharding |
US10691657B2 (en) * | 2017-03-21 | 2020-06-23 | Intermetro Communications, Inc. | System and method for managing a database having a size limit |
JP6707797B2 (ja) * | 2017-03-29 | 2020-06-10 | 株式会社日立製作所 | データベース管理システム及びデータベース管理方法 |
US10528488B1 (en) | 2017-03-30 | 2020-01-07 | Pure Storage, Inc. | Efficient name coding |
KR102069691B1 (ko) * | 2017-04-19 | 2020-01-23 | 한국전자통신연구원 | 메타데이터 관리 시스템 및 방법 |
US11403019B2 (en) | 2017-04-21 | 2022-08-02 | Pure Storage, Inc. | Deduplication-aware per-tenant encryption |
US12045487B2 (en) | 2017-04-21 | 2024-07-23 | Pure Storage, Inc. | Preserving data deduplication in a multi-tenant storage system |
US11030155B2 (en) | 2017-04-26 | 2021-06-08 | Samsung Electronics Co., Ltd. | Key value file system |
US10944671B2 (en) | 2017-04-27 | 2021-03-09 | Pure Storage, Inc. | Efficient data forwarding in a networked device |
US11030177B1 (en) * | 2017-05-04 | 2021-06-08 | Amazon Technologies, Inc. | Selectively scanning portions of a multidimensional index for processing queries |
US11366794B1 (en) * | 2017-05-22 | 2022-06-21 | Amazon Technologies, Inc. | Data store item count service |
CN107423358B (zh) | 2017-06-13 | 2020-08-07 | 阿里巴巴集团控股有限公司 | 一种数据存储及调用方法及装置 |
US11940990B1 (en) | 2017-06-16 | 2024-03-26 | Amazon Technologies, Inc. | Global clock values for consistent queries to replicated data |
CN109947829A (zh) * | 2017-07-27 | 2019-06-28 | 飞狐信息技术(天津)有限公司 | 一种数据的获取方法、装置、系统及数据获取系统 |
US10402266B1 (en) | 2017-07-31 | 2019-09-03 | Pure Storage, Inc. | Redundant array of independent disks in a direct-mapped flash storage system |
US10977262B2 (en) * | 2017-08-02 | 2021-04-13 | Sap Se | Data export job engine |
US11080291B2 (en) | 2017-08-02 | 2021-08-03 | Sap Se | Downloading visualization data between computer systems |
US10817203B1 (en) | 2017-08-29 | 2020-10-27 | Amazon Technologies, Inc. | Client-configurable data tiering service |
US10831935B2 (en) | 2017-08-31 | 2020-11-10 | Pure Storage, Inc. | Encryption management with host-side data reduction |
US10776202B1 (en) | 2017-09-22 | 2020-09-15 | Pure Storage, Inc. | Drive, blade, or data shard decommission via RAID geometry shrinkage |
US10789211B1 (en) | 2017-10-04 | 2020-09-29 | Pure Storage, Inc. | Feature-based deduplication |
US10977221B2 (en) * | 2017-10-20 | 2021-04-13 | Hewlett Packard Enterprise Development Lp | Encoding of data formatted in human-readable text according to schema into binary |
US10740318B2 (en) | 2017-10-26 | 2020-08-11 | Sap Se | Key pattern management in multi-tenancy database systems |
US10733168B2 (en) | 2017-10-26 | 2020-08-04 | Sap Se | Deploying changes to key patterns in multi-tenancy database systems |
US10740315B2 (en) | 2017-10-26 | 2020-08-11 | Sap Se | Transitioning between system sharing types in multi-tenancy database systems |
US10482080B2 (en) | 2017-10-26 | 2019-11-19 | Sap Se | Exchanging shared containers and adapting tenants in multi-tenancy database systems |
US10621167B2 (en) | 2017-10-26 | 2020-04-14 | Sap Se | Data separation and write redirection in multi-tenancy database systems |
US10657276B2 (en) | 2017-10-26 | 2020-05-19 | Sap Se | System sharing types in multi-tenancy database systems |
US10452646B2 (en) | 2017-10-26 | 2019-10-22 | Sap Se | Deploying changes in a multi-tenancy database system |
US10713277B2 (en) | 2017-10-26 | 2020-07-14 | Sap Se | Patching content across shared and tenant containers in multi-tenancy database systems |
CN107679238B (zh) * | 2017-10-27 | 2020-10-09 | 杭州迪普科技股份有限公司 | 一种新建对象方法及装置 |
US10884919B2 (en) | 2017-10-31 | 2021-01-05 | Pure Storage, Inc. | Memory management in a storage system |
WO2019089057A1 (en) * | 2017-11-06 | 2019-05-09 | Vast Data Ltd. | Scalable storage system |
US11240306B2 (en) * | 2017-11-06 | 2022-02-01 | Vast Data Ltd. | Scalable storage system |
US10860475B1 (en) | 2017-11-17 | 2020-12-08 | Pure Storage, Inc. | Hybrid flash translation layer |
US10929396B1 (en) * | 2017-11-20 | 2021-02-23 | Amazon Technologies, Inc. | Multi-type attribute index for a document database |
US10635501B2 (en) | 2017-11-21 | 2020-04-28 | International Business Machines Corporation | Adaptive scaling of workloads in a distributed computing environment |
US10733015B2 (en) | 2017-11-21 | 2020-08-04 | International Business Machines Corporation | Prioritizing applications for diagonal scaling in a distributed computing environment |
US10893000B2 (en) | 2017-11-21 | 2021-01-12 | International Business Machines Corporation | Diagonal scaling of resource allocations and application instances in a distributed computing environment |
US10721179B2 (en) | 2017-11-21 | 2020-07-21 | International Business Machines Corporation | Adaptive resource allocation operations based on historical data in a distributed computing environment |
US10887250B2 (en) | 2017-11-21 | 2021-01-05 | International Business Machines Corporation | Reducing resource allocations and application instances in diagonal scaling in a distributed computing environment |
US10812407B2 (en) * | 2017-11-21 | 2020-10-20 | International Business Machines Corporation | Automatic diagonal scaling of workloads in a distributed computing environment |
CN110019212B (zh) * | 2017-11-29 | 2021-06-18 | 杭州海康威视数字技术股份有限公司 | 一种数据处理方法、装置及数据库服务器 |
US11151081B1 (en) | 2018-01-03 | 2021-10-19 | Amazon Technologies, Inc. | Data tiering service with cold tier indexing |
US10579597B1 (en) | 2018-01-09 | 2020-03-03 | Amazon Technologies, Inc. | Data-tiering service with multiple cold tier quality of service levels |
US11010233B1 (en) | 2018-01-18 | 2021-05-18 | Pure Storage, Inc | Hardware-based system monitoring |
US10970395B1 (en) | 2018-01-18 | 2021-04-06 | Pure Storage, Inc | Security threat monitoring for a storage system |
US11144638B1 (en) | 2018-01-18 | 2021-10-12 | Pure Storage, Inc. | Method for storage system detection and alerting on potential malicious action |
US10754832B2 (en) * | 2018-01-26 | 2020-08-25 | Nicira, Inc. | Efficient physical key-value scheme for persisting virtual database data |
US10467527B1 (en) | 2018-01-31 | 2019-11-05 | Pure Storage, Inc. | Method and apparatus for artificial intelligence acceleration |
US11036596B1 (en) | 2018-02-18 | 2021-06-15 | Pure Storage, Inc. | System for delaying acknowledgements on open NAND locations until durability has been confirmed |
US11494109B1 (en) | 2018-02-22 | 2022-11-08 | Pure Storage, Inc. | Erase block trimming for heterogenous flash memory storage devices |
US10855767B1 (en) * | 2018-03-05 | 2020-12-01 | Amazon Technologies, Inc. | Distribution of batch data to sharded readers |
JP7127326B2 (ja) * | 2018-03-28 | 2022-08-30 | 日本電気株式会社 | 冪等性保証機能付き情報処理装置、システム設定方法及びプログラム |
US11010363B2 (en) | 2018-04-05 | 2021-05-18 | Sap Se | Complementing existing tables while grouping tables in a distributed database |
US11934322B1 (en) | 2018-04-05 | 2024-03-19 | Pure Storage, Inc. | Multiple encryption keys on storage drives |
US11003693B2 (en) * | 2018-04-05 | 2021-05-11 | Sap Se | Grouping tables with existing tables in a distributed database |
US10437634B1 (en) * | 2018-04-16 | 2019-10-08 | Microsoft Technology Licensing Llc | Independently threading API calls to service a request |
US11995336B2 (en) | 2018-04-25 | 2024-05-28 | Pure Storage, Inc. | Bucket views |
US11385792B2 (en) | 2018-04-27 | 2022-07-12 | Pure Storage, Inc. | High availability controller pair transitioning |
US10678433B1 (en) | 2018-04-27 | 2020-06-09 | Pure Storage, Inc. | Resource-preserving system upgrade |
US10885018B2 (en) | 2018-05-07 | 2021-01-05 | Microsoft Technology Licensing, Llc | Containerization for elastic and scalable databases |
CN108769137A (zh) * | 2018-05-08 | 2018-11-06 | 北京初志科技有限公司 | 基于多群架构的分布式架构数据存储读取方法及装置 |
CN110515536B (zh) * | 2018-05-22 | 2020-10-27 | 杭州海康威视数字技术股份有限公司 | 数据存储系统 |
US10678436B1 (en) | 2018-05-29 | 2020-06-09 | Pure Storage, Inc. | Using a PID controller to opportunistically compress more data during garbage collection |
US11436023B2 (en) | 2018-05-31 | 2022-09-06 | Pure Storage, Inc. | Mechanism for updating host file system and flash translation layer based on underlying NAND technology |
US10915551B2 (en) | 2018-06-04 | 2021-02-09 | Sap Se | Change management for shared objects in multi-tenancy systems |
US10776046B1 (en) | 2018-06-08 | 2020-09-15 | Pure Storage, Inc. | Optimized non-uniform memory access |
US11281577B1 (en) | 2018-06-19 | 2022-03-22 | Pure Storage, Inc. | Garbage collection tuning for low drive wear |
US11869586B2 (en) | 2018-07-11 | 2024-01-09 | Pure Storage, Inc. | Increased data protection by recovering data from partially-failed solid-state devices |
CN109145052B (zh) * | 2018-07-12 | 2021-10-08 | 北京炎黄盈动科技发展有限责任公司 | 数据分区存储方法、设备、系统、存储介质及电子设备 |
CN110738558B (zh) * | 2018-07-20 | 2024-03-05 | 京东科技控股股份有限公司 | 信息修复方法、装置、电子设备及计算机可读介质 |
US11461302B1 (en) * | 2018-08-14 | 2022-10-04 | Amazon Technologies, Inc. | Storing multiple instances of data items to implement key overloading in database tables |
KR102177489B1 (ko) * | 2018-08-17 | 2020-11-11 | 주식회사 마크베이스 | 센서 태그 데이터를 위한 색인 검색 방법 및 장치 |
US11133076B2 (en) | 2018-09-06 | 2021-09-28 | Pure Storage, Inc. | Efficient relocation of data between storage devices of a storage system |
US11194759B2 (en) | 2018-09-06 | 2021-12-07 | Pure Storage, Inc. | Optimizing local data relocation operations of a storage device of a storage system |
CN109407975B (zh) * | 2018-09-19 | 2020-08-25 | 华为技术有限公司 | 写数据方法与计算节点以及分布式存储系统 |
US11100071B2 (en) | 2018-10-10 | 2021-08-24 | Micron Technology, Inc. | Key-value store tree data block spill with compaction |
US10915546B2 (en) | 2018-10-10 | 2021-02-09 | Micron Technology, Inc. | Counter-based compaction of key-value store tree data block |
US10846216B2 (en) | 2018-10-25 | 2020-11-24 | Pure Storage, Inc. | Scalable garbage collection |
US11113409B2 (en) | 2018-10-26 | 2021-09-07 | Pure Storage, Inc. | Efficient rekey in a transparent decrypting storage array |
US10922142B2 (en) | 2018-10-31 | 2021-02-16 | Nutanix, Inc. | Multi-stage IOPS allocation |
CN109818836B (zh) * | 2018-11-08 | 2021-12-14 | 平安科技(深圳)有限公司 | 服务接入方法、装置、计算机设备及计算机存储介质 |
US11625273B1 (en) * | 2018-11-23 | 2023-04-11 | Amazon Technologies, Inc. | Changing throughput capacity to sustain throughput for accessing individual items in a database |
CN109298949B (zh) * | 2018-12-04 | 2021-08-20 | 国网辽宁省电力有限公司大连供电公司 | 一种分布式文件系统的资源调度系统 |
CN109766204A (zh) * | 2018-12-13 | 2019-05-17 | 平安普惠企业管理有限公司 | 智能故障处理方法、装置、设备及可读存储介质 |
US11048755B2 (en) | 2018-12-14 | 2021-06-29 | Micron Technology, Inc. | Key-value store tree with selective use of key portion |
US10852978B2 (en) | 2018-12-14 | 2020-12-01 | Micron Technology, Inc. | Key-value store using journaling with selective data storage format |
US10936661B2 (en) | 2018-12-26 | 2021-03-02 | Micron Technology, Inc. | Data tree with order-based node traversal |
US11194473B1 (en) | 2019-01-23 | 2021-12-07 | Pure Storage, Inc. | Programming frequently read data to low latency portions of a solid-state storage array |
CN111506553B (zh) * | 2019-01-31 | 2023-07-04 | 阿里巴巴集团控股有限公司 | 数据库的功能设定方法及装置 |
WO2020180291A1 (en) * | 2019-03-04 | 2020-09-10 | Hitachi Vantara Llc | Metadata routing in a distributed system |
CN110008173A (zh) * | 2019-03-07 | 2019-07-12 | 深圳市买买提信息科技有限公司 | 一种数据存储的方法及装置 |
US11588633B1 (en) | 2019-03-15 | 2023-02-21 | Pure Storage, Inc. | Decommissioning keys in a decryption storage system |
US11221782B1 (en) | 2019-03-27 | 2022-01-11 | Amazon Technologies, Inc. | Customizable progressive data-tiering service |
US11334254B2 (en) | 2019-03-29 | 2022-05-17 | Pure Storage, Inc. | Reliability based flash page sizing |
US11397674B1 (en) | 2019-04-03 | 2022-07-26 | Pure Storage, Inc. | Optimizing garbage collection across heterogeneous flash devices |
US11775189B2 (en) | 2019-04-03 | 2023-10-03 | Pure Storage, Inc. | Segment level heterogeneity |
US10990480B1 (en) | 2019-04-05 | 2021-04-27 | Pure Storage, Inc. | Performance of RAID rebuild operations by a storage group controller of a storage system |
US10997206B2 (en) * | 2019-04-08 | 2021-05-04 | Sap Se | Subscription-based change data capture mechanism using database triggers |
US12087382B2 (en) | 2019-04-11 | 2024-09-10 | Pure Storage, Inc. | Adaptive threshold for bad flash memory blocks |
US11099986B2 (en) | 2019-04-12 | 2021-08-24 | Pure Storage, Inc. | Efficient transfer of memory contents |
US11487665B2 (en) | 2019-06-05 | 2022-11-01 | Pure Storage, Inc. | Tiered caching of data in a storage system |
US11281394B2 (en) | 2019-06-24 | 2022-03-22 | Pure Storage, Inc. | Replication across partitioning schemes in a distributed storage system |
US10929046B2 (en) | 2019-07-09 | 2021-02-23 | Pure Storage, Inc. | Identifying and relocating hot data to a cache determined with read velocity based on a threshold stored at a storage device |
US11422751B2 (en) | 2019-07-18 | 2022-08-23 | Pure Storage, Inc. | Creating a virtual storage system |
US11086713B1 (en) | 2019-07-23 | 2021-08-10 | Pure Storage, Inc. | Optimized end-to-end integrity storage system |
US11963321B2 (en) | 2019-09-11 | 2024-04-16 | Pure Storage, Inc. | Low profile latching mechanism |
CN112541718B (zh) * | 2019-09-20 | 2023-09-01 | 百度在线网络技术(北京)有限公司 | 物料处理方法和装置 |
CN110704411B (zh) * | 2019-09-27 | 2022-12-09 | 京东方科技集团股份有限公司 | 适用于艺术领域的知识图谱搭建方法及装置、电子设备 |
US11403043B2 (en) | 2019-10-15 | 2022-08-02 | Pure Storage, Inc. | Efficient data compression by grouping similar data within a data segment |
CN110753056B (zh) * | 2019-10-25 | 2022-05-13 | 高秀芬 | 一种非交互式加密访问控制方法 |
US11941116B2 (en) | 2019-11-22 | 2024-03-26 | Pure Storage, Inc. | Ransomware-based data protection parameter modification |
US12050683B2 (en) * | 2019-11-22 | 2024-07-30 | Pure Storage, Inc. | Selective control of a data synchronization setting of a storage system based on a possible ransomware attack against the storage system |
US11520907B1 (en) | 2019-11-22 | 2022-12-06 | Pure Storage, Inc. | Storage system snapshot retention based on encrypted data |
US11687418B2 (en) | 2019-11-22 | 2023-06-27 | Pure Storage, Inc. | Automatic generation of recovery plans specific to individual storage elements |
US11720692B2 (en) | 2019-11-22 | 2023-08-08 | Pure Storage, Inc. | Hardware token based management of recovery datasets for a storage system |
US11625481B2 (en) | 2019-11-22 | 2023-04-11 | Pure Storage, Inc. | Selective throttling of operations potentially related to a security threat to a storage system |
US11651075B2 (en) | 2019-11-22 | 2023-05-16 | Pure Storage, Inc. | Extensible attack monitoring by a storage system |
US11720714B2 (en) | 2019-11-22 | 2023-08-08 | Pure Storage, Inc. | Inter-I/O relationship based detection of a security threat to a storage system |
US12067118B2 (en) | 2019-11-22 | 2024-08-20 | Pure Storage, Inc. | Detection of writing to a non-header portion of a file as an indicator of a possible ransomware attack against a storage system |
US11615185B2 (en) | 2019-11-22 | 2023-03-28 | Pure Storage, Inc. | Multi-layer security threat detection for a storage system |
US12079502B2 (en) | 2019-11-22 | 2024-09-03 | Pure Storage, Inc. | Storage element attribute-based determination of a data protection policy for use within a storage system |
US11657155B2 (en) | 2019-11-22 | 2023-05-23 | Pure Storage, Inc | Snapshot delta metric based determination of a possible ransomware attack against data maintained by a storage system |
US11645162B2 (en) | 2019-11-22 | 2023-05-09 | Pure Storage, Inc. | Recovery point determination for data restoration in a storage system |
US11755751B2 (en) | 2019-11-22 | 2023-09-12 | Pure Storage, Inc. | Modify access restrictions in response to a possible attack against data stored by a storage system |
US11675898B2 (en) | 2019-11-22 | 2023-06-13 | Pure Storage, Inc. | Recovery dataset management for security threat monitoring |
US11341236B2 (en) | 2019-11-22 | 2022-05-24 | Pure Storage, Inc. | Traffic-based detection of a security threat to a storage system |
US11500788B2 (en) | 2019-11-22 | 2022-11-15 | Pure Storage, Inc. | Logical address based authorization of operations with respect to a storage system |
US12079333B2 (en) | 2019-11-22 | 2024-09-03 | Pure Storage, Inc. | Independent security threat detection and remediation by storage systems in a synchronous replication arrangement |
US12050689B2 (en) | 2019-11-22 | 2024-07-30 | Pure Storage, Inc. | Host anomaly-based generation of snapshots |
US12079356B2 (en) | 2019-11-22 | 2024-09-03 | Pure Storage, Inc. | Measurement interval anomaly detection-based generation of snapshots |
CN112860654B (zh) * | 2019-11-27 | 2024-01-30 | 中国电信股份有限公司 | 数据分片处理方法、装置以及存储介质 |
CN111190882B (zh) * | 2019-12-03 | 2023-07-11 | 泰康保险集团股份有限公司 | 目标模板创建方法及装置、电子设备、存储介质 |
JP2021135791A (ja) * | 2020-02-27 | 2021-09-13 | 富士通株式会社 | 最適化装置、最適化方法、及び最適化プログラム |
US11507622B2 (en) | 2020-03-25 | 2022-11-22 | The Toronto-Dominion Bank | System and method for automatically managing storage resources of a big data platform |
US10860609B1 (en) * | 2020-03-25 | 2020-12-08 | Snowflake Inc. | Distributed stop operator for query processing |
US20210303633A1 (en) * | 2020-03-30 | 2021-09-30 | International Business Machines Corporation | Shard hashing |
US11755620B1 (en) * | 2020-04-09 | 2023-09-12 | Amazon Technologies, Inc. | Invoking supported non-relational database operations to provide results consistent with commands specified in a relational query language |
CN111858200B (zh) * | 2020-06-22 | 2023-10-20 | 银清科技有限公司 | 系统测试中的吞吐量控制方法、装置及电子设备 |
US11250022B1 (en) | 2020-09-29 | 2022-02-15 | Amazon Technologies, Inc. | Offline index builds for database tables |
US11436211B1 (en) * | 2020-09-29 | 2022-09-06 | Amazon Technologies, Inc. | Renaming a database table with minimized application downtime |
US11880385B1 (en) | 2020-09-29 | 2024-01-23 | Amazon Technologies, Inc. | Ordering updates to secondary indexes using conditional operations |
US11544294B2 (en) | 2020-12-10 | 2023-01-03 | Sap Se | Distributing tables in a distributed database using consolidated grouping sources |
CN112597219A (zh) * | 2020-12-15 | 2021-04-02 | 中国建设银行股份有限公司 | 用于将大数据量的文本文件导入分布式数据库的方法及装置 |
US11356524B1 (en) * | 2020-12-18 | 2022-06-07 | International Business Machines Corporation | Coordinating requests actioned at a scalable application |
US11755543B2 (en) * | 2020-12-29 | 2023-09-12 | International Business Machines Corporation | Optimization of workflows with dynamic file caching |
CN112860694B (zh) * | 2021-02-04 | 2024-05-17 | 京东科技控股股份有限公司 | 业务数据的处理方法、装置及设备 |
CN113742336A (zh) * | 2021-02-09 | 2021-12-03 | 北京沃东天骏信息技术有限公司 | 一种数据处理方法及设备、存储介质 |
CN113645304B (zh) * | 2021-08-13 | 2023-06-16 | 恒生电子股份有限公司 | 数据服务处理方法及相关设备 |
US11836360B2 (en) | 2021-12-08 | 2023-12-05 | International Business Machines Corporation | Generating multi-dimensional host-specific storage tiering |
CN114510474B (zh) * | 2022-02-18 | 2024-06-18 | 中兴通讯股份有限公司 | 基于时间衰减的样本删除方法及其装置、存储介质 |
CN114490674B (zh) * | 2022-04-18 | 2022-07-05 | 北京奥星贝斯科技有限公司 | 分区表建立、针对分区表的数据写入、读取方法及装置 |
CN115484203B (zh) * | 2022-09-14 | 2024-05-24 | 云合智网(上海)技术有限公司 | 一种路由表项操作方法、装置、设备及存储介质 |
CN115309766B (zh) * | 2022-10-12 | 2023-03-24 | 北京奥星贝斯科技有限公司 | 一种数据库业务执行的方法及装置 |
CN117038050B (zh) * | 2023-10-10 | 2024-01-26 | 深圳华声医疗技术股份有限公司 | 生理参数异常处理方法、系统及医疗设备 |
Family Cites Families (76)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US4905138A (en) * | 1985-10-17 | 1990-02-27 | Westinghouse Electric Corp. | Meta-interpreter |
US5555409A (en) * | 1990-12-04 | 1996-09-10 | Applied Technical Sysytem, Inc. | Data management systems and methods including creation of composite views of data |
US5835755A (en) * | 1994-04-04 | 1998-11-10 | At&T Global Information Solutions Company | Multi-processor computer system for operating parallel client/server database processes |
US5627979A (en) * | 1994-07-18 | 1997-05-06 | International Business Machines Corporation | System and method for providing a graphical user interface for mapping and accessing objects in data stores |
US6061515A (en) * | 1994-07-18 | 2000-05-09 | International Business Machines Corporation | System and method for providing a high level language for mapping and accessing objects in data stores |
US5819251A (en) * | 1996-02-06 | 1998-10-06 | Oracle Corporation | System and apparatus for storage retrieval and analysis of relational and non-relational data |
EP1005674A4 (en) * | 1997-07-15 | 2002-03-13 | Pocket Soft Inc | SYSTEM FOR DETECTING DIFFERENCES BETWEEN TWO COMPUTER FILES AND UPDATING OF COMPUTER FILES |
US6148349A (en) * | 1998-02-06 | 2000-11-14 | Ncr Corporation | Dynamic and consistent naming of fabric attached storage by a file system on a compute node storing information mapping API system I/O calls for data objects with a globally unique identification |
US6442560B1 (en) * | 1999-06-22 | 2002-08-27 | Microsoft Corporation | Record for multidimensional databases |
JP2001331332A (ja) * | 2000-05-22 | 2001-11-30 | Nippon Telegr & Teleph Corp <Ntt> | アプリケーションシステムのリソース予約方法、予約装置、リソース量推定装置およびコンピュータシステム |
US6721749B1 (en) * | 2000-07-06 | 2004-04-13 | Microsoft Corporation | Populating a data warehouse using a pipeline approach |
JP4292693B2 (ja) * | 2000-07-07 | 2009-07-08 | 株式会社日立製作所 | 計算機資源分割装置および資源分割方法 |
EP1312007A4 (en) * | 2000-07-17 | 2008-01-02 | Galactic Computing Corp Bvi Ib | PROCESS AND SYSTEM FOR PROVIDING THE MANAGEMENT OF A DYNAMIC HOST SERVICE |
US20020126659A1 (en) * | 2001-03-07 | 2002-09-12 | Ling-Zhong Liu | Unified software architecture for switch connection management |
JP2002342269A (ja) * | 2001-05-14 | 2002-11-29 | Hitachi Ltd | リソース管理テーブル数最適化方法及びその実施システム並びにその処理プログラム |
WO2002101968A2 (en) * | 2001-06-11 | 2002-12-19 | Bluefire Security Technology | Packet filtering system and methods |
US7117225B2 (en) | 2001-08-13 | 2006-10-03 | Jasmin Cosic | Universal data management interface |
JP3879471B2 (ja) * | 2001-10-10 | 2007-02-14 | 株式会社日立製作所 | 計算機資源割当方法 |
US7185317B2 (en) * | 2002-02-14 | 2007-02-27 | Hubbard & Wells | Logical data modeling and integrated application framework |
CA2425297A1 (en) * | 2002-04-15 | 2003-10-15 | Exchange Synergism Ltd. | Method, system and apparatus for measuring and analyzing business volume |
US6920460B1 (en) * | 2002-05-29 | 2005-07-19 | Oracle International Corporation | Systems and methods for managing partitioned indexes that are created and maintained by user-defined indexing schemes |
US7480912B2 (en) | 2003-05-29 | 2009-01-20 | International Business Machines Corporation | Method for policy-based, autonomically allocated storage |
JP2004362449A (ja) * | 2003-06-06 | 2004-12-24 | Mitsubishi Electric Corp | サービス提供装置及びサービスコーディネータ装置及びサービス提供方法及びサービスコーディネート方法及びプログラム及びプログラムを記録したコンピュータ読み取り可能な記録媒体 |
US7289990B2 (en) * | 2003-06-26 | 2007-10-30 | International Business Machines Corporation | Method and apparatus for reducing index sizes and increasing performance of non-relational databases |
US7516115B2 (en) * | 2003-08-20 | 2009-04-07 | International Business Machines Corporation | Method and system for optimizing performance in non-relational databases |
DE60303413T2 (de) * | 2003-09-09 | 2006-09-28 | Sap Ag | Verfahren und computersystem zum reduzieren von ausführungszeiten bei der materialbedarfsplanung |
US7779039B2 (en) | 2004-04-02 | 2010-08-17 | Salesforce.Com, Inc. | Custom entities and fields in a multi-tenant database system |
US7614051B2 (en) * | 2003-12-16 | 2009-11-03 | Microsoft Corporation | Creating file systems within a file in a storage technology-abstracted manner |
US7457806B2 (en) * | 2003-12-18 | 2008-11-25 | International Business Machines Corporation | Accessing a non-relational store with a container-managed persistence bean via a web service function |
US20050192962A1 (en) * | 2004-02-26 | 2005-09-01 | Patricia Furrer | Apparatus, system, method for enabling web-applications to access enterprise managed data |
KR100611578B1 (ko) * | 2004-11-23 | 2006-08-10 | 한국전자통신연구원 | 차등화 서비스 제공을 위한 자원 할당 장치 및 그 방법 |
US7877405B2 (en) * | 2005-01-07 | 2011-01-25 | Oracle International Corporation | Pruning of spatial queries using index root MBRS on partitioned indexes |
US7853961B2 (en) * | 2005-02-28 | 2010-12-14 | Microsoft Corporation | Platform for data services across disparate application frameworks |
JP2006293981A (ja) * | 2005-03-18 | 2006-10-26 | Hitachi Ltd | データベース格納方法、および、データベース格納システム |
CN100367727C (zh) * | 2005-07-26 | 2008-02-06 | 华中科技大学 | 一种可扩展的基于对象的存储系统及其控制方法 |
US8798253B2 (en) * | 2005-07-29 | 2014-08-05 | Verizon Patent And Licensing Inc. | Network routing |
JP5050854B2 (ja) * | 2005-09-20 | 2012-10-17 | 日本電気株式会社 | 資源量計算システム、方法およびプログラム |
JP2007086951A (ja) * | 2005-09-21 | 2007-04-05 | Hitachi Software Eng Co Ltd | ファイル分割処理方法及びファイル分割プログラム |
US7716180B2 (en) | 2005-12-29 | 2010-05-11 | Amazon Technologies, Inc. | Distributed storage system with web services client interface |
US8589574B1 (en) * | 2005-12-29 | 2013-11-19 | Amazon Technologies, Inc. | Dynamic application instance discovery and state management within a distributed system |
US8554758B1 (en) * | 2005-12-29 | 2013-10-08 | Amazon Technologies, Inc. | Method and apparatus for monitoring and maintaining health in a searchable data service |
US7801912B2 (en) | 2005-12-29 | 2010-09-21 | Amazon Technologies, Inc. | Method and apparatus for a searchable data service |
US7747608B1 (en) * | 2006-01-25 | 2010-06-29 | Outlooksoft Corporation | Systems and methods for structuring database queries |
US8589249B2 (en) * | 2006-02-28 | 2013-11-19 | Esnipe, Inc. | Dynamic load adjustment for online auction bidding |
US7725495B2 (en) | 2006-04-11 | 2010-05-25 | Microsoft Corporation | Implementing referential integrity in a database hosting service |
JP2006302307A (ja) * | 2006-06-08 | 2006-11-02 | Hitachi Ltd | 記憶装置管理方法 |
CN101188569B (zh) * | 2006-11-16 | 2011-05-04 | 饶大平 | 在网络上构建数据量子空间的方法及分布式文件存储系统 |
US20080275790A1 (en) * | 2007-05-03 | 2008-11-06 | Tom Campbell | Bid groups for online auctions |
US20080311946A1 (en) * | 2007-06-13 | 2008-12-18 | Motorola, Inc. | System and method for dynamically providing control plane capacity |
US7788233B1 (en) * | 2007-07-05 | 2010-08-31 | Amazon Technologies, Inc. | Data store replication for entity based partition |
US7774318B2 (en) * | 2007-07-30 | 2010-08-10 | Sap Ag | Method and system for fast deletion of database information |
US8347292B2 (en) * | 2007-08-30 | 2013-01-01 | International Business Machines Corporation | Transaction aggregation to increase transaction processing throughout |
US7779045B2 (en) * | 2007-09-27 | 2010-08-17 | Microsoft Corporation | Lazy updates to indexes in a database |
US7949687B1 (en) * | 2007-12-31 | 2011-05-24 | Teradata Us, Inc. | Relational database system having overlapping partitions |
US8505073B2 (en) | 2007-12-31 | 2013-08-06 | United States Cellular Corporation | Service utilization control manager |
JP5203733B2 (ja) * | 2008-02-01 | 2013-06-05 | 株式会社東芝 | コーディネータサーバ、データ割当方法及びプログラム |
US20090198654A1 (en) | 2008-02-05 | 2009-08-06 | Microsoft Corporation | Detecting relevant content blocks in text |
US20090282414A1 (en) * | 2008-05-07 | 2009-11-12 | Branda Steven J | Prioritized Resource Access Management |
JP5408600B2 (ja) * | 2008-05-28 | 2014-02-05 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 決定装置、データベース装置、プログラムおよび決定方法 |
US9996572B2 (en) * | 2008-10-24 | 2018-06-12 | Microsoft Technology Licensing, Llc | Partition management in a partitioned, scalable, and available structured storage |
JP2010205209A (ja) * | 2009-03-06 | 2010-09-16 | Hitachi Ltd | 管理計算機、計算機システム、物理リソース割り当て方法 |
US20100250746A1 (en) * | 2009-03-30 | 2010-09-30 | Hitachi, Ltd. | Information technology source migration |
US9305105B2 (en) * | 2009-05-26 | 2016-04-05 | Google Inc. | System and method for aggregating analytics data |
US8725487B2 (en) | 2009-08-07 | 2014-05-13 | Sas Institute, Inc. | Techniques to automatically generate simulated information |
US8055615B2 (en) | 2009-08-25 | 2011-11-08 | Yahoo! Inc. | Method for efficient storage node replacement |
US8074107B2 (en) * | 2009-10-26 | 2011-12-06 | Amazon Technologies, Inc. | Failover and recovery for replicated data instances |
CN102053975A (zh) * | 2009-10-30 | 2011-05-11 | 国际商业机器公司 | 数据库系统和跨数据库查询优化方法 |
US8484354B2 (en) * | 2009-11-02 | 2013-07-09 | Beaumaris Networks, Inc. | Distributed resource management |
US9824108B2 (en) * | 2010-04-19 | 2017-11-21 | Salesforce.Com, Inc. | Methods and systems for performing transparent object migration across storage tiers |
US9886483B1 (en) * | 2010-04-29 | 2018-02-06 | Quest Software Inc. | System for providing structured query language access to non-relational data stores |
US10452629B2 (en) * | 2010-07-13 | 2019-10-22 | International Business Machines Corporation | Automatic maintenance of a set of indexes with different currency characteristics in a database management system |
US8694400B1 (en) * | 2010-09-14 | 2014-04-08 | Amazon Technologies, Inc. | Managing operational throughput for shared resources |
CN101957863B (zh) * | 2010-10-14 | 2012-05-09 | 广州从兴电子开发有限公司 | 数据并行处理方法、装置及系统 |
US20130036034A1 (en) * | 2011-06-09 | 2013-02-07 | Social Financial, Inc. | Method and System for Distributed Network Accounting |
US8595267B2 (en) * | 2011-06-27 | 2013-11-26 | Amazon Technologies, Inc. | System and method for implementing a scalable data storage service |
US8589450B2 (en) * | 2011-12-28 | 2013-11-19 | Business Objects Software Limited | Mapping non-relational database objects into a relational database model |
-
2011
- 2011-06-27 US US13/170,031 patent/US8595267B2/en active Active
-
2012
- 2012-06-27 CN CN201280037292.5A patent/CN104067216B/zh active Active
- 2012-06-27 EP EP12803794.2A patent/EP2724268B1/en active Active
- 2012-06-27 EP EP18212869.4A patent/EP3495944A1/en not_active Withdrawn
- 2012-06-27 CA CA3053376A patent/CA3053376C/en active Active
- 2012-06-27 CA CA2839121A patent/CA2839121C/en active Active
- 2012-06-27 WO PCT/US2012/044371 patent/WO2013003443A2/en active Application Filing
- 2012-06-27 BR BR112013033693A patent/BR112013033693A2/pt not_active Application Discontinuation
- 2012-06-27 JP JP2014518955A patent/JP5798248B2/ja active Active
- 2012-06-27 CN CN201710435782.5A patent/CN107247778B/zh active Active
- 2012-06-27 CN CN202110923965.8A patent/CN113626525B/zh active Active
-
2013
- 2013-11-25 US US14/088,786 patent/US8918435B2/en active Active
-
2014
- 2014-12-22 US US14/579,602 patent/US9432459B2/en active Active
-
2015
- 2015-08-20 JP JP2015163040A patent/JP2016027476A/ja active Pending
-
2016
- 2016-08-29 US US15/250,435 patent/US9754009B2/en active Active
-
2017
- 2017-08-14 JP JP2017156531A patent/JP6560308B2/ja active Active
- 2017-09-03 US US15/694,828 patent/US10776395B2/en active Active
-
2019
- 2019-07-18 JP JP2019132958A patent/JP6962971B2/ja active Active
-
2020
- 2020-09-11 US US17/019,047 patent/US20210103604A1/en active Pending
Also Published As
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11709600B2 (en) | System and method for performing live partitioning in a data store | |
US11789925B2 (en) | System and method for conditionally updating an item with attribute granularity | |
JP6560308B2 (ja) | データ記憶サービスを実装するシステム及び方法 | |
US11609697B2 (en) | System and method for providing a committed throughput level in a data store | |
US8819027B1 (en) | System and method for partitioning and indexing table data using a composite primary key | |
US9372911B2 (en) | System and method for performing replica copying using a physical copy mechanism |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150121 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150127 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150427 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150721 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150820 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5798248 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |