JP5893028B2 - キャッシングに対応したストレージ装置上における効率的なシーケンシャルロギングのためのシステム及び方法 - Google Patents
キャッシングに対応したストレージ装置上における効率的なシーケンシャルロギングのためのシステム及び方法 Download PDFInfo
- Publication number
- JP5893028B2 JP5893028B2 JP2013524856A JP2013524856A JP5893028B2 JP 5893028 B2 JP5893028 B2 JP 5893028B2 JP 2013524856 A JP2013524856 A JP 2013524856A JP 2013524856 A JP2013524856 A JP 2013524856A JP 5893028 B2 JP5893028 B2 JP 5893028B2
- Authority
- JP
- Japan
- Prior art keywords
- sequential
- sequential log
- target size
- cache
- storage device
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/12—Replacement control
- G06F12/121—Replacement control using replacement algorithms
- G06F12/126—Replacement control using replacement algorithms with special data handling, e.g. priority of data or instructions, handling errors or pinning
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0706—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment
- G06F11/0709—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation the processing taking place on a specific hardware platform or in a specific software environment in a distributed system consisting of a plurality of standalone computer nodes, e.g. clusters, client-server systems
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/0703—Error or fault processing not based on redundancy, i.e. by taking additional measures to deal with the error or fault not making use of redundancy in operation, in hardware, or in data representation
- G06F11/0766—Error or fault reporting or storing
- G06F11/0787—Storage of error reports, e.g. persistent data storage, storage using memory protection
Description
Claims (15)
- キャッシングに対応したストレージ装置上における効率的なシーケンシャルロギングのためのコンピュータ実装方法であって、前記方法の少なくとも一部分は、少なくとも1つのプロセッサを有する演算装置によって実行される、方法であって、
キャッシュを有するストレージ装置を識別するステップと、
シーケンシャルログのために前記ストレージ装置上の空間を割り当てるステップと、
前記シーケンシャルログに振り向けられる入出力負荷に少なくとも部分的に基づいて前記シーケンシャルログのターゲットサイズを算出するステップと、
前記シーケンシャルログを前記ターゲットサイズに対応した前記割り当てられた空間の一部分に制限するステップと、
前記割り当てられた空間の前記一部分を前記キャッシュに対してピン固定することによって、前記シーケンシャルログとの関連において前記キャッシュの効率を改善するステップと、
を有するコンピュータ実装方法。 - 前記空間を割り当てる前記ステップは、ピーク負荷の際にすべての書込みの試みを受け入れるために、前記シーケンシャルログのために十分な空間を割り当てるステップを有する請求項1に記載のコンピュータ実装方法。
- 前記シーケンシャルログに振り向けられる入出力負荷に少なくとも部分的に基づいて前記シーケンシャルログの前記ターゲットサイズを再算出するステップと、
前記割り当てられた空間内において前記シーケンシャルログを前記ターゲットサイズに拡大させるステップと、
を更に有する請求項1に記載のコンピュータ実装方法。 - 前記入出力負荷に少なくとも部分的に基づいて前記シーケンシャルログの前記ターゲットサイズを算出する前記ステップは、前記入出力負荷が変化するのに伴って前記ターゲットサイズを動的に算出するステップを有する請求項3に記載のコンピュータ実装方法。
- 前記ターゲットサイズを算出する前記ステップは、
ノードのクラスタを識別するステップであって、前記クラスタ内のそれぞれのノードは、前記入出力負荷に寄与する、ステップと、
前記入出力負荷に対する前記ノードの前記寄与に基づいて前記クラスタ内のそれぞれのノードごとにターゲットサイズを算出するステップと、
を有する請求項1に記載のコンピュータ実装方法。 - 前記ターゲットサイズを算出する前記ステップは、前記シーケンシャルログのデータの消費に少なくとも部分的に基づいて前記ターゲットサイズを算出するステップを有する請求項1に記載のコンピュータ実装方法。
- 前記割り当てられた空間の前記一部分を前記キャッシュに対してピン固定するステップは、前記ストレージ装置のキャッシュメカニズムに対して命令を送信し、前記割り当てられた空間の前記一部分に対応した前記ストレージ装置上のアドレスの範囲をピン固定するステップを有する請求項1に記載のコンピュータ実装方法。
- 前記ストレージ装置が、前記シーケンシャルログへの最初の書込みの際に、ページを前記ストレージ装置から前記キャッシュにフェッチすることを妨げるステップを更に有する請求項1に記載のコンピュータ実装方法。
- 前記シーケンシャルログを使用するように構成されたアプリケーション用の有効な情報を収容してはいない前記割り当てられた空間内の領域を破棄するように前記キャッシュを構成するステップを更に有する請求項1に記載のコンピュータ実装方法。
- 前記シーケンシャルログに対する潜在的なエントリを識別するステップと、
前記潜在的なエントリが前記シーケンシャルログ内に既に存在していることを判定するステップと、
前記潜在的なエントリが前記シーケンシャルログ内にリエントリされることを遮断するステップと、
を更に有する請求項1に記載のコンピュータ実装方法。 - キャッシングに対応したストレージ装置上における効率的なシーケンシャルロギングのためのシステムであって、
キャッシュを有するストレージ装置を識別するようにプログラムされた識別モジュールと、
シーケンシャルログのために前記ストレージ装置上の空間を割り当てるようにプログラムされた割当モジュールと、
前記シーケンシャルログに振り向けられる入出力負荷に少なくとも部分的に基づいて前記シーケンシャルログのターゲットサイズを算出するようにプログラムされた算出モジュールと、
前記シーケンシャルログを前記ターゲットサイズに対応した前記割り当てられた空間の一部分に制限するようにプログラムされた制限モジュールと、
前記割り当てられた空間の前記一部分を前記キャッシュに対してピン固定することによって、前記シーケンシャルログとの関連において前記キャッシュの効率を改善するようにプログラムされたキャッシュモジュールと、
前記識別モジュール、前記割当モジュール、前記算出モジュール、前記制限モジュール及び前記キャッシュモジュールを実行するように構成された少なくとも1つのプロセッサと、
を有するシステム。 - 前記割当モジュールは、ピーク負荷の際にすべての書込みの試みを受け入れるために前記シーケンシャルログのために十分な空間を割り当てることにより、前記空間を割り当てるようにプログラムされる請求項11に記載のシステム。
- 前記算出モジュールは、前記シーケンシャルログに振り向けられる入出力負荷に少なくとも部分的に基づいて前記シーケンシャルログの前記ターゲットサイズを再算出するように更にプログラムされ、
前記制限モジュールは、前記割り当てられた空間内において前記シーケンシャルログを前記ターゲットサイズに拡大させるように更にプログラムされる請求項11に記載のシステム。 - 前記算出モジュールは、前記入出力負荷が変化するのに伴って前記ターゲットサイズを動的に算出することにより、前記入出力負荷に少なくとも部分的に基づいて前記シーケンシャルログの前記ターゲットサイズを算出するようにプログラムされる請求項13に記載のシステム。
- 前記算出モジュールは、
ノードのクラスタを識別することであって、前記クラスタ内のそれぞれのノードは、前記入出力負荷に寄与していること、
前記入出力負荷に対する前記ノードの前記寄与に基づいて前記クラスタ内のそれぞれのノードごとにターゲットサイズを算出すること、
により、前記ターゲットサイズを算出するようにプログラムされる請求項11に記載のシステム。
Applications Claiming Priority (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
US12/856,985 | 2010-08-16 | ||
US12/856,985 US8380962B2 (en) | 2010-08-16 | 2010-08-16 | Systems and methods for efficient sequential logging on caching-enabled storage devices |
PCT/US2011/044988 WO2012024054A2 (en) | 2010-08-16 | 2011-07-22 | Systems and methods for efficient sequential logging on caching-enabled storage devices |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013539111A JP2013539111A (ja) | 2013-10-17 |
JP5893028B2 true JP5893028B2 (ja) | 2016-03-23 |
Family
ID=44583385
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013524856A Expired - Fee Related JP5893028B2 (ja) | 2010-08-16 | 2011-07-22 | キャッシングに対応したストレージ装置上における効率的なシーケンシャルロギングのためのシステム及び方法 |
Country Status (5)
Country | Link |
---|---|
US (1) | US8380962B2 (ja) |
EP (1) | EP2606429B1 (ja) |
JP (1) | JP5893028B2 (ja) |
CN (1) | CN103140839B (ja) |
WO (1) | WO2012024054A2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US9800455B1 (en) * | 2012-02-08 | 2017-10-24 | Amazon Technologies, Inc. | Log monitoring system |
US9342457B2 (en) * | 2014-03-11 | 2016-05-17 | Amazon Technologies, Inc. | Dynamically modifying durability properties for individual data volumes |
CN104021088B (zh) * | 2014-06-24 | 2017-11-21 | 广东睿江云计算股份有限公司 | 日志存储方法和装置 |
CN106527959B (zh) * | 2015-09-10 | 2019-07-26 | 阿里巴巴集团控股有限公司 | 刷新磁盘输入输出请求的处理方法及设备 |
KR20210097010A (ko) * | 2020-01-29 | 2021-08-06 | 삼성전자주식회사 | 키-값 스토리지 장치들에 대한 입출력 성능을 향상을 위한 키 값 객체 입출력들 그룹화 |
US11157198B2 (en) * | 2020-03-12 | 2021-10-26 | EMC IP Holding Company LLC | Generating merge-friendly sequential IO patterns in shared logger page descriptor tiers |
Family Cites Families (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5802291A (en) * | 1995-03-30 | 1998-09-01 | Sun Microsystems, Inc. | System and method to control and administer distributed object servers using first class distributed objects |
US6321234B1 (en) | 1996-09-18 | 2001-11-20 | Sybase, Inc. | Database server system with improved methods for logging transactions |
US6324623B1 (en) * | 1997-05-30 | 2001-11-27 | Oracle Corporation | Computing system for implementing a shared cache |
JPH11306050A (ja) * | 1998-04-21 | 1999-11-05 | Mitsubishi Electric Corp | エラーログ収集方法および装置 |
US6694336B1 (en) * | 2000-01-25 | 2004-02-17 | Fusionone, Inc. | Data transfer and synchronization system |
US6516380B2 (en) * | 2001-02-05 | 2003-02-04 | International Business Machines Corporation | System and method for a log-based non-volatile write cache in a storage controller |
JP2004139483A (ja) * | 2002-10-21 | 2004-05-13 | Hitachi Ltd | 障害発生時のログ情報出力方法 |
JP2004213435A (ja) | 2003-01-07 | 2004-07-29 | Hitachi Ltd | 記憶装置システム |
US7139909B2 (en) * | 2003-10-16 | 2006-11-21 | International Business Machines Corporation | Technique for system initial program load or boot-up of electronic devices and systems |
JP4521865B2 (ja) * | 2004-02-27 | 2010-08-11 | 株式会社日立製作所 | ストレージシステム、計算機システムまたは記憶領域の属性設定方法 |
US7370163B2 (en) | 2004-05-03 | 2008-05-06 | Gemini Storage | Adaptive cache engine for storage area network including systems and methods related thereto |
US7231504B2 (en) * | 2004-05-13 | 2007-06-12 | International Business Machines Corporation | Dynamic memory management of unallocated memory in a logical partitioned data processing system |
US20060020634A1 (en) | 2004-07-20 | 2006-01-26 | International Business Machines Corporation | Method, system and program for recording changes made to a database |
WO2006061262A1 (en) * | 2004-12-09 | 2006-06-15 | International Business Machines Corporation | An on demand message based financial network integration middleware |
KR100567158B1 (ko) * | 2005-01-10 | 2006-04-03 | 삼성전자주식회사 | 캐쉬기능을 가지는 와이어드 오어 타입의 페이지 버퍼 및이를 포함하는 불휘발성 반도체 메모리 장치, 그리고,이를 이용한 프로그램 방법 |
US7461231B2 (en) * | 2006-01-12 | 2008-12-02 | International Business Machines Corporation | Autonomically adjusting one or more computer program configuration settings when resources in a logical partition change |
JP2008026970A (ja) * | 2006-07-18 | 2008-02-07 | Toshiba Corp | ストレージ装置 |
JP4692501B2 (ja) * | 2007-03-08 | 2011-06-01 | 日本電気株式会社 | データ記憶システム、及びデータ記憶方法 |
-
2010
- 2010-08-16 US US12/856,985 patent/US8380962B2/en active Active
-
2011
- 2011-07-22 WO PCT/US2011/044988 patent/WO2012024054A2/en active Application Filing
- 2011-07-22 JP JP2013524856A patent/JP5893028B2/ja not_active Expired - Fee Related
- 2011-07-22 EP EP11739249.8A patent/EP2606429B1/en active Active
- 2011-07-22 CN CN201180039786.2A patent/CN103140839B/zh active Active
Also Published As
Publication number | Publication date |
---|---|
CN103140839B (zh) | 2016-03-16 |
JP2013539111A (ja) | 2013-10-17 |
EP2606429B1 (en) | 2015-10-14 |
WO2012024054A3 (en) | 2012-05-18 |
CN103140839A (zh) | 2013-06-05 |
EP2606429A2 (en) | 2013-06-26 |
US20120042125A1 (en) | 2012-02-16 |
US8380962B2 (en) | 2013-02-19 |
WO2012024054A2 (en) | 2012-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11797181B2 (en) | Hardware accessible external memory | |
EP2891051B1 (en) | Block-level access to parallel storage | |
US9430368B1 (en) | System and method for caching data | |
US8782335B2 (en) | Latency reduction associated with a response to a request in a storage system | |
US8966188B1 (en) | RAM utilization in a virtual environment | |
US10175891B1 (en) | Minimizing read latency for solid state drives | |
US9213500B2 (en) | Data processing method and device | |
JP5893028B2 (ja) | キャッシングに対応したストレージ装置上における効率的なシーケンシャルロギングのためのシステム及び方法 | |
US9182912B2 (en) | Method to allow storage cache acceleration when the slow tier is on independent controller | |
US11262945B2 (en) | Quality of service (QOS) system and method for non-volatile memory express devices | |
CN112262407A (zh) | 分布式文件系统中基于gpu的服务器 | |
US10831684B1 (en) | Kernal driver extension system and method | |
US20160283134A1 (en) | Data replication across host systems via storage controller | |
US9781226B2 (en) | System and method for cache management | |
US9477421B1 (en) | System and method for storage management using root and data slices | |
CN105074654B (zh) | 用于存储设备上的文件系统命令的特权化执行支持的方法和系统 | |
US10101940B1 (en) | Data retrieval system and method | |
US9811286B1 (en) | System and method for storage management | |
US20240126687A1 (en) | Garbage collection processing in storage systems | |
US10120616B1 (en) | Storage management system and method | |
US9817585B1 (en) | Data retrieval system and method | |
US9135176B1 (en) | System and method for thin provisioning | |
JP2013011971A (ja) | 分散共有メモリ管理システム、分散共有メモリ管理方法、および分散共有メモリ管理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD02 | Notification of acceptance of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7422 Effective date: 20131115 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20140528 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20141105 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20141118 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150707 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150825 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160202 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160223 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5893028 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R360 | Written notification for declining of transfer of rights |
Free format text: JAPANESE INTERMEDIATE CODE: R360 |
|
R371 | Transfer withdrawn |
Free format text: JAPANESE INTERMEDIATE CODE: R371 |
|
S111 | Request for change of ownership or part of ownership |
Free format text: JAPANESE INTERMEDIATE CODE: R313111 Free format text: JAPANESE INTERMEDIATE CODE: R313113 |
|
R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
LAPS | Cancellation because of no payment of annual fees |