JP4561168B2 - データ処理システムおよび方法並びにその処理プログラム - Google Patents
データ処理システムおよび方法並びにその処理プログラム Download PDFInfo
- Publication number
- JP4561168B2 JP4561168B2 JP2004132485A JP2004132485A JP4561168B2 JP 4561168 B2 JP4561168 B2 JP 4561168B2 JP 2004132485 A JP2004132485 A JP 2004132485A JP 2004132485 A JP2004132485 A JP 2004132485A JP 4561168 B2 JP4561168 B2 JP 4561168B2
- Authority
- JP
- Japan
- Prior art keywords
- log
- area
- storage device
- data
- log data
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1471—Saving, restoring, recovering or retrying involving logging of persistent data for recovery
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
- G06F12/0866—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches for peripheral storage systems, e.g. disk cache
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Quality & Reliability (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System Of A Hierarchy Structure (AREA)
- Retry When Errors Occur (AREA)
Description
データベース管理システムで障害が発生した場合も、回復処理に必要なログデータを記憶装置サブシステムから読み込む際に、ログデータのディスクキャッシュヒットを保証することはできないため、ディスク装置へのアクセスが発生し、読み込み処理に時間がかかり、それに伴い回復処理に時間がかかる可能性が高い。
図1は、本発明の実施形態の一つを表すシステム構成図である。ホストコンピュータ101とディスクサブシステム201は、ネットワーク107で接続されている。ホストコンピュータ101では、データベース管理システム102が稼動し、メモリ104の中にDB用バッファ105とログ用バッファ106を持つ。ディスクサブシステム201では、ネットワークインタフェース制御部202でホストコンピュータからの命令を受け付け、それを受けて動作するディスク制御部203から、デバイスインタフェース制御部208を通してディスク装置220へのアクセスを行う。ディスク装置220は、低速な装置であるため、キャッシュメモリ204を介して入出力処理を一括して行う。キャッシュメモリ204は、ホストコンピュータ101から書き込み要求が発生した場合に、ディスク装置220に書き込むデータを一時的に保持するために使用される。キャッシュメモリ204内にデータを書き込んだ時点で書き込み完了をホストコンピュータ101に通知するので、書き込みを高速に行ったように見せることができる。また、データを読み込む場合には、キャッシュメモリ204は読み込んだデータを一時的に格納しておくために使用される。再度同一データの読込みがホストコンピュータ101から要求された場合に、キャッシュメモリ204からホストコンピュータ101へデータを返送することで、読み込み処理を高速化することができる。データベース管理システム102やログ用キャッシュ制御部103、ディスク制御部203、ディスク制御部203内の211〜214の各処理部は、プログラムやオブジェクトやハードウェアで実現することができる。
障害発生時のログデータ読込み処理については、ログ用READコマンドに付与されたバッファIDまたは、LUNおよびLBAにより、ログ用バッファ管理テーブル210を検索して、ログ用バッファ207上に格納されているログブロックを読み込む。このとき、ディスク装置221にアクセスすることはないため、高速に回復処理を行うことができる。
102:データベース管理システム
103:ログ用キャッシュ制御部
201:ディスクサブシステム
202:ネットワークインタフェース制御部
203:ディスク制御部
204:ディスクサブシステムのキャッシュメモリ
205:通常用キャッシュ領域
206:ログ用キャッシュ領域
207:ログ用バッファ
208:デバイスインタフェース制御部
209:ログ用キャッシュ管理テーブル
210:ログ用バッファ管理テーブル
220:ディスク装置
Claims (7)
- トランザクション処理を実行するデータ処理装置と、前記トランザクション処理時に生成したログデータを格納する記憶装置とを有するデータ処理システムにおいて、
前記データ処理装置は、前記記憶装置内のメモリに前記ログデータを格納する領域のサイズとその領域の識別子を含む領域確保要求を前記記憶装置へ予め送信し、前記ログデータを格納する場合は前記領域の識別情報を含む格納要求を前記記憶装置へ送信し、
前記記憶装置は、前記領域確保要求の入力に応じて前記メモリ上に該領域確保要求に含まれる所定サイズのログ用キャッシュ領域を確保し、該領域に該領域確保要求に含まれる識別情報を該領域識別情報と対応付けて記憶し、前記格納要求の入力に応じて該格納要求に含まれる識別情報に対応する前記領域に前記ログデータを格納し、
前記データ処理装置は、トランザクション処理が出力したログブロック数が所定の回数に達した時点におけるチェックポイントのタイミングで前記記憶装置にチェックポイントを通知するための通知要求を前記記憶装置へ送信し、
前記記憶装置は、前記通知要求を入力すると前記ログデータを前記メモリからディスク装置に書き込むことを特徴とするデータ処理システム。 - 前記記憶装置は、前記メモリに格納された前記ログデータについて直前のチェックポイント以前のログデータを消去することを特徴とする請求項1記載のデータ処理システム。
- 前記記憶装置は、前記メモリに格納された前記ログデータについて所定回数のチェックポイント以前のログデータを消去することを特徴とする請求項1記載のデータ処理システム。
- トランザクション処理を実行するデータ処理装置と、前記トランザクション処理時に生成したログデータを格納する記憶装置とを有するデータ処理システムにおけるデータ処理方法において、
前記データ処理装置は、前記記憶装置内のメモリに前記ログデータを格納する領域のサイズとその領域の識別子を含む領域確保要求を前記記憶装置へ予め送信し、前記ログデータを格納する場合は前記領域の識別情報を含む格納要求を前記記憶装置へ送信し、
前記記憶装置は、前記領域確保要求の入力に応じて前記メモリ上に該領域確保要求に含まれる所定サイズのログ用キャッシュ領域を確保し、該領域に該領域確保要求に含まれる識別情報を該領域識別情報と対応付けて記憶し、前記格納要求の入力に応じて該格納要求に含まれる識別情報に対応する前記領域に前記ログデータを格納し、
前記データ処理装置は、トランザクション処理が出力したログブロック数が所定の回数に達した時点におけるチェックポイントのタイミングで前記記憶装置にチェックポイントを通知するための通知要求を前記記憶装置へ送信し、
前記記憶装置は、前記通知要求を入力すると前記ログデータを前記メモリからディスク装置に書き込むことを特徴とするデータ処理方法。 - 前記記憶装置は、前記メモリに格納された前記ログデータについて直前のチェックポイント以前のログデータを消去することを特徴とする請求項4記載のデータ処理方法。
- 前記記憶装置は、前記メモリに格納された前記ログデータについて所定回数のチェックポイント以前のログデータを消去することを特徴とする請求項4記載のデータ処理方法。
- トランザクション処理を実行するデータ処理装置と、前記トランザクション処理時に生成したログデータを格納する記憶装置とを有するデータ処理システムを機能するためのデータ処理プログラムにおいて、
前記データ処理装置では、前記記憶装置内のメモリに前記ログデータを格納する領域のサイズとその領域の識別子を含む領域確保要求を前記記憶装置へ予め送信するステップと、前記ログデータを格納する場合は前記領域の識別情報を含む格納要求を前記記憶装置へ送信ステップと、
前記記憶装置では、前記領域確保要求の入力に応じて前記メモリ上に該領域確保要求に含まれる所定サイズのログ用キャッシュ領域を確保し、該領域に該領域確保要求に含まれる識別情報を該領域識別情報と対応付けて記憶するステップと、前記格納要求の入力に応じて該格納要求に含まれる識別情報に対応する前記領域に前記ログデータを格納するステップと、
前記データ処理装置では、トランザクション処理が出力したログブロック数が所定の回数に達した時点におけるチェックポイントのタイミングで前記記憶装置にチェックポイントを通知するための通知要求を前記記憶装置へ送信するステップと、
前記記憶装置では、前記通知要求を入力すると前記ログデータを前記メモリからディスク装置に書き込むステップとを有することを特徴とするデータ処理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004132485A JP4561168B2 (ja) | 2004-04-28 | 2004-04-28 | データ処理システムおよび方法並びにその処理プログラム |
US10/849,222 US7251716B2 (en) | 2004-04-28 | 2004-05-20 | Method and system for data processing with recovery capability |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004132485A JP4561168B2 (ja) | 2004-04-28 | 2004-04-28 | データ処理システムおよび方法並びにその処理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005316635A JP2005316635A (ja) | 2005-11-10 |
JP4561168B2 true JP4561168B2 (ja) | 2010-10-13 |
Family
ID=35240682
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004132485A Expired - Fee Related JP4561168B2 (ja) | 2004-04-28 | 2004-04-28 | データ処理システムおよび方法並びにその処理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US7251716B2 (ja) |
JP (1) | JP4561168B2 (ja) |
Families Citing this family (21)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8949395B2 (en) | 2004-06-01 | 2015-02-03 | Inmage Systems, Inc. | Systems and methods of event driven recovery management |
JP4506292B2 (ja) * | 2004-06-10 | 2010-07-21 | 株式会社日立製作所 | キャッシュ制御方法およびデータ処理システム並びにその処理プログラム |
JP2006268403A (ja) * | 2005-03-24 | 2006-10-05 | Fujitsu Ltd | データストレージシステム及びストレージ制御装置のログデータの等価制御方法 |
US7966450B2 (en) * | 2005-09-01 | 2011-06-21 | Micron Technology, Inc. | Non-volatile hard disk drive cache system and method |
US7765361B2 (en) * | 2006-11-21 | 2010-07-27 | Microsoft Corporation | Enforced transaction system recoverability on media without write-through |
CA2737490A1 (en) | 2008-09-17 | 2010-03-25 | Ascension Orthopedics, Inc. | Thumb metacarpal implant |
KR101505005B1 (ko) * | 2008-12-05 | 2015-03-24 | 삼성전자주식회사 | 메모리 장치 및 메모리 장치의 관리 방법 |
US8255637B2 (en) | 2010-09-27 | 2012-08-28 | Infinidat Ltd. | Mass storage system and method of operating using consistency checkpoints and destaging |
US8818954B1 (en) * | 2011-03-31 | 2014-08-26 | Emc Corporation | Change tracking |
US8938429B1 (en) | 2011-03-31 | 2015-01-20 | Emc Corporation | Resynchronization of nonactive and active segments |
US8612390B2 (en) * | 2011-05-02 | 2013-12-17 | Microsoft Corporation | Lightweight caching of transaction log for sequential access |
US20130198447A1 (en) * | 2012-01-30 | 2013-08-01 | Infinidat Ltd. | Storage system for atomic write which includes a pre-cache |
US20130198446A1 (en) * | 2012-01-30 | 2013-08-01 | Infinidat Ltd. | Storage system for atomic write of one or more commands |
US20130332413A1 (en) * | 2012-06-07 | 2013-12-12 | International Business Machines Corporation | Reducing data transfers while eliminating data loss for asynchronous replication of databases |
US9535981B2 (en) * | 2013-07-15 | 2017-01-03 | Netapp, Inc. | Systems and methods for filtering low utility value messages from system logs |
US9558078B2 (en) | 2014-10-28 | 2017-01-31 | Microsoft Technology Licensing, Llc | Point in time database restore from storage snapshots |
US10069767B1 (en) * | 2014-10-31 | 2018-09-04 | Netronome Systems, Inc. | Method of dynamically allocating buffers for packet data received onto a networking device |
JP6421240B2 (ja) * | 2015-06-01 | 2018-11-07 | 株式会社日立製作所 | 計算機システムを管理する管理システム |
US10146473B2 (en) * | 2016-05-10 | 2018-12-04 | Ge Aviation Systems Llc | Systems and methods of subject state change notification |
US10997031B2 (en) * | 2019-01-31 | 2021-05-04 | EMC IP Holding Company LLC | System and method for log metadata automatic recovery on dual controller storage system |
US11907102B2 (en) * | 2022-01-24 | 2024-02-20 | Dell Products L.P. | Dynamic debug log enabler for any protection failure jobs |
Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000284995A (ja) * | 1999-03-30 | 2000-10-13 | Fujitsu Ltd | データ処理装置及び記録媒体 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US6076151A (en) * | 1997-10-10 | 2000-06-13 | Advanced Micro Devices, Inc. | Dynamic memory allocation suitable for stride-based prefetching |
US6748487B1 (en) | 1998-02-04 | 2004-06-08 | Hitachi, Ltd. | Disk cache control method, disk array system, and storage system |
US6895416B2 (en) * | 2001-02-24 | 2005-05-17 | International Business Machines Corporation | Checkpointing filesystem |
US6721765B2 (en) * | 2002-07-02 | 2004-04-13 | Sybase, Inc. | Database system with improved methods for asynchronous logging of transactions |
JP3944449B2 (ja) * | 2002-12-19 | 2007-07-11 | 株式会社日立製作所 | 計算機システム、磁気ディスク装置、および、ディスクキャッシュ制御方法 |
JP4393762B2 (ja) * | 2002-12-19 | 2010-01-06 | 株式会社日立製作所 | データベース処理方法及び装置並びにその処理プログラム |
JP2004213435A (ja) * | 2003-01-07 | 2004-07-29 | Hitachi Ltd | 記憶装置システム |
JP2004348193A (ja) * | 2003-05-20 | 2004-12-09 | Hitachi Ltd | 情報処理システムおよびそのバックアップ方法 |
-
2004
- 2004-04-28 JP JP2004132485A patent/JP4561168B2/ja not_active Expired - Fee Related
- 2004-05-20 US US10/849,222 patent/US7251716B2/en not_active Expired - Fee Related
Patent Citations (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000284995A (ja) * | 1999-03-30 | 2000-10-13 | Fujitsu Ltd | データ処理装置及び記録媒体 |
Also Published As
Publication number | Publication date |
---|---|
US20050251625A1 (en) | 2005-11-10 |
JP2005316635A (ja) | 2005-11-10 |
US7251716B2 (en) | 2007-07-31 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4561168B2 (ja) | データ処理システムおよび方法並びにその処理プログラム | |
KR101824295B1 (ko) | 솔리드 스테이트 장치 가상화를 포함하는 캐시 관리 | |
JP6690891B2 (ja) | データミラーリング制御装置及び方法 | |
US8280858B2 (en) | Storage pool scrubbing with concurrent snapshots | |
US7895394B2 (en) | Storage system | |
US10402091B1 (en) | Managing data in log-structured storage systems | |
JP5066209B2 (ja) | コントローラ、データ記憶装置、及びプログラム | |
US7769952B2 (en) | Storage system for controlling disk cache | |
CN113868192B (zh) | 一种数据存储设备、方法与分布式数据存储系统 | |
JP4249719B2 (ja) | バックアップシステム、プログラム及びバックアップ方法 | |
JP4884041B2 (ja) | 自動拡張可能なボリュームに対して最適なi/oコマンドを発行するストレージシステム及びその制御方法 | |
US9778860B2 (en) | Re-TRIM of free space within VHDX | |
JP2002323959A (ja) | 磁気ディスク制御装置のログ主体不揮発性書き込みキャッシュ・システム及び方法 | |
US8862819B2 (en) | Log structure array | |
CN111007991A (zh) | 基于nvdimm分离读写请求的方法及其计算机 | |
US20190243758A1 (en) | Storage control device and storage control method | |
US20160357672A1 (en) | Methods and apparatus for atomic write processing | |
US20140331007A1 (en) | Virtual library controller and control method | |
JP4189342B2 (ja) | ストレージ装置、ストレージコントローラ及びライトバックキャッシュ制御方法 | |
JP2006011811A (ja) | 記憶制御システム及び記憶制御方法 | |
KR100981064B1 (ko) | 저널링 파일 시스템을 이용한 소프트웨어 레이드에서의 일관성 유지방법 | |
JP2005316632A (ja) | キャッシュ制御およびデータ処理システム並びにその処理プログラム | |
JP4506292B2 (ja) | キャッシュ制御方法およびデータ処理システム並びにその処理プログラム | |
JP2014059760A (ja) | ストレージ装置、ストレージ装置の制御方法、及びストレージ装置の制御プログラム | |
JP2010160544A (ja) | キャッシュメモリシステム及びキャッシュメモリの制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060424 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20070226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20100316 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100512 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20100706 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20100719 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130806 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130806 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |