JP5347657B2 - データ記憶プログラム、方法、及び情報処理装置 - Google Patents
データ記憶プログラム、方法、及び情報処理装置 Download PDFInfo
- Publication number
- JP5347657B2 JP5347657B2 JP2009087385A JP2009087385A JP5347657B2 JP 5347657 B2 JP5347657 B2 JP 5347657B2 JP 2009087385 A JP2009087385 A JP 2009087385A JP 2009087385 A JP2009087385 A JP 2009087385A JP 5347657 B2 JP5347657 B2 JP 5347657B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- user data
- read
- address
- processing unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/14—Protection against unauthorised use of memory or access to memory
- G06F12/1416—Protection against unauthorised use of memory or access to memory by checking the object accessibility, e.g. type of access defined by the memory independently of subject rights
- G06F12/145—Protection against unauthorised use of memory or access to memory by checking the object accessibility, e.g. type of access defined by the memory independently of subject rights the protection being virtual, e.g. for virtual blocks or segments before a translation mechanism
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Computer Security & Cryptography (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
アドレスを格納するアドレス領域と前記アドレスに対応するユーザデータを格納するユーザデータ領域とを有するキャッシュテーブルと、
指定されたアドレスのユーザデータをディスクから読み込む読み込み手段と、
読み込んだユーザデータが差分データならば、読み込んだ差分データを伸長して、伸長したユーザデータを読み込んだユーザデータとする差分伸長手段、
読み込んだユーザデータの大きさが閾値以下ならば、読み込んだユーザデータを前記キャッシュテーブルのユーザデータ領域に書き込み、指定された論理アドレスを前記キャッシュテーブルの論理アドレス領域に書き込むキャッシュ書き込み手段と、
指定されたアドレスの更新されたユーザデータの大きさが閾値以下で、かつ、指定されたアドレスが前記キャッシュテーブル上にあるならば、前記指定されたアドレスの更新されたユーザデータと前記キャッシュテーブル上のユーザデータとの差分を圧縮して前記差分データを得る差分圧縮手段と、
得た差分データを前記ディスクに書き込む書き込み手段と、を有する。
図1は、実施形態1の情報処理装置の概略図である。
位としてデータの読み書きを要求する。
スク上のアドレスとの対応関係を記憶する。
周知のアルゴリズムを採用している。この圧縮アルゴリズムは、可逆圧縮を行うものであれば如何なるアルゴリズムであっても良い。
明は省略する。
クマップテーブルを検索し、差分データの参照元とならなくなったデータを検出して削除する。
、IC[Integrated Circuit]、ゲートアレイ、論理回路、信号処理回路、アナログ回路といった基本的な回路を備えても良い。
には、例えば、信号値に対して、増幅、加算、乗算、微分、積分を実行する回路が、含まれていてもよい。
アプリケーション部1から読み込み要求を受けると、読み込み処理部22は読み込み処理を開始する(S1)。
。ここで、キャッシュ管理部22Aは、キャッシュテーブルが満杯であれば(S11,Yes)古いキャッシュデータを破棄する(S12)。
新で、必要なデータであると判定する。
一方、S44で、読み込んだログの情報とブロックマップテーブルの情報とが一致しない場合(S44,No)、GC処理部31は、読み込んだログが差分ログか否かを判定する(S50)。S44で、この両情報が一致しないケースには、古くて不要なデータであるためブロックマップテーブルに登録されていない場合と、S41で読み出した差分ログから更に差分ログが作られ、ブロックマップテーブルの情報が最新の差分ログの情報となっている場合がある。即ち、更に差分が作られた差分ログは、最新の差分ログの差分元として必要なデータの可能性がある。従ってS50で差分データでないと判定した場合は(S50,No)、不要なデータであるので、書き込み処理を行わずにS51へ移行し、GC開始位置を進める。
部28に送り、データ圧縮処理部29で圧縮処理して圧縮ログとしてストレージデバイス3に書き込ませる(S49)。
図9は、本実施形態2としての情報処理装置の概略図である。本実施形態2の情報処理装置10は、ユーザ端末1からネットワークを介してユーザデータの読み書きの要求を受ける所謂データサーバである。本実施形態2において、前述の実施形態1と同じ要素は、同符号を付すなどにより再度の説明が省略される。
は、書き込み処理部28、データ圧縮処理部29、差分圧縮処理部30、GC処理部31として機能しても良い。
前述の実施形態1において、ストレージデバイス3は、SSD(Solid State Drive)
であっても良い。なお、SSDを用いた以外の構成は、前述の実施形態1と同じであるので、同一の要素には同符号を付すなどして再度の説明は省略する。
る。一方、データを消去する場合は、ページ61を64個ずつ集約した、512KBのブロック
62ごとに処理が行われる。
本発明は、上述の図示例にのみ限定されるものではなく、本発明の要旨を逸脱しない範囲内において種々変更を加え得ることは勿論である。
アドレスを格納するアドレス領域と前記アドレスに対応するユーザデータを格納するユーザデータ領域とを有するキャッシュテーブルを有する情報処理装置に、
指定されたアドレスのユーザデータを記録媒体から読み込む読み込み手順、
読み込んだユーザデータが差分データならば、読み込んだ差分データを伸長して、伸長したユーザデータを読み込んだユーザデータとする差分伸長手順、
読み込んだユーザデータの大きさが閾値以下ならば、読み込んだユーザデータを前記キャッシュテーブルのユーザデータ領域に書き込み、指定されたアドレスを前記キャッシュテーブルのアドレス領域に書き込むキャッシュ書き込み手順、
指定されたアドレスの更新されたユーザデータの大きさが閾値以下で、かつ、指定されたアドレスが前記キャッシュテーブル上にあるならば、前記指定されたアドレスの更新されたユーザデータと前記キャッシュテーブル上のユーザデータとの差分データを得る差分手順、
得た差分データを前記ディスクに書き込む書き込み手順、
を実行させるためのデータ記憶プログラム。
前記情報処理装置に、
読み込んだユーザデータが前記差分データならば、読み込んだ差分データを伸長して、伸長したユーザデータを前記ディスクに書き込んだ後に、前記ディスクをガベージコレクションするガベージコレクション手順、
を更に実行させるための付記1記載のデータ記憶プログラム。
前記閾値はページサイズまたはセクタサイズである、付記1または2記載のデータ記憶プログラム。
アドレスを格納するアドレス領域と前記アドレスに対応するユーザデータを格納するユーザデータ領域とを有するキャッシュテーブルと、
指定されたアドレスのユーザデータをディスクから読み込む読み込み手段と、
読み込んだユーザデータが差分データならば、読み込んだ差分データを伸長して、伸長したユーザデータを読み込んだユーザデータとする差分伸長手段、
読み込んだユーザデータの大きさが閾値以下ならば、読み込んだユーザデータを前記キャッシュテーブルのユーザデータ領域に書き込み、指定された論理アドレスを前記キャッシュテーブルの論理アドレス領域に書き込むキャッシュ書き込み手段と、
指定されたアドレスの更新されたユーザデータの大きさが閾値以下で、かつ、指定されたアドレスが前記キャッシュテーブル上にあるならば、前記指定されたアドレスの更新されたユーザデータと前記キャッシュテーブル上のユーザデータとの差分を圧縮して前記差分データを得る差分圧縮手段と、
得た差分データを前記ディスクに書き込む書き込み手段と、
を有する情報処理装置。
読み込んだユーザデータが前記差分データならば、読み込んだ差分データを伸長して、伸長したユーザデータを前記ディスクに書き込んだ後に、前記ディスクをガベージコレクションするガベージコレクション手段、
を更に有する付記4記載の情報処理装置。
前記閾値はページサイズまたはセクタサイズである、付記4または5記載の情報処理装置。
アドレスを格納するアドレス領域と前記アドレスに対応するユーザデータを格納するユーザデータ領域とを有するキャッシュテーブルを有する情報処理装置が、
指定されたアドレスのユーザデータを記録媒体から読み込む読み込み手順、
読み込んだユーザデータが差分データならば、読み込んだ差分データを伸長して、伸長したユーザデータを読み込んだユーザデータとする差分伸長手順、
読み込んだユーザデータの大きさが閾値以下ならば、読み込んだユーザデータを前記キャッシュテーブルのユーザデータ領域に書き込み、指定されたアドレスを前記キャッシュテーブルのアドレス領域に書き込むキャッシュ書き込み手順、
指定されたアドレスの更新されたユーザデータの大きさが閾値以下で、かつ、指定されたアドレスが前記キャッシュテーブル上にあるならば、前記指定されたアドレスの更新されたユーザデータと前記キャッシュテーブル上のユーザデータとの差分データを得る差分手順、
得た差分データを前記ディスクに書き込む書き込み手順、
を実行するデータ記憶方法。
前記情報処理装置に、
読み込んだユーザデータが前記差分データならば、読み込んだ差分データを伸長して、伸長したユーザデータを前記ディスクに書き込んだ後に、前記ディスクをガベージコレクションするガベージコレクション手順、
を更に実行させる付記7記載のデータ記憶方法。
前記閾値はページサイズまたはセクタサイズである、付記7または8記載のデータ記憶方法。
Claims (6)
- アドレスを格納するアドレス領域と前記アドレスに対応するユーザデータを格納するユーザデータ領域とを有するキャッシュテーブルを有する情報処理装置に、
指定されたアドレスのユーザデータを記録媒体から読み込む読み込み手順、
読み込んだユーザデータが差分データならば、読み込んだ差分データを伸長して、伸長したユーザデータを読み込んだユーザデータとする差分伸長手順、
読み込んだユーザデータの大きさが閾値以下ならば、読み込んだユーザデータを前記キャッシュテーブルのユーザデータ領域に書き込み、指定されたアドレスを前記キャッシュテーブルのアドレス領域に書き込むキャッシュ書き込み手順、
指定されたアドレスの更新されたユーザデータの大きさが閾値以下で、かつ、指定されたアドレスが前記キャッシュテーブル上にあるならば、前記指定されたアドレスの更新されたユーザデータと前記キャッシュテーブル上のユーザデータとの差分データを得る差分手順、
得た差分データを前記記録媒体に書き込む書き込み手順、
を実行させるためのデータ記憶プログラム。 - 前記情報処理装置に、
読み込んだユーザデータが前記差分データならば、読み込んだ差分データを伸長して、伸長したユーザデータを前記記録媒体に書き込むガベージコレクション手順、
を更に実行させるための請求項1記載のデータ記憶プログラム。 - 前記閾値はページサイズまたはセクタサイズである、請求項1または2記載のデータ記憶プログラム。
- アドレスを格納するアドレス領域と前記アドレスに対応するユーザデータを格納するユーザデータ領域とを有するキャッシュテーブルと、
指定されたアドレスのユーザデータをディスクから読み込む読み込み手段と、
読み込んだユーザデータが差分データならば、読み込んだ差分データを伸長して、伸長したユーザデータを読み込んだユーザデータとする差分伸長手段、
読み込んだユーザデータの大きさが閾値以下ならば、読み込んだユーザデータを前記キ
ャッシュテーブルのユーザデータ領域に書き込み、指定された論理アドレスを前記キャッシュテーブルの論理アドレス領域に書き込むキャッシュ書き込み手段と、
指定されたアドレスの更新されたユーザデータの大きさが閾値以下で、かつ、指定されたアドレスが前記キャッシュテーブル上にあるならば、前記指定されたアドレスの更新されたユーザデータと前記キャッシュテーブル上のユーザデータとの差分を圧縮して前記差分データを得る差分圧縮手段と、
得た差分データを前記ディスクに書き込む書き込み手段と、
を有する情報処理装置。 - 読み込んだユーザデータが前記差分データならば、読み込んだ差分データを伸長して、伸長したユーザデータを前記ディスクに書き込むことを特徴とするガベージコレクション手段、
を更に有する請求項4記載の情報処理装置。 - アドレスを格納するアドレス領域と前記アドレスに対応するユーザデータを格納するユーザデータ領域とを有するキャッシュテーブルを有する情報処理装置が、
指定されたアドレスのユーザデータを記録媒体から読み込む読み込み手順、
読み込んだユーザデータが差分データならば、読み込んだ差分データを伸長して、伸長したユーザデータを読み込んだユーザデータとする差分伸長手順、
読み込んだユーザデータの大きさが閾値以下ならば、読み込んだユーザデータを前記キャッシュテーブルのユーザデータ領域に書き込み、指定されたアドレスを前記キャッシュテーブルのアドレス領域に書き込むキャッシュ書き込み手順、
指定されたアドレスの更新されたユーザデータの大きさが閾値以下で、かつ、指定されたアドレスが前記キャッシュテーブル上にあるならば、前記指定されたアドレスの更新されたユーザデータと前記キャッシュテーブル上のユーザデータとの差分データを得る差分手順、
得た差分データを前記記録媒体に書き込む書き込み手順、
を実行するデータ記憶方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009087385A JP5347657B2 (ja) | 2009-03-31 | 2009-03-31 | データ記憶プログラム、方法、及び情報処理装置 |
US12/625,965 US8214620B2 (en) | 2009-03-31 | 2009-11-25 | Computer-readable recording medium storing data storage program, computer, and method thereof |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009087385A JP5347657B2 (ja) | 2009-03-31 | 2009-03-31 | データ記憶プログラム、方法、及び情報処理装置 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2010238107A JP2010238107A (ja) | 2010-10-21 |
JP5347657B2 true JP5347657B2 (ja) | 2013-11-20 |
Family
ID=42785698
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009087385A Expired - Fee Related JP5347657B2 (ja) | 2009-03-31 | 2009-03-31 | データ記憶プログラム、方法、及び情報処理装置 |
Country Status (2)
Country | Link |
---|---|
US (1) | US8214620B2 (ja) |
JP (1) | JP5347657B2 (ja) |
Families Citing this family (18)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5391422B2 (ja) * | 2009-09-01 | 2014-01-15 | 株式会社日立製作所 | メモリ管理方法、計算機システム及びプログラム |
JP5380695B2 (ja) * | 2010-02-23 | 2014-01-08 | 株式会社日立製作所 | メモリ管理方法、計算機システム及びメモリ管理プログラム |
US9170884B2 (en) * | 2010-03-16 | 2015-10-27 | Cleversafe, Inc. | Utilizing cached encoded data slices in a dispersed storage network |
US10135462B1 (en) | 2012-06-13 | 2018-11-20 | EMC IP Holding Company LLC | Deduplication using sub-chunk fingerprints |
US9400610B1 (en) | 2012-06-13 | 2016-07-26 | Emc Corporation | Method for cleaning a delta storage system |
US9026740B1 (en) | 2012-06-13 | 2015-05-05 | Emc Corporation | Prefetch data needed in the near future for delta compression |
US8918390B1 (en) | 2012-06-13 | 2014-12-23 | Emc Corporation | Preferential selection of candidates for delta compression |
US9116902B1 (en) | 2012-06-13 | 2015-08-25 | Emc Corporation | Preferential selection of candidates for delta compression |
US8712978B1 (en) | 2012-06-13 | 2014-04-29 | Emc Corporation | Preferential selection of candidates for delta compression |
US8972672B1 (en) | 2012-06-13 | 2015-03-03 | Emc Corporation | Method for cleaning a delta storage system |
US9141301B1 (en) * | 2012-06-13 | 2015-09-22 | Emc Corporation | Method for cleaning a delta storage system |
JP6056453B2 (ja) * | 2012-12-20 | 2017-01-11 | 富士通株式会社 | プログラム、データ管理方法および情報処理装置 |
WO2015097739A1 (ja) * | 2013-12-24 | 2015-07-02 | 株式会社日立製作所 | ストレージ装置及びその制御方法 |
CN112100087B (zh) * | 2019-06-17 | 2024-04-02 | 慧荣科技股份有限公司 | 数据储存装置以及非挥发式存储器控制方法 |
CN112099985B (zh) | 2019-06-17 | 2023-09-12 | 慧荣科技股份有限公司 | 数据储存装置以及非挥发式存储器控制方法 |
CN112130750B (zh) | 2019-06-25 | 2023-11-07 | 慧荣科技股份有限公司 | 数据储存装置以及非挥发式存储器控制方法 |
CN112130749B (zh) | 2019-06-25 | 2023-12-22 | 慧荣科技股份有限公司 | 数据储存装置以及非挥发式存储器控制方法 |
US11481152B2 (en) * | 2019-12-30 | 2022-10-25 | Micron Technology, Inc. | Execution of commands addressed to a logical block |
Family Cites Families (13)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH0818458A (ja) * | 1994-06-28 | 1996-01-19 | Hitachi Ltd | データの処理方法及び装置 |
JP3426385B2 (ja) * | 1995-03-09 | 2003-07-14 | 富士通株式会社 | ディスク制御装置 |
JP3373360B2 (ja) | 1996-06-13 | 2003-02-04 | 沖電気工業株式会社 | ディスクアレイ装置 |
US6718444B1 (en) * | 2001-12-20 | 2004-04-06 | Advanced Micro Devices, Inc. | Read-modify-write for partial writes in a memory controller |
JP2004062759A (ja) | 2002-07-31 | 2004-02-26 | Hitachi Ltd | データベースログの管理方法、その装置およびそのプログラム |
JP4153324B2 (ja) * | 2003-01-31 | 2008-09-24 | 松下電器産業株式会社 | 差分データ生成装置及び方法、更新後データ復元装置及び方法、並びにプログラム |
KR100539251B1 (ko) * | 2004-03-08 | 2005-12-27 | 삼성전자주식회사 | 독출-변경-기입 기능을 가지는 메모리 컨트롤러 및 이를구비하는 soc |
US7328317B2 (en) * | 2004-10-21 | 2008-02-05 | International Business Machines Corporation | Memory controller and method for optimized read/modify/write performance |
JP4910360B2 (ja) * | 2005-10-20 | 2012-04-04 | ソニー株式会社 | 記憶装置、コンピュータシステム、およびデータ書き込み方法 |
JP4766240B2 (ja) * | 2005-11-08 | 2011-09-07 | 日本電気株式会社 | ファイル管理方法、装置、およびプログラム |
JP2008009829A (ja) * | 2006-06-30 | 2008-01-17 | Fujitsu Ltd | ストレージ制御プログラム、ストレージ制御装置、ストレージ制御方法 |
JP4907380B2 (ja) | 2007-02-21 | 2012-03-28 | 株式会社Access | データ生成方法、データ復元方法、データ生成装置およびデータ復元装置 |
US8103903B2 (en) * | 2010-02-22 | 2012-01-24 | International Business Machines Corporation | Read-modify-write protocol for maintaining parity coherency in a write-back distributed redundancy data storage system |
-
2009
- 2009-03-31 JP JP2009087385A patent/JP5347657B2/ja not_active Expired - Fee Related
- 2009-11-25 US US12/625,965 patent/US8214620B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US8214620B2 (en) | 2012-07-03 |
JP2010238107A (ja) | 2010-10-21 |
US20100250855A1 (en) | 2010-09-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5347657B2 (ja) | データ記憶プログラム、方法、及び情報処理装置 | |
JP5696118B2 (ja) | 不揮発性メモリシステムのためのウィーブシーケンスカウンタ | |
US9343153B2 (en) | De-duplication in flash memory module | |
US9927998B2 (en) | Flash memory compression | |
KR102319657B1 (ko) | 저장된 데이터 유닛들의 동작 관리 | |
JP6134857B2 (ja) | 記憶デバイス、記憶デバイスを有する装置、及び記憶制御方法 | |
KR102275431B1 (ko) | 저장된 데이터 유닛들의 동작 관리 | |
JP2011511388A (ja) | メモリマッピング技術 | |
JP2009527847A (ja) | Fatボリュームにおけるファイルベースの圧縮 | |
US11379447B2 (en) | Method and system for enhancing IOPS of a hard disk drive system based on storing metadata in host volatile memory and data in non-volatile memory using a shared controller | |
KR101285900B1 (ko) | 컨트롤러, 기억 장치, 및 컴퓨터 판독 가능한 매체 | |
US11176033B2 (en) | Data storage devices and data processing methods | |
JP2018169773A (ja) | ストレージ装置、ストレージ装置の制御方法及びプログラム | |
KR102275240B1 (ko) | 저장된 데이터 유닛들의 동작 관리 | |
US11487428B2 (en) | Storage control apparatus and storage control method | |
JP5002944B2 (ja) | 情報処理装置、撮像装置、および情報処理方法、並びにコンピュータ・プログラム | |
CN110286850B (zh) | 固态硬盘元数据的写入方法、恢复方法及固态硬盘 | |
JP2008191797A (ja) | ファイルシステム | |
KR101618999B1 (ko) | 네트워크 부트 시스템 | |
JP2018206161A (ja) | 記憶装置および記憶装置のデータ管理方法 | |
US20240086111A1 (en) | Memory system and block management method | |
JP2021022324A (ja) | 記憶制御装置および記憶制御プログラム | |
KR20170002279A (ko) | 전원 손실 이후 효과적인 데이터 복구를 위한 메모리 복구 장치 및 방법 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111205 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130412 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130423 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130612 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130723 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130805 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |