JP5216915B2 - ストレージ装置 - Google Patents
ストレージ装置 Download PDFInfo
- Publication number
- JP5216915B2 JP5216915B2 JP2011514963A JP2011514963A JP5216915B2 JP 5216915 B2 JP5216915 B2 JP 5216915B2 JP 2011514963 A JP2011514963 A JP 2011514963A JP 2011514963 A JP2011514963 A JP 2011514963A JP 5216915 B2 JP5216915 B2 JP 5216915B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- segment
- block
- information
- pattern
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H03—ELECTRONIC CIRCUITRY
- H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
- H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
- H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/07—Responding to the occurrence of a fault, e.g. fault tolerance
- G06F11/14—Error detection or correction of the data by redundancy in operation
- G06F11/1402—Saving, restoring, recovering or retrying
- G06F11/1446—Point-in-time backing up or restoration of persistent data
- G06F11/1448—Management of the data involved in backup or backup restore
- G06F11/1451—Management of the data involved in backup or backup restore by selection of backup contents
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Description
しかしながら、セグメントが増えれば、ハッシュ値の管理テーブルの容量は膨大となって、転送情報と格納情報との重複を検証するために要する時間が嵩む。また、セグメント数が多くなると、ハッシュ値を得るための演算には、より一意性の高いアルゴリズム(例えばSHA:Secure Hash Algorithm)を適用し、ハッシュ値の衝突を回避しなければならない。そのようなアルゴリズムでは演算量が多く、処理レーテンシーが増加する。
さらに、前記目的を達成する他の発明は、ストレージ装置が、転送情報を構成するデータの組み合わせのパターンに着目し、転送情報のうち、パターンが特定である情報部分を除き、残りの情報部分に対して、重複判定のための演算を実行することを特徴とするものである。
図2の(a)は、上位装置からストレージ装置に転送された情報(転送情報)を示す。(a)は、上位装置から見えるストレージ装置の記憶領域のアクセス空間(ボリューム空間)の一部分でもある。
図2の(b)は、転送情報に重複が有るか無いかの検査・判定、そして、重複した情報を記憶領域に格納しないという、情報の排除が、セグメントに基づいて行われることを示している。ストレージ装置は、重複情報に関する処理を、転送情報を複数のセグメント毎に分割、あるいはセグメント毎に処理することによって達成する。ストレージ装置は、一つのセグメントに含めるデータ量を、例えばブロック(例512バイト)の整数倍として、記憶デバイスへの格納単位(デステージブロック)と整合させるようにしている。
これに対して(b)は、一つのブロックが同一の値のデータの複数から構成され、複数のブロックが“繰り返しサイズ”を構成し、複数の繰り返しサイズより繰り返し周期を構成することを示している。この繰り返し周期の間で、繰り返しサイズ毎にデータの値が連続的に変化する。ストレージ装置は、(b)についても、固定パターンと判定する。
データ圧縮処理によって転送情報の情報量が減少する。各圧縮データの単位において、データ量は基本的にそれぞれ異なる。最後に、ストレージ装置は、圧縮データに基づいて、記憶デバイスへ格納される情報の単位であるデステージブロックを生成し、これを記憶デバイスへ格納する(図2(f))。
さらに、コントローラ1aは、固定パターンを持った情報(セグメント)に対して、パターン値を検出する固定データ検出手段(検出部あるいは検出回路)9と、キャッシュ4aに格納された情報、セグメントに対してハッシュ値を演算するランダムデータ検出手段10とを備える。
S152において、マイクロプロセッサは、キャッシュメモリ上に残った圧縮データに対する総データ量を算出する。S153からS156の処理は、総データ量を基に、図7のS142からS145の処理に相当する。
S154において、図6の場合、マイクロプロセッサは、複数の圧縮データに対する転送ブロック数12に対し、圧縮効果が得られるブロック数11以下を閾値として与える。閾値は常に一定ではなく、処理の対象となる複数の圧縮データ数に対する転送ブロック数により可変としてもよい。
図2(e)のデータ圧縮は、重複セグメントを除いた後の、キャッシュメモリ上のデータに対して行われる。マイクロプロセッサ5aは、データ圧縮手段11がキャッシュメモリ上の残セグメントにアクセスする領域を指定する。データ圧縮手段11は、データ圧縮単位(各セグメントの構成単位であるブロック或いは、複数ブロック単位)で圧縮処理を行う。マイクロプロセッサ5aは、圧縮されたデータを、キャッシュメモリ上に確保した別領域に格納する。圧縮データの格納に利用されるキャッシュ領域は、例えばデータ圧縮単位に含まれるデータ量と同等のサイズ分確保される。確保した領域へ圧縮データの格納が行われ、確保領域を超えた書き込みが行われた、或いは、データ圧縮単位に対し、圧縮データ量がほぼ同等で、圧縮効果が得られない場合がある。この場合、マイクロプロセッサ5aは、格納した圧縮データを破棄する(領域開放)。
更に、コントローラ1aの固定パターン検出、ランダムパターン検出、そして、データ圧縮の各処理はマイクロプロセッサ5aが行うことでもよい。この場合、マイクロプロセッサが転送情報をキャッシュメモリに格納すると同時には固定パターンの検出ができないことも考えられる。その場合は、ランダムパターンの検出と同様に、キャッシュメモリに転送情報を格納し後、キャッシュメモリの転送情報に対して固定パターンの検出を行うことでもよい。
なお、セグメントテーブルは、既述の構成に限定されるものではなく、上位装置から見えるボリューム空間に対するブロックアドレスと、デステージブロックアドレスとの対応が取れるものであればいかなる形態を持つこともできる。圧縮データの判定は、圧縮ブロックにおける圧縮ブロックヘッダの分析(例えば符号化方法を示すフラグ)でも行うことができる。
マイクロプロセッサが、S702、S704、S706において種々の判定を行う場合、キャッシュメモリ内の残セグメント数に注目することが考えられる。図13に示すように、マイクロプロセッサはキャッシュメモリ内のセグメント数を把握する(S801)。セグメント数は、マイクロプロセッサがコントローラを介してキャッシュメモリからデータ量を求め、セグメント当たりのデータ量で除算することにより得られる。マイクロプロセッサは、セグメント数と閾値M(Mは正の整数でM≧1)を比較する(S802)。(セグメント)≧Mの条件で、マイクロプロセッサはS709を実行し、ブロックデータのデステージを行う。(残セグメント)<Mの条件で、マイクロプロセッサは、更にセグメントの有無を判定する(S803)。(残セグメント数)=0の場合、処理の対象となるセグメント或いは、デステージデータが存在しないので、処理は終了となる。S803で(残セグメント数)≠0の場合、各処理が引き続き実行される。図13の処理を、S702の判定に適用する場合、S703或いはS704、S706、S704の判定に適用する場合、S705或いはS706、S706判定に適用する場合、S707から処理が行われる。
非圧縮ブロックは、圧縮フラグにより特定される。圧縮効果の得られないオーバーフローブロック、圧縮ブロック以外のブロックが相当する。マイクロプロセッサは、非圧縮ブロックに対し圧縮後、図5,6で説明した方法によって、圧縮ブロックを生成する。
2 ホストインターフェイス
3 ドライブインターフェイス
4 キャッシュメモリ
5 マイクロプロセッサ
6 ローカルメモリ
7 記憶デバイス
8 HDMA
9 固定データ検出手段
10 ランダムデータ検出手段
11 データ圧縮手段
12 DDMA
Claims (2)
- 上位装置から転送される情報を受信する第1のインターフェースと、
前記情報を一時記憶するキャッシュメモリと、
前記情報を格納するための記憶領域を有する記憶デバイスと、
前記情報を前記記憶デバイスに送信する第2のインターフェースと、
前記情報に対する制御処理を実行する制御装置と
を備えるストレージ装置であって、
前記制御装置は、
前記情報から、既に前記記憶領域に存在する重複部分を除き、残りの部分を圧縮して当該記憶領域に格納する場合、
前記情報を複数のセグメントに分けて処理する第1の処理と、
前記複数のセグメントのそれぞれが有する複数のデータの組み合わせが、規則性を持った第1のパターンであるか否かを判定する第2の処理と、
前記第1のパターンからなるセグメントの検出のみで前記重複を判定するか、或いは、前記第1のパターンからなるセグメントと前記記憶領域に記憶されているセグメントとの間で前記重複があるか否かを判定する第3の処理と、
前記第3の処理が肯定されたセグメントが、前記キャッシュメモリに占める領域を開放する第4の処理と、
前記複数のセグメントのうち、前記第3の処理が肯定されたもの以外を、複数のデータの組み合わせがランダムである第2のパターンを持ったセグメントであると判定する第5の処理と、
前記第2のパターンを持ったセグメントを前記キャッシュメモリから読み出す第6の処理と、
前記第2のパターンを持ったセグメントについて、前記第2のパターンの異同を区別するためのハッシュ値を演算する第7の処理と、
前記記憶領域に格納されている複数のセグメントそれぞれの前記ハッシュ値を登録したハッシュテーブルを参照し、前記第7の処理で得られたハッシュ値と同等のハッシュ値が前記ハッシュテーブルに存在するか否かを判定する第8の処理と、
前記第8の処理が肯定されたセグメントが、前記キャッシュメモリに占める領域を開放する第9の処理と、
前記第8処理が肯定されたセグメント以外のセグメントが前記キャッシュメモリに占める領域に記憶された情報を圧縮する第10の処理と、
前記圧縮された情報を備え、前記キャッシュメモリから前記記憶領域へ情報を格納する際の単位であるデステージブロックを一つ又は複数生成する第11の処理と、
前記デステージブロックを前記記憶領域に格納する第12の処理とを実行する
ストレージ装置。 - 前記制御装置は、
前記圧縮の処理を前記記憶デバイスに格納された前記情報を対象に行い、
前記上位装置からのアクセス頻度によって、前記圧縮処理の対象とする前記記憶デバイスの領域を選択する
請求項1記載のストレージ装置。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2009/054004 WO2010097960A1 (en) | 2009-02-25 | 2009-02-25 | Storage system and data processing method for the same |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012505440A JP2012505440A (ja) | 2012-03-01 |
JP5216915B2 true JP5216915B2 (ja) | 2013-06-19 |
Family
ID=40758994
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2011514963A Expired - Fee Related JP5216915B2 (ja) | 2009-02-25 | 2009-02-25 | ストレージ装置 |
Country Status (3)
Country | Link |
---|---|
US (1) | US8161211B2 (ja) |
JP (1) | JP5216915B2 (ja) |
WO (1) | WO2010097960A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10592150B2 (en) | 2016-02-15 | 2020-03-17 | Hitachi, Ltd. | Storage apparatus |
Families Citing this family (26)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8285957B1 (en) * | 2010-01-12 | 2012-10-09 | Netapp, Inc. | System and method for preprocessing a data set to improve deduplication |
JP5780067B2 (ja) * | 2011-09-01 | 2015-09-16 | 富士通株式会社 | ストレージシステム、ストレージ制御装置およびストレージ制御方法 |
US8965937B2 (en) | 2011-09-28 | 2015-02-24 | International Business Machines Corporation | Automated selection of functions to reduce storage capacity based on performance requirements |
US9779103B2 (en) | 2012-04-23 | 2017-10-03 | International Business Machines Corporation | Preserving redundancy in data deduplication systems |
US9659060B2 (en) * | 2012-04-30 | 2017-05-23 | International Business Machines Corporation | Enhancing performance-cost ratio of a primary storage adaptive data reduction system |
JPWO2014030252A1 (ja) * | 2012-08-24 | 2016-07-28 | 株式会社日立製作所 | ストレージ装置及びデータ管理方法 |
KR101956031B1 (ko) | 2012-10-15 | 2019-03-11 | 삼성전자 주식회사 | 데이터 압축 장치 및 방법, 데이터 압축 장치를 포함하는 메모리 시스템 |
JP5444506B1 (ja) | 2013-03-29 | 2014-03-19 | 株式会社東芝 | データの重複をハッシュテーブルに基づいて排除するためのストレージシステム |
US9690837B1 (en) * | 2013-06-28 | 2017-06-27 | EMC IP Holding Company LLC | Techniques for preserving redundant copies of metadata in a data storage system employing de-duplication |
KR102218732B1 (ko) * | 2014-01-23 | 2021-02-23 | 삼성전자주식회사 | 저장 장치 및 그것의 동작 방법 |
KR20150134718A (ko) * | 2014-05-22 | 2015-12-02 | 에스케이플래닛 주식회사 | 압축 방식을 이용한 데이터 소스 관리 장치 및 방법 |
US9569357B1 (en) * | 2015-01-08 | 2017-02-14 | Pure Storage, Inc. | Managing compressed data in a storage system |
JP6666540B2 (ja) * | 2015-06-15 | 2020-03-18 | 富士通株式会社 | ストレージ制御装置、及びプログラム |
JP6524945B2 (ja) | 2016-03-25 | 2019-06-05 | 日本電気株式会社 | 制御装置、記憶装置、記憶制御方法およびコンピュータプログラム |
US10176099B2 (en) * | 2016-07-11 | 2019-01-08 | Intel Corporation | Using data pattern to mark cache lines as invalid |
US9864534B1 (en) * | 2016-10-27 | 2018-01-09 | International Business Machines Corporation | Validation of storage volumes that are in a peer to peer remote copy relationship |
US9793919B1 (en) * | 2016-12-08 | 2017-10-17 | Advanced Micro Devices, Inc. | Compression of frequent data values across narrow links |
US10304155B2 (en) * | 2017-02-24 | 2019-05-28 | Advanced Micro Devices, Inc. | Delta color compression application to video |
JP6552583B2 (ja) * | 2017-11-29 | 2019-07-31 | 華為技術有限公司Huawei Technologies Co.,Ltd. | データ重複排除方法及びストレージアレイ |
JP6608468B2 (ja) | 2018-01-26 | 2019-11-20 | 株式会社日立製作所 | ストレージ装置及びその制御方法 |
US11153578B2 (en) | 2018-04-27 | 2021-10-19 | Ati Technologies Ulc | Gradient texturing compression codec |
JP2020086477A (ja) * | 2018-11-15 | 2020-06-04 | 株式会社日立製作所 | 大規模ストレージシステム及び大規模ストレージシステムにおけるデータ配置方法 |
US11200122B2 (en) * | 2019-07-24 | 2021-12-14 | EMC IP Holding Company LLC | Barrierless snapshots |
KR20210129433A (ko) * | 2020-04-20 | 2021-10-28 | 에스케이하이닉스 주식회사 | 빅 데이터 처리를 위한 저장장치 절약 방법 |
EP4172749A1 (en) * | 2020-07-23 | 2023-05-03 | Huawei Technologies Co., Ltd. | Block storage device and method for data compression |
JP7225175B2 (ja) * | 2020-09-17 | 2023-02-20 | 株式会社日立製作所 | ストレージ装置及びデータ処理方法 |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4821042B2 (ja) * | 2000-10-31 | 2011-11-24 | ソニー株式会社 | データ変換装置、記憶装置、プロトコル変換装置、デバイス制御装置、記録再生システム、及び記録再生方法 |
JP2002334539A (ja) * | 2001-05-11 | 2002-11-22 | Matsushita Electric Ind Co Ltd | 記録再生アレイ装置及び磁気記録再生アレイ装置 |
JP3723960B2 (ja) * | 2001-11-19 | 2005-12-07 | インターナショナル・ビジネス・マシーンズ・コーポレーション | 外部記憶装置、外部記憶装置制御方法、プログラム及び記録媒体 |
ATE459048T1 (de) | 2002-03-26 | 2010-03-15 | Nokia Siemens Networks Oy | Verfahren und vorrichtung zum komprimieren von protokollierungsaufzeichnungsinformationen |
US6928526B1 (en) * | 2002-12-20 | 2005-08-09 | Datadomain, Inc. | Efficient data storage system |
US7065619B1 (en) * | 2002-12-20 | 2006-06-20 | Data Domain, Inc. | Efficient data storage system |
US7734603B1 (en) * | 2006-01-26 | 2010-06-08 | Netapp, Inc. | Content addressable storage array element |
US7788456B1 (en) * | 2006-02-16 | 2010-08-31 | Network Appliance, Inc. | Use of data images to allow release of unneeded data storage |
US7562186B2 (en) * | 2006-04-11 | 2009-07-14 | Data Domain, Inc. | Efficient data storage using resemblance of data segments |
US7949824B2 (en) * | 2006-04-11 | 2011-05-24 | Emc Corporation | Efficient data storage using two level delta resemblance |
US7636824B1 (en) * | 2006-06-28 | 2009-12-22 | Acronis Inc. | System and method for efficient backup using hashes |
-
2009
- 2009-02-25 JP JP2011514963A patent/JP5216915B2/ja not_active Expired - Fee Related
- 2009-02-25 US US12/310,815 patent/US8161211B2/en not_active Expired - Fee Related
- 2009-02-25 WO PCT/JP2009/054004 patent/WO2010097960A1/en active Application Filing
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10592150B2 (en) | 2016-02-15 | 2020-03-17 | Hitachi, Ltd. | Storage apparatus |
Also Published As
Publication number | Publication date |
---|---|
US8161211B2 (en) | 2012-04-17 |
US20110238914A1 (en) | 2011-09-29 |
JP2012505440A (ja) | 2012-03-01 |
WO2010097960A1 (en) | 2010-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5216915B2 (ja) | ストレージ装置 | |
US10318181B2 (en) | System, method, and computer program product for increasing spare space in memory to extend a lifetime of the memory | |
JP6134857B2 (ja) | 記憶デバイス、記憶デバイスを有する装置、及び記憶制御方法 | |
KR101660150B1 (ko) | 물리 페이지, 논리 페이지, 및 코드워드 대응 | |
US8782344B2 (en) | Systems and methods for managing cache admission | |
US8214620B2 (en) | Computer-readable recording medium storing data storage program, computer, and method thereof | |
EP2802991B1 (en) | Systems and methods for managing cache admission | |
JP6403775B2 (ja) | ハードウェア管理による圧縮キャッシュ | |
WO2015087424A1 (ja) | ストレージ装置及びストレージ装置の制御方法 | |
CN107924291B (zh) | 存储系统 | |
JP6429963B2 (ja) | ストレージ装置及びストレージ装置の制御方法 | |
US20170286220A1 (en) | Raid system performance enhancement using compressed data and byte addressable storage devices | |
JP6685334B2 (ja) | ストレージ装置 | |
CN110795272B (zh) | 用于在可变大小的i/o上促进的原子性和延迟保证的方法和系统 | |
JP6692448B2 (ja) | ストレージ装置及びストレージ装置の制御方法 | |
KR101472797B1 (ko) | 데이터를 읽거나 쓰기 위한 방법 및 장치 | |
US10296229B2 (en) | Storage apparatus | |
US20200133836A1 (en) | Data management apparatus, data management method, and data management program | |
JP2019128906A (ja) | ストレージ装置及びその制御方法 | |
US11307997B2 (en) | Logical to physical data storage mapping | |
US10437667B2 (en) | Raid system performance enhancement using compressed data | |
WO2018061161A1 (ja) | ストレージ装置およびその制御方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20120724 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20120725 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20120918 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130205 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130304 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5216915 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20160308 Year of fee payment: 3 |
|
LAPS | Cancellation because of no payment of annual fees |