JP7475319B2

JP7475319B2 - ストレージシステム及びストレージシステムにおけるデータ処理方法

Info

Publication number: JP7475319B2
Application number: JP2021186159A
Authority: JP
Inventors: 知輝東海林; 永雅水島
Original assignee: Hitachi Ltd
Current assignee: Hitachi Ltd
Priority date: 2021-11-16
Filing date: 2021-11-16
Publication date: 2024-04-26
Anticipated expiration: 2041-11-16
Also published as: US20230152972A1; CN116136741A; JP2023073606A

Description

本発明は、ストレージシステムにおけるデータ圧縮に関する。

ストレージシステムは大量のデータを管理・蓄積する必要があるため、システムの容量当たりのコストを低減させることができる、データ圧縮技術が注目されている。データ圧縮機能を使用したストレージシステムでは、ホストからデータの書き込み要求を出した場合、通常の書き込み処理に加えてデータ圧縮処理を実行する必要があり、ライト性能に影響を生じる。

ストレージシステムのデータ圧縮機能では、データの信頼性を担保するため、特許文献１のように、圧縮直後のデータをすぐに伸長して、正しい伸長データが出力されているかを確認する必要がある。

ＬＺ４アルゴリズムは、計算速度が非常に速いことで知られる可逆データ圧縮アルゴリズムである。このアルゴリズムは、Ｌｅｍｐｅｌ－Ｚｉｖ（ＬＺ）法と呼ばれる、辞書型圧縮の一種である。データの圧縮時、データはコピー符号とリテラル符号と呼ばれる二種の符号に分けられる。

コピー符号とは、ある文字列が以前にも出現していた時に、その距離と長さ情報で置き換えた符号であり、リテラル符号とは、コピー符号が見つからなかった文字列を非圧縮で出力した符号である。すなわち、辞書型圧縮アルゴリズムにおいて、圧縮対象のデータはリテラル符号とコピー符号それぞれをひとまとまりにしたデータ列が交互に並ぶこととなる。

ＬＺ４アルゴリズムにおける圧縮データは、非特許文献１に示されるように、リテラル符号とコピー符号を１セットずつ含むパケットを１単位として出力するフォーマットをとる。

特開平８－５５０６３号公報

Jeehong Kim and Jundong Cho. 2019. Hardware-accelerated Fast Lossless Compression Based on LZ4 Algorithm. In Proceedings of the 2019 3rd International Conference on Digital Signal Processing (ICDSP 2019). Association for Computing Machinery, New York, NY, USA, 65-68.

圧縮直後のデータを伸長してデータチェックすることで、データの信頼性を担保することができる。しかし、圧縮処理のみ実施した場合に比べてさらにライト性能が悪化するため、ライト性能の悪化を抑える技術が重要である。

本発明の代表的な一例に係るストレージシステムは、インタフェースと、コントローラと、を含む。前記コントローラは、前記インタフェースを介して受信した受信データを圧縮して圧縮データを生成する、圧縮回路と、前記圧縮データをストレージドライブに格納する前に伸長して、データ整合性を確認する伸長回路と、を含む。前記圧縮回路は、前記受信データの圧縮タスクを順次実行して、前記圧縮データのパケットを順次生成して前記伸長回路に転送する。前記伸長回路は、前記圧縮タスクと並列に、受信した前記パケットを伸長する。

本発明の代表的な一例によれば、データ圧縮機能を有するストレージシステムにおいて、データ圧縮後の伸長チェックを含めた圧縮スループットの悪化を抑制できる。上記した以外の課題、構成及び効果は、以下の実施形態の説明により明らかにされる。

図１は、実施例１のデータ圧縮システムを適用したストレージシステムの全体構成の例を示す。図２は、実施例１のストレージシステムのホストライト処理フローの例を示す。図３は、実施例１のストレージシステムのホストライト処理のデータフローの例を示す。図４は、実施例１のストレージシステムのライト処理における保証コード付きのデータ構造の例を示す。図５は、実施例１の圧縮データを伸長チェックする処理のフローチャートの例を示す。図６は、実施例１のストレージシステムの圧縮伸長回路の内部ブロックの例を示す。図７は、実施例１の圧縮データを伸長チェックする回路の並列動作の例を示す。図８は、実施例２の一般的なＬＺ４フォーマットを示す。図９は、実施例２の一般的なＬＺ４の圧縮データパターンの例を示す。図１０は、実施例２の本発明のＬＺ４フォーマットを示す。図１１は、実施例２の本発明のＬＺ４の圧縮データパターンの例を示す。図１２は、実施例２のＬＺ４フォーマットのリテラル符号長領域の詳細説明を示す。図１３は、実施例２の本発明のＬＺ４のパケットごとの圧縮処理のフローチャートの例を示す。図１４は、実施例３の本発明のＬＺ４フォーマットを示す。図１５は、実施例３の本発明のＬＺ４のパケットごとの圧縮処理のフローチャートを示す。

以下、図面に基づいて、本発明の実施の形態を説明する。なお、以下の記載および図面は、本発明を説明するための例示であって、説明の明確化のため、適宜、省略および簡略化がなされており、本発明は、他の種々の形態でも実施する事が可能であり、特に限定しない限り、各構成要素は単数でも複数でも構わない。

また、以下に説明する実施例は特許請求の範囲に係る発明を限定するものではなく、実施例の中で説明されている要素の組み合わせの全てが、発明の解決手段に必須であるとは限らない。

以下の説明では、「テーブル」、「リスト」、「キュー」等の表現にて各種情報を説明することがあるが、各種情報は、これら以外のデータ構造で表現されていてもよく、データ構造に依存しないことを示すため、「ｘｘｘのテーブル」、「ｘｘｘのリスト」、「ｘｘｘのキュー」等を「ｘｘｘ情報」等と称することがある。以下の説明では、識別情報について説明する際に、「識別情報」、「識別子」、「名」、「ＩＤ」、「番号」等の表現を用いるが、これらについてはお互いに置換が可能である。

以下の説明では、同一あるいは同様な機能を有する構成要素が複数ある場合には、基本的に同一の符号を付して説明するが、機能が同じであっても機能を実現するための手段が異なる場合がある。さらに、後述する本発明の実施例は、汎用コンピュータ上で稼動するソフトウェアで実装してもよいし、専用ハードウェア又はソフトウェアとハードウェアの組み合わせで実装してもよい。

また、以下の説明では「プログラム」を主語として処理を説明することがあるが、プログラムはプロセッサ（例えば、ＣＰＵ：ＣｅｎｔｒａｌＰｒｏｃｅｓｓｉｎｇＵｎｉｔ）によって実行されることによって、定められた処理に対して、適宜に記憶装置（例えば、メモリ）、および／または、インタフェースデバイス（通信ポート）等を用いながら行うため、処理の主体がプロセッサとして説明してもよい。

プログラムを主語として説明された処理は、プロセッサを有する計算機（例えば、計算ホスト、ストレージ装置）が行う処理としてもよい。また、以下の説明では、「コントローラ」の表現で、プロセッサ又はプロセッサが行う処理の一部又は全部を行うハードウェア回路を指してもよい。

プログラムは、プログラムソース（例えば、プログラム配布サーバや、計算機が読み取り可能な記憶メディア）から、各計算機にインストールされてもよく、この場合、プログラム配布サーバはＣＰＵと記憶資源を含み、記憶資源はさらに配布プログラムと配布対象であるプログラムを記憶し、配布プログラムをＣＰＵが実行することで、プログラム配布サーバのＣＰＵは配布対象のプログラムを他の計算機に配布してもよい。

以下において説明されるストレージシステムは、データ圧縮機能を有する。ストレージシステムは、受信データを圧縮して圧縮データを生成し、圧縮データをストレージドライブに格納する。ストレージシステムは、ストレージドライブに格納する前に圧縮データを伸長して、圧縮前データと伸長データの整合性をチェックする。これにより、高い信頼性を確保できる。

ストレージシステムは、データを圧縮する圧縮回路と、圧縮データを伸長する伸長回路とを含む。これらは、並列動作が可能である。圧縮回路は圧縮データのパケットを順次生成して、伸長回路に送信する。伸長回路は、圧縮回路の圧縮処理と並列に、パケットの伸長処理を実行する。これにより、データ圧縮後の伸長チェックを含めた圧縮スループットの悪化を抑制し、ストレージシステムの所定のライト性能を保証することができる。

図１は、本明細書の一実施例に係る、圧縮機能付きストレージシステムの全体構成の例を示す。ストレージシステム１０１は、ストレージコントローラ１１２及びストレージコントローラ１２２を搭載するデュアルコントローラ構成となっている。

ストレージコントローラ１１２は、ホストＩ／Ｆ（Ｉｎｔｅｒｆａｃｅ）１１１と接続され、不図示のホストと通信し、また、スイッチ１１７を含み、複数のストレージドライブ１０２と通信する。ストレージドライブ１０２は、例えば、不揮発性ストレージドライブである、ＨＤＤ（ＨａｒｄＤｉｓｋＤｒｉｖｅ）やＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）を使用することができる。

ストレージコントローラ１１２は、さらに、ホストと送受信するデータとストレージシステム１０１を制御するためのＣＰＵ１１３と、ＣＰＵ１１３のメモリ１１４と、ストレージコントローラ１１２とストレージコントローラ１２２を接続するためのスイッチ１１５と、を含む。

ＣＰＵ１１３はプロセッサであって、１又は複数のコアを含み、メモリ１１４に格納されているプログラムに従って動作することで、所定の機能を実現する。メモリ１１４は、例えば、ＤＲＡＭ等の揮発性メモリを使用できる。ストレージコントローラ１１２は、さらに、圧縮伸長回路１１６を含み、スイッチ１１５に接続されている。

ストレージコントローラ１１２とストレージコントローラ１２２のハードウェア構成は同等であり、ストレージコントローラ１２２の詳細説明は省略する。ストレージコントローラ１２２は、スイッチ１２７と、ＣＰＵ１２３と、メモリ１２４と、スイッチ１２５と、圧縮伸長回路１２６と、を含む。図１の構成例において、圧縮伸長回路１２６はストレージコントローラ内に実装されているが、ストレージドライブ１０２を収容するドライブボックス（不図示）内に実装されてもよい。

図２、図３を用いて、ストレージシステム１０１で圧縮機能を動作させたときのホストライト処理について説明する。図２は、ストレージシステム１０１の圧縮機能動作を含めたホストライト処理の動作フローを示す。図３は、図２の処理フローで示されるストレージシステム１０１内のデータフローを示す。

図３におけるデータフロー３０１において、ストレージコントローラ１１２のＣＰＵ１１３は、ホストＩ／Ｆ１１１から平文ライトデータをメモリ１１４に格納する（図２におけるステップ２０１）。

図３におけるデータフロー３０２において、ＣＰＵ１１３は、メモリ１１４に格納されている平文ライトデータを、スイッチ１１５と、スイッチ１２５と、ＣＰＵ１２３とを通して、ストレージコントローラ１２２のメモリ１２４に二重化する（図２におけるステップ２０２）。

図３におけるデータフロー３０３において、ＣＰＵ１１３は、メモリ１１４に格納されている平文ライトデータを、スイッチ１１５を通して圧縮伸長回路１１６に転送し、圧縮伸長回路１１６が転送されたデータを圧縮する。（図２におけるステップ２０３）

図３におけるデータフロー３０４において、圧縮伸長回路１１６は、圧縮ライトデータをストレージコントローラ１１２のメモリ１１４に返送すると同時に、ストレージコントローラ１２２のメモリ１２４にも転送し、二重化を行う。（図２におけるステップ２０４）

図３におけるデータフロー３０５において、ＣＰＵ１１３は、メモリ１１４に格納されている圧縮ライトデータを、スイッチ１１７を通してストレージドライブ１０２に書き込む。（図２におけるステップ２０５）

図４は、ストレージシステム１０１の内部における、ユーザデータと、それに付与されている保証コードを示す。保証コード４０２は、ユーザデータ４０１の５１２Ｂごとに８Ｂとして付加されている。ストレージシステム１０１は、ホストライト処理において、ユーザデータ４０１をホストから受信し、保証コード４０２を、データフロー３０１のホストＩ／Ｆ１１１で付加する。

図５は、ストレージシステム１０１のホストライト処理において、圧縮機能を動作させたときの、圧縮伸長回路１１６の内部の、圧縮データの伸長チェック処理を行う処理フローを示す。伸長チェック処理は、伸長データと圧縮前データの整合性を確認する。保証コードを付与されたユーザデータは、圧縮伸長回路１１６で圧縮伸長される平文ライトデータである。

ステップ５０１において、圧縮伸長回路１１６は平文ライトデータの保証コードを除去し、圧縮対象となるユーザデータのみを抽出する。ステップ５０２において、圧縮伸長回路１１６は平文ライトデータを圧縮する。圧縮データはパケット単位で出力される。

ステップ５０３において、圧縮伸長回路１１６はパケットごとに圧縮データを伸長する。圧縮伸長回路１１６はパケット単位での圧縮と伸長を繰り返し、全平文ライトデータに対して同様の処理が完了したことをステップ５０４で判定する。処理が完了していない場合（５０４：ＮＯ）、フローはステップ５０２に戻る。

全圧縮データの伸長まで完了すると（５０４：ＹＥＳ）、ステップ５０５において、圧縮伸長回路１１６は、伸長データと、元の平文ライトデータが一致しているか、検算処理を行う。

検算の結果、伸長データと平文ライトデータが一致し、データに正しく圧縮がかかっていることを確認した場合（５０６：ＹＥＳ）、圧縮伸長回路１１６は、ステップ５０７において、圧縮データを出力し、圧縮データの伸長チェック処理を完了する。伸長データと平文ライトデータが不一致となった場合（５０６：ＮＯ）、圧縮伸長回路１１６は、ステップ５０８において、エラー応答を返し、圧縮データの伸長チェック処理を完了する。

図６は、圧縮伸長回路１１６の内部回路構成例を示す。圧縮伸長回路１１６は、Ｉ／Ｆ６０１、圧縮部６０２、伸長部６０３、比較部６０４、判定部６０５、信号線６１１～６１５を含む。本実施例において、圧縮部（圧縮回路）６０２、伸長部（伸長回路）６０３、比較部６０４、判定部６０５はそれぞれ、異なる回路として実装される。

Ｉ／Ｆ６０１は信号線６１１を通して圧縮部６０２に平文を送信する。圧縮部６０２はデータを圧縮し、信号線６１２を通して伸長部６０３に圧縮データを出力する。伸長部６０３は、圧縮データを伸長し、信号線６１３を通して比較部６０４に伸長データを出力する。

比較部６０４は、信号線６１１を通して圧縮前の平文をＩ／Ｆ６０１から受け取り、さらに信号線６１３を通して伸長部６０３から受け取った伸長データと比較し、データの一致を確認する。比較部６０４は、さらに、データを比較した結果を信号線６１４を通して判定部６０５に出力する。

判定部６０５は、比較部６０４の確認結果を受け取る。判定部６０５は、データの一致を確認した場合は、信号線６１２を通して圧縮部６０２から受け取った圧縮データを信号線６１５を通してＩ／Ｆ６０１に出力する。判定部６０５は、データの不一致を検出した場合は、信号線６１５を通してＩ／Ｆ６０１にエラー応答を返す。

圧縮部６０２、伸長部６０３、比較部６０４、判定部６０５はそれぞれ独立しているため、並列に動作することが可能である。図７は、圧縮部６０２と伸長部６０３を並列に動作させたときのタイムチャートである。圧縮部６０２は、パケット単位に分割した圧縮データを段階的に出力する。

タスク７０１が、圧縮データの最初のパケットを出力するまでの時間を示す。タスク７０１において、最初のパケットを出力すると、圧縮部６０２では、次のパケットの圧縮処理を示すタスク７０２を開始する。同時に、圧縮データの最初のパケットは伸長部６０３に渡され、圧縮部６０２のタスク７０２と伸長部６０３のタスク７１１が並列に動作する。同様に、圧縮部６０２でタスク７０２の処理が終わると、圧縮部６０２においてタスク７０３と、伸長部６０３においてタスク７１２が開始され、圧縮部６０２と伸長部６０３が並列に動作する。

上述のように、本実施例は、独立に動作し得る圧縮部と伸長部を含み、パケット単位で圧縮処理及び伸長処理を実行する。これにより、圧縮部と伸長部を並列動作させて、圧縮部と伸長部を合わせた処理時間を短縮させることができる。

以下において、データ圧縮アルゴリズムの例として、ＬＺ４を説明する。本実施例及び他の実施例を含む本明細書の実施例の特徴は、ＬＺ４と異なる種類の圧縮アルゴリズムに適用することができる。図８は、標準的に使用されているＬＺ４フォーマットを示す。以下、標準的に使用されているＬＺ４フォーマットを標準ＬＺ４と呼ぶ。標準ＬＺ４の圧縮データは、パケット単位で分割されており、各パケットの圧縮が完了次第、各パケットが出力される。パケット８０１は、標準ＬＺ４フォーマットの１パケットである。

パケット８０１には、リテラル符号とコピー符号が１セットずつ格納されている。リテラル符号は、ユーザデータの文字列をそのまま符号化したものであり、コピー符号は、ユーザデータ内の繰り返しデータを示す符号である。パケット内の具体的なデータ領域について以下で説明する。トークン領域８０２は、リテラル符号とコピー符号のそれぞれの長さ情報を４ビットずつ持つ、１バイトの領域である。トークン領域８０２に格納される符号の長さ情報は、リテラル符号及びコピー符号それぞれ１５文字分までの符号長まで格納可能となる。

そのため、リテラル符号及びコピー符号が１５文字を超える長さとなった場合、リテラル符号長領域８０３及びコピー符号長領域８０６というデータ領域が追加でパケットに挿入され、長いリテラル符号長とコピー符号長であっても表現可能であるように構成されている。

リテラル文字領域８０４は、トークン８０２領域及びリテラル符号長領域８０３に格納されているリテラル符号の長さを足した数だけ、リテラル符号のリテラル文字が非圧縮で格納されているデータ領域である。コピー距離領域８０５は、コピー符号の距離情報が２バイトで格納されている。

パケット８０１において、リテラル符号の情報を示す部分がリテラル符号部であり、コピー符号の情報を示す部分がコピー符号部である。リテラル符号部は、トークン領域８０２の一部、リテラル符号長領域８０３及びリテラル文字領域８０４で構成される。コピー符号部は、トークン領域８０２の他の一部、コピー距離領域８０５及びコピー符号長領域８０６で構成される。

図９は、標準ＬＺ４でユーザデータ９０１を圧縮した場合の、圧縮データパターンを示す。ユーザデータ９０１は、平文ライトデータから保証コード４０２を除去し、ユーザデータ４０１のみ抽出して整列させたデータである。ユーザデータ９０１をＬＺ４で圧縮する場合、辞書圧縮の原理より、ユーザデータ９０１は、リテラル符号領域９０２Ａ、９０２Ｂ、９０２Ｃと、コピー符号領域９０３Ａ、９０３Ｂ、９０３Ｃが交互に整列する形式となる。ただし、コピー符号領域の間にリテラル符号が必ず存在するとは限らない。例えば、ユーザデータ９０１にリテラル符号領域９０２Ｂが存在せず、９０３Ａと９０３Ｂのコピー符号領域が連続する場合がある。

リテラル符号の領域とコピー符号の領域に分割されるユーザデータ９０１は、標準ＬＺ４の圧縮データに符号化されると、パケット８０１Ａ、８０１Ｂ、８０１Ｃの各パケット単位に分割される。

パケット８０１Ａは、ユーザデータ９０１をリテラル符号領域とコピー符号領域に分割した領域に対し、リテラル符号領域９０２Ａとコピー符号領域９０３Ａを一つずつ含む。パケット８０１Ｂとパケット８０１Ｃに関しても同様のため、説明は省略する。ただし、前記のように、ユーザデータ９０１のうち、コピー符号領域が連続するデータ領域が存在する場合、標準ＬＺ４のパケット８０１は、リテラル符号を含まず、コピー符号領域のみを符号化し、格納する。

実施例２は、実施例１におけるステップ５０２の圧縮において、１パケット当たりの処理量に制限を設けることによって、圧縮部６０２と伸長部６０３の並列動作性をより強化するものである。

以下、実施例２を図１０から図１３を用いて説明する。実施例２では、図１０に示すように、本実施例で新たに定義する、２つのＬＺ４のパケットフォーマットを使用する。図１０は、これら２つのパケットフォーマットに従うパケット１００１及び１０１１を示す。以下、本施例で新たに定義するＬＺ４フォーマットを本実施例のＬＺ４と呼ぶ。本実施例のＬＺ４の特徴は、パケット内のリテラル符号長に上限値が設定されていることにある。

標準ＬＺ４のパケット８０１と本施例のＬＺ４の第１のフォーマットのパケット１００１の相違点は、以下の通りである。パケット８０１のリテラル符号長領域８０３のリテラル符号長に上限値が設定されていない。一方、パケット１００１のリテラル符号長領域１００３のリテラル符号長に上限値が設定されている。パケット内の他の領域は同一の形式である。

本実施例のＬＺ４の第２のフォーマットのパケット１０１１は、標準ＬＺ４パケットフォーマットに、何もコピーしないこと（無コピー）を示す符号である”ダミーコピー符号”を定義する。ダミーコピー符号は、例えば、コピー距離領域８０５で構成され、コピー距離領域８０５は、０を示す。他の例において、コピー距離領域８０５及びコピー符号長領域８０６で構成され、コピー距離領域８０５及びコピー符号長領域８０６が共に０を示してもよい。リテラル符号の長さが、パケット１００１のリテラル符号長領域１００３の上限値を超える場合、パケット１０１１に示される第２のフォーマットによって圧縮データパケットが出力される。ダミーコピー符号は、第２のフォーマットを示す部分である。

パケット１０１１は、ユーザデータ中でリテラル符号に符号化される領域が、本実施例のＬＺ４のリテラル符号長領域１００３で表現可能な文字数の上限値を超過していた場合、規定されている上限値の文字（リテラル符号）をリテラル符号長領域１００３に格納し、出力される。すなわち、パケット１０１１は、ユーザデータ中の連続するリテラル符号領域の全てをパケットに収めきることができないため、何もコピーしないダミーコピー符号１０１５によってパケットの区切りが表現され、出力される。そして、次のパケットを生成する圧縮処理で、ユーザデータの途中でまだ符号化されていないリテラル符号から符号化を実施する。

図１１は、本実施例のＬＺ４でユーザデータ９０１を圧縮した場合の、圧縮データパターンを示す。パケットの集合１１０１は、本実施例のＬＺ４で圧縮したデータのパケットのパターンを示す一形態である。パケットの集合１１０１は、複数の整列したパケット１０１１と、終端位置のパケット１００１を含む。

ユーザデータ９０１は、本実施例のＬＺ４の符号領域で分割すると、本実施例のＬＺ４のリテラル符号上限値をデータ長とするリテラル符号領域１１１１Ａからリテラル符号領域１１１１Ｂまでが連続して並ぶリテラル符号領域を含み、次に、データ長が１パケットの上限値以下となるリテラル符号領域１１１１Ｃと、コピー符号領域１１１１Ｄを含む。

パケット１０１１Ａは、ユーザデータ９０１のリテラル符号領域１１１１Ａを符号化する。パケット１０１１Ｂは、ユーザデータ９０１のリテラル符号領域１１１１Ｂを符号化する。パケット１０１１Ａからパケット１０１１Ｂの間には、一定のリテラル符号長とダミーコピー符号を持つパケット１０１１がいくつか並ぶ形式をとる。

パケット１００１Ａは、本実施例のＬＺ４が持つリテラル符号長上限以下のリテラル符号領域１１１１Ｃと、コピー符号領域１１１１Ｄを符号化する。パケットの集合１１０１Ａは、パケット１０１１Ａからパケット１０１１Ｂまでのいくつかのパケット１０１１と、パケット１００１Ａを含む。

パケットの集合１１０１は、リテラル符号とコピー符号を１セットずつ含むパケットの集合である。圧縮データ全体は、パケットの集合１１０１の形式が順に整列する形式をとる。パケットの集合１１０１は、圧縮対象のユーザデータ９０１のパターンによって、パケット１００１が１つだけの構成であってもよい。

図１２を用いて、標準ＬＺ４のリテラル符号長の表し方と、それを踏まえた本実施例のＬＺ４のリテラル符号長の上限値の決定方法について説明する。図１２は、トークン領域８０２とリテラル符号長領域８０３のデータ形式の詳細説明である。トークン領域８０２の１バイト領域のうち、上位４ビットのデータ領域１２０１がリテラル符号長を示す領域であり、下位４ビットのデータ領域１２０２がコピー符号長を示す領域である。以下、データ領域１２０１をトークンリテラル符号長領域１２０１と呼び、データ領域１２０２をトークンコピー符号長領域１２０２と呼ぶ。

リテラル符号の長さが、トークンリテラル符号長領域１２０１で表現可能な範囲内であった場合、リテラル符号長領域８０３はパケット８０１には挿入されない。トークンリテラル符号長領域１２０１の４ビットの値が全て１となった場合、すなわち４ビットで表現可能な最大値となった場合に、リテラル符号長８０３が挿入される。

リテラル符号長領域８０３においては、データ長は１バイトずつ追加される。リテラル符号長バイト１２０３Ａはリテラル符号長領域８０３に追加された最初の１バイトである。リテラル符号長バイト１２０３Ａは１バイト分の文字数、すなわち２５５文字まで表現することが可能である。

リテラル符号文字数が、トークンリテラル符号長領域１２０１とリテラル符号長バイト１２０３Ａを合わせて表現可能な文字数を超過した場合、すなわちトークンリテラル符号長領域１２０１とリテラル符号長バイト１２０３Ａの全ビットが”１”を示した場合、さらにリテラル符号長バイト１２０３Ｂがリテラル符号長領域８０３に追加される。

以上のように、リテラル符号長領域８０３では、連続したリテラル符号２５５文字につき、リテラル符号長領域８０３に１バイトずつのデータが追加される。最後、リテラル符号長バイト１２０３Ｃのように、１バイトの領域全ビットが”１”で埋まらなかった場合に、リテラル符号長バイト１２０３Ｃでリテラル符号長領域８０３のデータ領域の終端とみなす。

以上より、ＬＺ４のリテラル符号長バイト１２０３は、次の領域にまたリテラル符号長バイト１２０３が追加されずにとることが可能な最大の値は、ビット列”１１１１１１１０”である。

本実施例のＬＺ４パケット１０１１においても、以上の規則を踏襲しているため、リテラル符号長領域１００３の定められた上限バイト数の末尾のバイトの値の最大値を、ビット列”１１１１１１１０”と設定することで、リテラル符号長の符号効率を最大にすることが可能となる。

例えば、リテラル符号長領域１００３の最大バイト数を１としたとき、リテラル符号長領域１００３の構成要素はリテラル符号長バイト１２０４のみとなる。リテラル符号長バイト１２０４は、最大値を”１１１１１１１０”と設定するのが最も符号効率が良い。この場合、パケット１０１１が格納することが可能なリテラル符号長の最大値は、トークンリテラル符号長領域１２０１の最大値”１１１１”（＝１５）と、リテラル符号長領域１００３の最大値”１１１１１１１０”（＝２５４）を合計し、本実施例のＬＺ４の１パケット当たり２６９文字のリテラル符号を格納することが可能となる。

図１３は、圧縮伸長回路１１６の圧縮部６０２において、本実施例のＬＺ４を使用した場合の、図５のステップ５０２の詳細な１パケット当たりの圧縮処理フローを示す。ステップ１３０１において、圧縮部６０２は、前パケットで符号化されたデータに対して平文ライトデータの次の位置から読み出し、符号を検出する。

ステップ１３０２において、圧縮部６０２は、検出された符号がリテラル符号かコピー符号かを判定する。それがリテラル符号だった場合（１３０２：ＹＥＳ）、圧縮部６０２は、リテラル符号の計算を行い、パケット１００１またはパケット１０１１のリテラル符号を示す領域に、リテラル符号の符号化を行う。コピー符号だった場合（１３０２：ＮＯ）、圧縮部６０２は、トークンリテラル符号長領域１２０１にリテラル符号長が０であることを示す符号を書き込み、次にコピー符号の計算を行い、パケット１００１のコピー符号を示す領域に、コピー符号の符号化を行う。

ステップ１３０３において、リテラル符号長の計算・符号化を行うと、ステップ１３０４において、圧縮部６０２は、符号化する残データのリテラル符号長が、パケットに設定された上限リテラル符号長を超過しているかを判定する。

リテラル符号長が上限値以下の場合（１３０４：ＮＯ）、圧縮部６０２は、コピー符号を検出して符号化する。ステップ１３０５においてコピー符号を符号化した場合、パケット１００１の形式で圧縮データパケットが出力される。リテラル符号長が上限値より大きい場合（１３０４：ＹＥＳ）、圧縮部６０２は、ダミーコピー符号を符号化する。ステップ１３０７において、ダミーコピー符号を符号化すると、パケット１０１１の形式で圧縮データパケットが出力される。

このように本実施例のＬＺ４フォーマットを使用することにより、ＬＺ４アルゴリズムにおける圧縮データは、一定の時間内で各パケットが出力されることが保証され、圧縮部６０２と伸長部６０３の並列動作性を強化することが可能となる。

また、本実施例のＬＺ４フォーマットは、前述の通り標準ＬＺ４からの変更点が小さいため、実装するのに少ない工数で実現可能である。

ストレージシステム１０１は、圧縮伸長回路１１６、１２６における圧縮処理を監視し、圧縮処理性能に基づいて、上限リテラル符号長を変更してもよい。例えば、ＣＰＵ１１３、１２３は、圧縮伸長回路１１６、１２６における圧縮率及び／又は圧縮速度を監視し、その情報をメモリ１１４、１２４で管理する。上限リテラル符号長を変更するための回路が圧縮伸長回路１１６、１２６内に組み込まれていてもよい。

ＣＰＵ１１３又は１２３は、所定のタイミングで、圧縮伸長回路１１６、１２６双方の圧縮率及び／又は圧縮速度の統計値を算出する。統計値は、例えば、平均値であってもよい。ＣＰＵ１１３又は１２３は、例えば、算出した圧縮率が閾値未満である場合、上限値を所定数だけ増加させる。または、ＣＰＵ１１３又は１２３は、算出した圧縮速度が閾値未満である場合、上限値を所定数だけ減少させる。

上述のように、圧縮部は、パケットの少なくとも一部が予め設定された上限値以下のサイズとなるようにパケットを順次生成する。上記例は、リテラル符号長に上限値を設定する。上限値が設定される部分は、パケットフォーマット及びシステム設計に応じて適切に設定されてよい。圧縮パケットのリテラル符号長が上限以下に制限されることで、各パケットの圧縮時間を制限し、圧縮と伸縮の並列処理をより効果的に行うことを可能とする。

本実施例は、実施例２のＬＺ４パケットのフォーマットを変更することにより、さらに高い圧縮率を実現するものである。図１４、図１５を使用し、実施例２のＬＺ４の第２のフォーマット及び圧縮処理フローからの変更点を以下に示す。

図１４は、実施例３で定義されるＬＺ４の第２のフォーマットである。リテラル符号長が上限値にならず、リテラル符号とコピー符号が格納されるパケット１００１においては、変更点が存在しない。パケット１４０１は、パケット１０１１に対して、ダミーコピー符号が定義されておらず、トークン領域８０２と、リテラル符号長領域１００３と、リテラル文字領域８０４の３つのデータ領域によって構成される。

パケット１０１１では、ダミーコピー符号をパケットに挿入することによって、パケットの区切りが明示する。これと異なり、パケット１４０１では、トークン領域８０２におけるトークンコピー符号長領域１２０２が、コピー符号がパケットに格納されているかどうかを示す。つまり、トークンコピー符号長領域１２０２が示すコピー符号長が０である場合、コピー符号がパケットに格納されていないことを示す。このように、トークンコピー符号長領域１２０２を参照して、パケットの区切り位置を判定することができる。トークンコピー符号長領域１２０２は、第２のフォーマットを示す部分である。

図１５は、実施例３で定義されるＬＺ４フォーマットの各パケット圧縮時処理フローである。実施例２の図１３からの変更点として、ステップ１３０４での判定がＹＥＳとなった場合、それ以上は何も符号化せず、プロセス１５０１を通り、そのパケットの圧縮処理を終了する。

これにより、実施例２におけるＬＺ４フォーマットよりもさらに、ダミーコピー符号の分の領域を省略可能なため、圧縮率の向上を実現可能となる。

なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明したすべての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に保管の実施例の構成を加えることも可能である。

また、各実施例の構成の一部について、他の構成の追加・削除・置換をすることが可能である。また、上記の各構成、昨日、処理部、処理手段等は、それらの一部または全部を、例えば集積回路で設計する等によりハードウェアに実現してもよい。また、上記の各構成、機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（ＳｏｌｉｄＳｔａｔｅＤｒｉｖｅ）等の記録装置、またはＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。

また、制御線や信号線は説明上必要と考えられるものを示しており、製品上必ずしもすべての制御線や信号線を示しているとは限らない。実際には殆どすべての構成が相互に接続されていると考えてもよい。

１１６…圧縮伸長回路、６０２…圧縮部、６０３…伸長部、１００１，１０１１…本発明のＬＺ４パケットフォーマット、１００３…上限値付きリテラル符号長領域

Claims

ストレージシステムであって、
インタフェースと、
前記インタフェースを介して受信した受信データを圧縮して圧縮データを生成する、圧縮回路と、
前記圧縮データをストレージドライブに格納する前に伸長して、データ整合性を確認する伸長回路と、を含み、
前記圧縮回路は、前記受信データの圧縮タスクを順次実行して、前記圧縮データのパケットを順次生成して前記伸長回路に転送し、
前記伸長回路は、前記圧縮タスクと並列に、受信した前記パケットを伸長し、
前記パケットの第１フォーマット及び第２フォーマットが定義されており、
前記第１フォーマットは、前記受信データの一部が符号化され、予め設定された上限長さ以下のリテラル符号部と、前記受信データ内の繰り返しデータの位置及び長さを示すコピー符号部と、を含み、
前記第２フォーマットは、前記受信データ内の繰り返しデータを示すことなく、前記上限長さを有する前記リテラル符号部と、前記第２フォーマットを示す部分と、を含み、
前記第２フォーマットを示す部分は、前記コピー符号部に代えて挿入され、無コピーを示すダミーコピー符号部である、ストレージシステム。
ストレージシステムであって、
インタフェースと、
前記インタフェースを介して受信した受信データを圧縮して圧縮データを生成する、圧縮回路と、
前記圧縮データをストレージドライブに格納する前に伸長して、データ整合性を確認する伸長回路と、を含み、
前記圧縮回路は、前記受信データの圧縮タスクを順次実行して、前記圧縮データのパケットを順次生成して前記伸長回路に転送し、
前記伸長回路は、前記圧縮タスクと並列に、受信した前記パケットを伸長し、
前記パケットの第１フォーマット及び第２フォーマットが定義されており、
前記第１フォーマットは、前記受信データの一部が符号化され、予め設定された上限長さ以下のリテラル符号部と、前記受信データ内の繰り返しデータの位置及び長さを示すコピー符号部と、を含み、
前記第２フォーマットは、前記受信データ内の繰り返しデータを示すことなく、前記上限長さを有する前記リテラル符号部と、前記第２フォーマットを示す部分と、を含み、
前記第１フォーマット及び前記第２フォーマットは、前記パケットにおけるリテラル符号長を示す部分と、前記パケットにおけるコピー符号長を示す部分と、を含み、
前記第２フォーマットを示す部分は、前記コピー符号長を示す部分であって、前記コピー符号長が０であることを示す、ストレージシステム。
ストレージシステムであって、
インタフェースと、
前記インタフェースを介して受信した受信データを圧縮して圧縮データを生成する、圧縮回路と、
前記圧縮データをストレージドライブに格納する前に伸長して、データ整合性を確認する伸長回路と、を含み、
前記圧縮回路は、前記受信データの圧縮タスクを順次実行して、前記圧縮データのパケットを順次生成して前記伸長回路に転送し、
前記伸長回路は、前記圧縮タスクと並列に、受信した前記パケットを伸長し、
前記パケットの第１フォーマット及び第２フォーマットが定義されており、
前記第１フォーマットは、前記受信データの一部が符号化され、予め設定された上限長さ以下のリテラル符号部と、前記受信データ内の繰り返しデータの位置及び長さを示すコピー符号部と、を含み、
前記第２フォーマットは、前記受信データ内の繰り返しデータを示すことなく、前記上限長さを有する前記リテラル符号部と、前記第２フォーマットを示す部分と、を含み、
前記第１フォーマット及び前記第２フォーマットは、前記パケットにおけるリテラル符号長を示す部分を含み、
前記リテラル符号長を示す部分は、前記パケットにおけるリテラル符号長を示す規定数のビット列を含み、
前記上限長さは、前記ビット列で表現可能な符号長の最大値である、ストレージシステム。
ストレージシステムであって、
インタフェースと、
前記インタフェースを介して受信した受信データを圧縮して圧縮データを生成する、圧縮回路と、
前記圧縮データをストレージドライブに格納する前に伸長して、データ整合性を確認する伸長回路と、を含み、
前記圧縮回路は、前記受信データの圧縮タスクを順次実行して、前記圧縮データのパケットを順次生成して前記伸長回路に転送し、
前記伸長回路は、前記圧縮タスクと並列に、受信した前記パケットを伸長し、
前記圧縮回路は、前記パケット内のリテラル符号部が予め設定された上限長さ以下のサイズとなるように前記パケットを順次生成し、
前記圧縮回路の圧縮結果に基づき圧縮処理性能を監視し、
前記圧縮回路の圧縮処理性能に基づいて前記上限長さを更新する、ストレージシステム。
ストレージシステムにおけるデータ処理方法であって、
前記ストレージシステムは、圧縮回路及び伸長回路を含み、
前記データ処理方法は、
前記圧縮回路が、受信データを圧縮して圧縮データを生成し、
前記伸長回路が、前記圧縮データをストレージドライブに格納する前に伸長して、データ整合性を確認する、ことを含み、
前記圧縮データの生成は、前記受信データの圧縮タスクを順次実行して、前記圧縮データのパケットを順次生成して前記伸長回路に転送し、
前記圧縮データの伸長は、前記圧縮タスクと並列に、受信した前記パケットを伸長し、
前記パケットの第１フォーマット及び第２フォーマットが定義されており、
前記第１フォーマットは、前記受信データの一部が符号化され、予め設定された上限長さ以下のリテラル符号部と、前記受信データ内の繰り返しデータの位置及び長さを示すコピー符号部と、を含み、
前記第２フォーマットは、前記受信データ内の繰り返しデータを示すことなく、前記上限長さを有する前記リテラル符号部と、前記第２フォーマットを示す部分と、を含み、
前記第２フォーマットを示す部分は、前記コピー符号部に代えて挿入され、無コピーを示すダミーコピー符号部である、データ処理方法。
ストレージシステムにおけるデータ処理方法であって、
前記ストレージシステムは、圧縮回路及び伸長回路を含み、
前記データ処理方法は、
前記圧縮回路が、受信データを圧縮して圧縮データを生成し、
前記伸長回路が、前記圧縮データをストレージドライブに格納する前に伸長して、データ整合性を確認する、ことを含み、
前記圧縮データの生成は、前記受信データの圧縮タスクを順次実行して、前記圧縮データのパケットを順次生成して前記伸長回路に転送し、
前記圧縮データの伸長は、前記圧縮タスクと並列に、受信した前記パケットを伸長し、
前記パケットの第１フォーマット及び第２フォーマットが定義されており、
前記第１フォーマットは、前記受信データの一部が符号化され、予め設定された上限長さ以下のリテラル符号部と、前記受信データ内の繰り返しデータの位置及び長さを示すコピー符号部と、を含み、
前記第２フォーマットは、前記受信データ内の繰り返しデータを示すことなく、前記上限長さを有する前記リテラル符号部と、前記第２フォーマットを示す部分と、を含み、
前記第１フォーマット及び前記第２フォーマットは、前記パケットにおけるリテラル符号長を示す部分と、前記パケットにおけるコピー符号長を示す部分と、を含み、
前記第２フォーマットを示す部分は、前記コピー符号長を示す部分であって、前記コピー符号長が０であることを示す、データ処理方法。
ストレージシステムにおけるデータ処理方法であって、
前記ストレージシステムは、圧縮回路及び伸長回路を含み、
前記データ処理方法は、
前記圧縮回路が、受信データを圧縮して圧縮データを生成し、
前記伸長回路が、前記圧縮データをストレージドライブに格納する前に伸長して、データ整合性を確認する、ことを含み、
前記圧縮データの生成は、前記受信データの圧縮タスクを順次実行して、前記圧縮データのパケットを順次生成して前記伸長回路に転送し、
前記圧縮データの伸長は、前記圧縮タスクと並列に、受信した前記パケットを伸長し、
前記パケットの第１フォーマット及び第２フォーマットが定義されており、
前記第１フォーマットは、前記受信データの一部が符号化され、予め設定された上限長さ以下のリテラル符号部と、前記受信データ内の繰り返しデータの位置及び長さを示すコピー符号部と、を含み、
前記第２フォーマットは、前記受信データ内の繰り返しデータを示すことなく、前記上限長さを有する前記リテラル符号部と、前記第２フォーマットを示す部分と、を含み、
前記第１フォーマット及び前記第２フォーマットは、前記パケットにおけるリテラル符号長を示す部分を含み、
前記リテラル符号長を示す部分は、前記パケットにおけるリテラル符号長を示す規定数のビット列を含み、
前記上限長さは、前記ビット列で表現可能な符号長の最大値である、データ処理方法。
ストレージシステムにおけるデータ処理方法であって、
前記ストレージシステムは、圧縮回路及び伸長回路を含み、
前記データ処理方法は、
前記圧縮回路が、受信データを圧縮して圧縮データを生成し、
前記伸長回路が、前記圧縮データをストレージドライブに格納する前に伸長して、データ整合性を確認する、ことを含み、
前記圧縮データの生成は、前記受信データの圧縮タスクを順次実行して、前記圧縮データのパケットを、前記パケット内のリテラル符号部が予め設定された上限長さ以下のサイズとなるように順次生成して前記伸長回路に転送し、
前記圧縮データの伸長は、前記圧縮タスクと並列に、受信した前記パケットを伸長し、
前記データ処理方法は、さらに
前記圧縮回路の圧縮結果に基づき圧縮処理性能を監視し、
前記圧縮回路の圧縮処理性能に基づいて前記上限長さを更新する、データ処理方法。