JP2024046000A - 圧縮装置及び圧縮方法 - Google Patents

Abstract

【課題】短時間でデータを圧縮することができる圧縮装置を提供すること。【解決手段】実施形態に係る圧縮装置は、複数サイクル分の入力データ列から、先頭のバイト位置が異なり、複数バイトである複数のサブストリングを生成するサブストリング生成部と、過去のサイクルで入力された複数の入力データ列を記憶するメモリと、複数の入力データ列の中から複数のサブストリングと少なくとも一部が一致する複数の第１入力データ列を取得するためにメモリを探索し、複数の第１入力データ列が記憶されているメモリの記憶位置と、複数のサブストリングと複数の第１入力データ列との一致長と、を表す複数の探索結果を出力する探索部と、複数の探索結果のビットマップと、複数の探索結果の中の第１の探索結果が選択されたか否かを示すビット列とに基づいて、複数の探索結果の中の第２の探索結果を選択するかしないかを決定する選択部と、を具備する。【選択図】図１０

Description

本発明の実施形態は、データを圧縮する圧縮装置及び圧縮方法に関する。

データセンター等では、ユーザが大量のデータを保存する際、元データのままデータを保存すると、記憶媒体の容量が膨大になり、それに係るコストが増大してしまう。

そこで、データを可逆圧縮し、圧縮データを保存することにより、保存するデータ量の削減を図っている。可逆圧縮の一例は、辞書式圧縮とエントロピー符号化を組み合わせた圧縮である。辞書式圧縮の一例は、gzip圧縮である。gzip圧縮の辞書式圧縮は、過去に入力されたデータ列を格納する辞書を備える。圧縮対象データ列と一致するデータ列が辞書から探索される。圧縮対象データ列と一致するデータ列が辞書に格納されている場合、圧縮対象データ列は、圧縮対象データ列が辞書に格納されているデータ列と一致したという情報、一致するデータ列を格納する辞書の記憶位置（一致位置と称される）と、一致するデータ列の長さ（一致長と称される）の組に変換される。圧縮対象データ列と一致するデータ列が辞書に格納されていない場合、圧縮対象データ列は、圧縮対象データ列が辞書に格納されているデータ列と不一致であるという情報に変換される。

この辞書式圧縮の後、一致したという情報と一致位置と一致長の組、又は不一致であるという情報がエントロピー符号化され、データが圧縮されデータ量が削減される。一致したという情報と一致位置と一致長の組、又は不一致であるという情報は、圧縮対象データ列よりサイズが小さい。

データ量が削減されることにより、記憶媒体への物理的な書き込み量が削減され、物理的な読み出し量も削減される。そのため、書き込み速度や読み込み速度の増加が可能となり、より多くのデータを記憶媒体に書き込むことが可能となる。

辞書式圧縮では、圧縮伸長のスループットと圧縮性能を高めるために、圧縮対象データ列の先頭から１データ単位ずつずれた複数のデータ列の辞書探索が同時に行なわれることがある。この場合、圧縮対象データ列と一致する複数のデータ列が検出されることがある。

圧縮対象データ列と一致する複数の文字列が検出された場合、検出された文字列から互いに等しい文字列を含まない複数の文字列を選択しなければならない。この選択は、時間が係る処理である。

米国特許出願公開第２００３／００９０３９７号明細書 特開２０１０－９８７４４号公報 米国特許出願公開第２０１７／０１１６２８０号明細書

本発明の目的は、短時間でデータを圧縮することができる圧縮装置及び圧縮方法を提供することである。

実施形態に係る圧縮装置は、１サイクル当たり複数バイトの入力データ列を入力し、複数サイクル分の入力データ列から、先頭のバイト位置がそれぞれ異なり、それぞれが複数バイトである複数のサブストリングを生成するサブストリング生成部と、過去のサイクルで入力された複数の入力データ列を記憶するメモリと、前記複数の入力データ列の中から前記複数のサブストリングと少なくとも一部が一致する複数の第１入力データ列を取得するために前記メモリを探索し、前記複数の第１入力データ列が記憶されている前記メモリの記憶位置と、前記複数のサブストリングと前記複数の第１入力データ列との一致長と、を表す複数の探索結果を出力する探索部と、前記複数の探索結果のそれぞれのビットマップと、前記複数の探索結果の中の第１の探索結果が選択されたか否かを示すビット列とに基づいて、前記複数の探索結果の中の第２の探索結果を選択するかしないかを決定する選択部と、を具備する。

第１実施形態に係る情報処理システムの一例を説明するためのブロック図。 第１実施形態に係る圧縮回路の一例を説明するためのブロック図。 第１実施形態に係るサブストリングの生成の一例を説明するための図。 第１実施形態に係るマッチ情報の一例を説明するための図。 第１実施形態に係るサブストリング毎の辞書一致データ列が一例を説明するための図。 第１実施形態に係るマッチ情報の選択の一例を説明するための図。 参考例に係るマッチ選択回路の一例を説明するための図。 第１実施形態に係るマッチ選択部の一例を説明するためのブロック図。 第１実施形態に係るビットマップ生成器により作成されたマッチ情報のビットマップの一例を説明するための図。 第１実施形態に係るマッチ選択部の処理の一例を説明するためのフローチャート。 第１実施形態に係るマッチ情報の選択の一例を説明するための図である。 第１実施形態に係るマッチ情報の選択の一例を説明するための図である。 第１実施形態に係るマッチ情報の選択の一例を説明するための図である。

以下、図面を参照して、実施形態を説明する。以下の説明は、実施形態の技術的思想を具体化するための装置や方法を例示するものであって、実施形態の技術的思想は、以下に説明する構成要素の構造、形状、配置、材質等に限定されるものではない。当業者が容易に想到し得る変形は、当然に開示の範囲に含まれる。説明をより明確にするため、図面において、各要素のサイズ、厚み、平面寸法又は形状等を実際の実施態様に対して変更して模式的に表す場合もある。複数の図面において、互いの寸法の関係や比率が異なる要素が含まれることもある。複数の図面において、対応する要素には同じ参照数字を付して重複する説明を省略する場合もある。いくつかの要素に複数の呼称を付す場合があるが、これら呼称の例はあくまで例示であり、これらの要素に他の呼称を付すことを否定するものではない。また、複数の呼称が付されていない要素についても、他の呼称を付すことを否定するものではない。なお、以下の説明において、「接続」は直接接続のみならず、他の要素を介した接続も含む場合もある。

以下、図面を参照しながら本実施の形態について詳細に説明する。

図１は、第１実施形態に係る情報処理システム１の一例を説明するためのブロック図である。情報処理システム１は、ホスト２と、メモリシステム４とを含む。

ホスト２は、メモリシステム４にアクセスする情報処理装置である。メモリシステム４は、ホスト２のメインストレージとして使用され得る。メモリシステム４は、ホスト２に内蔵されてもよいし、ホスト２の外部に設けられ、ホスト２にケーブルまたはネットワークを介して接続されてもよい。ホスト２は、大量且つ多様なデータをメモリシステム４に保存するサーバ（ストレージサーバ）であってもよい。ホスト２は、パーソナルコンピュータであってもよい。メモリシステム４は、データセンター等のサーバに組み込まれるビジネスユース向けのシステムであってもよい。メモリシステム４はパーソナルコンピュータに組み込まれるパーソナルユース向けのシステムであってもよい。メモリシステム４の例は、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）、ＨＤＤ（Ｈａｒｄ Ｄｉｓｋ Ｄｒｉｖｅ）である。以下の説明では、メモリシステム４の例は、ＳＳＤであるとする。

メモリシステム４は、ＮＡＮＤ型フラッシュメモリ１２、ＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）１４、及びコントローラ１０を備える。

ＮＡＮＤ型フラッシュメモリ１２は、不揮発性メモリの一例である。ＮＡＮＤ型フラッシュメモリ１２の代わりに、ＮＯＲ型フラッシュメモリ、ＭＲＡＭ（Ｍａｇｎｅｔｏ－ｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＰＲＡＭ（Ｐｈａｓｅ ｃｈａｎｇｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＲｅＲＡＭ（Ｒｅｓｉｓｔｉｖｅ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）、ＦｅＲＡＭ（Ｆｅｒｒｏｅｌｅｃｔｒｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を用いてもよい。ＮＡＮＤ型フラッシュメモリ１２は、マトリクス状に配置された複数のメモリセルを含むメモリセルアレイを含む。メモリセルアレイは、２次元構造でもよいし、３次元構造でもよい。

ＤＲＡＭ１４は、揮発性メモリの一例である。ＤＲＡＭ１４は、例えばＤＤＲ３Ｌ（Ｄｏｕｂｌｅ Ｄａｔａ Ｒａｔｅ ３ Ｌｏｗ ｖｏｌｔａｇｅ）規格のＤＲＡＭである。ＤＲＡＭ１４はライトバッファ、リードバッファ、管理情報バッファ等を含む。ホストからメモリシステム４に供給され、ＮＡＮＤ型フラッシュメモリ１２に書き込まれている途中あるいは未書き込みのデータがライトバッファに記憶される。ＮＡＮＤ型フラッシュメモリ１２から読み出され、ホストに転送中のデータあるいは未転送のデータがリードバッファに記憶される。ルックアップテーブルやメモリシステム４の動作中に用いられる各種のテーブルや各種の値が管理情報バッファに記憶される。ＤＲＡＭ１４は、コントローラ１０において実行されるソフトウェアの一時的なバッファとしても機能する。ＤＲＡＭ１４は、コントローラ１０の外部に設けるのだけではなく、コントローラ１０の内部に設けてもよい。なお、揮発性メモリとしては、ＤＲＡＭ１４の代わりに、より高速アクセスが可能なＳＲＡＭ（Ｓｔａｔｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）を用いてもよい。

コントローラ１０は、ホストから送信されるコマンドに従って、ＮＡＮＤ型フラッシュメモリ１２にデータを書き込むよう、又はＮＡＮＤ型フラッシュメモリ１２からデータを読み出すように構成されている。コントローラ１０は、ＳｏＣ（Ｓｙｓｔｅｍ ｏｎ ａ Ｃｈｉｐ）のような回路によって構成され得る。コントローラ１０は、メモリシステム４の動作を司る機能を有する。コントローラ１０は、ホストインタフェース（ホストＩ／Ｆ回路と称する）２２、ＣＰＵ２０、ＮＡＮＤインタフェース（ＮＡＮＤ Ｉ／Ｆ回路と称する）２４、ＤＲＡＭインタフェース（ＤＲＡＭ Ｉ／Ｆ回路と称する）２６、圧縮回路２８、及び伸張回路３０を備える。

ホストＩ／Ｆ回路２２は、ホストとの通信を実行するように構成されている。ホストとの通信は、例えばＰＣＩ Ｅｘｐｒｅｓｓ^ＴＭ規格に従う。ホストＩ／Ｆ回路２２は、ホストからのコマンドを受信する。

ＮＡＮＤ Ｉ／Ｆ回路２４は、ＣＰＵ２０の制御の下、ＮＡＮＤ型フラッシュメモリ１２を制御するように構成されたメモリ制御回路である。ＮＡＮＤ Ｉ／Ｆ回路２４とＮＡＮＤ型フラッシュメモリ１２とは、複数のチャネルＣｈで接続される。ＮＡＮＤ型フラッシュメモリ１２は、多数のメモリチップからなる。複数のメモリチップが各チャネルに接続される。

ＤＲＡＭ Ｉ／Ｆ回路２６は、ＣＰＵ２０の制御の下、ＤＲＡＭ１４を制御するように構成されたＤＲＡＭ制御回路である。

圧縮回路２８は、辞書式圧縮器４２と符号化器４４を備える。辞書式圧縮器４２は、非圧縮データに対して辞書式圧縮を行うデータ圧縮部である。符号化器４４は、辞書式圧縮器４２が出力する圧縮データを符号化する。

コントローラ１０は、ホストから送信された非圧縮データを圧縮回路２８により圧縮し、圧縮データをＮＡＮＤ型フラッシュメモリ１２に書き込む。コントローラ１０は、圧縮データに、誤り訂正符号化処理やランダマイズ処理等の所定の処理を実行してからＮＡＮＤ型フラッシュメモリ１２に書き込んでもよい。つまり、コントローラ１０は、圧縮回路２８から出力される圧縮データに基づくデータを、ＮＡＮＤ Ｉ／Ｆ回路２４を介してＮＡＮＤ型フラッシュメモリ１２に書き込むように構成される。コントローラ１０は、ＮＡＮＤ型フラッシュメモリ１２から読み出した圧縮データを伸張回路３０により伸張してホスト２へ送信する。コントローラ１０は読み出されたデータに対して誤り訂正処理やランダマイズ解除処理等の所定の処理を実行してから伸張回路３０に伸張させてもよい。つまり、コントローラ１０は、ＮＡＮＤ型フラッシュメモリ１２から読み出したデータに基づくデータを伸張回路３０により伸張してホスト２へ送信するように構成される。

伸張回路３０は、辞書式伸張部２２０と復号部２２２を備える。

圧縮回路２８と伸張回路３０は、コントローラ１０に含まれるので、専用の回路（ＳｏＣ）によって実現される。しかし、圧縮回路２８と伸張回路３０は、ＣＰＵ２０が圧縮又は伸張プログラム（ファームウェア）を実行することによって実現されてもよい。圧縮回路２８及び伸張回路３０がメモリシステム４のコントローラ１０に組み込まれているものとして説明したが、圧縮回路２８及び伸張回路３０のうちの一方または両方は、メモリシステム４の外部に設けられていてもよい。メモリシステム４の外部とは、例えば、ホスト又はホストがさらに接続されるサーバである。

図２は、第１実施形態に係る圧縮回路２８の一例を説明するためのブロック図である。

辞書式圧縮器４２は、サブストリング生成部６２、複数のハッシュ計算部６４、ハッシュテーブル６６、ヒストリバッファ６８、複数のマッチ情報生成部７０、及びマッチ選択部７４を含む。サブストリング生成部６２は、バッファメモリ６２ａを備える。

複数のハッシュ計算部６４、ハッシュテーブル６６、ヒストリバッファ６８、及び複数のマッチ情報生成部７０は、非圧縮データ４０から取得した複数のサブストリングを並列に処理するように構成される。これにより、スループットが向上する。

以下では、並列に処理する複数のサブストリングが、Ｎ個のサブストリングである場合を例示する。Ｎは、２以上の整数である。

図３は、第１実施形態に係るサブストリングの生成の一例を説明するための図である。サブストリング生成部６２は、２サイクルの非圧縮データを記憶するバッファメモリ６２ａを備える。バッファメモリ６２ａの１バイトのデータを記憶する領域には、１アドレスが割り当てられる。１サイクルの非圧縮データは、ここでは１６バイトとする。非圧縮データの種類は、文字データ、画像データ等何でもよい。以下の説明では、非圧縮データの種類は、文字データであるとする。

データ入力のサイクル（Ｃ－１）で入力された１６バイトの非圧縮データ列（文字列）“ａｂｃｄｅｆｇｋｂｃｄｅｆｄｅｆ”はバッファメモリ６２ａのアドレス０からアドレス１５に記憶されている。データ入力のサイクルＣで入力された１６バイトの非圧縮データ列（文字列）“ａｂｆｊｃｏｐｅｇｔｏｓｉｄｂｆ”はバッファメモリ６２ａのアドレス１６からアドレス３１に記憶されている。

サブストリング生成部６２は、バッファメモリ６２ａのアドレス０からアドレス１５に記憶されている１６バイトの文字列“ａｂｃｄｅｆｇｋｂｃｄｅｆｄｅｆ”を読み出し、その文字列を第０サブストリング（ＳＳ０）とする。ＳＳ０は、サイクル（Ｃ－１）で入力された文字列からなる。

サブストリング生成部６２は、バッファメモリ６２ａのアドレス１からアドレス１６に記憶されている１６バイトの文字列“ｂｃｄｅｆｇｋｂｃｄｅｆｄｅｆａ”を読み出し、その文字列を第１サブストリング（ＳＳ１）とする。ＳＳ１は、サイクル（Ｃ－１）で入力された文字列とサイクルＣで入力された文字列とからなる。ＳＳ１の先頭の文字“ｂ”は、ＳＳ０の先頭の文字“ａ”とは、非圧縮データの文字列においてバイト位置が１つ異なり、バッファメモリ６２ａ内のアドレスが１つ異なる。サブストリングの先頭の文字の位置は、サブストリングの開始位置とも称される。すなわち、ＳＳ１の開始位置のアドレスは、非圧縮データの文字列においてＳＳ０の開始位置のアドレスと１だけずれている。

以下、同様に、サブストリング生成部６２は、バッファメモリ６２ａの１つずつずれたアドレスから１６バイトの文字列を読み出し、その文字列をサブストリングとする。最後に、サブストリング生成部６２は、バッファメモリ６２ａのアドレス１５からアドレス３０に記憶されている１６バイトの文字列“ｆａｂｆｊｃｏｐｅｇｔｏｓｉｄｂ”を読み出し、その文字列を第１５サブストリング（ＳＳ１５）とする。

図２の説明に戻り、Ｎ（図３の例ではＮ＝１６）個のサブストリングを並列に処理する場合、辞書式圧縮器４２は、例えば、Ｎ個のハッシュ計算部６４と、Ｎ個のマッチ情報生成部７０とを備える。Ｎ個のハッシュ計算部６４の内のｉ番目のハッシュ計算部６４は、第ｉサブストリングに対応する。ｉ番目のハッシュ計算部６４を、ハッシュ計算部６４－ｉと表記する。ｉは０～（Ｎ－１）（図３の例では０～１５）である。Ｎ個のマッチ情報生成部７０の内のｉ番目のマッチ情報生成部７０は、第ｉサブストリングに対応する。ｉ番目のマッチ情報生成部７０を、マッチ情報生成部７０－ｉと表記する。

Ｎ個のハッシュ計算部６４のそれぞれは、Ｎ個のサブストリングのそれぞれのハッシュ値を計算する。ハッシュ値の計算には、予め定められた１つのハッシュ関数と、サブストリングの少なくとも一部とが用いられる。Ｎ個のハッシュ計算部６４のそれぞれは、計算したハッシュ値をハッシュテーブル６６に送出する。

より具体的には、ｉ番目のハッシュ計算部６４－ｉは、第ｉサブストリングのハッシュ値を計算する。ハッシュ計算部６４－ｉは、計算したハッシュ値をハッシュテーブル６６に送出する。

ハッシュテーブル６６は、例えば、揮発性のメモリで実現される。ハッシュテーブル６６は、複数の記憶領域を備える。複数の記憶領域のそれぞれは、１つのハッシュ値に関連付けられたデータを記憶可能である。１つのハッシュ値に関連付けられたデータは、例えば、過去の入力データが記憶されているヒストリバッファ６８内の記憶領域を特定するデータである。ヒストリバッファ６８内の記憶領域を特定するデータは、例えば、アドレスである。ヒストリバッファ６８の複数の記憶領域のそれぞれに記憶されているデータは、並列に読み出され得る。

サブストリングのハッシュ値は、ハッシュテーブル６６内の複数の記憶領域の１つを特定するアドレスとして機能する。ハッシュテーブル６６は、Ｎ個のハッシュ計算部６４のそれぞれによって計算されたＮ個のサブストリングのハッシュ値をアドレスとして、ハッシュテーブル６６内の複数の記憶領域の１つを特定する。

特定したハッシュテーブル６６内の記憶領域にヒストリバッファ６８のアドレスが記憶されている場合、ハッシュテーブル６６からそのアドレスが読み出される。そして、読み出されたアドレスを指定したデータ読み出し要求が、ヒストリバッファ６８へ送出される。データ読み出し要求は、ヒストリバッファ６８に対して、指定したアドレスで特定される記憶領域からデータを読み出すことを要求する。なお、特定したハッシュテーブル６６内の記憶領域にヒストリバッファ６８のアドレスが記憶されていない場合、ヒストリバッファ６８へのデータ読み出し要求は送出されない。

以下では、Ｎ個のハッシュ計算部６４のそれぞれによって計算されたＮ個のサブストリングのハッシュ値を用いて、Ｎ個のデータ読み出し要求がヒストリバッファ６８へ並列に送出された場合について、主に例示する。

ヒストリバッファ６８は、例えば、ＳＲＡＭとして実現される。ヒストリバッファ６８は、フリップフロップ回路を用いて実現されてもよい。ヒストリバッファ６８は、辞書バッファとも称される。ヒストリバッファ６８は、辞書式圧縮器４２に過去に入力された所定個数の文字列を記憶する。

ヒストリバッファ６８では、受け付けたデータ読み出し要求で指定されたアドレスで特定される記憶領域から、文字列が読み出される。読み出された文字列は、受け付けたデータ読み出し要求に対応するサブストリングと比較される文字列である。サブストリングと比較される、ヒストリバッファ６８から読み出された文字列を、そのサブストリングに対応する辞書一致候補とも称する。あるサブストリングに対応する辞書一致候補は、そのサブストリングに対応するマッチ情報生成部７０に送出される。

Ｎ個のマッチ情報生成部７０のそれぞれは、対応するサブストリングのマッチ情報を生成する。Ｎ個のマッチ情報生成部７０のそれぞれは、サブストリングと、そのマッチ情報をマッチ選択部７４に送出する。

マッチ情報は、サブストリングと少なくとも一部が一致する文字列を取得するためにヒストリバッファ６８を探索する探索処理の結果を示す。マッチ情報は、一致フラグ、一致位置、及び一致長を含む。

一致フラグは、対応するサブストリングと少なくとも一部が一致する文字列がヒストリバッファ６８に記憶されていると判定されたか否かを示す。サブストリングと先頭から少なくとも一部が一致する文字列を、辞書一致文字列と称する。辞書一致文字列がヒストリバッファ６８に記憶されていると判定された場合、すなわち、ヒストリバッファ６８に記憶されている文字列とサブストリングとが一致する場合、一致フラグは一致を示す文字列ｍａｔｃｈである。辞書一致文字列がヒストリバッファ６８に記憶されていないと判定された場合、すなわち、ヒストリバッファ６８に記憶されている文字列とサブストリングとが一致しない場合、一致フラグは不一致を示す文字列ｕｎｍａｔｃｈである。

一致位置は、一致フラグがｍａｔｃｈである場合（すなわち、辞書一致文字列がヒストリバッファ６８に記憶されていると判定された場合）、対応するサブストリングが記憶されるヒストリバッファ６８内の位置から、辞書一致文字列が記憶されているヒストリバッファ６８内の位置までの距離を示す。この距離は、ヒストリバッファ６８の記憶位置を示すアドレスの差に対応する。一致フラグがｕｎｍａｔｃｈである場合（すなわち、辞書一致文字列がヒストリバッファ６８に記憶されていないと判定された場合）、一致位置には値が設定されない。

一致長は、一致フラグがｍａｔｃｈである場合、対応するサブストリングと辞書一致文字列とで一致した部分の長さを示す。一致フラグがｕｎｍａｔｃｈである場合、一致長には値が設定されない。

なお、一致フラグｍａｔｃｈと、一致位置Ｄと、一致長Ｌとを含むマッチ情報を、ｍａｔｃｈ（Ｄ，Ｌ）と表記する。不一致フラグｕｎｍａｔｃｈを含むマッチ情報を、ｕｎｍａｔｃｈと表記する。また、第ｉサブストリングに対応するマッチ情報を、マッチ情報Ｍ［ｉ］と表記する。

ここで、ｉ番目のマッチ情報生成部７０－ｉの具体的な動作を、第ｉサブストリングに対応する辞書一致候補がヒストリバッファ６８からマッチ情報生成部７０－ｉに送出された場合と、第ｉサブストリングに対応する辞書一致候補がヒストリバッファ６８からマッチ情報生成部７０－ｉに送出されなかった場合のそれぞれについて説明する。

まず、第ｉサブストリングに対応する辞書一致候補がヒストリバッファ６８からマッチ情報生成部７０－ｉに送出された場合について説明する。この場合、マッチ情報生成部７０－ｉは、第ｉサブストリングと、送出された辞書一致候補とを比較して、ｉ番目のマッチ情報Ｍ［ｉ］を生成する。具体的には、マッチ情報生成部７０－ｉは、第ｉサブストリングと辞書一致候補とで先頭から少なくとも一部が一致する場合、一致フラグｍａｔｃｈと、一致位置Ｄと、一致長Ｌとを含むマッチ情報Ｍ［ｉ］（すなわち、ｍａｔｃｈ（Ｄ，Ｌ））を生成する。マッチ情報生成部７０－ｉは、第ｉサブストリングと辞書一致候補とでいずれの一部も一致しない場合、不一致フラグｕｎｍａｔｃｈを含むマッチ情報Ｍ［ｉ］（すなわち、ｕｎｍａｔｃｈ）を生成する。そして、マッチ情報生成部７０－ｉは、生成したマッチ情報Ｍ［ｉ］をマッチ選択部７４に送出する。

次いで、第ｉサブストリングに対応する辞書一致候補がマッチ情報生成部７０－ｉに送出されなかった場合について説明する。この場合、マッチ情報生成部７０－ｉは、不一致フラグｕｎｍａｔｃｈを含むマッチ情報Ｍ［ｉ］を生成する。そして、マッチ情報生成部７０－ｉは、生成したマッチ情報Ｍ［ｉ］をマッチ選択部７４に送出する。

以上の構成により、Ｎ個のマッチ情報生成部７０は、Ｎ個のサブストリングにそれぞれ対応するＮ個のマッチ情報Ｍ［０］～Ｍ［Ｎ－１］を、マッチ選択部７４に並列に送出する。

図４は、第１実施形態に係るマッチ情報Ｍ［ｉ］の一例を説明するための図である。マッチ情報生成部７０は、図３に示すように、ヒストリバッファ６８を探索し、過去に入力された文字列の中から各サブストリングと先頭から少なくとも一部が一致する文字列を検出する。

ＳＳ０“ａｂｃｄｅｆｇｋｂｃｄｅｆｄｅｆ”と先頭から少なくとも一部が一致する文字列として、ヒストリバッファ６８のアドレス１５０に記憶されている文字列“ａｂｃｄｅｆｏｐｅｇｔｏｓｉｄｂｆ”が検出される。両者は、最初の７バイトが一致する。ＳＳ０はヒストリバッファ６８の基準アドレス、例えばアドレス０に記憶されているとする。ＳＳ０のマッチ情報Ｍ［０］はｍａｔｃｈ（１５０，７）である。

ＳＳ１“ｂｃｄｅｆｇｋｂｃｄｅｆｄｅｆａ” と先頭から少なくとも一部が一致する文字列として、ヒストリバッファ６８のアドレス１００に記憶されている文字列“ｂｃｄｅｆｏｐｅｇｔｏｓｉｄｂｆ”が検出さえる。両者は、最初の５バイトが一致する。ＳＳ１もヒストリバッファ６８の基準アドレス、例えばアドレス０に記憶されているとする。ＳＳ１のマッチ情報Ｍ［１］はｍａｔｃｈ（１００，５）である。

ＳＳ２“ｃｄｅｆｇｋｂｃｄｅｆｄｅｆａｂ”と先頭から少なくとも一部が一致する文字列はヒストリバッファ６８に記憶されていない。ＳＳ２のマッチ情報Ｍ［２］はｕｎｍａｔｃｈである。

ＳＳ１５“ｆａｂｆｊｃｏｐｅｇｔｏｓｉｄｂ”と先頭から少なくとも一部が一致する文字列として、ヒストリバッファ６８のアドレス２５０に記憶されている文字列“ｂｃｄｅｆｏｐｅｇｔｏｓｆａｂ”が検出される。両者は、最初の１３バイトが一致する。ＳＳ１５もヒストリバッファ６８の基準アドレス、例えばアドレス０に記憶されているとする。ＳＳ１５のマッチ情報Ｍ［１５］はｍａｔｃｈ（２５０，１３）である。

図２の説明に戻る。マッチ選択部７４は、Ｎ個のサブストリングＳＳ０～ＳＳ（Ｎ－１）に関するマッチ情報Ｍ［０］～マッチ情報Ｍ［Ｎ－１］から、非圧縮データ４０の各文字に対応する少なくとも１つのマッチ情報を選択する。

マッチ選択部７４は、文字列の先頭文字から順に、対応するマッチ情報を選択する。マッチ選択部７４は、選択したマッチ情報に基づくデータを、符号化器４４に送出する。選択したマッチ情報に基づくデータを、辞書式圧縮データと称する。辞書式圧縮データは、複数のシンボルのデータ（すなわち、シンボル列）を含む。複数のシンボルのそれぞれは、例えば、一致位置シンボル、一致長シンボル、及び一致フラグ／不一致フラグのいずれかである。

符号化器４４は、辞書式圧縮データに対する符号化を行って、圧縮データ４１を生成する。符号化の一例は、ハフマン符号化等のエントロピー符号化である。エントロピー符号化は、符号化対象のシンボルの出現頻度を用いて動的に符号表（符号化テーブル）を生成する可変長符号化方式である。エントロピー符号化は、例えば、ｄｅｆｌａｔｅまたはｇｚｉｐで規定されている。符号表は、Ｎ種類のシンボルと、Ｎ種類のシンボルにそれぞれ関連付けられたＮ個の符号語とを示す情報を含む。エントロピー符号化では、出現頻度が大きいシンボルには短い符号語が割り当てられ、出現頻度が小さいシンボルには長い符号語が割り当てられる。符号化器４４は、このような割り当てに従い、入力されたシンボルを符号語に変換する。つまり、変換により得られる符号語は、可変長符号である。なお、シンボルは、例えば、固定長のデータである。エントロピー符号化によって生成された圧縮データ４１は、辞書式圧縮データに含まれる複数のシンボルのそれぞれを変換した符号語を含む。圧縮データ４１は、エントロピー符号化に用いられた符号表のデータをヘッダとしてさらに含み得る。符号表のデータは、圧縮データ４１を伸張する場合に、符号表（復号表）を復元するために用いられる。

以上の構成により、圧縮回路２８は、非圧縮データ４０を圧縮して圧縮データ４１を生成できる。例えば、非圧縮データ４０がホスト２によってＮＡＮＤ型フラッシュメモリ１２に書き込むことを要求されたデータである場合、ＣＰＵ２０は、ＮＡＮＤ Ｉ／Ｆ回路２４を介して圧縮データ４１をＮＡＮＤ型フラッシュメモリ１２に書き込む。

コントローラ１０は、ＥＣＣエンコーダとＥＣＣデコーダをさらに備えてもよい。この場合、ＥＣＣエンコーダが、符号化器４４から出力される圧縮データ４１に対して誤り訂正用のパリティ（ＥＣＣパリティ）を生成し、生成したＥＣＣパリティと圧縮データ４１とを有する符号語を生成する。ＣＰＵ２０が、符号語をＮＡＮＤ Ｉ／Ｆ回路２４経由でＮＡＮＤ型フラッシュメモリ１２へ書き込むように構成される。つまり、ＣＰＵ２０は、圧縮回路２８から出力される圧縮データ４１に基づくデータを、ＮＡＮＤ Ｉ／Ｆ回路２４を介してＮＡＮＤ型フラッシュメモリ１２に書き込むように構成される。ＣＰＵ２０は、例えばホスト２からホストＩ／Ｆ回路２２を介してリードコマンドを受信する場合、当該リードコマンドに基づくデータをＮＡＮＤ Ｉ／Ｆ回路２４を介してＮＡＮＤ型フラッシュメモリ１２から読み出す。ＥＣＣデコーダは、読み出されたデータに対する誤り訂正処理を実行する。誤り訂正処理が実行された読み出しデータは圧縮データ４１としてＣＰＵ２０により伸張回路３０へ入力され、伸張回路３０は、入力された圧縮データ４１を伸張する。ＣＰＵ２０は、ホスト２からのリードコマンドに対して、伸張されたデータをホスト２へ送信する。つまり、ホスト２からのリードコマンドに対して、ＣＰＵ２０は、ＮＡＮＤ型フラッシュメモリ１２から読み出したデータに基づくデータを伸張し、伸張したデータをホスト２へ送信するように構成される。

マッチ選択部７４の詳細を説明する。１サイクルで１６バイト（１６文字）の文字列が入力される場合のマッチ選択について説明を行う。図３に示すように、１サイクルの非圧縮データに対して１６個のサブストリングが生成される。マッチ選択部７４が１６個のサブストリングのマッチ情報Ｍ［０］～Ｍ［１５］から、非圧縮データ４０である文字列の各文字に対応する少なくとも１つのマッチ情報を選択する。

図５は、第１実施形態に係るサブストリング毎の辞書一致文字列の一例を説明するための図である。サブストリング生成部６２は、サイクルＣで入力された１６バイトの文字列“Ａｌｉｃｅ ｗａｓ ｂｅｇｉｎｎ”とサイクル（Ｃ＋１）で入力された１６バイトの文字列“ｉｎｇ ｔｏ ｇｅｔ ｖｅｒｙ ”から開始位置が異なる１６個のサブストリングＳＳ０～ＳＳ１５を生成する。サブストリング生成部６２は、サブストリングＳＳ０～ＳＳ１５をマッチ情報生成部７０とマッチ選択部７４に送出する。

マッチ情報生成部７０は、１６個のサブストリングを用いてヒストリバッファ６８を探索して、１６個のサブストリングのそれぞれ毎の探索結果を表す１６個のマッチ情報をマッチ選択部７４に送出する。ここでは、全てのサブストリングについて先頭から少なくとも一部が一致する辞書一致文字列がヒストリバッファ６８に記憶されていたとする。すなわち、全てのマッチ情報Ｍ［０］～Ｍ［１５］はｍａｔｃｈ（Ｄ，Ｌ）であるとする。

マッチ情報生成部７０は、ＳＳ０“Ａｌｉｃｅ ｗａｓ ｂｅｇｉｎｎ”と先頭から少なくとも一部が一致する辞書一致文字列“Ａ＊＊＊＊＊＊＊＊＊＊＊＊＊＊＊”をヒストリバッファ６８内で検出する。“＊”は一致しない文字を示す。ＳＳ０のマッチ情報Ｍ［０］の一致長は１である。

マッチ情報生成部７０は、ＳＳ１“ｌｉｃｅ ｗａｓ ｂｅｇｉｎｎｉ”と先頭から少なくとも一部が一致する辞書一致文字列“ｌｉｃｅ＊＊＊＊＊＊＊＊＊＊＊＊”をヒストリバッファ６８内で検出する。ＳＳ１のマッチ情報Ｍ［１］の一致長は４である。マッチ情報生成部７０は、ＳＳ２“ｉｃｅ ｗａｓ ｂｅｇｉｎｎｉｎ”と全てが一致する辞書一致文字列“ｉｃｅ ｗａｓ ｂｅｇｉｎｎｉｎ“をヒストリバッファ６８内で検出する。ＳＳ２のマッチ情報Ｍ［２］の一致長は１６である。

以下、同様に処理して、マッチ情報生成部７０は、ＳＳ１５“ｎｉｎｇ ｔｏ ｇｅｔ ｖｅｒｙ”と先頭から少なくとも一部が一致する辞書一致文字列“ｎｉｎｇ ｔ＊＊＊＊＊＊＊＊＊＊”をヒストリバッファ６８内で検出する。ＳＳ１５のマッチ情報Ｍ［１５］の一致長は６である。

このような１６個のサブストリングの中のいくつか、例えばＳＳ０、ＳＳ１、ＳＳ２のマッチ情報が選ばれたとする。ＳＳ１の辞書一致文字列は、“ｌｉｃｅ ｗａｓ ｂｅｇｉｎｎｉ”であり、ＳＳ２の辞書一致文字列は、“ｉｃｅ ｗａｓ ｂｅｇｉｎｎｉｎ”である。文字列“ｉｃｅ”は、ＳＳ１の辞書一致文字列とＳＳ２の辞書一致文字列に重複して含まれる。そのため、非圧縮データがＳＳ０、ＳＳ１、ＳＳ２のマッチ情報に変換されることにより圧縮された場合、圧縮文字列を伸張すると、文字列“Ａｌｉｃｅｉｃｅ ｗａｓ ｂｅｇｉｎｎｉｎ”が得られ、非圧縮データを正しく復元することができない。

マッチ選択部７４は、圧縮する文字列が重複しないように、マッチ情報を選択する。文字列が重複することは、文字列の衝突と称される。

図６は、第１実施形態に係るマッチ情報の選択の一例を説明するための図である。図６は、文字列の衝突を回避するマッチ情報の選択の一例を示す。図６の辞書一致文字列の例は、図５の例と同じである。ただし、図５では、サイクルＣとサイクル（Ｃ＋１）で入力された３２バイトの文字列から生成された１６個のサブストリングがＳＳ０～ＳＳ１５と称されたが、図６では、サイクルＣとサイクル（Ｃ＋１）で入力された３２バイトの文字列から生成された１６個のサブストリングがＳＳ１～ＳＳ１６と称される。図６では、ＳＳ０は、サイクル（Ｃ－１）で選択されたマッチ情報に対応するサブストリングもマッチ情報の選択に用いられる。

サブストリング生成部６２は、サイクルＣで入力された１６バイトの文字列“Ａｌｉｃｅ ｗａｓ ｂｅｇｉｎｎ”とサイクル（Ｃ＋１）で入力された１６バイトの文字列“ｉｎｇ ｔｏ ｇｅｔ ｖｅｒｙ ”から開始位置が異なる１６個のサブストリングＳＳ１～ＳＳ１６を生成する。

文字列の衝突は、１つのサイクルで選択するマッチ情報に関してのみ生じるのではなく、あるサイクルと１つ前のサイクルで選択するマッチ情報に関しても生じ得る。マッチ選択部７４は、あるサイクルのマッチ選択の際、１つ前のサイクルで選択したマッチ情報に対応するサブストリングの辞書一致文字列も考慮しなければならない。例えば、１つ前のサイクル（Ｃ－１）で選択したマッチ情報に対応するサブストリングＳＳ０の辞書一致文字列が“ｘｘｘｘｘｘｘｘｘｘｘｘｄＡｌｉ”であったとする。“ｘ”は任意の一致文字である。この文字列の中で、“ｘｘｘｘｘｘｘｘｘｘｘｘｄ”はサイクルＣ－１で入力された文字であり、“Ａｌｉ”はサイクルＣで入力された文字列であるとする。ＳＳ０のマッチ情報は次のサイクルのマッチ情報の選択に影響するので、ＳＳ０は持ち越しサブストリングとも称される。ＳＳ０の中でサイクルＣで入力された文字列に関するマッチ情報Ｍ［０］の中の一致長（＝３）は持ち越し長とも称される。

この場合、サイクルＣでＳＳ１のマッチ情報Ｍ［１］が選択されると、ＳＳ１の辞書一致文字列“Ａｘｘｘｘｘｘｘｘｘｘｘｘｘｘｘ”とＳＳ０の辞書一致文字列“ｘｘｘｘｘｘｘｘｘｘｘｘｄＡｌｉ”において、文字“Ａ”が重複してしまう。

しかし、サイクルＣでＳＳ４のマッチ情報Ｍ［４］が選択されると、ＳＳ４の辞書一致文字列“ｃｅ ｗ＊＊＊＊＊＊＊＊＊＊＊＊”とＳＳ０の辞書一致文字列“ｘｘｘｘｘｘｘｘｘｘｘｘｄＡｌｉ”において、重複する文字が存在せず、文字列の衝突が回避される。

このようにマッチ情報の選択では前のサイクルでのマッチ情報の選択結果によって現サイクルで選択するマッチ情報に対応するサブストリングの開始位置が異なる。このサブストリングの開始位置は持ち越し長により決まる。そのため、持ち越し長が定まらないと、マッチ情報の選択を開始することができない。そのためマッチ情報の選択は、ストールを起こさないパイプライン化するためには、１サイクルで処理する必要がある。

上記の基準に従い、持ち越し長を用いてマッチ情報の選択を行うハードウェアの参考例を図７に示す。図７は、参考例に係るマッチ選択回路の一例を説明するための図である。この選択回路は、各マッチ情報Ｍ［ｉ］の一致長を足し合わせて、マッチ情報を選択するか否かを決定する。

ＳＳ０のマッチ情報Ｍ［０］を選択するか否かを決定するために、持ち越し長ＬとＳＳ０の開始位置が比較される。ＳＳ０の開始位置は０である。図７のＳＳ０は現サイクルの入力データから生成されたサブストリングを表す。

両者が一致する場合、Ｍ［０］が選択される。両者が一致する場合、セレクタは、持ち越し長ＬとＭ［０］の一致長Ｌ０の加算結果を次のＳＳ１のマッチ情報Ｍ［１］を選択するか否かの判定のための信号Ｓ０として出力する。

両者が一致しない場合、Ｍ［０］は選択されない。両者が一致しない場合、セレクタは、持ち越し長Ｌそのままの値を判定のための信号Ｓ０として出力する。

ＳＳ１のマッチ情報Ｍ［１］を選択するか否かを決定するために、信号Ｓ０とＳＳ１の開始位置が比較される。ＳＳ１の開始位置は１である。

両者が一致する場合、Ｍ［１］が選択される。両者が一致する場合、セレクタは、信号ｓ０とＭ［０］の一致長Ｌ１の加算結果を次のＳＳ２のマッチ情報Ｍ［２］を選択するか否かの判定のための信号ｓ１として出力する。

両者が一致しない場合、Ｍ［１］は選択されない。両者が一致しない場合、セレクタは、信号ｓ０そのままの値を信号ｓ１として出力する。

以降、同様な処理がＳＳ３のマッチ情報Ｍ［３］からＳＳ１５のマッチ情報Ｍ［１５］について実行される。信号Ｓ１５とサブストリングの長さ（１６）の加算結果が、次のサイクルへの持ち越し長Ｌとされる。

しかしながら上記の回路では、加算器がシーケンシャルにつながっているためパスが長くなり、ハードウェア化した場合、動作周波数が低くなる可能性が高い。さらに、１サイクルで持ち越し長を決定しなければならないため、処理を複数ステージに分割することができない。

図８は、第１実施形態に係るマッチ選択部７４の一例を説明するためのブロック図である。マッチ選択部７４は、入力バッファ３０２、ビットマップ作成器３０４、ビットマップメモリ３１０、選択判定器３０６、及び出力バッファ３０８を含む。サブストリング生成部６２から出力されるサブストリングとマッチ情報生成部７０から出力されるマッチ情報が入力バッファ３０２に書き込まれる。ビットマップ作成器３０４は、入力バッファ３０２に書き込まれているマッチ情報をビットマップ情報に変換し、ビットマップ情報をビットマップメモリ３１０に書き込む。ビットマップ作成器３０４は、マッチ情報を選択判定器３０６に送出する。選択判定器３０６は、ビットマップメモリ３１０からビットマップを読み出し、ビットマップに基づいてマッチ情報を選択するか否かを判定する。選択判定器３０６は、選択したマッチ情報を出力バッファ３０８に書き込む。出力バッファ３０８に記憶されているマッチ情報は符号化器４４へ送出される。

図９は、第１実施形態に係るビットマップ作成器３０４により作成されたマッチ情報のビットマップの一例を説明するための図である。ビットマップは、入力文字列のバイト位置毎に、サブストリングとヒストリバッファ６８内の文字列が一致したか否かを示す。図９は、図６に示した辞書一致文字列において、一致した文字を１で、それ以外を０で示すことによるビットマップを示す。

第ｎサブストリングＳＳｎのビットマップＢＰｎは次のように表される。
ｎ＝０（持ち越しサブストリングＳＳ０）の場合、
ＢＰｎ
＝｛｛Ｌ０｛１’ｂ１｝｝，｛（２Ｍ－Ｌ０）｛１’ｂ０｝｝｝ 式１Ａ
Ｌ０は持ち越し長である。
ｎ＝１からＮの場合、
ＢＰｎ
＝｛｛（ｎ－１）｛１’ｂ０｝｝，｛Ｌｎ｛１’ｂ１｝｝，｛（２Ｍ－（ｎ－１）－Ｌｎ）｛１’ｂ０｝｝｝ 式１Ｂ
Ｌｎはサブストリングｎのマッチ情報の一致長である。
Ｍは最大一致長であり、サブストリングの長さ１６である。

ＳＳ１６のビットマップＢＰ１６は次のように表される。サブストリング１６のマッチ情報の一致長Ｌｎは６である。
ＢＰ１６＝｛｛１５｛１’ｂ０｝｝，｛６｛１’ｂ１｝｝，｛１１｛１’ｂ０｝｝｝ 式２
ここで、この明細書で使用する記号の表記を説明する。

（１）１’ｂ０は、１ビットを示し、その値は０である。

（２）１’ｂ１は、１ビットを示し、その値は１である。

（３）｛ｎ｛１’ｂ０｝｝は、１’ｂ０をｎ回繰り返して連接したものである。
例）
｛ｎ｛１’ｂ０｝｝＝｛０，０，…，０｝ 式３
ビット列｛ｂ_０，ｂ_１，ｂ_２，…，ｂ_Ｎ－２，ｂ_Ｎ－１｝に対して、（ｂ_ｎ（ｎ＝０，１，…，Ｎ－１）は１ビットを示し、ｂ_０がＭＳＢであり、ｂ_Ｎ－１がＬＳＢであり、ｂ_０，ｂ_１，ｂ_２，…，ｂ_Ｎ－２，ｂ_Ｎ－１は連接されている）
Ｂ［ｎ］＝ｂ_{Ｎ－１－ｎ} 式４
Ｂ［ｎ：０］＝｛ｂ_{Ｎ－１－ｎ}，ｂ_{Ｎ－１－ｎ＋１}，ｂ_{Ｎ－１－ｎ＋２}，…，ｂ_Ｎ－２，，ｂ_Ｎ－１｝ 式５
（式５の表記でｎ＝０の場合、Ｂ［０：０］＝ｂ_Ｎ－１である）
Ｂ［０：ｎ］＝｛ｂ_０，ｂ_１，ｂ_２，…，ｂ_ｎ｝ 式６
（式６の表記でｎ＝０の場合、Ｂ［０：０］＝ｂ_０である）
と表現される。

（４）ビット列Ａ_ｎ＝｛ａ_０，ａ_１，ａ_２，…，ａ_ｎ－２，ａ_ｎ－１｝とビット列Ｂ_ｎ＝｛ｂ_０，ｂ_１，ｂ_２，…，ｂ_ｎ－２，ｂ_ｎ－１｝に対して、
演算子＆（または｜）がビット列の間に記載された場合、
Ａ_ｎ＆Ｂ_ｎ＝｛ｂ_０＆ａ_０，ｂ_１＆ａ_１，ｂ_２＆ａ_２，…，ｂ_ｎ－２＆ａ_ｎ－２，ｂ_ｎ－１＆ａ_ｎ－１｝ 式７
Ａ_ｎ＆Ｂ_ｎは、ビット列Ａ_ｎとビット列Ｂ_ｎの各ビット同士のＡＮＤ（またはＯＲ）をとったｎビットである
演算子＆（または｜）がビット列の先頭に記載された場合、
＆Ａｎ＝ａ_０＆ａ_１＆ａ_２＆，…，＆ａ_ｎ－２＆ａ_ｎ－１ 式８
＆Ａｎは、ビット列Ａ_ｎの各ビット同士のＡＮＤ（またはＯＲ）をとった１ビットである。

（５）否定の演算子は～で表記する。
例）～（１’ｂ１）＝１’ｂ０
図１０は、第１実施形態に係るマッチ選択部７４の処理の一例を説明するためのフローチャートである。

マッチ選択部７４は、Ｎ個のサブストリングとＮ個のマッチ情報を入力バッファ３０２に書き込む（Ｓ１０２）。

ビットマップ作成器３０４は、Ｎ個のサブストリングのマッチ情報をビットマップ化し、ビットマップＢＰ（式１Ａまたは式１Ｂ）をビットマップメモリ３１０に書き込む（Ｓ１０４）。

選択判定器３０６は、変数ｎを１とする（Ｓ１０６）。

選択判定器３０６は、ビット列Ｖを求める（Ｓ１０８）。

ビット列Ｖは、第ｎサブストリングのマッチ情報Ｍ［ｎ］が選択されたか否かを示す選択／非選択ビットＶｎの集合である。

Ｖ＝｛Ｖ_０，Ｖ_１，…，Ｖ_Ｎ｝ 式９
第ｎサブストリングのマッチ情報Ｍ［ｎ］が選択された場合、Ｖｎ＝１である。マッチ情報Ｍ［ｎ］が選択されない場合、Ｖｎ＝０である。持ち越しサブストリングＳＳ０のマッチ情報Ｍ［０］は必ず選択されるので、持ち越しサブストリングＳＳ０の選択／非選択ビットＶ_０は１である。

選択判定器３０６は、ビット列Ｓｎを求める（Ｓ１１２）。

Ｓｎ＝｛ＢＰ_０［２Ｍ－１－ｎ］，ＢＰ_１［２Ｍ－１－ｎ］，…，ＢＰ_Ｎ［２Ｍ－１－ｎ］｝ 式１０
ビット列Ｓｎは、判定対象であるサブストリングの開始位置のビット位置についての判定対象のサブストリングより若い番号のサブストリングのビットの列である。若い番号のサブストリングには、持ち越しサブストリングも含む。

選択判定器３０６は、判定ビット（｜Ｓｎ［０：ｎ－１］＆Ｖ［０：ｎ－１］）が０であるか否かを判定する（Ｓ１１４）。

判定ビット（｜Ｓｎ［０：ｎ－１］＆Ｖ［０：ｎ－１］）が０である場合（Ｓ１１４；ＹＥＳ）、選択判定器３０６は、選択／非選択ビットＶｎを１とする（ＳＳｎのマッチ情報を選択する）（Ｓ１１６）。持ち越しサブストリングＳＳ０のマッチ情報Ｍ［０］は必ず選択されるので、持ち越しサブストリングＳＳ０の判定ビットは１である。

判定ビット（｜Ｓｎ［０：ｎ－１］＆Ｖ［０：ｎ－１］）が１である場合（Ｓ１１４；ＮＯ）、選択判定器３０６は、選択／非選択ビットＶｎを０とする（ＳＳｎのマッチ情報を選択しない）（Ｓ１１８）。

選択判定器３０６は、変数ｎを＋１する（Ｓ１２２）。

選択判定器３０６は、変数ｎがＮに達したか否かを判定する（Ｓ１２４）。変数ｎがＮに達していない場合（Ｓ１２４；ＮＯ）、選択判定器３０６は、ビット列Ｖを求める処理（Ｓ１０８）を再び実行する。

変数ｎがＮに達した（Ｓ１２４；ＹＥＳ）、選択判定器３０６は、次サイクルへの持ち越し長を決定する（Ｓ１２６）。選択判定器３０６は、Ｖｎ＝１で、かつ最もｎの大きいサブストリングｎの（一致位置－１＋一致長）からＭを減算した値を持ち越し長とする。例えば、ＳＳ６の一致長が最も大きく、その値が１４であるとすると、持ち越し長は、６－１＋１４－１６＝３である。選択判定器３０６は、持ち越し長をビットマップメモリ３１０に書き込む。持ち越し長は、次フレームのビットマップの作成時に、図９に示すように、ビットマップに加えられる。

選択判定器３０６は、選択したサブストリングのマッチ情報を出力バッファ３０８に書き込む。出力バッファ３０８に記憶されているマッチ情報は符号化器４４へ送出される。

これにより、第１実施形態に係るマッチ選択部７４は、圧縮する文字列が重複しないように、マッチ情報を選択することができる。しかも、選択判定器３０６は、マッチ情報のビットマップ上の判定対象であるサブストリングの開始位置のビット位置についての判定対象のサブストリングより若い番号のサブストリングのビットの列である特定のビット列及び判定対象のサブストリングより若い番号のサブストリングのマッチ情報が選択されたか否かを示すビット列との１ビットのＡＮＤ演算とＯＲ演算に基づき、判定対象のサブストリングのマッチ情報を選択するかを決定するので、高速なマッチ情報の選択及び持ち越し長の計算が可能となる。このため、マッチ選択処理をパイプライン化することもできる。

このフローチャートによるマッチ選択の具体例を、図１１、図１２、図１３を参照して説明する。

図１１は、第１サブストリングＳＳ１のマッチ情報Ｍ［１］を選択するか否かの判断の際（ｎ＝１）のビット列Ｖ、ビット列Ｓｎ、及び判定ビットの状態を示す。ビット列Ｖ＝｛Ｖ₀｝＝｛１｝である。ビット列Ｓｎ＝｛１｝であるので、判定ビット（｜Ｓｎ［０：ｎ－１］＆Ｖ［０：ｎ－１］）＝１である。そのため、マッチ情報Ｍ［１］は選択されず、Ｖ_１＝０である。

図１２は、第２サブストリングＳＳ２のマッチ情報Ｍ［２］を選択するか否かの判断の際（ｎ＝２）のビット列Ｖ、ビット列Ｓｎ、及び判定ビットの状態を示す。ビット列Ｖ＝｛Ｖ_０，Ｖ_１｝＝｛１，０｝である。ビット列Ｓｎ＝｛１，０｝であるので、判定ビット（｜Ｓｎ［－１：ｎ－１］＆Ｖ［０：ｎ－１］）＝１である。そのため、マッチ情報Ｍ［２］は選択されず、Ｖ_２＝０である。

同様に、マッチ情報Ｍ［３］は選択されず、Ｖ_３＝０である。

図１３は、第４サブストリングＳＳ４のマッチ情報Ｍ［４］を選択するか否かの判断の際（ｎ＝４）のビット列Ｖ、ビット列Ｓｎ、及び判定ビットの状態を示す。ビット列Ｖ＝｛Ｖ_０，Ｖ_１，Ｖ_２，Ｖ_３｝＝｛１，０，０，０｝である。ビット列Ｓｎ＝｛０，０，１，１｝であるので、判定ビット（｜Ｓｎ［０：ｎ－１］＆Ｖ［０：ｎ－１］）＝０である。そのため、マッチ情報Ｍ［４］は選択され、Ｖ_４＝１である。

図１３には示していないが、第４サブストリングＳＳ４のマッチ情報Ｍ［４］が選択された次には、第８サブストリングＳＳ８のマッチ情報Ｍ［８］が選択されることが予想される。図１３には示していないが、ｎ＝８の際の選択判定を説明する。Ｖ＝｛Ｖ_０，Ｖ_１，Ｖ_２，Ｖ_３，Ｖ_４，Ｖ_５，Ｖ_６，Ｖ_７｝＝｛１，０，０，０，１，０，０，０｝である。Ｓｎ＝｛０，０，０，１，０，０，１，１｝である。（｜Ｓｎ［０：ｎ－１］＆Ｖ［０：ｎ－１］）＝（｜８’ｂ０００１００１１＆８’ｂ１０００１０００）＝（｜８’ｂ００００００００）＝１’ｂ０である。そのため、マッチ情報Ｍ［８］は選択される。

Ｌａｚｙマッチのようにマッチ情報の選択中に一致長を短くしてマッチ情報の選択の効率を高めるアルゴリズムがある。Ｌａｚｙマッチの一番簡単な手法の一例は、ＳＳｎの一致長とＳＳ（ｎ＋１）の一致長とを比べ、ＳＳ（ｎ＋１）の一致長のほうが長ければ、ＳＳｎの一致長を１として、マッチ選択を行うというアルゴリズムである。このようなアルゴルズムを用いるのであれば、ビットマップを生成する際、該当するサブストリングの一致長とそれ以降のサブストリングの一致長とを比較して、それ以降のサブストリングの一致長のほうが長ければ、該当するサブストリングの一致長を１とすればよい。

本発明のいくつかの実施形態を説明したが、これらの実施形態は、例として提示したものであり、発明の範囲を限定することは意図していない。これら新規な実施形態は、その他の様々な形態で実施されることが可能であり、発明の要旨を逸脱しない範囲で、種々の省略、置き換え、変更を行うことができる。これら実施形態やその変形は、発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。

１２…ＮＡＮＤ型フラッシュメモリ、２８…圧縮回路、４２…辞書式圧縮器、４４…符号化器、６２…サブストリング生成部、６４…ハッシュ計算部、６８…ヒストリバッファ、７０…マッチ情報生成部、７４…マッチ選択部

Claims (10)

1. １サイクル当たり複数バイトの入力データ列を入力し、複数サイクル分の入力データ列から、先頭のバイト位置がそれぞれ異なり、それぞれが複数バイトである複数のサブストリングを生成するサブストリング生成部と、
   過去のサイクルで入力された複数の入力データ列を記憶するメモリと、
   前記複数の入力データ列の中から前記複数のサブストリングと少なくとも一部が一致する複数の第１入力データ列を取得するために前記メモリを探索し、前記複数の第１入力データ列が記憶されている前記メモリの記憶位置と、前記複数のサブストリングと前記複数の第１入力データ列との一致長と、を表す複数の探索結果を出力する探索部と、
   前記複数の探索結果のそれぞれのビットマップと、前記複数の探索結果の中の第１の探索結果が選択されたか否かを示すビット列とに基づいて、前記複数の探索結果の中の第２の探索結果を選択するかしないかを決定する選択部と、
   を具備する圧縮装置。
2. 前記選択部は、或るサイクルの直前のサイクルで選択された前記探索結果が含む前記一致長にも基づいて、前記或るサイクルで前記第２の探索結果を選択するかしないかを決定する、請求項１記載の圧縮装置。
3. 前記入力データ列のバイト数はＭバイトであり、
   前記サブストリングの個数はＮ個であり、
   ｎ番目のサブストリングに対応する前記探索結果の前記一致長はＬｎバイトであり、
   前記選択部は、Ｍ、Ｎ、ｎ、Ｌｎに基づいて前記探索結果のビットマップを生成する、請求項１又は請求項２記載の圧縮装置。
4. 前記選択部は、１番目から（ｎ－１）番目のサブストリングのマッチ情報が選択されたか否かに応じて、ｎ番目のサブストリングのマッチ情報を選択するか否かを決定する、請求項３記載の圧縮装置。
5. 前記選択部は、
   ｎ＝０の場合は、
   ＢＰｎ＝｛｛Ｌ０｛１’ｂ１｝｝，｛（２Ｍ－Ｌ０）｛１’ｂ０｝｝｝により表され、
   ｎ＝１からＮの場合は、
   ｛｛（ｎ－１）｛１’ｂ０｝｝，｛Ｌｎ｛１’ｂ１｝｝，｛（２Ｍ－（ｎ－１）－Ｌｎ）｛１’ｂ０｝｝｝により表されるｎ番目のサブストリングのマッチ情報のビットマップＢＰｎを生成し、
   前記直前のサイクルのＮ番目のサブストリングを０番目のサブストリングとし、０番目から（ｎ－１）番目のサブストリングのマッチ情報が選択されたか否かを表す情報Ｖｎに応じて、ｎ番目のサブストリングのマッチ情報を選択するか否かを決定し、
   前記情報Ｖｎは、（｜Ｓｎ［０：ｎ－１］＆Ｖ［０：ｎ－１］）であり、
   Ｖは０番目から（ｎ－１）番目のサブストリングのマッチ情報が選択されたか否かを表し、
   Ｖ＝｛Ｖ_０、Ｖ_１、…Ｖ_N｝であり、
   Ｖ_０は１であり、
   Ｓｎ＝｛ＢＰ_０［２Ｍ－１－ｎ］，ＢＰ_１［２Ｍ－１－ｎ］，…，ＢＰ_Ｎ-1［２Ｍ－１－ｎ］｝である、請求項４記載の圧縮装置。
6. １サイクル当たり複数バイトの入力データ列を入力し、複数サイクル分の入力データ列から、先頭のバイト位置がそれぞれ異なり、それぞれが複数バイトである複数のサブストリングを生成することと、
   過去のサイクルで入力された複数の入力データ列を記憶するメモリを探索し、前記複数の入力データ列の中から前記複数のサブストリングと少なくとも一部が一致する複数の第１入力データ列を取得し、前記複数の第１入力データ列が記憶されている前記メモリの記憶位置と、前記複数のサブストリングと前記複数の第１入力データ列との一致長と、を表す複数の探索結果を出力することと、
   前記複数の探索結果のそれぞれのビットマップと、前記複数の探索結果の中の第１の探索結果が選択されたか否かを示すビット列とに基づいて、前記複数の探索結果の中の第２の探索結果を選択するかしないかを決定することと、
   を具備する圧縮方法。
7. 前記決定することは、或るサイクルの直前のサイクルで選択された前記探索結果が含む前記一致長にも基づいて、前記或るサイクルで前記第２の探索結果を選択するかしないかを決定する、請求項６記載の圧縮方法。
8. 前記入力データ列のバイト数はＭバイトであり、
   前記サブストリングの個数はＮ個であり、
   ｎ番目のサブストリングに対応する前記探索結果の前記一致長はＬｎバイトであり、
   前記決定することは、Ｍ、Ｎ、ｎ、Ｌｎに基づいて前記探索結果のビットマップを生成する、請求項６又は請求項７記載の圧縮方法。
9. 前記決定することは、１番目から（ｎ－１）番目のサブストリングのマッチ情報が選択されたか否かに応じて、ｎ番目のサブストリングのマッチ情報を選択するか否かを決定する、請求項８記載の圧縮方法。
10. 前記決定することは、
    ｎ＝０の場合は、
    ＢＰｎ＝｛｛Ｌ０｛１’ｂ１｝｝，｛（２Ｍ－Ｌ０）｛１’ｂ０｝｝｝により表され、
    ｎ＝１からＮの場合は、
    ｛｛（ｎ－１）｛１’ｂ０｝｝，｛Ｌｎ｛１’ｂ１｝｝，｛（２Ｍ－（ｎ－１）－Ｌｎ）｛１’ｂ０｝｝｝により表されるｎ番目のサブストリングのマッチ情報のビットマップＢＰｎを生成し、
    前記直前のサイクルのＮ番目のサブストリングを０番目のサブストリングとし、０番目から（ｎ－１）番目のサブストリングのマッチ情報が選択されたか否かを表す情報Ｖｎに応じて、ｎ番目のサブストリングのマッチ情報を選択するか否かを決定し、
    前記情報Ｖｎは、（｜Ｓｎ［０：ｎ－１］＆Ｖ［０：ｎ－１］）であり、
    Ｖは０番目から（ｎ－１）番目のサブストリングのマッチ情報が選択されたか否かを表し、
    Ｖ＝｛Ｖ_０、Ｖ_１、…Ｖ_N｝であり、
    Ｖ_０は１であり、
    Ｓｎ＝｛ＢＰ_０［２Ｍ－１－ｎ］，ＢＰ_１［２Ｍ－１－ｎ］，…，ＢＰ_Ｎ-1［２Ｍ－１－ｎ］｝である、請求項９記載の圧縮方法。

Images