JP5945291B2 - デフレート圧縮のために高速で高圧縮のlz77トークン化及びハフマンエンコーディングを行う並列装置 - Google Patents

デフレート圧縮のために高速で高圧縮のlz77トークン化及びハフマンエンコーディングを行う並列装置 Download PDF

Info

Publication number
JP5945291B2
JP5945291B2 JP2014043707A JP2014043707A JP5945291B2 JP 5945291 B2 JP5945291 B2 JP 5945291B2 JP 2014043707 A JP2014043707 A JP 2014043707A JP 2014043707 A JP2014043707 A JP 2014043707A JP 5945291 B2 JP5945291 B2 JP 5945291B2
Authority
JP
Japan
Prior art keywords
parallel
search
pipelined
processor
target data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2014043707A
Other languages
English (en)
Other versions
JP2014182810A (ja
Inventor
ミルン、アンドリュー
ビッセサー、セイレシュ
ダブリュー. メレル、クイン
ダブリュー. メレル、クイン
ビー. モサー、ロクプラヴィーン
ビー. モサー、ロクプラヴィーン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Intel Corp
Original Assignee
Intel Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Intel Corp filed Critical Intel Corp
Publication of JP2014182810A publication Critical patent/JP2014182810A/ja
Application granted granted Critical
Publication of JP5945291B2 publication Critical patent/JP5945291B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H03ELECTRONIC CIRCUITRY
    • H03MCODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3084Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Advance Control (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)
  • Image Processing (AREA)

Description

本出願は、2013年3月15日に出願された、米国仮特許出願第61/800,263号に関し、この米国仮特許出願からの優先権の利益を主張する。
本開示は、処理ロジック、マイクロプロセッサ、及びプロセッサ又は他の処理ロジックによって実行されると、論理演算、数学演算、又は他の関数演算を実行する関連した命令セットアーキテクチャの分野に関する。
LZ77(「LZ」はLempel-Zivを表す)は、デフレート圧縮アルゴリズムを含む幾つかのユビキタス圧縮方式の基礎をなす可逆データ圧縮アルゴリズムである。LZ77アルゴリズムは、現在の入力データシーケンスを、入力データストリーム内に以前から存在するデータシーケンスのコピーへの参照と照合することによって圧縮を実行する。一致が見つかると、この一致は長さ−距離(L,D)の対によってエンコードされる。長さ−距離の対は、「現在の入力データロケーションからD文字戻り、そのロケーションからL文字コピーする」という命令文と同等のものを指す。
一致を突き止めるために、LZ77エンコーダーは入力データストリーム内の最も近時のデータを追跡する。このデータが保持されるデータ構造は履歴ウィンドウと呼ばれ、これは時間とともに更新されるスライディングウィンドウである。エンコーダーは、一致を探すのにこのデータを維持する必要があり、デコーダーはエンコーダーが参照する一致を解釈するのにこのデータを維持する必要がある。スライディングウィンドウが大きくなるほど、エンコーダーが参照を作成するために後方をより長く探索する場合がある。
最新のデータ処理及びネットワーキングにおいて、送信端におけるオンザフライ圧縮及び受信端における解凍を行うのに、多くの場合にデフレート圧縮が用いられる。デフレート圧縮は、LZ77圧縮及びハフマン符号化の組み合わせを用いる標準化された可逆データ圧縮アルゴリズムである。LZ77圧縮及びハフマン符号化は本質的に直列である。
実施形態は、添付図面の図に限定ではなく例として示されている。
1つの実施形態による並列デフレート圧縮を行うコプロセッサを示すブロック図である。
1つの実施形態による並列デフレート圧縮を行うプロセッサを示すブロック図である。
1つの実施形態による並列デフレート圧縮回路のブロック図である。
別の実施形態による並列デフレート圧縮回路のブロック図である。
更に別の実施形態による並列デフレート圧縮回路のブロック図である。
1つの実施形態による並列探索を実行するパイプラインの一例を示す図である。
1つの実施形態による並列エンコーディング回路のブロック図である。
1つの実施形態による並列デフレート命令に応答して実行される動作を示す流れ図である。
1つの実施形態によるインオーダーパイプライン及びアウトオブオーダーパイプラインのブロック図である。
1つの実施形態によるインオーダーコア及びアウトオブオーダーコアのブロック図である。
1つの実施形態による、より詳細な例示的なインオーダーコアアーキテクチャのブロック図である。 1つの実施形態による、より詳細な例示的なインオーダーコアアーキテクチャのブロック図である。
1つの実施形態によるプロセッサのブロック図である。
1つの実施形態によるシステムのブロック図である。
1つの実施形態による第2のシステムのブロック図である。
1つの実施形態による第3のシステムのブロック図である。
1つの実施形態によるシステムオンチップ(SoC)のブロック図である。
以下の説明において、多数の具体的な詳細が示される。しかしながら、本明細書において説明される実施形態は、これらの特定の詳細なしで実施することができることが理解される。他の例において、既知の回路、構造及び技法は、この説明の理解を不明瞭にしないために詳細に示されていない。
本明細書において説明される実施形態は、ネットワークコンテキスト等において、高スループットパイプラインを用いて、効率的、高スループット、高品質のデフレート圧縮の並列メカニズムを提供する。実施形態は、ハードウェアにおいて並列に入力データストリームのLZ77トークン化を行う並列の方法、装置及びシステムを提供する。クロックあたり複数バイトが圧縮される。シーケンシャルデータストリームにおいて複数の探索が並列に実行され、これらの探索は並列に分解される。「収束(funneling)」一致選択技法は、複数の発信トークンを分解して直列出力ストリームにするので、ストリームはコヒーレントなままであり、入力を適切に反映している。
本明細書において説明される実施形態は、組込みデフレート圧縮(embedded deflate compression)を行い、これはネットワーキング等の商業的運用、並びにストレージアプリケーション及びストレージシステムに有用である。組込みデフレート圧縮は、ネットワークインターフェース付近の圧縮又はファイルシステム圧縮等のスループットの影響を受けやすい(throughput-sensitive)動作の性能を改善する。
通常、デフレート圧縮は直列で行われ、高速汎用プロセッサにおいて実行される。クロックあたり1つのトークンの直列レートを超えて直列実装を加速するのは困難である。したがって、本明細書において説明される実施形態は、大きな潜在的商業価値を有する。
デフレート圧縮の実施形態は、2つのレベルで並列探索を実行する。第1のレベルにおいて、並列の探索が単一の「ターゲット」点(「ターゲットデータ」、「ターゲットデータシーケンス」とも呼ばれ、入力ストリーム内の1つ又は複数のバイト/文字とすることができる)に対して行われる。単一のターゲット点の探索結果の中で、過去のデータシーケンス(「履歴ウィンドウ」とも呼ばれる)において最も長い一致を特定する1つの探索結果が選択される。第2のレベルにおいて、探索の並列の組が複数のシーケンシャルターゲット(例えば、入力ストリームにおける現在のターゲット点及び後続の3バイト)に対して行われる。1つの実施形態では、これらのシーケンシャルターゲットに対する探索はパイプラインで行うことができる。パイプライン化された探索の結果は、シーケンシャルターゲットの最も長い一致が選択されるように結合することができる。第1のレベルの並列探索を第2のレベルのパイプライン化された探索と結合することによって、全てのクロックサイクルにおいて複数の探索結果が生成されることが可能になる。並列探索に続いて、探索結果がハフマンエンコーディングされ、出力ストリームが生成される。
1つの実施形態では、デフレート圧縮は処理システムのプロセッサに結合された専用ハードウェアによって実行することができる。図1Aは、1つの実施形態による処理システム100を示すブロック図である。処理システム100は、バス又は相互接続161を介してメモリ141、I/Oデバイス151及びコプロセッサ131に結合されたプロセッサ121を備える。コプロセッサ131は、プロセッサ121と同じダイ上で同一ロケーションに配置することもできるし、プロセッサ121と別個のダイ(例えばチップセット)上に配置することもできる。1つの実施形態では、コプロセッサ131は、並列デフレート命令に応答してデフレート圧縮動作を実行するデフレート回路135を備える。1つの実施形態では、コプロセッサ131は、ネットワーキング又はストレージ用の通信コプロセッサモジュール又はストレージコプロセッサモジュールとすることができる。処理システム100は簡略化された表現であり、他の構成要素が存在し得ることが理解される。
代替的な実施形態では、デフレート圧縮はプロセッサ内のハードウェアにおいて実施することができる。図1Bは、実行ユニット140を有するプロセッサ115等の命令処理装置の一実施形態のブロック図である。1つの実施形態では、実行ユニット140は、並列デフレート命令を含む命令を実行するように動作可能なデフレート回路135を備える。幾つかの実施形態では、プロセッサ115はマルチコアプロセッサのプロセッサコア、又は電子システムにおける処理要素とすることができる。
デコーダー130は、到来する命令を、より高レベルの機械命令又はマクロ命令の形態で受信し、これらの命令をデコードして、低レベルのマイクロオペレーション、マイクロコードエントリー点、マイクロ命令、又は他のより低いレベルの命令若しくは制御信号を生成する。これらはオリジナルのより高レベルの命令を反映し及び/又はそれらから導出される。それらのより低レベルの命令又は制御信号は、より低レベル(例えば回路レベル又はハードウェアレベル)の動作を通じてより高レベルの命令の動作を実施することができる。デコーダー130は、様々な異なるメカニズムを用いて実施することができる。適切なメカニズムの例には、限定ではないが、マイクロコード、ルックアップテーブル、ハードウェア実装、プログラマブル論理アレイ(PLA)、当該技術分野において既知のデコーダーを実施するのに用いられる他のメカニズム等が含まれる。
デコーダー130は、キャッシュ110、メモリ120又は他のソースのための到来する命令を受信することができる。デコードされた命令は実行ユニット140に送信される。実行ユニット140は、デコーダー130から、1つ又は複数のマイクロ動作、マイクロコードエントリー点、マイクロ命令、他の命令、又は他の制御信号を受信することができる。これらは、受信した命令を反映しているか又はそれらから導出される。実行ユニット140は、レジスタファイル170、キャッシュ110及び/又はメモリ120からデータ入力を受信し、それらへのデータ出力を生成する。
説明を不明瞭にすることを避けるために、比較的単純なプロセッサ115が示され説明された。他の実施形態は2つ以上の実行ユニットを有する場合があることを理解されたい。例えば、プロセッサ115は、例えば算術ユニット、算術論理ユニット(ALU)、整数ユニット、浮動小数点ユニット等の複数の異なるタイプの実行ユニットを備えることができる。命令処理装置又はプロセッサの更に他の実施形態は、複数のコア、論理プロセッサ又は実行エンジンを有することができる。後に図7〜図13に関してプロセッサ115の複数の実施形態が提供される。
図2は、1つの実施形態による圧縮モジュール200(例えば図1A又は図1Bのデフレート回路135)の一例を示すブロック図である。この実施形態では、圧縮モジュール200は、単一のターゲット点に対して並列探索を行う。圧縮モジュール200は、入力データストリームをバッファーリングする入力バッファー210を含む。入力データストリームはルックアサイドキュー(LAQ)212並びに履歴バッファー216A及び216B内に供給される。LAQ212は、圧縮される現在のデータシーケンスを記憶し、履歴バッファー216A及び216Bは、同じ入力データストリーム内の過去のデータシーケンスを記憶するスライディングウィンドウである。この実施形態では、各履歴バッファー216A及び216Bは1つしか読取りポートを有しないと仮定され、したがって、過去のデータシーケンスは、各履歴バッファー216A及び216Bがこの過去のデータシーケンスの同一のコピーを記憶するように複製される。履歴バッファーが複数の読取り/書込みポートを有する代替的な実施形態では、そのような履歴バッファーは1つしか必要とされない。履歴バッファー216A及び216B内のデータが探索され、照合エンジン217A及び217Bによって現在のデータシーケンスと並列に照合される。
説明を簡単にするために、2つの照合エンジン217A及び217Bのみが示される。圧縮モジュール200は任意の数の照合を並列に行う任意の数の照合エンジンを備えることができることが理解される。
1つの実施形態において、探索速度を改善するために、現在のデータシーケンスはハッシュ関数ユニット(例えばハッシャー213)によってハッシングされる。ハッシュの結果はハッシュテーブル214へのポインター(例えばアドレス又はインデックス)である。そのアドレスにおいて、ハッシュテーブル214は複数のエントリーを記憶し、各エントリーは参照を含み、各参照は履歴バッファー216A及び216Bにおける或るロケーションを指し示す。ハッシュテーブル214内に記憶することができる参照の数がハッシュテーブル214の容量を超えている場合、ハッシュスピルコントローラー(hash spill controller)215は、ハッシュテーブル214内のエントリーのうちのいずれを外部メモリに移すことができるかを判断する。例えば、ハッシュテーブル214の外に移すことができるエントリーは、最も用いられていないか又は最も長く用いられていないエントリーとすることができる。ハッシュテーブル214を用いて、照合エンジン217A及び217Bは履歴バッファー216A及び216Bにおけるこれらのロケーションまで探索を狭めて、LAQ212内の探索ターゲットが履歴バッファー216A及び216Bにおけるデータシーケンスの任意の部分に一致するか否かを判断することができる。照合エンジン217A及び217Bの出力から、一致選択器220は、探索ターゲットについて最も長い一致を有する出力のうちの1つを選択する。選択された一致した出力は1つ又は複数のエンコーダー225に送信され、1つ又は複数のエンコーダー225はデータストリームをエンコードし、エンコードされたストリームを出力バッファー230に送信する。
図3は、別の実施形態による圧縮モジュール300(例えば図1A又は図1Bのデフレート回路135)の例を示すブロック図である。この実施形態では、圧縮モジュール300は、入力データストリームをバッファーリングする入力バッファー310を備える。入力データストリームは履歴バッファー312内に供給される。入力データストリームは、ハッシュ関数ユニット(例えばハッシャー313)によってハッシュされる。ハッシュ結果はハッシュテーブル314へのポインター(例えばアドレス又はインデックス)である。この実施形態では、ハッシュテーブル314は複数のレベルを含む。入力データシーケンス(すなわちターゲット点)がハッシュされるとき、ハッシュされた値はハッシュテーブル314内の「バケット(bucket)」を指すポインターである。各バケットは複数のエントリーを含み、各エントリーは異なるハッシュレベルにある。各エントリーは履歴バッファー312への参照(ロケーションを指示する)を含む。履歴バッファー312のこれらの複数のロケーションを独立探索し、ターゲット点と比較することができる。
1つの実施形態では、各照合レベルは対応する照合エンジン317を有する。照合エンジン317は単一のターゲット点について履歴バッファー312の異なるロケーションにおいて並列に探索を行う。照合エンジン317は衝突アービトレーター(collision arbitrator)316を通じて履歴バッファー312にアクセスすることができ、衝突アービトレーター316はアクセス動作における衝突を解消する。照合エンジン317の出力は、一致選択器320によって比較され、最も長い一致を有する出力が選択される。選択された一致した出力は1つ又は複数のエンコーダー325に送信され、1つ又は複数のエンコーダー325はデータストリームをエンコードし、エンコードされたストリームを出力バッファー330に送信する。
図4Aは、別の実施形態による圧縮モジュール400(例えば図1A又は図1Bのデフレート回路135)の一例を示すブロック図である。この実施形態では、並列探索(例えば4つの並列探索)が入力データストリーム内の複数のシーケンシャルターゲット点(例えば8つのターゲット点)に対して行われる。一致選択の第1のレベルにおいて、単一のターゲット点に対して動作する並列探索について最良の一致が選択される。一致選択の第2のレベルにおいて、シーケンシャルターゲットの最良の一致が選択され、並列探索結果と統合され、最良の圧縮を生成する組合せが選択される。
この実施形態では、圧縮モジュール400は入力データストリームをバッファーリングする入力バッファー410を備える。入力データストリームは履歴バッファー416及びLAQ412に供給される。4つの入力ターゲットがハッシュ関数ユニット(例えばハッシャー413)によってそれぞれハッシュされる。ハッシュ結果は、ハッシュテーブル414のアドレス(又はインデックス)へのポインターである。ハッシュテーブル414へ書き込むには、ハッシャー出力がまずハッシュ書込みバッファー432に送信される。ハッシュ書込みバッファー432はハッシュテーブル更新ロジック433に結合されている。ハッシュテーブル更新ロジック433は、ハッシュテーブル書込みポインター434に更に結合されている。ハッシュテーブル書込みポインター434は、ハッシュテーブルバケットチェーンに書き込む次のバケットを指し示し、サイクルあたり最大でn個の読取り/インクリメントイベントまでの、非常に高速な読取り/インクリメントに利用可能である。ここで、nはハッシャー数である。
ハッシュテーブル更新ロジック433及びハッシュテーブル書込みポインター434は、ハッシュテーブル414への書込みが許可されるか否か(例えばアクセスへの衝突がないとき)、及びハッシュテーブル414内のどこに書き込むかを制御する。ハッシュテーブル414内に記憶することができるエントリー数がハッシュテーブル414の容量を超えているとき、ハッシュスピルコントローラー415は、ハッシュテーブル414内のエントリーのうちのいずれを外部メモリに移すことができるかを判断する。この実施形態では、ハッシュ回路セクションのスループットはnである。ここで、n>サイクルあたり4バイトの最小スループット、である。このスループットは、長い一致によって、探索エンジンが潜伏した状態で処理が探索バッファーを通じて迅速にホップできるようになる「ジャンプアヘッド(jump-ahead)」を可能にする。
その一方で、シーケンシャルターゲットは履歴バッファー416及びLAQ412にも入力される。ハッシュテーブル314内の参照に基づいて、照合エンジン417は履歴バッファー416内の参照によって指示されたロケーションを探索する。各クロックサイクルにおいて、4つの探索が行われ、各探索は最大で8深度(すなわち、8つのパイプラインステージ)であり、サイクルあたり最大32個の照合エンジン417の実行である。8つの照合エンジン417の各群はスコアボード418と関連付けられる。スコアボード418はシーケンシャルターゲットの照合結果を追跡し、これらの結果を一致選択器420に転送する。一致選択器420は、単一のターゲットの最も長い一致を選択し、4つのシーケンシャルターゲットの照合結果を統合する。生成された一致した点はエンコーダー425に送信され、エンコーダー425はハフマン符号ルックアップテーブル(LUT)426を用いてデータストリームをエンコードし、エンコードされたストリームを出力バッファー430に送信する。
図4Bは、1つの実施形態による、入力データシーケンスのパイプライン化された並列探索を行うパイプラインの一例を示している。パイプラインは、上から下までステージ0〜7で示される8つのパイプラインステージ(8つのクロックサイクルに対応する)において入力データシーケンスに対し並列探索を行う。図4Bのパイプラインは、図4Aのブロック470の代替的な実施形態である。この実施形態では、入力データシーケンス(4つのターゲット点を含む)が各クロックサイクルにおいて処理される。最上位における入力はLAQ内に4つのターゲット点(例えば4バイトデータ)を含み、最下位における出力は履歴バッファーのデータ出力であり、このデータ出力は、LAQの適切なバイトと比較され、一致が存在するか否かが判断される。パイプラインステージ3において、4つの読取り要求がハッシュテーブル(HTRD0〜3として示される)に発行され、読み取られる履歴バッファーのロケーションが決定される。パイプラインステージ5において、16個の読取り要求が履歴バッファー(HB0rd0及びHR1rd0)に発行される。この実施形態では、履歴バッファーに対する16個の読取り要求が存在する。なぜなら、この実施形態は、一度に4つの連続ストリームバイトに対し機能するように設計されるためである。ハッシュ及びハッシュテーブルルックアップが4バイトのそれぞれについて行われる。各ルックアップによって、4つのハッシュバケット(レベル)のコンテンツが得られ、これらはハッシュアドレスに割り当てられる。ハッシュテーブルは16個の履歴バッファーアドレスを出力する。ハッシュテーブル及び履歴バッファーに対する読取り要求は、読取り対応生成ロジック(「RD EN生成ロジック476及び478)によって可能にされる。読取りアドレスが同じメモリロケーション又は同じ近傍内のエリアに対するものであるとき、行うことができる読取り数に物理的制限が存在する。この制限又は制約は、バンク衝突と呼ばれる。バンク衝突が生じると、そのクロックにおいて複数の読取り要求のうちの1つ又は複数を満たすことができず、したがってドロップ又は再スケジューリングされる。バンク衝突はバンク衝突ロジック472及び474によって解決される。
並列探索の後、探索結果がLZ77トークンのシーケンシャルストリームに組み立てられる。LZ77トークンは、「リテラル」(履歴バッファー内で一致を見つけることができないデータ)及び(距離、長さの)対(一致を見つけることができるとき)を含む。各トークンは可変のサイズを有する。LZ77トークンのストリームはハフマンエンコーディングに従って並列にエンコードされる。
図5は、1つの実施形態によるLZ77トークンストリーム520の並列エンコーディングの一例を示している。この実施形態では、8つのLZ77トークン520が並列にエンコードされ、ハフマンエンコーディングはテーブルをルックアップすることによって行われる(例えば、ハフマン符号ルックアップテーブル(LUT)526)。代替的な実施形態では、異なる数のLZ77トークンを並列にエンコードすることができることが理解される。圧縮出力(一致選択器出力)からの単一の「パケット」は、ヘッダー510と、8つのLZ77トークン520を含むペイロードを含む。ヘッダー510は、各トークン520が他のトークンと独立してロケーションを特定され処理されることができるように、各トークン520のオフセットに関する情報を提供する。1つの実施形態では、各トークン520は8ビットのリテラル又は24ビットの参照のいずれかである。ヘッダー510は16ビットとすることができ、ペイロード内の対応するトークンがリテラルであろうと参照であろうと(又はパケットの終了を示そうと)、シグナリングごとに8対のビットを含む。ヘッダー510の使用によって、各トークン520の独立した高速で並列なルックアップが可能になる。
ハフマン符号LUT526を用いると、8つのエンコーダー525によって8つのLZ77トークン520が並列にエンコードされる。トークン520ごとに、対応するエンコーダー525がコード及び長さを出力する。各エンコーダー525はまず、ヘッダー510内のビットを検査してペイロード内のそのエンコーダー自身のトークンのオフセットを見つける。例えば、エンコーダー525は、オフセットを見つけるには、エンコーダー525のトークンの前にリテラル及び参照がいくつ存在するかを求める必要がある場合がある。次に、エンコーダー525はエンコーダー525自身のトークンをエンコードし、コード及び長さを出力する。エンコードされた出力は、コード再結合ブロック527によってハフマンエンコーディングされた出力530のシーケンシャルストリームに再組立てされる。これは並列デフレート圧縮の最終的な出力でもある。
図6は、1つの実施形態による、LZ77圧縮に基づいて並列圧縮を行う方法600のブロック流れ図である。並列圧縮は、並列デフレート圧縮の一部とすることができる。1つの実施形態では並列圧縮は並列デフレート命令に応答して行われる。
方法600は、処理回路(例えば図1Aのコプロセッサ131又は図1Bの実行ユニット140)が入力データストリーム上で並列圧縮を行うことから開始する。1つ又は複数の履歴バッファーにおいて、入力データストリーム内のターゲットデータを探索する複数のロケーションが特定される(611)。1つ又は複数の履歴バッファーにおいて、ターゲットデータの複数の探索が並列に行われる(612)。連続クロックサイクルにおいて、入力データストリーム内の複数のシーケンシャルターゲットデータのパイプライン化された探索が行われる(613)。次に、複数の探索及びパイプライン化された探索から結果が選択され、入力データストリームが圧縮される(614)。
1つの実施形態では、方法600は、複数の探索及びパイプライン化された探索からの結果をトークン及びヘッダーのシーケンスとして組み立てることと、トークンを並列にエンコードすることとを更に含む。ヘッダーはシーケンス内のトークンのそれぞれのオフセットに関する情報を提供する。1つの実施形態では、複数の探索及びパイプライン化された探索から結果を選択するとき、処理回路は複数の探索から最も長い一致を選択し、複数の探索からのこの最も長い一致を、パイプライン化された探索の結果と統合する。1つの実施形態では、複数のロケーションを特定するとき、処理回路はターゲットデータをハッシュして、ハッシュテーブル内の複数のエントリーを指し示すポインターを得る。エントリーは1つ又は複数の履歴バッファーの複数のロケーションへの複数の参照を含む。複数の参照を用いて複数のロケーションが並列に読み取られることを可能にする。
1つの実施形態では、スコアボードにおいてターゲットデータの複数の探索の結果が追跡される。複数のスコアボードが複数のシーケンシャルターゲットデータのそれぞれについて更新される。1つの実施形態において、処理回路がネットワーク機能を行う命令を受信すると、処理回路は命令に応答して入力データストリームに対しデフレート圧縮を行う。デフレート圧縮は複数の探索及びパイプライン化された探索を含む。
様々な実施形態において、図6の方法は汎用プロセッサ、専用プロセッサ(例えばグラフィックスプロセッサ又はデジタル信号プロセッサ)又は任意のタイプのデジタル論理デバイス又は命令処理装置によって行うことができる。幾つかの実施形態では、図6の方法は図1Aのコプロセッサ131、図1Bのプロセッサ115、又は図7〜図13に示す実施形態等の同様のプロセッサ、装置、又はシステムによって行うことができる。さらに、図1Aのコプロセッサ131、図1Bのプロセッサ115、及び図7〜図13に示すプロセッサ、装置又はシステムは、図6の方法の実施形態と同じか、同様であるか又は異なる動作及び方法の実施形態を行うことができる。
例示的なコアアーキテクチャインオーダー及びアウトオブオーダーコアブロック図 図7Aは、1つの実施形態による、例示的なインオーダーパイプライン及び例示的なレジスタリネーミング、アウトオブオーダー発行/実行パイプラインを示すブロック図である。図7Bは、1つの実施形態による、プロセッサに含まれる、インオーダーアーキテクチャコアの例示的な実施形態、及び例示的なレジスタリネーミング、アウトオブオーダー発行/実行アーキテクチャコアの双方を示すブロック図である。図7A及び図7Bの実線のボックスは、インオーダーパイプライン及びインオーダーコアを示す一方、破線のボックスのオプションの追加は、レジスタリネーミング、アウトオブオーダー発行/実行パイプライン及びコアを示す。インオーダーの態様がアウトオブオーダーの態様のサブセットであることを考慮して、アウトオブオーダーの態様を説明する。
図7Aにおいて、プロセッサパイプライン700は、フェッチステージ702と、レングスデコードステージ704と、デコードステージ706と、アロケーションステージ708と、リネーミングステージ710と、スケジューリング(ディスパッチ又は発行としても知られる)ステージ712と、レジスタ読取り/メモリ読取りステージ714と、実行ステージ716と、ライトバック/メモリ書込みステージ718と、例外ハンドリングステージ722と、コミットステージ724とを備える。
図7Bは、実行エンジンユニット750に結合されたフロントエンドユニット730を含むプロセッサコア790を示し、これらの実行エンジンユニット及びフロントエンドユニットの双方はメモリユニット770に結合されている。コア790は、縮小命令セットコンピューティング(RISC)コア、複合命令セットコンピューター(CISC)コア、超長命令語(VLIW)コア、又はハイブリッド若しくは代替のコアタイプとすることができる。さらに別の選択肢として、コア790は、例えば、ネットワークコア又は通信コア、圧縮エンジン、コプロセッサコア、汎用コンピューティンググラフィックス処理ユニット(GPGPU)コア、グラフィックスコア等の専用コアとすることができる。
フロントエンドユニット730は、命令キャッシュユニット734に結合された分岐予測ユニット732を備える。命令キャッシュユニット734は、命令変換ルックアサイドバッファー(TLB)736に結合され、命令変換ルックアサイドバッファー(TLB)736は命令フェッチユニット738に結合され、命令フェッチユニット738はデコードユニット740に結合される。デコードユニット740(又はデコーダー)は命令をデコードし、出力として、1つ又は複数のマイクロオペレーション、マイクロコードエントリー点、マイクロ命令、他の命令、又は他の制御信号を生成することができる。これらは、オリジナルの命令からデコードされるか、又はオリジナルの命令を別の方法で反映しているか、又はオリジナルの命令から導出される。デコードユニット740は、様々な異なるメカニズムを用いて実施することができる。適したメカニズムの例には、限定ではないが、ルックアップテーブル、ハードウェア実装、プログラマブルロジックアレイ(PLA)、マイクロコード読み取り専用メモリ(ROM)等が含まれる。1つの実施形態では、コア790はマイクロコードROM又は或る特定のマクロ命令のマイクロコードを(例えばデコードユニット740に又はそうでない場合フロントエンドユニット730内に)記憶する他の媒体を含む。デコードユニット740は実行エンジンユニット750内のリネーム/アロケーターユニット752に結合されている。
実行エンジンユニット750は、リタイアメントユニット(retirement unit:退避ユニット)754に結合されるリネーム/アロケーターユニット752と、1組の1つ又は複数のスケジューラーユニット756を備える。スケジューラーユニット(複数の場合もある)756は、リザベーションステーション、中央命令ウィンドウ等の任意の数の異なるスケジューラーを表す。スケジューラーユニット(複数の場合もある)756は、物理レジスタファイル(複数の場合もある)ユニット(複数の場合もある)758に結合されている。物理レジスタファイル(複数の場合もある)ユニット758のそれぞれは、1つ又は複数の物理レジスタファイルを表し、これらの物理レジスタファイルの異なるものは、スカラー整数、スカラー浮動小数点、パックド整数、パックド浮動小数点、ベクトル整数、ベクトル浮動小数点、ステータス(例えば、実行される次の命令のアドレスである命令ポインター)等の1つ又は複数の異なるデータタイプを記憶する。1つの実施形態では、物理レジスタファイル(複数の場合もある)ユニット758は、ベクトルレジスタユニットと、書込みマスクレジスタユニットと、スカラーレジスタユニットとを備える。これらのレジスタユニットは、アーキテクチャベクトルレジスタ、ベクトルマスクレジスタ、及び汎用レジスタを提供することができる。レジスタリネーミング及びアウトオブオーダー実行を(例えば、再順序付けバッファー(複数の場合もある)及びリタイアメントレジスタファイル(複数の場合もある)を用いるか、フューチャーファイル(複数の場合もある)、履歴バッファー(複数の場合もある)、及びリタイアメントレジスタファイル(複数の場合もある)を用いるか、レジスタマップ及びレジスタのプールを用いる等して)実施することができる様々な方法を示すために、物理レジスタファイル(複数の場合もある)ユニット(複数の場合もある)758は、リタイアメントユニット754によってオーバーラップされている。リタイアメントユニット754及び物理レジスタファイル(複数の場合もある)ユニット(複数の場合もある)758は実行クラスター(複数の場合もある)760に結合されている。実行クラスター(複数の場合もある)760は、一組の1つ又は複数の実行ユニット762と、一組の1つ又は複数のメモリアクセスユニット764とを備える。実行ユニット762は、様々なタイプのデータ(例えばスカラー浮動小数点、パックド整数、パックド浮動小数点、ベクトル整数、ベクトル浮動小数点)に対して様々な演算(例えば、シフト、加算、減算、乗算)を行うことができる。実施形態の中には、特定の機能又は機能のセットに専用の複数の実行ユニットを備えることができるものもあれば、1つの実行ユニットのみを備えるか、又は全てが全ての機能を行う複数の実行ユニットを備えることができるものもある。スケジューラーユニット(複数の場合もある)756、物理レジスタファイル(複数の場合もある)ユニット(複数の場合もある)758、及び実行クラスター(複数の場合もある)760は、場合によっては複数のものとして示されている。なぜなら、或る特定の実施形態は、或る特定のタイプのデータ/動作に別個のパイプライン(例えば、スカラー整数パイプライン、スカラー浮動小数点/パックド整数/パックド浮動小数点/ベクトル整数/ベクトル浮動小数点パイプライン、及び/又はそれぞれがそれ自身のスケジューラーユニット、物理レジスタファイル(複数の場合もある)ユニット、及び/又は実行クラスターを有するメモリアクセスパイプラインであり、別個のメモリアクセスパイプラインの場合には、このパイプラインの実行クラスターのみがメモリアクセスユニット(複数の場合もある)764を有する或る特定の実施形態が実施される)を作製するためである。別個のパイプラインが用いられる場合、これらのパイプラインのうちの1つ又は複数は、アウトオブオーダー発行/実行とすることができ、残りはインオーダーとすることができることも理解されるべきである。
一組のメモリアクセスユニット764は、メモリユニット770に結合されている。このメモリユニットは、レベル2(L2)キャッシュユニット776に結合されたデータキャッシュユニット774に結合されたデータTLBユニット772を備える。1つの例示的な実施形態では、メモリアクセスユニット764は、ロードユニットと、ストアアドレスユニットと、ストアデータユニットとを備えることができ、これらのそれぞれは、メモリユニット770内のデータTLBユニット772に結合されている。命令キャッシュユニット734は、メモリユニット770内のレベル2(L2)キャッシュユニット776に更に結合されている。L2キャッシュユニット776は、キャッシュの1つ又は複数の他のレベルに結合され、最終的にメインメモリに結合される。
例として、例示的なレジスタリネーミング、アウトオブオーダー発行/実行コアアーキテクチャは、パイプライン700を以下のように実施することができる。1)命令フェッチ738が、フェッチステージ702及びレングスデコードステージ704を実行し、2)デコードユニット740がデコードステージ706を実行し、3)リネーム/アロケーターユニット752がアロケーションステージ708及びリネーミングステージ710を実行し、4)スケジューラーユニット(複数の場合もある)756がスケジュールステージ712を実行し、5)物理レジスタファイル(複数の場合もある)ユニット(複数の場合もある)758及びメモリユニット770がレジスタ読取り/メモリ読取りステージ714を実行し、実行クラスター760が実行ステージ716を実行し、6)メモリユニット770及び物理レジスタファイル(複数の場合もある)ユニット(複数の場合もある)758がライトバック/メモリ書込みステージ718を実行し、7)様々なユニットが例外ハンドリングステージ722に関与することができ、8)リタイアメントユニット754及び物理レジスタファイル(複数の場合もある)ユニット(複数の場合もある)758がコミットステージ724を実行する。
コア790は、本明細書において説明した命令(複数の場合もある)を含む、1つ又は複数の命令セット(例えば、x86命令セット(より新しいバージョンとともに追加された幾つかの拡張を有する);カリフォルニア州サニーベールのMIPS Technologies社のMIPS命令セット、カリフォルニア州サニーベールのARM Holdings社の(NEON等のオプションの追加拡張を有する)ARM命令セット)をサポートすることができる。1つの実施形態では、コア790は、パックドデータ命令セット拡張(例えばSSE、AVX1、AVX2等)をサポートし、それによって多くのマルチメディアアプリケーションによって用いられる演算がパックドデータを用いて実行されることを可能にするロジックを含む。
コアは、マルチスレッディング(並列の複数組の演算又はスレッドを実行する)をサポートすることができ、タイムスライスされたマルチスレッディング、同時のマルチスレッディング(単一の物理コアが、当該物理コアが同時にマルチスレッディングしているスレッドのそれぞれについて論理コアを提供する)、又はそれらの組み合わせ(例えば、Intel(登録商標)ハイパースレッディング技術におけるようなタイムスライスされたフェッチ及びデコード並びにその後の同時のマルチスレッディング)を含む様々な方法でそうすることができることが理解されるべきである。
レジスタリネーミングは、アウトオブオーダー実行に関して説明されるが、レジスタリネーミングは、インオーダーアーキテクチャにおいて用いることができることが理解されるべきである。プロセッサの図示した実施形態は、別個の命令キャッシュユニット734/データキャッシュユニット774及び共有されたL2キャッシュユニット776も備えるが、代替の実施形態は、例えば、レベル1(L1)内部キャッシュ、又は複数のレベルの内部キャッシュ等の、命令及びデータの双方の単一の内部キャッシュを有することができる。幾つかの実施形態では、システムは、コア及び/又はプロセッサの外部にある内部キャッシュ及び外部キャッシュの組み合わせを備えることができる。代替的に、キャッシュの全てを、コア及び/又はプロセッサの外部にすることができる。
特定の例示的なインオーダーコアアーキテクチャ 図8A及び図8Bは、より詳細な例示的なインオーダーコアアーキテクチャのブロック図を示す。このコアは、チップ内の幾つかの論理ブロックのうちの1つである(同じタイプ及び/又は異なるタイプの他のコアを含む)。論理ブロックは、用途に応じて、或る固定機能ロジック、メモリI/Oインターフェース、及び他の必要なI/Oロジックを用いて高帯域幅相互接続ネットワーク(例えばリングネットワーク)を通じて通信する。
図8Aは、1つの実施形態による、単一プロセッサコア、並びにオンダイ相互接続ネットワーク802及びそのローカルサブセットであるレベル2(L2)キャッシュ804との単一プロセッサコアの接続のブロック図である。1つの実施形態では、命令デコーダー800はパックドデータ命令セット拡張を有するx86命令セットをサポートする。L1キャッシュ806は、スカラーユニット及びベクトルユニットへのキャッシュメモリへの低レイテンシのアクセスを可能にする。(設計を簡単にするために)1つの実施形態では、スカラーユニット808及びベクトルユニット810は別個のレジスタセット(それぞれ、スカラーレジスタ812及びベクトルレジスタ814)を用い、それらの間で転送されるデータはメモリに書き込まれ、次にレベル1(L1)キャッシュ806からリードバックされるが、代替的な実施形態は異なる手法を用いてもよい(例えば、単一のレジスタセットを用いるか、又はデータが書込み及びリードバックされることなく2つのレジスタファイル間で転送されることを可能にする通信パスを含む)。
L2キャッシュのローカルサブセット804は、プロセッサコアあたり1つの別個のローカルサブセットに分割されたグローバルL2キャッシュの一部である。各プロセッサコアは、そのプロセッサコア自身のL2キャッシュのローカルサブセット804への直接アクセスパスを有する。プロセッサコアによって読み取られるデータは、そのL2キャッシュサブセット804に記憶され、自身のローカルL2キャッシュサブセットにアクセスする他のプロセッサコアと並列に迅速に、このデータにアクセスすることができる。プロセッサコアによって書き込まれるデータはこのプロセッサコア自身のL2キャッシュサブセット804に記憶され、必要な場合、他のサブセットからフラッシュされる。リングネットワークは、共有データのコヒーレンス性を確保する。リングネットワークは双方向であり、プロセッサコア等のエージェント、L2キャッシュ、及び他の論理ブロックがチップ内で互いに通信することを可能にする。
図8Bは、1つの実施形態によれば、図8A内のプロセッサコアの一部の拡大図である。図8Bは、L1キャッシュ804のL1データキャッシュ806A部分と、ベクトルユニット810及びベクトルレジスタ814に関する更なる詳細を含む。詳細には、ベクトルユニット810は、16要素(16-wide)ベクトル処理ユニット(VPU)(16要素ALU828を参照)であり、整数命令、単精度浮動小数点命令及び倍精度浮動小数点命令のうちの1つ又は複数を実行する。VPUはスウィズルユニット820を用いたレジスタ入力のスウィズリング、数値変換ユニット822A及び822Bを用いた数値変換、並びにメモリ入力における複製ユニット824を用いた複製をサポートする。書込みマスクレジスタ826によって、結果としてのベクトル書込みの予測が可能になる。
統合メモリコントローラー及びグラフィックスを有するプロセッサ 図9は、1つの実施形態による、2つ以上のコアを有することができ、統合メモリコントローラーを有することができ、統合グラフィックスを有することができるプロセッサ900のブロック図である。図9における実線のボックスは、単一のコア902A、システムエージェント910、一組の1つ又は複数のバスコントローラーユニット916を有するプロセッサ900を示す一方、破線のボックスのオプションの追加は、複数のコア902A〜902N、システムエージェントユニット910内の一組の1つ又は複数の統合メモリコントローラーユニット914、及び専用ロジック908を有する代替的なプロセッサ900を示している。
このため、プロセッサ900の様々な実施態様は、1)統合されたグラフィックス及び/又は科学的(スループット)ロジック(1つ又は複数のコアを含むことができる)である専用ロジック908と、1つ又は複数の汎用コア(例えば汎用インオーダーコア、汎用アウトオブオーダーコア、2つの組み合わせ)であるコア902A〜902Nとを有するCPUと、2)主にグラフィックス及び/又は科学的(スループット)意図の多数の専用コアであるコア902A〜902Nを有するコプロセッサと、3)多数の汎用インオーダーコアであるコア902A〜902Nを有するコプロセッサと、を備えることができる。このため、プロセッサ900は、例えば、ネットワークプロセッサ又は通信プロセッサ、圧縮エンジン、グラフィックスプロセッサ、GPGPU(汎用グラフィックス処理ユニット)、高スループット多数統合コア(MIC)コプロセッサ(30以上のコアを含む)、組込みプロセッサ等の、汎用プロセッサ、コプロセッサ又は専用プロセッサとすることができる。プロセッサは、1つ又は複数のチップ上に実装することができる。プロセッサ900は、例えば、BiCMOS、CMOS、又はNMOS等の複数のプロセス技術のうちの任意のものを用いた1つ又は複数の基板のうちの一部とすることができ、及び/又はそれらの1つ又は複数の基板上に実装することができる。
メモリ階層構造は、一組の統合メモリコントローラーユニット914に結合された、コア内の1つ又は複数のレベルのキャッシュと、一組の1つ若しくは複数の共有キャッシュユニット906、及び外部メモリ(図示せず)とを含む。この一組の共有キャッシュユニット906は、レベル2(L2)、レベル3(L3)、レベル4(L4)、又は他のレベルのキャッシュ等の1つ又は複数の中間レベルキャッシュ、ラストレベルキャッシュ(LLC)、及び/又はそれらの組み合わせを含むことができる。1つの実施形態では、リングベースの相互接続ユニット912が、統合グラフィックスロジック908、一組の共有キャッシュユニット906、及びシステムエージェントユニット910/統合メモリコントローラーユニット(複数の場合もある)914を相互接続するが、代替の実施形態は、そのようなユニットを相互接続するための任意の数のよく知られた技法を用いることができる。1つの実施形態では、コヒーレンス性は1つ又は複数のキャッシュユニット906とコア902A〜902Nとの間で維持される。
幾つかの実施形態では、コア902A〜902Nのうちの1つ又は複数は、マルチスレッディングすることができる。システムエージェント910は、コア902A〜902Nを協調及び動作させる構成要素を備える。システムエージェントユニット910は、例えば、電力制御ユニット(PCU)及びディスプレイユニットを備えることができる。PCUは、コア902A〜902N及び統合グラフィックスロジック908の電力状態を調整するのに必要とされるロジック及び構成要素とすることもできるし、それらを備えることもできる。ディスプレイユニットは、1つ又は複数の外部に接続されたディスプレイを駆動するためのものである。
コア902A〜902Nは、命令セットアーキテクチャに関して、同種とすることもできるし、異種とすることもできる。すなわち、コア902A〜902Nのうちの2つ以上は、同じ命令セットを実行することができる一方、他のものは、その命令セットのサブセットのみ又は異なる命令セットを実行することができる。
例示的なコンピューターアーキテクチャ 図10〜図13は、例示的なコンピューターアーキテクチャのブロック図である。ラップトップ、デスクトップ、ハンドヘルドPC、携帯情報端末、エンジニアリングワークステーション、サーバー、ネットワークデバイス、ネットワークハブ、スイッチ、組込みプロセッサ、デジタル信号プロセッサ(DSP)、グラフィックスデバイス、ビデオゲームデバイス、セットトップボックス、マイクロコントローラー、携帯電話、ポータブルメディアプレイヤ、ハンドヘルドデバイス、及び様々な他の電子デバイスの技術分野において知られている他のシステム設計及び構成も好適である。一般的に、本明細書において開示するようなプロセッサ及び/又は他の実行ロジックを組み込むことができる膨大な様々のシステム又は電子デバイスが一般に好適である。
ここで図10を参照すると、1つの実施形態によるシステム1000のブロック図が示されている。システム1000は、コントローラーハブ1020に結合された1つ又は複数のプロセッサ1010、1015を備えることができる。1つの実施形態では、コントローラーハブ1020は、グラフィックスメモリコントローラーハブ(GMCH)1090及び入出力ハブ(IOH)1050(別個のチップ上に存在することができる)を含み、GMCH1090は、メモリと、メモリ1040及びコプロセッサ1045が結合されたグラフィックスコントローラーとを含み、IOH1050は入/出力(I/O)デバイス1060をGMCH1090に結合する。代替的に、メモリ及びグラフィックスコントローラーの一方又は双方が(本明細書に説明されるように)プロセッサ内に統合され、メモリ1040及びコプロセッサ1045は、プロセッサ1010と、IOH1050を有する単一チップ内のコントローラーハブ1020に直接結合される。
追加のプロセッサ1015のオプションの特性が図10において破線で示されている。各プロセッサ1010、1015は、本明細書において説明されるプロセッサコアのうちの1つ又は複数を含むことができ、プロセッサ900の或るバージョンとすることができる。
メモリ1040は、例えば、ダイナミックランダムアクセスメモリ(DRAM)、相変化メモリ(PCM)、又はそれら2つの組み合わせとすることができる。少なくとも1つの実施形態について、コントローラーハブ1020は、フロントサイドバス(FSB)等のマルチドロップバス、クイックパス相互接続(QPI)等のポイントツーポイントインターフェース、又は同様の接続1095を介してプロセッサ(複数の場合もある)1010、1015と通信する。
1つの実施形態では、コプロセッサ1045は、例えば、高スループットMICプロセッサ、ネットワーク又は通信プロセッサ、圧縮エンジン、グラフィックスプロセッサ、GPGPU、組込みプロセッサ等の専用プロセッサである。1つの実施形態では、コントローラーハブ1020は、統合グラフィックスアクセラレーターを含むことができる。
物理リソース1010、1015間には、アーキテクチャ上の特性、マイクロアーキテクチャ上の特性、熱的特性、電力消費特性等を含む、或る範囲の利点というメトリックから、様々な相違が存在する可能性がある。
1つの実施形態では、プロセッサ1010は、一般的なタイプのデータ処理動作を制御する命令を実行する。これらの命令内には、コプロセッサ命令を埋め込むことができる。プロセッサ1010は、これらのコプロセッサ命令を、アタッチされたコプロセッサ1045によって実行されるべきタイプであるとして認識する。したがって、プロセッサ1010は、これらのコプロセッサ命令(又はコプロセッサ命令を表す制御信号)をコプロセッサバス又は他の相互接続上でコプロセッサ1045に発行する。コプロセッサ(複数の場合もある)1045は受信されたコプロセッサ命令を受け取って実行する。
ここで図11を参照すると、1つの実施形態による第1のより詳細な例示的なシステム1100のブロック図が示されている。図11に示すように、マルチプロセッサシステム1100は、ポイントツーポイント相互接続システムであり、ポイントツーポイント相互接続1150を介して結合された第1のプロセッサ1170及び第2のプロセッサ1180を備える。プロセッサ1170及び1180のそれぞれは、プロセッサ900の或るバージョンとすることができる。1つの実施形態では、プロセッサ1170及び1180はそれぞれプロセッサ1010及び1015である一方で、コプロセッサ1138はコプロセッサ1045である。別の実施形態では、プロセッサ1170及び1180はそれぞれプロセッサ1010及びコプロセッサ1045である。
統合メモリコントローラー(IMC)ユニット1172及び1182をそれぞれ備えるプロセッサ1170及び1180が示されている。プロセッサ1170は、そのバスコントローラーユニットの一部として、ポイントツーポイント(P−P)インターフェース1176及び1178も備える。同様に、第2のプロセッサ1180は、P−Pインターフェース1186及び1188を備える。プロセッサ1170、1180は、P−Pインターフェース回路1178、1188を用いたポイントツーポイント(P−P)インターフェース1150を介して情報を交換することができる。図11に示すように、IMC1172及び1182は、プロセッサをそれぞれのメモリ、すなわち、メモリ1132及びメモリ1134に結合する。これらのメモリは、それぞれのプロセッサにローカルにアタッチされたメインメモリの一部とすることができる。
プロセッサ1170、1180はそれぞれ、ポイントツーポイントインターフェース回路1176、1194、1186、1198を用いて、個々のP−Pインターフェース1152、1154を介してチップセット1190と情報を交換することができる。チップセット1190は、高性能グラフィックスインターフェース1139を介してオプションでコプロセッサ1138と情報を交換することができる。1つの実施形態では、コプロセッサ1138は、例えば、高スループットMICプロセッサ、ネットワーク又は通信プロセッサ、圧縮エンジン、グラフィックスプロセッサ、GPGPU、組込みプロセッサ等の専用プロセッサである。
プロセッサが低電力モードになる場合に、いずれか又は双方のプロセッサのローカルキャッシュ情報を共有キャッシュに記憶することができるように、いずれかのプロセッサ内又は双方のプロセッサの外部に共有キャッシュ(図示せず)を備えることができ、P−P相互接続を介してプロセッサと更に接続することができる。
チップセット1190は、インターフェース1196を介して第1のバス1116に結合することができる。1つの実施形態では、第1のバス1116は、周辺機器相互接続(PCI)バス、又はPCIエクスプレスバス若しくは別の第3世代I/O相互接続バス等のバスとすることができる。代替の実施形態も用いることができる。
図11に示すように、第1のバス1116を第2のバス1120に結合するバスブリッジ1118とともに、様々なI/Oデバイス1114を第1のバス1116に結合することができる。1つの実施形態では、コプロセッサ、高スループットMICプロセッサ、GPGPU、アクセラレーター(例えば、グラフィックスアクセラレーター又はデジタル信号処理(DSP)ユニット等)、フィールドプログラマブルゲートアレイ、又は他の任意のプロセッサ等の1つ又は複数の追加のプロセッサ1115が第1のバス1116に結合される。1つの実施形態では、第2のバス1120は、ローピンカウント(LPC)バスとすることができる。例えば、キーボード及び/又はマウス1122、通信デバイス1127、並びに1つの実施形態では命令/コード及びデータ1130を含むことができるディスクドライブ又は他のマスストレージデバイス等の記憶ユニット1128を含む様々なデバイスを第2のバス1120に結合することができる。さらに、オーディオI/O1124を第2のバス1120に結合することができる。他のアーキテクチャが可能であることに留意されたい。例えば、図11のポイントツーポイントアーキテクチャの代わりに、システムは、マルチドロップバス又は他のそのようなアーキテクチャを実装することができる。
ここで図12を参照すると、本発明の1つの実施形態による第2のより詳細な例示的なシステム1200のブロック図が示されている。図11及び図12における同様の要素は、同様の参照符号を有し、図11の或る特定の態様は、図12の他の態様を分かりにくくすることを回避するために、図12から省かれている。
図12は、プロセッサ1170、1180がそれぞれ統合メモリ及びI/O制御ロジック(「CL」)1172及び1182を備えることができることを示している。したがって、CL1172、1182は、統合メモリコントローラーユニットを備え、I/O制御ロジックを備える。図12は、CL1172、1182に結合されているのはメモリ1132、1134だけでなく、I/Oデバイス1214も制御ロジック1172、1182に結合されていることを示している。レガシーI/Oデバイス1215は、チップセット1190に結合されている。
ここで図13を参照すると、本発明の1つの実施形態によるSoC1300のブロック図が示されている。図9における同様の要素は、同様の参照符号を有する。また、破線のボックスは、更に高度化したSoC上のオプションの特徴部である。図13において、相互接続ユニット(複数の場合もある)1302は、一組の1つ又は複数のコア902A〜902N及び共有キャッシュユニット(複数の場合もある)906を備えるアプリケーションプロセッサ1310と、システムエージェントユニット910と、バスコントローラーユニット(複数の場合もある)916と、統合メモリコントローラーユニット(複数の場合もある)914と、統合グラフィックスロジック、画像プロセッサ、オーディオプロセッサ及びビデオプロセッサを備えることができる、一組の1つ又は複数のコプロセッサ1320と、スタティックランダムアクセスメモリ(SRAM)ユニット1330と、ダイレクトメモリアクセス(DMA)ユニット1332と、1つ又は複数の外部ディスプレイに結合するためのディスプレイユニット1340とに結合されている。1つの実施形態では、コプロセッサ(複数の場合もある)1320は、ネットワークプロセッサ又は通信プロセッサ、圧縮エンジン、GPGPU、高スループットMICプロセッサ、組込みプロセッサ等の専用プロセッサを含むことができる。
本明細書において開示したメカニズムの実施形態は、ハードウェア、ソフトウェア、ファームウェア、又はそのような実施手法の組み合わせで実施することができる。本発明の実施形態は、少なくとも1つのプロセッサ、記憶システム(揮発性メモリ及び不揮発性メモリ及び/又は記憶要素を含む)、少なくとも1つの入力デバイス、及び少なくとも1つの出力デバイスを備えるプログラマブルシステム上で実行されるコンピュータープログラム又はプログラムコードとして実施することができる。
図11に示されているコード1130のようなプログラムコードは、入力命令に適用されて、本明細書において説明した機能を実行し、出力情報を生成することができる。この出力情報は、1つ又は複数の出力デバイスに既知の方法で適用することができる。この用途のために、処理システムは、例えば、デジタル信号プロセッサ(DSP)、マイクロコントローラー、特定用途向け集積回路(ASIC)、又はマイクロプロセッサ等のプロセッサを有する任意のシステムを含む。
プログラムコードは、処理システムと通信するように高級手続型プログラム言語又はオブジェクト指向型言語で実施することができる。プログラムコードは、所望の場合には、アセンブリ言語又は機械語で実施することもできる。実際に、本明細書において説明したメカニズムは、どの特定のプログラム言語にも範囲が限定されるものではない。いずれにしても、この言語は、コンパイル型言語又は解釈型言語とすることができる。
少なくとも1つの実施形態の1つ又は複数の態様は、機械によって読み取れると、当該機械に、本明細書において説明した技法を実行するロジックを作製させるプロセッサ内の様々なロジックを表す機械可読媒体上に記憶された代表的な命令によって実施することができる。「IPコア」として知られているそのような表現は、有形の機械可読媒体上に記憶することができ、様々な顧客又は製造設備に供給して、ロジック又はプロセッサを実際に作製する製造機械にロードすることができる。
そのような機械可読記憶媒体は、機械又はデバイスによって製造又は形成された物品の非一時的な有形の構成を含むことができるが、これに限定されるものではない。これらの物品は、ハードディスク、フロッピー(登録商標)ディスク、光ディスク、コンパクトディスク読み出し専用メモリ(CD−ROM)、再書込み可能コンパクトディスク(CD−RW)、及び光磁気ディスクを含む他の任意のタイプのディスク、読み出し専用メモリ(ROM)、ダイナミックランダムアクセスメモリ(DRAM)、スタティックランダムアクセスメモリ(SRAM)等のランダムアクセスメモリ(RAM)、消去可能プログラマブル読み出し専用メモリ(EPROM)、フラッシュメモリ、電気的消去可能プログラマブル読み出し専用メモリ(EEPROM)、相変化メモリ(PCM)、磁気カード若しくは光カード、又は電子命令を記憶するのに好適な他の任意のタイプの媒体等の半導体デバイス等の記憶媒体を含む。
したがって、実施形態は、命令を含む非一時的な有形の機械可読媒体、又は本明細書において説明した構造、回路、装置、プロセッサ及び/又はシステムの特徴を定義するハードウェア記述言語(HDL)等の設計データを含む非一時的な有形の機械可読媒体も含む。そのような実施形態は、プログラム製品と呼ばれる場合もある。
或る特定の例示の実施形態が、説明され、添付図面に示されているが、そのような実施形態は、広範な本発明の単なる例示にすぎず、広範な本発明を制限するものではないこと、及び、本発明は、図示及び説明された特定の構造及び構成に限定されるものではないことが理解されるべきである。なぜならば、この開示を検討すると、他の様々な変更が当業者には思い浮かべることができるからである。このような技術の分野では、成長が速く、更なる進歩が容易に予見されない場合、開示された実施形態は、本開示の原理又は添付の特許請求の範囲の範囲から逸脱することなく技術的進歩を可能にすることによって容易にされるように、構成及び細部が容易に変更可能な場合がある。
本実施形態の例を下記の各項目として示す。
[項目1]
入力データストリーム内のターゲットデータを探索するために、1つ又は複数の履歴バッファー内の複数のロケーションを特定するハッシュ回路と、
前記1つ又は複数の履歴バッファーにおいて、前記ターゲットデータの複数の探索を並列に行う複数の照合エンジンと、
連続クロックサイクルにおいて前記入力データストリーム内の複数のシーケンシャルターゲットデータの探索をパイプライン化するパイプライン回路と、
前記複数の探索及び前記パイプライン化された探索からの結果を選択して前記入力データストリームを圧縮する一致選択器と、
を備える、装置。
[項目2]
前記ハッシュ回路、前記照合エンジン及び前記一致選択器はプロセッサの実行回路内に配置される、項目1に記載の装置。
[項目3]
前記ハッシュ回路、前記照合エンジン及び前記一致選択器はプロセッサに結合されたコプロセッサ内に配置される、項目1に記載の装置。
[項目4]
前記複数の探索及び前記パイプライン化された探索から組み立てられた結果をトークンのシーケンス及びヘッダーとして受信する複数のエンコーダーを更に備え、
前記ヘッダーは前記シーケンス内の前記トークンのそれぞれのオフセットに関する情報を提供し、前記エンコーダーは前記トークンを並列にエンコードする、項目1から3のいずれか1項に記載の装置。
[項目5]
前記一致選択器は、前記複数の探索から最も長い一致を選択し、該複数の探索からの該最も長い一致を前記パイプライン化された探索の結果と統合する、項目1から4のいずれか1項に記載の装置。
[項目6]
前記ハッシュ回路は、前記ターゲットデータをハッシュして、ハッシュテーブル内の複数のエントリーを指し示すポインターを取得し、前記複数のエントリーは前記1つ又は複数の履歴バッファーの前記複数のロケーションへの複数の参照を含み、前記ハッシュ回路は前記複数の参照を出力して、前記複数のロケーションが並列に読み取られることを可能にする、項目1から5のいずれか1項に記載の装置。
[項目7]
並列デフレート命令に応じて、前記複数の探索及び前記パイプライン化された探索を並列に行う実行回路を更に備える、項目1から6のいずれか1項に記載の装置。
[項目8]
入力データストリーム内のターゲットデータを探索するために、1つ又は複数の履歴バッファー内の複数のロケーションを特定する段階と、
前記1つ又は複数の履歴バッファーにおいて、前記ターゲットデータの複数の探索を並列に行うことと、
連続クロックサイクルにおいて前記入力データストリーム内の複数のシーケンシャルターゲットデータの探索をパイプライン化する段階と、
前記複数の探索及び前記パイプライン化された探索からの結果を選択して、前記入力データストリームを圧縮する段階と、
を含む、方法。
[項目9]
前記複数の探索及び前記パイプライン化された探索からの結果をトークンのシーケンス及びヘッダーとして組み立てる段階と、
前記トークンを並列にエンコードする段階と、
を更に含み、
前記ヘッダーは前記シーケンス内の前記トークンのそれぞれのオフセットに関する情報を提供する、項目8に記載の方法。
[項目10]
前記結果を選択する段階は、
前記複数の探索から最も長い一致を選択する段階と、
前記複数の探索からの前記最も長い一致を前記パイプライン化された探索の結果と統合する段階と、
を更に含む、項目8または9に記載の方法。
[項目11]
前記複数のロケーションを特定する段階は、
前記ターゲットデータをハッシュして、ハッシュテーブル内の複数のエントリーを指し示すポインターを取得する段階であって、前記複数のエントリーは前記1つ又は複数の履歴バッファーの前記複数のロケーションへの複数の参照を含む段階と、
前記複数の参照を出力して、前記複数のロケーションが並列に読み取られることを可能にする段階と、
を更に含む、項目8から10のいずれか1項に記載の方法。
[項目12]
スコアボードにおいて前記ターゲットデータの前記複数の探索の結果を追跡する段階と、
前記複数のシーケンシャルターゲットデータのそれぞれについて複数のスコアボードを更新する段階と、
を更に含む、項目8から11のいずれか1項に記載の方法。
[項目13]
命令を受信して、ネットワーク機能を実行する段階と、
前記命令に応じて前記入力データストリームに対しデフレート圧縮を行う段階と、
を更に含み、
前記デフレート圧縮は前記複数の探索及び前記パイプライン化された探索を含む、項目8から12のいずれか1項に記載の方法。
[項目14]
メモリと、
前記メモリに結合された処理回路と、
を備え、
前記処理回路は、
入力データストリーム内のターゲットデータを探索するために、1つ又は複数の履歴バッファー内の複数のロケーションを特定するハッシュ回路と、
前記1つ又は複数の履歴バッファーにおいて、前記ターゲットデータの複数の探索を並列に行う複数の照合エンジンと、
連続クロックサイクルにおいて前記入力データストリーム内の複数のシーケンシャルターゲットデータの探索をパイプライン化するパイプライン回路と、
前記複数の探索及び前記パイプライン化された探索からの結果を選択して前記入力データストリームを圧縮する一致選択器と、
を含む、システム。
[項目15]
前記処理回路はプロセッサの実行回路内に配置される、項目14に記載のシステム。
[項目16]
前記処理回路はプロセッサに結合されたコプロセッサ内に配置される、項目14に記載のシステム。
[項目17]
前記複数の探索及び前記パイプライン化された探索から組み立てられた結果をトークンのシーケンス及びヘッダーとして受信する複数のエンコーダーを更に備え、
前記ヘッダーは前記シーケンス内の前記トークンのそれぞれのオフセットに関する情報を提供し、前記エンコーダーは前記トークンを並列にエンコードする、項目14から16のいずれか1項に記載のシステム。
[項目18]
前記一致選択器は、前記複数の探索から最も長い一致を選択し、該複数の探索からの該最も長い一致を前記パイプライン化された探索の結果と統合する、項目14から17のいずれか1項に記載のシステム。
[項目19]
前記ハッシュ回路は、前記ターゲットデータをハッシュして、ハッシュテーブル内の複数のエントリーを指し示すポインターを取得し、前記複数のエントリーは前記1つ又は複数の履歴バッファーの前記複数のロケーションへの複数の参照を含み、前記ハッシュ回路は前記複数の参照を出力して、前記複数のロケーションが並列に読み取られることを可能にする、項目14から18のいずれか1項に記載のシステム。
[項目20]
並列デフレート命令に応じて、前記複数の探索及び前記パイプライン化された探索を並列に行う実行回路を更に備える、項目14から19のいずれか1項に記載のシステム。

Claims (17)

  1. 入力データストリーム内のターゲットデータを探索するために、1つ又は複数の履歴バッファー内の複数のロケーションを特定するハッシュ回路と、
    前記1つ又は複数の履歴バッファーにおいて、複数のシーケンシャルターゲットデータの前記ターゲットデータのパイプライン化された複数の探索を並列に行う複数の照合エンジンと、
    記パイプライン化された複数の探索からの結果を選択して前記入力データストリームを圧縮する一致選択器と、
    を備え
    前記ハッシュ回路は、前記ターゲットデータをハッシュして、ハッシュテーブル内の複数のエントリーを指し示すポインターを取得し、前記複数のエントリーは前記1つ又は複数の履歴バッファーの前記複数のロケーションへの複数の参照を含み、前記ハッシュ回路は前記複数の参照を出力して、前記複数のロケーションが並列に読み取られることを可能にする、装置。
  2. 前記ハッシュ回路、前記照合エンジン及び前記一致選択器はプロセッサの実行回路内に配置される、請求項1に記載の装置。
  3. 前記ハッシュ回路、前記照合エンジン及び前記一致選択器はプロセッサに結合されたコプロセッサ内に配置される、請求項1に記載の装置。
  4. 前記パイプライン化された複数の探索ら組み立てられた結果をトークンのシーケンス及びヘッダーとして受信する複数のエンコーダーを更に備え、
    前記ヘッダーは前記シーケンス内の前記トークンのそれぞれのオフセットに関する情報を提供し、前記エンコーダーは前記トークンを並列にエンコードする、請求項1から3のいずれか1項に記載の装置。
  5. 前記一致選択器は、前記パイプライン化された複数の探索から最も長い一致を選択する、請求項1から4のいずれか1項に記載の装置。
  6. 並列デフレート命令に応じて、前記パイプライン化された複数の探索並列に行う実行回路を更に備える、請求項1からのいずれか1項に記載の装置。
  7. 入力データストリーム内のターゲットデータを探索するために、1つ又は複数の履歴バッファー内の複数のロケーションを特定する段階と、
    前記1つ又は複数の履歴バッファーにおいて、複数のシーケンシャルターゲットデータの前記ターゲットデータのパイプライン化された複数の探索を並列に行うことと、
    前記パイプライン化された複数の探索らの結果を選択して、前記入力データストリームを圧縮する段階と、
    を含み、
    前記複数のロケーションを特定する段階は、
    前記ターゲットデータをハッシュして、ハッシュテーブル内の複数のエントリーを指し示すポインターを取得する段階であって、前記複数のエントリーは前記1つ又は複数の履歴バッファーの前記複数のロケーションへの複数の参照を含む段階と、
    前記複数の参照を出力して、前記複数のロケーションが並列に読み取られることを可能にする段階と、
    を更に含む、
    方法。
  8. 前記パイプライン化された複数の探索らの結果をトークンのシーケンス及びヘッダーとして組み立てる段階と、
    前記トークンを並列にエンコードする段階と、
    を更に含み、
    前記ヘッダーは前記シーケンス内の前記トークンのそれぞれのオフセットに関する情報を提供する、請求項に記載の方法。
  9. 前記結果を選択する段階は、
    前記パイプライン化された複数の探索から最も長い一致を選択する段階、
    を更に含む、請求項またはに記載の方法。
  10. スコアボードにおいて前記ターゲットデータの前記パイプライン化された複数の探索の結果を追跡する段階と、
    前記複数のシーケンシャルターゲットデータのそれぞれについて複数のスコアボードを更新する段階と、
    を更に含む、請求項からのいずれか1項に記載の方法。
  11. 命令を受信して、ネットワーク機能を実行する段階と、
    前記命令に応じて前記入力データストリームに対しデフレート圧縮を行う段階と、
    を更に含み、
    前記デフレート圧縮は前記パイプライン化された複数の探索含む、請求項から10のいずれか1項に記載の方法。
  12. メモリと、
    前記メモリに結合された処理回路と、
    を備え、
    前記処理回路は、
    入力データストリーム内のターゲットデータを探索するために、1つ又は複数の履歴バッファー内の複数のロケーションを特定するハッシュ回路と、
    前記1つ又は複数の履歴バッファーにおいて、複数のシーケンシャルターゲットデータの前記ターゲットデータのパイプライン化された複数の探索を並列に行う複数の照合エンジンと、
    前記パイプライン化された複数の探索らの結果を選択して前記入力データストリームを圧縮する一致選択器と、
    を含み、
    前記ハッシュ回路は、前記ターゲットデータをハッシュして、ハッシュテーブル内の複数のエントリーを指し示すポインターを取得し、前記複数のエントリーは前記1つ又は複数の履歴バッファーの前記複数のロケーションへの複数の参照を含み、前記ハッシュ回路は前記複数の参照を出力して、前記複数のロケーションが並列に読み取られることを可能にする、
    システム。
  13. 前記処理回路はプロセッサの実行回路内に配置される、請求項12に記載のシステム。
  14. 前記処理回路はプロセッサに結合されたコプロセッサ内に配置される、請求項12に記載のシステム。
  15. 前記パイプライン化された複数の探索ら組み立てられた結果をトークンのシーケンス及びヘッダーとして受信する複数のエンコーダーを更に備え、
    前記ヘッダーは前記シーケンス内の前記トークンのそれぞれのオフセットに関する情報を提供し、前記エンコーダーは前記トークンを並列にエンコードする、請求項12から14のいずれか1項に記載のシステム。
  16. 前記一致選択器は、前記パイプライン化された複数の探索から最も長い一致を選択する、請求項12から15のいずれか1項に記載のシステム。
  17. 並列デフレート命令に応じて、前記パイプライン化された複数の探索並列に行う実行回路を更に備える、請求項12から16のいずれか1項に記載のシステム。
JP2014043707A 2013-03-15 2014-03-06 デフレート圧縮のために高速で高圧縮のlz77トークン化及びハフマンエンコーディングを行う並列装置 Expired - Fee Related JP5945291B2 (ja)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201361800263P 2013-03-15 2013-03-15
US61/800,263 2013-03-15
US13/853,286 2013-03-29
US13/853,286 US8766827B1 (en) 2013-03-15 2013-03-29 Parallel apparatus for high-speed, highly compressed LZ77 tokenization and Huffman encoding for deflate compression

Publications (2)

Publication Number Publication Date
JP2014182810A JP2014182810A (ja) 2014-09-29
JP5945291B2 true JP5945291B2 (ja) 2016-07-05

Family

ID=50982083

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2014043707A Expired - Fee Related JP5945291B2 (ja) 2013-03-15 2014-03-06 デフレート圧縮のために高速で高圧縮のlz77トークン化及びハフマンエンコーディングを行う並列装置

Country Status (5)

Country Link
US (1) US8766827B1 (ja)
JP (1) JP5945291B2 (ja)
KR (1) KR101651911B1 (ja)
CN (1) CN104300990B (ja)
DE (1) DE102014003790A1 (ja)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6319740B2 (ja) * 2014-03-25 2018-05-09 インターナショナル・ビジネス・マシーンズ・コーポレーションInternational Business Machines Corporation データ圧縮を高速化する方法、並びに、データ圧縮を高速化するためのコンピュータ、及びそのコンピュータ・プログラム
GB2524516A (en) * 2014-03-25 2015-09-30 Ibm Hardware compression method finding backward references with multi-level hashes
GB2524515A (en) 2014-03-25 2015-09-30 Ibm Method to improve compression ratio for a compression engine
US10083182B2 (en) * 2014-06-26 2018-09-25 International Business Machines Corporation Augmented directory hash for efficient file system operations and data management
KR101866151B1 (ko) * 2014-08-12 2018-06-08 마이크론 테크놀로지, 인코포레이티드 적응형 레이트 압축 해시 프로세싱 디바이스
US9524169B2 (en) * 2014-09-24 2016-12-20 Intel Corporation Technologies for efficient LZ77-based data decompression
US9413386B1 (en) 2015-02-19 2016-08-09 Qualcomm Incorporated System, apparatus, and method for decompressing data
EP3091440A4 (en) * 2015-03-12 2017-04-26 Renesas Electronics Corporation Data processing device, data processing system and method therefor
US9590655B2 (en) 2015-03-27 2017-03-07 Microsoft Technology Licensing, Llc Scalable high-bandwidth architecture for lossless compression
US9614544B2 (en) * 2015-03-27 2017-04-04 Intel Corporation Systems, methods, and apparatuses for decompression using hardware and software
CN104811209B (zh) * 2015-04-22 2017-10-17 北京理工大学 一种抗最长匹配检测的压缩文件数据嵌入方法及装置
US9287893B1 (en) * 2015-05-01 2016-03-15 Google Inc. ASIC block for high bandwidth LZ77 decompression
US9628111B2 (en) 2015-05-11 2017-04-18 Via Alliance Semiconductor Co., Ltd. Hardware data compressor with multiple string match search hash tables each based on different hash size
US10027346B2 (en) 2015-05-11 2018-07-17 Via Alliance Semiconductor Co., Ltd. Hardware data compressor that maintains sorted symbol list concurrently with input block scanning
US9503122B1 (en) 2015-05-11 2016-11-22 Via Alliance Semiconductor Co., Ltd. Hardware data compressor that sorts hash chains based on node string match probabilities
US9509336B1 (en) 2015-05-11 2016-11-29 Via Alliance Semiconductor Co., Ltd. Hardware data compressor that pre-huffman encodes to decide whether to huffman encode a matched string or a back pointer thereto
US9509335B1 (en) 2015-05-11 2016-11-29 Via Alliance Semiconductor Co., Ltd. Hardware data compressor that constructs and uses dynamic-prime huffman code tables
JP6363581B2 (ja) * 2015-05-11 2018-07-25 ヴィア アライアンス セミコンダクター カンパニー リミテッド 入力ブロックのスキャンと同時にソート済みシンボル・リストを維持するハードウェア・データ圧縮器
US9509337B1 (en) 2015-05-11 2016-11-29 Via Alliance Semiconductor Co., Ltd. Hardware data compressor using dynamic hash algorithm based on input block type
US9515678B1 (en) * 2015-05-11 2016-12-06 Via Alliance Semiconductor Co., Ltd. Hardware data compressor that directly huffman encodes output tokens from LZ77 engine
US10193696B2 (en) * 2015-06-02 2019-01-29 ALTR Solutions, Inc. Using a tree structure to segment and distribute records across one or more decentralized, acylic graphs of cryptographic hash pointers
US9419648B1 (en) * 2015-09-18 2016-08-16 Intel Corporation Supporting data compression using match scoring
US9584155B1 (en) * 2015-09-24 2017-02-28 Intel Corporation Look-ahead hash chain matching for data compression
US9473168B1 (en) * 2015-09-25 2016-10-18 Intel Corporation Systems, methods, and apparatuses for compression using hardware and software
US9537504B1 (en) * 2015-09-25 2017-01-03 Intel Corporation Heterogeneous compression architecture for optimized compression ratio
US9690488B2 (en) * 2015-10-19 2017-06-27 Intel Corporation Data compression using accelerator with multiple search engines
CN108141225B (zh) * 2016-07-14 2020-10-27 华为技术有限公司 使用simd引擎的通用数据压缩
US10034407B2 (en) * 2016-07-22 2018-07-24 Intel Corporation Storage sled for a data center
CN106385260B (zh) * 2016-09-28 2019-05-21 中电莱斯信息系统有限公司 一种基于低延时的lz无损压缩算法的fpga实现系统
CN106788451B (zh) * 2016-11-30 2021-03-09 苏州浪潮智能科技有限公司 一种哈夫曼解码方法及其装置
KR102659349B1 (ko) 2016-12-13 2024-04-19 에스케이텔레콤 주식회사 데이터 압축 장치 및 방법
CN107168936B (zh) * 2017-05-17 2019-02-19 上海兆芯集成电路有限公司 基于散列的加速压缩方法以及使用此方法的装置
US10331558B2 (en) * 2017-07-28 2019-06-25 Apple Inc. Systems and methods for performing memory compression
US10224957B1 (en) * 2017-11-27 2019-03-05 Intel Corporation Hash-based data matching enhanced with backward matching for data compression
US10733383B1 (en) * 2018-05-24 2020-08-04 Workday, Inc. Fast entity linking in noisy text environments
US10606797B2 (en) * 2018-07-05 2020-03-31 Mythic, Inc. Systems and methods for implementing an intelligence processing computing architecture
WO2020092795A2 (en) * 2018-11-02 2020-05-07 Fungible, Inc. Parallel coding of syntax elements for jpeg accelerator
US10827192B2 (en) 2018-11-02 2020-11-03 Fungible, Inc. Work allocation for JPEG accelerator
US10931958B2 (en) 2018-11-02 2021-02-23 Fungible, Inc. JPEG accelerator using last-non-zero (LNZ) syntax element
US10848775B2 (en) 2018-11-02 2020-11-24 Fungible, Inc. Memory layout for JPEG accelerator
US10827191B2 (en) 2018-11-02 2020-11-03 Fungible, Inc. Parallel coding of syntax elements for JPEG accelerator
US11309908B2 (en) 2018-11-26 2022-04-19 Fungible, Inc. Static dictionary-based compression hardware pipeline for data compression accelerator of a data processing unit
US10630312B1 (en) 2019-01-31 2020-04-21 International Business Machines Corporation General-purpose processor instruction to perform compression/decompression operations
US10831497B2 (en) * 2019-01-31 2020-11-10 International Business Machines Corporation Compression/decompression instruction specifying a history buffer to be used in the compression/decompression of data
US10693493B1 (en) 2019-02-14 2020-06-23 International Business Machines Corporation Reducing latch count to save hardware area for dynamic Huffman table generation
US11226839B2 (en) * 2019-02-27 2022-01-18 International Business Machines Corporation Maintaining compatibility for complex functions over multiple machine generations
US10944423B2 (en) 2019-03-14 2021-03-09 International Business Machines Corporation Verifying the correctness of a deflate compression accelerator
CN110233627B (zh) * 2019-05-22 2023-05-12 深圳大学 一种基于流水式的硬件压缩的系统及方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5003307A (en) * 1989-01-13 1991-03-26 Stac, Inc. Data compression apparatus with shift register search means
US5525982A (en) * 1994-04-15 1996-06-11 International Business Machines Corporation Method and means for character string pattern matching for compression and the like using minimal cycles per character
US5572206A (en) * 1994-07-06 1996-11-05 Microsoft Corporation Data compression method and system
US7995682B2 (en) * 2001-05-18 2011-08-09 Broadcom Corporation Method and apparatus for performing signal processing using historical correlation data
WO2003083667A1 (en) * 2002-03-29 2003-10-09 Good Technology, Inc. System and method for full wireless synchronization of a data processing apparatus with a data service
GB0210604D0 (en) * 2002-05-09 2002-06-19 Ibm Method and arrangement for data compression
JP2005175940A (ja) * 2003-12-11 2005-06-30 Matsushita Electric Ind Co Ltd データ圧縮装置
FR2888350A1 (fr) * 2005-07-05 2007-01-12 St Microelectronics Sa Generation de nombres de facon non deterministe
US8117464B1 (en) * 2008-04-30 2012-02-14 Netapp, Inc. Sub-volume level security for deduplicated data
JP4806054B2 (ja) * 2009-05-13 2011-11-02 インターナショナル・ビジネス・マシーンズ・コーポレーション データが記憶された位置を選択する装置及び方法
CN101996139B (zh) * 2009-08-28 2015-11-25 百度在线网络技术(北京)有限公司 数据匹配方法和数据匹配装置
DE112011104633B4 (de) * 2010-12-28 2016-11-10 International Business Machines Corporation Einheit zum Ermitteln des Ausgangspunkts für eine Suche
US8635180B2 (en) * 2011-02-06 2014-01-21 International Business Machines Corporation Multiple hash scheme for use in a pattern matching accelerator

Also Published As

Publication number Publication date
CN104300990A (zh) 2015-01-21
KR20140113604A (ko) 2014-09-24
KR101651911B1 (ko) 2016-08-29
CN104300990B (zh) 2017-12-01
JP2014182810A (ja) 2014-09-29
DE102014003790A1 (de) 2014-09-18
US8766827B1 (en) 2014-07-01

Similar Documents

Publication Publication Date Title
JP5945291B2 (ja) デフレート圧縮のために高速で高圧縮のlz77トークン化及びハフマンエンコーディングを行う並列装置
CN108292222B (zh) 用于数据解压缩的硬件装置和方法
US10140046B2 (en) Supporting data compression using match scoring
US10048966B2 (en) Instruction set for supporting wide scalar pattern matches
CN108028665B (zh) 用于使用硬件和软件进行压缩的系统、方法和装置
JP6340097B2 (ja) リードマスク及びライトマスクにより制御されるベクトル移動命令
US10224956B2 (en) Method and apparatus for hybrid compression processing for high levels of compression
RU2586589C2 (ru) Модуль сопроцессора кэша
KR101851439B1 (ko) 충돌 검출을 수행하고, 레지스터의 콘텐츠를 다른 레지스터의 데이터 구성요소 위치들로 브로드캐스트하기 위한 시스템들, 장치들 및 방법들
CN107925420B (zh) 用于经优化压缩比的异构压缩架构
US10666288B2 (en) Systems, methods, and apparatuses for decompression using hardware and software
JP2017538213A (ja) アウトオブオーダーハードウェアソフトウェア協調設計プロセッサにおいてスタック同期命令を用いてプレディケート値のスタックを実装し維持する方法および装置
US10083034B1 (en) Method and apparatus for prefix decoding acceleration
GB2513987A (en) Parallel apparatus for high-speed, highly compressed LZ77 tokenization and huffman encoding for deflate compression
JP6807073B2 (ja) 高速ベクトルによる動的なメモリ競合検出
US20170177361A1 (en) Apparatus and method for accelerating graph analytics
US10069512B2 (en) Systems, methods, and apparatuses for decompression using hardware and software
US11126663B2 (en) Method and apparatus for energy efficient decompression using ordered tokens
KR20140113579A (ko) 데이터 요소에 있는 비트들의 제로화를 위한 시스템, 장치, 및 방법

Legal Events

Date Code Title Description
A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150312

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150331

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150630

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150731

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20150828

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20150930

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160329

A601 Written request for extension of time

Free format text: JAPANESE INTERMEDIATE CODE: A601

Effective date: 20160427

R155 Notification before disposition of declining of application

Free format text: JAPANESE INTERMEDIATE CODE: R155

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160527

R150 Certificate of patent or registration of utility model

Ref document number: 5945291

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

R250 Receipt of annual fees

Free format text: JAPANESE INTERMEDIATE CODE: R250

LAPS Cancellation because of no payment of annual fees