WO2009005758A2 - Système et procédé de traitement de compression dans un moteur de compression - Google Patents

Système et procédé de traitement de compression dans un moteur de compression Download PDF

Info

Publication number
WO2009005758A2
WO2009005758A2 PCT/US2008/008107 US2008008107W WO2009005758A2 WO 2009005758 A2 WO2009005758 A2 WO 2009005758A2 US 2008008107 W US2008008107 W US 2008008107W WO 2009005758 A2 WO2009005758 A2 WO 2009005758A2
Authority
WO
WIPO (PCT)
Prior art keywords
byte
stream
value
dictionary
code
Prior art date
Application number
PCT/US2008/008107
Other languages
English (en)
Other versions
WO2009005758A3 (fr
Inventor
Robert William Laker
David T. Hass
Kaushik Kuila
Original Assignee
Rmi Corporation
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from US11/824,501 external-priority patent/US7538695B2/en
Priority claimed from US11/849,166 external-priority patent/US7538696B2/en
Priority claimed from US12/031,524 external-priority patent/US9362948B2/en
Application filed by Rmi Corporation filed Critical Rmi Corporation
Publication of WO2009005758A2 publication Critical patent/WO2009005758A2/fr
Publication of WO2009005758A3 publication Critical patent/WO2009005758A3/fr

Links

Classifications

    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/3084—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method
    • H03M7/3086—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction using adaptive string matching, e.g. the Lempel-Ziv method employing a sliding window, e.g. LZ77
    • H—ELECTRICITY
    • H03—ELECTRONIC CIRCUITRY
    • H03M—CODING; DECODING; CODE CONVERSION IN GENERAL
    • H03M7/00—Conversion of a code where information is represented by a given sequence or number of digits to a code where the same, similar or subset of information is represented by a different sequence or number of digits
    • H03M7/30—Compression; Expansion; Suppression of unnecessary data, e.g. redundancy reduction
    • H03M7/46—Conversion to or from run-length codes, i.e. by representing the number of consecutive digits, or groups of digits, of the same kind by a code word and a digit indicative of that kind

Abstract

L'invention concerne un dispositif destiné à mettre en œuvre un processus de compression dans un moteur de compression. Un mode de réalisation du dispositif comprend une table de hachage, un dictionnaire, une logique de comparaison et une logique de codage. La table de hachage est conçue pour découper une pluralité de caractères d'un flux de données d'entrée afin de fournir une adresse de hachage. Le dictionnaire est conçu pour fournir une pluralité de valeurs de distance en parallèle en fonction de l'adresse de hachage. Les valeurs de distance sont stockées dans le dictionnaire. La logique de comparaison est conçue pour identifier une longueur correspondante pour chaque valeur de distance concordante issue de la pluralité de valeurs de distance. La logique de codage est conçue pour coder la plus grande longueur et la valeur de distance concordante sous forme d'une partie d'un flux de code LZ77. L'invention concerne également un dispositif destiné à mettre en œuvre un décodage de Huffman dans un processus de décompression (INFLATE) d'un moteur de compression. Un mode de réalisation du dispositif comprend un tampon de bits, un ensemble de comparateurs et une table de consultation. Le tampon de bits stocke une partie d'un flux de données compressé. L'ensemble de comparateurs compare la partie du flux de données compressé avec une pluralité de valeurs prédéterminées. La table de consultation stocke une pluralité de segments de code LZ77 et produit un des segments de code LZ77 correspondant à un index obtenu au moins en partie à partir d'un résultat de comparaison provenant de l'ensemble de comparateurs. Un système, un procédé et un produit-programme informatique sont prévus pour la sauvegarde et la restauration d'un état de compression/décompression. En service, des données sont traitées, le traitement comprenant la compression ou la décompression des données. En outre, l'état du traitement est sauvegardé. En outre, l'état du traitement est restauré.
PCT/US2008/008107 2007-06-29 2008-06-26 Système et procédé de traitement de compression dans un moteur de compression WO2009005758A2 (fr)

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
US11/824,501 2007-06-29
US11/824,501 US7538695B2 (en) 2007-06-29 2007-06-29 System and method for deflate processing within a compression engine
US11/849,166 2007-08-31
US11/849,166 US7538696B2 (en) 2007-08-31 2007-08-31 System and method for Huffman decoding within a compression engine
US12/031,524 2008-02-14
US12/031,524 US9362948B2 (en) 2008-02-14 2008-02-14 System, method, and computer program product for saving and restoring a compression/decompression state

Publications (2)

Publication Number Publication Date
WO2009005758A2 true WO2009005758A2 (fr) 2009-01-08
WO2009005758A3 WO2009005758A3 (fr) 2009-04-02

Family

ID=40226723

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/US2008/008107 WO2009005758A2 (fr) 2007-06-29 2008-06-26 Système et procédé de traitement de compression dans un moteur de compression

Country Status (1)

Country Link
WO (1) WO2009005758A2 (fr)

Cited By (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7990297B1 (en) 2010-02-26 2011-08-02 Research In Motion Limited Encoding and decoding methods and devices employing dual codesets
EP2362546A1 (fr) 2010-02-26 2011-08-31 Research In Motion Limited Procédé et dispositif pour codage entrelacé d'une séquence d'entrée avec l'aide d'une memoire tampon
EP2362547A1 (fr) * 2010-02-26 2011-08-31 Research In Motion Limited Procédé et dispositif pour codage entrelacé d'une séquence d'entrée avec l'aide d'une memoire tampon
US8063801B2 (en) 2010-02-26 2011-11-22 Research In Motion Limited Encoding and decoding methods and devices using a secondary codeword indicator
US8077064B2 (en) 2010-02-26 2011-12-13 Research In Motion Limited Method and device for buffer-based interleaved encoding of an input sequence
US8378862B2 (en) 2010-07-28 2013-02-19 Reserch In Motion Limited Method and device for compression of binary sequences by grouping multiple symbols
US8761240B2 (en) 2010-07-13 2014-06-24 Blackberry Limited Methods and devices for data compression using context-based coding order
CN104113344A (zh) * 2013-04-16 2014-10-22 晨星半导体股份有限公司 解压缩电路与相关的压缩方法与解压缩方法
GB2513987A (en) * 2013-03-15 2014-11-12 Intel Corp Parallel apparatus for high-speed, highly compressed LZ77 tokenization and huffman encoding for deflate compression
US9059731B2 (en) 2013-10-21 2015-06-16 International Business Machines Corporation Boosting decompression in the presence of reoccurring Huffman trees
US9252807B2 (en) 2013-10-21 2016-02-02 Globalfoundries Inc. Efficient one-pass cache-aware compression
US9294123B2 (en) 2013-06-29 2016-03-22 Intel Corporation Apparatus and method to accelerate compression and decompression operations
CN106021356A (zh) * 2015-05-11 2016-10-12 上海兆芯集成电路有限公司 依据输入区块类型使用动态散列算法的硬件数据压缩器
US9489199B2 (en) 2012-12-28 2016-11-08 Intel Corporation Vector compare instructions for sliding window encoding
CN106603677A (zh) * 2016-12-21 2017-04-26 济南浪潮高新科技投资发展有限公司 一种使用多核多线程并行的物理信息系统数据压缩传输方法
CZ306787B6 (cs) * 2016-05-10 2017-07-07 CESNET, zájmové sdružení právnických osob Systém pro realizaci rozptylovací tabulky
CN107592117A (zh) * 2017-08-15 2018-01-16 深圳前海信息技术有限公司 基于Deflate的压缩数据块输出方法及装置
CN108351833A (zh) * 2015-12-18 2018-07-31 英特尔公司 用来压缩密码元数据以用于存储器加密的技术
CN110620637A (zh) * 2019-09-26 2019-12-27 上海仪电（集团）有限公司中央研究院 一种基于fpga的数据解压装置及方法
CN113839679A (zh) * 2021-08-31 2021-12-24 山东云海国创云计算装备产业创新中心有限公司 一种哈夫曼解码系统、方法、设备及计算机可读存储介质
EP3804149A4 (fr) * 2018-06-06 2022-03-30 Yingquan Wu Compression de données
EP4138394A3 (fr) * 2021-08-19 2023-03-01 Intel Corporation Entrelacement de flux à débit binaire variable pour implémentations gpu
US11791838B2 (en) 2021-01-15 2023-10-17 Samsung Electronics Co., Ltd. Near-storage acceleration of dictionary decoding

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5970177A (en) * 1995-06-07 1999-10-19 America Online, Inc. Data compression using selective encoding
US20010054131A1 (en) * 1999-01-29 2001-12-20 Alvarez Manuel J. System and method for perfoming scalable embedded parallel data compression
US20020063641A1 (en) * 2000-08-15 2002-05-30 Seagate Technology, Llc Dual mode data compression for operating code

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5970177A (en) * 1995-06-07 1999-10-19 America Online, Inc. Data compression using selective encoding
US20010054131A1 (en) * 1999-01-29 2001-12-20 Alvarez Manuel J. System and method for perfoming scalable embedded parallel data compression
US20020063641A1 (en) * 2000-08-15 2002-05-30 Seagate Technology, Llc Dual mode data compression for operating code

Cited By (36)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7990297B1 (en) 2010-02-26 2011-08-02 Research In Motion Limited Encoding and decoding methods and devices employing dual codesets
EP2362546A1 (fr) 2010-02-26 2011-08-31 Research In Motion Limited Procédé et dispositif pour codage entrelacé d'une séquence d'entrée avec l'aide d'une memoire tampon
EP2362547A1 (fr) * 2010-02-26 2011-08-31 Research In Motion Limited Procédé et dispositif pour codage entrelacé d'une séquence d'entrée avec l'aide d'une memoire tampon
US8063801B2 (en) 2010-02-26 2011-11-22 Research In Motion Limited Encoding and decoding methods and devices using a secondary codeword indicator
US8077064B2 (en) 2010-02-26 2011-12-13 Research In Motion Limited Method and device for buffer-based interleaved encoding of an input sequence
US8633837B2 (en) 2010-02-26 2014-01-21 Blackberry Limited Encoding and decoding methods and devices employing dual codesets
US8638247B2 (en) 2010-02-26 2014-01-28 Blackberry Limited Method and device for buffer-based interleaved encoding of an input sequence
US8638246B2 (en) 2010-02-26 2014-01-28 Blackberry Limited Encoding and decoding methods and devices using a secondary codeword indicator
US8761240B2 (en) 2010-07-13 2014-06-24 Blackberry Limited Methods and devices for data compression using context-based coding order
US8378862B2 (en) 2010-07-28 2013-02-19 Reserch In Motion Limited Method and device for compression of binary sequences by grouping multiple symbols
US9489199B2 (en) 2012-12-28 2016-11-08 Intel Corporation Vector compare instructions for sliding window encoding
US10379853B2 (en) 2012-12-28 2019-08-13 Intel Corporation Sliding window encoding methods for executing vector compare instructions to write distance and match information to different sections of the same register
GB2513987B (en) * 2013-03-15 2016-01-06 Intel Corp Parallel apparatus for high-speed, highly compressed LZ77 tokenization and huffman encoding for deflate compression
GB2513987A (en) * 2013-03-15 2014-11-12 Intel Corp Parallel apparatus for high-speed, highly compressed LZ77 tokenization and huffman encoding for deflate compression
CN104113344B (zh) * 2013-04-16 2017-04-12 晨星半导体股份有限公司 解压缩电路与相关的压缩方法与解压缩方法
CN104113344A (zh) * 2013-04-16 2014-10-22 晨星半导体股份有限公司 解压缩电路与相关的压缩方法与解压缩方法
US9294123B2 (en) 2013-06-29 2016-03-22 Intel Corporation Apparatus and method to accelerate compression and decompression operations
RU2629440C2 (ru) * 2013-06-29 2017-08-29 Интел Корпорейшн Устройство и способ для ускорения операций сжатия и распаковки
US9225355B2 (en) 2013-10-21 2015-12-29 Globalfoundries Inc. Boosting decompression in the presence of reoccurring Huffman trees
US9059731B2 (en) 2013-10-21 2015-06-16 International Business Machines Corporation Boosting decompression in the presence of reoccurring Huffman trees
US9252807B2 (en) 2013-10-21 2016-02-02 Globalfoundries Inc. Efficient one-pass cache-aware compression
CN106021356A (zh) * 2015-05-11 2016-10-12 上海兆芯集成电路有限公司 依据输入区块类型使用动态散列算法的硬件数据压缩器
CN106021356B (zh) * 2015-05-11 2019-07-16 上海兆芯集成电路有限公司 依据输入区块类型使用动态散列算法的硬件数据压缩器
CN108351833A (zh) * 2015-12-18 2018-07-31 英特尔公司 用来压缩密码元数据以用于存储器加密的技术
CN108351833B (zh) * 2015-12-18 2023-07-28 英特尔公司 用来压缩密码元数据以用于存储器加密的技术
CZ306787B6 (cs) * 2016-05-10 2017-07-07 CESNET, zájmové sdružení právnických osob Systém pro realizaci rozptylovací tabulky
US10262702B2 (en) 2016-05-10 2019-04-16 Cesnet, Zajmove Sdruzeni Pravnickych Osob System for implementation of a hash table
CN106603677A (zh) * 2016-12-21 2017-04-26 济南浪潮高新科技投资发展有限公司 一种使用多核多线程并行的物理信息系统数据压缩传输方法
CN107592117A (zh) * 2017-08-15 2018-01-16 深圳前海信息技术有限公司 基于Deflate的压缩数据块输出方法及装置
EP3804149A4 (fr) * 2018-06-06 2022-03-30 Yingquan Wu Compression de données
CN110620637B (zh) * 2019-09-26 2023-02-03 上海仪电（集团）有限公司中央研究院 一种基于fpga的数据解压装置及方法
CN110620637A (zh) * 2019-09-26 2019-12-27 上海仪电（集团）有限公司中央研究院 一种基于fpga的数据解压装置及方法
US11791838B2 (en) 2021-01-15 2023-10-17 Samsung Electronics Co., Ltd. Near-storage acceleration of dictionary decoding
EP4138394A3 (fr) * 2021-08-19 2023-03-01 Intel Corporation Entrelacement de flux à débit binaire variable pour implémentations gpu
CN113839679A (zh) * 2021-08-31 2021-12-24 山东云海国创云计算装备产业创新中心有限公司 一种哈夫曼解码系统、方法、设备及计算机可读存储介质
CN113839679B (zh) * 2021-08-31 2023-09-15 山东云海国创云计算装备产业创新中心有限公司 一种哈夫曼解码系统、方法、设备及计算机可读存储介质

Also Published As

Publication number Publication date
WO2009005758A3 (fr) 2009-04-02

Similar Documents

Publication Publication Date Title
WO2009005758A2 (fr) Système et procédé de traitement de compression dans un moteur de compression
US7538695B2 (en) System and method for deflate processing within a compression engine
US7538696B2 (en) System and method for Huffman decoding within a compression engine
US5406279A (en) General purpose, hash-based technique for single-pass lossless data compression
JP2610084B2 (ja) データ伸長方法および装置ならびにデータ圧縮伸長方法および装置
US9362948B2 (en) System, method, and computer program product for saving and restoring a compression/decompression state
US5293379A (en) Packet-based data compression method
US7814284B1 (en) Redundancy elimination by aggregation of multiple chunks
US6597812B1 (en) System and method for lossless data compression and decompression
EP0666651B1 (fr) Dispositif et méthode de compression de données selon lempel ziv avec gestion de dictionnaires multiples dans une mémoire adressable par le contenu
JP3342700B2 (ja) ストリングリバーサル機構を具備した単一クロックサイクルデータ圧縮装置／圧縮解除装置
JP7031828B2 (ja) 意味論的値のデータ圧縮及び解凍のための方法、装置、及びシステム
CN112514270B (zh) 数据压缩
US10158376B2 (en) Techniques to accelerate lossless compression
US8106799B1 (en) Data compression and decompression using parallel processing
JPH0368219A (ja) データ圧縮装置及び方法
JP2863065B2 (ja) マッチングストリング探索およびハフマン符号化を用いたデータ圧縮装置および方法ならびにデータ伸長装置および方法
CN108702160B (zh) 用于压缩和解压缩数据的方法、设备和系统
US11955995B2 (en) Apparatus and method for two-stage lossless data compression, and two-stage lossless data decompression
CN109075798B (zh) 可变大小符号基于熵的数据压缩
JP2003521189A (ja) より効果的な圧縮を有するデータ圧縮
US20190379393A1 (en) Dynamic dictionary-based data symbol encoding
EP3295568B1 (fr) Améliorations apportées à la mise en cache sous forme comprimée dans un système à mémoire virtuelle
US10340945B2 (en) Memory compression method and apparatus
RU2450441C1 (ru) Способ и устройство сжатия данных

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08779872

Country of ref document: EP

Kind code of ref document: A2

NENP Non-entry into the national phase in:

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 08779872

Country of ref document: EP

Kind code of ref document: A2