JP3012678B2 - データ圧縮方法 - Google Patents

Description

【発明の詳細な説明】 〔目次〕 概要 産業上の利用分野 従来の技術（第７図乃至第13図） 発明が解決しようとする課題 課題を解決するための手段（第１図） 作用 実施例 （ａ） 一実施例の説明（第２図乃至第６図） （ｂ） 他の実施例の説明 発明の効果 〔概要〕 LZW符号を用いてデータ圧縮するデータ圧縮方法に関
し，辞書中の登録部分列を高速に検索し，符号化時間を
短縮することを目的とし， 符号化済データを相異なる部分列に分けて，該部分列
を辞書に登録しておき， 連結する部分列の検索順に示す検索用リストに従っ
て，入力データと該辞書中の部分列を比較検索し， 入力データを該辞書中の部分列の内，最大長一致する
ものの参照番号で指定して符号化するデータ圧縮方法に
おいて， 該検索された部分列を該検索用リストの先頭にくるよ
うに該検索用リストを書き換える。

〔産業上の利用分野〕

本発明は,LZW符号を用いてデータ圧縮するデータ圧縮
方法に関する。

近年，文字コード，ベクトル情報，画像など様々な種
類のデータがコンピュータで扱われるようになってお
り，扱われるデータ量も急速に増加してきている。大量
のデータを扱うときは，データの中の冗長な部分を省い
てデータ量を圧縮することで，記憶容量を減らしたり，
速く伝送したりできるようになる。

様々なデータを１つの方式でデータ圧縮できる方法と
してユニバーサル符号化が提案されている。ここで，本
発明の分野は，文字コードの圧縮に限らず，様々なデー
タに適用できるが，以下では，情報理論で用いられてい
る呼称を踏襲し，データの1word単位を文字と呼び，デ
ータが任意wordつながったものを文字列と呼ぶことにす
る。

ユニバーサル符号の代表的な方法として,Ziv−Lempel
（ジブ−レンペル）符号がある（詳しくは，例えば，宗
像「Ziv−Lempelのデータ圧縮法」，情報処理,Vol.26,N
o.1,1985年を参照のこと）。

Ziv−Lempel符号ではユニバーサル型と，増分分
解型（Incremental parsing）の２つのアルゴリズムが
提案されている。さらに，ユニバーサル型アルゴリズム
の改良として,LZSS符号がある（T.C.Bell,“Better OPM
/L Text Compression",IE EE Trans.on Commun.,Vol.CO
M−34,No.12,Dec.1986参照）。また，増分分解型アルゴ
リズムの改良としては,LZW（Lempel−Ziv−Welch）符号
がある（T.A.Welch,“A Technique for High−Performa
nce Data Compression",Computer,June 1984参照）。

これらの符号の内，高速処理ができることと，アルゴ
リズムの簡単さからLZW符号が記憶装置のファイル圧縮
などで使われるようになっている。

〔従来の技術〕

先づ,LZW符号について第７図乃至第９図を用いて説明
する。第７図はLZW符号化処理フロー図，第８図はLZW復
号化処理フロー図，第９図はLZW符号化，復号化説明図
である。

尚，第９図では説明を簡単にするためabcの３文字の
組合せからなるデータを圧縮，復元する場合を取上げて
いる。

LZW符号化は，書き替え可能な辞書をもち，入力文字
コード・データ中を相異なる文字列に分け，この文字列
を出現した順に番号を付けて辞書に登録するとともに，
現在入力している文字列を辞書に登録してある最長一致
文字列の番号で表して，符号化するものである。

第７図のフロー図により符号化処理を説明する。

まずステップS1（以下「ステップ」を省略）で予め全
文字につき一文字からなる文字列を初期値として登録し
てから符号化を始める。S1の符号化は入力した最初の文
字Ｋにより辞書を検索し参照番号ωを求め，これを語頭
文字列（prefixstring）とする。

次にS2で入力データの次の文字Ｋを読み込み,S3で文
字入力が終了したか否かをチェックした後,S4に進んでS
1で求めた語頭文字列ω又はS5のωにS2で読み込んだ文
字Ｋを加えた（ωＫ）が辞書にあるか否か探す。

S4で文字列（ωＫ）が辞書になければ,S6に進んでS1
で求めた文字Ｋの参照番号ωを符号語code（ω）として
出力し，また文字列（ωＫ）に新たな参照番号を付加し
て辞書に登録し，さらにS2の入力文字Ｋを参照番号ωに
置き換えるとともに，辞書アドレスｎをインクリメント
してS2に戻って次の文字Ｋを読み込む。

一方,S4で文字列（ωＫ）が辞書にあれば,S5で文字列
（ωＫ）を参照番号ωに置き換え，再びS2に戻って文字
列（ωＫ）が辞書から探せなくなるまで最大一致長の探
索を続ける。

第９図（Ａ），（Ｂ）を参照して符号化を具体的に説
明すると次のようになる。

まず第９図（Ａ）の入力データは左から右へ読み込
む。最初の文字ａを入力したとき，辞書10にはａの他に
一致する文字列がないので,output code（参照番号ω）
を符号語として出力する。そして，拡張した文字列abに
参照番号４をつけて辞書10に登録する。実際の登録は文
字列（1b）の形となる。続いて２番目のｂが文字列の先
頭になる。辞書10にはｂの他に一致する文字列がないの
で，参照番号２を符号語として出力し，拡張した文字列
baを実際には2aの形で参照番号５をつけて辞書10に登録
する。３番目のａが次の文字列の先頭になる。以下，同
様にこの処理を続ける。

第８図の復号化処理は第７図の符号化の逆の操作を行
う。

第８図の復号化では，符号化と同様に予め辞書に全文
字につき一文字からなる文字列を初期値として登録して
から復号を始める。

まずS1で最初の符号（参照番号）を読み込み，現在の
CODEをCLDcodeとし，最初の符号は既に辞書に登録され
た一文字の参照番号いずれかに該当することから，入力
符号CODEに一致する文字code（Ｋ）を探し出し，文字Ｋ
を出力する。なお，出力した文字（Ｋ）は後述するS8の
例外処理のためFINcharにセットしておく。

次にS2に進んで次の符号を読み込んでCODEにINcodeと
してセットする。

S3で新たな符号があるか否か，すなわち符号入力の終
了の有無をチェックしてS4に進み,S3で入力された符号C
ODEが辞書に定義（登録）されているか否かチェックす
る。

通常，入力した符号語は前回までの処理で辞書に登録
されているため,S5に進んで符号CODEに対応する文字列c
ode（ωＫ）を辞書から読み出し,S6で文字列Ｋを一時的
にスタックし，参照番号code（ω）を新たなCODEとして
再度S5に戻り，このS5,S6の手順を再帰的に参照番号ω
が一文字に至るまで繰り返し，最後にS7に進んでS6でス
タックした文字をLIFO（Last In Fast Out）形式でポッ
プアップして出力する。同時にS7において，前回使った
符号ωと今回復元した文字列の最初の一文字Ｋを組
（ω,K）と表した文字列に，新たな参照番号を付加して
辞書に登録する。

第９図（Ｃ），（Ｄ）を参照して復号化処理を具体的
に説明すると次のようになる。

まず第９図（Ｄ）で最初の入力文字は１であり，一文
字a,b,cについては既に参照番号1,2,3として第９図
（Ｃ）に示すように辞書10に登録されているため，辞書
10の参照により符号１に一致する参照番号の文字列ａに
置き換えて出力する。次の符号２についても同様にして
文字ｂに置き換えて出力する。このとき前回処理した符
号と今回復号した最初の一文字ｂとを組み合わせた（1
b）に新たな参照番号４を付加して辞書10に登録する。

３番目の符号４は辞書10の探索により1bからabと置き
換えて文字列abを出力する。同時に前回処理した符号２
と今回復号した文字列の１番目の文字ａとの組合せた文
字列2a（＝ba）を新たな参照番号５を付加して辞書10に
登録する。

以下同様に，この処理を繰り返す。

第９図（ｄ）の復号化では次の例外処理がある。

この例外処理は，第６番目の入力符号８の復号で生ず
る。符号８は復号時に辞書に定義されておらず，復号で
きない。この場合には，前回処理した符号５に前回復号
した文字列baの最初の一文字ｂを加えた文字列5bを求
め，さらに2ab,babと置き換えられて出力される。そし
て，文字列の出力語に前回の符号語５に今回復号した文
字列の文字ｂを加えた文字列5bに参照番号８を付加した
辞書に登録する。

この例外処理は第８図の復号化処理フローのS4,S8の
処理を通じて行われ，最終的にS7で文字列の出力と新た
な文字列に参照番号を付加した辞書への登録S7で行われ
る。

なお，第７図，第８図の符号化／復号化処理は，同じ
辞書を作り出しながら行う。

第７図の流れ図に示す手順で符号化すると,1つの文字
列を辞書探索するたびに最悪，辞書全体をサーチしなけ
ればならないために時間がかかった。そこで，従来は辞
書探索に外部ハッシュ法（open hashing,または,chaini
ng）を用いて処理速度を上げていた（例えば，オーム社
刊，情報処理学会編，情報処理ハンドブック第77頁，第
220頁，を参照のこと）。

第10図は外部ハッシュ法の説明図である。

文字列からなる集合Ｓを考えたとき,Sの文字列ｘのあ
る位置を，文字列ｘからｘの格納位置のアドレスが直接
計算できる仕組みになっていると高速の探索ができる。
これを実現するのがハッシュ法である。記憶場所（ハッ
シュ表）に０からｍ−１までのアドレスが付されている
とすると，ハッシュ法では， 関数 h:S→〔0,1,…,m−１〕 を一つ定めて,Sの文字列ｘのアドレスをｈ（ｘ）で求め
る。関数ｈをハッシュ関数，値ｈ（ｘ）をｘのハッシュ
・アドレスといっている。

ハッシュ法は，通常,Sの大きさがｍに比べてはるかに
大きい場合に用いられる。そこで,hをどのように選んだ
としても,Sの相異なる文字列x₁,x₂に対してｈ（x₁）＝
ｈ（x₂）となる場合が起こり得る。これを衝突と呼び，
衝突に対する対策の一つとして外部ハッシュ法（open h
ashing,または,chaining）が用いられる。

外部ハッシュ法は第10図に示すように，ハッシュアド
レスｉごとにリストを用意し,h（ｘ）＝ｉとなるｘはそ
のリストの先頭から順にしまう。同じハッシュアドレス
をもつそれぞれのリストはバケット（bucket）と呼ばれ
る。

第11図乃至第13図は従来技術の説明図であり，第11図
は，探索木の一例，第12図はその文字列格納テーブルの
状態と外部ハッシュテーブルの状態，第13図は辞書探索
に外部ハッシュ法を用いたLZW符号のフローチャートで
ある（詳細については，翔泳社刊,AP−Labo編著，ハー
ドディスク・クックブック参照のこと）。

第12図において，文字列格納テーブル10bは，インデ
ックスｉに対する文字コードが格納されており，配列fi
rst100が第10図の外部ハッシュ法の索引dictionaryに対
応し，配列next101が第10図の連結リストに対応する。
配列first100はインデックス（アドレス）ｉに対する最
初の連結インデックスfirst〔ｉ〕が，配列next101はそ
のインデックス（アドレス）ｉに対する次の連結インデ
ックスnext〔ｉ〕が格納される。

外部ハッシュ法による場合は，新たな文字Ｋを入力し
たとき，それまでの文字列の参照番号（ハッシュ・アド
レス）ｉに文字Ｋを付加した文字列の参照番号を外部ハ
ッシュ法で求めるものである。

外部ハッシュ法により，参照番号ｉの文字列に一文字
を付加した文字列ｉをハッシュ・アドレス（索引）とし
て引く。連結リストには，文字列ｉに付加された文字が
nameに格納してあり,nameの文字と文字Ｋの一致を検査
し，不一致なら逐次連結リストを手繰ることによって，
これまで出現した全ての一文字付加文字列を探索するこ
とができる。もし，バケット中に文字Ｋを付加した文字
列がない場合は，最終的にリストの連結アドレス０が得
られ，該当する文字列が登録されていないことを知るこ
とができる。

第11図のように，文字列，“ab",“ah",“az",“ab
f",“abx",“ahd",“ahf",“azc"が辞書に登録されてい
る場合に，文字列“ahf"を検索する場合を例にとり，従
来の検索法を説明する。

初期状態の文字列の格納テーブル10bの状態と外部ハ
ッシュテーブル10a（100,101）の様子は第12図に示す通
りである。

第１文字目の“a"は既に登録済みであり,2文字目の
“h"を検索するために，“a"をハッシュアドレスとして
配列firstを引くと,P1が見つかる。従ってP1に格納され
ている“a"に続く文字列の“ab"が見つかる。しかし，
これとは一致しないので，今度はP1をハッシュアドレス
とした配列nextを引くとP2となる。ここでP2に格納され
ている文字列の“ah"が見つかり２文字目が一致する。

次に３文字目の文字“f"の検索に移る。３文字目の検
索は，まずP2をハッシュアドレスとした配列firstを引
く。するとP6となり３文字目の“d"が検索される。しか
し一致しないので，今度はP6をハッシュアドレスとした
配列nextを引くとP7となり，目的の３文字目“f"が見つ
かる。検索は，第11図の〜の経路を通って行われ
る。

〔発明が解決しようとする課題〕

従来では，一度文字列が登録されると外部ハッシュテ
ーブルは，固定となり書き換えられることはなかった。

従って検索頻度の高い文字列でも，一度検索経路の長
い所に格納されると，毎回その長い経路を通って検索さ
れるので効率が悪く，登録が遅れたために，使用頻度の
高い文字列でも，同じハッシュアドレスを持つリストの
後の方に登録されていれば，検索に毎回時間がかかると
いう問題があった。

従って，本発明は，辞書中の登録部分列を高速に検索
し，符号化時間を短縮することができるデータ圧縮方法
を提供することを目的とする。

〔課題を解決するための手段〕

第１図は本発明の原理図である。

本発明は，第１図に示すように，符号化済データを相
異なる部分列に分けて，該部分列を辞書10に登録してお
き，連結する部分列の検索順を示す検索用リスト10aに
従って，入力データと該辞書中の部分列を比較検索し，
入力データを該辞書中の部分列の内，最大長一致するも
のの参照番号で指定して符号化するデータ圧縮方法にお
いて，該検索された部分列を該検索用リスト10aの先頭
にくるように該検索用リスト10aを書き換えるものであ
る。

又，本発明は，請求項（１）において，前記検索用リ
ストは，前記部分列の文字数の少ないものから多いもの
に検索順を示しており，前記検索された部分列を前記検
索用リストの同一文字数の部分列の先頭にくるように前
記検索用リストを書き換えるものである。

〔作用〕

本発明は，文字列の使用頻度を考慮して，一度検索さ
れた文字列は，同じハッシュアドレスを持つ文字列中の
先頭に置き換える処理を行い,2回目からは，最小回数で
検索が行えるよう連結リストを書き換えるようにするも
のである。

このため，辞書を用いた符号化を高速化でき，符号化
時間を短縮できる。

〔実施例〕

（ａ） 一実施例の説明 第２図は，本発明の一実施例処理フロー図，第３図乃
至第６図はその動作説明図である。

尚,S1〜S7は第７図のS1〜S7と同一である。

S1）プロセッサ（第１図参照）は，第１番目の文字を含
むように辞書10を初期化する。即ち，文字コードｌを辞
書10のアドレスｍ（＝ｌ）に登録する。

又，文字数に辞書10への現登録文字列数ｎをセットす
る。

更に文字列格納テーブル10bを用いて入力した最初の
文字Ｋを語頭文字列として参照番号（インデックス）ｉ
に変換する。

次に，辞書検索用配列first10のfirst〔NMAX〕,next1
00のnext〔NMAX〕，文字列テーブル106のext〔NMAX〕を
０に初期化する。

S2）プロセッサは，次の入力文字Ｋを読む。

S3）プロセッサは，次の文字Ｋがあるかを調べる。

S7）次の文字Ｋがなければ，文字Ｋの符号code（ω）を
出力して終了する。

S4,S5）一方，次の文字Ｋがあれば，辞書検索ステップ
に入る。

先ず，プロセッサは検索用インデックスｉを文字列ω
とし，登録用インデックスｊを０にする。

次に，配列first100を参照し，インデックスｉの連結
インデックスfirst〔ｉ〕を求め，インデックスｉにセ
ットする。

このインデックスｉが「０」かを調べ，「０」でなけ
れば文字列テーブル10bのインデックスｉの文字列ext
〔ｉ〕が入力文字Ｋかを調べる。

入力文字Ｋでなければ，検索用インデックスｉを登録
用インデックスｊに移して保持せしめ，配列next101を
インデックスｉで参照し，連結インデックスnext〔ｉ〕
を求め，インデックスｉにセットし，インデックスｉ＝
０かの判定に戻る。

S8）一方，文字列ext〔ｉ〕が入力文字「Ｋ」なら，登
録用インデックスｊが「０」かを判定する。

ｊ＝０ということは,first〔ｉ〕，即ち連結の１番目
の連結インデックスで入力文字Ｋが見付かったことにな
り，入れ替えの必要がないため，ステップS2へ戻る。

一方,j≠０であると,2番目以降の連結インデックスで
入力文字Ｋが見付かったことになり，入れ替えを行う。

即ち，配列next101のインデックスｉのnext〔ｉ〕を
１つ前のインデックスｊのnext〔ｊ〕に移し，配列firs
t100のインデックスωのfirst〔ω〕をnext〔ｉ〕に移
し，インデックスｉをfirst〔ω〕に移す。

これによって，入力文字Ｋのインデックスｉが先頭に
書き換えられる。

そして，ステップS2へ戻る。

S6）ステップS4で,i＝０なら辞書10にないため，登録ス
テップに入る。

先づ,code（ω）を符号語として出力する。

次に，文字列数ｎをインデックスｉにセットし，文字
列数ｎをｎ＋１にインクリメントし，文字Ｋを文字列テ
ーブル10bのインデックスｉにext〔ｉ〕として格納す
る。

次に，登録用インデックスｊが「０」かを調べる。

ｊ＝０なら，その段の文字列は１個のため，インデッ
クスｉを配列first〔ω〕にセットする。

一方,j≠０なら，その段の文字列は２個以上のため，
インデックスｉを配列nextのnext〔ω〕にセットする。

そして，文字Ｋをインデックスｉにセットし，ステッ
プに戻る。

第３図乃至第６図を用いて具体例について説明する。

第３図（Ａ）のように，第11図と同一の例をとり，文
字列「ahf」を検索することで説明する。

第３図（Ａ）の場合，文字列テーブル106,配列first1
00,配列next101は第３図（Ｂ）となる。

入力文字Ｋ＝ｈを入力し，配列first,配列nextとたど
ると，インデックスｉとしてnext〔ｉ＝P1〕＝P2が得ら
れる。

この時,ext〔ｉ〕＝ｈであるから,ext〔ｉ〕のｉ＝P
2,j＝P1である。

従って，ステップS8により，入れ替えが行われる。

即ち，第４図に示すように,next〔ｉ〕＝P3をnext
〔ｊ＝P1〕に,first〔ω＝ａ〕＝P1をnext〔P2〕に,i
（＝P2）をfirst〔ω＝ａ〕にセットする。

これによって，連結状態は，第４図（Ａ）のように，
第３図（Ａ）の「ｂ」と「ｈ」が入れ代わり，テーブル
状態は第４図（Ｂ）の如くなる。

次に，ステップS2に戻り，次文字「ｆ」が入力される
と，配列first100,配列next101を第５図（Ｂ）のように
たどり，インデックスｉとしてnext〔P6〕＝P7が得られ
る。この時,ext〔ｉ〕のｉ＝P7,j＝P6である。

従って，ステップS8により入れ替えが行なわれる。

即ち,next〔ｉ〕＝０をnext〔ｊ＝P6〕に,first〔ω
＝P2〕＝P6をnext〔ｉ＝P7〕に,i（＝P7）をfirst〔ω
＝P2〕にセットする。これによって連結状態は，第６図
（Ａ）のように，第５図（Ａ）の「ｄ」と「ｆ」が入れ
代わり，テーブル状態は第６図（Ｂ）の如くなる。

このように，検索文字が１文字づつ見つかる度に，ハ
ッシュテーブル10aの中身を書き換えていくことによ
り，次回，同じ文字列の検索が行われた場合，最短の経
路で検索が行われ検索処理が高速化できる。

またコード及び文字の登録処理と，ハッシュテーブル
配列first,配列nextの登録処理，連結リストの書き換え
と次文字への検索続行処理を，それぞれパイプラインで
行うようにすればより高速な符号化処理が行える。

（ｂ） 他の実施例の説明 上述の実施例の他に，本発明の次のような変形が可能
である。

ハッシュテーブルの形状は配列first,配列nextの形
式に限らず，他のものであってもよい。

code（ω）として，更にランレングス符号化等を用
いて圧縮してもよい。

文字列に限らず，符号化データ列であってもよい。

以上本発明を実施例により説明したが，本発明は本発
明の主旨に従い種々の変形が可能であり，本発明からこ
れらを排除するものではない。

〔発明の効果〕

以上説明した様に，本発明によれば,LZW符号化に際し
て，辞書探索をするとき，探索された文字列が常に最短
経路で検索されるように外部ハッシュテーブルを逐一書
き直しながら探索を行うので，使用頻度の高い文字列ほ
ど検索経路が短くなり高速な検索処理ができ，符号化が
高速化されるという効果を奏する。

【図面の簡単な説明】

第１図は本発明の原理図， 第２図は本発明の一実施例処理フロー図， 第３図乃至第６図は本発明の一実施例動作説明図， 第７図はLZW符号化処理フロー図， 第８図はLZW復号化処理フロー図， 第９図はLZW符号化，復号化説明図， 第10図は外部ハッシュ法の説明図， 第11図乃至第13図は従来技術の説明図である。 図中,10……辞書， 10a……検索用リスト。

───────────────────────────────────────────────────── フロントページの続き (72)発明者 千葉 広隆 神奈川県川崎市中原区上小田中1015番地 富士通株式会社内 (56)参考文献 特開 昭60−116228（ＪＰ，Ａ) 特開 昭63−209228（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁷，ＤＢ名) H03M 7/42

Claims (2)

(57)【特許請求の範囲】
1. 【請求項１】符号化済データを相異なる部分列に分け
   て，該部分列を辞書（10）に登録しておき， 連結する部分列の検索順を示す検索用リスト（10a）に
   従って，入力データと該辞書中の部分列を比較検索し， 入力データを該辞書（10）中の部分列の内，最大長一致
   するものの参照番号で指定して符号化するデータ圧縮方
   法において， 該検索された部分列を該検索用リスト（10a）の先頭に
   くるように該検索用リスト（10a）を書き換えることを
   特徴とするデータ圧縮方法。
2. 【請求項２】前記検索用リスト（10a）は，前記部分列
   の文字数の少ないものから多いものに検索順を示してお
   り，前記検索された部分列を前記検索用リスト（10a）
   の同一文字数の部分列の先頭にくるように前記検索用リ
   スト（10a）を書き換えることを特徴とする請求項
   （１）項記載のデータ圧縮方法。