JPH07336237A - データ情報を圧縮するためのシステムおよび方法 - Google Patents

Abstract

(57)【要約】 【目的】 情報ストリーム内の次の句の符号化または予
測のための辞書の選択にコンテキスト情報を使用するこ
とを特徴とする、入力ストリーム内で受け取られるデー
タ情報を圧縮または予測するためのシステムおよび方
法。 【構成】 本発明は、辞書ベース・レンペル−ジブ圧縮
処理と共にコンテキスト情報を利用する。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、全般的にはデータ処理
システムに関し、具体的には、データを圧縮するための
システムおよび方法に関する。

【０００２】

【従来の技術】現代は情報時代であり、コンピュータ
は、この情報を収集し、記憶し、操作するという作業負
荷をますます吸収しつつある。さまざまな形態の情報が
かなり大量のデータ記憶域を必要とするが、記憶域は、
高価であったり不足していることがしばしばある資源な
ので、問題が生じる。さらに、大量の情報またはデータ
の伝送には、現在のデータ処理システムで使用可能な高
いデータ転送速度をもってしても、かなりの時間が必要
となることがしばしばである。

【０００３】その結果、データ圧縮が、メモリを節約
し、データ転送処理を加速するための貴重なツールにな
った。しかし、データ圧縮技法は、グラフィック画像や
ディジタル化音声に関する応用分野を除いて、無損失
（lossless、誤りやデータの消失が発生しないこと）で
あることが必要である。無損失圧縮は、圧縮伸長サイク
ルの後に入力データ・ストリームの正確な複製を生成す
ることが保証された技法からなる。これは、データ・ベ
ースのレコードやスプレッドシート、ワード・プロセッ
サのファイルを記憶する時にしばしば使用されるタイプ
の圧縮である。これらの応用分野では、１ビットがなく
なるだけでも重大問題になる。

【０００４】一般に、データ圧縮は、記号のストリーム
をとるステップと、これらを符号に変換するステップか
らなる。圧縮が効率的である場合、結果のコードのスト
リームは、元の記号ストリームより短くなる。特定の記
号または記号の集合に対してどのコードを出力するかの
決定は、モデルに基づいて行われる。モデルとは、入力
記号を処理し、どのコードを出力するかを決定するのに
使用されるデータおよび規則の集まりである。プログラ
ムは、各記号の確率に基づいて適切なコードを作るため
に、モデルを使用して記号の確率を正確に定義する。

【０００５】データ圧縮は、冗長性に関するものなの
で、情報理論（情報理論とは、メッセージを記憶したり
通信するためのさまざまな方法を含む、情報に関するさ
まざまな問題に関係する、数学の１分野である）の分野
に属する。メッセージ内の冗長な情報は、符号化に余分
なビットを必要とし、この余分な情報を取り除くことが
できれば、メッセージのサイズを減らすことができる。

【０００６】情報理論では、メッセージ内の符号化され
た情報の量の尺度として、用語「エントロピ」を使用す
る。メッセージのエントロピが高ければ高いほど、より
多くの情報が含まれる。ある記号のエントロピは、その
確率の対数のマイナスの平均値として定義される。ビッ
ト単位のメッセージの情報内容を判定するために、エン
トロピは、２を底とする対数を使用して、次のように表
現される。

【数１】ビット数＝−Ｌｏｇ₂（確率）

【０００７】メッセージ全体のエントロピは、個々の記
号のすべてのエントロピの和である。

【０００８】エントロピは、メッセージ内に実際に存在
する情報のビット数を判定する点で、データ圧縮に合っ
ている。たとえば、ある文書に文字"e"が現れる確率が
１／１６であり、１文字の情報内容が４ビットの場合、
文字列"eeeee"は、合計２０ビットの内容を有する。標
準的な８ビットＡＳＣＩＩ文字を使用してこのメッセー
ジを符号化する場合、実際には４０ビットが使用され
る。エントロピの２０ビットとメッセージの符号化に使
用される４０ビットの間の差に、データ圧縮の可能性が
ある。

【０００９】データ圧縮を自動車にたとえるならば、コ
ード化は車輪になるが、モデル化はエンジンになる。よ
い確率を供給するモデルがなければ、コーダーの効率と
は無関係に、データが圧縮されなくなる。

【００１０】無損失データ圧縮は、通常、２つの異なる
タイプのモデル化すなわち、統計的モデル化または辞書
ベース・モデル化のいずれかを使用して実施される。統
計的モデル化では、１時に１つの記号を読み取り、その
文字の出現の確率を使用して符号化を行う。統計的モデ
ル化では、元の記号より少ないビット数を使用するビッ
ト列に記号を符号化することによって圧縮を達成する。
圧縮の質は、プログラムが展開するモデルの良否に応じ
て変化する。このモデルは、記号の確率を正しく予測で
きるものでなければならない。この確率が均一な分布か
ら離れていればいるほど、より多くの圧縮を達成でき
る。

【００１１】辞書ベース・モデル化では、単一のコード
を使用して記号の列を置換する。辞書ベース・モデル化
では、コード化問題の重要性が下がり、モデルが最も重
要になる。辞書ベース圧縮処理では、データの圧縮に完
全に異なる方法が使用される。この系列の処理では、単
一の記号を可変長ビット列として符号化することはせ
ず、記号の可変長の列を単一のポインタとして符号化す
る。このポインタは、句辞書へのインデックスを形成す
る。ポインタが、それによって置換される句よりも短い
場合、圧縮が発生する。多くの面で、辞書ベース圧縮の
方が、人間には理解しやすい。日常生活の中で、人は、
電話番号、デューイ１０進分類番号および郵便番号を使
用して、より長いテキスト列を符号化している。これ
は、基本的に辞書ベース符号化で行われることである。

【００１２】一般に、辞書ベース圧縮では、句がポイン
タに置換される。ポインタのビット数が句のビット数よ
り少ない場合、圧縮が発生する。しかし、辞書を作成
し、維持する方法はさまざまである。

【００１３】静的辞書は、圧縮が発生する前に作成さ
れ、データを圧縮している間には変化しない。たとえ
ば、ある州のすべての自動車登録を含むデータ・ベース
の場合、"Ford"、"Jones"および"1994"などの単語に重
点を置いた数千項目だけの静的辞書を使用することがで
きる。この辞書は、一旦コンパイルした後に、必要に応
じてエンコーダとデコーダのどちらからでも使用され
る。

【００１４】静的辞書には、長所と短所がある。それで
も、静的辞書を使用する辞書ベース圧縮方式は、ほとん
どは特定の場合に限定され、実施態様依存であり、汎用
ではない。

【００１５】周知の辞書ベース処理のほとんどは、適応
式である。適応方式では、圧縮を開始する時に完全に定
義された辞書を有するのではなく、辞書がない状態また
は省略時基礎辞書がある状態のいずれかからスタートす
る。圧縮が進むにつれて、新しい句が追加され、これが
後程符号化されたトークンとして使用される。

【００１６】データ圧縮全般のこれ以上の議論について
は、参照によって本明細書に組み込まれる、マーク・ネ
ルソン（Mark Nelson）著、"The Data Compression Boo
k",(c) 1992 by M&T Publishing, Inc.を参照された
い。

【００１７】上で述べたように、シーケンスの過去の記
号のヒストリは、そのシーケンスの将来の挙動に関する
貴重な情報を提供することがしばしばである。データ圧
縮またはデータ予測にこの情報を使用するために、さま
ざまな汎用技法が考案されてきた。たとえば、参照によ
って本明細書に組み込まれる、ジブ（J. Ziv）およびレ
ンペル（A. Lempel）著、"Compression of Individual
Sequences by Variable Rate Coding", IEEE Trans. In
form. Theory, IT-24: 530-536, 1978に記載のレンペル
−ジブ（「ＬＺ」）圧縮処理では、過去の記号を使用し
て、句の辞書を作成し、この辞書を使用して列を圧縮す
る。レンペルおよびジブが示したように、この処理は、
圧縮率が、すべての静的エルゴード（すべてのシーケン
スまたはかなり大きいサンプルが全体を等しく表す処理
のまたはそれに関する）・シーケンスに関するエントロ
ピに収束するという点で、例外なく最適である。したが
って、任意の長さのシーケンスに対して、このような圧
縮は、シーケンスの分布が事前にわかっている場合と同
様に良好に動作する。

【００１８】レンペル−ジブ圧縮法は、単純であり実施
が簡単なので、非常に流行した（実際、「レンペル−ジ
ブ」は、辞書ベースの汎用コード化方式のすべてを表す
のに使用されることがしばしばであり、その結果、本明
細書に記載の標準的な方法は、この大きな分類の１つに
すぎない）。この方法では、データ圧縮に関するエント
ロピ限界が漸近的に達成される。しかし、収束の速度が
遅くなる可能性があり、短いシーケンスについては改善
の余地がある。具体的に言うと、各句の終りで、処理が
句木の根に戻り、その結果、コンテキスト情報が失われ
る。この問題に対するアプローチの１つが、プロトニッ
ク（Plotnik）、ワインバーガー（Weinberger）および
ジブ（Ziv）によって、有限状態供給源に関して提案さ
れた。これは、参照によって本明細書に組み込まれる、
プロトニック（E. Plotnik）、ワインバーガー（M.J. W
einberger）およびジブ（J. Ziv）著、"Upper Bounds o
n the Probability of Sequences Emitted by Finite-S
tate Sources and on the Redundancy of the Lempel-Z
iv Algorithm", IEEE Trans. Inform. Theory, IT-38
(1): 66-72, Jan. 1992に記載されている。彼らの着想
は、供給源の有限状態モデルの供給源状態（または見積
状態）のそれぞれについて、別々のＬＺ様木を維持する
というものである。プロトニック、ワインバーガーおよ
びジブは、この手順が漸近的に最適であることを示し
た。

【００１９】しかし、プロトニック、ワインバーガーお
よびジブは、圧縮のために使用する木の組を見つけるた
めの手順を提示しなかった。彼らは、供給源の状態機械
記述が、エンコーダとデコーダの両方から使用可能であ
り、その機械の状態がこのどちらからもわかると仮定し
た。しかし、一般に、供給源の状態機械記述は未知であ
る。さらに、供給源の状態記述がわかったとしても、状
態のそれぞれに別々の辞書を使用すると、状態の数が非
常に多い場合には一般的な辞書圧縮法式より性能が低下
する可能性がある。

【００２０】したがって、当技術分野では、収束速度の
早い、データ処理システム内で実施される改良されたデ
ータ圧縮技法が必要である。さらに、当技術分野では、
短いシーケンスに対してより効率的なデータ圧縮技法が
必要である。また、当技術分野では、データの圧縮を達
成する際にコンテキスト情報を使用する改良されたデー
タ圧縮技法が必要である。

【００２１】

【発明が解決しようとする課題】したがって、本発明の
目的は、コンテキスト情報を考慮に入れた、情報を圧縮
するための改良されたシステムおよび方法を提供するこ
とである。

【００２２】

【課題を解決するための手段】上の目標を達成する際
に、コンテキスト情報が、データ処理システム内の辞書
ベース圧縮処理と共に実施される。データの入力列内の
次の句を符号化する前に、本発明は、動的プログラミン
グを介して、次の句の符号化に利用するための、統計的
に最良の辞書の組を導出する。この辞書の組の選択は、
その処理内での各辞書の過去の利用に応じて変化する。
したがって、辞書の選択は、圧縮に対する辞書の性能の
それぞれに直接に関係し、エンコーダとデコーダの両方
から使用可能な供給源の状態機械記述を使用する圧縮技
法で必要なシーケンスの何らかの推定されたモデルには
関連しない。

【００２３】この選択された辞書の組は、データ処理シ
ステムによって、データの次の句を符号化するために実
施される。句のコンテキストを使用して、符号化処理の
ために選択された組に含まれる特定の辞書を選択し、こ
の符号化処理で、次の句に対応する辞書内の句を指すポ
インタを計算する。

【００２４】本発明のデコーダ部分は、データ処理シス
テム内で実施することも可能であるが、エンコーダが展
開した辞書と同一の辞書を作成し、維持する。これによ
って、デコーダが、元の句を再生するために、ポインタ
を使用してそれ自体の辞書に含まれる適切な対応する句
を指すことができるようになる。

【００２５】さらに、各句の符号化の後に、符号化され
た句を利用して、本発明のシステムおよび処理による後
続の使用のために辞書を拡張（作成）する。

【００２６】代替実施例では、本発明の変形によってコ
ンテキスト情報を利用して、情報の入力ストリーム内の
次の記号を予測する。

【００２７】本明細書に記載の方法、技法およびデータ
構造は、プログラム記憶装置（たとえばコンピュータ・
テープ、磁気ディスクまたは光ディスク記憶装置もしく
は他の記憶手段）から本明細書の記載に従って構成され
た１台または複数のディジタル・コンピュータのメモリ
にプログラム文の１つまたは複数のシーケンスをロード
して、適宜コンピュータにプログラム・シーケンスを実
行させることによって実施できる。特定のプログラム・
シーケンスの設計および開発は、本開示の利益を得る通
常の技術（当然、実施のために選択されたコンピュー
タ、オペレーティング・システムなどの熟知を含む）を
有する者にとって、日常業務の問題である。

【００２８】ここまでで、以下の本発明の詳細な説明を
よりよく理解できるようにするために、本発明の特徴お
よび技術的長所の概観をおおまかに示した。本発明の追
加の特徴および長所を、以下で説明するが、これは本発
明の請求の対象を形成する。当業者であれば、開示され
た概念および具体的な実施例が、本発明と同一の目的を
実行するための他の構造の修正または設計の基礎として
容易に利用できることを理解できるはずである。また、
当業者であれば、そのような同等の構造が、請求の範囲
に記載された本発明の趣旨および範囲から逸脱しないこ
とを諒解できるはずである。

【００２９】

【実施例】

一般原理 データ処理システム内で実施されたデータ圧縮のための
本発明では、木の選択と維持の問題に重点を置いて、複
数の木または辞書に基づく手法を検討する。使用する辞
書に、別々の木または、単一の木の部分木（こちらの方
が有利な場合がある）を含めることができる。木または
部分木には、可能なｄヒストリ（ｄ≦Ｄ）が関連し、こ
こで、ある句のｄコンテキストまたはｄヒストリｈと
は、その直前のｄビット（または、一般的にはｄ個の記
号）の集合であり、Ｄは、検討される最大のコンテキス
トである。所与の時刻に使用される木または部分木は、
上で述べた割振り関数によって判定され、この割振り関
数は、回帰木の最適枝刈りに関連する技法の動的プログ
ラミングを介して最適化される（参照によって本明細書
に組み込まれる、ブライマン（L. Breiman）、フリード
マン（J.H. Friedman）、オルセン（R.A. Olshen）およ
びストーン（C.J. Stone）著、"Classification and Re
gression Trees", Wadsworth, Belmont, California, 1
984を参照されたい）。

【００３０】この手法を誘導するために、可能なｄコン
テキストのそれぞれについて１つの、２^D+1句の木の使
用を検討する（この議論の残りは、２進シーケンスに関
するものであるが、当業者であれば、他の記号のシーケ
ンスに合わせて必要な修正を行えるはずである）。列の
長さによっては、別々の辞書のそれぞれが、よい圧縮を
提供するには小さくなりすぎる可能性がある。この場
合、別のコンテキストからの句が十分に類似している場
合には、組み合わされたコンテキストに対応するより大
きな辞書を使用することができる。使用される組み合わ
されたコンテキストの集合（コンテキスト空間の１区
画）は、下でさらに説明する上述の割振り関数によって
決定され、これは、期待される圧縮の見積りを介して最
適化される。

【００３１】本発明のもう１つの応用分野は、予測の分
野であり、この場合、コンテキスト割振り関数を最適化
して、たとえば、予測機能の実際の性能に関連する尺度
を最小化することができる。

【００３２】複数の木とコンテキスト依存性 標準的なレンペル−ジブ圧縮処理とその一般化の説明を
始める前に、いくつかの表記を定義する必要がある。２
進シーケンスｘ₁、ｘ₂、…を仮定する。これは、単純化
のための仮定である。結果は、有限アルファベットであ
ればどれにでも簡単に一般化できる。

【００３３】句またはシーケンスの部分列は、ｘ_p、ｘ
_i+1、…、ｘ_jという形式のシーケンスとして定義でき、
これを

【数２】

【００３４】と表記する。長さｎのシーケンスの解析
は、コンマによって区切られた、重なり合わない句への
シーケンス

【数３】

【００３５】の分割として定義される。シーケンスの個
別の解析は、すべての句が個別であるような解析であ
る。

【００３６】また、以下では、

【数４】

【００３７】をＸバー

【数５】

【００３８】をＸハットと表記する（Ｘは、添え字を含
む任意の英字である）。

【００３９】標準レンペル−ジブ圧縮処理は、シーケン
スを別個の句に解析することに基づくものである。列が
特定の点まで解析されたと仮定すると、この処理では、
そのシーケンスに沿って、これまでに出会ったことのな
い最短の句を探す。この句は、接頭部として、前に出会
った句のうちの１つを有する必要がある。次に、この句
を符号化するために、前の句とこの句の最後のビットを
指すポインタを用意する。前の句と最後のビットとを使
用して、データ処理システム内で実施されたデコーダ
が、新しい句を再構成することができ、したがって、新
しい句の末尾までのシーケンスを復号することができ
る。

【００４０】符号化を開始するために、最初の句は空白
句であると仮定する。たとえば、列０１１００１１１０
００００は、０、１、１０、０１、１１、００、０００
として解析される。この場合、符号化されたシーケンス
は（（ポインタ、最終ビット）として表現する）、
（０、０）、（０、１）、（２、０）、（１、１）、
（２、１）、（１、０）、（６、０）によって与えられ
る。ここでは、表現を単純にするために、前の句を指す
ポインタとして１０進数を使用した。短い列の場合、こ
の処理は、列を圧縮しないようにみえるが、驚くべきこ
とに、この処理は、どのような静的エルゴード・シーケ
ンスであっても、漸近的にそのエントロピー率まで圧縮
する。

【００４１】ＬＺ圧縮処理は、木によって簡単に説明で
きる。Ｓ_tが、シーケンス内の点ｔまでに出会った句の
集合であるものとする。集合Ｓ_t内にある句が存在する
ということは、その接頭部のすべてがやはりその集合に
存在することを意味するので、この集合を２進木の節に
よって記述することができる。図１は、従来技術の２進
シーケンスＳ_tを木として図示したものである。

【００４２】Ｔ_tが、通常の方法で定義された時刻ｔで
の句の集合を記述した２進木を表す、すなわち、各句
が、この木の１節に対応し、木の根からの経路が、その
句の記号のシーケンスになっているものとする。その場
合、レンペル−ジブ処理は、木への句の追加によって説
明することができる。

【００４３】シーケンス

【数６】

【００４４】に関する木と間連句のレンペル−ジブ（Ｌ
Ｚ）拡張は、次のように定義される。η₀＝φであり、
ｉ＝０、…、ｋ−１のそれぞれについて、η_i+1がｘ_t+i
に対応するη_iの子である木の節η₀、…、η_kの最大経
路をたどる。最大性によって、η_kはＴの外部節であ
る。この木は、ｘ_t+kに対応するη_kの子である節η_k+1
を追加することによって拡張される。この拡張に関連す
る句は、

【数７】

【００４５】である。このＴの変換を、次式によって表
す。

【数８】

【００４６】したがって、レンペル−ジブ木は、空の木
から始まり、シーケンス

【数９】

【００４７】を使用する一連のレンペル−ジブ拡張によ
って構築される。

【００４８】時刻ｎまでに出会った句の数は、時刻ｎで
の木の節の数に等しい。ｃ_nが、時刻ｎまでに出会った
句の数であるものとする。これらの句のうちの１つを記
述するためには、その接頭部を指すポインタ（多くとも

【数１０】

【００４９】ビット）と、新しい記号（１ビット）が必
要である。したがって、時刻ｎまでの列の総記述長は、
多くとも

【数１１】

【００５０】の長さを有する。レンペル−ジブ圧縮処理
の漸近的最適性は、下の定理から暗示される。

【００５１】Ｘ₁、Ｘ₂が静的エルゴード処理から引き出
される場合、

【数１２】

【００５２】である。ただし、Ｈはこの処理のエントロ
ピ率である。

【００５３】レンペル−ジブ処理は、それが構成する処
理句木の節の確率分布に関する供給源の有効なモデルを
展開する手段とみなすことができる。しかし、すべての
句の末尾に、この処理は木の根に戻り、それまでにたど
ってきた経路の記憶をすべて失う。

【００５４】原理的には、たとえば長さＤのコンテキス
トのそれぞれについて１つなどの、複数の木を維持する
ことによって、経路記憶の一部を保存することも可能で
ある。この場合、Ｄが十分に大きく、シーケンスが十分
に長ければ、これら複数の木をコンテキスト依存で使用
することによって、句の終りに根に戻ることから失われ
る情報のかなりの部分が取り込まれるものと期待され
る。

【００５５】しかし、下で述べるように、固定長Ｄのコ
ンテキストは、最適でない可能性がある。したがって、
以下では、使用するコンテキスト（および対応する木）
が最適化手順を介して決定される方法を検討する。

【００５６】Ｈは、Ｄコンテキストの集合であるものと
する。図２に、深さＤ＝３のヒストリ木Ｈを示す。ヒス
トリ木Ｈは、深さＤ＝３までのすべてのコンテキストを
表現したものである。深さＤ＝３以下の可能なヒストリ
の集合は、φが空列を表すものとして、｛φ、０、１、
００、１０、０１、１１、０００、１００、０１０、１
１０、００１、１０１、０１１、１１１｝からなる。木
Ｔ_Hは、（ａ）Ｔ_Hの各句のヒストリｈがｈ∈Ｈであり、
（ｂ）Ｔ_Hの各句が、Ｔ_Hに対するＬＺ拡張によって形成
されたならば、コンテキストＨ内で出会った句から形成
される。

【００５７】Ｈ'が、Ｔ_Hの根からＴ_H'の根に達するビッ
ト・ベクトルｈによるＨの連結である時には、木Ｔ_Hの
部分木のそれぞれ自体が、あるコンテキストＨ'で出会
った句の木であることに留意されたい。

【００５８】｛ｉ｝_fは、伝送される句の最初の記号で
ある点ｘ_iのインデックスであるものとする。これらの
点を、以下では句点と呼称する。

【００５９】所与の句点は、たとえばＨとＨ'など、複
数のコンテキストに適合する可能性があることに留意さ
れたい。ここで、Ｔ_HとＴ_H'に追加される句は、異なる
木のＬＺ拡張に対応するので、同一ではない可能性があ
る。

【００６０】このようなコンテキスト依存の複数の木ま
たは部分木を使用して圧縮を達成するためには、送出側
（エンコーダ）と受取側（デコーダ）が、使用する木に
関して合意する必要がある。したがって、下記の２つが
必要である。 １．どの句の末尾でも、その時刻ｔに、割振り関数Ｒ_t
が必要である。この割振り関数Ｒ_tは、原因としては木
の現在の状態とシーケンスからの過去のサンプルとに基
づいて、この木の集合から特定の木を選択する。この関
数は、エンコーダとデコーダの両方に知られており、デ
コーダは時刻ｔまでのシーケンスをデコード済みになっ
ているので、デコーダは、Ｒ_tの値を計算することもで
き、したがって、エンコーダとデコーダの両方に、次の
句の符号化にどの木が使用されるかがわかる。 ２．時間の関数として木を更新する手順が必要である。
この更新に課せられる唯一の特性は、符号化のために木
を使用するたびに、その木によって符号化される句をそ
の木に追加することである。したがって、同一の木を使
用して、同一の句を２回符号化することはできない。

【００６１】圧縮処理によって、コンテキストＨで見つ
かった句のために別々のＬＺ句木Ｔ_Hが維持されると仮
定する。その場合、特定の句は、１つの木について２回
以上繰り返されることはない。

【００６２】Ｋ個の木または部分木（Ｋは定数）を用
い、伝送される句のそれぞれが１つの木について多くと
も１回繰り返されるＬＺ処理について、ｃ_nが、時刻ｎ
までに伝送される句の総数を表すものとする。この場
合、次式が成り立つ。

【数１３】

【００６３】コンテキスト割振り 標準的なＬＺ圧縮処理は、前に出会った最長の一致する
句を選択する貪欲な手順である。本発明の目的は、さら
に、最適と見積もられる圧縮をもたらす木または部分木
を貪欲に選択することである。しかし、達成される実際
の圧縮は、後続のシーケンスに依存し、後続のシーケン
スは、受取側と送出側が共用するデータだけに基づいて
見積もらなければならない。

【００６４】Ｂが、すべてのＤコンテキストの集合の１
区画であり、｛Ｈ_i｝がＢの要素であるものとする。す
なわち、Ｄコンテキストのそれぞれは、Ｂの１つの要素
だけに含まれる。Ｂを「スパニング基礎集合」と称し、
Ｂは、ヒストリ木の１つの完全な部分木に対応する。図
３に、３コンテキストすなわち｛０、０１、０１１、１
１１｝のスパニング基礎集合を示す。Ｔ_Hが、コンテキ
ストＨで得られた句の木であり、ｒ_hが、伝送された句
に関するｈの経験的頻度であるものとする。Ｍ（Ｔ_H）
は、ｈ∈Ｈが現在のＤコンテキストであるものとして、
次の句に対して期待される圧縮の見積りであるものとす
る。すると、

【数１４】

【００６５】である。Ｖは、ｒ_hがコンテキストｈの実
際の確率であり、Ｍ（Ｔ_H(h)）が所与のＨに対する実際
の圧縮率であるならば、次の句に対して得られる圧縮の
期待値になることに留意されたい。

【００６６】式３は、次のように書き直すことができ
る。

【数１５】

【００６７】ただし、ｎ_Hは、コンテキストＨに関して
観察されたカウントであり、ｎは、句の総数である。量
ｎ_H／ｎは、コンテキストＨ∈Ｂの経験的頻度である。
見積りＭ（Ｔ_H）は、下で説明する。

【００６８】Ｖ（Ｂ）は、区画または基礎集合Ｂの関数
である。目的は、この関数を最適化することである。上
で述べたように、各コンテキストで出会った句の集合が
十分に類似している場合には、異なるコンテキストに関
連する辞書を併合する価値がある場合がある。

【００６９】一般に、本発明では、コンテキスト空間の
すべての区画を検討し、Ｖ（Ｂ）を最少にする区画を選
択することができる。しかし、現在の応用例では、すべ
ての可能な区画を検討するのに必要な記憶域と計算のオ
ーバーヘッドが、非現実的に大きくなる可能性がある。
したがって、この説明では、そのような区画の部分集合
に話を限定する。ただし、十分なオーバーヘッドを認め
るならば、可能なすべての区画を検討することもでき
る。具体的に言うと、ｄ≦Ｄである何らかの値ｄについ
て、現在のｄコンテキストｈが、Ｈについて適切な形態
であると仮定する。ここで、Ｈのそれぞれは、長さｄ≦
Ｄの接頭部を共用するＤコンテキストからなる。これ
は、完全接尾部木と称するものの葉に対応する（参照に
よって本明細書に組み込まれる、リサネン（J. Risanne
n）著、"Complexity of Strings in the Class of Mark
ov Sources", IEEE Trans. Inform. Theory, IT-32:526
-532,July 1986を参照されたい）。より一般的な基礎集
合、たとえば、完全接尾部木（非２進シーケンスに関す
る）より一般的な木構造を有する集合も、関心の対象と
なる可能性がある。しかし、現在の応用例では、完全接
尾部木の葉に間連する基礎集合のもう１つの特性すなわ
ち、下でさらに説明するように、Ｂの要素のそれぞれ
を、木構造辞書の部分集合に対応させることができるこ
とを利用する。

【００７０】下の式１０の構造は、分類木または回帰木
と称するもの、すなわち、統計学および医学の論文で広
範囲の注目を集め、応用されてきたタイプの構造に一般
的に対応する。その動機づけとなるのは、通常は、トレ
ーニング集合のサンプルに適用された時に最適の分類を
もたらすはずの標本空間の区画を提供することである。
このような分類木または回帰木は、モデルの過剰指定す
なわち細かすぎる区画を回避するために、さまざまな手
段によって刈り込まれる。本明細書は、最適化がトレー
ニング集合に直接に適用されるのではなく、コンテキス
トの相対頻度の見積りとコンテキスト依存木の集合から
得られる性能の見積りおよび構築の両方に、観察された
シーケンスを使用する点が多少異なる。

【００７１】｛Ｂ｝が、検討されるスパニング基礎集合
の集合であるものとする。Ｂ^*が、式１０を最少にする
スパニング基礎すなわち、

【数１６】

【００７２】であるものとする。この目的関数は、動的
プログラミングによって最適化問題を解決できるもので
ある。本発明は、計算の各段階で、Ｂの木構造を利用
し、基礎での特定のヒストリ（ヒストリ木の節）を保存
することの利点は、基礎にこのヒストリの２つの可能な
接頭部（対応する節の２つの子）を追加することの利点
に匹敵する。Ｃ（ｈ）が、ヒストリｈを根とするヒスト
リ木の部分木のすべてのヒストリに関して最適の重み付
き圧縮率を表すならば、Ｃ（ｈ）は、（ｈが任意のヒス
トリであり、Ｂ_h＝｛０ｈ、１ｈ｝がそのヒストリに対
する可能な２つの接頭部である）として、次式によって
再帰的に計算される。

【数１７】

【００７３】この場合、Ｃ（０）＝Ｖ^*であり、最適基
礎集合は、再帰の間に子より良いものとして選択された
節からなる。

【００７４】上記は、任意の時刻に基礎を最適化する手
順であり、したがって、任意の時刻に特定のコンテキス
トを選択する割振り規則Ｒ_tである。一般原則として、
Ｒ_tは、各句の先頭で再計算することができる。しか
し、句木はゆっくりと変化するだけであり、その結果、
この計算から得られる利益の大半を、周期的に再計算す
るだけで得ることができるはずである。

【００７５】ここで、量Ｍ（Ｔ_h）すなわち、コンテキ
ストｈに関する次の句の、木Ｔ_hを使用した見積圧縮を
検討する。この圧縮を見積もるための手法の１つが、こ
の木を使用して最後の数句について達成された圧縮を記
録し、これらのサンプルの平均をＭ（Ｔ_h）の見積りと
して採用するというものである。レンペル−ジブ・アル
ゴリズムは、漸近的に最適であるから、木の外部節のす
べてが、漸近的にほぼ同等に拡張される可能性があるこ
とを示すことができるという事実から、代替手法が提案
される。したがって、木の外部節の平均深さ＋１は、木
のレンペル−ジブ拡張によって形成される句の平均長の
よい見積である。

【００７６】Ｔ_hが、次の句の符号化に使用される木で
あるものとする。その句の表現の長さは、外部節（拡張
できる節）を指すポインタの長さ＋拡張の１ビットであ
る。ポインタは、

【数１８】

【００７７】の長さを有する。ここで、ε(Ｔ_h)は、木
Ｔ_hの外部節の集合であり、

【数１９】

【００７８】は、ｘ以上の最小の整数である。したがっ
て、この圧縮に関する結果の見積は、

【数２０】

【００７９】になる。ここで、ｌ（ｅ）は、木Ｔ_hの根
から外部節ｅまでの経路の長さである。

【００８０】圧縮にコンテキスト割振りを適用すること
によって得られる改善の見積りは、簡単には得られな
い。というのは、それ自体が発見的な見積りにすぎない
かなり複雑な式の評価または束縛が必要になるからであ
る。しかし、ある程度の洞察を提供するために、単純化
のための仮定の下で、簡単な例を検討する。

【００８１】ｈ₁とｈ₂が２つのコンテキストであり、ｈ
がこの２つの和集合であるものとする。ｐ₁、ｐ₂および
ｐは、それぞれ経験的頻度を表すものとし、ｐ₁＝ｐ₂で
あるものとする。木

【数２１】

【００８２】および

【数２２】

【００８３】が、Ｄ₁バー＝Ｄ₂バーを有し、この２つの
木が互いに素である場合に起こり得るように、Ｄ₁バー
≒Ｄバーであるものとする。さらに、

【数２３】

【００８４】であるものとする。すると、

【数２４】

【００８５】であり、コンテキストの１ビットの追加の
（この人工的な例での）利益は、１句ごとに伝送される
ビットが１ビット減少することである。この例を再帰的
に適用すると、メッセージ長がたとえば１０ビットの場
合に、このどちらかといえば非現実的な例のコンテキス
トの３ビットによって、メッセージ長の３０％の縮小を
もたらすことができることが示される。

【００８６】上で述べたように、圧縮と予測の間に密な
関係があることは十分に諒解される。上の方法論は、た
とえば２進シーケンスｘ₁、…、ｘ_tに対して、次の記号
ｘ_t+1の予測に適用することができる。コンテキストｈ
を使用すると仮定する。その場合、Ｎ_h（ｉ）が、コン
テキストｈにｉが現れた回数であるものとして、次の記
号の最大尤度評価式は、次のようになる。

【数２５】

【００８７】上のコンテキスト割振り方法論を使用する
と、コンテキストｈは、

【数２６】

【００８８】を最小化する基礎Ｂの互換構成要素として
選択することができる。ただし、Ｍ_t（ｈ）は、収集し
たデータの量と、コンテキスト間でのデータの類似性の
間のあるトレードオフを表す。分類木および回帰木の通
常の適用では、モデルの過剰指定を避けるために、尺度
Ｍ（・）にペナルティ（対数であることが多い）を組み
込むことが一般的である。すなわち、類似の性能を有す
る粗い区画が、微細な区画より優先される。

【００８９】圧縮の場合と同様に、Ｍ_tを構成して、累
積的な統計だけでなく、その発生のしかたの関数でもあ
るようにすることができる。たとえば、Ｍ_t（ｈ）は、
時刻ｔまでコンテキストｈを使用した場合に行われるは
ずの正しい予測の数と誤った予測の数の関数にすること
ができる。その代わりに、基礎Ｂを使用して達成される
見積り圧縮に、共通の構造を用いた適切な形式のクラス
タ化コンテキストを与え、過剰指定に関するペナルティ
も組み込むことができることに留意されたい。

【００９０】以下では、データ処理システム内での時系
列の予測に対するコンテキスト割振り処理の適用に関し
て、さらに詳細を提供する。

【００９１】ｔ以下のｉのそれぞれについてｘ（ｉ）が
既知の時系列ｘ（ｉ）、ｉ＝１、２、３、…を検討す
る。ｅが予測誤差であるとして、あるコスト関数Ｃ
（ｅ）の最小化の対象となるｘ（ｔ＋Ｔ）の見積りを得
ることを所望すると仮定する。これは、多くの応用例で
発生する問題である。その例には、将来の待ち行列長
や、あるサービスに対する需要の見積りが含まれる。こ
のような予測問題に対して、さまざまな手法が存在す
る。この予測処理は、圧縮処理に関連する。

【００９２】ｈが、シーケンスのヒストリ、すなわち、
現在時刻の直前までのシーケンス値の集合を表すものと
する。これらの値は、単純にｘ（ｔ−ｉ）、ｉ＝１、
…、ｄの値とすることができ、また、平均変化量などの
導出された量とすることもできる。ｋを超えないｄにつ
いて、深さｄにある節が長さｄの近似ヒストリの集合に
対応するヒストリ木を構成する。すなわち、長さｄのヒ
ストリｈを表す節は、その木の中での先行節として、ｈ
の接尾部である長さｄ−１のヒストリｈ'を表す節を有
する。

【００９３】この木の各節に対応して、現在のヒストリ
ｈがその節に対応するものとして、ｘ（ｔ＋Ｔ）の値を
予測するためにデータを維持する。このヒストリ対応が
発生するたびに、予測値を（たとえばこのヒストリに対
して時間Ｔにわたる平均変化を単純に使用することなど
によって）取得し、時刻Ｔの後に、その予測の誤差ｅを
計算し、これからコストＣ（ｅ）を計算する。ＡＣ
（ｈ）が、ヒストリｈに関連するこれらのコストの平均
であるものとし、ｎ（ｈ）が、ｈが発生する回数（すな
わち、ヒストリｈに関してＣ（ｅ）が計算される回数）
であるものとする。

【００９４】上で説明した動的プログラミング方法を使
用して、予測のための最適基礎集合を見つける。これ
は、ヒストリ空間を区分するヒストリの集合であり、ヒ
ストリ木の完全な部分木の葉に対応する。最小化される
量は、ｐｂ（ｈ）×ＣＡ（ｈ）の和であり、ここで、ｐ
ｂ（ｈ）は、ヒストリｈの経験的頻度、ＣＡ（ｈ）は、
このヒストリに関連する平均コストである。この最小化
される量は、基礎集合に関連するヒストリ依存予測の集
合を使用した、予想コストの見積である。

【００９５】圧縮処理 コンテキスト依存句の木または部分木の更新と維持の問
題をこれから説明する。上で述べた定理の形式は、句を
集めて、コンテキストの関数として使用される別々の木
または部分木を有する１つの木のいずれかにすることが
できるというものである。

【００９６】標準的なＬＺ圧縮処理（本明細書では処理
１と称する）では、句がオーバーラップせず、すべての
句が、単一の木から選択される。したがって、どの時点
でも、木に対して行われる更新は多くとも１つである。
複数の木の場合、ある木Ｔ_hから選択された伝送される
句が、Ｔ_hからの対応する句（たとえば互換コンテキス
トを有する大きな木からの）の前に完了する可能性があ
る。その結果、複数の未完了の句が単一の木の中に存在
する可能性がある。

【００９７】どの時点でも、句のうちの多くとも１つ
が、実際に圧縮に使用され、その句を指すポインタが、
デコーダに送られる。他の句は、木に追加され、その結
果、その木に、その特定のコンテキストを有するすべて
の句が含まれるようになる。したがって、木に対してこ
れらの他の句は、デコーダが同じことを同じ順序で行え
る形で追加される。これは、本明細書でトークンと称す
る構造によって達成される。

【００９８】ある木のトークンは、まだ完了していない
句の現在の末尾を表す。データ処理システムによってそ
のシーケンスの後続ビットが符号化または復号されるに
つれて、トークンは、外部節に達する点まで、木の中へ
さらに移動する。この時点で、トークンが木の葉に昇格
し、トークンのリストから削除される。デコーダも、エ
ンコーダと同じ形でトークンのリストを維持し、同じ点
でトークンを昇格させる。エンコーダとデコーダの両方
が、同じ順序（トークンが木に追加された順序）でトー
クンを扱うので、エンコーダとデコーダは、各句の末尾
で必ず同じ状態の木を有する。

【００９９】トークンを使用することによって、本発明
は、シーケンスの符号化の際に句として使用されない句
を、記憶された木に追加することができる。下で説明す
る処理のうちの２つでは、符号化の句のそれぞれについ
てＤ＋１個のトークンが、さまざまな木または部分木に
追加される。したがって、より多くの節が木に追加さ
れ、この木は、標準ＬＺの下の場合よりも速く成長す
る。

【０１００】その代わりに、辞書として単一の木の部分
木を使用する処理の場合、トークンによってマークされ
た経路は、その部分木の根からの経路である。共通の知
識が増加するにつれて、トークンを前進させる（すなわ
ち、木のより深い部分へ進める）ことができる。トーク
ンが外部節を越えて進む時に、そのトークンが昇格し
て、Ｔ_hのＬＺ拡張を形成する。複数のトークンがある
場合、それらは、インデックス順すなわち古いトークン
から前進する。

【０１０１】下で述べる処理２では、ｄ≦Ｄのｄコンテ
キストｈのそれぞれについて、別々の木を維持する。下
の処理３では、複合句木と称するものをもたらす形式で
維持される単一の木を使用する。これらの処理のどちら
もが、上の定理に従っており、実験結果から、標準ＬＺ
を上回る良い性能をもたらすことが示された。しかし、
このどちらもが、標準ＬＺよりも多くの記憶域を必要と
する。

【０１０２】標準ＬＺに類似の記憶要件を有する処理を
検討するために、下で処理４も説明する。この処理で
は、基本的に処理１の木と同一の木を使用するが、辞書
として部分木を使用する。

【０１０３】処理２：複数の木 処理２は、本発明の代替実施例であるが、説明を明瞭に
するために、本発明の好ましい実施例である処理３の前
に説明する。

【０１０４】ｄ≦Ｄのｄコンテキストｈのそれぞれにつ
いて、別々の木Ｔ_hを維持する。これは、参照によって
本明細書に組み込まれるプロトニック（E. Plotnik）、
ワインバーガー（M.J. Weinberger）およびジブ（J. Zi
v）著、"Upper Bounds on the Probability of A Seque
nce Emitted by Finite-State Sources and on the Red
undancy of the Lempel-Ziv Algorithm", IEEE Trans.
Inform. Theory, IT-38(1):66-72, January 1992で提案
された手法と対照的である。同書の手法では、シーケン
スの仮定または見積りの有限状態モデルの「状態」のそ
れぞれについて別々の木が維持される。以下で述べる手
法では、有限状態モデルの知識があるという前提はない
ので、これらの木は、Ｄ未満のすべての可能な「状態」
またはオーダーについて維持される。

【０１０５】ｔ＝０と、その後のｔ＝ｔ（ｎ）での各句
の末尾

【数２７】

【０１０６】に、上で述べた割振り方法を介してｄコン
テキストｈが選択される。Ｔ_hからの最長の互換句の識
別と、拡張を伝送する。ｔ（ｎ）でのＤコンテキストと
互換の（すなわち、その接尾部である）ヒストリｑのそ
れぞれについて、Ｔ_qの根にトークンを追加することに
よって、Ｔ_qによって句を開始する。

【０１０７】句は、コンテキストｈ内で伝送される場合
に、Ｔ_hに追加されることに留意されたい。したがっ
て、この処理は上の定理に従い、漸近的に最適である。
空のコンテキストに関連する木

【数２８】

【０１０８】は、割振り関数が必ず空のコンテキストに
決定する場合に、この処理と処理１が同一の性能を生じ
るという点で、処理１のそれに対応する。処理２では、
新しい句のそれぞれが（トークンが昇格した後に）、Ｄ
＋１木のそれぞれに１つのノードの追加をもたらし、そ
の結果、記憶要件が処理１の要件より大きくなる。

【０１０９】次に、図４を参照すると、処理２の実施例
の流れ図が示されている。処理２は、ステップ４０から
始まり、ここで、ヒストリ木を深さＤに初期設定し、す
べてのＬＺ木を空に初期設定する。その後、ステップ４
１で、前に述べたように、可能な統計的に最適の圧縮を
達成するために、最適基礎集合（最低の圧縮率を有す
る）を選択する。圧縮を、まず列に関して実施しようと
する場合、最初の圧縮のために空の基礎集合を選択する
ことができる。その代わりに、すべての基礎集合の圧縮
率が等しい時には、最小の基礎集合を選択することがで
きる。

【０１１０】次に、ステップ４２で、圧縮される次のデ
ータ列の現コンテキストに対応する、選択された基礎集
合内の要素を選択する。その後、ステップ４３で、圧縮
または符号化される句を使用して、現コンテキストに対
応するＬＺ木を拡張する。次に、ステップ４４で、選択
されたＬＺ木の拡張に対応するポインタを計算する。ま
た、下でさらに説明するように、このポインタと拡張
を、受取側またはデコーダに送る。

【０１１１】次に、ステップ４５で、現コンテキストと
互換性のあるヒストリに対応するＬＺ木のそれぞれの根
節にトークンを追加する。その後、ステップ４６で、圧
縮される現句のビットを使用して、すべての木のすべて
のトークンを移動する。その後、ステップ４７で、後に
ステップ４１で使用するために、すべてのＬＺ木の平均
深さを更新する。その後、ステップ４８で、圧縮すべき
ビットまたは句がまだある場合には、処理２はステップ
４１に戻り、そうでない場合には、処理２は終了する。

【０１１２】１例として、次のビットからなるサンプル
の入力列を検討する。 0101100101000100010001001000111101010101101000101110 この例では、Ｄ＝１である。したがって、３つの木すな
わち、空集合、"0"のコンテキストを含む木および"1"の
コンテキストを含む木がある。

【０１１３】入力のうち、前に出会っていない最初の列
は、ビット"0"である。したがって、ビット"0"を最初に
圧縮しなければならない。上で述べたように、圧縮用の
基礎集合の選択は、この時点で空基礎集合の省略時選択
となるように選択するか、その代わりに、やはり空基礎
集合である最小の基礎集合をこの時点で選択することが
できる。図９は、図４のステップ４３に示された、３つ
の木または辞書の構造を示す図である。ステップ４４に
示されるように、空コンテキスト木を指すポインタを、
図９に示された拡張と共に計算して、デコーダに伝送す
る。この第１ビット"0"は、コンテキストを有しないの
で、この時点で他の木を拡張する必要はない。それに対
応して、この時点ではトークンを使用する必要がない。

【０１１４】上のステップ４７に示されるように、この
時点で各木の平均深さを計算することに留意されたい。
空集合の平均深さは０．５００であり、空基礎集合内の
図示の拡張を符号化するのに必要なポインタ長は、長さ
１である。その後、圧縮率を計算する。

【０１１５】圧縮率は、その木の中で次に符号化される
ビットを指すのに必要なポインタ長を、次のビットがこ
の木に置かれた後のこの木の平均深さで割った値として
計算できる。たとえば、図９の空木の圧縮率は、ポイン
タ長＋１ビットを平均深さ＋１ビットで割った値として
計算でき、これは（１＋１）／（０．５００＋１）＝
１．３３３に対応する。

【０１１６】図９の他の２つの木に関して、ポインタ長
と平均深さは、どちらも０である。したがって、これら
の木の両方について計算される圧縮率は、１に等しい
（すなわち、（０＋１）／（０＋１））。その後、次の
ビット列を符号化するため次の基礎集合を選択するため
の比較の前に、圧縮率に重みを付ける（基礎集合内の２
つのコンテキストについて別々の木があるので）。空集
合は、１つの木だけからなるので、重み付けは必要な
い。しかし、基礎集合｛０、１｝は、２つの木からな
り、その計算された圧縮率の重み付けが必要である。こ
の重み付けは、木のそれぞれ（すなわち、"0"コンテキ
スト木と"1"コンテキスト木）について計算された圧縮
率に、その特定の木の節の数をかけ、基礎集合内の節の
総数で割った値に等しい。たとえば、"0"コンテキスト
木が１０節に成長し、"1"コンテキスト木が２０節に成
長した（したがって、基礎集合内には合計３０節があ
る）場合、"0"コンテキスト木について計算された圧縮
率は、１０／３０をかけられ、"1"コンテキスト木につ
いて計算された圧縮率は、２０／３０をかけられる。そ
の後、これら２つの値を加算して、基礎集合｛０、１｝
の重み付き圧縮率を得る。

【０１１７】図９に関して示された上の例では、基礎集
合｛０、１｝の重み付き圧縮率が、（０）１．０００＋
（０）１．０００＝０に等しい。この場合、０は１．３
３３未満であるが、この処理は、実際の圧縮率を有する
木を選択するように構成されている。この場合、次の圧
縮のために、空基礎集合が選択される。

【０１１８】その結果、空基礎集合すなわち、空コンテ
キスト木が、次の圧縮に使用される。したがって、上の
入力列は、圧縮に空基礎集合が使用されることを考慮に
入れて、次のビット列についてもう一度評価される。こ
の列の次のビットは、"1"であり、これは、空コンテキ
スト集合に関して前に出会っていないビットである。し
たがって、この"1"ビットは、空基礎集合を使用して圧
縮される。次に図１０を参照すると、ステップ４３に示
されるように、空木が図示のように成長していることが
わかる。その後、"1"ビットへの拡張と共に空木を指す
ポインタが計算され、"1"ビットを符号化したものとし
て伝送される。

【０１１９】その後、符号化された"1"ビットと互換性
のあるコンテキストを有する木のすべてを、拡張する。
その結果、"0"コンテキスト木が、図１０のように成長
する。これは、最近に符号化された"1"ビットが、"0"ビ
ットのコンテキスト（Ｄ＝１）を有したからである。"
1"コンテキスト木は、期待される通りに影響を受けない
ことに留意されたい。この時点でトークンは必要ないの
で、図４のステップ４５およびステップ４６は不要であ
る。

【０１２０】その後、３つの木の平均深さを計算する。
空木の場合、平均深さは、その木の中で拡張できる節の
総数をとることによって計算され、これは、木の中で拡
張できる節のポインタ長の和をとり、その数を、次のサ
イクルで拡張できる節の総数で割ることによって計算さ
れ、これは、空木の場合には、２／２になり、１．００
０の平均深さに等しい。ポインタ長は、その木に含まれ
る節を区別するのに必要なビット数に等しいことに留意
されたい。その結果、圧縮率は、２／２．０００＝１．
０００に等しい。

【０１２１】同様の計算によって、図１０に示された"
0"コンテキスト木の、１．３３３に等しい圧縮率がもた
らされ、"1"コンテキスト木の圧縮率は、１．０００に
等しい。基礎集合｛１、０｝の重み付き圧縮率は、（１
／１）１．３３３＋（０／１）１．０００＝１．３３３
である。その後、２つの基礎集合すなわち、１．０００
の圧縮率を有する空基礎集合と、１．３３３の重み付き
圧縮率を有する基礎集合｛１、０｝の間の圧縮率の比較
によって、次のビット列の符号化に空基礎集合が選択さ
れる。

【０１２２】次に、入力列を再び観察する。この例で
は、空コンテキスト木が、前に"0"と"1"の両方を符号化
しているので、入力列の"01"列が、前に出会っていない
次のデータ列になる。その後、この入力列は、空木を使
用して符号化され、その結果、図１１に示されるように
空木が成長する（ステップ４３）。この空木からもたら
されるポインタと拡張を、ステップ４４で使用して、
列"01"を符号化する。その後、列"01"と互換性のあるコ
ンテキストを有する他の木も拡張される。したがっ
て、"1"コンテキスト木は、図１１に示されるように拡
張される。これは、列"01"の第１ビットが"0"であり、
これが"1"のコンテキストを有するからである。"0"コン
テキスト木は拡張されない。というのは、このコンテキ
ストが、符号化される列と互換性がないからである。

【０１２３】その後、上のステップ４７に示されるよう
に、木の平均深さを更新する。空木の場合、平均深さ
は、木内の拡張可能節のポインタ長を拡張可能節の個数
で割った値として計算され、これは４／３＝１．３３３
に等しい（空木のポインタ長は、この木の拡張可能な節
を区別するのに２ビットが必要であるから、２に等し
い）。これに対応して、"0"コンテキスト木と"1"コンテ
キスト木は、それぞれ０．５００の平均深さと１に等し
いポインタ長を有する。

【０１２４】空木の圧縮率は、ポインタ長に木の拡張に
必要な"1"ビットを加えた値を、平均深さに木の拡張に
必要な"1"ビットを加えた値で割った値すなわち、（２
＋１）／（１．３３３＋１）＝１．２８６に等しい。

【０１２５】基礎集合｛０、１｝の重み付き圧縮率は、
（１／２）１．３３３＋（１／２）１．３３３＝１．３
３３に等しい。その結果、空基礎集合の圧縮率１．２８
６が、基礎集合｛０、１｝の重み付き圧縮率１．３３３
より小さいので、次のビット列の圧縮に、やはり空基礎
集合が選択される。

【０１２６】その結果、次の圧縮のために、入力列が再
び観察される。入力に含まれる、空木に関して前に出会
っていない次の列は、列"10"である。したがって、この
列が、空基礎集合によって次に符号化される。ステップ
４３で、符号化された列"10"を使用して、空木が図１２
に示されるように拡張される。やはり、ステップ４４に
示されるように、ポインタと拡張を計算して、この列を
符号化する。その後、この木は図１２に示されるように
拡張される。列"10"は"1"のコンテキストを有するの
で、"1"コンテキスト木が拡張されていることに留意さ
れたい。

【０１２７】やはり、平均深さ（ステップ４７）を計算
する。空木の場合、平均深さは６／４すなわち１．５０
０に等しい。拡張可能な節同士を区別するのに必要な最
大ポインタ長は、２に等しい。したがって、この空木の
圧縮率は、（２＋１）／（１．５００＋１）＝１．２０
０に等しい。

【０１２８】"0"コンテキスト木は、平均深さが０．５
００でポインタ長が１であり、"1"コンテキスト木は、
平均深さが１．０００でポインタ長が１である。基礎集
合｛０、１｝の重み付き圧縮率は、（１／３）１．３３
３＋（２／３）１．０００＝１．１１１に等しい。その
結果、基礎集合｛０、１｝が選択される。

【０１２９】したがって、基礎集合｛０、１｝が、次の
データ列の符号化に使用される。したがって、入力デー
タ列は、基礎集合｛０、１｝に関して前に出会っていな
い次のビット列について観察される。その結果、次の
列"0"が符号化される。基礎集合｛０、１｝を使用した
結果として、また、次のデータ列"0"が"0"のコンテキス
ト（Ｄ＝１）を有するので、"0"木が、図１３に示され
るように拡張される。その後、互換性のある木のすべて
が、やはり拡張される。"1"コンテキスト木は、互換性
のあるコンテキストを有しないので、拡張されない。し
かし、空木は拡張される可能性がある。図４のステップ
４５で注記したように、トークンがＬＺ木のそれぞれの
根節に追加され、この場合、現コンテキストと互換性の
あるコンテキストに対応する空木の根節に追加される。
その後、ステップ４６に示されるように、すべての木の
すべてのトークンが、現在符号化されている句のビッ
ト、この場合には"0"を使用して移動される。その結
果、空木内のトークンが、図１３の円で囲んだ節によっ
て示されるように移動される。

【０１３０】その後、平均深さとポインタ長と、重み付
き圧縮率を含む圧縮率とを、上で述べたように計算す
る。その結果は、この場合については繰り返さないが、
次の句の符号化にやはり基礎集合｛０、１｝が選択され
る（ステップ４１）。選択された基礎集合に関して前に
出会っていない、入力列内の次に符号化される句は、
句"10"である。句"10"は、"0"のコンテキストを有する
ので、やはり"0"コンテキスト木を使用してこの句を符
号化する。ここで図１４を参照されたい。この図には３
つの木が示されている。"0"コンテキスト木が、句"10"
の符号化に使用された結果として拡張されていることに
留意されたい。

【０１３１】ステップ４５に示されるように、句"10"の
現コンテキストと互換性のあるコンテキストに対応する
ＬＺ木のそれぞれの根節にトークンを追加する。その結
果、空木の根にトークンが追加される。"1"コンテキス
ト木は、互換性のあるコンテキストを含まないので、や
はり拡張されないことに留意されたい。ステップ４６に
示されるように、すべての木のすべてのトークンが、現
在の符号化される句を使用して移動される。空木には現
在２つのトークンが含まれる（図１３参照）ので、各ト
ークンを移動しなければならない。トークンは、作成さ
れた時刻に対応する順序で移動される。したがって、図
１３に示されたトークンは、まず現在符号化されている
句"10"を使用して移動される。その結果、空木は、図１
４に示されるように拡張される。最初に作成された、図
１３に示されたトークンを移動して、空木内の新しい葉
を作成したので、このトークンは除去される。

【０１３２】次に、空節から始まるトークンが、句"10"
を使用して移動され、図１４に示されるように、空木内
に残されたトークンがもたらされる。このトークンは、
空木内に新しい葉を作成するように移動されてはいない
ので、除去されないことに留意されたい。

【０１３３】その後、３つの木の平均深さを計算する。
空木の平均深さは、９／５＝１．８００に等しいと計算
され、ポインタ長は３である。したがって、空木の圧縮
率は、（３＋１）／（１．８＋１）＝１．４２９に等し
い。基礎集合｛０、１｝の重み付き圧縮率は、（３／
５）１．２８６＋（２／５）１．０００＝１．１７２に
等しい（"0"コンテキスト木と"1"コンテキスト木の計算
された平均深さは、それぞれ１．３３３と１．０００で
あり、ポインタ長はそれぞれ２と１であり、その結果、
重み付けの前の圧縮率は、それぞれ１．２８６と１．０
００であることに留意されたい）。その結果、基礎集合
｛０、１｝の重み付き圧縮率が、空基礎集合の圧縮率よ
り小さいので、次の句の符号化には、やはり基礎集合
｛０、１｝が選択される。符号化処理の残りは、本明細
書では説明しないが、上で述べたものと同一の手順に従
う。

【０１３４】処理３：複合句木 前の処理２では、Ｄ未満の長さの可能な状態またはコン
テキストのそれぞれについて、別々の木を維持した。し
かし、この異なる木の情報にはかなりのオーバーラップ
がある。したがって、好ましい実施例は、この情報を組
み合わせて単一の木にすることである。以下で説明する
処理３の基礎は、情報のすべてを単一の木に組み合わせ
ることである。したがって、処理３では、処理２の複数
の木の代わりに、単一の木の部分木を使用する。

【０１３５】処理３は、以下の観察によって動機を与え
られたものである。まず、標準ＬＺ木を検討し、"0"と
マークされた深さ１の節を根とする部分木を検討する。
この部分木の節はすべて、"0"から始まる符号化の句に
対応する。したがって、先頭ビットの"0"を取り除いて
これらの句を検討するならば、これらの句は、"0"のコ
ンテキストを有するシーケンスの部分木である。したが
って、"0"から始まるＬＺ木の部分木は、"0"のコンテキ
ストを有するシーケンスの部分列の集合に対応する。し
たがって、単一の木の部分木を使用して、同一のコンテ
キストを有する部分列を表現することができる。

【０１３６】処理３では、単一の木Ｔを維持する。ｄコ
ンテキストｈのそれぞれに関連する辞書は、Ｔの根から
ｈを介して達する部分木Ｔ_hである。ｈがコンテキスト
として選択される場合、（ａ）Ｔ_h内の適切な葉の識別
を伝送し、この部分木に対してＬＺ拡張を実行し、
（ｂ）互換性のあるｄコンテキスト（ｄ≦Ｄ）のそれぞ
れについて句を開始する。この新しい句に関連するトー
クンは、コンテキスト長の昇順（すなわち、空コンテキ
ストが先頭）である。

【０１３７】次に、図５を参照すると、本発明による処
理３の実施例の流れ図が示されている。処理３は、ステ
ップ５０から始まり、ここで、ヒストリ木とＬＺ木を深
さＤに初期設定する。その後、ステップ５１で、圧縮に
使用される基礎集合を、上で説明した形で選択する。次
に、ステップ５２で、現コンテキストに対応する基礎集
合内の要素を、圧縮のために選択する。次に、ステップ
５３で、現コンテキストに対応するＬＺ部分木を、圧縮
または符号化中の現句を使用して拡張する。

【０１３８】次に、ステップ５４で、選択されたＬＺ部
分木の拡張に対応するポインタと、その拡張とを計算す
る。また、このポインタとその拡張を、受取側に送る
（すなわち、現句を、ポインタと拡張を用いて符号化す
る）。次に、ステップ５５で、符号化された句に対応す
る現コンテキストと互換性のあるヒストリに対応するＬ
Ｚ部分木のそれぞれの根節に、トークンを追加する。

【０１３９】次に、ステップ５６で、この木のすべての
トークンを、圧縮中の現句の情報を使用して移動する。
その後、ステップ５７で、すべてのＬＺ部分木の平均深
さを更新し、最後に、ステップ５８で、圧縮すべき情報
がまだある場合には、ステップ５１に戻り、そうでない
場合には処理３を終了する。

【０１４０】処理３のいくつかの特性は、特筆に値す
る。木Ｔは、処理１より速く成長する。しかし、この場
合の成長は、新しいビットごとに１節ではなく、句のそ
れぞれについてＤ＋１節が最終的に（トークン昇格時
に）追加されるという点で、多少異なる形で達成され
る。最終的に句が成長してＤよりはるかに長くなる時に
は、Ｔの成長の速度が減少する。

【０１４１】第２に、処理３は、上に記載の定理に従
い、したがって漸近的に最適である。句ごとにＤ＋１節
を記憶するという特性は、処理２の特性と類似してい
る。しかし、追加される節のそれぞれは、Ｄ＋１コンテ
キスト部分木に現れ、その結果、その影響は、別々の木
について（Ｄ＋１）²節を追加するのと同等である。こ
れは、実験によって示されるとおり、この変形が短いフ
ァイルの場合により良い性能を示すことを暗示する。

【０１４２】次に図１５を参照すると、深さＤ＝２に初
期設定されたヒストリ木（ステップ５０）が示されてい
る。処理３の働きを示すために、処理２の例で使用した
ものと同一のサンプル入力列を検討する。この場合、Ｄ
＝２の事例を検討する。処理３では、１つの木だけがあ
り、この木は、深さＤの完全な木になるように初期設定
される（図５のステップ５０）。したがって、処理は、
図１５に示される深さ２の完全な木から始まる。基礎集
合も、省略時値すなわち、空基礎集合に初期設定される
（ステップ５１）。したがって、現コンテキストに対応
する基礎集合の要素は、空コンテキストである。

【０１４３】空コンテキストに対応する部分木は、ＬＺ
木の根から始まる部分木すなわち、完全なＬＺ木であ
る。したがって、この処理では、ＬＺ木の根にトークン
を追加し、入力ビットを使用して、トークンを木の下方
向に押し出す。最初の２ビットは01であり、これによっ
てトークンが木の葉に移され、次のビットは0であり、
これは前に出会ったことのない句に対応する。したがっ
て、このビットに対応する節が、木に追加され、図１６
の木がもたらされる。この句の前に先行するビットは存
在しないので、他に互換性のあるコンテキストは存在せ
ず、したがって、この木に他のトークンは追加されな
い。

【０１４４】この時点で、この木のすべての部分木の平
均深さを計算する。根から始まる部分木すなわち完全な
木の場合、拡張できる可能性のある節が深さ２に４つ、
深さ３に１つあり、平均深さ２．２が得られる。これら
の節のうちの１つを区別するためのポインタの長さは、
３ビットであり、したがって、この部分木の圧縮率は、
（３＋１）／（２．２＋１）＝１．２５である。

【０１４５】次に、"0"を根とする部分木を検討する。
この部分木には、拡張可能な節が、深さ１に２つ、深さ
２に１つある。したがって、この部分木の拡張可能な節
の平均深さは、４／３＝１．３３３である。この部分木
に必要な（これら３つの節を区別するのに）ポインタの
長さは、２ビットである。したがって、この部分木の圧
縮率は、（２＋１）（１．３３３３＋１）＝１．２８６
である。

【０１４６】同様に、"1"を根とする部分木の平均深さ
は、１であり、ポインタ長は、１ビットであり、この部
分木の圧縮率は、（１＋１）／（１＋１）＝１．０００
である。

【０１４７】"00"を根とする部分木の圧縮率は、１．０
００として計算され、"01"の場合には１．３３３、"10"
の場合には１．０００、"11"の場合には１．０００であ
る。これらは、ヒストリ木の対応する節の圧縮率であ
る。ヒストリ節"01"は、ヒストリ節"0"ではなくヒスト
リ節"1"の子であることに留意されたい。

【０１４８】ここで、この処理では、動的プログラミン
グを実行して、圧縮率を最小にする基礎集合を見つけ
る。動的プログラミング手順の各段階で、ヒストリ木の
節の圧縮率と、この節の子の圧縮率の平均との比較を行
う。子の圧縮率は、それぞれの部分木の節の数によっ
て、処理２の重み付けと同様の形で重みが付けられる。

【０１４９】この動的プログラミング・アルゴリズム
は、ヒストリ内の最大深さの節から開始される。この場
合、Ｄ＝２であり、最大深さの節は、深さ２にある。し
たがって、このアルゴリズムでは、ヒストリ節"0"の圧
縮と、その子（節"00"および"10"）の圧縮を比較する。
この場合、子節のそれぞれは、その部分木に１つの節だ
けを有し、圧縮率は１．０００である。したがって、子
の平均圧縮率は、１．０００である。節"0"の圧縮率
は、上で計算したように１．２８６である。節"0"の圧
縮率がその子の平均圧縮率より小さいので、このアルゴ
リズムでは、子が基礎集合の要素となることが選択され
る。

【０１５０】その後、このアルゴリズムでは、節"1"の
圧縮率を、その子（節"10"および"11"）の平均圧縮率と
比較する。子に対応する部分木は、それぞれ２個および
１個の節を有し、したがって、子の平均圧縮率は、（２
／３）１．３３３＋（１／３）１．０００＝１．２２２
である。これは、ヒストリ節"1"の圧縮率より大きいの
で、このアルゴリズムでは、節"01"および"11"ではな
く、節"1"が基礎集合の要素として選択される。

【０１５１】最後に、このアルゴリズムでは、これまで
に選択された基礎集合用の最適の圧縮率と、空ヒストリ
の圧縮率とを比較する。ヒストリ"00"、"10"および"1"
に対応する根を有する部分木には、それぞれ１個、１個
および３個の節がある。この基礎集合の平均圧縮率は、
（１／５）１．０００＋（１／５）１．０００＋（３／
５）１．０００＝１．０００である。この圧縮率は、空
コンテキストの圧縮率（上の計算では１．２５０）より
良いので、このアルゴリズムでは、基礎集合として集
合"00、10、1"が選択される。

【０１５２】次に、このアルゴリズムでは、先行ビット
を調べ、現コンテキストに対応する基礎の要素を探す。
先行ビットは０１０であったから、現基礎集合の互換要
素は１０である。したがって、１０に対応する部分木
が、次の句の圧縮に使用される部分木である。

【０１５３】ステップ５４で、"10"を根とする部分木か
ら処理を開始する。次の入力ビットは１であり、この１
に対応する節は、この木には存在しない。したがって、
この節が追加され、図１７に示される新しい木が作られ
る。その後、圧縮ルーチンによって、この部分木の親節
を指すポインタと、拡張記号が送られる（ステップ５
５）。

【０１５４】ステップ５６で、現コンテキストと互換性
のあるヒストリに対応するすべての部分木の根に、トー
クンを追加する。この場合、互換性のあるヒストリは、
空ヒストリとヒストリ"0"である。したがって、トーク
ンは、ＬＺ木の根と、ヒストリ"0"に対応する節すなわ
ち節０に追加される。ステップ５７で、これらのトーク
ンを、現句のビットを使用して移動する。現句は１だけ
であるから、これによって、根から始まるトークンが
節"1"に移動され、"0"から始まるトークンが節"01"に移
動される。ステップ５７の後の木とトークンの状態を、
図１７に示す。

【０１５５】次のステップ（ステップ５８）で、ヒスト
リ木内のすべての節について、平均深さと圧縮率をもう
一度計算する。この場合、圧縮率は、空コンテキストで
は１．２００、"0"および"1"のコンテキストでは１．２
８６、"00"および"11"のコンテキストでは１．００
０、"01"および"10"のコンテキストでは１．３３３であ
る。

【０１５６】まだ入力ビットが残っているので、処理は
図５のステップ５１に戻る。前と同様に動的プログラミ
ング・アルゴリズムを実行することによって、最終的
に、次の句の圧縮に最適の基礎集合として、空基礎が選
択される。その後、このアルゴリズムでは、ＬＺ木の根
から開始し、次の数ビットを使用して木を下る。次の３
ビットは100であり、これは新しい節につながる。この
節を木に追加し、この節を指すポインタと拡張を、受取
側に送る。

【０１５７】この場合の互換コンテキストは、コンテキ
スト"1"および"01"である。これらのコンテキストに対
応する節に、トークンを追加する。その後、現句のビッ
トを使用して、古いトークンからの順ですべてのトーク
ンを移動する。したがって、最初に移動されるトークン
は、図１７で０とマークされたトークンである。このト
ークンを10を使用して移動し、新しい節を形成する（Ｌ
Ｚ木の110節）。次に移動されるトークンは、図１７で
１とマークされたトークンである。このトークンを、現
句の第１ビット（すなわち１）を使用して移動し、新し
い節（ＬＺ木の011節）を形成する。その後、この句の
中で追加された新しいトークンを移動する。次に移動さ
れるトークンは、コンテキスト"1"に対応する節に追加
されたトークンである。このトークンは、1100に移動
し、新しい節を形成する。このトークンは、前のトーク
ンの昇格によって作成されたばかりの新しい節を越えて
移動することに留意されたい。一貫性を保証するため
に、トークンの移動に関して固定された順序を設けるこ
とが重要である。最後に、節"01"に追加されたトークン
を移動し、0110に新しい節を形成する。したがって、こ
の句の終りには、現トークンおよび以前のトークンのす
べてが、句に昇格し、木は、図１８のようになる。

【０１５８】この処理を必要に応じて繰り返して、シー
ケンスの残りのビットを符号化する。次の句の末尾での
木を、図１９に示す。この処理は、詳細には説明しない
が、入力シーケンスの末尾まで同一の手順に従うもので
ある。

【０１５９】処理４：コンテキスト割振りを用いる単一
木 本発明のもう１つの代替実施例である処理４は、本質的
にはコンテキスト依存性を利用する標準ＬＺ木である。
時刻ｔのそれぞれに、送出側と受取側が、シーケンスＸ
₁、Ｘ₂、…、Ｘ_n(t)について共通の知識を有する。送出
側と受取側のそれぞれが、時刻ｔにトークンによって表
現される未完了のＬＺ句が存在し得るという点を除い
て、処理１と同様のＬＺ木を構成する。各句の先頭で、
割振り関数Ｒ_tによって、伝送に使用する部分木を選択
し、この部分木の葉を指すポインタと拡張を用意する。
しかし、この新しい句は、木には追加されない。そうで
はなくて、シーケンスの共通の知識を、ある点まで進め
るだけである。

【０１６０】次に図６を参照すると、本発明による処理
４の実施例の流れ図が示されている。まず、ステップ６
０で、圧縮処理で使用されるヒストリ木とＬＺ木の両方
を、深さＤに初期設定する。その後、ステップ６１で、
圧縮に使用する基礎集合を、上で説明したように選択す
る。

【０１６１】次に、ステップ６２で、符号化される現句
に関連する、現コンテキストに対応する選択された基礎
集合内の要素を選択する。次に、ステップ６３で、現コ
ンテキストに対応する部分木の仮想拡張を決定する。し
かし、対応する節または新しい句は、部分木に追加され
ない。

【０１６２】その後、ステップ６４で、この部分木内の
節を指すポインタとその拡張を計算し、デコーダに送
る。次に、ステップ６５で、ＬＺ木にトークンがあるな
らば、現句の情報を使用してこのトークンを移動する。
そのトークンが新しい節に昇格する場合、完全な木の根
に新しいトークンを追加する。その後、ステップ６６
で、後の使用のために、ＬＺ木のすべての部分木の平均
深さを更新する。最後に、ステップ６７で、圧縮すべき
情報が残っていないならば処理４を終了し、残っている
ならばステップ６１に戻る。

【０１６３】処理４の特性をいくつか述べる。定理２
は、処理４にはあてはまらない。というのは、句が拡張
されず、木または部分木に直接追加され、その結果、同
一の句が、元の部分木と共に複数回使用される可能性が
生じるからである。各句の先頭では、基礎集合から生じ
る見積り圧縮が、木全体を使用することから得られる見
積り圧縮と比較され（割振り関数Ｒ_tを計算する手順
で）、部分木は、利益が認められる場合に限って使用さ
れる。すなわち、常に標準ＬＺに戻るという選択肢が存
在する。これによって、修正の可能性が暗示される。す
なわち、送出側と受取側の両方が、標準ＬＺの方が良い
と判断した場合に、合意の上で標準ＬＺへ切り換えるこ
とができる。

【０１６４】しかし、実験結果から、処理４は、標準Ｌ
Ｚを凌ぎ、処理２の性能に類似の性能を有することが示
された。これは、新しいＬＺ句のそれぞれによって、あ
る節にＤ＋１コンテキスト部分木が追加されることに起
因すると推測される。

【０１６５】データ処理システム内での実施態様 次に図７を参照すると、データ処理システムの一部とし
て本発明を実施するためのハードウェア・システム７０
０が示されている。システム７００には、ＣＰＵ７０
１、主記憶７０２、ビデオ・メモリ７０３、通常のマウ
ス（またはライト・ペン、電子ペン、データ・タブレッ
トなど）７０５によって補われるユーザ入力用のキーボ
ード７０４、および、１つまたは複数の磁気、光または
光磁気記憶技術もしくは他の使用可能な大容量記憶技術
を使用する固定媒体と取外し可能媒体の両方を含むこと
のできる大容量記憶装置７０６が含まれる。

【０１６６】これらの構成要素は、通常の両方向のシス
テム・バス７０７を介して相互接続される。システム・
バス７０７には、主記憶７０２とビデオ・メモリ７０３
の任意の部分をアドレッシングするためのアドレス線が
含まれる。システム・バス７０７には、ＣＰＵ７０１、
主記憶７０２、ビデオ・メモリ７０３、大容量記憶装置
７０６および入出力ポート７１１の間でデータを転送す
るためのデータ・バスも含まれる。

【０１６７】システム７００の好ましい実施例では、Ｃ
ＰＵ７０１を、適当なマイクロプロセッサまたはマイク
ロコンピュータとすることができる。入出力ポート７１
１を用いると、システム７００が、「外の世界」（たと
えば、外部システムや外部の処理）へのアクセスを得る
ことができるようになる。

【０１６８】システム７００の主記憶７０２は、適当な
サイズの通常のダイナミック・ランダム・アクセス・メ
モリである。ビデオ・メモリ７０３は、通常の二重ポー
ト式ビデオ・ランダム・アクセス・メモリであり、単一
の画面イメージの内容を保持することができるフレーム
・バッファを含めることができる。ビデオ・メモリ７０
３は、表示装置７０８に表示するためのビデオ・データ
を供給し、表示装置７０８は、本発明の好ましい実施例
では陰極線管（ＣＲＴ）ラスタ表示モニタである。しか
し、表示装置７０８は、液晶、冷陰極または他の画素ベ
ース表示装置とすることができる。

【０１６９】本発明のさまざまな処理は、ＣＰＵ７０１
による後続の使用のために、大容量記憶装置７０６また
は主記憶７０２内に記憶するか、入出力ポート７１１を
介して組み込むことができる。圧縮されるデータも、本
発明の使用を介するＣＰＵ７０１による操作のために、
大容量記憶装置７０６に記憶するか、入出力ポート７１
１を介して得ることができる。たとえば、大容量記憶装
置７０６内に記憶されるデータまたは入出力ポート７１
１を介して外のシステムへ転送されるデータを、ＣＰＵ
７０１内で実施される本発明によって圧縮することがで
きる。その代わりに、入出力ポート７１１を介しシステ
ム７００によって、圧縮されたデータを受け取って、Ｃ
ＰＵ７０１内で本発明を利用して圧縮解除することがで
きる。

【０１７０】次に図８を参照すると、本発明による処理
を表す線図が示されている。本質的に、圧縮されるデー
タ・シーケンス

【数２９】

【０１７１】は、エンコーダ８００によって受け取られ
る。エンコーダ８００は、上で述べた圧縮技法のいずれ
か１つを使用して、図７に関して説明したように

【数３０】

【０１７２】を記憶または転送のために圧縮する。デコ
ーダ８０１は、符号化されたシーケンスの圧縮解除の処
理を実行する。上で述べたように、デコーダ８０１は、
エンコーダ８００が展開したものと同一の木または辞書
を取り込み、展開し、その結果、デコーダ８０１は、デ
ータの損失なしに符号化されたシーケンスを正しく圧縮
解除することができる。エンコーダ８００またはデコー
ダ８０１もしくはその両方は、ＣＰＵ７０１内で実施さ
れる。

【０１７３】まとめとして、本発明の構成に関して以下
の事項を開示する。

【０１７４】（１）データ処理システムにおいて、デー
タ・ストリームの符号化中に句の辞書を展開し、記憶す
るステップと、次のデータ列に先行する前記データ・ス
トリームのコンテキストの関数としての前記データ・ス
トリーム内の前記次のデータ列の符号化のために前記辞
書内の前記句のうちの１つを選択するステップと、前記
選択された句を用いて前記次のデータ列を符号化するス
テップとを含む、データを圧縮するための方法。 （２）前記句の辞書が、符号化された句の複数の木を含
み、前記複数の木のそれぞれが、特定のコンテキストに
対応し、前記選択するステップがさらに、前記複数の木
のそれぞれについて潜在的な圧縮率を判定するステップ
と、前記次のデータ列を符号化するために、前記複数の
木の中の、最も低い前記判定された圧縮率を有する木を
使用するステップとを含むことを特徴とする、上記
（１）に記載の方法。 （３）前記次のデータ列を用いて、前記次のデータ列に
先行する前記データ列の前記コンテキストに対応する前
記複数の木のそれぞれを拡張するステップをさらに含
む、上記（２）に記載の方法。 （４）前記使用するステップがさらに、前記選択された
句を指すポインタを作るステップを含むことを特徴とす
る、上記（２）に記載の方法。 （５）データ処理システムにおいて、符号化される句の
それぞれに関連するヒストリの関数として、前記符号化
される句の辞書を展開し、記憶するステップと、統計的
に最も高い潜在圧縮を提供すると判定される前記辞書の
部分集合を選択するステップと、次の句を符号化するた
め、前記部分集合内の、前記次の句のヒストリに対応す
る特定のヒストリを使用するステップとを含む、データ
を圧縮するための方法。 （６）前記選択するステップがさらに、前に符号化され
た句に関して前記辞書の部分集合の圧縮効率を比較する
ステップを含むことを特徴とする、上記（５）に記載の
方法。 （７）前記選択するステップがさらに、（ａ）前記辞書
のそれぞれの平均深さを計算するステップと、（ｂ）前
記辞書のそれぞれの中で可能な句ポインタの最長の長さ
を計算するステップと、（ｃ）前記辞書のそれぞれの潜
在的な圧縮率を導出するために、（ａ）に対する（ｂ）
の比を計算するステップとを含むことを特徴とする、上
記（５）に記載の方法。 （８）前記次の句を圧縮するために、前記選択された部
分集合内の句を選択するステップと、前記選択された句
に対応するポインタを計算するステップと、前記特定の
ヒストリを含む木のそれぞれの根にトークンを追加する
ステップと、前記次の句に含まれる記号の関数として、
すべての木のトークンを移動するステップとをさらに含
む、上記（５）に記載の方法。 （９）コンテキスト依存辞書のそれぞれが前に符号化さ
れたデータのヒストリに関連する、複数の前記コンテキ
スト依存辞書を展開し、記憶するための手段と、次のデ
ータ列に関連する特定のヒストリの関数として前記次の
データ列を符号化するための手段とを含み、前記符号化
手段がさらに、選択された部分集合のそれぞれが、前記
次のデータ列に関連する前記特定のヒストリに対応する
辞書を含む、前記辞書の前記選択された部分集合につい
て潜在的圧縮率を計算するための手段と、最も低い潜在
的圧縮率を有する前記選択された部分集合内の部分集合
を選択するための手段と、前記次のデータ列を圧縮する
ために、前記特定のヒストリに対応する前記選択された
部分集合内の辞書を利用するための手段とを含むことを
特徴とするデータを圧縮するためのシステム。 （１０）前記複数の辞書が、符号化された句の全体辞書
を形成するように相互に関連していることを特徴とす
る、上記（９）に記載のシステム。 （１１）データ処理システムにおいて、辞書ベース・デ
ータ圧縮処理によって前に圧縮されたデータを圧縮解除
するための方法であって、前記前に圧縮されたデータ
が、前記圧縮処理中に形成された複数のコンテキスト依
存辞書内に含まれる句を参照するポインタ・データから
なり、前記辞書のそれぞれが、前記前に圧縮されたデー
タのヒストリに関連することを特徴とし、前記複数のコ
ンテキスト依存辞書内の対応句を参照するために前記ポ
インタ・データを利用することによって前記圧縮された
データを復号するステップと、前記データを形成するた
めに前記参照された句を組み合わせるステップとを含む
方法。 （１２）辞書ベース・データ圧縮処理によって前に圧縮
されたデータを圧縮解除するためのシステムであって、
前記前に圧縮されたデータが、前記圧縮処理中に形成さ
れた複数のコンテキスト依存辞書内に含まれる句を参照
するポインタ・データからなり、前記辞書のそれぞれ
が、前記前に圧縮されたデータのヒストリに関連するこ
とを特徴とし、前記複数のコンテキスト依存辞書内の対
応句を参照するために前記ポインタ・データを使用する
ことによって前記圧縮されたデータを復号するための手
段と、前記データを形成するため前記参照された句を組
み合わせるための手段とを含むシステム。 （１３）メモリと、前記メモリに結合された入出力イン
ターフェースと、データ句の圧縮を潜在的に達成するた
めに、受け取った前記データ句を符号化するための、前
記メモりおよび前記インターフェースに結合されたプロ
セッサとを含み、前記プロセッサが、符号化された句の
それぞれに関連するヒストリの関数として前記符号化さ
れた句の辞書を展開し、前記辞書を前記メモリ内に記憶
し、前記辞書の部分集合のうちのどれが、統計的に次の
句の最も高い圧縮を提供するかを判定し、前記次の句を
符号化するために前記部分集合内の辞書を選択するた
め、圧縮される前記次の句に関連する特定のヒストリを
使用するように動作可能であることを特徴とする、デー
タ処理システム。 （１４）前記符号化された句が、前記メモリに記憶され
ることを特徴とする、上記（１３）に記載のデータ処理
システム。 （１５）前記符号化された句が、前記データ処理システ
ムに結合された記憶媒体に記憶されることを特徴とす
る、上記（１３）に記載のデータ処理システム。 （１６）データ処理システムにおいて、ある期間にわた
って観察される記号のストリーム内の未知の記号の次の
シーケンスを予測する方法であって、辞書のうちの複数
がコンテキスト依存である、前に観察された記号の前記
辞書を展開するステップと、前記辞書の複数の部分集合
のうちのどれが、統計的に前記記号の次のシーケンスの
最も正確な予測を提供するかを判定するステップと、前
記記号の次のシーケンスを予測するために、前記判定さ
れた部分集合内の辞書を選択するステップとを含む方
法。 （１７）ある期間にわたって観察される記号のストリー
ム内の未知の記号の次のシーケンスを予測するためのシ
ステムであって、辞書のうちの複数がコンテキスト依存
である、前に観察された記号の前記辞書を展開する手段
と、前記辞書の複数の部分集合のうちのどれが、統計的
に前記記号の次のシーケンスの最も正確な予測を提供す
るかを判定する手段と、前記記号の次のシーケンスを予
測するために、前記判定された部分集合内の辞書を選択
する手段とを含むシステム。 （１８）辞書のそれぞれが前に「圧縮」されたデータ句
を含み、複数の前記辞書のうちの少なくとも１つがコン
テキスト依存である、前記複数の辞書を展開するための
第１命令セットと、次のデータ列の統計的に最適と見積
もられる「圧縮」を提供する、前記複数の辞書の基礎集
合を選択するための第２命令セットと、前記複数の辞書
のうちの選択された１つが、前記次のデータ列のコンテ
キストに対応する、前記次のデータ列を「圧縮」するた
めの前記基礎集合内の前記複数の辞書化のうちの前記１
つを選択するための第３命令セットと、前記複数の辞書
のうちの前記選択された１つに含まれる前記前に「圧
縮」されたデータ句のうちの１つを指すポインタを使用
することによって、前記次のデータ列を「圧縮」するた
めの第４命令セットとを含む、コンピュータ記憶媒体に
記憶された、データを「圧縮」するためのコンピュータ
・プログラム。 （１９）前記コンピュータ記憶媒体が、磁気記憶媒体で
あることを特徴とする、上記（１８）に記載のコンピュ
ータ・プログラム。 （２０）前記コンピュータ記憶媒体が、光記憶媒体であ
ることを特徴とする、上記（１８）に記載のコンピュー
タ・プログラム。

【０１７５】

【発明の効果】本発明によれば収束速度が早く、短いシ
ーケンスに対してより効率的なデータ圧縮技法を提供す
ることができる。

【図面の簡単な説明】

【図１】特定のデータ列に対する従来技術の辞書木を示
す図である。

【図２】Ｄ＝３の深さを有するヒストリ木を示す図であ
る。

【図３】基礎集合を示す図である。

【図４】本発明の代替実施例の流れ図である。

【図５】本発明の好ましい実施例の流れ図である。

【図６】本発明の代替実施例の流れ図である。

【図７】本発明を実施するためのデータ処理システムを
示す図である。

【図８】本発明の実施例のブロック図である。

【図９】処理２の実施中のさまざまなコンテキスト依存
辞書の成長を示す図である。

【図１０】処理２の実施中のさまざまなコンテキスト依
存辞書の成長を示す図である。

【図１１】処理２の実施中のさまざまなコンテキスト依
存辞書の成長を示す図である。

【図１２】処理２の実施中のさまざまなコンテキスト依
存辞書の成長を示す図である。

【図１３】処理２の実施中のさまざまなコンテキスト依
存辞書の成長を示す図である。

【図１４】処理２の実施中のさまざまなコンテキスト依
存辞書の成長を示す図である。

【図１５】本発明の処理３によるコンテキスト依存辞書
の成長を示す図である。

【図１６】本発明の処理３によるコンテキスト依存辞書
の成長を示す図である。

【図１７】本発明の処理３によるコンテキスト依存辞書
の成長を示す図である。

【図１８】本発明の処理３によるコンテキスト依存辞書
の成長を示す図である。

【図１９】本発明の処理３によるコンテキスト依存辞書
の成長を示す図である。

【符号の説明】

７００ ハードウェア・システム ７０１ ＣＰＵ ７０２ 主記憶 ７０３ ビデオ・メモリ ７０４ キーボード ７０５ マウス（またはライト・ペン、電子ペン、デー
タ・タブレットなど） ７０６ 大容量記憶装置 ７０７ システム・バス ７０８ 表示装置 ７１１ 入出力ポート ８００ エンコーダ ８０１ デコーダ

───────────────────────────────────────────────────── フロントページの続き (72)発明者 ジョイ・アロイシウス・トマス アメリカ合衆国10607 ニューヨーク州ホ ワイト・プレーンズ ビルトム・ロード 21 (72)発明者 パンテリス・ジー・ツォウカス アメリカ合衆国10549 ニューヨーク州マ ウント・キスコ フォックス・デン・ロー ド 56

Claims (20)

【特許請求の範囲】
1. 【請求項１】データ処理システムにおいて、 データ・ストリームの符号化中に句の辞書を展開し、記
   憶するステップと、 次のデータ列に先行する前記データ・ストリームのコン
   テキストの関数としての前記データ・ストリーム内の前
   記次のデータ列の符号化のために前記辞書内の前記句の
   うちの１つを選択するステップと、 前記選択された句を用いて前記次のデータ列を符号化す
   るステップとを含む、データを圧縮するための方法。
2. 【請求項２】前記句の辞書が、符号化された句の複数の
   木を含み、前記複数の木のそれぞれが、特定のコンテキ
   ストに対応し、前記選択するステップがさらに、 前記複数の木のそれぞれについて潜在的な圧縮率を判定
   するステップと、 前記次のデータ列を符号化するために、前記複数の木の
   中の、最も低い前記判定された圧縮率を有する木を使用
   するステップとを含むことを特徴とする、請求項１に記
   載の方法。
3. 【請求項３】前記次のデータ列を用いて、前記次のデー
   タ列に先行する前記データ列の前記コンテキストに対応
   する前記複数の木のそれぞれを拡張するステップをさら
   に含む、請求項２に記載の方法。
4. 【請求項４】前記使用するステップがさらに、前記選択
   された句を指すポインタを作るステップを含むことを特
   徴とする、請求項２に記載の方法。
5. 【請求項５】データ処理システムにおいて、 符号化される句のそれぞれに関連するヒストリの関数と
   して、前記符号化される句の辞書を展開し、記憶するス
   テップと、 統計的に最も高い潜在圧縮を提供すると判定される前記
   辞書の部分集合を選択するステップと、 次の句を符号化するため、前記部分集合内の、前記次の
   句のヒストリに対応する特定のヒストリを使用するステ
   ップとを含む、データを圧縮するための方法。
6. 【請求項６】前記選択するステップがさらに、前に符号
   化された句に関して前記辞書の部分集合の圧縮効率を比
   較するステップを含むことを特徴とする、請求項５に記
   載の方法。
7. 【請求項７】前記選択するステップがさらに、 （ａ）前記辞書のそれぞれの平均深さを計算するステッ
   プと、 （ｂ）前記辞書のそれぞれの中で可能な句ポインタの最
   長の長さを計算するステップと、 （ｃ）前記辞書のそれぞれの潜在的な圧縮率を導出する
   ために、（ａ）に対する（ｂ）の比を計算するステップ
   と を含むことを特徴とする、請求項５に記載の方法。
8. 【請求項８】前記次の句を圧縮するために、前記選択さ
   れた部分集合内の句を選択するステップと、 前記選択された句に対応するポインタを計算するステッ
   プと、 前記特定のヒストリを含む木のそれぞれの根にトークン
   を追加するステップと、 前記次の句に含まれる記号の関数として、すべての木の
   トークンを移動するステップとをさらに含む、請求項５
   に記載の方法。
9. 【請求項９】コンテキスト依存辞書のそれぞれが前に符
   号化されたデータのヒストリに関連する、複数の前記コ
   ンテキスト依存辞書を展開し、記憶するための手段と、 次のデータ列に関連する特定のヒストリの関数として前
   記次のデータ列を符号化するための手段とを含み、 前記符号化手段がさらに、 選択された部分集合のそれぞれが、前記次のデータ列に
   関連する前記特定のヒストリに対応する辞書を含む、前
   記辞書の前記選択された部分集合について潜在的圧縮率
   を計算するための手段と、 最も低い潜在的圧縮率を有する前記選択された部分集合
   内の部分集合を選択するための手段と、 前記次のデータ列を圧縮するために、前記特定のヒスト
   リに対応する前記選択された部分集合内の辞書を利用す
   るための手段とを含むことを特徴とするデータを圧縮す
   るためのシステム。
10. 【請求項１０】前記複数の辞書が、符号化された句の全
    体辞書を形成するように相互に関連していることを特徴
    とする、請求項９に記載のシステム。
11. 【請求項１１】データ処理システムにおいて、辞書ベー
    ス・データ圧縮処理によって前に圧縮されたデータを圧
    縮解除するための方法であって、前記前に圧縮されたデ
    ータが、前記圧縮処理中に形成された複数のコンテキス
    ト依存辞書内に含まれる句を参照するポインタ・データ
    からなり、前記辞書のそれぞれが、前記前に圧縮された
    データのヒストリに関連することを特徴とし、 前記複数のコンテキスト依存辞書内の対応句を参照する
    ために前記ポインタ・データを利用することによって前
    記圧縮されたデータを復号するステップと、 前記データを形成するために前記参照された句を組み合
    わせるステップとを含む方法。
12. 【請求項１２】辞書ベース・データ圧縮処理によって前
    に圧縮されたデータを圧縮解除するためのシステムであ
    って、前記前に圧縮されたデータが、前記圧縮処理中に
    形成された複数のコンテキスト依存辞書内に含まれる句
    を参照するポインタ・データからなり、前記辞書のそれ
    ぞれが、前記前に圧縮されたデータのヒストリに関連す
    ることを特徴とし、 前記複数のコンテキスト依存辞書内の対応句を参照する
    ために前記ポインタ・データを使用することによって前
    記圧縮されたデータを復号するための手段と、 前記データを形成するため前記参照された句を組み合わ
    せるための手段とを含むシステム。
13. 【請求項１３】メモリと、 前記メモリに結合された入出力インターフェースと、 データ句の圧縮を潜在的に達成するために、受け取った
    前記データ句を符号化するための、前記メモりおよび前
    記インターフェースに結合されたプロセッサとを含み、 前記プロセッサが、 符号化された句のそれぞれに関連するヒストリの関数と
    して前記符号化された句の辞書を展開し、 前記辞書を前記メモリ内に記憶し、 前記辞書の部分集合のうちのどれが、統計的に次の句の
    最も高い圧縮を提供するかを判定し、 前記次の句を符号化するために前記部分集合内の辞書を
    選択するため、圧縮される前記次の句に関連する特定の
    ヒストリを使用するように動作可能であることを特徴と
    する、データ処理システム。
14. 【請求項１４】前記符号化された句が、前記メモリに記
    憶されることを特徴とする、請求項１３に記載のデータ
    処理システム。
15. 【請求項１５】前記符号化された句が、前記データ処理
    システムに結合された記憶媒体に記憶されることを特徴
    とする、請求項１３に記載のデータ処理システム。
16. 【請求項１６】データ処理システムにおいて、ある期間
    にわたって観察される記号のストリーム内の未知の記号
    の次のシーケンスを予測する方法であって、 辞書のうちの複数がコンテキスト依存である、前に観察
    された記号の前記辞書を展開するステップと、 前記辞書の複数の部分集合のうちのどれが、統計的に前
    記記号の次のシーケンスの最も正確な予測を提供するか
    を判定するステップと、 前記記号の次のシーケンスを予測するために、前記判定
    された部分集合内の辞書を選択するステップとを含む方
    法。
17. 【請求項１７】ある期間にわたって観察される記号のス
    トリーム内の未知の記号の次のシーケンスを予測するた
    めのシステムであって、 辞書のうちの複数がコンテキスト依存である、前に観察
    された記号の前記辞書を展開する手段と、 前記辞書の複数の部分集合のうちのどれが、統計的に前
    記記号の次のシーケンスの最も正確な予測を提供するか
    を判定する手段と、 前記記号の次のシーケンスを予測するために、前記判定
    された部分集合内の辞書を選択する手段とを含むシステ
    ム。
18. 【請求項１８】辞書のそれぞれが前に「圧縮」されたデ
    ータ句を含み、複数の前記辞書のうちの少なくとも１つ
    がコンテキスト依存である、前記複数の辞書を展開する
    ための第１命令セットと、 次のデータ列の統計的に最適と見積もられる「圧縮」を
    提供する、前記複数の辞書の基礎集合を選択するための
    第２命令セットと、 前記複数の辞書のうちの選択された１つが、前記次のデ
    ータ列のコンテキストに対応する、前記次のデータ列を
    「圧縮」するための前記基礎集合内の前記複数の辞書化
    のうちの前記１つを選択するための第３命令セットと、 前記複数の辞書のうちの前記選択された１つに含まれる
    前記前に「圧縮」されたデータ句のうちの１つを指すポ
    インタを使用することによって、前記次のデータ列を
    「圧縮」するための第４命令セットとを含む、コンピュ
    ータ記憶媒体に記憶された、データを「圧縮」するため
    のコンピュータ・プログラム。
19. 【請求項１９】前記コンピュータ記憶媒体が、磁気記憶
    媒体であることを特徴とする、請求項１８に記載のコン
    ピュータ・プログラム。
20. 【請求項２０】前記コンピュータ記憶媒体が、光記憶媒
    体であることを特徴とする、請求項１８に記載のコンピ
    ュータ・プログラム。