JP2568343B2

JP2568343B2 - テキスト情報圧縮システム

Info

Publication number: JP2568343B2
Application number: JP4041591A
Authority: JP
Inventors: アーネスト・アルバート・フリーマン
Original assignee: Wang Laboratories Inc
Current assignee: Wang Laboratories Inc
Priority date: 1983-08-16
Filing date: 1992-02-27
Publication date: 1997-01-08
Anticipated expiration: 2012-01-08
Also published as: AU3174384A; JP2575259B2; EP0134543A2; JPS60101669A; JP2568344B2; JPH05197760A; JPH05197720A; DE3482065D1; JP2581661B2; EP0134543B1; AU574702B2; JPH05197721A; EP0134543A3; US4672679A; CA1209274A

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、データプロセッシング
システム、ワードプロセッシングシステム、及び通信シ
ステムに関し、より詳細にはテキスト情報を圧縮するた
めの方法に関する。このような関係においては、テキス
ト情報は、記号又は文字の定められた組、又はアルフア
ベットから選択された記号又は文字の構造化された順序
で表わされる任意の情報として定義される。テキスト情
報の一般的な例は、例えば、英語、ドイツ語又はフラン
ス語で書かれた手紙、レポート、及び原稿、業務記録及
び会計記録、科学的データ、並びに図形記号の配列から
成る図形表示などの書類を含む。

【０００２】

【従来の技術】データ処理システム及び通信システムに
おいては、限りなく増える情報の量を記録し、処理し、
通信するという問題が繰返し生じてくる。斯かるシステ
ムの情報取扱い要求は、ひかえ目に見ても急激に増加
し、且つ使用できるメモリとデータリンクの容量が増え
るよりも更に急激に増えていく。更に、特定システムに
配設できる或いは付加できる記憶又は通信の能力には物
理的又は経済的な制限が課せられることが多い。その結
果、よく多くの量の情報をシステムに取扱わせるため
に、記憶又はデータリンク容量を増やすという方法では
ない他の方法が開発されてきた。斯かる方法の１つは、
データ圧縮と呼ばれる。これは、システムのユーザによ
ってシステムに通信される情報が、このシステムによっ
てよりコンパクトな或いは縮小した形に変換され記憶又
は伝送に供されるという方法である。この情報は、その
小さくなった形から変換、即ち再生（decompression）
されて元の形に戻り、ユーザに通信される。

【０００３】システムとこのシステムのユーザ間で通信
される情報の形としての言語は、かなりの度合の冗長度
を含んでいるのが一般的である。即ち、情報が表現され
る形としての言語は、実際の情報を完全に且つ正確に表
現するのに要するよりも多くの情報を含んでいる。ワー
ドプロセッシングにおける一般的な例としては、情報、
即ちテキストが、ユーザとシステムの間で、ピリオド、
コンマ、スペース、タブ及行帰線等の句読点及び書式文
字を含む英文言語の形として通信されるものが挙げられ
る。テキスト圧縮は斯かる冗長のために可能であり、基
本的には、テキストのユーザ言語の形から冗長な情報を
削除することにより、ユーザ言語テキストをよりコンパ
クトな形に変換する。

【０００４】従来のテキスト圧縮方法は、分配的冗長
度、即ち、特定の文字、文字の組合わせ、及び特定のユ
ーザ言語におけるワードの使用もしくは発生頻度におけ
る非直線性に基づいていた。例えば、英語の言語の場
合、文字「ｅ」及び「スペース」は、「ｙ」又は「ｚ」
よりも頻繁に発生し、特定の文字の対、又は合字、例え
ば、「ｔｈ」及び「ｅｓ」、並びに特定のワード、例え
ば、「ｔｈｅ」、「ｏｆ」、及び「ａｎｄ」は頻繁に発
生する。

【０００５】従来の技術は、可変長のコードワード、又
は文字を指定し、特定の言語において頻繁に現れれる文
字、文字の組合せ及びワードを表すことにより圧縮を達
成するのにこの分配的冗長度を用いていた。即ち、最も
頻繁に現れる文字、文字の組合せ及びワードは、割当て
られた短いコード文字である。共通性の少ない文字の組
合せ及びワードは、発生頻度に応じて、割当てられた長
いコード文字となり、或いはより頻繁に発生する文字、
文字の組合せ及びワードのシーケンスとして「完全綴
り」にされる。

【０００６】データ処理システム、ワードプロセッシン
グシステム及び通信システムにおけるテキストの実際の
圧縮及び再生は、頻繁に発生する文字、文字の組合せ及
びワードを対応する割当てられたコード文字に関係づけ
る「ルックアップテーブル」を用いて実施されるのが一
般的である。圧縮テーブル及び再生テーブルは、実際の
圧縮動作再生動作から別々に発生され、これらのテーブ
ルは、一般的に、ユーザ言語における非常に大量のテキ
ストの十分に詳細な言語学的分析を必要とする。ここで
銘記すべきことは、ある特定の言語におけるあり得るワ
ード及び文字の各々に対してコード文字を割当てること
は可能ではあるが、その結果生じるコード文字及びテー
ブルは、テキスト圧縮によって節約されるであろうメモ
リスペースよりも多くのメモリスペースを必要とする大
きなものになることである。

【０００７】テキスト圧縮の分配的冗長度方法は、オリ
ジナルテキストが形成されている形としての個々の言語
の言語学的特徴に依存するところが大である。特に、よ
り大きな言語ユニット、例えば、文字の組合せ及びワー
ドに関して依存するところが大である。例えば、英語、
ドイツ語、フランス語、ロシア語、イタリア語及びスカ
ンジナビア語は全て、はっきりと異なった言語学的特徴
を有しており、異なった分析方法を必要としており、従
って、非常に異なった圧縮テーブル及び再生テーブルが
できる。従って、従来の圧縮技術は、圧縮テーブル再生
テーブルを発生するために、独立のユーザ言語の各々に
おける非常に大量のテキストの詳細な言語学的分析を必
要としたのである。

【０００８】

【発明が解決しようとする課題】分配的冗長度方法の言
語学的依存性、特に大きな言語学的ユニットに関しての
依存性の故に、広い範囲の言語にわたって分配的冗長度
を分析するための完全に一般的な目的方法を開発するこ
とは困難である。更に、且つ同じ理由でもって、ある特
定の言語に対する圧縮テーブル再生テーブルは、動作の
対象となるテキストの特定の「通用語」に依存すること
がある。例えば、業務テキスト、科学テキスト及び文献
テキストに対する言語学的特徴は十分に異なるため、そ
れぞれの用途に対する独立したテーブルを必要とする。

【０００９】更に、斯かる方法は、異なった寸法の言語
的ユニット及びコードワードを使用しているため、圧縮
／再生は比較的精巧なプログラムを必要とし、複雑な分
解能力と処理能力及び時間並びにプログラムメモリスペ
ースが相応して増加する。同じ理由により、圧縮動作及
び再生動作は対称的とはなり得ない。即ち、別々のテー
ブルを必要とし、且つ異なるルーチンの実施を必要とす
るため、これも処理及びメモリの要求が増加する。最後
に、同じ理由で、斯かる方法は、テキストが一連の小さ
な「バッチ」動作として処理されなければならない時
の、即ちこれらのバッチ処理される大きさが言語的ユニ
ット及びコードワードの大きさによって決定される時
の、連続的なインラインテキスト処理又は通信には好ま
しくない。

【００１０】本発明の目的は、テキスト情報を圧縮する
方法を提供することである。

【００１１】更なる目的は、広範囲な言語に用いるのに
適するテキスト情報に圧縮することである。

【００１２】更なる目的は、言語の言語学的特徴に比較
的依存しないテキスト情報に圧縮することである。

【００１３】更に他の目的は、改良された速度でテキス
ト情報を圧縮することである。

【００１４】

【課題を解決するための手段】前記の目的を達成するた
めに、情報処理システムにおいて、テキスト情報を圧縮
するための方法は、各文字及びテキストの関連する文脈
を連続して読み取るステップ、各前記テキスト文字及び
関連する文脈に対して対応するコード文字を選択するス
テップ、及び圧縮された形の前記テキスト文字を構成す
るように前記コード文字を提供するステップを備える。

【００１５】本発明に係るテキスト圧縮／再生方法は、
文脈（context）冗長度、即ち、個々の文字（characte
r）がテキストの中に存在している文脈の非均一的分
布、或いは、同義的には、与えられたセットの文脈にお
ける文字の発生の非均一的分布に基づいて動作する。本
明細書に定義される文脈は、１つのテキストを構成する
個々の文字に先行又は後続する均一に寸法化された群の
文字を含んでいる。

【００１６】

【作用】本明細書に記載される方法は、抽象的なグルー
プ分け及びテキスト文字間の相関関係でもって動作する
のであり、言語学的分析のいかなる形にも或いは言語学
的特徴のいかなる形にも、更にいかなる言語の要素にも
基づくものではない。従って、本方法は、一般的であ
り、いかなる言語にも、或いはある言語のいかなる「通
用語」にも等しく適用できる。

【００１７】本方法及び装置は、均一に寸法化されたテ
キストの群及びコード文字の群でもって動作し、従って
複雑性が小さくなり且つ他の方法よりも必要とする処理
時間及び能力が小さくなり、従って高速で実施される。
本方法は、実施において対称的（symmetric）であり、
唯一つの組み合わされた圧縮／再生テーブルを必要と
し、オンライン連続プロセスに好適である。

【００１８】コードとテキスト文字間の相関関係を定め
る情報の一部は文脈、即ち、テキスト自体に、その圧縮
された形と及び圧縮されていない形の両方でもって存在
している。これにより、圧縮されたテキストを一義的に
表わすため、必要とする独特なコード文字は少なくて済
み、従ってコード文字は短くて済む。結果として生じる
圧縮されたテキストは、これにより、より少ないビット
の情報で表わすことができる。

【００１９】

【実施例】次の記述により、データ処理ワードプロセッ
シング及び通信オペレーションを実施し且つ本発明を組
込む能力を有するコンピュータシステムのハードウエア
及びソフトウエアの一般的な構造及びオペレーション
を、先ず簡単に説明する。斯かるシステムの構造及びオ
ペレーションは、当業者にとっては、本明細書に説明さ
れているように、良く理解されるであろう。更に、斯か
るシステムの構造及びオペレーションの詳細について
は、本明細書にも引例として挙げられている米国特許出
願第４４０，６６８号に与えられている。一応の脈絡、
即ち、本発明に係る方法を実行するための装置を説明し
たので、本発明に係る文脈冗長度テキスト圧縮方法を次
に詳細に説明することにする。

【００２０】説明は以下の順におこなう。

【００２１】１．コンピュータシステムの構造及びオペ
レーションＡ．ハードウエアー構造及びオペレーションａ．ＡＬＵ及びバスｂ．内部制御論理ｃ．メモリｄ．Ｉ／ＯデバイスＢ．ソフトウエア構造及びオペレーション２．文脈冗長度テキスト圧縮及び再生１．コンピュータシステムの構造及びオペレーション図１について説明する。この図には、本発明に従うコン
ピュータシステムの斜視図が示されている。システム１
０は、表示装置１２、キーボード１４及び中央処理装置
（ＣＰＵ）１６を含んでいる。表示装置１２及びキーボ
ード１４は、情報、例えば、テキストが本システムとユ
ーザとの間で通信される時に用いられる主な手段であ
る。図示されないケーブルで表示装置１２及びキーボー
ド１４に接続されているＣＰＵ１６は、プログラム及び
データを記憶するためのメモリ及び多目的演算装置（Ａ
ＬＵ）を含んでいる。ＣＰＵ１６は、更に、プログラム
及びデータを記憶するためのディスクドライブ並びに周
辺デバイス、例えばプリンタ、ディスクドライブ及び通
信デバイスに至るインターフェースを含んでいる。シス
テム１０は、例えば、マサチューセッツ州ローウェルの
ウォング・ラボラトリーズ・インコーポレーテッド（Wa
ng Laboratories, Inc.）製市販の「プロフェッショナ
ルコンピュータ」から成り得る。

【００２２】Ａ．ハードウエア構造及びオペレーションａ．ＡＬＵ及びバス図２及び第３図について説明する。この図には、システ
ム１０のブロック図が示されている。システム１０のＣ
ＰＵ１６中のＡＬＵは、メインプロセッサ（以下メイン
Ｐと称す）１８及びコプロセッサ（以下ＣＯ−Ｐと称
す）２０から成る。メインＰ１８及びＣＯ−Ｐ２０は、
例えば、それぞれ、１６ビットＩｎｔｅｌ８０８６Ａ
ＬＵ及びＩｎｔｅｌ８０８７数値プロセッサ拡張部で
あり得る。メインＰ１８及びＣＯ−Ｐ２０は、ＣＰＵ１
６に対するアドレス指定、メモリ参照、及び入力／出力
（Ｉ／Ｏ）オペレーションを含む全ての演算及び論理オ
ペレーションを行う。

【００２３】メインＰ１８及びＣＯ−Ｐ２０は、局所的
（Local）バス２２と連通し且つアドレスバス２４、デ
ータバス２６及び制御バス２８を通してＣＰＵ１６の残
りの部分、表示装置１２、キーボード１４及び全ての周
辺デバイスと連通している。メインＰ１８とＣＯーＰ２
０並びにバス２４、２６及び２８間のインターフェイス
は、アドレスラッチ３０、データトランシーバ３２及び
バス制御３４を通して行なわれる。

【００２４】ｂ．内部制御論理次に、ＣＰＵ１６の内部制御論理について説明する。メ
インＰ１８及びＣＯーＰ２０に関連しているのは、シス
テムクロック３６と待ち状態ロジック（Wait State Log
ic）３８である。システムクロック３６は、ＣＰＵ１６
に対する全てのクロックタイミング信号のソースであ
る。待ち状態ロジック３８は、基本的に、ＣＰＵ１６の
動作を監視し、且つＣＰＵ１６の動作におけるコンフリ
クトを防止するために、制御バス２８を通してシステム
クロック３６と及びＣＰＵ１６の他のエレメントに制御
信号を発生する。

【００２５】ＣＰＵ１６の他の制御エレメントは、カウ
ンタ及びタイマチップ（ＣＴＣ）４０及びプログラマブ
ル割込みチップ（ＰＩＣ）４２を含む。ＣＴＣ４０は、
例えば、Ｉｎｔｅｌ８２５３であり、且つＰＩＣはＩ
ｎｔｅｌ８２５５Ａであり得る。直ぐに処理されなけ
ればならない、即ち、後の動作のためにマスクすること
ができない割込み状態を処理するために、マスク不能割
込みロジック４４がＰＩＣ４２と関連して動作する。斯
かる割込み状態は、パリティ及びＩ／Ｏエラーを含んで
いる。

【００２６】ＣＰＵ１６は、システム１０の周辺デバイ
スと、以下に示す例えばＣＰＵ１６のメモリとの間でマ
ップされたメモリリファレンス及び直接メモリアクセス
（ＤＭＡ）オペレーションの両方を実施する能力を有す
る。ＤＭＡオペレーションは、ＤＭＡバス獲得ロジック
（論理）４６及びＤＭＡ制御（ＤＭＡ）４８によって制
御される。ＤＭＡ獲得論理４６は、特にメモリ及びバス
オペレーションにおいて、システム１０のオペレーショ
ンを監視し、ＤＭＡオペレーションが実施される時にＤ
ＭＡ許可信号を制御バス２８に発生する。ＤＭＡ４８
は、例えば、周辺デバイスからのＤＭＡオペレーション
要求を検出し、斯かる要求の存在をＤＭＡバス獲得４６
に通知し、ＤＭＡバス獲得論理４６がＣＰＵ１６のバス
に対するアクセスを許可した時にＤＭＡオペレーション
を制御する。

【００２７】ｃ．メモリＣＰＵ１６の主内部メモリは、１２８ＫＢランダムアク
セスメモリ（ＲＡＭ）５０であり、これは、オペレーテ
ィングシステムと動作の対象となる応用プログラム及び
データ、例えばテキストを記憶するのに用いられる。オ
ペレーティングシステムプログラムは、例えば、マイク
ロソフト社（Micro Soft Corporation）市販のマイクロ
ソフトディスクオペレーティングシステム（登録商標Ｍ
ＳＤＯＳ）から成り、且つベーシック入力及び出力シス
テム（ＢＩＯＳ）を含み得る。

【００２８】ＭＳＤＯＳは基本的には、システム１０の
エグゼクチブ（管理的）内部オペレーションを制御する
のに対し、ＢＩＯＳは、システム１０、表示装置１２と
キーボード１４並びに広範囲の周辺デバイス間のインタ
ーフェースを制御するプログラムを含む。

【００２９】必要に応じて、１２８ＫＢＲＡＭ５０の容
量は、５１２ＫＢＲＡＭ５２を付加することにより増加
することができる。５１２ＫＢＲＡＭ５２は、アドレス
バス２４、データバス２６及び制御バス２８から１２８
ＫＢＲＡＭ５０に並列に接続されており、１２８ＫＢＲ
ＡＭ５０と平行に且つその一部として効果的に動作す
る。

【００３０】消去可能プログラマブル読出し専用メモリ
（ＥＰＲＯＭ）５４は、上に述べられたオペレーティ
ングシステム及び応用プログラムをディスクドライブ５
６のディスケットから１２８ＫＢＲＡＭ５０及び５１２
ＫＢＲＡＭ５２にロードするのに用いられるプログラム
を記憶し且つ供給する。

【００３１】図２に示すように、ディスクドライブ５６
は、アドレスバス２４、データバス２６及び制御バス２
８から接続され、フロッピー制御器５８によって制御さ
れる。オペレーティングシステム及び応用プログラムを
記憶し且つ供給することに加えて、ディスクドライブ５
６は、１２８ＫＢＲＡＭ５０及び５１２ＫＢＲＡＭ５２
を増加する付加的なメモリ容量として用いられ且つデー
タ、例えば、動作の対象となっているテキストを記憶し
且つロードするのに用いられる。この点に関して述べる
と、ディスクドライブ５６は、例えば、テキスト又はデ
ータディスケット上で１つのシステムから別のシステム
に転送するＩ／Ｏデバイスとして用いられる。

【００３２】ディスクドライブ５６の容量は、ディスク
ドライブ５６及びＲＡＭ５０及び５２と平行にアドレス
バス２８、アドレスバス３０及び制御バス３２から接続
されるウインチェスタハードディスクドライブ６０及び
ディスク制御器６２を付加することにより増加される。
ハードディスクドライブ５６は、動作の対象となるプロ
グラム及びデータを記憶するためのＲＡＭ５０及び５２
に至る延長として用いられる。

【００３３】ｄ．Ｉ／Ｏデバイス前に述べたように、表示装置１２及びキーボード１４
は、システム１０とユーザ間の通信のための主なＩ／Ｏ
手段である。表示装置１２は、モニタ制御器１３を通し
てアドレスバス２８、データバス３０及び制御バス３２
に接続される従来のＣＲＴ表示装置である。モニタ制御
器１３は、例えば、日本電気のＵＰＤ７２２０型グラフ
ィックデータ制御装置であり得る。キーボード１４は、
ユニバーサル非同期レシーバ／トランスミッタ（ＵＡＲ
Ｔ）１５を通じてキーボード１４とシステムバス２８、
３０及び３２との間のキーボード動作及びデータ／制御
通信を制御するための内部マイクロプロセッサ、例え
ば、ザイログ社Ｚ８０を有する従来のキーボードであ
る。

【００３４】他のＩ／Ｏデバイスはプリンタ６４及び６
６を含む。プリンタ６４は、例えば、従来のデージホイ
ール型プリンタ或いはドットマトリックス型プリンタで
よい。プリンタ６６は、例えば、ロードアイランド州の
イーストグリーニッチのガルトン工業社（Gulton Indus
tries,Inc.）市販のマイクロプロット（Microplot）８
０のようなグラフィック印刷用サーモグラフイックプリ
ンタでよい。

【００３５】更に、システム１０と他のシステム又はデ
バイス間の通信は、通信制御装置（ＴＣ）６８を通して
行われる。ＴＣ６８は、システムバス２８、３０及び３
２と通信変復調装置又は外部デバイス、例えば、メモリ
や表示装置との間の通信用の、例えばザイログ社のＺ８
０型マイクロプロセッサ及びシリアルＩ／Ｏチップを組
込んでいるマイクロプロセッサ制御されたインターフェ
ースデバイスである。

【００３６】ここで銘記すべきことは、上記のシステム
１０は、例示的であり、以下に更に述べるテキスト圧縮
方法は、例えば、広範囲にわたるシステムアーキテクチ
ヤについて実施されることである。この方法は、例え
ば、ザイログ社のＺ８０、モトローラ社のＭＣ６８００
０、インテルの８０８０、８０８６又は８０１８６、又
はナショナルセミコンダクタ社のＮＳ１６０００マイク
ロプロセッサに基づくプロセッサ、又はミニコンピユー
タ又はメインフレームコンピユータ、又はワードプロセ
ッサ又は通信プロセッサについても実施される。

【００３７】上記のようなシステム１０のハードウエア
の構造及びオペレーションについて説明したため、シス
テム１０のソフトウエア構造及びオペレーションについ
て述べることにする。

【００３８】Ｂ．ソフトウエア構造及びオペレーション図４について説明する。この図には、システム１０のソ
フトウエア構造の図が示されている。ここに示すよう
に、システムのソフトウエア構造は、システムハードウ
エアによってユーザの動作を特定の詳細なオペレーショ
ンに変換するための多層構造である。このソフトウエア
構造は、上層のユーザとインターフェースし且つ下層の
システムハードウエアエレメントとインターフェースす
るためのエレメントを含む。中間層は基本的には、ユー
ザ命令及び要求をハードウエアのオペレーションを指示
する命令に変換する。

【００３９】ユーザインターフェースレベルから始まっ
て、ルーチン７０、７２、７４及び７６はシステムの応
用プログラムを含み、システムによって実行される特定
の応用オペレーション、例えば、テキスト又はグラフイ
ック編集或いはデータ処理を決定し、命令する。

【００４０】ユーザインターフェースルーチン７０は、
例えば、表示装置１２、キーボード１４及びシステムデ
ィスク及びプリンタによってユーザと対話するための全
てのルーチンを含む。ユーザインターフェースルーチン
７０はユーザに向けられたものであるが、応用機能イン
ターフェース７２は、ユーザインターフェースルーチン
７０によって行われるユーザ動作オペレーションと、例
えばテキスト編集のような実際の応用オペレーションを
行うソフトウエアとの間をインターフェースする。基本
的には、応用機能インターフェースルーチン７２は、ユ
ーザインターフェースオペレーションの結果を、ユーザ
によって規定される応用オペレーションを指図するため
の命令及びコマンドに変換する。

【００４１】応用ルーチン７４及び７６は、実際の応用
プログラム、即ち、システムが例えば、テキスト又はグ
ラフイック編集オペレーション又はデータ処理オペレー
ションを実行するように指示するプログラムである。応
用ルーチン７４及び７６は、応用機能インターフェース
ルーチン７２から、ユーザによって要求されているオペ
レーションに関する指示を受け、オペレーティングシス
テム７８に、要求されているオペレーションを実施する
ために行われなければならないシステムオペレーション
についての指示を与える。

【００４２】前に述べたように、オペレーティングシス
テム７８は、ＭＳＤＯＳから成り、システムのエグゼク
チブ（管理）制御に必要な全てのルーチンを含んでい
る。オペレーティングシステム７８は、前に説明したよ
うに、ＢＩＯＳから成るハードウエアインターフェース
システム８０とインターフェースする。基本的には、オ
ペレーティングシステム７８は、ユーザによって要求さ
れているオペレーションを実施するために、どの詳細な
オペレーションがシステムによって実行されなければな
らないかを決定し、対応する命令をハードウエアインタ
ーフェースシステム８０に供給する。ハードウエアイン
ターフェースシステム８０は、システム１０のハードウ
エア構造を含む前に説明した種々のエレメントに詳細な
コマンドを供給することによって応答を行なう。

【００４３】前に説明したように、テキスト圧縮によっ
て、テキスト情報をシステム、例えば、メモリ又はディ
スク上に記憶せしめ、或いはよりコンパクトな形でもっ
てシステム或いはデバイス間に通信せしめる。例えば、
上記のシステムの場合、ユーザによってキーボードを通
して入力される、或いはディスクから又は通信リンクを
通してロードされるテキストは、圧縮されてＲＡＭに或
いはディスク上に記憶することができ、或いは通信リン
クを通して送信できる。テキストは、次に、再生（deco
mpress）されて、例えば、表示装置を通して、或いはプ
リンタ上にユーザに対して表示することができる。基本
的には、テキスト圧縮及び再生は、テキスト情報が、シ
ステムエレメントと、かなりの度合の冗長度を含む言
語、例えば、英語を用いているソース又は受け取り側と
の間で通信される時はいつでも実行される。

【００４４】従って、以下に説明するテキスト圧縮方法
は、図４の応用ルーチン７４、７６レベルに相当する応
用プログラムレベルにおいて上記で述べられた斯かるシ
ステムにおいて最も実施されるであろう。しかしなが
ら、この方法は、例えば表示装置及びキーボードに存在
する処理能力の程度に応じて、応用機能インターフェー
ス７２レベルにおいても実行され得る。また、この方法
は、実施がシステムオペレーションの基本的特徴であっ
た場合は、オペレーティングシステム７８又はハードウ
エアインターフェースシステム８０レベルにおいて実行
される。その実施に応じて、以下に述べる圧縮／再生テ
ーブルはＲＡＭ又はＲＯＭの中に置かれる。

【００４５】以上のように、本発明に係る方法が実行さ
れる装置について述べてきたので、本発明に係る文脈冗
長度テキスト圧縮（context redundancy text compress
ion）方法について以下に述べることとする。

【００４６】２．文脈冗長度テキスト圧縮及び再生前に述べたように、テキスト圧縮は、圧縮されるべきテ
キストの言語の中の情報冗長度の発生に依存する。上記
の従来の技術は、分配的冗長度、即ち、オリジナルテキ
ストの言語の中の特定の文字、文字の組合せ及びワード
の発生頻度における非均一性に依っている。

【００４７】本発明に係るテキスト圧縮方法は、文脈冗
長度、即ち、他の文字と順次結合している特定の文字、
即ち文脈の統計的に不均一の発生に基づいている。例え
ば、文字「ｕ」は、文字「ｑ」に続くことが最も多く、
「ｓ」は、「ｅｓ」に続くことが最も多く、且つ「ブラ
ンク」即ち「スペース」は文字「ｅｓｔ」に続くことが
最も多い。

【００４８】この方法の場合、「文脈」は、順番に特定
の文字に先行、或いは続く、文字のシーケンスとして定
義され、それぞれ、先行文脈又は後続文脈と呼ばれる。
文脈は、関連する文字の直ぐ隣に位置する必要はない
が、次の例では、隣接した文脈が用いられている。先行
及び後続文脈は、特定の言語の文字が通常書かれている
シーケンスを基準にして定義される。例えば、英語の場
合、先行文脈は特定の文字の左に現われる文字であり、
後続文脈はその文字の右に現れる文字である。他の言語
の場合、例えば、ヘブライ語或いは中国後の場合、先行
文脈は特定の文字の右に或いは上に現われ、後続文脈は
左又は下に現われる。これらの例では「ｑ」は「ｕ」の
左文脈であり、「ｅｓ」は「ｓ」の左文脈であり、「ｅ
ｓｔ」は「ブランク」の左文脈である。

【００４９】本明細書に説明するテキスト圧縮方法は、
先行文脈及び後続文脈の両方に対して等しい容易さでも
って実施されるが、先行文脈は「オンライン」圧縮及び
再生に最も好適である。後続文脈圧縮及び再生は、「バ
ッチ」処理、即ち、順次的でオーバーラップする文字の
組に対しての記憶及び動作を必要とする。しかしなが
ら、後続文脈圧縮は、特定の状況又は特定の言語にとっ
ては好都合である。

【００５０】テキストを圧縮し再生するのに用いられる
文脈の「次数」は、ここでは、文脈中の文字の数として
定義され、この方法の特定の実施では一定であることが
好ましいであろう。上記の例の場合、「ｑ」は、「ｕ」
の一次文脈であり、「ｅｓ」は「ｓ」の二次文脈であ
り、「ｅｓｔ」は「ブランク」の三次文脈である。上記
の項目を更に定義するために、ある特定の言語を、ｉ＝
１〜ｕである文字Ｘ_ｉ、即ち、Ｘ₁，Ｘ₂・・・Ｘ_u-1，
Ｘ_uから成るアルファベットＡで表わすことにする。こ
の言語が、通常、左から右に書かれていると仮定する
と、文字のシーケンスＸ_nＸ_n-1・・・Ｘ₃Ｘ₂Ｘ₁Ｘ_iがテ
キストに現われるとすると、文字のシーケンスＸ_nＸ_n-1
・・・Ｘ₃Ｘ₂Ｘ₁はＸ_iのｎ次の先行、即ち左文脈とな
る。ここで銘記すべきことは、いかなる文字Ｘ_ｉの文脈
も、文字Ｘ_ｉ自体を含まないことである。

【００５１】本発明に係る方法は、いかなる次数の値ｎ
に対しても実行されるが、ここではｎ＝１及びｎ＝２の
次数に対する例を下に示す。しかしながら、次数の値は
高い方が好ましいであろう。

【００５２】与えられたＸ_ｉ及び与えられた次数ｎに対
して、全ての可能な独特なｎ次の先行文脈の組は、ＰＣ
_n（Ｘ_i）として指定され、ｕ^ｎのメンバまで含むことが
できる。何となれば、独特な文字の各々に対してｕ個の
可能な独特な文字Ｘ_ｉとｎ個の可能な位置とが存在する
からである。与えられた言語に対する全ての可能な独特
なｎ次の先行文脈の組はＰＣ_nと指定され、ｕⁿ⁺¹のメン
バまでを含むことができる。何故ならば、Ｘ_ｉはｕ個の
独特な文字の任意のものでありうるからである。

【００５３】本発明に係るテキスト圧縮方法は、圧縮及
び再生のための「ルックアップ」テーブルの使用を必要
とする。上記から、斯かるテーブルは非常に大きいであ
ろうと見られるが、実際は、これらのテーブルは許容で
きる大きさとなっている。以下に更に述べられるよう
に、本発明の方法及びこの方法を実施するテーブルの構
造は、そのテキスト言語の言語学的特徴には依存しな
い。しかしながら、言語学的特徴は、これらのテーブル
の大きさに影響する。何となれば、特定の文脈はまれで
あり特定の言語には現われず、従って実際にはこれらの
テーブルの大きさを制限しているからである。例えば、
「ｗｃ」は英文においては「ｓ」の先行文脈として現わ
れるのはまれであり、従って英文言語圧縮テーブルには
現われないが、例えば、ポーランド語テーブルには、現
われる。しかしながら、この圧縮方法と、これらのテー
ブルを生成する時に用いる手段は英語の場合もポーラン
ド語の場合も同一である。

【００５４】本発明に係る圧縮／再生テーブルは、発見
的に又は言語学的分析法によって生成される。しかしな
がら、より好ましい方法の場合、これらのテーブルは、
テキストの好ましい本体、例えば、辞書、シソーラス、
原稿或いは文書の文脈分析を通じて生成される。

【００５５】テーブル生成の好ましい方法は、言語学的
分析ではなく機械的である。先ず、文脈ｎの与えられた
次数に対して、テキストのサンプル体が、通常書込まれ
ている方向に従ってシーケンスに文字毎にスキャンさ
れ、各文字Ｘ_ｉに対して発生している各先行文脈ＰＣ_n
（Ｘ_i）の各発生が表にされる。この分析は、各Ｘ_ｉに
対する各ＰＣ_n（Ｘ_i）の発生の頻度のテーブルを与え、
基本的には、文脈冗長度をアルファベット中の各文字に
対する文脈の対応する分配的冗長度にマップする。この
プロセスは、それらのセルに対するインデックスとして
Ｘ_ｉ及びＰＣ_n（Ｘ_i）を用いる表配列を生成し、このサ
ンプルテキストの文字Ｘ_ｉがスキャンされるとセルの内
容を適当に増分することによって、簡単に達成される。

【００５６】上記のテーブルを生成すると、最終テーブ
ルが、特定の文脈に現われる各Ｘ_ｉを、各ＰＣ_n（Ｘ_i）
に対してソートすることによって生成される。即ち、こ
の最終テーブルは、各特定の文脈に対して、その文脈に
現われる全ての文字を含んでいる。これらの文字は、各
文脈に対して、発生の頻度の順に従ってソートされるの
が一般的である。ここで銘記すべきことは、この最終テ
ーブルが、連続する文脈を走査し、一度に１つづつ文字
をシフトし、発生する文脈及び各斯かる文脈に現われる
文字を表にすることにより、第１テーブルからの派生と
してではなく、直接発生されることである。

【００５７】従って、この最終テーブルは、各文脈に対
して１つの「相対的アルファベット」を定義することが
でき、ある特定の文脈に対する相対的なアルファベット
は、発生の頻度の順に従ってその文脈に現れる全ての文
字から成る。以下に更に述べるように、この最終テーブ
ルは、全ての可能な非圧縮テキスト文字と圧縮テキスト
コード文字との間の関係を定めており、そして該テーブ
ルはテキストの圧縮と再生の両方に用いられる。

【００５８】表１について説明する。この表には、次数
ｎ＝２の先行文脈に対する最終圧縮／再生テーブルの説
明的な例が示されている。表１を生成するのに用いられ
ているテキストのサンプル体は、一般的な事務所の通信
文から成る。表１は単に説明的な目的に意図されている
ため、発生する文脈の数個だけが示されており、従って
各文脈に対しては、８個の最も頻繁に発生するテキスト
の文字だけが示されている。

【００５９】多種の２文字文脈が表１の左の垂直のインデックスとし
てリストされており、各文脈に現われるテキスト文字が
対応する文脈の右の列にリストされている。例えば、テ
キスト文字、即ち文脈「ｃｏ」に対して発生する相対的
アルファベットは、発生の頻度の順で表わすと、
「ｎ」、「ｍ」、「ｐ」、「ｕ」、「ｖ」、「ｒ」、
「ｓ」及び「ｄ」である。ここで銘記すべきことは、テ
キスト文字「−」は、１つのスペース、即ちブランクを
表わすのに用いられ、「＊Ｍ」は行の終り文字を表わ
し、「ｎｕｌ」はゼロ頻度数のエントリを表わすことで
ある。

【００６０】表１の上部に水平インデックスとして現わ
れているランク数字は、各文脈に対して、各相対的アル
ファベットの種々のテキスト文字を表わすのに用いられ
るシンボル、或いはコード文字を含んでいる。従って、
文脈「ｃｏ」のテキスト文字「ｍ」に対するコード文字
は「２」である。

【００６１】圧縮／再生テーブル１を検査すると、例え
ば、コード文字「２」はまた、文脈「ｅｅ」、「ｔ
ｅ」、「ｓｅ」及び「ｏｒ」においてテキスト文字
「ｄ」を表わし、文脈「ｔｏ」及び「ｉｏ」においてテ
キスト文字「ｒ」を表わすことが分る。同様にして、コ
ード文字「５」は、文脈「ａ」、「ｉｏ」及び「ｌ
ｏ」においてテキスト文字「ｇ」を表わし、文脈「ｒ
ｅ」、「ｎｅ」及び「ｔｏ」においてテキスト文字
「ｄ」を表わしている。別の例の場合、コード「１１」
は、先行の文脈が「ｉｅ」である場合、「ｓｓ」を表わ
し、先行の文脈「ｏ」である場合は、「ｔｈ」を表わ
す。

【００６２】上記のことから以下のことが明らかであ
る。即ち、同一のコード文字が異なるテキスト文字を表
わすことであり、且つ与えられたテキスト文字が異なっ
たコード文字によって表わされることである。即ち、コ
ード文字とテキスト文字との間にはそれら自体独特の１
対１の関係が存在しないことである。あるコード文字と
あるテキスト文字との間の関係は、そのコード及びテキ
スト文字が現われる特定の文脈に依存する。

【００６３】このことは、以下の例で更に説明される文
脈冗長度圧縮の特徴を示している。即ち、一つのコード
文字は、ある特定のテキスト文字を独自に定義するのに
必要な情報の全ての量をそれ自身に含む必要がないこと
である。コードとテキスト文字との間の関係を定義する
情報の部分は、そのテキスト自身、即ち、その文脈の中
にある。このため、圧縮されたテキストを不明瞭性なし
に表わすのに必要な独特なコード文字は少なく済み、従
って、コード文字は短くて済む。従って、その結果生ず
る圧縮されたテキストは、より少ないビットの情報で表
わされる。従って、テキスト自体は、テキスト情報に加
えて、圧縮された形と圧縮されない形との間にわたる変
換に必要な情報の一部を、圧縮された形及び圧縮されな
い形の両方において含んでいる。

【００６４】テキスト文字とコード文字との間の文脈依
存関係の故に、先行文脈、例えば、「ｎｕｌｓ」或いは
「ブランク」がテキストの最初のｎ文字に対して仮定さ
れるか、或いは課せられる。この「ヘッダ文脈」は、テ
キストの最初の文字或いは諸文字を圧縮又は再生するた
めの既知の文脈を与えており、後続する文字はテキスト
自体の文脈において圧縮或いは再生される。

【００６５】テキストの圧縮及び再生のための本発明に
係る方法及びテーブルの使用を説明するために、句「ｔ
ｏｔａｌｓａｌｔ」がテキストの中に現われており、
「ｔｏｔａｌ」の最初の「ｔ」の先行文脈が、例えば、
（ｔｈ）ｅの「ｅ」であると仮定する。この句の圧
縮及びその後に続く再生は、以下に示す表２及び表３で
説明されている。表２は、圧縮プロセスを示しており表
３は再生プロセスを表している。

【００６６】このサンプルテキストを圧縮するために、各テキスト文
字及びその関連する文脈が順に読出され、好ましい実施
例においては、このテキストが通常書き込まれた順に従
って読み取られる。この例の場合、読み取りは左から右
に行なわれる。この例は２次文脈、即ちｎ＝２の文脈を
用いているため、各文字に対する文脈は、その文字の直
前に先行する２つの文字から成る。このように、ある特
定の文字の２文字先行文脈を決定すると、次にその文脈
は、その文脈に対する相対的アルファベットを位置づけ
るための、この圧縮／再生テーブルへのインデックスと
して用いられる。この文脈と関連して読み取られる文字
は、次に相対的アルファベットの中に置かれ、相当する
コード文字が、この表の上部におけるランクインデック
スに置かれる。このプロセスは、この圧縮オペレーショ
ンが完了するまで、一度に一文字づつ、継続される。

【００６７】例えば、「ｔｏｔａｌ」中の最初の「ｔ」
の先行文脈は、「ｅ」である。「ｅ」は、対応する
相対的アルファベットをつきとめるためにこのテーブル
へのインデックスとして用いられる。その対応する相対
的アルファベットは上から第２番目の相対的アルファベ
ットとして現われている。次のこの相対的アルファベッ
トは、スキャンされて、これによりテキスト文字
「ｔ」、即ち左から２番目のエントリを突きとめ、対応
するコード文字がこのテーブルの上部から「２」として
読み取られる。次のテキスト文字は、「ｔｏｔａｌ」の
「ｏ」であり、「ｏ」の文脈は「ｔ」であり、従っ
て、「ｏ」に対するコード文字もまた「２」となる。３
番目のテキスト文字は、「ｔｏｔａｌ」の２番目の
「ｔ」であり、この「ｔ」の先行文脈は、「ｔｏ」であ
り、そのコード文字は「７」であると決定される。

【００６８】このプロセスはテキストの終わりまで継続
し、この「ｔｏｔａｌｓａｌｔ」の圧縮された形は
「２２７３５１３８２７」となる。

【００６９】同一の圧縮／再生テーブルを用いて、逆の
オペレーションが実行され、これにより圧縮されたテキ
ストを再生する。この場合、読み取られる「テキスト」
は圧縮されたテキストであり、一度に１つづつ且つ書き
込まれた順次に従って読み取られる「文字」は、その圧
縮されたテキストのコード文字である。各コード文字の
先行文脈は、復元されたテキストの先行復号化文字から
成り、このテキストが再生された時に決定される。この
ように決定された文脈は、再びこのテーブルへのインデ
ックスとして用いられ、これにより適当な相対的アルフ
ァベットを選択し、このコード文字は、選択された相対
的アルファベット内の適当なテキスト文字を決定するた
めにインデックスとして用いられる。圧縮オペレーショ
ンに用いられる既知の「ヘッダ文脈」が再び、圧縮され
たテキストの最初の文字或いは諸文字を再生するのに開
始文脈として用いられる。

【００７０】上記と同一の例を用いて、この再生オペレ
ーションを説明するために、再生されるテキストが、コ
ード文字シーケンス「２２７３５１３８２７」から成
り、且つ先行する再生テキストが再び「ｅ」であると
決定されていると仮定する。次に、この再生オペレーシ
ョンが下の表３に説明されている。先行する圧縮テキストが、シーケンス「２２７３５１３
８２７」の開始に再生されていると仮定すると、このシ
ーケンス中の最初の「２」の先行文脈は、このテキスト
の前に再生された部分から「ｅ」であると分る。「ｅ
」は、次にこのテーブルへのインデックスとして用い
られ、これにより、このシーケンスの最初の「２」の相
対的アルファベットを求め、この文字に対しては、この
「ｅ」は、このテーブルの上から２番目の相対的アル
ファベットとなる。このシーケンスのこの最初の「２」
は次に、このテーブルへのインデックスとして用いら
れ、これにより、その相対的アルファベットの対応する
テキスト文字が「ｔ」であることを決定する。次に、こ
のシーケンス中の第２の「２」の先行文脈は、「ｔ」
であることが知られ、このテーブルへのインデックスと
して「ｔ」及び「２」を用いると、この第２の「２」
に対応するテキスト文字は、「ｏ」と求められる。第３
のコード文字は、現在知られている先行文脈「ｔｏ」を
伴う「７」であり、そのテキスト文字は、「ｔ」である
と求めることができ、以下同様となる。

【００７１】更に別の実施においては、上記の圧縮／再
生は、反復的に用いることができ、即ち、圧縮されたテ
キストは、上記と同一の方法を用いて、それ自身が圧縮
されることができる。反復的圧縮は、前記と同じ方法に
よる圧縮／再生テーブルの生成を必要とするが、圧縮さ
れたテキスト資料の文脈冗長度を求め、且つ表を作成す
るために、それらのテキストの圧縮された形を用いる。
従って、テキストの圧縮は、２つのステップのプロセス
になる。即ち、再生プロセスもそうであるが、オリジナ
ルテキストを圧縮する第１ステップと圧縮されたテキス
トを圧縮する第２ステップである。この２つのステッ
プ、即ち、反復的な圧縮／再生は、単一のステップのプ
ロセスのように、「オンライン」で、即ち、連続的プロ
セスとして実施され得る。

【００７２】

【発明の効果】テキスト圧縮／再生の前記の方法の特定
の特徴を繰り返すと、本発明に係る方法は、文脈冗長
度、即ち、個々の文字が発生する文脈の非均一分布に基
づいて動作する。ここに定義されているような文脈は、
テキストを構成する個々の文字に先行又は後続する文字
の均一寸法のグループを含んでいる。

【００７３】この方法に用いられる圧縮／再生テーブル
は、特定の言語の言語学的特徴に影響されるが、この方
法は、いかなる形の言語学的分析或いは、いかなる形の
言語学的特徴或いは、いかなる言語のエレメントにも基
づかない。従って、この方法は、完全に一般的であり、
いかなる言語にも或いは、ある言語の「通用語」に対し
ても等しく適用可能である。

【００７４】この方法は、テキスト及びコード文字の均
一寸法のグループについて動作するため、この方法は複
雑性が少なく、他の方法が必要とするよりも、少ない処
理時間及び能力を必要とし、従って実施速度がより速く
なる。同じ理由でもって、この方法は実施において対称
的であり、唯一の圧縮／再生テーブルを必要とするだけ
であり、オンライン連続プロセスに対して好適である。

【００７５】コード文字とテキスト文字との間の関係を
定める情報の部分は、文脈、即ちテキスト自体に、その
圧縮形及び非圧縮形の両方でもって存在する。このため
に、圧縮されたテキストを不明瞭性なく表わすのに必要
な独特のコード文字は少なくて済み、従ってコード文字
は短かくて済む。従って、その結果生ずる圧縮されたテ
キストは、より少ないビットの情報でもって表わすこと
ができる。

【００７６】従って、本発明によると、テキスト情報
を、広範囲な言語に用いるのに適し、言語の言語学的特
徴に比較的依存しないテキスト情報に圧縮し、かつ改良
された速度で圧縮する方法が提供される。

【図面の簡単な説明】

【図１】本発明を組込んでいるコンピュータシステムの
斜視図。

【図２】図１のコンピュータシステムの一部のブロック
図。

【図３】図１のコンピュータシステムの他の部分のブロ
ック図。

【図４】図１、図２、及び図３のコンピュータシステム
のソフトウエア構造の図。

【符号の説明】

１２表示装置、１４キーボード、１６ＣＰ
Ｕ、１８メインプロセッサ、２０コプロセッ
サ、３６システムクロック、３８待ち状態ロジ
ック、４０カウンタ及びタイマチップ、４２プ
ログラマブル割り込みチップ、４４非マスク可能割
込みロジック、４８ＤＭＡ制御器、５０１２８ＫＢ
ランダムアクセスメモリ、５４消去可能プログラマ
ブル読出し専用メモリ、５６ディスクドライブ、
５８フロッピー制御器、６０ディスクドライブ、
６２ディスク制御器、６６ラスタプリンタ、
６７プリンタ制御器、６８通信制御器、７０ユ
ーザインターフェースルーチン、７２応用機能イン
ターフェースルーチン、７４、７６応用ルーチン、
７８オペレーティングシステム、８０ハードウ
エアインターフェースシステム

───────────────────────────────────────────────────── フロントページの続き (56)参考文献特開昭58−85629（ＪＰ，Ａ) 情報処理Ｖｏｌ．24Ｎｏ．４（1983 年）Ｐ．511

Claims

(57)【特許請求の範囲】

【請求項１】情報処理システムにおける、テキスト情
報を圧縮する方法において、（Ａ）或る言語のテキストの各テキスト文字及び関連す
る文脈を読み取るステップであって、各前記文脈は前記
テキスト文字に関連するテキスト文字の組からなる、読
み取るステップと、（Ｂ）前記テキスト文字と前記文脈との組み合わせをイ
ンデックスとして用いて、テーブルから、前記テキスト
文字を表すコード文字を選択する選択ステップであっ
て、前記テーブルは、すべての発生し得るテキスト文字と、
各前記テキスト文字に対して、そのテキスト文字と関連
する各文脈と、を含み、各前記コード文字は、前記言語におけるテキスト文字と
関連する文脈との各組み合わせの発生の頻度に従って、
前記テキスト文字に関連付けされる、ように構成されたテーブルである、選択ステップと、（Ｃ）圧縮された形で前記テキストを成すように前記コ
ード文字を提供するステップと、を備える方法。
【請求項２】請求項１に記載の方法において、前記文脈は各前記テキスト文字の直前の予め定めた固定
の数のテキスト文字からなる、前記方法。
【請求項３】請求項１に記載の方法において、前記テーブルにおいて、各前記コード文字は、テキスト
文字と関連する文脈との複数の異なる組み合わせを表
し、従って、１つの所与の前記コード文字は、複数の異
なるテキスト文字を表し、且つ、コード文字の発生によ
って表された前記テキスト文字は前記コード文字の前記
発生において前記コード文字に関連する前記文脈とテキ
スト文字とによって識別される、前記方法。
【請求項４】請求項１に記載の方法において、前記テーブルは、（ａ）前記言語の代表的なテキストのサンプルのテキス
ト文字及び関連する文脈を読み取るステップであって、
文脈は、前記言語のテキストにおける１つのテキスト文
字と関連するテキスト文字の組である、ステップと、（ｂ）前記テキストのサンプルにおいて発生するテキス
ト文字と関連する前記文脈との各組み合わせを決定する
ステップと、（ｃ）前記言語におけるテキスト文字と関連する文脈と
の各組み合わせの発生の頻度に従って、テキスト文字と
関連する文脈との各組み合わせと、コード文字とを関連
付けるステップと、を行うことによって生成される、前記方法。