JPH0233632A - データ圧縮方式 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】 〔産業上の利用分野〕 本発明は、データの復元可能なイメージを圧縮してデー
タを記憶することにより、大量のデータの記憶スペース
を縮小するためのデータ圧縮方式に関する。

〔従来の技術〕

データの復元可能なイメージを圧縮してデータを記憶す
ることにより、大量のデータの記憶スペース全縮小する
ためのデータ圧縮方式としては１次の方式がある。

（１）ブランク全サプレスして圧縮する方式この方式で
は、データを後方からスキャンしてトレーリングブラン
クの個数を調べ、データのトレーリングブランクを除い
た部分金。

そのぜイズとともに管理し、後方のブランクを除いた残
りのデータ金記憶する。即ち、トレーリングブランクを
除いてデータを可変長として管理、記憶する。

以下余日 （２）ゼロをサプレスして管理する方式この方式では、
数値データの先行するゼロをサプレスして数ｆ直データ
を圧縮し記憶、管理する。

（６）データを可変長として管理する方式この方式では
、データを始めから可変長データとして管理しておき、
データが常に圧縮されている状態に保たれている事にな
っている。即ち、トレーリングブランクは常にサプレス
された状態でデータの記憶、管理が行われている。

（４）反復パターンを管理する方式 この方式では、データ内に反復して出現するパターンを
検出し、データ内の反復して現れるパターンとそのパタ
ーンの反復回数を保持することにより、データを圧縮し
て記憶。

管理する。

〔発明が解決しようとする課題〕

上述した従来の方式（１）及び（２）では、トレーリン
グブランクまたはリーディングゼロのサプレスが行われ
圧縮はされるが、可変長データの管理と大差がなく、ト
レーリングブランクまたはリーディングゼロが少ない場
合にはデータ圧縮の効果が得られないという欠点がある
。さらに。

従来方式（１）　、　（２１、（３１および（４）のい
ずれの方式においても、データの圧縮はレコード内に記
憶されているデータ項目内の圧縮処理に閉じており。

レコード間の重複データの圧縮は行われていないため、
レコード間での重複データに関しての圧縮効率が良くな
いという欠点がある。

本発明の目的は上記欠点を除去し、圧縮効果の向上がは
かれるデータ圧縮方式を提供することにある。

〔問題点全解決するための手段〕

本発明は、データの復元可能なイメージを圧縮して記憶
することにより、大量のデータの記憶スペース金縮小す
るためのデータ圧縮方式において、データの件数が多く
、ソート後のデータ間の差異が少なく、データ長が長い
場合のデータ項目のレコード間の重複データの圧縮に着
目し、データファイル内のデータの構造に関する定義情
報をデータ定義情報ファイルから抽出しデータの圧縮の
制御ヲ行うデータ圧縮制御手段と、データ圧縮制御手段
により呼び出され。

データレコードを読み込み、データ項目ごとにデータを
ソートするデータ項目抽出手段と、データ項目抽出手段
によってソートされた各データ項目ごとに、レコード間
の一致するデータの部分圧縮、トレーリングブランクサ
プレス、反復パターン圧縮によりデータの圧縮を行うデ
ータ項目圧縮手段と、データ項目圧縮手段によって圧縮
されたデータ項目を用いて、圧縮後のレコードを生成す
る圧縮レコード生成手段と？有する。

〔実施例〕

本発明の実施例について図面を参照しながら説明する。

第１図は本発明のデータ圧縮方式の一実施例金示すブロ
ック図である。第１図を参照すると。

本発明の一実施例は、データファイル１．データ定義情
報ファイル２．データ圧縮制御手段３゜データ項目抽出
手段４．データ項目圧縮手段５゜圧縮レコード生成手段
６．圧縮データフ１イル７とから構成されている。

第２図は、データ圧縮制御手段３の処理の流れを示すフ
ローチャートである。第２図を参照すると、データ圧縮
制御手段３では、データファイル１のデータに対するデ
ータの定義情報をデータ定義情報ファイル２から抽出す
る（ステップ２１）。抽出されたデータ定義情報を使用
してデータ項目抽出手段４を実行し、レコード内の各デ
ータ項目ごとにデータ項目の（直によシソ−ｔｆ行う（
ステップ２２）。次に、データ項目抽出手段４によって
抽出されソートされている各データ項目ごとのデータの
圧縮金データ項目圧縮手段５を実行し行う（ステップ２
３）。

最後に、各データ項目ごとにデータ項目圧縮手段５によ
り圧縮されたデータ全レコード通番でソートしなおし、
圧縮後のデータを使用して圧縮前のレコード内のデータ
項目出現Ｉ＠に従つて圧縮後のレコードを組み立て、デ
ータファイル１から抽出したレコードの順に従って、圧
縮データファイルにレコードを書き込む圧縮レコード生
成手段６を実行しくステップ２４）、処理を終了する。

（１）データの定義情報 圧縮前のデータの定義情報は、圧縮前のレコードの各デ
ータ項目のレコード内出現順。

開始位置とサイズとして抽出し、圧縮の為のデータ項目
抽出及び圧縮レコードの生成で使用する。

（２）　　データ項目のソート データ項目抽出では、データ項目（直のソートを行うが
、圧縮レコード生成手段でレコードの出現順を管理する
ために、以下の項目金持つレコードとしてソートを行う
。

レコード抽出時のレコード通番 データ項目（直 レコード通番は、データ圧縮後、圧縮レコードを生成す
るときに、レコードの抽出順にデータ項目をソートする
ために使用する。

第６図全参照しながら、データ項目抽出手段４の処理の
概要を説明する。

まず、データファイルからレコード全貌み込み（ステッ
プ３１）、レコードの読み込みが終了したかを判定しく
ステップ５２）、終了であれば処理を終了する。レコー
ドが読み込めたら、現在のデータレコード内に処理すべ
き項目が残っているか判定しくステップ３３）、レコー
ド内の項目について処理が終了していれば次のデータレ
コードを読み込むステップ（ステップ６１）へ戻る。処
理すべき項目があれば、データ項目１直の抽出を行い（
ステップ３４）、圧縮レコードの生成でのソートのため
のレコード通番を付加（ステップ３５）した後、生成し
たレコードをソート処理に渡しソートを行い（ステップ
３６）。

未処理項目の判定処理（ステップ３６）に戻る。

臥下弦日 （３）圧縮データの生成 第４図には、前方圧縮及び後方圧縮されたデータ項目の
構成が示されている。圧縮されたデータ項目は圧縮デー
タ制御部と圧縮された記憶データとから構成される。圧
縮データ制釧部は、データ圧縮のためにデータ項目１直
によってソートした時の出現頭金ソート通番としてもつ
データ項目、直前のレコード内の対応するデータ項目と
の前方向からの一致サイズをもつデータ項目および圧縮
後の記憶すべきデータのサイズをもつデータ項目で構成
されている。また、記憶データは、前方圧縮および後方
圧縮および反復圧縮により圧縮された実際に記憶するべ
きデータを持つ。

第５図は、前方圧縮および後方圧縮後のデータ項目の圧
縮状態金示す図である。Ｎ番目のレコードのデータ項目
のイメージは”ａｂｃｄθｆｇ“と”スペース５個”、
Ｎ＋１番目のレコードのデータ項目のイメージは６ａｂ
ｃｄｅＸＹＺ″と”ブランク４個”である。

このとき、前方圧縮によりＮ＋１番目のレコードのデー
タ項目の先頭から５文字、即ち。

“ａｂｃｄｅ″がＮ番目のレコードのデータ項目の先頭
から５文字と一致するので前方−致データサイズとして
５を制御部にもつ。また、後方圧縮によりＮ＋１番目の
レコードのデータ項目の後方からブランクが４個存在す
るので後方ブランクデータサイズとして４全得る。更に
、データ項目のサイズ１２から前方および後方圧縮サイ
ズ（５＋４＝９）を引いた残り３を圧縮後の記憶データ
サイズとして制御部にもつ。記憶データはデータ項目の
データから、前方一致データ”ａｂｃｄｅ″および後方
ブランクを除いた残りのイメージ“ＸＹＺ″である。

前方圧縮および後方圧縮後のデータに対して反復パター
ンが存在する場合には１反復パターンと反復回数をデー
タの中に持ち１反復パターン圧縮後のデータサイズを記
憶データサイズとして記憶すれ°ば良い。

当方式においては、圧縮データの制御部のサイズに等し
いか、または、小さいデータ項目は圧縮対象とはしない
。

（４）　　レコードの復元 圧縮レコードを復元するためには、まずレコードの定義
情報を抽出し、レコード内のデータ項目の出現順を得る
。次に、各データ項目を抽出し、レコード通番と圧縮デ
ータをもつレコードを生成し、圧縮データの制御部にあ
るデータ項目のソート通番によりソートを行う。ソート
通番のソート後記憶されているデータが反復圧縮されて
いれば反復パターンを復元し、その後、前方圧縮イメー
ジの復元を行う。この前方圧縮イメージの復元は、直前
のデータを前方から前方一致データサイズ分現在のデー
タの直前に付加することにより行う。さらに、後方圧縮
データの復元は、データ定義情報ファイルに定義されて
いるデータ項目サイズから１反復および前方圧縮全復元
した後のデータサイズの差分サイズ分現在のデータの直
後にブランクを付加することにより行う。可変長データ
の場合には、後方データの復元は不要である。

次に、復元されたデータ項目全レコード通番でソートシ
、レコード内のデータ項目の定義順にデータ項目全結合
することにより、圧縮前のレコードが復元できる。

〔発明の効果〕

以上、詳細に述べてきたことから明らかなように９本発
明によれば、レコード間の重複するデータ全前方向から
サプレスすることにより。

レコード間の重複データの重複記憶を少なくすることが
出来るという利点がある。この方式を大規模データベー
スの退避に適用すると、データベースには、データペー
スの規模が大きくなればなるほどレコード間のデータの
重複部分が多くなるため、当方式によるデータ圧縮の圧
縮適用率が高くなり、データペースの退避ファイルの容
量の縮小が可能となるといった利点がある。特にレコー
ド間で完全に一致するデータが多数存在する場合には２
重複データは、制御部のみとすることができ、かなりの
圧縮効果が得られる。

【図面の簡単な説明】

第１図は本発明のデータ圧縮方式の一実施例を示すブロ
ック図、第２図はデータ圧縮制御手段３の動作を示す流
れ図、第３図はデータ項目抽出手段４の動作を示す流れ
図、第４図は圧縮データのデータ項目の構成を示す図、
第５図はデータ圧縮の概念を示す図である。 第１図において。 １・・・データファイル、２・・・データ定義情報ファ
イル、５・・・データ圧縮制御手段、４・・・データ項
目抽出手段、５・・・データ項目圧縮手段、６・・・圧
縮レコード生成手段、７・・・圧縮データファイル である。 第 図 Ｃ１コＤ 第 図 第 図 圧縮データ制御部 第 図 サイズ 第 図

Claims (1)

【特許請求の範囲】
1. １、データの復元可能なイメージを圧縮して記憶するこ
   とにより、大量のデータの記憶スペースを縮小するため
   のデータ圧縮方式において、データファイル（２）内の
   データの構造に関する定義情報をデータ定義情報ファイ
   ルから抽出しデータの圧縮の制御を行うデータ圧縮制御
   手段（３）と、データ圧縮制御手段により呼び出され、
   データレコードを読み込み、データ項目ごとにデータを
   ソートするデータ項目抽出手段（４）と、データ項目抽
   出手段によってソートされた各データ項目ごとに、デー
   タの圧縮を行うデータ項目圧縮手段（５）と、データ項
   目圧縮手段によって圧縮されたデータ項目を用いて、圧
   縮後のレコードを生成する圧縮レコード生成手段（６）
   とを有し、前記データ項目圧縮手段は、連続するレコー
   ドのデータ項目に対して、直前のレコード内のデータ項
   目の開始位置からのデータイメージと現在のレコード内
   のデータ項目の開始位置からのデータイメージを１文字
   ずつ順次比較して一致しなくなった時点で、前方からの
   一致した文字数を前方圧縮サイズとして抽出し、次に現
   在のデータ項目のデータの後方からのブランク文字数を
   後方圧縮サイズとして抽出し、更に前方及び後方圧縮後
   のイメージに対しては従来の反復に対する圧縮方式を利
   用して、データの圧縮を行い、前方圧縮サイズ及び前方
   、後方、反復圧縮後のデータサイズ及び復元時に再ソー
   トするためのソートキー値として前記データ項目抽出手
   段によってソートされた際の項目内ソート通番とともに
   圧縮後のデータを記憶することを特徴とするデータ圧縮
   方式。