JP2790594B2 - データベースレコードの圧縮方法および復元方法 - Google Patents

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、主にデータベースマネ
ージメントシステムにおけるデータベースレコードの圧
縮方法および復元方法に関するものである。

【０００２】

【従来の技術】従来のデータ圧縮方法では、データベー
スレコード内に同一文字が３バイト以上連続している場
合には、繰返文字数をカウントし、文字種別と繰返回数
をそれぞれ各１バイトずつ合計２バイトの圧縮情報とし
てレコード内の同一文字があった位置に置換し、データ
ベースレコードを圧縮している。

【０００３】この種に関連するものには例えば特開平４
−３４８６１７号公報等が挙げられる。

【０００４】

【発明が解決しようとする課題】ところで、データベー
スレコード内のデータ項目に格納するデータ形式として
例えば４ビットの符号コード（ＣまたはＤ）を付けた内
部１０進形式を採用した場合、例えば１０進数の「１０
０」に相当する値は「１００Ｃ」、１０進数の「１１
１」に相当する値は「１１１Ｃ」という具合に表わされ
る。また、格納すべき数値が未だ入力されていない空欄
に相当する数値データ項目においては、「００…０Ｃ」
というように必要桁数の「０」の最下位桁に符号コード
（ＣまたはＤ）を付けた初期値が設定される。「０００
Ｃ」という初期値が設定されたデータ項目は初期値デー
タ項目と言われている。従って、空欄に相当する初期値
データ項目が連続する場合には、「００…０Ｃ」という
値が連続することになる。このような初期値データ項目
は、多くのデータ項目の中で必要なデータ項目を選んで
必要なデータを格納するという使い方をするデータベー
スにおいて多く存在する。従って、このような初期値デ
ータ項目が多く存在するデータベースレコードを圧縮で
きれば、圧縮効率を高める点で極めて有効なものとな
る。しかし、上記従来技術では、データベースレコード
内のデータを１バイト単位で調べ、同一文字が３バイト
以上連続している場合のみデータ圧縮の対象となってい
るため、初期値データ項目については、ＣまたはＤとい
う符号コードによって「０」という文字の連続性が途切
れてしまう。このため、圧縮効率が上がらないという問
題があった。

【０００５】本発明の目的は、データベースレコードの
データにおいて、同一文字の連続性がとぎれる場合でも
データベースレコードの圧縮効率を上げ、データベース
ファイルへの格納するデータベースレコード長を短くす
ることである。

【０００６】

【課題を解決するための手段】上記目的を達成するため
に、本発明の第１の手段は、データベースレコード内の
データ形式に応じた初期値で設定されたマスクテーブル
を作成して、１データベースレコード単位に格納される
データベースレコードのデータと前記マスクテーブルと
の排他的論理和をとり、前記データベースレコード内の
初期値項目部分に対応するバイトをオフにして連続同一
文字列を作り、前記データベースレコードのデータにお
ける連続同一文字列がある位置に連続同一文字列に関す
る情報をもつ圧縮情報に置換し、前記レコードデータを
バイトオフにならなかった残りのデータベースレコード
のデータと圧縮情報とからなるデータベースレコードの
データに圧縮することを特徴とする。

【０００７】本発明の第２の手段は、外部記憶装置上の
データベースファイルに一旦格納されている圧縮された
データベースレコードを読み出し、このデータベースフ
ァイルから読み出したデータベースレコード内の圧縮情
報に置換された部分を連続同一文字の長さ分に拡張し、
データベースレコードのデータ圧縮時と同一のマスクテ
ーブルとの排他的論理和をとり対応するバイトをオンに
し、データベースレコードのデータ圧縮前のデータベー
スレコードに復元することを特徴とする。

【０００８】前記マスクテーブルは、データベースレコ
ードを処理するアプリケーションプログラムの作成で使
用するレコードフォーマット規定部分のソースプログラ
ムをそのまま使用し、そのソースプログラムが出力する
初期値を設定することによって作成することを特徴とす
る。

【０００９】

【作用】前述の手段によれば、データベースレコード内
のデータ形式に応じた初期値、または発生頻度の高い任
意の文字列で設定されたマスクテーブルを作成して、１
データベースレコード単位に格納されるデータベースレ
コードのデータと前記マスクテーブルとの排他的論理和
をとり、前記データベースレコード内の初期値項目部分
に対応するバイトをオフにして連続同一文字列を作り、
前記データベースレコードのデータにおける連続同一文
字列がある位置に連続同一文字列に関する情報をもつ圧
縮情報に置換し、前記レコードデータをバイトオフにな
らなかった残りのデータベースレコードのデータと圧縮
情報とからなるデータベースレコードのデータに圧縮す
るので、圧縮可能な範囲が従来より広くとれ、レコード
データの圧縮効率が向上し、データベースファイルへの
格納データベースレコード長を短くすることが可能とな
る。

【００１０】そして、圧縮前のデータベースレコードに
復元する時は、外部記憶装置上のデータベースファイル
に一旦格納されている圧縮されたデータベースレコード
を読み出し、データベースファイルから読み出したデー
タベースレコード内の圧縮情報に置換された部分を連続
同一文字の長さ分に拡張し、データベースレコードのデ
ータ圧縮時と同一のマスクテーブルとの排他的論理和を
とり対応するバイトをオンにし、データベースレコード
のデータ圧縮前のデータベースレコードに簡単に復元す
ることが可能である。

【００１１】更に、マスクテーブルは、データベースレ
コードを処理するアプリケーションプログラムの作成で
使用するレコードフォーマット規定部分のソースプログ
ラムをそのまま使用し、そのソースプログラムが出力す
る初期値を設定することによって作成するため、データ
ベースレコードを処理するアプリケーションプログラム
とデータベースファイルとの不整合を防止できる。

【００１２】

【実施例】以下、図面を使用して本発明の一実施例につ
いて詳細に説明する。

【００１３】図１は、本発明を実現するデータベースマ
ネジメントシステムの全体構成を示すブロック図であ
り、図２は、図１のデータベースマネジメントシステム
を実施するための装置のハードウエア構成を示すブロッ
ク図である。

【００１４】図１および図２において、１０はデータベ
ースマネジメントシステム、１１はアプリケーションプ
ログラム、１９はデータベースファイル、２０はレコー
ド規定管理ファイル、２１はコンパイラ、２２はマスク
テーブルファイル、３１は入出力装置、３２は中央処理
装置（ＣＰＵ）、３３は主記憶装置、３４は外部記憶装
置である。

【００１５】図１に示すように、本発明の実施例のデー
タ圧縮方法を実行するデータベースマネジメントシステ
ム１０は、アプリケーションプログラム１１が使用する
データベースファイル１９のデータベースレコードの入
出力要求により動作し、データベースマネジメントシス
テム内を制御するコントローラ１２、データベースレコ
ードの圧縮処理を行うデータ圧縮部１３、データベース
レコードの復元処理を行うデータ復元部１４、マスクテ
ーブルファイル２２の入力を行うマスクテーブルロード
部１５から構成される。

【００１６】また、使用するマスクテーブルファイル２
２は、レコード規定管理ファイル２０をもとにコンパイ
ラ２１により作成され、ファイル内容はデータベースマ
ネジメントシステム１０の開始時に、マスクテーブルロ
ード部１５によってマスクテーブル常駐エリア１８に常
駐化される。

【００１７】図３は、データベースレコードのレコード
フォーマット、およびデータ形式を規定するレコード規
定管理ファイル２０に設定されているレコード形式の一
例をもとに、コンパイラ２１に入力し、オブジェクト形
式データに変換後、マスクテーブル２３がマスクテーブ
ルファイル２２に作成される手順を示したものである。

【００１８】この図３の例では、コンパイラ２１により
内部１０進形式（パック形式１０進データ）２０ａに対
しては００…０Ｃの形式で、外部１０進形式（ゾーン形
式１０進データ）２０ｂに対しては、Ｆ０Ｆ０…の形式
で、文字形式（文字列データ）２０ｃに対しては、４０
４０…の形式で、漢字形式（日本語列データ）２０ｄに
対しては、Ａ１Ａ１…の形式でマスクテーブル２３は設
定される。ここで、「００…０Ｃ」は内部１０進形式の
データ項目の初期値、「Ｆ０Ｆ０…Ｆ０」は外部１０進
形式のデータ項目の初期値、「４０４０…４０」は文字
形式のデータ項目の初期値、「Ａ１Ａ１…Ａ１」は漢字
形式のデータ項目の初期値である。データベースのレコ
ードは、レコード規定管理ファイル２０に設定されてい
るレコード形式に従って作成されるのであるが、その初
期値は、内部１０進形式のデータ項目においては「００
…０Ｃ」、外部１０進形式のデータ項目においては「Ｆ
０Ｆ０…Ｆ０」、文字形式のデータ項目においては「４
０４０…４０」、漢字形式のデータ項目においては「Ａ
１Ａ１…Ａ１」である。従って、データベースレコード
の初期段階で必要なデータが全く入力されていない初期
値のみのデータベースレコードとマスクテーブル２３と
の排他的論理和をとると、そのデータベースレコードは
全てのバイトが「０」になり、符号コードが除去された
「０」の値の連続したものとなる。ここで、本発明にお
いては、排他的論理和をとり、符号コードを除去した値
の連続したものにすることを、バイトオフにすると言
う。また、バイトオフにした値を符号コードが付いた元
の値に戻すことをバイトオンにすると言う。

【００１９】このようにして、データベースレコードの
レコードフォーマット、およびデータ形式を規定するレ
コード規定管理ファイル２０に設定されているレコード
形式をコンパイラ２１に入力することにより簡単にマス
クテーブル２３を作成できる。

【００２０】また、データベースレコードを処理するア
プリケーションプログラム１１の作成で使用するレコー
ドフォーマット規定部分のソースプログラムをそのまま
使用し、そのソースプログラムが出力する初期値をマス
クテーブル２３に設定することによって、アプリケーシ
ョンプログラムとデータベースファイルとの不整合を防
止できる。

【００２１】図４は、アプリケーションプログラム１１
から格納要求されたデータベースレコード（以下、レコ
ードと略す）の一例を用いて、データ圧縮する処理過程
を説明するためのものである。

【００２２】アプリケーションプログラム１１内に確保
されたレコード受け渡しエリア１６内にセットされたレ
コードデータ１６ａに対して、マスクテーブル２３で排
他的論理和をとると、レコードデータ１６ａとマスクテ
ーブル２３間で同一の値をもつ全てのデータ項目部分が
ゼロの値（バイトオフ）となり、結果はレコード受渡し
エリア１６のマスク済みレコードデータ１６ｂの内容と
なる。すなわち、図４のレコードデータ１６ａは、「１
２３４５Ｃ」が内部１０進形式の数値データ「１２３４
５」、「Ｆ０Ｆ０Ｆ０」が外部１０進形式のデータ、
「４０４０４０」が文字形式のデータ、「０００００
Ｃ」が内部１０進形式の数値データ「０００００」、
「０００Ｃ」が内部１０進形式の数値データ「００
０」、「Ａ１Ａ１Ａ１Ａ１」が漢字形式のデータである
が、図３のマスクテーブル２３との間で排他的論理和を
とると、レコードデータ１６ａとマスクテーブル２３間
で同一の値をもつ全てのデータ項目部分がゼロの値とな
り、結果はマスク済みレコードデータ１６ｂの内容とな
る。すなわち、最初のデータ項目の数値「１２３４５」
のみがそのまま残り、後続の初期値データ項目の値は全
て「０」になる。

【００２３】そして、そのマスク済みレコードデータ１
６ｂをもとに、連続した同一文字の部分、すなわち
「０」が連続する部分を圧縮制御情報（文字と長さ）に
置換し、また不連続部分の先頭にも非圧縮制御情報（長
さ）を設定し、レコード入出力エリア１７に圧縮レコー
ドデータ１７ａとしてセットし、その圧縮レコードデー
タ１７ａをデータベースファイル１９へ格納する。図４
のマスク済みレコードデータ１６ｂの内容は、「０」の
連続部分が圧縮されたものとなる。

【００２４】次に、図５は、図４の説明で使用したレコ
ードの一例を用いて、データベースファイル１９に格納
された圧縮レコードデータ１７ａを読み出し、データ圧
縮部分を元のレコードデータ１６ａの内容に復元し、ア
プリケーションプログラム１１に渡す処理過程を説明す
るためのものである。

【００２５】データベースファイル１９から読み出され
たレコード入出力エリア１７内の圧縮レコードデータ１
７ａの圧縮制御情報と非圧縮制御情報をもとに、連続同
一文字圧縮の場合は、圧縮制御情報内の文字をその長さ
分に拡張し、それ以外の場合は非圧縮制御情報内の長さ
分の非圧縮データ部分そのままを、レコード受け渡しエ
リア１６にセットする。

【００２６】すなわち、レコード受渡しエリア１６に圧
縮レコードデータ１７ａを圧縮制御情報および非圧縮情
報より変換した変換レコードデータ１６ｃとしてセット
する。なお、このときの変換レコードデータ１６ｃはマ
スク済みレコードデータ１６ｂと同一のデータ内容とな
る。

【００２７】そして、その変換レコードデータ１６ｃに
対して、格納時に使用したマスクテーブル２３で排他的
論理和をとると、変換レコードデータ１６ｃのゼロの値
の全ての部分にマスクテーブルの値が加算され（バイト
オンされ）、結果はレコード受渡しエリア１６の復元レ
コードデータ１６ｄに示すように圧縮前のレコードデー
タ１６ａの内容に復元され、その復元レコードデータ１
６ｄをアプリケーションプログラム１１へ渡す。

【００２８】図６は、本実施例のデータ圧縮の処理手順
のを示したフローチャートであり、図４をもとにして説
明する。

【００２９】アプリケーションプログラム１１から格納
要求されたレコード受渡しエリア１６のレコードデータ
１６ａの内容をもとに対応するマスクテーブル２３を決
定する（ステップ１００）。ここで決定したマスクテー
ブル２３を用いてレコード受け渡しエリア１６のレコー
ドデータ１６ａの内容に対し、１命令で２５６バイトづ
つの排他的論理和を実行する（ステップ１１０）。

【００３０】この実行結果のレコード受け渡しエリア１
６のレコードデータ１６ｂをもとに、１命令で２５６バ
イトづつ連続同一文字を検索（ステップ１２０）、２バ
イト以上の連続同一文字を検出した場合は（ステップ１
３０）、同一文字の連続する部分の長さを求め（ステッ
プ１４０）この文字と長さをもとに圧縮制御情報を作成
し、レコード入出力エリア１７にセット（ステップ１５
０）する。

【００３１】連続同一文字がない場合は（ステップ１３
０）、不連続文字部分の長さをもとに非圧縮制御情報を
作成し、非圧縮データ部分をレコード入出力エリア１７
にセットする（ステップ１６０）。

【００３２】次に、ステップ１２０からステップ１６０
までをマスク済みレコードデータ１６ｂの検索が終了す
るまで繰返し、検索終了時には、レコード入出力エリア
の圧縮レコードデータ１７ａをセットし、その内容をデ
ータベースファイル１９へ格納（ステップ１７０）し要
求元へリターンする。

【００３３】図７は、本実施例のデータ復元の処理手順
を示したフローチャートであり、図５をもとにして説明
する。

【００３４】アプリケーションプログラム１１からのデ
ータベースレコード読み出し要求をもとに、データベー
スファイル１９から圧縮レコードデータ１７ａをレコー
ド入出力エリア１７へ読み出す（ステップ２００）、こ
の内容をもとに対応するマスクテーブルを決定する（ス
テップ２１０）、レコード入出力エリア１７内の圧縮レ
コードデータ１７ａの先頭から圧縮制御情報、または非
圧縮制御情報を検索し（ステップ２２０）、圧縮制御情
報の場合は（ステップ２３０）、圧縮制御情報内の文字
をその長さ分に拡張し、レコード受渡しエリア１６ヘセ
ットする（ステップ２４０）。

【００３５】非圧縮制御情報の場合は（ステップ２３
０）、非圧縮制御情報内の長さ分の非圧縮データ部分を
そのままレコード受渡しエリア１６へセットする。

【００３６】ステップ２２０からステップ２５０までを
レコード入出力エリア１７の圧縮レコードデータ１７ａ
が終了まで繰返し、検索終了時には、レコード受渡しエ
リア１６の変換レコードデータ１６ｃに対して先に決定
したマスクテーブル２３を用いて、１命令で２５６バイ
トづつの排他的論理和を実行する（ステップ２６０）。
この実行結果は、レコード受渡しエリア１６の復元レコ
ードデータ１６ｄとなる。

【００３７】そして、この復元レコードデータ１６ｄ
は、元のレコードデータ１６ａと同一のものであり、要
求元へリターン時、この復元レコードデータ１６ｄが要
求元へ渡される。

【００３８】以上説明したように、本発明によれば、レ
コード件数が多く、レコード内のデータ項目数が多い大
規模データベースシステムにおいて、データベースレコ
ード内に内部１０進形式等の初期値データ項目が多数存
在している場合は、これら全ての初期値データ項目部分
をデータ圧縮するため、データベースレコード長が大幅
に短縮され、データベースファイルを格納する外部記憶
装置容量の大幅な削減となる。

【００３９】このため、データベースレコード格納時と
読み出し時のデータ転送時間も大幅な削減となる。

【００４０】そして、圧縮されたデータベースレコード
から圧縮される前のデータベースレコードに復元する場
合も、レコード圧縮で行った処理手順を逆にすることで
簡単に復元できる。

【００４１】また、データベースレコードを処理するア
プリケーションプログラムの作成で使用するレコードフ
ォーマット規定部分のソースプログラムをそのまま使用
し、そのソースプログラムが出力する初期値をマスクテ
ーブルに設定することにより、データベースレコードを
処理するアプリケーションプログラムとデータベースフ
ァイルの不整合を防止できる。

【００４２】

【発明の効果】以上説明したように、本発明によれば、
レコード件数が多く、レコード内のデータ項目数が多い
大規模データベースシステムにおいて、データベースレ
コード内に内部１０進形式等の初期値データ項目が多数
存在している場合は、これら全てのデータ項目部分をデ
ータ圧縮するため、データベースレコード長が大幅に短
縮され、データベースファイルを格納する外部記憶装置
容量の大幅な削減となる。

【００４３】さらにデータベースレコード格納時と読み
出し時のデータ転送時間も大幅な削減となる。また、デ
ータベースレコードを処理するアプリケーションプログ
ラムとデータベースファイルの不整合を防止できる。

【図面の簡単な説明】

【図１】本発明を実現するデータベースマネジメントシ
ステムの全体構成を示すブロック図である。

【図２】本発明を実現するハードウエアの構成を示すブ
ロック図である。

【図３】本実施例のマスクテーブル作成手順を説明する
ための図である。

【図４】本実施例のデータ圧縮する処理過程を説明する
ための図である。

【図５】本実施例のデータ復元する処理過程を説明する
ための図である。

【図６】本実施例のデータ圧縮の処理手順を示すフロー
チャートである。

【図７】本実施例のデータ復元の処理手順を示すフロー
チャートである。

【符号の説明】

１０ …データベースマネジメントシステム、 １１ …アプリケーションプログラム、 １２ …コントローラ、 １３ …データ圧縮部、 １４ …データ復元部、 １５ …マスクテーブルロード部、 １６ …レコード受け渡しエリア、 １６ａ…レコードデータ、 １６ｂ…マスク済みレコードデータ、 １６ｃ…変換レコードデータ、 １６ｄ…復元レコードデータ、 １７ …レコード入出力エリア、 １７ａ…圧縮レコードデータ、 １８ …マスクテーブル常駐エリア、 １９ …データベースファイル、 ２０ …レコード規定管理ファイル、 ２１ …コンパイラ、 ２２ …マスクテーブルファイル、 ２３ …マスクテーブル。 ３１ …入出力装置 ３２ …中央処理装置 ３３ …主記憶装置 ３４ …外部記憶装置

フロントページの続き (72)発明者 川崎 良文 神奈川県横浜市中区尾上町６丁目81番地 日立ソフトウェアエンジニアリング株 式会社内 (72)発明者 堀江 正久 神奈川県横浜市中区尾上町６丁目81番地 日立ソフトウェアエンジニアリング株 式会社内 (72)発明者 外山 雄司 神奈川県横浜市中区尾上町６丁目81番地 日立ソフトウェアエンジニアリング株 式会社内 (72)発明者 岩戸 丈典 神奈川県横浜市戸塚区戸塚町5030番地 株式会社日立製作所 ソフトウェア開発 本部内 (72)発明者 野上 敬文 神奈川県横浜市戸塚区戸塚町5030番地 株式会社日立製作所 ソフトウェア開発 本部内 (56)参考文献 特開 平５−6260（ＪＰ，Ａ) 特開 昭62−186619（ＪＰ，Ａ) (58)調査した分野(Int.Cl.⁶，ＤＢ名) G06F 5/00 G06F 12/00

Claims (3)

(57)【特許請求の範囲】
1. 【請求項１】 データベースマネージメントシステムに
   おけるデータベースレコードの圧縮方法であって、レコ
   ードフォーマットが固定のデータベースレコードに対し
   て、前記データベースレコード内のデータ形式に応じた
   初期値で設定されたマスクテーブルを作成して、１デー
   タベースレコード単位に格納されるデータベースレコー
   ドのデータと前記マスクテーブルとの排他的論理和をと
   り、前記データベースレコード内の初期値項目部分に対
   応するバイトをオフにして連続同一文字列を作り、前記
   データベースレコードのデータにおける連続同一文字列
   がある位置に連続同一文字列に関する情報をもつ圧縮情
   報に置換し、前記データベースレコードのデータをバイ
   トオフにならなかった残りのデータベースレコードのデ
   ータと圧縮情報とからなるデータベースレコードのデー
   タに圧縮することを特徴としたデータベースレコードの
   圧縮方法。
2. 【請求項２】 請求項１に記載のデータベースレコード
   の圧縮方法によって、圧縮されたデータベースレコード
   が格納されている外部記憶装置上のデータベースファイ
   ルから圧縮されたデータベースレコードを読み出し、こ
   のデータベースファイルから読み出したデータベースレ
   コード内の圧縮情報に置換された部分を連続同一文字に
   置換し、データベースレコードのデータ圧縮時と同一の
   マスクテーブルとの排他的論理和をとり対応するバイト
   をオンにし、データ圧縮前のデータベースレコードに復
   元することを特徴としたデータベースレコードの復元方
   法。
3. 【請求項３】 請求項１、または請求項２に記載のデー
   タベースレコードの圧縮方法または復元方法において、
   前記マスクテーブルは、データベースレコードを処理す
   るアプリケーションプログラムの作成で使用するレコー
   ドフォーマット規定部分のソースプログラムをそのまま
   使用し、そのソースプログラムが出力する初期値を設定
   することによって作成することを特徴としたデータベー
   スレコードの圧縮方法または復元方法。