JP5188348B2 - データアクセス装置 - Google Patents

Description

この発明は、例えば光ディスク等の記録媒体に圧縮したデジタルデータを記録し、記録されたデジタルデータを読み出すデータアクセス装置に関するもので、特に、ファイルアクセスの効率化を図り、記憶容量の効率的使用を可能とするものである。

特許文献１では非圧縮データを固定長単位で分割し、ランダムアクセス単位で分割したデータと、記録単位に分割した圧縮データとの対応を示す情報を記録することにより、ファイル内のランダムアクセスを行うことが出来るデータ圧縮方法について記載されている。

特開平８−６９４００号公報

しかしながら、特許文献１に挙げた圧縮データ記録装置では、解凍したファイルに関する一時記憶についての考慮が払われていない。また記憶媒体に格納されたファイルを一旦一時記憶領域に保持する方法については様々な方式が提案されているが、圧縮ファイルに対して解凍ファイルの一時記憶を行う場合、解凍処理は分割ファイルの先頭から順次行う必要があるため、ブロック内の後部に位置するデータほど、解凍処理をおこなって所望のデータを得るために所要時間が必要となる問題があった。

また、既に何らかの圧縮処理が適用されたデータを処理する場合には、改めてデータに圧縮処理を行っても効果が低く、逆に圧縮、伸長処理に余分な演算が必要となるため効率が低下する。このような場合にはデータの特性に応じて圧縮処理の有無を切り替えることで、ファイルアクセスのさらなる効率化を図ることができる。
この発明はこのような問題を解決するもので、一時記憶の優先度を決定する際に、分割ブロック内におけるデータ位置を参照して優先度を決定することにより、効率的なデータアクセスを可能とする。
また、分割ファイルのブロック毎に圧縮・非圧縮の切替えを行うとともに、圧縮の有無によって一時記憶領域への記録の有無、または優先度を変更することにより、一時記憶領域を効率的に使用可能とする。

この発明に係るデータアクセス装置は、
ファイル生成手段と、ファイル読み出し手段と、ファイル一時記憶手段と、ファイル削除手段を備え、
ファイル生成手段は、データファイルを所定のデータサイズ毎に分割し、分割ファイルのブロック毎にデータの圧縮率が所定の上限値以下であると圧縮とし、前記所定の上限値を超えると非圧縮とすることで圧縮/非圧縮を切替え、分割ファイルのうち、圧縮対象とするブロックのそれぞれを圧縮して複数の圧縮ファイルを生成し、当該複数の圧縮ファイルおよび非圧縮ファイルを連結して連結ファイルを生成し、当該連結ファイル中で各分割ファイルの配置を示す情報および圧縮処理の適用有無を示す情報を含むヘッダを当該連結ファイルに付加して記憶装置に格納し、
ファイル読み出し手段は、前記記憶装置に格納された任意のファイルへのアクセス要求に応じて、ファイル一時記憶手段により一時記憶領域に保持されたファイル情報を参照し、アクセス要求に対応するファイルが一時記憶領域に保持されている場合は一時記憶領域から読み出しを行い、アクセス要求に対応するファイルが保持されていない場合は、前記連結ファイルのヘッダを参照し、前記連結ファイルからアクセス要求に対応するファイルを読み出し、ファイルが圧縮されていれば解凍し、
ファイル一時記憶手段は、ファイル読み出し手段が解凍したファイル、または非圧縮で読み出したファイルを、対応する分割ファイル位置の情報とともに一時記憶領域に保持し、
ファイル削除手段は、一時記憶領域に保存するファイルの容量が予め定めた値を超えた場合にファイル容量を所定量に保つため保持する解凍ファイルをさらに細かいブロックに分割し、アクセス頻度と解凍ファイル内でのブロック位置とファイルの圧縮／非圧縮情報に応じてファイル削除の優先度を定め、優先度の高いブロックから順にファイル削除を行う。

この発明のデータアクセス装置によれば、データファイルを所定のデータサイズ毎に分割し、分割ファイルのそれぞれを圧縮して複数の圧縮ファイルを生成し、当該複数の圧縮ファイルを連結して連結ファイルを生成して記憶装置に格納し、記憶装置に格納された任意のファイルへのアクセス要求に対し、ファイル読み出し手段がアクセス要求ファイルを記憶装置から読み出し解凍し、ファイル一時記憶手段により一時記憶領域に記憶し、叉はファイル読み出し手段により、既に解凍され一時記憶領域に記憶されている場合は記憶装置からの読み出しはせずに、一時記憶領域から読み出し、解凍ファイルが一時記憶領域の格納領域容量を超過する場合は、一時記憶領域内の連結ファイルブロック内でのデータ位置等を考慮して削除する優先度を決め、この優先度順に削除することで、一時記憶領域のデータ管理を行うことにより、一時記憶領域の格納領域容量を効率的に活用し、ファイルアクセス速度を向上させることが可能である。

実施の形態１．
図１はデータアクセス装置を示す構成図である。記憶装置１はデータを記憶しておくための装置である。ファイル生成手段２は、入力データの形式変換、圧縮を行い、結果を記憶装置１に格納する。ファイル読み出し手段３は、外部からの読み出し要求に従って記憶装置１からブロック単位でデータを読み出し伸長処理を行って出力する。ファイル一時記憶手段４は、ファイル読み出し手段３によって伸長されたデータを一時記憶領域５に格納する。一時記憶領域５は、記憶装置１よりもデータの読み書きに必要な時間が短く、データの効率的な読み出しのために一時的にデータを格納しておく領域である。ただし、格納出来るデータ容量が限られており、格納するデータ量を所定以下に抑える必要がある。ファイル削除手段６はファイル一時記憶手段４からの一時記憶領域５へのデータ格納により、一時記憶領域５の格納データサイズが所定の容量を超えた場合に、優先順位に従って、データの削除を行う。

図２はデータの圧縮方法について例を示したものである。データファイルを所定サイズ（例えば32KByte）毎のブロックに分割し、ブロック毎にデータ圧縮を行う。各ブロックの先頭データ位置を格納したヘッダ部と各ブロックの圧縮データを一つのファイルにまとめ、圧縮データファイルとする。
ヘッダ部には、各ブロックの圧縮データの先頭バイト位置を例えば１ブロックにつき４バイトのデータとして、ブロック順に記録しておく。

図３はファイル読み出し時の処理方法を示したものである。図２に示した形式の圧縮データは記憶装置１の記憶媒体に格納されている。
データの読み出し要求が発生した場合、ファイル読み出し手段３は、まず一時記憶領域５の一時記憶領域保存データ情報を確認し、読み出し要求のあるデータが一時記憶領域５に格納されているかどうかを確認する。データが格納されている場合は、記憶装置１へのアクセスを行わず、該当データを一時記憶領域５から読み出して出力する。

読み出し要求のあるデータが一時記憶領域５に格納されていない場合には、記憶装置１にアクセスし、まず対応連結ファイルのヘッダ部読み出しを行う。次に、ファイル内での読み出し要求のあるデータ位置に従い、該当データを含んだ圧縮データブロックの読み出しを行う。読み出した圧縮データブロックに対して伸長処理を行って非圧縮データとし、一時記憶領域５に格納して必要なデータを参照して出力する。
なお、後述する通り、一時記憶領域５からのデータ削除を行う際、データの後半部のみを残し、前半部のみを削除する場合があるので、読み出し要求に対応するデータブロックは、部分的に一時記憶領域５に格納されている場合がある。この場合にも該当データを含んだ圧縮データブロックの読み出しと伸長処理を行うが、伸長処理を削除されたデータに対応する部分のみ実施して打ち切ることにより、伸長処理時間を短縮する。

上記のように記憶装置１からのデータ読み出しを行った場合、伸長処理後の非圧縮データを一時記憶領域５に格納する処理を行う。この際、一時記憶領域保存データ情報を更新し、該当ブロックの非圧縮データが一時記憶領域５に含まれることを示すようにする。
非圧縮データを一時記憶領域５に格納する際、一時記憶領域５に格納されたデータの容量が予め定めた所定の値（一時記憶上限値）を越える場合には、まず優先度の低いデータを削除し、新規にデータを格納してもデータ容量が一時記憶上限値以下となるようにしてからデータの格納を行うものとする。

図４は一時記憶領域５からのデータ削除方法について示したものである。データ削除の際にはデータブロックをさらに細かいサブブロックに分割し、サブブロックごとに優先度の判断を行う。優先度の決定のために、まずブロック毎の優先度を決定する。ブロック毎の優先度は、ファイル格納時に予め定めておいても良いし、一時記憶領域５に格納状態でのアクセス回数をカウントし、アクセス回数が多いブロックほど高優先度（即ち、削除優先度を低くする）としてもよい。その上で、ブロック内におけるサブブロックの位置に応じて優先度に対するオフセット値を決定する。オフセット値はブロック内で後ろのサブブロックほど大きな値を設定する。これは、データ伸長処理を行う際にはブロック先頭から順に処理を行う必要があり、ブロック内の後ろのデータほど伸長処理完了までに時間がかかるためである。

このようにブロック内でのデータ位置を考慮して優先度を決め、一時記憶領域５のデータ管理を行うことにより、一時記憶領域の格納領域容量を効率的に活用し、ファイルアクセス速度を向上させることが可能である。

実施の形態２．
格納されるデータに関して圧縮データと非圧縮データを共存させる場合について述べる。この場合もデータアクセス装置の構成は図１と同様であるが、ファイル生成手段２における入力データの形式変換、ファイル読み出し手段３におけるファイル読み出し方法、およびファイル削除手段６における一時記憶領域５のデータ削除方法が実施の形態１とは異なる。
まずファイル生成手段２は圧縮データ作成時、ブロック毎に圧縮率を算出し、圧縮率が所定の圧縮率上限値以下とならない場合には、該当ブロックを非圧縮データのままとする。各ブロックの先頭データ位置、データが圧縮されているかどうかを示すフラグを格納したヘッダ部と、各ブロックの圧縮データまたは非圧縮データを一つのファイルにまとめ、連結データファイルとする。
ヘッダ部には、各ブロックの圧縮または非圧縮データの先頭バイト位置を例えば１ブロックにつき４バイトのデータとし、圧縮/非圧縮を示すフラグを１ブロックにつき１バイトのデータとして、ブロック順に記録しておく。

図５は実施の形態２におけるファイル読み出し時の処理方法を示したものである。データの読み出し要求が発生した場合、ファイル読み出し手段３は、まず一時記憶領域５の一時記憶領域保存データ情報を確認し、読み出し要求のあるデータが一時記憶領域５に格納されているかどうかを確認する。データが格納されている場合は、記憶装置１へのアクセスを行わず、該当データを一時記憶領域５から読み出して出力する。

読み出し要求のあるデータが一時記憶領域５に格納されていない場合には、ファイル読み出し手段３は、記憶装置１にアクセスし、まず対応連結ファイルのヘッダ部読み出しを行う。次に、ファイル内での読み出し要求のあるデータ位置に従い、該当データを含んだ圧縮データブロックのデータ位置と、圧縮データ／非圧縮データの種別を参照する。該当データブロックが圧縮データブロックであれば伸長処理を行って非圧縮データに変換し、一時記憶領域５に格納し、必要なデータを参照して出力する。非圧縮データブロックであれば、そのまま一時記憶領域５に格納し、必要なデータを参照して出力する。

上記のように記憶装置１からのデータ読み出しを行った場合、実施の形態１と同様に、伸長処理後の非圧縮データを一時記憶領域５に格納する処理を行う。また、一時記憶領域５に格納されたデータの容量が予め定めた所定の値（一時記憶上限値）を越える場合には、まず優先度の低い（即ち、削除優先度の高い）データの削除を行う。
削除の際の優先度として、非圧縮ブロックのファイルは圧縮ブロックのファイルに対して優先度が低くなるようオフセットを定める。これは非圧縮ブロックについてはデータ読み出し時の伸長処理が必要なく、記憶装置からの読み出しにおける動作効率が高いためである。

このようにブロック毎に圧縮効率を考慮してブロックの圧縮／非圧縮を切替え、さらにブロックが圧縮されているかどうかによって一時記憶領域５に格納する優先度に差違を設けることで、一時記憶領域格納領域の容量を効率的に活用し、ファイルアクセス速度を向上させることが可能である。

実施の形態３．
実施の形態２において、該当ブロックの圧縮/非圧縮の種別に応じ、データ読み出し方法を変更する場合の実施の形態３について述べる。図６は実施の形態３におけるファイル読み出し時の処理方法を示したものである。データの読み出し要求が発生した場合、ファイル読み出し手段３は、まず一時記憶領域５の一時記憶領域保存データ情報を確認し、読み出し要求のあるデータが一時記憶領域５に格納されているかどうかを確認する。データが格納されている場合は、記憶装置１へのアクセスを行わず、該当データを一時記憶領域５から読み出して出力する。

読み出し要求のあるデータが一時記憶領域５に格納されていない場合には、ファイル読み出し手段３は、記憶装置１にアクセスし、まず対応連結ファイルのヘッダ部読み出しを行う。次に、ファイル内での読み出し要求のあるデータ位置に従い、該当データを含んだ圧縮データブロックのデータ位置と、圧縮データ／非圧縮データの種別を参照する。該当データブロックが圧縮データブロックであれば伸長処理を行って非圧縮データに変換し、一時記憶領域５に格納し、必要なデータを参照して出力する。非圧縮データブロックであれば、一時記憶領域５に格納せず、そのまま必要なデータを参照して出力する。

上記のように記憶装置１からのデータ読み出しを行った場合、実施の形態１と同様に、伸長処理後の非圧縮データを一時記憶領域５に格納する処理を行うが、データの格納を行うのは圧縮データブロックを参照した場合のみとする。なお、一時記憶領域５に格納されたデータの容量が予め定めた所定の値（一時記憶上限値）を越える場合には、優先度の低い（即ち、削除優先度の高い）データの削除を行う。
このようにブロック毎に圧縮効率を考慮してブロックの圧縮／非圧縮を切替え、さらにブロックが圧縮されているかどうかによって一時記憶領域５への格納処理の有無を切替えることで、一時記憶領域格納領域の容量を効率的に活用し、ファイルアクセス速度を向上させることが可能である。

この発明に係るデータアクセス装置は、例えば光ディスク等の記録媒体に圧縮されたデジタルデータを記録し、記録されたデジタルデータを必要時に応じて読み出すファイル管理システム等に利用可能であり、ファイルアクセスの効率化、記憶容量の効率的使用を可能とする。

この発明の実施の形態１におけるデータアクセス装置を示す構成図である。 データの圧縮方法について例を示した説明図である。 ファイル読み出し処理方法についての説明図である。 一時記憶領域からのデータ削除方法についての説明図である。 実施の形態２におけるファイル読み出し処理方法についての説明図である。 実施の形態３におけるファイル読み出し処理方法についての説明図である。

符号の説明

１；記憶装置、２；ファイル生成手段、３；ファイル読み出し手段、４；ファイル一時記憶手段、５；一時記憶領域、６；ファイル削除手段。

Claims (3)

1. ファイル生成手段と、ファイル読み出し手段と、ファイル一時記憶手段と、ファイル削除手段を備え、
   ファイル生成手段は、データファイルを所定のデータサイズ毎に分割し、分割ファイルのブロック毎にデータの圧縮率が所定の上限値以下であると圧縮とし、前記所定の上限値を超えると非圧縮とすることで圧縮/非圧縮を切替え、分割ファイルのうち、圧縮対象とするブロックのそれぞれを圧縮して複数の圧縮ファイルを生成し、当該複数の圧縮ファイルおよび非圧縮ファイルを連結して連結ファイルを生成し、当該連結ファイル中で各分割ファイルの配置を示す情報および圧縮処理の適用有無を示す情報を含むヘッダを当該連結ファイルに付加して記憶装置に格納し、
   ファイル読み出し手段は、前記記憶装置に格納された任意のファイルへのアクセス要求に応じて、ファイル一時記憶手段により一時記憶領域に保持されたファイル情報を参照し、アクセス要求に対応するファイルが一時記憶領域に保持されている場合は一時記憶領域から読み出しを行い、アクセス要求に対応するファイルが保持されていない場合は、前記連結ファイルのヘッダを参照し、前記連結ファイルからアクセス要求に対応するファイルを読み出し、ファイルが圧縮されていれば解凍し、
   ファイル一時記憶手段は、ファイル読み出し手段が解凍したファイル、または非圧縮で読み出したファイルを、対応する分割ファイル位置の情報とともに一時記憶領域に保持し、
   ファイル削除手段は、一時記憶領域に保存するファイルの容量が予め定めた値を超えた場合にファイル容量を所定量に保つため保持する解凍ファイルをさらに細かいブロックに分割し、アクセス頻度と解凍ファイル内でのブロック位置とファイルの圧縮／非圧縮情報に応じてファイル削除の優先度を定め、優先度の高いブロックから順にファイル削除を行うことを特徴とするデータアクセス装置。
2. 前記ファイル削除手段は、非圧縮のブロックのファイルを圧縮のブロックのファイルよりファイル削除の優先度を低く定めることを特徴とする請求項１記載のデータアクセス装置。
3. ファイル一時記憶手段は、ファイル読み出し手段によるファイル読み出し時の対象ファイルが圧縮ファイルであった場合のみ、一旦解凍したファイルを対応する分割ファイル位置の情報とともに一時記憶領域に保持し、対象ファイルが非圧縮ファイルであった場合には一時記憶領域にデータを保持せずに必要なデータを出力することを特徴とする請求項１又は２記載のデータアクセス装置。

Images