JPH04349524A - データ管理装置 - Google Patents

Abstract

(57)【要約】本公報は電子出願前の出願データであるた
め要約のデータは記録されません。

Description

【発明の詳細な説明】

【０００１】

【産業上の利用分野】本発明は、磁気ディスクや光ディ
スクなどを外部記憶装置として用いるコンピュータ応用
システム、特に画像ファイル装置など高速なデータ再生
を必要とするデータ管理システムにおけるデータ管理装
置に関するものである。

【０００２】

【従来の技術】従来より、光ディスク装置などの記憶媒
体を外部記憶装置として利用する文書ファイル装置や画
像ファイル装置などが実用化されている。これらの外部
記憶装置では、ＳＣＳＩ（Ｓｍａｌｌ　Ｃｏｍｐｕｔｅ
ｒ　Ｓｙｓｔｅｍ　Ｉｎｔｅｒｆａｃｅ）と呼ばれるバ
ス規格に代表されるようなブロック単位の入出力インタ
ーフェイス（以下「ブロック型インターフェイス」と記
す）により、ホストコンピュータとデータ入出力を行な
っている。ブロック型インターフェイスでは、読出デー
タの指定はブロック単位で扱われ、入出力を指定する先
頭物理ブロック番号とブロック数とで指定される。従っ
て、外部記憶装置から直接指定メモリに転送する方式（
以下「直接転送」と記す）では、ブロック内のデータを
バイト単位に部分的に読み出すことはできない。

【０００３】ところが、パーソナルコンピュータ（以下
「ＰＣ」と記す）上のＭＳ−ＤＯＳ（マイクロソフト社
のオペレーティングシステム）やワークステーション（
以下「ＷＳ」と記す）上のＵｎｉｘ（ＡＴ＆Ｔ社開発の
オペレーティングシステム）などに代表されるようなオ
ペレーティングシステム（以下「ＯＳ」と記す）では、
一般的に読出データの指定は、ｒｅａｄシステムコール
と呼ばれる指示により、任意のバイト位置から任意バイ
ト数で転送する方式（以下「バイト型インターフェイス
」と記す）で行なわれる。従って、光ディスク装置など
のブロック型インターフェイスの外部記憶装置を接続す
る場合には、ブロック単位に一旦バッファメモリに読み
出し、これを中継して必要なデータ部分のみをバッファ
メモリから指定メモリアドレスへメモリ間で再転送する
方式を採っている（以下「間接転送」と記す）。

【０００４】さらにＯＳでは、このバッファメモリをキ
ャッシュとして利用している。つまり、前回と同一ブロ
ックの読み出しの場合には、このバッファメモリに前回
読み出したデータが残っていないか否かをチェックし、
残っている場合には記憶媒体からの実際の読み出しを省
略することにより、高速化を図っている。上記の直接転
送と間接転送とを比較すると、キャッシュ効果を省いて
考えればスピード面では直接転送が有利である。直接転
送では、途中にバッファメモリを中継しないため、間接
転送に比べてオーバーヘッドが小さいので高速だからで
ある。逆に、記憶媒体の記録領域の有効利用の点からは
、間接転送によるバイト型インターフェイスの方が有利
である。直接転送によるブロック型インターフェイスで
は、ブロック単位の処理に限定されるため、ブロック内
の端数部分が利用できず無駄になるためである。

【０００５】従来、文書ファイル装置や画像ファイル装
置などに用途を限定した専用装置では、直接転送方式を
採用している。こういった専用装置では、キャッシュ機
能を実装していない場合が多く、ブロック型インターフ
ェイスによりブロック単位の読み出しに機能が限定され
る不利益点よりも、記憶装置から表示用や圧縮／伸長回
路用メモリに直接転送することによる高速化の利点を重
視する理由からである。

【０００６】一方近年では、文書ファイル装置や画像フ
ァイル装置などを、専用装置としてではなく、一般のＰ
ＣやＷＳを使って実装したものも主流になりつつある。 こうした形態を用いれば、特にデータの汎用性の面でメ
リットが大きい。従来のように専用装置としての特定用
途に限定されず、他のソフトウェア資産を同じシステム
上で利用できる上、登録してある文書データや画像デー
タを他のソフトウェアで利用したり、作成したデータを
登録したりという相互利用も可能となる。また、ＯＳの
持つネットワーク機能を使って他のシステムと接続する
ことにより、データ交換や遠隔地からの検索などの機能
も実現できる。

【０００７】

【発明が解決しようとする課題】従来のＰＣやＷＳ上の
ＯＳは、上記のように間接転送方式を採用している。こ
のため、特に画像ファイル装置など、大容量データを扱
う用途に使用する場合は、速度面で問題が生じる。この
理由について以下に説明する。一般的にＯＳでは次のよ
うな状況を想定して最適化を図っている。テキストやグ
ラフィックデータなどの主に小容量データの格納や更新
が比較的頻繁に発生する状況での記録領域の利用効率、
また階層型管理に使用するディレクトリファイルと呼ば
れる管理情報など同一ブロックが再三読み出されるよう
な状況でのキャッシュ効果である。つまりこれが、キャ
ッシュを利用する間接転送によるバイト型インターフェ
イスを採用している主目的である。キャッシュされたデ
ータは、ブロック毎に論理的に分割されて保持され、通
常ＬＲＵ（ＬａｓｔＲｅｃｅｎｔｒｙ　Ｕｓｅｄ：最も
最近使ってない）ブロック順と呼ばれるアルゴリズムで
追い出される。従って、扱うデータが小容量で、且つエ
ディット作業に伴う更新処理時や管理情報の参照時など
、同一データが再三読み出される使用形態である場合に
は、このキャッシュ効果は非常に有効に作用するのであ
る。

【０００８】ところが、画像ファイル装置などに応用し
て大容量のデータを扱う場合には、キャッシュ効果が有
効に機能せず、間接転送によるバイト型インターフェイ
スが逆効果となる場合が多い。すなわち、キャッシュさ
れるデータの数は一定数に限定されており、大容量のデ
ータを次々と読み出すような用途では、キャッシュに前
回のデータが残っている確率は非常に低くなる。つまり
、間接転送のメリットであるキャッシュ効果が有効に機
能せず、直接転送に比べて読み出し速度が遅いという欠
点のみを残すことになる可能性が高いのである。

【０００９】このような使用状態の具体例としては、画
像ファイルの一般的な機能である画像データをパラパラ
めくる如く次々と表示させる機能のように、大容量の画
像データを大量に表示させる場合などがこれに相当する
。本発明はかかる事情に鑑みて成されたものであり、通
常のＰＣやＷＳなどを文書ファイル装置や画像ファイル
装置などに応用する場合に、外部記憶装置からデータを
高速で読み出せるデータ管理装置を提供することを目的
とする。

【００１０】

【課題を解決するための手段】本発明は、データを記憶
するメモリユニットと、ブロック単位の読出手段を有す
る外部記憶装置の指定ブロック内バイトオフセット位置
から単一ブロック内又は複数ブロックに跨って連続する
指定バイト数のデータ列を前記メモリユニットの指定メ
モリアドレス範囲に転送する転送手段を有するデータ管
理部とを備えたデータ管理装置において、前記データ管
理部が、前記指定ブロック内バイトオフセット位置が指
定ブロックの先頭バイトで且つ指定バイト数がブロック
サイズの整数倍であるという条件を満たす場合には、前
記外部記憶装置から前記指定メモリアドレス範囲に前記
データ列を直接転送し、前記条件を満たさない場合には
、前記メモリユニット内のバッファメモリに前記単一ブ
ロック又は前記複数ブロックを一旦読み出した後、前記
バッファメモリ内の前記データ列を前記指定メモリアド
レス範囲に再転送する構成としたことを特徴としている
。

【００１１】

【作用】データ管理部は、指定ブロック内バイトオフセ
ット位置が指定ブロックの先頭バイトで且つ指定バイト
数がブロックサイズの整数倍であるという条件を満たす
場合には、外部記憶装置から指定メモリアドレス範囲に
データ列を直接転送し、条件を満たさない場合には、メ
モリユニット内のバッファメモリに単一ブロック又は複
数ブロックを一旦読み出した後、バッファメモリ内のデ
ータ列を指定メモリアドレス範囲に再転送する。

【００１２】

【実施例】以下、本発明の実施例を図面を用いて詳細に
説明する。図１は本発明の一実施例におけるデータ管理
装置のブロック図で、このデータ管理装置は、ホストプ
ロセッサ１と、メモリユニット２と、システムバス３と
、入出力制御部４とにより構成されており、入出力制御
部４には外部記憶装置５が接続されている。ホストプロ
セッサ１は、メモリ管理部６と、データ管理部７とをソ
フトウェアにより実現している。メモリユニット２は、
ホストプロセッサ１がキャッシュメモリなどシステム用
に割当てて使用するシステムメモリ領域８と、各ユーザ
のプロセス実行に使用するユーザメモリ領域９とに論理
的に分割される。システムバス３は、データの入出力を
行う。入出力制御部４は、外部記憶装置５を制御する。 外部記憶装置５は、内蔵ハードディスクあるいは補助的
に外部に接続される光ディスクや増設ハードディスクな
どであり、ＳＣＳＩ規格などのブロック型インターフェ
イスにより入出力制御部４に接続されている。

【００１３】この実施例は、ＭＳ−ＤＯＳやＵｎｉｘな
どのＯＳが動作するコンピュータシステムに本発明のデ
ータ管理装置を実装したもので、メモリユニット２は主
記憶に、メモリ管理部６は仮想記憶の割当や開放及び仮
想記憶と主記憶とのマッピングを管理するＯＳ内のメモ
リ管理システムに各々相当する。またデータ管理部７は
、外部記憶装置５内のデータをファイルとして扱い、そ
の内容を記録する物理ブロック番号群やバイト長を管理
するファイルシステムと、実際の外部記憶装置５との入
出力を実行制御するデバイスドライバと呼ばれる部分に
相当する。

【００１４】図２はファイルデータの説明図で、（Ａ）
はバイト型インターフェイスによる間接転送を必要とす
る場合、（Ｂ）はブロック型インターフェイスによる直
接転送が可能な場合である。これらは共に５ブロックか
ら構成されるファイルデータの例を示しており、各ブロ
ック内に示すｎ〜ｎ＋４は物理ブロック番号である。フ
ァイルデータの読み出し指示は、ファイル識別子（ファ
イルハンドル）と、ファイルデータの先頭バイトからの
バイト位置で示す指定先頭バイト位置（ファイルオフセ
ット）と、指定バイト数と、転送先メモリアドレスとで
指定される。ファイルオフセットは、後述するようにデ
ータ管理部７のファイルシステム機能により、物理ブロ
ック番号とそのブロック内バイトオフセット位置とに換
算される。

【００１５】図２（Ａ）（Ｂ）では、読み出しを指示さ
れた部分を斜線で示している。図２（Ａ）では、ファイ
ルオフセットがブロックの先頭バイト位置に一致してい
ない。このようなブロック内の任意バイト位置からの転
送は、ブロックの先頭物理ブロック番号とブロック数と
でしか指定できないブロック型インターフェイスでは指
示できない。このため、一旦システムメモリ領域８のキ
ャッシュメモリに物理ブロック番号ｎ＋１のデータをブ
ロックごと読み出し、更にブロック内オフセット以降の
データを再転送するという間接転送が必要となる（シス
テムメモリ領域８のキャッシュメモリからユーザメモリ
領域９の転送先メモリへのメモリ間転送では、任意バイ
ト位置の転送が可能である）。ところが図２（Ｂ）では
、ファイルオフセットがブロックの先頭バイト位置と一
致しており、指定バイト数もブロックサイズの整数倍と
なっている。このような場合には、ブロック型インター
フェイスの外部記憶装置５でも、指定の読み出し範囲に
一致するデータの転送が可能である。特に、図２（Ｂ）
の物理ブロック番号ｎ＋１〜ｎ＋４のように読み出すべ
きブロックが物理的に連続している場合には、一度の指
示で複数ブロックを一括転送すれば、１ブロック毎の転
送より更に高速にできる。

【００１６】次に上記データ管理装置の動作について、
データ管理部７の動作を示す図３のフローチャートを参
照しながら説明する。データ管理部７の動作は、通常の
ＯＳのバイト型インターフェイスによる間接転送の動作
に、ステップＳ２，Ｓ６を追加したものである。ステッ
プＳ２はデータ管理部７のファイルシステム機能により
、またステップＳ６はデータ管理部７のデバイスドライ
バ機能により実行される。データ管理部７は、外部記憶
装置５のデータをファイルとして扱い、システムメモリ
領域８にそのファイルを構成するデータを格納するブロ
ック番号群をファイル領域情報として記録している。 ＭＳ−ＤＯＳではＦＡＴ（Ｆｉｌｅ　Ａｌｌｏｃａｔｅ
Ｔａｂｌｅ）、Ｕｎｉｘではｉノードと呼ばれる情報が
これに相当する。ブロック番号は、論理的な番号で記録
されテーブルにより物理ブロック番号に変換される場合
や、直接物理ブロック番号が記録される場合がある。Ｏ
Ｓ側では、これらのファイルデータの読み出し指示とし
て、ｒｅａｄシステムコールと呼ばれる命令をＯＳ上で
動作するプログラム向けに提供している。

【００１７】ｒｅａｄシステムコールが指示されると、
まずステップＳ１で、ｒｅａｄシステムコールで指示さ
れたパラメータを、現在のファイルオフセットと予め読
み出しておいたファイル領域情報とに従い、読み出す対
象となる物理ブロック番号群と、その読み出す先頭ブロ
ックのブロック内オフセットに変換する。すなわちｒｅ
ａｄシステムコールは、パラメータとして、ファイルの
識別ハンドルと、読出バイト数と、ユーザメモリ領域９
の転送先メモリのアドレスとを指示する。先頭読出バイ
ト位置は、内部テーブルとして保持している現在のファ
イルオフセットとなる。データ管理部７のファイルシス
テム機能は、これらのパラメータを予め読み出しておい
たファイル領域情報に従い、読み出す対象となる物理ブ
ロック番号群と、その読み出す先頭ブロックのブロック
内オフセットとに変換する。次にステップＳ２に進んで
、ブロック型インターフェイスによる直接転送が可能な
場合の条件である、ブロック内オフセット位置が０で且
つ指定バイト数がブロックサイズの倍数であるか否かを
判定する。条件を満たしていなければステップＳ３に進
んで、読み出す対象となる物理ブロック番号群のデータ
が、以前のｒｅａｄシステムコールによりシステムメモ
リ領域８のキャッシュメモリに残っているか否かをチェ
ックする。残っていない場合はステップＳ４に進んで、
データ管理部７のデバイスドライバ機能により、実際に
外部記憶装置５から該当ブロックのデータを読み出し、
システムメモリ領域８のキャッシュメモリに格納する。 システムメモリ領域８のキャッシュメモリは、論理的に
ブロックサイズ単位に分割して管理されており、ブロッ
ク単位にデータが残っているか否かが判定される。 この際、使用できるシステムメモリ領域８のキャッシュ
メモリが不足する場合は、ＬＲＵ順のアルゴリズムによ
り、システムメモリ領域８のキュッシュメモリのデータ
が無効にされ再利用に充てられる。次にステップＳ５に
進んで、システムメモリ領域８のキャッシュメモリに読
み出されているブロック全体のデータから、指定部分の
データをユーザメモリ領域９の転送先メモリアドレスに
再転送し、このルーチンを終了する。ステップＳ３で読
み出す対象となる物理ブロック番号群のデータが以前の
ｒｅａｄシステムコールによりシステムメモリ領域８の
キャッシュメモリに残っていると判断すれば、ステップ
Ｓ５に進む。ステップＳ２でブロック型インターフェイ
スによる直接転送が可能な場合の条件を満たしていると
判断すれば、ステップＳ６に進んで、システムメモリ領
域８のキャッシュメモリを使用せず、物理ブロック番号
を指定して、外部記憶装置５からユーザメモリ領域９の
指定された転送先メモリアドレスに直接データを転送し
、このルーチンを終了する。

【００１８】このように、データ管理部７により、指定
ブロック内バイトオフセット位置が指定ブロックの先頭
バイトで且つ指定バイト数がブロックサイズの整数倍で
あるという条件を満たしているか否かを判断し、満たし
ている場合には直接転送を行い、満たしていない場合に
は間接転送を行うので、外部記憶装置５からデータを高
速に読み出せる。

【００１９】また、読み出す対象となる物理ブロック番
号群が不連続の場合には１ブロックずつの転送となるが
、特に物理ブロック番号群が連続なブロック群について
は、本実施例のように先頭物理ブロック番号とブロック
数とを指定して複数ブロックを一括直接転送すれば、高
速化の効果が向上する。ＭＳ−ＤＯＳやＵｎｉｘなどの
ＯＳにおいて、標準のファイルシステムと呼ばれる機構
では、ファイルのデータを物理的に連続に配置する格納
方法（以下「連続記録フォーマット」と記す）を採用し
ていない。しかし、これらのＯＳの拡張として実装され
ているファイルシステムでは、連続記録フォーマットを
採用しているものもある。具体例としては、５インチ再
生専用型光ディスク（ＣＤ−ＲＯＭ）向けの国際標準規
格であるＩＳＯ９６６０と呼ばれるフォーマットや、５
インチ書換型光ディスク向けに医療用途やハイビジョン
静止画像ファイル用途で審議が行われているフォーマッ
トなどがある。こういった連続記録フォーマットを対象
とする場合には、特に一括直接転送の効果は大きい。

【００２０】なお上記実施例では間接転送か直接転送か
のいずれか一方を選択して全部のデータ列を転送したが
、先頭又は最終ブロックが一部のデータ部分のみを指定
されている場合のみ、そのブロックを間接転送し、それ
以外の部分は直接転送するといった混在方法を採用して
もよい。例えば、図２（Ａ）のような場合には、物理ブ
ロック番号ｎ＋１内の転送対象部分（斜線部）は間接転
送で、続く物理ブロック番号ｎ＋２，ｎ＋３は直接転送
で、最後に物理ブロック番号ｎ＋４内の転送対象部分は
間接転送で順次ユーザメモリ領域９の指定メモリアドレ
ス範囲に転送していくのである。

【００２１】また実用上においては、ブロック型インタ
ーフェイスによる直接転送が可能な場合でもキャッシュ
効果の非常に有効な場合もある。例えば、ディレクトリ
ファイルは一般にブロックサイズの倍数サイズで管理さ
れるが、頻繁に参照されるデータであるため、キャッシ
ュ効果の期待できる間接転送の方が望ましい。そこで図
３のステップＳ２において、直接転送を行う条件として
、指定バイト数が規定サイズより大きいか否かを判定条
件に加えてもよい。すなわちディレクトリサイズなどは
通常数キロバイト（以下「ＫＢ」と記す）程度であるた
め、仮に５ＫＢ以上の制限を加えたとすると、通常数百
ＫＢ以上である画像データ等のキャッシュ効果の薄いデ
ータは直接転送で、ディレクトリファイルなどのキャッ
シュ効果の有効なデータは間接転送で、という判別が可
能となる。

【００２２】また一部のＯＳでは、ページサイズとは無
関係に連続する主記憶を確保できるメモリ確保機能を持
つものがある。このメモリ確保機能は予め割り当てたい
主記憶のアドレス範囲を指定する必要があるため、指定
する範囲を予め規定しておき、一括直接転送する場合は
この規定したアドレス範囲内に収まることを、ステップ
Ｓ２の判定条件として加えるとよい。

【００２３】また実際のＯＳでは、仮想記憶空間を主記
憶のサイズよりも大きく利用するために、仮想記憶空間
をページと呼ぶ単位に分割し、実際にプロセスで必要と
されるページを動的に主記憶に割り当てる方法を採って
いる。この場合のページと主記憶とのマッピング情報は
、変換テーブルにより行われており、仮想記憶空間では
連続しているページでも主記憶上は連続しているとは限
らない。従って、このような制限のある場合には、ペー
ジサイズを越えた一括直接転送はできず、ページサイズ
以内のサイズに分割して一括直接転送することが必要で
ある。

【００２４】

【発明の効果】以上説明したように本発明によれば、デ
ータを記憶するメモリユニットと、ブロック単位の読出
手段を有する外部記憶装置の指定ブロック内バイトオフ
セット位置から単一ブロック内又は複数ブロックに跨っ
て連続する指定バイト数のデータ列を前記メモリユニッ
トの指定メモリアドレス範囲に転送する転送手段を有す
るデータ管理部とを備えたデータ管理装置において、前
記データ管理部が、前記指定ブロック内バイトオフセッ
ト位置が指定ブロックの先頭バイトで且つ指定バイト数
がブロックサイズの整数倍であるという条件を満たす場
合には、前記外部記憶装置から前記指定メモリアドレス
範囲に前記データ列を直接転送し、前記条件を満たさな
い場合には、前記メモリユニット内のバッファメモリに
前記単一ブロック又は前記複数ブロックを一旦読み出し
た後、前記バッファメモリ内の前記データ列を前記指定
メモリアドレス範囲に再転送する構成としたので、適切
な判定条件により対象データに適した方法でデータの読
み出しの高速化が図れ、通常のパーソナルコンピュータ
やワークステーションを文書ファイル装置や画像ファイ
ル装置に応用するなど、コンピュータシステムの応用範
囲の幅を拡大できるという優れた効果を奏する。

【図面の簡単な説明】

【図１】本発明の一実施例におけるデータ管理装置のブ
ロック図である。

【図２】ファイルデータの説明図である。

【図３】データ管理部の動作を説明するフローチャート
である。

【符号の説明】

２　　　　メモリユニット ５　　　　外部記憶装置 ７　　　　データ管理部

Claims (5)

【特許請求の範囲】
1. 【請求項１】　　データを記憶するメモリユニットと、
   ブロック単位の読出手段を有する外部記憶装置の指定ブ
   ロック内バイトオフセット位置から単一ブロック内又は
   複数ブロックに跨って連続する指定バイト数のデータ列
   を前記メモリユニットの指定メモリアドレス範囲に転送
   する転送手段を有するデータ管理部とを備えたデータ管
   理装置において、前記データ管理部が、前記指定ブロッ
   ク内バイトオフセット位置が指定ブロックの先頭バイト
   で且つ指定バイト数がブロックサイズの整数倍であると
   いう条件を満たす場合には、前記外部記憶装置から前記
   指定メモリアドレス範囲に前記データ列を直接転送し、
   前記条件を満たさない場合には、前記メモリユニット内
   のバッファメモリに前記単一ブロック又は前記複数ブロ
   ックを一旦読み出した後、前記バッファメモリ内の前記
   データ列を前記指定メモリアドレス範囲に再転送する構
   成としたことを特徴とするデータ管理装置。
2. 【請求項２】　　データを記憶するメモリユニットと、
   ブロック単位の読出手段を有する外部記憶装置の指定ブ
   ロック内バイトオフセット位置から単一ブロック内又は
   複数ブロックに跨って連続する指定バイト数のデータ列
   を前記メモリユニットの指定メモリアドレス範囲に転送
   する転送手段を有するデータ管理部とを備えたデータ管
   理装置において、前記データ管理部が、前記単一ブロッ
   ク又は複数ブロックの内で、ブロック内の全データがデ
   ータ列に含まれる１つ以上の連続ブロックを読み出す場
   合には、前記外部記憶装置から前記指定メモリアドレス
   範囲に直接転送し、ブロック内の少なくとも一部のデー
   タがデータ列に含まれないブロックを読み出す場合には
   、前記メモリユニット内のバッファメモリに前記ブロッ
   クを一旦読み出した後、データ列に含まれるデータ部分
   のみを前記指定メモリアドレス範囲に再転送する構成と
   したことを特徴とするデータ管理装置。
3. 【請求項３】　　外部記憶装置からメモリユニットの指
   定メモリアドレス範囲にデータ列を直接転送する条件と
   して、指定バイト数が予め規定されたサイズ以上である
   という条件を加えたことを特徴とする請求項１又は請求
   項２に記載のデータ管理装置。
4. 【請求項４】　　外部記憶装置からメモリユニットの指
   定メモリアドレス範囲にデータ列を直接転送する条件と
   して、指定メモリアドレス範囲が予め規定されたアドレ
   ス範囲内であるという条件を加えたことを特徴とする請
   求項１又は請求項２に記載のデータ管理装置。
5. 【請求項５】　　外部記憶装置からメモリユニットの指
   定メモリアドレス範囲に直接転送されるデータ列又はそ
   の一部が予め規定されたサイズより大きい場合に、デー
   タ管理部が、前記データ列又はその一部を前記予め規定
   されたサイズ以下に分割して転送することを特徴とする
   請求項１又は請求項２に記載のデータ管理装置。