JP4168522B2 - アクティブ記憶装置とその記憶制御方法及びこれを用いた異種データ統合利用システム - Google Patents
アクティブ記憶装置とその記憶制御方法及びこれを用いた異種データ統合利用システム Download PDFInfo
- Publication number
- JP4168522B2 JP4168522B2 JP07310799A JP7310799A JP4168522B2 JP 4168522 B2 JP4168522 B2 JP 4168522B2 JP 07310799 A JP07310799 A JP 07310799A JP 7310799 A JP7310799 A JP 7310799A JP 4168522 B2 JP4168522 B2 JP 4168522B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- magnetic disk
- disk device
- program
- client computer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/258—Data format conversion from or to a database
Description
【発明の属する技術分野】
本発明は、データ処理機能を内蔵した能動型記憶制御方法、特に、データ形式変換を内部で実行する記憶制御方法とこれを用いた能動型(アクティブ)記憶装置に関する。
【0002】
【従来の技術】
計算機システムの普及に伴い、さまざまなデータがデジタル化され格納されるようになってきた。このようなデータを管理するためには、磁気ディスク、磁気テープ、MO、CD−ROMなどの多種多様なメディアが利用されているが、高速ランダムアクセスが可能で、読み書きが自由に行え、容量当たりの単価が安い磁気ディスクが現在のデータ記憶媒体の主流となっている。外部から与えられたデータを磁気ディスクに格納し、外部からの要求に応じて磁気ディスクからデータを読み出し、出力する磁気ディスク装置が広く使われている。
【0003】
従来の磁気ディスク装置は、そのデータ入出力単位がブロックと呼ばれる物理的な単位であったため、磁気ディスク装置に格納したデータをクライアント側の計算機システム(以下、クライアント計算機)で利用するためには、該磁気ディスク装置をサーバ側の計算機システム(以下、サーバ計算機)に接続し、該サーバ計算機が磁気ディスク装置へのデータ入出力を管理する必要があった。以下、サーバ計算機が磁気ディスク装置を管理し、クライアント計算機からの要求を処理する形態をSAD(Server−Attached Disks)と呼ぶ。
【0004】
ここで、ネットワークを介して各種のデータを利用する前記クライアント計算機が多数存在する環境を考える。このような環境は、ネットワーク技術の発展に伴って広く利用されているクライアント−サーバシステムに代表される各種システムでも前提とされている、現在最も一般的な環境である。このような環境におけるSADではサーバ計算機が処理のボトルネックとなり、システム全体のスケーラビリティがあがらないという問題が明らかになりつつある。例えばG.A.Gibson、D.F.Nagle、K.Amiri、F.W.Chang、H.Gobioff、E.Riedel、D.Rochberg、J.Zelenka著、″Filesystems for Network−Attached Secure Disks″、Technical Report CMU−CS−97−118、Carnegie−Mellon University(以下、文献1)では、サーバ計算機上のファイルをNFS(NetworkFile System)サービスを利用してクライアントがアクセスした場合、クライアントと磁気ディスク装置の組が4台以上となった場合には、SADでは性能が頭打ちになってしまったという実験結果をあげている。この場合、サーバでの処理の大半は磁気ディスク装置へのI/O処理、サーバ計算機でのデータ変換処理、およびサーバ計算機とクライアント計算機の通信処理で占められる。
【0005】
以上のような背景から、システム全体のスケーラビリティをあげるために、クライアント計算機がサーバ計算機を介さずに磁気ディスク装置にアクセスし、データを利用できるような方式が提案されている。例えば、文献1で説明されているNASD(Network−Attached Secure Disks)はサーバ計算機からアクセス権を受け取ったクライアント計算機システムと磁気ディスク装置が論理的なオブジェクトという単位で直接データ転送を行うことにより、システム全体のスケーラビリティが向上するようにしている。
【0006】
さらに、E.Riedel、G.Gibson、C.Faloutsos著、″Active Storage For Large−Scale Data Mining and Multimedia Applications″、Technical Report CMU−CS−98−111、Carnegie Mellon University(以下、文献2)で説明されているActive Diskではこれに加えて、画像のエッジ切出しなど、従来はサーバで行っていた処理の一部を磁気ディスク装置側で行うことにより、システム全体のスケーラビリティを上げている。
【0007】
【発明が解決しようとする課題】
磁気ディスク装置で一部の処理を行おうとする場合に、該処理を行う装置を磁気ディスク装置内に静的に組み込んでしまうと、利用する計算機資源、およびアプリケーション、現在のシステム負荷に応じて処理の単位、方法を切り替えることが困難となる。これらの処理を実現する際にハードウェアとしての処理を行うモジュールを組み込んでしまうと、処理毎に別の装置を作成する必要が出てくるために該装置は汎用とはなり得ず、装置の開発コストが高くなる。
【0008】
前記サーバ計算機を介さずに前記クライアント計算機と直接データ転送を行う磁気ディスク装置はシステムのスケーラビリティを向上させるが、実際にクライアント計算機でデータを利用する場合には、クライアントの所望の形式にデータ形式を変換する処理が不可欠である。
【0009】
従って本発明の第1の目的は、クライアント計算機の要求するデータ形式に効率よくデータを変換する機構を提供し、クライアント計算機およびネットワークの負荷を削減できるようなアクティブ記憶装置(例:磁気ディスク装置)を提供することである。
【0010】
さらに、本発明の第2の目的は、前記データ変換機構を持つ磁気ディスク装置の価格性能比を向上させることである。
【0011】
【課題を解決するための手段】
前記第1の目的を達成するため、本発明ではアクティブ記憶装置(例:磁気記憶装置)内部にクライアント計算機からの要求を受け付け解析するデータ要求解析部と、データ変換プログラム作成部と、データ変換部を設ける。
【0012】
データ変換プログラム作成部は、データ要求解析部での解析結果に基づいて、データ変換プログラムを作成する。クライアント計算機の要求に応じたデータ変換プログラムを作成するために、前記データ変換プログラム作成部はまず、該磁気ディスク装置が保持するプログラムモジュール群の中から前記変換プログラムを作成するためのプログラムモジュールを検索する。
適切な前記プログラムモジュールが該磁気ディスク装置内に存在しない場合には、該データを要求した前記クライアント、もしくはプログラムモジュール群を管理する計算機(以下、プログラムモジュールサーバ)から前記プログラムモジュールを検索し、ネットワーク経由で該プログラムモジュールをダウンロードし、該プログラムモジュールを組み合わせて前記データ変換プログラムを作成する。
【0013】
データ変換部は、前記データ変換プログラム作成部で作成された変換プログラムをダウンロードし、該プログラムを用いて磁気記憶媒体から読み出したデータを変換し、ネットワークインターフェースを介してクライアント計算機に形式変換後のデータを直接転送する。さらに、ネットワークの輻輳への対応のためデータ変換部とネットワークインタフェースの間にバッファ管理部112を設けて前記変換データをキャッシュし、必要に応じて再送処理を行う。クライアント計算機からの要求が、変換データの他の記憶装置へのコピーである場合には、変換データはネットワークインタフェースを介してコピー対象となる該記憶装置へ転送される。
【0014】
さらに、前記第2の目的を達成するためには、アクティブ記憶装置(例:磁気ディスク装置)の汎用性を高める必要がある。つまり、各処理専用のハードウェアを製造する方法ではハードウェア1台あたりの価格が高くなってしまい、価格性能比を大きくできない。そこで、汎用性を高めるために前記サーバ計算機、もしくは前記クライアント計算機で必要なデータ変換処理をプログラムとしてソフトウェアで記述し、該データ変換プログラムを前記磁気ディスク装置上で実行するという方式を採用する。第1の目的を達成する手段でも説明したように、磁気ディスク装置上に適切なデータ変換プログラムが存在しない場合には、データ変換プログラムをプログラムモジュールの形でネットワーク経由でダウンロードし、前記データ変換プログラム作成部で該プログラムモジュールを組み合わせてデータ変換プログラムを作成する。
【0015】
【発明の実施の形態】
図1は、本発明によるネットワーク直結型のアクティブ記憶装置(以下、磁気ディスク装置を例にして説明する)のブロック構成を示す。クライアント計算機101〜102、磁気ディスク装置108、データ変換プログラムサーバ104はネットワーク103に接続される。クライアント計算機101〜102、およびデータ変換プログラムサーバ104はHitachi FLORAなどのパーソナルコンピュータ、Hitachi 3050クリエイティブワークステーションなどの任意のコンピュータ・システムでよく、ネットワークはイーサネット、光ファイバで接続されるローカルエリアネットワークでよい。磁気ディスク装置108は、磁気ディスク装置のネットワークへの接続と前記クライアント計算機、および前記データ変換プログラムサーバとの通信を保証するネットワークインタフェースと、クライアントからのデータ要求を解析するデータ要求解析部と、前記データ要求解析部での解析結果に基づいてデータ変換プログラムを作成するデータ変換プログラム作成部と、該データ変換プログラムをダウンロードし磁気ディスク媒体107に格納されているデータの変換を行うデータ変換部110と、データ変換部で変換されたデータをクライアントに転送する際に必要に応じて該変換データのキャッシングを行うためのキャッシュメモリを内蔵したバッファ管理部112と、該磁気ディスク装置に格納されているデータに関する情報を管理する格納データ管理部113と、前記磁気記憶媒体107にアクセスし、データを読み出すデータアクセス部111とを含む。磁気ディスク装置108における各処理部は、1CPUで実行できるが、I/O処理のみさらに別のCPUで実行しても良い。
【0016】
図1および図5および図6を用いて、本発明によるネットワーク直結型の磁気ディスク装置108の動作を説明する。クライアント計算機101が磁気ディスク装置108に格納されているデータを取得する場合(図5の処理501)、該クライアント計算機は要求するデータの名前、または型が既知でない場合(判定処理502でNoが選択された場合)には、前記磁気ディスク装置108に要求するデータの名前および型を問合せる(503)。該磁気ディスク装置の格納データ管理部113は、図8に示すデータプロパティ管理テーブル801および図9に示す物理マッピング管理テーブル901を管理する。該データプロパティ管理テーブルは、該磁気ディスクの格納しているデータのアクセスに必要な情報を提供する。関係データベースにおいては、前記クライアントの要求するデータの名前は表名802および列名804に相当し、データの型は列の型805に相当する。さらに、図8には、列に関する意味情報806を保持することとしている。該意味情報を用いると、該磁気ディスク装置のデータを他のデータと統合利用する際に、より高度なマッピングが行えデータ統合の支援となる。しかしながら、該意味情報は本発明を実施するにあたっては必須のものではない。
【0017】
物理マッピング管理テーブルは、表名902、レコードID(903)、ブロック904、オフセット905の情報を管理し、論理的なデータ要求を物理的なデータ要求に変更し、データアクセス部703が、データが格納されている磁気記憶媒体704にアクセスする際に必要な情報を提供する。例えば、Employee表に対して906のような問合せが与えられ、条件に合致するレコードのIDが100である場合には、物理マッピング管理テーブルを参照することにより、該レコードは前記磁気記憶媒体の第537ブロックのオフセット12800の位置にあることがわかり、磁気記憶媒体704から格納されたデータを取り出せる。
【0018】
前記磁気ディスク装置へのデータの名前もしくは型の問合せ処理(503)の終了後、もしくは前記クライアント計算機は、要求するデータの名前、および型を既知の場合(判定処理502でYesが選択された場合)に、クライアントは磁気ディスク装置へのデータ要求を発行する。データ要求の例を図10に示す。データ要求は、データ出力フォーマット1001と、データ取得条件1002と、データ形式変換1003との3つの指定を含む。例えば、1番目のエントリ1004は、出力されるデータのフォーマットはレコードで、該データの取得条件は1960年の1月1日以降に生まれたH社の従業員の全カラムで、データ形式変換は行わないことを表し、2番目のエントリ1005は出力されるデータのフォーマットはカラム値で、該データの取得条件は名が”Itaru”のH社の従業員IDであり、出力データ形式をChar(15)に変換することを表し、3番目のエントリ1006は出力されるデータのフォーマットは文書定義指定の無いXML文書で、該データの取得条件は1960年の1月1日以降に生まれたH社の従業員の全カラム情報であり、出力データ形式の変換は行わないことを示し、4番目のエントリ1007は出力されるデータのフォーマットは、文書定義がインターネット上のサイトhttp://hitachi.co.jp/emp.dtdにあるDTD(Document Type Definition)で与えられるXML文書であり、該データの取得条件は1960年の1月1日以降に生まれたH社の従業員のIDとName(名前)であり、姓Fam_nameと名Fir_Nameを、空白をはさんでつなげたものをNameに変換することを表している。
【0019】
クライアント計算機は前記データ形式要求を発行した後、磁気ディスク装置で形式変換されたデータを取得し(505)、データ取得処理を終了する(506)。
【0020】
次に、磁気ディスク装置でのデータ変換処理(601)について説明する。磁気ディスク装置ではクライアント計算機からのデータ形式要求を受け付け(602)、該データ変換を行うためのプログラムが該磁気ディスク上に存在するかを判定する。該判定を行うため、前記データ変換プログラム作成部109内のプログラムモジュール管理部1101は、図12に例を示す出力フォーマット変換モジュール管理テーブル1102と、図13に例を示すデータ形式変換モジュール管理テーブル1103を管理し、出力フォーマットが指定された場合、前記出力フォーマット変換モジュール管理テーブルと、前記データ形式変換モジュール管理テーブル参照して(1107)必要となるデータ形式変換モジュールを、該データ変換プログラム作成部内のプログラムモジュール保存部1104が既に保持しているかどうかをチェックする(1108)。ここで該プログラムモジュール保存部は、該磁気ディスク装置内のメモリを利用して実現しても、磁気記憶媒体の一部を利用して実現しても差し支えない。
【0021】
前記プログラムモジュール保存部が、必要となるデータ形式変換モジュールを既に保持している場合(判定処理603でYesが選択された場合)には、データ変換プログラム作成部内のプログラム合成部1105で該モジュールを用いてデータ変換プログラムを作成し、データの変換を行う(607)。ここで、データ変換プログラムとフォーマット変換モジュールおよびデータ形式変換モジュール(以下、該2つの変換モジュールをプログラムモジュールと呼ぶ)の関係について、図12および図13を用いて説明する。クライアント計算機からのデータ要求によって、データ出力フォーマットが指定されるが、該出力フォーマットにデータを変換するためには一般的に複数の処理を行う必要がある。例えば、エントリ1205に示すカラム値の切出しを行うためには、レコード選択処理とカラム切出し処理を行う必要がある。これらの各々の処理を行うプログラム単位をプログラムモジュールと呼ぶ。モジュールは出力するデータのフォーマットに応じて適切な組み合わせを選択することができる。例えば、エントリ1205および1206は共にカラム値の抽出であるが、エントリ1205はカラムがVARChar(可変長文字列)であるという前提で、カラム切出し用のプログラムモジュールとしてProj_Column_NoVar()を利用しているのに対し、エントリ1206ではカラムがVARCharであるという前提でProj_Column()を利用している。一般的にProj_Column_NoVar()はProj_Column()よりも高速であるので、適切にプログラムモジュールを切り替えて変換プログラムを作成する効果は大きい。図13はデータ形式変換モジュールを管理するデータ形式変換モジュール管理テーブルである。データ形式変換モジュールは、データの形式を変換するためのユーティリティ関数のように利用される。
【0022】
再び図6に戻り、前記データ変換プログラム作成部が前記データ形式変換モジュールの一部または全部を保持していない場合(判定処理603でNoが選択された場合)には、前記プログラムモジュール管理部が、データ形式の変換要求を発行したクライアントが該データ変換プログラムモジュールを提供するかどうかをネットワークインタフェース1106経由で問合せ、該クライアントが該データ変換プログラムモジュールを提供する場合(判定処理604でYesが選択された場合)には、該提供されたプログラムモジュールをダウンロードし、前記プログラム合成部で変換プログラムを作成する。該クライアントが該データ変換プログラムモジュールを提供しない場合(判定処理604でNoが選択された場合)には、前記プログラムモジュール管理部はさらに、ネットワーク上のデータ変換プログラムサーバ104に前記プログラムモジュールが存在するかを問合せ、存在する場合(判定処理605でYesが選択された場合)には、該データ変換プログラムサーバから該プログラムモジュールをダウンロードして、前記プログラム合成部でデータ変換プログラムを作成し(606)、該作成されたプログラムを用いてデータ変換処理を行う(607)。該データ変換プログラムサーバ上にも前記プログラムモジュールが存在しない(判定処理605でNoが選択される)場合にはデータ変換プログラムを作成せずにデータ変換処理は行えない旨をクライアント計算機に通知する(609)。
【0023】
プログラムモジュールの記述に関しては、好適な実施例としてMary Campione、Kathy Walrath著、″The Java Tutorial″、Addison−Wesley、ISBN 0−201−63454−6の4節(以下、文献3)で説明されているようなプログラミング言語を用いることにより、セキュリティーを保ち、しかもプラットフォーム非依存のプログラムモジュールを作成することができる。但し、磁気ディスク装置のアーキテクチャ依存のプログラムモジュールを準備し、磁気ディスク装置が必要なモジュールをダウンロードする形態でも差し支えない。
【0024】
次に、磁気ディスク装置における、レコード選択処理とカラム切出し処理について説明する。
【0025】
図3は、レコード選択処理とカラム切出し処理を、データベースマネージメントシステム(以下、DBMS)に適用した従来方式と、本発明の磁気ディスク装置に適用した例とを並べて示す。図3(A)(従来方式)では、磁気ディスク装置308においてはデータアクセス部306でブロック単位のアクセスしか行えないため、入出力インタフェース305を介して、DBMS(301)には必要とするデータを含むブロック322が転送される(304)。
【0026】
DBMSのレコード選択、カラム切出し処理部303においてレコード選択処理およびカラム切出し処理(312)が施され、切出されたカラムがデータベース処理部302に転送される。一方、図3(B)の本発明では、磁気ディスク装置320中のデータ変換部316において、レコード選択処理とカラム切出し処理319が実行されるため、入出力インタフェース323を介してDBMS(313)に転送されるのは切出されたカラム321となり、転送のためのネットワーク315の負荷を削減できる。本実施例では315はDBMSと磁気ディスク装置を接続する内部ネットワークを想定しているが、先に述べたように磁気ディスク装置がネットワーク直結型の形態を取る場合には304および315はLANあるいはインターネットとなる場合も考えられるため、ネットワーク負荷削減の効果はさらに大きくなる。さらに加えて、本発明の形態ではDBMSではレコード選択、カラム切出し処理を省略することができる。レコード選択およびカラム切出し処理は関係データベースシステムにおける基本的な処理であり、ほとんどの問合せ処理で実行する必要があるため、DBMSの負荷削減に効果が大きい。なお、本実施例ではレコード選択処理とカラム切出し処理を磁気ディスク装置上で実行したが、本発明における磁気ディスク装置へのプログラムモジュールのダウンロードとデータ変換プログラムの作成、および実行方式を用いれば、DBMSの負荷が軽い場合には、磁気ディスク装置上ではレコード選択処理のみを実行するとか、反対にDBMSの負荷が重い場合には、さらに集計処理も磁気ディスク装置上で行うなど、処理単位を柔軟に切り替え得る効果もある。
【0027】
次に、文書定義指定が無い場合のXML文書生成の実施例を図4により説明する。図4では前記DBMS(406)およびWEB ServerをはじめとするXMLアプリケーション410がネットワーク414経由で磁気ディスク装置401に接続されている。まず、DBMSが408に示すようなデータ要求を発行する場合を考える。データ出力フォーマットがカラム値であるため、図12で説明したように、レコード選択処理403およびカラム切出し処理404用のフォーマット変換モジュールを適用し、データ取得要求の条件を満足する値(407)がネットワークを介してDBMSに返される(409)。これに対して、前記XMLアプリケーションが文書定義の指定無しでXMLデータを要求すると、図12で説明したようにレコード選択処理、カラム切出し処理を適用した後、データ取得条件を満たすカラム値に、表名、および列名でタグ付けしたカラム値を、さらに行ごとにタグ付けしたXML文書(411)を作成し、XMLアプリケーションに返す(413)。本実施例では、Employee表の第1から第3のエントリはすべてデータ取得条件を満足しているため、表名<Employee>、行<Row>、および列名でタグ付けされたXML文書として出力される。
【0028】
文書定義指定が有る場合のXML文書生成の実現例を図14を用いて説明する。DBMS側は図4の場合と同様であるので、ここでは省略する。前記XMLアプリケーションがXML文書定義指定とデータ形式変換の指定を含むデータ要求1412を発行すると、磁気ディスク装置1401側では、文書定義指定が無い場合と同様の処理である、レコード選択1403、カラム切出し1404、XMLタグ付与1405に加えて、XMLタグマッピングおよびデータ形式変換1415をプログラムモジュールとして適用し、変換後のXML文書1411を前記XMLアプリケーションに返す。本実施例では、条件は図4に示した場合と同一であるので、出力されるエントリは同一であるが、指定された文書定義に従うように変換されたXML文書として出力が行われる。ここでは、格納されていた列名Fam_Name(姓)とFir_Name(名)を一つの空白をはさんで連結した新たな文字列をName(名前)と定義しているため、例えば1番目のエントリは表名<Employee>、行<Row>に続いて、<Name>タグに挟まれた”Nishizawa Itaru”という文字列がXML文書1411中に出現している。
【0029】
最後に、図2に示した計算機接続型の本発明における磁気ディスク装置について説明する。図2に示す構成は、図1に示すネットワーク直結型の本発明における磁気ディスク装置と本質的に同一である。つまり、図1の構成におけるネットワークインタフェース106が、図2の構成においては計算機201との入出力インタフェース202に対応する。図2の構成においては、データ変換プログラムのダウンロード対象が、ネットワーク上のクライアント計算機101及びデータ変換プログラムサーバ104の代わりに計算機201となるだけであり、動作については図1で説明したネットワーク直結型と同一であるので、説明を省略する。さらに、本実施例の効果も、計算機と磁気ディスク装置間の転送負荷を削減できる、計算機の処理負荷を削減できるなど、ネットワーク直結型の場合と同様である。
【0030】
なお、本実施例では、データ取得条件をSQL(Structured Query Language)言語を用いて記述したが、他の言語を用いて記述しても差し支えない。
【0031】
また、文書定義に関しても本実施例ではDTDを用いたが、DCD(Document Content Descriptions)など他の記法でもよいことは自明で、さらに、本実施例では、磁気記憶媒体に格納されたデータが関係データベースのレコード形式の例を取り上げたが、該データが例えばHTMLなど既にタグ付けされた言語の場合には、本実施例におけるタグマッピング以降の処理を変換プログラムとすることで対応可能なことも自明である。
【0032】
図15は複数のクライアント計算機1501〜1502、本発明の磁気ディスク装置1505、1506、ストレージサーバ1507、およびデータ変換プログラムサーバ1504がネットワーク1503に接続された実施形態である。本構成において、クライアント計算機1501は磁気ディスク装置1505に対してデータを所望の形式に変換して、他の磁気ディスク装置1506、もしくはストレージサーバ1507に格納するというリクエストを発行することも可能であり、この場合には磁気ディスク装置1505からクライアント計算機1501にデータが直接転送されることはない。つまり、本発明はクライアント計算機からのリクエストに対して必ず磁気ディスク装置から該クライアント計算機に直接データ転送が行われる場合に限定されるわけではない。
【0033】
本発明のアクティブ記憶装置を利用した異種データ統合システムを図16,図17を用いて説明する。図16において,アクティブ記憶装置1601,1602はそれぞれ表型データ1608,XMLドキュメント1609を含む。今,あるユーザがクライアント計算機1605から,表現,構造が異なるこの2つのデータを統合利用しようとする場合を考える。ユーザはこの2つのデータを新しい構造を持つNewDocという名前のデータとして利用したいとすると,例えば1606のように指定することにより,1608中のFir_NameとFam_Nameを結合し,1609のデータと合わせた形で新しいデータ1604を取得できる。
1606ではユーザが答えをすぐに取得したいという指定を行っているため,新データはユーザに直ちに送信される。
【0034】
一方、図17の例では,ユーザは新データを生成してストレージサーバA(1704)に格納せよという指定を行っている。この指定は,(1)変換対象のデータ量が多く変換に時間がかかる場合,(2)変換後のデータが一時的なものではなく,何度も参照するために保存しておきたい場合,(3)管理者が他のユーザのためによく利用されるデータを作成しておきたい場合などに有効である。
【0035】
【発明の効果】
本発明によれば、以下の効果がある。
【0036】
(1)クライアント計算機の要求に柔軟に対処し得る汎用的なアクティブ記憶装置(例:磁ディスク装置)を提供できる。
【0037】
(2)データ変換をアクティブ記憶装置内で行うことにより、サーバ計算機の処理のボトルネックが解消でき、システム全体のスケーラビリティが向上する。
【0038】
(3)データを利用する側のクライアント計算機でのデータ変換処理を省略でき、該クライアント計算機における処理効率が向上する。
【図面の簡単な説明】
【図1】本発明におけるネットワーク直結型の磁気ディスク装置の構成を示す図。
【図2】本発明における計算機接続型磁気ディスク装置の構成を示す図。
【図3】本発明における磁気ディスク装置と従来型の磁気ディスク装置での処理方式の比較を示す図。
【図4】本発明の実施例における、文書定義指定が無い場合のXMLデータの生成方法を示す図。
【図5】本発明におけるクライアント計算機のデータ取得処理手順を示すフローチャート。
【図6】本発明における磁気ディスク装置でのデータ変換処理手順を示すフローチャート。
【図7】本発明の実施例における、格納データ管理部の構成を示す図。
【図8】本発明の実施例における、データプロパティ管理テーブルを示す図。
【図9】本発明の実施例における、物理マッピング管理テーブルを示す図。
【図10】本発明の実施例における、クライアント計算機からのデータ要求を示す図。
【図11】本発明における、データ変換プログラム作成部の構成を示す図。
【図12】本発明の実施例における、出力フォーマット変換モジュール管理テーブルを示す図。
【図13】本発明の実施例における、データ形式変換モジュール管理テーブルを示す図。
【図14】本発明の実施例における、文書定義指定が有る場合のXMLデータの生成方法を示す図。
【図15】本発明の実施例における、ネットワーク直結型のアクティブ記憶装置のデータ変換とストレージサーバへの格納の応用例を示す図。
【図16】本発明の実施例における、異種データ統合システムのシステム構成図。
【図17】本発明の実施例における、他の異種データ統合システムのシステム構成図。
【符号の説明】
101,102,1501,1502、1605,1706…クライアント計算機,
107,207,307,318,401,704,1401…磁気記憶媒体,
103,414,1414,1503、1607,1705…ネットワーク,
104,1504…データ変換プログラムサーバ,
201…計算機,701…データプロパティ管理テーブル,702…物理マッピング管理テーブル,1102…出力フォーマット変換モジュール管理テーブル,
1103…データ形式変換モジュール管理テーブル,
1505,1506…磁気ディスク装置,
1507、1704…ストレージサーバ。
Claims (3)
- クライアント計算機が接続されたネットワークに接続する機能を備えた磁気ディスク装置の動作制御方法において、
当該磁気ディスク装置は、
データが記憶される記憶媒体と、
前記ネットワークに接続されるためのインタフェースと、
当該磁気ディスク装置の動作を制御するためのCPUと、
前記クライアント計算機から受け付けたデータ要求を処理するために必要なプログラムを格納するためのメモリとを有し、
前記CPUは、
(1)前記インタフェースから受け付けた前記クライアント計算機のデータ要求を解析し、前記クライアント計算機から与えられた前記データの取得条件の指定、データ出力フォーマットの指定、ならびに必要な場合のデータ形式変換の指定を取得する処理と、
(2)当該データ取得条件に従って、前記データ要求により要求されたデータを前記記憶媒体から読み出す処理と、
(3)前記データ出力フォーマットの指定を満足し、また前記データ形式変換の指定があった場合に更にその指定を満足するのに必要なプログラムモジュールを前記メモリないし前記記憶媒体より検索してダウンロードする処理と、
(4)ダウンロードしたプログラムモジュールを用いて変換プログラムを作成し、実行することにより前記記憶媒体から読み出したデータを前記データ出力フォーマットの指定に沿って変換する処理と、
(5)当該変換されたデータを前記クライアント計算機に送信する処理と、
を実行することを特徴とする磁気ディスク装置の動作制御方法。 - 請求項1に記載の磁気ディスク装置の動作制御方法において、前記変換する処理は、前記記録媒体から読み出したデータに、XMLタグを付与してXML言語に変換する処理であることを特徴とする磁気ディスク装置の動作制御方法。
- 請求項1に記載の磁気ディスク装置の動作制御方法において、前記検索の結果、前記変換プログラムを構成するプログラムモジュールが前記メモリないし前記記憶媒体に存在しないと判明した場合には、前記CPUは、前記ネットワーク上のプログラムサーバに該存在しないプログラムモジュールの有無を問い合わせ、有ればダウンロードして前記変換プログラムの生成に用いることを特徴とする磁気ディスク装置の制御方法。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP07310799A JP4168522B2 (ja) | 1999-03-18 | 1999-03-18 | アクティブ記憶装置とその記憶制御方法及びこれを用いた異種データ統合利用システム |
US09/382,695 US6519598B1 (en) | 1999-03-18 | 1999-08-25 | Active memory and memory control method, and heterogeneous data integration use system using the memory and method |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP07310799A JP4168522B2 (ja) | 1999-03-18 | 1999-03-18 | アクティブ記憶装置とその記憶制御方法及びこれを用いた異種データ統合利用システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2000267907A JP2000267907A (ja) | 2000-09-29 |
JP4168522B2 true JP4168522B2 (ja) | 2008-10-22 |
Family
ID=13508751
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP07310799A Expired - Fee Related JP4168522B2 (ja) | 1999-03-18 | 1999-03-18 | アクティブ記憶装置とその記憶制御方法及びこれを用いた異種データ統合利用システム |
Country Status (2)
Country | Link |
---|---|
US (1) | US6519598B1 (ja) |
JP (1) | JP4168522B2 (ja) |
Families Citing this family (15)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10839321B2 (en) * | 1997-01-06 | 2020-11-17 | Jeffrey Eder | Automated data storage system |
AU2001255441A1 (en) * | 2000-04-17 | 2001-10-30 | Circadence Corporation | System and method for implementing application -independent functionality within a network infrastructure |
US6568596B1 (en) * | 2000-10-02 | 2003-05-27 | Symbol Technologies, Inc. | XML-based barcode scanner |
JP4087049B2 (ja) * | 2000-11-01 | 2008-05-14 | 株式会社日立製作所 | データベース管理システムのデータ変換方法、それを実現するための装置、および、それを実行するためのプログラムの記憶媒体 |
TW495685B (en) * | 2000-12-26 | 2002-07-21 | Hon Hai Prec Ind Co Ltd | Agent service system and method for online data access analysis |
US6738911B2 (en) * | 2001-02-02 | 2004-05-18 | Keith Hayes | Method and apparatus for providing client-based network security |
US6643635B2 (en) * | 2001-03-15 | 2003-11-04 | Sagemetrics Corporation | Methods for dynamically accessing, processing, and presenting data acquired from disparate data sources |
US6611839B1 (en) * | 2001-03-15 | 2003-08-26 | Sagemetrics Corporation | Computer implemented methods for data mining and the presentation of business metrics for analysis |
EP1271342A1 (en) * | 2001-04-30 | 2003-01-02 | Sun Microsystems, Inc. | Method for accessing database table columns |
US7027439B1 (en) | 2001-05-10 | 2006-04-11 | Emc Corporation | Data storage system with improved network interface |
US7023869B2 (en) | 2001-05-10 | 2006-04-04 | Emc Corporation | Data storage system with one or more integrated server-like behaviors |
JP2003167815A (ja) * | 2001-11-30 | 2003-06-13 | Hitachi Ltd | データアクセス制御方法 |
US7093195B2 (en) * | 2002-03-21 | 2006-08-15 | International Business Machines Corporation | Standards-based formatting of flat files into markup language representations |
GB2396442B (en) * | 2002-09-17 | 2006-03-01 | Micron Technology Inc | Host memory interface for a parallel processor |
JP5705681B2 (ja) * | 2011-08-19 | 2015-04-22 | 株式会社Pfu | 情報処理装置、データ移行用ツール生成方法およびプログラム |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US5513156A (en) * | 1993-07-23 | 1996-04-30 | Fujitsu Limited | Library apparatus |
US5611066A (en) * | 1994-02-28 | 1997-03-11 | Data/Ware Development, Inc. | System for creating related sets via once caching common file with each unique control file associated within the set to create a unique record image |
JPH0973412A (ja) * | 1995-06-30 | 1997-03-18 | Toshiba Corp | データ転送方法及びメモリ管理装置 |
US5761696A (en) * | 1996-04-02 | 1998-06-02 | International Business Machines Corporation | Parallel database serving mechanism for a single-level-store computer system |
JP3674227B2 (ja) * | 1997-03-14 | 2005-07-20 | 株式会社日立製作所 | 可搬メディアを収納する記憶装置 |
JPH11136394A (ja) * | 1997-08-26 | 1999-05-21 | Casio Comput Co Ltd | データ出力システムおよびデータ出力方法 |
-
1999
- 1999-03-18 JP JP07310799A patent/JP4168522B2/ja not_active Expired - Fee Related
- 1999-08-25 US US09/382,695 patent/US6519598B1/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
US6519598B1 (en) | 2003-02-11 |
JP2000267907A (ja) | 2000-09-29 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4168522B2 (ja) | アクティブ記憶装置とその記憶制御方法及びこれを用いた異種データ統合利用システム | |
CN1906613B (zh) | 产生可扩展的文件系统元数据和文件系统内容处理的系统和方法 | |
JP4306152B2 (ja) | クラスタ化したアプリケーションサーバおよびデータベース構造を持つWebシステム | |
US7058639B1 (en) | Use of dynamic multi-level hash table for managing hierarchically structured information | |
KR100330576B1 (ko) | 컴퓨터네트워크로부터월드와이드웹상의페이지위치을파악하고문서위치를파악하는시스템및방법 | |
US5937406A (en) | File system interface to a database | |
JP4593793B2 (ja) | 問合せ可能なダイナミック・キャッシュを有するウェブサーバ | |
US7130872B2 (en) | Multi-tiered caching mechanism for the storage and retrieval of content multiple versions | |
US6842770B1 (en) | Method and system for seamlessly accessing remotely stored files | |
US6988101B2 (en) | Method, system, and computer program product for providing an extensible file system for accessing a foreign file system from a local data processing system | |
US8255430B2 (en) | Shared namespace for storage clusters | |
JP4944008B2 (ja) | ファイルシステム内での効率的なファイルコンテンツをサーチするためのシステム、方法及びコンピュータアクセス可能な記録媒体 | |
US20060143187A1 (en) | Integrating tablespaces with different block sizes | |
US20060282482A1 (en) | Method and system for model-based replication of data | |
US7610304B2 (en) | Techniques for performing file operations involving a link at a database management system | |
JP2006114045A (ja) | スキーマデータ(schemadata)からデータ構造へのマッピング | |
KR100419836B1 (ko) | 관계형 액세스 방법에 의해 비관계형 데이타를 액세스하기위한 시스템 및 방법 | |
US6823341B1 (en) | Method, system and program for providing indexed web page contents to a search engine database | |
JP2001101042A (ja) | データ管理システム及びデータ管理方法 | |
JP2008262561A (ja) | 履歴上のファイル名およびロケーションをインデックス付きにすることによりファイル・サーチおよびファイル操作を支援するためのシステムおよび方法 | |
US7089249B2 (en) | Method and system for managing database having a capability of passing data, and medium relevant thereto | |
GB2407415A (en) | Preventing a web crawler from indexing or following a portion of a web page | |
US20040049558A1 (en) | System and method for synchronizing unstructured documents | |
JP2000137689A (ja) | 共用データキャッシュ処理方法及びその実施装置並びにその処理プログラムを記録した媒体 | |
JPH09218880A (ja) | ドキュメントデータ検索システム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20041203 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20041203 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20060417 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080129 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080331 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20080422 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20080623 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20080715 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20080728 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110815 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120815 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130815 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |