JPWO2014122733A1 - 計算機、データアクセス管理方法及び記録媒体 - Google Patents
計算機、データアクセス管理方法及び記録媒体 Download PDFInfo
- Publication number
- JPWO2014122733A1 JPWO2014122733A1 JP2014560556A JP2014560556A JPWO2014122733A1 JP WO2014122733 A1 JPWO2014122733 A1 JP WO2014122733A1 JP 2014560556 A JP2014560556 A JP 2014560556A JP 2014560556 A JP2014560556 A JP 2014560556A JP WO2014122733 A1 JPWO2014122733 A1 JP WO2014122733A1
- Authority
- JP
- Japan
- Prior art keywords
- data
- path
- access
- file
- name
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/25—Integrating or interfacing systems involving database management systems
- G06F16/254—Extract, transform and load [ETL] procedures, e.g. ETL data flows in data warehouses
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/182—Distributed file systems
- G06F16/1824—Distributed file systems implemented using Network-attached Storage [NAS] architecture
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/13—File access structures, e.g. distributed indices
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/10—File systems; File servers
- G06F16/18—File system types
- G06F16/185—Hierarchical storage management [HSM] systems, e.g. file migration or policies thereof
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/28—Databases characterised by their database models, e.g. relational or object models
- G06F16/283—Multi-dimensional databases or data warehouses, e.g. MOLAP or ROLAP
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Databases & Information Systems (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
共有ファイルサーバを含む計算機システムにおいて、ファイルデータへのアクセスを正確かつ効率的に行うために、ファイルデータへのアクセスを管理する。記憶領域に格納されたデータに対するアクセスパスが割り当てられる複数の第1ネームスペースと、アクセスパスに対応するパスが割り当てられ、第1ネームスペースとは異なるネームスペースとを有する計算機であって、異なる第1ネームスペースに生成されるアクセスパスが同一である場合、それらに対応する対応するパスを互いに異なるパスに変更する。また、分析対象とするデータに対応するパスを割り当てることにより、大量のデータから要求されたデータへ効率的にアクセスする。さらに、データを格納する計算機の負荷に応じて、対応するパスの振り分けを変更する。
Description
本発明は、各計算機間でデータ伝播を行う共有ファイルシステムにおける、データアクセス管理方法、管理装置及びプログラムを格納する記録媒体に関する。
近年のクラウド環境やビッグデータ処理等を実現する大規模計算機システムで扱うデジタルデータ、特にファイルデータのデータ量は急速に増大している。そのため、システムを構成する物理計算機の数を単に増加させるだけでなく、仮想化技術によって特定の処理を行うサーバを互いに連携させて一つの処理結果を出力する計算機システムが実現されている。
このシステムでは、種々のデータを格納するデータソースから所定のデータを収集して処理後データを生成するETL(Extract Transform Load)と、ETLが生成した処理後データ間の関連性等を検索又は分析等するための元となる処理後データを生成するDWH(Data WareHouse)と、DWHに格納されたデータに対する共有アクセスを管理する共有ファイルサーバ、DWHに格納された処理後データを検索や分析して、処理後データを生成する分析あるいは検索サーバといった解析用機能部等とから構成される場合がある。
共有ファイルサーバには、各DWHに対応するネームスペースが構成される。DWHは、対応して構成されるネームスペースにアクセスすることはできるが、他のDWHに対応して構成されるネームスペースにはアクセスすることができない。そのため、分析あるいは検索サーバが、他のネームスペースで管理するファイルデータにアクセスする場合、DWHのネームスペースの割り当てを、他のネームスペースに変更してファイルデータへのアクセスを実現する方法や、他のネームスペースで管理されるファイルデータを、自サーバに接続されたDWHに割り当てられるネームスペースの記憶領域に複製する方法がある。
しかし、多数のサーバによってシステム構成されている場合、システムの構成変更に要する時間が非常に長くなるため、迅速なデータ処理を実現することができない。また、ファイルデータの複製には、複製の処理負荷や、ファイルデータを格納するためのメモリ負荷が非常に大きくなる。
そこで、ファイルデータに効率的にアクセスする方法として、スタブを利用する技術が知られている(特許文献1)。特許文献1には、システム内に存在するDWHが格納する全てのファイルデータのスタブを生成し、対応する/対応しないネームスペースで管理されるファイルデータにアクセスする技術が開示されている。
しかし、特許文献1の技術のように一つの共有ファイルシステムでファイルデータを統合して管理するとき、ファイルデータへの適切なアクセス制御を効率的に行うことができない。具体的には、データアクセスのために作成されたスタブの名称が異なるネームスペース間で重複したとき、ネームスペースに付与された管理番号の小さいネームスペースからファイルデータへアクセスするシステムでは、管理番号の大きいネームスペースのファイルデータにアクセスすることができない。
上記課題を解決するために、本発明の代表的な一側面は、記憶領域に格納されたデータに対するアクセスパスが割り当てられる複数の第1ネームスペースと、アクセスパスに対応するパスが割り当てられ、第1ネームスペースとは異なるネームスペースとを有する計算機であって、異なる第1ネームスペースに生成されるアクセスパスが同一である場合、それらに対応する、対応するパスを互いに異なるパスに変更することを特徴とする。
本発明の一側面によれば、共有ファイルサーバを含む計算機システムにおいて、ファイルデータへのアクセスを効率的に行うことができる。
[第1実施形態]
以下、添付図面を用いて本発明を適用した第1実施形態について詳細に説明する。添付図面は、本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、本発明を限定的に解釈するために用いられるものではない。添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。
以下、添付図面を用いて本発明を適用した第1実施形態について詳細に説明する。添付図面は、本発明の原理に則った具体的な実施形態と実装例を示しているが、これらは本発明の理解のためのものであり、本発明を限定的に解釈するために用いられるものではない。添付した請求の範囲の趣旨内における様々な変更及び同等の構成を含むものである。
図1に、本実施形態の概要について説明する。
本実施形態では、まず、分析サーバのDWHに対応するダミーネームスペース192を生成する。ダミーネームスペースとは、実際にはファイルデータを格納していないが、データを格納しているネームスペース(以下、「実ネームスペース」という。)にアクセスするために便宜的に作成されるネームスペースをいう。そして、共有ファイルサーバ内に、実ネームスペース190からファイルデータにアクセスするための実ファイルパス名と、ダミーネームスペース192からファイルデータにアクセスするためのスタブパス名との対応をファイル名対応表170で管理する。そして、実ファイルパス名とスタブパス名とが重複するとき、スタブパス名を変更してファイルデータへのアクセスを行う。
本実施形態では、まず、分析サーバのDWHに対応するダミーネームスペース192を生成する。ダミーネームスペースとは、実際にはファイルデータを格納していないが、データを格納しているネームスペース(以下、「実ネームスペース」という。)にアクセスするために便宜的に作成されるネームスペースをいう。そして、共有ファイルサーバ内に、実ネームスペース190からファイルデータにアクセスするための実ファイルパス名と、ダミーネームスペース192からファイルデータにアクセスするためのスタブパス名との対応をファイル名対応表170で管理する。そして、実ファイルパス名とスタブパス名とが重複するとき、スタブパス名を変更してファイルデータへのアクセスを行う。
図2は、第1実施形態における計算機システムのシステム構成を示す。
計算機システムは、共有ファイルサーバ150、DWH110、ETL120、データソース130及び分析サーバ140が含まれる。各構成部は、有線又は無線のネットワーク103を介して通信可能に接続される。クライアント101から送信された各種の要求に対し、処理結果を応答する。
計算機システムは、DWH110、ETL120、データソース130、分析サーバ140及び共有ファイルサーバ150から構成される。
計算機システムは、共有ファイルサーバ150、DWH110、ETL120、データソース130及び分析サーバ140が含まれる。各構成部は、有線又は無線のネットワーク103を介して通信可能に接続される。クライアント101から送信された各種の要求に対し、処理結果を応答する。
計算機システムは、DWH110、ETL120、データソース130、分析サーバ140及び共有ファイルサーバ150から構成される。
データソース130は、汎用のサーバ装置であり、単一又は複数の物理計算機やHDD、SSD(Solid State Store)等を備えるストレージ装置から構成される。ストレージ装置内に、構造化データ、半構造化データ及び非構造化データ等、データソースが接続される種々の外部システムによってデータが格納される。データソース130に格納されたファイルデータは、所定の契機で、ETL120に収集(クローリング)され、次いで所定の契機でDWH110にクローリングされる。
ETL120は、スケジュールに沿ってデータソース130からデータを収集(クローリング)するサーバである。ETL120は、CPU220、主記憶221及び補助記憶222から構成され、CPU220と主記憶221に記憶されたプログラムとの協働によりデータ収集部121が実現される。収集されたデータは、その後、所定のスケジュールでDWH110に出力される。例えば、ETL120が収集するデータは、テキストデータ、イメージデータ及びそれらのメタデータであり、これらが所定のデータ形式に加工される。
DWH110は、スケジュールに沿ってETL120からデータをクローリングし、ファイル形式で格納するファイルサーバである。DWH110は、CPU210、主記憶211及び補助記憶212から構成され、CPU210と主記憶211に記憶されたプログラムとの協働により、分析サーバ140に対してファイル共有機能を提供するファイル共有部111が実現される。そして、格納されたファイルに対するアクセスを可能とさせる。また、DWH110は、スタブ112を有する。スタブ112により、共有ファイルサーバ150に格納されたファイルデータにアクセスする。
分析サーバ140は、クライアント101からの要求に応じて、所定のファイルデータに対して分析処理を実行し、処理結果を応答する。分析サーバ140は、CPU230、主記憶231及び補助記憶232から構成され、CPU230と主記憶に記憶されたプログラムとの協働により、情報抽出部141と情報参照部142が実現される。分析サーバ140では、DWH110からスケジュールに沿ってデータが読み出され、そのデータコンテンツが解析されることによって得た情報をメタデータとして保存し、その情報への参照を可能にする。具体的には、情報抽出部141によってデータの内容が解析され、メタファイルが生成される。また、クライアントからのメタファイル参照要求に対し、情報参照部142により生成されたメタファイルが参照できるようになっている。
データソース130に格納されたファイルデータは、所定の契機で、ETL120にクローリングされ、次いで、予定の時刻にDWH110にクローリングされ、その後、所定の時刻に分析サーバ140にクローリングされて伝播される。
共有ファイルサーバ150は、ネットワーク103を介して接続されるクライアント101から、計算機システムの構成情報の変更や処理設定の変更を受け付ける。サーバ内には、各DWH110に対応するネームスペースが構成される。共有ファイルサーバ150は、CPU200、主記憶201及び補助記憶202から構成され、CPU200と主記憶201に格納されたプログラムとの協働により、ダミーアクセス設定部151、ファイル名管理部152及びアクセス要求中継部153の各種機能部が実現される。
ダミーアクセス設定部151は、ダミーのネームスペース192の生成/参照/変更/削除を行う。また、ダミーアクセス設定部151は、共有ファイルシステム上で、ダミーネームスペース192を参照するスタブの生成/変更/削除を行う。さらに、実ネームスペースに存在するファイル名と、スタブを用いて参照されるダミーネームスペースのファイル名との対応を、ファイル名対応表170を用いて管理する。
ファイル名管理部152は、ファイル名変更表180を参照して、スタブパス名を変更する処理を行う。
ダミーアクセス設定部は151は、ファイルデータへのアクセス処理を行う。
ダミーアクセス設定部151は、ダミーのネームスペース192の生成/参照/変更/削除を行う。また、ダミーアクセス設定部151は、共有ファイルシステム上で、ダミーネームスペース192を参照するスタブの生成/変更/削除を行う。さらに、実ネームスペースに存在するファイル名と、スタブを用いて参照されるダミーネームスペースのファイル名との対応を、ファイル名対応表170を用いて管理する。
ファイル名管理部152は、ファイル名変更表180を参照して、スタブパス名を変更する処理を行う。
ダミーアクセス設定部は151は、ファイルデータへのアクセス処理を行う。
以降では、共有ファイルサーバ150が有する参照データについて説明する。ここでは各種テーブル形式を採用して示しているが、管理する情報はテーブル形式に限られるものではない。
図3は、DWH110が有するスタブ112を示す。分析サーバ140は、スタブ112を介してファイルデータにアクセスする。スタブ112は、NS名113(以下、「NS」は、ネームスペースの略語を示す。)及びスタブパス名114から構成される。NS名113は、分析サーバ140がアクセスするネームスペース名を示している。スタブパス名114は、実際のファイルデータにアクセスするためのパス名を示している。
図3は、DWH110が有するスタブ112を示す。分析サーバ140は、スタブ112を介してファイルデータにアクセスする。スタブ112は、NS名113(以下、「NS」は、ネームスペースの略語を示す。)及びスタブパス名114から構成される。NS名113は、分析サーバ140がアクセスするネームスペース名を示している。スタブパス名114は、実際のファイルデータにアクセスするためのパス名を示している。
図4は、共有ファイルサーバ150が有するNSリスト160を示す。ファイル名管理部152は、NSリスト160を参照し、アクセスしているネームスペースが、実ネームスペースであるいはダミーネームスペースであるのかを判定する。
NSリスト160は、NS名161及び種別162からなる。NS名161は、実ネームスペース及びダミーネームスペースの名称を示す。種別162は、各ネームスペースが実ネームスペース(real)あるいはダミーネームスペース(dummy)であるかを示す。
NSリスト160は、NS名161及び種別162からなる。NS名161は、実ネームスペース及びダミーネームスペースの名称を示す。種別162は、各ネームスペースが実ネームスペース(real)あるいはダミーネームスペース(dummy)であるかを示す。
図5は、共有ファイルサーバ150が有するファイル名対応表170を示す。ファイル名管理部152は、ファイル名対応表170を参照することにより、実ファイルデータにアクセスする。ファイル名対応表170は、実ネームスペースのファイルパス名とダミーネームスペースのスタブパス名との対応関係を示し、実NS名171、実ファイルパス名172、ダミーNS名173及びスタブパス名174を有する。
実NS名171は、実際のデータが格納されている実ネームスペースを示す。実ファイルパス名172は、ネームスペースにアクセスするためのパス名が格納される。ダミーNS名173は、ダミーネームスペースの名称を示す。スタブパス名174は、ダミーネームスペースにアクセスするためのスタブパス名を格納する。
実NS名171は、実際のデータが格納されている実ネームスペースを示す。実ファイルパス名172は、ネームスペースにアクセスするためのパス名が格納される。ダミーNS名173は、ダミーネームスペースの名称を示す。スタブパス名174は、ダミーネームスペースにアクセスするためのスタブパス名を格納する。
図6は、共有ファイルサーバ150が有するファイル名変更表180を示す。ファイル名管理部152は、異なるネームスペース間でスタブパス名が重複した場合、ファイル名変更表180を参照することにより、新たなスタブパス名を決定する。
ファイル名変更表180は、ファイル名パターン181、変換後ファイル名パターン182及び補足情報183から構成される。ファイル名パターン181は、ファイルの拡張子に関する情報を格納する。変換後ファイル名パターン182は、ファイル名変換後にファイル名に付与される情報である。補足情報183は、ファイルデータに関する補足情報が格納される。例えば、ファイル名パターンの詳細情報が格納される。
ファイル名変更表180は、ファイル名パターン181、変換後ファイル名パターン182及び補足情報183から構成される。ファイル名パターン181は、ファイルの拡張子に関する情報を格納する。変換後ファイル名パターン182は、ファイル名変換後にファイル名に付与される情報である。補足情報183は、ファイルデータに関する補足情報が格納される。例えば、ファイル名パターンの詳細情報が格納される。
図7は、本実施形態の計算機システムにおける全体処理を示すフローである。
まず、S701で、ダミーアクセス設定部151が、共有ファイルサーバ150に対応するネームスペースを新たに生成する。
次いで、S703で、ダミーアクセス設定部151が、S701で生成したネームスペースが管理する各ファイルデータについてスタブ112を生成し、実際のデータにアクセスするためのスタブパス名を設定する。
次いで、S705で、ダミーアクセス設定部151が、ファイル名対応表170を更新する(以下、「ファイル名更新処理」という。)。
S707で、ダミーアクセス設定部151は、ファイル名対応表170のスタブパス名174が重複しているかを判断する。スタブパス名174が重複している場合(S707:Yes)、S709でファイル名管理部152が、ファイル名を変更する(以下、「ファイル名変更処理」という。)。
次いで、S711で、ファイル名管理部152が、ファイル名対応表170を変更して登録する(以下、「ファイル名登録処理」という。)(S713)。ファイル名が重複していない場合(S707:No)、そのままファイル名を登録して処理を終了する。
まず、S701で、ダミーアクセス設定部151が、共有ファイルサーバ150に対応するネームスペースを新たに生成する。
次いで、S703で、ダミーアクセス設定部151が、S701で生成したネームスペースが管理する各ファイルデータについてスタブ112を生成し、実際のデータにアクセスするためのスタブパス名を設定する。
次いで、S705で、ダミーアクセス設定部151が、ファイル名対応表170を更新する(以下、「ファイル名更新処理」という。)。
S707で、ダミーアクセス設定部151は、ファイル名対応表170のスタブパス名174が重複しているかを判断する。スタブパス名174が重複している場合(S707:Yes)、S709でファイル名管理部152が、ファイル名を変更する(以下、「ファイル名変更処理」という。)。
次いで、S711で、ファイル名管理部152が、ファイル名対応表170を変更して登録する(以下、「ファイル名登録処理」という。)(S713)。ファイル名が重複していない場合(S707:No)、そのままファイル名を登録して処理を終了する。
図8は、ファイル名管理部152が実行するファイル名変更処理(S104)のフローを示す。本処理は、ファイル名対応表170のスタブパス名が、異なるネームスペース間で重複している場合に、ファイル名変更表180を使用して、スタブパス名を変更する処理である。
まず、S901で、ファイル名管理部152が、ファイル名変更表180を参照して、変更対象となるファイル名及びファイル名パターンを特定する。
次いで、S903で、ファイル名管理部152が、ファイル名変更表180の変換後ファイル名パターン182から、ファイル名の変換内容を決定する。ファイル名の変換内容は、ファイル名変更表180の変換後ファイル名パターン181から決定される。
最後に、S905で、ファイル名管理部152が、決定した変換内容にスタブパス名を変更する。
まず、S901で、ファイル名管理部152が、ファイル名変更表180を参照して、変更対象となるファイル名及びファイル名パターンを特定する。
次いで、S903で、ファイル名管理部152が、ファイル名変更表180の変換後ファイル名パターン182から、ファイル名の変換内容を決定する。ファイル名の変換内容は、ファイル名変更表180の変換後ファイル名パターン181から決定される。
最後に、S905で、ファイル名管理部152が、決定した変換内容にスタブパス名を変更する。
図9は、ファイル名管理部152が実行するファイル名登録処理(S105)のフローを示す。本処理は、ファイル名対応表170にNS名及びスタブパス名を登録する処理である。
まず、S1001で、ファイル名管理部152が、ファイル名対応表170に同一のダミーNS及びスタブパス名が存在するかを判定する。
同一のスタブパス名が存在しない場合(S1001:Yes)、S1003で、ファイル名管理部152が、ファイル名対応表170にNS名及びスタブパス名を登録して処理を終了する。
同一のスタブパス名が存在する場合(S1001:No)、S1005で、ファイル名管理部152が、ファイル名変更処理を行う。次いで、S1007で、ファイル名管理部152が、変更したNS名及びスタブパス名を登録して処理を終了する。
まず、S1001で、ファイル名管理部152が、ファイル名対応表170に同一のダミーNS及びスタブパス名が存在するかを判定する。
同一のスタブパス名が存在しない場合(S1001:Yes)、S1003で、ファイル名管理部152が、ファイル名対応表170にNS名及びスタブパス名を登録して処理を終了する。
同一のスタブパス名が存在する場合(S1001:No)、S1005で、ファイル名管理部152が、ファイル名変更処理を行う。次いで、S1007で、ファイル名管理部152が、変更したNS名及びスタブパス名を登録して処理を終了する。
以降では、ファイルデータにアクセスする処理(以下、「ファイルアクセス処理」)について説明する。
図10は、アクセス要求中継部153が実行するファイルアクセス処理のフローを示す。
まず、S1101で、アクセス要求中継部153が、クライアントからファイルアクセス要求を受信する。
図10は、アクセス要求中継部153が実行するファイルアクセス処理のフローを示す。
まず、S1101で、アクセス要求中継部153が、クライアントからファイルアクセス要求を受信する。
次いで、S1103で、アクセス要求中継部153は、受信した要求がダミーネームスペースへのアクセスかどうかをNSリスト160を照合して判定する。
ダミーネームスペースへのアクセスである場合(S1103:Yes)、S1105で、アクセス要求中継部153が、ファイル名対応表170から、データが存在する実ファイルのパス名を取得する。
ダミーネームスペースへのアクセスである場合(S1103:Yes)、S1105で、アクセス要求中継部153が、ファイル名対応表170から、データが存在する実ファイルのパス名を取得する。
次いで、S1107で、アクセス要求中継部153が、取得したパス名により、ファイルにアクセスする。
最後に、S1109で、アクセス要求中継部153が、アクセスした結果をファイルアクセス要求に対する応答を返す。
ダミーネームスペースへのアクセスでない場合(S1103:No)、S1111で、アクセス要求中継部153が、通常のネームスペースのアクセス処理へアクセス要求を転送して処理を終了する。
最後に、S1109で、アクセス要求中継部153が、アクセスした結果をファイルアクセス要求に対する応答を返す。
ダミーネームスペースへのアクセスでない場合(S1103:No)、S1111で、アクセス要求中継部153が、通常のネームスペースのアクセス処理へアクセス要求を転送して処理を終了する。
以上が第1実施形態の説明である。本実施形態によれば、分析サーバのDWHに対応するダミーネームスペースを生成し、異なるネームスペース間でスタブの名称が重複しないようにスタブパス名の変更処理を行うことで、分析サーバから適切なファイルデータに効率的にアクセスする事ができる。
[第2実施形態]
次に、本発明を適用した計算機システムの第2実施形態について説明する。第2実施形態では、分析対象とするファイルデータを所定の条件によって絞り込みする実施形態である。
次に、本発明を適用した計算機システムの第2実施形態について説明する。第2実施形態では、分析対象とするファイルデータを所定の条件によって絞り込みする実施形態である。
図11に、第2実施形態における計算機システムのシステム構成を示す。なお、以下の説明では、計算機システムの構成の内、第1実施形態における計算機システムと同様の構成を有するものは、同一符号をもって詳細な説明を省略するものとし、相違点についてのみ詳細に説明するものとする。
第2実施形態では、第1実施形態における計算機システムに加え、新たに検索サーバ200を有する。検索サーバ200は、クライント101からファイルデータの絞り込み検索要求を受信し、指定された条件に基づいてファイルデータの絞込検索を行う。検索サーバ200は、CPU230、主記憶231及び補助記憶232から構成され、CPU230と主記憶231に記憶されたプログラムとの協働により、検索部201を有する。
第2実施形態では、第1実施形態における計算機システムに加え、新たに検索サーバ200を有する。検索サーバ200は、クライント101からファイルデータの絞り込み検索要求を受信し、指定された条件に基づいてファイルデータの絞込検索を行う。検索サーバ200は、CPU230、主記憶231及び補助記憶232から構成され、CPU230と主記憶231に記憶されたプログラムとの協働により、検索部201を有する。
共有ファイルサーバ150は、CPU200とプログラムとの協働により、さらに分析範囲管理部1301が実現される。また、分析範囲指定情報1302、分析サーバリスト1303、絞込処理結果1304及びスタブ付与結果1305を格納する。
分析範囲管理部1301は、分析対象となるファイルデータの管理を行う。分析範囲を指定する分析範囲指定情報1302に記載されている条件に従い、共有ファイルサーバ150にファイルの絞り込み検索を要求する。
分析範囲管理部1301は、分析対象となるファイルデータの管理を行う。分析範囲を指定する分析範囲指定情報1302に記載されている条件に従い、共有ファイルサーバ150にファイルの絞り込み検索を要求する。
図12は、共有ファイルサーバ150が有する分析範囲指定情報1302を示す。分析範囲管理部1401は、分析範囲指定情報1402を参照して、ファイルデータの絞込検索を要求する。
分析範囲指定情報1302は、項目名1401及び値1402から構成される。分析範囲指定情報1302は、ユーザが任意に指定することができる。項目名1401は、分析対象とするファイルのカテゴリや絞り込み検索を行う条件をユーザが指定する。値1402は、絞り込み検索を行う具体的な値を示す。ここでは、データ内容が「医療情報」であり且つ患者番号が「101−200」のファイルデータの検索を指定している。
分析範囲指定情報1302は、項目名1401及び値1402から構成される。分析範囲指定情報1302は、ユーザが任意に指定することができる。項目名1401は、分析対象とするファイルのカテゴリや絞り込み検索を行う条件をユーザが指定する。値1402は、絞り込み検索を行う具体的な値を示す。ここでは、データ内容が「医療情報」であり且つ患者番号が「101−200」のファイルデータの検索を指定している。
図13は、共有ファイルサーバ150が有する分析サーバリスト1303を示す。分析サーバリスト1303は、システムを構成する分析サーバ140を把握するためのテーブルである。分析サーバリスト1303は、サーバ名1410及びNS名1411から構成される。サーバ名1410には、分析サーバの名称を示す。NS名1411は、分析サーバ140のNSを示す。
図14は、分析範囲管理部1301が実行するファイルデータの絞込処理のフローを示す。本処理は、分析範囲指定情報1302により、ファイルデータから分析対象とするファイルデータの絞込みを行う処理である。
まず、S1501で、分析範囲管理部1301が、分析範囲指定情報1302に従って、クライアントから検索サーバ200に対し、ファイルの絞込検索を要求する。
まず、S1501で、分析範囲管理部1301が、分析範囲指定情報1302に従って、クライアントから検索サーバ200に対し、ファイルの絞込検索を要求する。
次いで、S1503で、分析範囲管理部1301が、検索サーバ200からファイルの検索結果を受信する。
最後に、S1505で、分析範囲管理部1301は、検索サーバ200の応答情報を絞込処理結果として管理する。
最後に、S1505で、分析範囲管理部1301は、検索サーバ200の応答情報を絞込処理結果として管理する。
図15は、ファイル絞込処理前のファイルデータの一覧から、分析範囲指定情報1302によりファイルデータの絞込処理を行った絞込処理結果1304を示す。図15は、ファイル絞込処理前のファイルデータの一覧から、分析範囲指定情報(図14A)により、データ内容が「医療情報」かつ患者番号が「101〜200」であるファイルデータに絞り込みを行った結果が示されている。
また、図16は、スタブ付与結果1305を示している。スタブ付与結果1305は、絞込処理結果1304のファイルデータにアクセスするためのスタブパス名1606が付与されたデータである。
また、図16は、スタブ付与結果1305を示している。スタブ付与結果1305は、絞込処理結果1304のファイルデータにアクセスするためのスタブパス名1606が付与されたデータである。
以上が第2実施形態の説明である。本実施形態によれば、ファイルデータの分析範囲を指定してファイルデータの絞込みを行い、絞込処理結果にスタブを付与することで、大量のファイルデータから要求されたファイルデータに効率的にアクセスすることができる。
[第3実施形態]
次に、本発明を適用した計算機システムの第3実施形態について説明する。第3実施形態は、各サーバの負荷情報からサーバ負荷を平準化させる実施形態である。
次に、本発明を適用した計算機システムの第3実施形態について説明する。第3実施形態は、各サーバの負荷情報からサーバ負荷を平準化させる実施形態である。
図17に、第3実施形態における計算機システムのシステム構成を示す。なお、以下の説明では、計算機システムの構成のうち、第1実施形態における計算機システムと同様の構成を有するものは、同一符号をもって詳細な説明を省略するものとし、相違点についてのみ詳細に説明するものとする。
第3実施形態では、第1実施形態における計算機システムに加え、共有ファイルサーバ150が、CPU200とプログラムとの協働により、新たに負荷管理部1701を有する。負荷管理部1701は、各サーバの負荷を分析サーバ管理表1702によって管理し、実行処理表1703に基づいて、スタブ112の再配置を行うようにダミーアクセス設定部151に要求を出す。
図18は、共有ファイルサーバ150が有する分析サーバ管理表1702を示す。分析サーバ管理表1702は、サーバ名1801、平均処理時間1802、NS名1803及びスタブ数1804から少なくとも構成される。サーバ名1801は、計算機システムを構成するサーバの名称を示す。平均処理時間1802は、クライアントから分析要求を受け付けてから、各サーバが各処理結果を返答するまでの応答時間の平均を示す。NS名1803は、サーバに対応するネームスペースの名称を示す。スタブ数1804は、各サーバが有するスタブの数を示す。
図19は、共有ファイルサーバ150が有する実行処理表1703を示す。負荷管理部1701は、実行処理表1703を参照し、各実行条件に対応する実行処理を行う。実行処理表1703は、実行条件1810及び実行処理1811から少なくとも構成される。実行条件1810は、各サーバが処理を実行するための条件を示している。実行処理1811には、各実行条件に対応する実行処理を指示する。
図20は、負荷管理部1701が実行する負荷再分配処理のフローを示している。本処理は、サーバの負荷状況に応じて、スタブ情報を再配置させる処理である。
まず、S1901で、負荷管理部1701が、各サーバから分析サーバ管理表1702を取得する。
次いで、S1903で、負荷管理部1701が、実行処理表1703を参照する。
次いで、S1905で、実行処理表1703を参照した結果、実行条件と条件が一致する分析サーバがあるか否かを判定する。
条件が一致する分析サーバが存在する場合(S1905:Yes)、S1907で、分析サーバ管理表の実行条件に対応した実行内容を実行する。条件が一致する分析サーバ140が存在しない場合(S1905:No)、S1901に戻る。
まず、S1901で、負荷管理部1701が、各サーバから分析サーバ管理表1702を取得する。
次いで、S1903で、負荷管理部1701が、実行処理表1703を参照する。
次いで、S1905で、実行処理表1703を参照した結果、実行条件と条件が一致する分析サーバがあるか否かを判定する。
条件が一致する分析サーバが存在する場合(S1905:Yes)、S1907で、分析サーバ管理表の実行条件に対応した実行内容を実行する。条件が一致する分析サーバ140が存在しない場合(S1905:No)、S1901に戻る。
以上が第3実施形態の説明である。本実施形態によれば、各サーバの平均処理時間等の負荷情報を管理し、サーバの負荷状態に適した実行処理を行うことで、サーバの負荷を平準化することができる。
以上、本発明を実施するための形態を説明したが、本発明はこれらの例に限定されるものではなく、その趣旨を変更することのない範囲で種々の構成や動作を適用可能である。
また、実施形態における各機能部は、プログラムとCPUの協働によって実現する例について説明したが、これらの一部や全部をハードウェアとして実現することも可能である。
さらに、実施形態において各種テーブル形式で示して管理する情報は、テーブル形式に限られるものではない。また、各種情報は、クライアントの操作画面に表示されてもよい。
なお、実施形態において各機能部を実現するためのプログラムは、電気・電子及び/又は磁気的な非一時的な記録媒体に格納可能である。
また、実施形態における各機能部は、プログラムとCPUの協働によって実現する例について説明したが、これらの一部や全部をハードウェアとして実現することも可能である。
さらに、実施形態において各種テーブル形式で示して管理する情報は、テーブル形式に限られるものではない。また、各種情報は、クライアントの操作画面に表示されてもよい。
なお、実施形態において各機能部を実現するためのプログラムは、電気・電子及び/又は磁気的な非一時的な記録媒体に格納可能である。
101…クライアント、110…DWH、120…ETL、130…データソース、140…分析サーバ、150…共有ファイルサーバ、200…検索サーバ
Claims (11)
- 記憶領域に格納されたデータに対するアクセスパスが割り当てられる複数の第1ネームスペースと、前記アクセスパスに対応するパスが割り当てられ、前記第1ネームスペースとは異なるネームスペースとを有する計算機であって、
異なる前記第1ネームスペースに生成される前記アクセスパスが同一である場合、それらに対応する前記対応するパスを互いに異なるパスに変更する制御部、
を有する計算機。 - 請求項1に記載の計算機であって、
前記計算機は、前記アクセスパスを管理する対応表と前記アクセスパスを変更する変更情報とを有し、
前記制御部は、前記変更情報を参照して前記対応するパスを異なるパスに変更することを特徴とする計算機。 - 請求項2に記載の計算機であって、
前記計算機は、前記データから、分析対象にするデータを指定するデータ指定情報を有し、
前記制御部は、前記データ指定情報により指定したデータ指定結果に、前記対応するパスを割り当てることを特徴とする計算機。 - 請求項2に記載の計算機であって、
前記計算機は、前記記憶領域を有する複数の他の計算機と接続され、
前記制御部は、前記他の計算機の各々の負荷情報を管理し、前記負荷情報に対応する実行内容に従って前記アクセスパスの振り分けを変更することを特徴とする計算機。 - 請求項2に記載の計算機であって、
前記アクセスパスに対応するパスは、スタブパスであることを特徴とする計算機。 - 記憶領域に格納されたデータに対するアクセスパスが割り当てられる複数の第1ネームスペースと、前記アクセスパスに対応するパスが割り当てられ、前記第1ネームスペースとは異なるネームスペースとを有する計算機のデータアクセス管理方法であって、
前記計算機は、異なる前記第1ネームスペースに生成される前記アクセスパスが同一である場合、それらに対応する前記対応するパスを互いに異なるパスに変更するデータアクセス管理方法。 - 請求項6に記載のデータアクセス管理方法であって、
前記計算機は、前記アクセスパスを管理する対応表と前記アクセスパスを変更する変更情報とを有し、
前記変更情報を参照して前記対応するパスを異なるパスに変更するデータアクセス管理方法。 - 請求項7に記載のデータアクセス管理方法であって、
前記計算機は、前記データから、分析対象にするデータを指定するデータ指定情報を有し、
前記データ指定情報により指定したデータ指定結果に、前記対応するパスを割り当てるデータアクセス管理方法。 - 請求項7に記載のデータアクセス管理方法であって、
前記計算機は、前記記憶領域を有する複数の他の計算機と接続され、
前記他の計算機の各々の負荷情報を管理し、前記負荷情報に対応する実行内容に従って前記アクセスパスの振り分けを変更するデータアクセス管理方法。 - 請求項7に記載のデータアクセス管理方法であって、
前記アクセスパスに対応するパスは、スタブパスであるデータアクセス管理方法。 - 記憶領域に格納されたデータに対するアクセスパスが割り当てられる複数の第1ネームスペースと、前記アクセスパスに対応するパスが割り当てられ、前記第1ネームスペースとは異なるネームスペースとを有する計算機に、
異なる前記第1ネームスペースに生成される前記アクセスパスが同一である場合、それらに対応する前記対応するパスを互いに異なるパスに変更させるステップを実行させるプログラムを格納するコンピュータ読取可能な非一時的記録媒体。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2013/052662 WO2014122733A1 (ja) | 2013-02-06 | 2013-02-06 | 計算機、データアクセス管理方法及び記録媒体 |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2014122733A1 true JPWO2014122733A1 (ja) | 2017-01-26 |
Family
ID=51299347
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014560556A Pending JPWO2014122733A1 (ja) | 2013-02-06 | 2013-02-06 | 計算機、データアクセス管理方法及び記録媒体 |
Country Status (3)
Country | Link |
---|---|
US (1) | US20150331916A1 (ja) |
JP (1) | JPWO2014122733A1 (ja) |
WO (1) | WO2014122733A1 (ja) |
Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001051890A (ja) * | 1999-08-10 | 2001-02-23 | Toshiba Corp | 仮想分散ファイルサーバシステム |
JP2003272345A (ja) * | 2002-03-15 | 2003-09-26 | Matsushita Electric Ind Co Ltd | 情報記録方法及び情報記録装置 |
JP2009187273A (ja) * | 2008-02-06 | 2009-08-20 | Olympus Imaging Corp | 電子装置、情報ファイル共有システム、および画像ファイル共有システム |
WO2012035588A1 (en) * | 2010-09-17 | 2012-03-22 | Hitachi, Ltd. | Method for managing information processing system and data management computer system |
Family Cites Families (34)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
AU2001263330A1 (en) * | 2000-05-09 | 2001-12-03 | Ztango, Inc. | A method and system for biling over a wireless application protocol gateway |
US7035847B2 (en) * | 2001-03-16 | 2006-04-25 | Novell, Inc. | Server for synchronization of files |
JP2002351717A (ja) * | 2001-05-29 | 2002-12-06 | Toshiba Corp | データアクセスシステム、データ連携システム及びデータ連携プログラム並びにデータ連携方法 |
JP2003131924A (ja) * | 2001-10-19 | 2003-05-09 | Fujitsu Ltd | リモートアクセスプログラム、リモートアクセス要求処理プログラム、およびクライアントコンピュータ |
US8001120B2 (en) * | 2004-02-12 | 2011-08-16 | Microsoft Corporation | Recent contacts and items |
US7412447B2 (en) * | 2004-03-01 | 2008-08-12 | Fuji Xerox Co., Ltd. | Remote file management using shared credentials for remote clients outside firewall |
US20050278280A1 (en) * | 2004-05-28 | 2005-12-15 | Semerdzhiev Krasimir P | Self update mechanism for update module |
US8504565B2 (en) * | 2004-09-09 | 2013-08-06 | William M. Pitts | Full text search capabilities integrated into distributed file systems— incrementally indexing files |
US20060075001A1 (en) * | 2004-09-30 | 2006-04-06 | Canning Jeffrey C | System, method and program to distribute program updates |
JP4349301B2 (ja) * | 2004-11-12 | 2009-10-21 | 日本電気株式会社 | ストレージ管理システムと方法並びにプログラム |
US20100036840A1 (en) * | 2005-09-09 | 2010-02-11 | Pitts William M | Presentation of Search Results |
US8352428B2 (en) * | 2005-10-17 | 2013-01-08 | Freescale Semiconductor, Inc. | Network file update mechanism with integrity assurance |
US7788303B2 (en) * | 2005-10-21 | 2010-08-31 | Isilon Systems, Inc. | Systems and methods for distributed system scanning |
US20070106685A1 (en) * | 2005-11-09 | 2007-05-10 | Podzinger Corp. | Method and apparatus for updating speech recognition databases and reindexing audio and video content using the same |
US20070214384A1 (en) * | 2006-03-07 | 2007-09-13 | Manabu Kitamura | Method for backing up data in a clustered file system |
US20080005685A1 (en) * | 2006-06-30 | 2008-01-03 | Clemens Drews | Interface mechanism for quickly accessing recently used artifacts in a computer desktop environment |
JP4907482B2 (ja) * | 2007-09-27 | 2012-03-28 | 株式会社日立製作所 | 計算機システム及びファイル管理方法 |
US9946722B2 (en) * | 2007-11-30 | 2018-04-17 | Red Hat, Inc. | Generating file usage information |
US8738651B2 (en) * | 2008-03-06 | 2014-05-27 | Lenovo (Singapore) Pte Ltd | Techniques for updating a relevant document list associated with a software application within a computer system |
US9753712B2 (en) * | 2008-03-20 | 2017-09-05 | Microsoft Technology Licensing, Llc | Application management within deployable object hierarchy |
US20090319736A1 (en) * | 2008-06-24 | 2009-12-24 | Hitachi, Ltd. | Method and apparatus for integrated nas and cas data backup |
WO2010020246A1 (en) * | 2008-08-22 | 2010-02-25 | Neustring Fzco | Method of analysing data traffic in a telecommunication network |
US7962498B2 (en) * | 2008-12-30 | 2011-06-14 | Sap Ag | Generating attribute-specific electronic documents |
US20100229100A1 (en) * | 2009-03-03 | 2010-09-09 | Sprint Spectrum L.P. | Methods and Systems for Storing and Accessing Application History |
US8959062B2 (en) * | 2009-08-13 | 2015-02-17 | Hitachi Solutions, Ltd. | Data storage device with duplicate elimination function and control device for creating search index for the data storage device |
US20110040788A1 (en) * | 2009-08-14 | 2011-02-17 | Ic Manage, Inc. | Coherent File State System Distributed Among Workspace Clients |
US20120036494A1 (en) * | 2010-08-06 | 2012-02-09 | Genwi, Inc. | Web-based cross-platform wireless device application creation and management systems, and methods therefor |
US8548992B2 (en) * | 2010-10-28 | 2013-10-01 | Cary Scott Abramoff | User interface for a digital content management system |
US9218343B2 (en) * | 2010-12-20 | 2015-12-22 | International Business Machines Corporation | Partition file system for virtual machine memory management |
JP5697754B2 (ja) * | 2011-09-21 | 2015-04-08 | 株式会社日立製作所 | 計算機システム、ファイル管理方法及びメタデータサーバ |
US9235589B2 (en) * | 2011-12-13 | 2016-01-12 | International Business Machines Corporation | Optimizing storage allocation in a virtual desktop environment |
US8751493B2 (en) * | 2012-04-23 | 2014-06-10 | Google Inc. | Associating a file type with an application in a network storage service |
US9195840B2 (en) * | 2012-04-23 | 2015-11-24 | Google Inc. | Application-specific file type generation and use |
GB201216640D0 (en) * | 2012-09-18 | 2012-10-31 | Touchtype Ltd | Formatting module, system and method for formatting an electronic character sequence |
-
2013
- 2013-02-06 JP JP2014560556A patent/JPWO2014122733A1/ja active Pending
- 2013-02-06 WO PCT/JP2013/052662 patent/WO2014122733A1/ja active Application Filing
- 2013-02-06 US US14/427,949 patent/US20150331916A1/en not_active Abandoned
Patent Citations (4)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001051890A (ja) * | 1999-08-10 | 2001-02-23 | Toshiba Corp | 仮想分散ファイルサーバシステム |
JP2003272345A (ja) * | 2002-03-15 | 2003-09-26 | Matsushita Electric Ind Co Ltd | 情報記録方法及び情報記録装置 |
JP2009187273A (ja) * | 2008-02-06 | 2009-08-20 | Olympus Imaging Corp | 電子装置、情報ファイル共有システム、および画像ファイル共有システム |
WO2012035588A1 (en) * | 2010-09-17 | 2012-03-22 | Hitachi, Ltd. | Method for managing information processing system and data management computer system |
Also Published As
Publication number | Publication date |
---|---|
WO2014122733A1 (ja) | 2014-08-14 |
US20150331916A1 (en) | 2015-11-19 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Yang et al. | Implementation of a big data accessing and processing platform for medical records in cloud | |
US9158843B1 (en) | Addressing mechanism for data at world wide scale | |
US20110167045A1 (en) | Storage system and its file management method | |
WO2014122732A1 (ja) | 計算機システム、メタデータ管理方法及び記録媒体 | |
EP2146280A2 (en) | Resource migration system and resource migration method | |
Dwivedi et al. | Analytical review on Hadoop Distributed file system | |
JP5557824B2 (ja) | 階層ファイルストレージに対する差分インデクシング方法 | |
US9483523B2 (en) | Information processing apparatus, distributed processing system, and distributed processing method | |
US20160342342A1 (en) | Information processing device, information processing system, and data access method | |
Nguyen et al. | Zing database: high-performance key-value store for large-scale storage service | |
Nguyen et al. | Prefetching-based metadata management in advanced multitenant hadoop | |
Cruz et al. | A scalable file based data store for forensic analysis | |
JP2012168781A (ja) | 分散型データストアシステム及び分散型データストアシステムにおけるレコード管理方法 | |
Serbanescu et al. | A formal method for rule analysis and validation in distributed data aggregation service | |
JP6084700B2 (ja) | 検索システム及び検索方法 | |
Serbanescu et al. | Architecture of distributed data aggregation service | |
Smolinski | Impact of storage space configuration on transaction processing performance for relational database in PostgreSQL | |
US10169083B1 (en) | Scalable method for optimizing information pathway | |
WO2014122733A1 (ja) | 計算機、データアクセス管理方法及び記録媒体 | |
JP6260088B2 (ja) | 仮想ファイルアクセスシステム、仮想ファイルアクセス方法、及び、仮想ファイルアクセスプログラム | |
Tolooee et al. | A scalable framework for continuous query evaluations over multidimensional, scientific datasets | |
Xie et al. | Modeling and verifying HDFS using process algebra | |
Ilsche et al. | Optimizing I/O forwarding techniques for extreme-scale event tracing | |
JP5818264B2 (ja) | 計算機システム及びジョブネット実行方法 | |
JP6139399B2 (ja) | 分散クエリ処理装置、クエリ処理方法及びクエリ処理プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170110 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20170112 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20170131 |