JP4300133B2 - クラスタメモリファイルシステム - Google Patents
クラスタメモリファイルシステム Download PDFInfo
- Publication number
- JP4300133B2 JP4300133B2 JP2004043832A JP2004043832A JP4300133B2 JP 4300133 B2 JP4300133 B2 JP 4300133B2 JP 2004043832 A JP2004043832 A JP 2004043832A JP 2004043832 A JP2004043832 A JP 2004043832A JP 4300133 B2 JP4300133 B2 JP 4300133B2
- Authority
- JP
- Japan
- Prior art keywords
- node
- file
- memory
- memory storage
- global
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Memory System (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Description
上記特許文献2の技術は、物理的な装置を仮想化する点で、磁気ディスクではなくあるノード上のメモリ領域を仮想装置として同様にトランスペアレントなアクセスを実現することはできるが、この場合も前述の特許文献1の技術と同様に1つのノードの物理メモリ容量の制限を受けるものである。
アプリケーションプログラム実行ノード12Dでは、アプリケーションプログラム14Dの入出力要求を受けるクラスタメモリファイルシステム17Dとクライアントドライバであってクラスタメモリファイルシステム17Dからの入出力要求を受けるGMSドライバクライアント15Dが動作する。同様に、アプリケーションプログラム実行ノード12Eでは、アプリケーションプログラム14Eの入出力要求を受けるクラスタメモリファイルシステム17Eとクラスタメモリファイルシステム17Eからの入出力要求を受けるGMSドライバクライアント15Eが動作する。
図2から図6にデータベース19の構造の一実施例を示し、以下に説明する。
12A,12B,12C,12D,12E,12F … ノード、
13A,13B,13C … GMS領域、
14D,14E … アプリケーションプログラム、
15D,15E … GMSドライバクライアント、
16A,16B,16C … GMSドライバサーバ、
17D,17E … クラスタメモリファイルシステム(CMFS)、
18 … 管理デーモン、
19 … データベース、
21 … グローバルメモリストレージ定義データベース、
22 … グローバルメモリストレージ名、
23 … ステータス、
24 … 構成ノード群、
25 … グローバルメモリストレージ容量、
26 … ミラー属性、
27 … 閉塞パス、
31 … クライアント定義データベース、
32 … グローバルメモリストレージ名、
33 … クライアントノード群
41 … ファイル定義データベース、
42 … ファイル名、
43 … グローバルメモリストレージ名、
44 … 所有者ユーザID、
45 … 所有者グループID、
46 … ファイルアクセス権限、
47 … ファイルサイズ、
48 … ファイル終端オフセット、
49 … 増分単位、
4A … オープンモード、
4B … オープンカウンタ、
51 … GMSスペース管理データベース、
52 … グローバルメモリストレージ名、
53 … 開始オフセット、
54 … サイズ、
55 … ノード識別子、
56 … ノード内開始アドレス、
61 … CMFSスペース管理データベース、
62 … ファイル名
63 … エクステント番号、
64 … ファイル内開始オフセット、
65 … エクステントサイズ、
66 … グローバルメモリストレージ内開始オフセット
Claims (10)
- 少なくとも1つのプロセッサ並びに主記憶及びそれらを制御するオペレーティングシステムが動作するコンピュータをノードとし、複数の前記ノードを高速ネットワークで接続した疎結合型のクラスタメモリファイルシステムであって、
前記複数のノードのうちアプリケーションを実行するアプリケーション実行ノードとは異なる他の複数のノードが有する主記憶からそれぞれ独立してメモリ領域を割り当てる手段と、
独立して割り当てた前記メモリ領域を連結して連続した1つのストレージとして使用可能とするグローバルメモリストレージと、
前記アプリケーション実行ノードが、ファイルインタフェースを介して前記グローバルメモリストレージに格納されたファイルにアクセスするために使用する、前記ファイルと前記グローバルメモリストレージとの対応関係を示す情報を管理する管理手段と、
前記アプリケーション実行ノードに設けられ、前記アプリケーションからのファイルインタフェースを介した入出力要求に応じて前記対応関係を示す情報から生成されたマップ情報を前記管理手段から取得し、該マップ情報に基づいて前記グローバルメモリストレージにアクセス要求をするクライアントドライバと、
前記グローバルメモリストレージを構成する物理的なメモリ領域を保有する前記他の複数のノードのそれぞれに設けられ、自己の物理的なメモリ領域に対して、前記アクセス要求に応じたファイルの入出力を処理するサーバドライバと、
を有することを特徴とするクラスタメモリファイルシステム。 - 請求項1に記載のグローバルメモリストレージであって、
前記クライアントドライバは、前記マップ情報に基づいて、前記入出力要求についてグローバルメモリストレージ内のオフセットを物理的なノード位置及びノード内のアドレスに変換し、該当ノードに設けられた前記サーバドライバに入出力要求を発行することで、前記アプリケーションに対して物理的なメモリ位置を仮想化することを特徴とするクラスタメモリファイルシステム。 - 請求項1又は2に記載のクラスタメモリファイルシステムであって、
前記グローバルメモリストレージを、前記アプリケーション実行ノードとは異なる少なくとも2つ以上のノードにまたがる主記憶から構成し、個々のノードのメモリ領域をボリュームと見なしてノード間でミラーボリュームを構成し、前記グローバルメモリストレージに対してデータを書き込む場合、前記クライアントドライバによって前記グローバルメモリストレージを構成する前記少なくとも2つ以上のノードの少なくとも1つのメモリ領域に同じデータのコピーを書き込み、前記グローバルメモリストレージを構成するノード及びノード間通信経路の少なくとも一方で障害が発生した場合、データのコピーを保持するノードに通信経路を切り替えることを特徴とするクラスタメモリファイルシステム。 - 請求項1から3のいずれか一項に記載のクラスタメモリファイルシステムであって、
前記グローバルメモリストレージを構成する少なくとも1つのノード、該ノードの主記憶から確保するメモリ領域の量及び前記グローバルメモリストレージの属性情報を前記グローバルメモリストレージに定義する手段を有し、
前記管理手段は、
前記グローバルメモリストレージを構成するノード、各ノード上に確保された前記グローバルメモリストレージ用メモリ領域アドレス、メモリ領域サイズを含むグローバルメモリストレージの属性情報、グローバルメモリストレージ上のクラスタメモリファイルシステムに作成されたファイルのメモリアドレス及びファイルのアクセス権限を含むファイル属性情報を含む管理情報を、外部接続されたデータベースに保持することを特徴とするクラスタメモリファイルシステム。 - 請求項4に記載のクラスタメモリファイルシステムであって、
前記アプリケーションは、前記クラスタメモリファイルシステム上のファイルのオープン要求をする場合、前記管理手段にオープン要求を発行し、
前記管理手段は、オープン要求を受けたファイル及びそのファイルが存在するグローバルメモリストレージの管理情報を前記データベースから読み出し、前記アプリケーション実行ノードに前記マップ情報を送信し、
前記アプリケーション実行ノードが、前記マップ情報をクライアントドライバに登録し、
前記アプリケーションが、ファイルへの入出力要求をする場合、
前記クライアントドライバが、登録された前記管理情報に基づいて、前記グローバルメモリストレージで、該ファイルを格納するメモリ領域を有するノードのサーバドライバに入出力要求を直接発行することを特徴とするクラスタメモリファイルシステム。 - 請求項1から5のいずれか一項に記載のクラスタメモリファイルシステムであって、
前記管理手段は、前記グローバルメモリストレージへのアクセスを許可するノードを定義する手段を更に有し、
前記グローバルメモリストレージに対する前記複数のノードからのアクセス要求に対し、前記定義されたノードにのみ前記グローバルメモリストレージへのアクセスを許可することを特徴とするクラスタメモリファイルシステム。 - 少なくとも1つのプロセッサ及び主記憶とそれらを制御するオペレーティングシステムが動作するコンピュータをノードとし、複数のノードを高速ネットワークで接続した疎結合型のクラスタシステムのメモリ構成方法であって、
前記複数のノードのうちアプリケーションを実行するアプリケーション実行ノードとは異なる他の複数のノードの主記憶からそれぞれ独立してメモリ領域を割り当て、
独立して割り当てた前記メモリ領域を連結して連続した1つのストレージとして使用可能とするグローバルメモリストレージを構成し、
前記アプリケーション実行ノードが、ファイルインタフェースを介して前記グローバルメモリストレージにアクセスするために、前記ファイルと前記グローバルメモリストレージとの対応関係を示す情報を管理し、
前記アプリケーション実行ノードに設けられたクライアントドライバが、前記アプリケーションからのファイルインタフェースを介した入出力要求に応じて前記管理手段から取得したマップ情報を取得し、該マップ情報に基づいて前記グローバルメモリストレージにアクセス要求をし、
前記グローバルメモリストレージを構成する物理的なメモリ領域を保有する前記他の複数のノードのそれぞれに設けられたサーバドライバが、自己の物理的なメモリ領域に対して、前記アクセス要求に応じたデータの入出力を処理することを特徴とするクラスタシステムのメモリ構成方法。 - 請求項7に記載のクラスタシステムのメモリ構成方法であって、
前記クライアントドライバが、前記マップ情報に基づいて、前記入出力要求についてグローバルメモリストレージ内のオフセットを物理的なノード位置及びノード内のアドレスに変換し、該当ノードに設けられた前記サーバドライバに入出力要求を発行することで、前記アプリケーションに対して物理的なメモリ位置を仮想化することを特徴とするクラスタシステムのメモリ構成方法。 - 請求項7又は8に記載のクラスタシステムのメモリ構成方法であって、
前記グローバルメモリストレージを2つ以上のノードにまたがる主記憶から構成し、個々のノードのメモリ領域をボリュームと見なしてノード間でミラーボリュームを構成し、前記グローバルメモリストレージに対してデータを書き込む場合にクライアントドライバによって前記グローバルメモリストレージを構成する他ノードのメモリ領域に同じデータのコピーを書き込み、前記グローバルメモリストレージを構成するノード及びノード間通信経路の少なくとも一方で障害が発生した場合、データのコピーを保持するノードに通信経路を切り替えることを特徴とするクラスタシステムのメモリ構成方法。 - アプリケーションを実行するための少なくとも1つの第1のノードと、データの入出力を行なうための複数の第2のノードと、前記第1のノードが前記第2のノードにアクセスするための管理情報を管理する第3のノードが、ネットワークを介して通信可能に接続された計算機システムであって、
メモリ領域を割り当てる手段と
前記第2のノードの主記憶からそれぞれ独立してメモリ領域を割り当てる手段と
独立して割り当てた前記メモリ領域を連結して連続した1つのストレージとして使用可能とするグローバルメモリストレージと、
前記第3のノードに設けられ、前記第1のノードが、ファイルインタフェースを介して前記グローバルメモリストレージに格納されたファイルにアクセスするために使用する、前記ファイルと前記グローバルメモリストレージとの対応関係を示す情報を管理する管理手段と、
前記管理手段は、前記グローバルメモリストレージへの前記第1のノードからのアクセス要求を受け、前記管理情報に基づいて該アクセス要求の対象となるファイルを格納するグローバルファイルストレージを構成する前記第2のノードを特定するマップ情報を生成するとともに前記第1のノードに送信し、
前記第1のノードは、前記マップ情報に基づいて前記ファイルを格納するグローバルファイルストレージを構成する第2のノードを特定するともに前記第2のメモリ領域内のアドレスに変換し、該変換された情報に基づいて前記グローバルメモリストレージにアクセスすることを特徴とする計算機システム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004043832A JP4300133B2 (ja) | 2004-02-20 | 2004-02-20 | クラスタメモリファイルシステム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2004043832A JP4300133B2 (ja) | 2004-02-20 | 2004-02-20 | クラスタメモリファイルシステム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2005234919A JP2005234919A (ja) | 2005-09-02 |
JP4300133B2 true JP4300133B2 (ja) | 2009-07-22 |
Family
ID=35017814
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2004043832A Expired - Fee Related JP4300133B2 (ja) | 2004-02-20 | 2004-02-20 | クラスタメモリファイルシステム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP4300133B2 (ja) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR100766561B1 (ko) | 2006-04-27 | 2007-10-11 | 텔코웨어 주식회사 | 분산 네트워크 환경에서의 이중화 메모리 파일시스템 구현방법 및 시스템 |
JP2009054100A (ja) * | 2007-08-29 | 2009-03-12 | Toshiba Corp | 情報処理装置、および情報処理装置の制御方法 |
JP5817558B2 (ja) | 2012-01-27 | 2015-11-18 | 富士通株式会社 | 情報処理装置、分散処理システム、キャッシュ管理プログラムおよび分散処理方法 |
-
2004
- 2004-02-20 JP JP2004043832A patent/JP4300133B2/ja not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JP2005234919A (ja) | 2005-09-02 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11675746B2 (en) | Virtualized server systems and methods including domain joining techniques | |
KR102444832B1 (ko) | 분산된 가상 명칭 공간 관리를 사용한 온-디맨드 스토리지 프로비져닝 | |
US10838829B2 (en) | Method and apparatus for loading data from a mirror server and a non-transitory computer readable storage medium | |
JP5514903B2 (ja) | ファイルレベル階層ストレージ管理システム、方法、及び装置 | |
US11936731B2 (en) | Traffic priority based creation of a storage volume within a cluster of storage nodes | |
JP5007350B2 (ja) | ハードウェアベースのファイルシステムのための装置および方法 | |
US7627699B1 (en) | System and method for managing I/O access policies in a storage environment employing asymmetric distributed block virtualization | |
US20060047926A1 (en) | Managing multiple snapshot copies of data | |
WO2014007249A1 (ja) | I/oノード及び複数の計算ノードに備えられたキャッシュメモリの制御方法 | |
JP4285058B2 (ja) | ネットワーク管理プログラム、管理計算機及び管理方法 | |
WO2018054079A1 (zh) | 一种存储文件的方法、第一虚拟机及名称节点 | |
WO2019148841A1 (zh) | 一种分布式存储系统、数据处理方法和存储节点 | |
JP4748950B2 (ja) | 記憶領域管理方法及びシステム | |
JP5504165B2 (ja) | データファイルオブジェクトへのアクセス方法、クライアント装置、プログラム、およびシステム | |
US5630133A (en) | Customer information control system and method with API start and cancel transaction functions in a loosely coupled parallel processing environment | |
CN107832097B (zh) | 数据加载方法及装置 | |
JP2011232840A (ja) | アクセス制御情報管理方法、計算機システム及びプログラム | |
CN106293994A (zh) | 网络文件系统中的虚拟机克隆方法和网络文件系统 | |
JP4300133B2 (ja) | クラスタメモリファイルシステム | |
US6834281B1 (en) | Method and apparatus to support multi-node direct access to file system data | |
JP4005102B2 (ja) | ゲートウェイ装置 | |
US11494128B1 (en) | Access control of resources in a cloud-native storage system | |
US8850132B1 (en) | Method and system for providing a shared data resource coordinator within a storage virtualizing data processing system | |
KR101099130B1 (ko) | 가상볼륨 저장관리 시스템 | |
JP2003316589A (ja) | 実記憶利用方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20060306 |
|
RD04 | Notification of resignation of power of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7424 Effective date: 20060515 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20090113 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20090316 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20090414 |
|
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20090420 |
|
R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120424 Year of fee payment: 3 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130424 Year of fee payment: 4 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20140424 Year of fee payment: 5 |
|
LAPS | Cancellation because of no payment of annual fees |