JP5381713B2 - 仮想マシン向けデータ格納システム、データ格納方法およびデータ格納用プログラム - Google Patents
仮想マシン向けデータ格納システム、データ格納方法およびデータ格納用プログラム Download PDFInfo
- Publication number
- JP5381713B2 JP5381713B2 JP2009542534A JP2009542534A JP5381713B2 JP 5381713 B2 JP5381713 B2 JP 5381713B2 JP 2009542534 A JP2009542534 A JP 2009542534A JP 2009542534 A JP2009542534 A JP 2009542534A JP 5381713 B2 JP5381713 B2 JP 5381713B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- block
- identifier
- virtual
- virtual machine
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/23—Updating
- G06F16/2365—Ensuring data consistency and integrity
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/10—Address translation
- G06F12/109—Address translation for multiple virtual address spaces, e.g. segmentation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
- G06F12/02—Addressing or allocation; Relocation
- G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
- G06F12/10—Address translation
- G06F12/1027—Address translation using associative or pseudo-associative address translation means, e.g. translation look-aside buffer [TLB]
- G06F12/1045—Address translation using associative or pseudo-associative address translation means, e.g. translation look-aside buffer [TLB] associated with a data cache
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2212/00—Indexing scheme relating to accessing, addressing or allocation within memory systems or architectures
- G06F2212/65—Details of virtual memory and virtual address translation
- G06F2212/656—Address space sharing
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Computer Security & Cryptography (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Memory System Of A Hierarchy Structure (AREA)
Description
まず、重複データ発見手段(102)(重複データ発見手段(112))が、仮想マシンA(100)(仮想マシンB(110))中のメタ情報管理手段(104)(メタ情報管理手段(114))から、メタ情報を取得し、取得したメタ情報を用いて、各仮想マシン上の重複データを発見する。
次に、仮想ブロック取得手段A(122)(仮想ブロック取得手段B(123))が、各仮想マシン上の前記重複データに対応する仮想ブロック識別子を取得する。
その後に、重複ブロック発見手段(121)が仮想ブロックに対応する実ブロック中のデータを比較し、一致するブロックについてブロックマップ管理手段(125)に仮想ブロック識別子ペアを送る。
最後に、ブロックマップ管理手段(125)が、仮想ブロック識別子と実ブロック識別子の関連付けを変更し、一致するブロックについては、該当する仮想ブロック識別子を、1個の実ブロック識別子に関連付け、該当する仮想ブロック識別子に関連付けられていた、残りの実ブロック識別子との関連付けを消去するよう動作する。
図1を参照すると、本発明の第1の実施の形態は、計算機上でソフトウェアを実行することにより得られる、仮想マシンA(100)と、仮想マシンB(110)と、仮想マシン管理手段(120)からなる。
仮想マシンB(110)は、アプリケーション(111)、重複データ発見手段(112)、データ管理手段(113)、メタ情報管理手段(114)、データマップ管理手段(115)を備え、
仮想マシン管理手段(120)は、重複ブロック発見手段(121)、仮想ブロック取得手段A(122)、仮想ブロック取得手段B(123)、ブロックアクセス手段(124)、ブロックマップ管理手段(125)、実ブロック記憶手段(126)を備える。各仮想マシンは仮想マシン管理手段(120)上で一意な仮想マシン識別子によって識別される。
アプリケーション(101)は、データアクセスコマンドをデータ管理手段(103)に引渡し、データアクセスコマンドに含まれるデータ識別子に関連付けられたデータの作成と消去および読み書きを行う。
本実施の形態では、まず重複データ発見手段(102)および重複データ発見手段(112)がメタ情報に基いて一致する可能性が高いデータのデータ識別子を推測する。
ブロックの重複発見を行う方法に比べて、重複ブロックの候補を短時間で発見して空き容量を確保することができる。
図6を見ると、関連技術における、単位時間当たりの一致ブロック発見数の、時間変化がグラフとして示されている。
そして、本発明の第1の発明を実施するための最良の形態では、仮想マシン管理手段(120)中に配置されていた手段が、管理用仮想マシン(900)上に配置されており、仮想マシン管理手段(120)はコマンド転送手段(904)を備える。
図10に示すように、本発明をファイルシステムを介したデータ格納方式に適用できる。
本実施例では、このシステム情報が、前述したメタ情報に該当する。
や「Skype 3.0」などである。
101 アプリケーション
102 重複データ発見手段
103 データ管理手段
104 メタ情報管理手段
105 データマップ管理手段
110 仮想マシンB
111 アプリケーション
112 重複データ発見手段
113 データ管理手段
114 メタ情報管理手段
115 データマップ管理手段
120 仮想マシン管理手段
121 重複ブロック発見手段
122 仮想ブロック取得手段A
123 仮想ブロック取得手段B
124 ブロックアクセス手段
125 ブロックマップ管理手段
126 実ブロック記憶手段
Claims (10)
- ブロックを単位としてデータを格納するシステムであり、かつ、ある一塊のデータを、1個以上のブロックの集合として格納するシステムであり、
ある仮想マシン上で動作し、メタ情報をもとに優先順位を決定し、その優先順位に従ってデータを取得し、取得したデータと一致するデータが他の仮想マシン上に存在していることを確認したならば、一致データの存在を重複ブロック発見手段に通知する、重複データ発見手段と、
前記一致データを構成するブロックを、データマップ管理手段により識別して、前記一致データの存在をもとに重複ブロックを発見し、重複ブロックを統合することで空き容量を確保する重複ブロック発見手段を備えることを特徴とするデータ格納システム。 - ブロックを単位としてデータを格納するシステムであり、かつ、ある一塊のデータを、1個以上のブロックの集合として格納するシステムであり、
ある仮想マシン上で動作し、メタ情報をもとに優先順位を決定し、その優先順位に従ってデータを取得し、取得したデータと一致するデータが他の仮想マシン上に存在していることを確認したならば、一致データの存在を重複ブロック発見手段に通知する、重複データ発見手段と、
ある仮想マシン上で一意なデータ識別子と同仮想マシン上で一意な仮想ブロック識別子を関連付けて管理するデータマップ管理手段と、
データ識別子をパラメータとして含むデータアクセスコマンドを受け取った際に、データ識別子に対応する仮想ブロック識別子をデータマップ管理手段から取得し、仮想ブロック識別子をパラメータとして含む仮想ブロックアクセスコマンドをブロックアクセス手段に発行し、ブロックアクセス手段からのレスポンスを受信し、データアクセスコマンドのレスポンスを返すデータ管理手段と、
ある仮想マシン管理手段上で一意な仮想マシン識別子と前記仮想ブロック識別子の組と、あるデータ格納装置上で一意な実ブロック識別子を関連付けて管理するブロックマップ管理手段と、
実ブロック識別子に対応付けてブロックデータを記憶する実ブロック記憶手段と、
仮想ブロック識別子をパラメータとして含む仮想ブロックアクセスコマンドを受け取った際に、仮想ブロックアクセスコマンドの送信元の仮想マシン識別子と仮想ブロック識別子の組に対応する実ブロック識別子をブロックマップ管理手段から取得し、実ブロック識別子をパラメータとして含む実ブロックアクセスコマンドを実ブロック記憶手段に発行し、実ブロック記憶手段からのレスポンスを受信し、仮想ブロックアクセスコマンドのレスポンスを返すブロックアクセス手段と、
前記の一致データを構成するブロックデータについて一致するブロックが存在したならば、前記のデータマップ管理手段で管理されている関連付けを変更し、一致データについては1個のブロックを割り当てて、残りのブロックを空き容量とする重複ブロック発見手段を備えたことを特徴とするデータ格納システム。 - 前記重複データ発見手段は、前記メタ情報として、仮想マシン上で動作しているオペレーティングシステムの名称を用いることを特徴とする請求項1または2記載のデータ格納システム。
- 前記重複データ発見手段は、前記データ識別子としてファイル名を用い、前記データ管理手段はファイルシステムであることを特徴とする請求項2に記載のデータ格納システム。
- 前記重複データ発見手段は、前記データ識別子としてファイル名を用い、前記データ管理手段はファイルメモリマップシステムであることを特徴とする請求項2に記載のデータ格納システム。
- ブロックを単位としてデータを格納するデータ格納方法であり、かつ、ある一塊のデータを、1個以上のブロックの集合として格納するデータ格納方法であり、
ある仮想マシン上で動作し、メタ情報をもとに優先順位を決定し、その優先順位に従ってデータを取得し、取得したデータと一致するデータが他の仮想マシン上に存在していることを確認したならば、一致データの存在を重複ブロック発見手段に通知する重複データ発見ステップと、
前記一致データを構成するブロックを、データマップ管理手段により識別して、前記一致データの存在をもとに重複ブロックを発見し、重複ブロックを統合することで空き容量を確保するステップとを有することを特徴とするデータ格納方法。 - ブロックを単位としてデータを格納するデータ格納方法であり、かつ、ある一塊のデータを、1個以上のブロックの集合として格納するデータ格納方法であり、
ある仮想マシン上で動作し、メタ情報をもとに優先順位を決定し、その優先順位に従ってデータを取得し、取得したデータと一致するデータが他の仮想マシン上に存在していることを確認したならば、一致データの存在を重複ブロック発見手段に通知する重複データ発見ステップと、
ある仮想マシン上で一意なデータ識別子と同仮想マシン上で一意な仮想ブロック識別子を関連付けて管理するステップと、
データ識別子をパラメータとして含むデータアクセスコマンドを受け取った際に、データ識別子に対応する仮想ブロック識別子をデータマップ管理手段から取得し、仮想ブロック識別子をパラメータとして含む仮想ブロックアクセスコマンドをブロックアクセス手段に発行し、ブロックアクセス手段からのレスポンスを受信し、データアクセスコマンドのレスポンスを返すステップと、
ある仮想マシン管理手段上で一意な仮想マシン識別子と前記仮想ブロック識別子の組と、あるデータ格納装置上で一意な実ブロック識別子を関連付けて管理するステップと、
実ブロック識別子に対応付けてブロックデータを記憶するステップと、
仮想ブロック識別子をパラメータとして含む仮想ブロックアクセスコマンドを受け取った際に、仮想ブロックアクセスコマンドの送信元の仮想マシン識別子と仮想ブロック識別子の組に対応する実ブロック識別子を取得し、実ブロック識別子をパラメータとして含む実ブロックアクセスコマンドを実ブロック記憶手段に発行し、実ブロック記憶手段からのレスポンスを受信し、仮想ブロックアクセスコマンドのレスポンスを返すステップと、
前記の一致データを構成するブロックデータについて一致するブロックが存在したならば、管理されている関連付けを変更し、一致データについては1個のブロックを割り当てて、残りのブロックを空き容量とするステップとを有することを特徴とするデータ格納方法。 - 前記重複データ発見ステップでは、前記メタ情報として、仮想マシン上で動作しているオペレーティングシステムの名称を用いることを特徴とする請求項6または7記載のデータ格納方法。
- ブロックを単位としてデータを格納するデータ格納用プログラムであり、かつ、ある一塊のデータを、1個以上のブロックの集合として格納するデータ格納用プログラムであり、
ある仮想マシン上で動作し、メタ情報をもとに優先順位を決定し、その優先順位に従ってデータを取得し、取得したデータと一致するデータが他の仮想マシン上に存在していることを確認したならば、一致データの存在を重複ブロック発見手段に通知するステップと、
前記一致データを構成するブロックを、データマップ管理手段により識別して、前記一致データの存在をもとに重複ブロックを発見し、重複ブロックを統合することで空き容量を確保するステップとを実行させることを特徴とするデータ格納用プログラム。 - ブロックを単位としてデータを格納するデータ格納用プログラムであり、かつ、ある一塊のデータを、1個以上のブロックの集合として格納するデータ格納用プログラムであり、
ある仮想マシン上で動作し、メタ情報をもとに優先順位を決定し、その優先順位に従ってデータを取得し、取得したデータと一致するデータが他の仮想マシン上に存在していることを確認したならば、一致データの存在を重複ブロック発見手段に通知するステップと、
ある仮想マシン上で一意なデータ識別子と同仮想マシン上で一意な仮想ブロック識別子を関連付けて管理するステップと、
データ識別子をパラメータとして含むデータアクセスコマンドを受け取った際に、データ識別子に対応する仮想ブロック識別子をデータマップ管理手段から取得し、仮想ブロック識別子をパラメータとして含む仮想ブロックアクセスコマンドをブロックアクセス手段に発行し、ブロックアクセス手段からのレスポンスを受信し、データアクセスコマンドのレスポンスを返すステップと、
ある仮想マシン管理手段上で一意な仮想マシン識別子と前記仮想ブロック識別子の組と、あるデータ格納装置上で一意な実ブロック識別子を関連付けて管理するステップと、
実ブロック識別子に対応付けてブロックデータを記憶するステップと、
仮想ブロック識別子をパラメータとして含む仮想ブロックアクセスコマンドを受け取った際に、仮想ブロックアクセスコマンドの送信元の仮想マシン識別子と仮想ブロック識別子の組に対応する実ブロック識別子を取得し、実ブロック識別子をパラメータとして含む実ブロックアクセスコマンドを実ブロック記憶手段に発行し、実ブロック記憶手段からのレスポンスを受信し、仮想ブロックアクセスコマンドのレスポンスを返すステップと、
前記の一致データを構成するブロックデータについて一致するブロックが存在したならば、管理されている関連付けを変更し、一致データについては1個のブロックを割り当てて、残りのブロックを空き容量とするステップとを実行させることを特徴とするデータ格納用プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009542534A JP5381713B2 (ja) | 2007-11-20 | 2008-11-13 | 仮想マシン向けデータ格納システム、データ格納方法およびデータ格納用プログラム |
Applications Claiming Priority (4)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2007300799 | 2007-11-20 | ||
JP2007300799 | 2007-11-20 | ||
JP2009542534A JP5381713B2 (ja) | 2007-11-20 | 2008-11-13 | 仮想マシン向けデータ格納システム、データ格納方法およびデータ格納用プログラム |
PCT/JP2008/070714 WO2009066611A1 (ja) | 2007-11-20 | 2008-11-13 | 仮想マシン向けデータ格納システム、データ格納方法およびデータ格納用プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2009066611A1 JPWO2009066611A1 (ja) | 2011-04-07 |
JP5381713B2 true JP5381713B2 (ja) | 2014-01-08 |
Family
ID=40667435
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009542534A Active JP5381713B2 (ja) | 2007-11-20 | 2008-11-13 | 仮想マシン向けデータ格納システム、データ格納方法およびデータ格納用プログラム |
Country Status (2)
Country | Link |
---|---|
JP (1) | JP5381713B2 (ja) |
WO (1) | WO2009066611A1 (ja) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101982447B1 (ko) * | 2018-07-20 | 2019-08-28 | 세종대학교산학협력단 | 가상 머신에 대한 입출력 처리 방법 |
Families Citing this family (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2011018206A (ja) * | 2009-07-09 | 2011-01-27 | Hitachi Ltd | ファイル管理方法、計算機、及びファイル管理プログラム |
JP5254141B2 (ja) * | 2009-07-14 | 2013-08-07 | 富士通株式会社 | アーカイブ装置、データ格納プログラムおよびデータ格納方法 |
JP4856217B2 (ja) * | 2009-07-21 | 2012-01-18 | 富士通株式会社 | データ格納プログラム、データ格納方法およびデータ格納システム |
WO2011033582A1 (en) | 2009-09-18 | 2011-03-24 | Hitachi, Ltd. | Storage system for eliminating duplicated data |
US8489799B2 (en) * | 2009-12-13 | 2013-07-16 | International Business Machines Corporation | Efficient loading of data into memory of a computing system |
US9411517B2 (en) * | 2010-08-30 | 2016-08-09 | Vmware, Inc. | System software interfaces for space-optimized block devices |
US9285993B2 (en) | 2010-08-30 | 2016-03-15 | Vmware, Inc. | Error handling methods for virtualized computer systems employing space-optimized block devices |
-
2008
- 2008-11-13 WO PCT/JP2008/070714 patent/WO2009066611A1/ja active Application Filing
- 2008-11-13 JP JP2009542534A patent/JP5381713B2/ja active Active
Non-Patent Citations (4)
Title |
---|
CSND200600398021; 村野 公一: '【第2回】「サーバリソースを徹底的に活用する 仮想化テクノロジがもたらす世界' サーバ・ソリューション・マガジン SERVERS SELECT 第1巻,第6号, 200509, p.116-125, 株式会社メディアセレクト * |
CSND200701199001; '特集 データ・バックアップ 台頭するデータ重複排除技術' OPEN Enterprise magazine 第5巻,第10号, 20071001, p.32-39, 株式会社ソキウス・ジャパン * |
JPN6013016545; 村野 公一: '【第2回】「サーバリソースを徹底的に活用する 仮想化テクノロジがもたらす世界' サーバ・ソリューション・マガジン SERVERS SELECT 第1巻,第6号, 200509, p.116-125, 株式会社メディアセレクト * |
JPN6013016546; '特集 データ・バックアップ 台頭するデータ重複排除技術' OPEN Enterprise magazine 第5巻,第10号, 20071001, p.32-39, 株式会社ソキウス・ジャパン * |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
KR101982447B1 (ko) * | 2018-07-20 | 2019-08-28 | 세종대학교산학협력단 | 가상 머신에 대한 입출력 처리 방법 |
Also Published As
Publication number | Publication date |
---|---|
JPWO2009066611A1 (ja) | 2011-04-07 |
WO2009066611A1 (ja) | 2009-05-28 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US11892957B2 (en) | SSD architecture for FPGA based acceleration | |
JP5381713B2 (ja) | 仮想マシン向けデータ格納システム、データ格納方法およびデータ格納用プログラム | |
US7895394B2 (en) | Storage system | |
US9563636B2 (en) | Allowing writes to complete without obtaining a write lock to a file | |
JP4405533B2 (ja) | キャッシュ方法及びキャッシュ装置 | |
US8001323B2 (en) | Network storage system, management method therefor, and control program product therefor | |
US9069487B2 (en) | Virtualizing storage for WPAR clients using key authentication | |
JP4464378B2 (ja) | 同一データを纏める事で格納領域を節約する計算機システム、ストレージシステム及びそれらの制御方法 | |
JP2008015768A (ja) | 記憶システム並びにこれを用いたデータの管理方法 | |
US20090119395A1 (en) | Information processing system and data management method | |
WO2015067074A1 (zh) | 一种数据读取的方法及装置 | |
CN112527186A (zh) | 一种存储系统、存储节点和数据存储方法 | |
WO2019000949A1 (zh) | 分布式存储系统中元数据存储方法、系统及存储介质 | |
JP2005276158A (ja) | ストレージシステム、計算機システムまたは記憶領域の属性設定方法 | |
CN108475201B (zh) | 一种虚拟机启动过程中的数据获取方法和云计算系统 | |
CN110554911A (zh) | 内存访问与分配方法、存储控制器及系统 | |
JP2008084094A (ja) | 記憶システム及びその管理方法並びに記憶制御装置 | |
JP5492731B2 (ja) | 仮想計算機のボリューム割当て方法およびその方法を用いた計算機システム | |
US20180129521A1 (en) | Parallel mapping of client partition memory to multiple physical adapters | |
JP5673396B2 (ja) | 情報処理システム、情報処理プログラム、情報処理方法 | |
CN107832097A (zh) | 数据加载方法及装置 | |
US20150356108A1 (en) | Storage system and storage system control method | |
US20170286002A1 (en) | Region-integrated data deduplication | |
JP4965456B2 (ja) | システムと共有バッファ内のストレージとの間でデータを転送する方法、システム、及びコンピュータ・プログラム(システムと共有バッファ内ストレージとの間のデータ転送) | |
US20100223442A1 (en) | Computer system and data erasing method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A529 | Written submission of copy of amendment under article 34 pct |
Free format text: JAPANESE INTERMEDIATE CODE: A5211 Effective date: 20100517 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20100811 |
|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7421 Effective date: 20110706 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20111024 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20130409 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20130603 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20130903 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20130916 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5381713 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 Free format text: JAPANESE INTERMEDIATE CODE: R150 |