JP5765441B2 - 情報処理装置、データ管理方法およびプログラム - Google Patents
情報処理装置、データ管理方法およびプログラム Download PDFInfo
- Publication number
- JP5765441B2 JP5765441B2 JP2013552374A JP2013552374A JP5765441B2 JP 5765441 B2 JP5765441 B2 JP 5765441B2 JP 2013552374 A JP2013552374 A JP 2013552374A JP 2013552374 A JP2013552374 A JP 2013552374A JP 5765441 B2 JP5765441 B2 JP 5765441B2
- Authority
- JP
- Japan
- Prior art keywords
- segment
- data
- segments
- label
- information processing
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000000034 method Methods 0.000 title claims description 100
- 230000010365 information processing Effects 0.000 title claims description 55
- 238000013523 data management Methods 0.000 title claims description 13
- 238000012545 processing Methods 0.000 claims description 91
- 238000007726 management method Methods 0.000 description 72
- 238000012546 transfer Methods 0.000 description 66
- 230000008569 process Effects 0.000 description 50
- 230000005540 biological transmission Effects 0.000 description 46
- 238000006243 chemical reaction Methods 0.000 description 25
- 238000013500 data storage Methods 0.000 description 23
- 230000004044 response Effects 0.000 description 17
- 238000004364 calculation method Methods 0.000 description 16
- 238000004891 communication Methods 0.000 description 13
- 238000010586 diagram Methods 0.000 description 13
- 230000006870 function Effects 0.000 description 10
- 230000015654 memory Effects 0.000 description 8
- 230000003287 optical effect Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000012790 confirmation Methods 0.000 description 1
- 230000003111 delayed effect Effects 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
- G06F16/22—Indexing; Data structures therefor; Storage structures
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/231—Content storage operation, e.g. caching movies for short term storage, replicating data over plural servers, prioritizing data for deletion
- H04N21/2312—Data placement on disk arrays
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Software Systems (AREA)
- Data Mining & Analysis (AREA)
- Databases & Information Systems (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Description
本発明の上記および他の目的、特徴および利点は本発明の例として好ましい実施の形態を表す添付の図面と関連した以下の説明により明らかになるであろう。
[第1の実施の形態]
図1は、第1の実施の形態の情報処理装置を示す図である。情報処理装置10は、記憶するデータに対応付けられるキーの集合を複数のセグメントに分割し、セグメント単位で記憶装置20−1〜20−n(nは2以上の自然数)へのデータの配置を管理する情報処理システムに用いられる。記憶装置20−1〜20−nの一部は、情報処理装置10が備える記憶装置であってもよい。情報処理装置10は、記憶部11および制御部12を有する。
以上のように、制御部12は、セグメントを階層的に分割して、そのセグメントの子孫である複数のセグメントを生成していく際、分割が所定の分割の深さの条件を満たさない場合は、生成されたセグメントに属するデータの他の記憶装置への移動を制限する。
図2は、第2の実施の形態の情報処理システムを示す図である。第2の実施の形態の情報処理システムは、サーバ装置100,100a,100b,100c、管理装置200およびクライアント装置300を含む。サーバ装置100,100a,100b,100cおよび管理装置200は、ネットワーク41に接続されている。クライアント装置300は、ネットワーク42に接続されている。第2の実施の形態の情報処理システムは、いわゆるクラウドシステムとして実現してもよい。
図3は、サーバ装置のハードウェア例を示すブロック図である。サーバ装置100は、CPU101、RAM102、HDD103、画像信号処理部104、入力信号処理部105、ディスクドライブ106および通信部107を有する。上記ユニットは、サーバ装置100内でバスに接続されている。なお、サーバ装置100a,100b,100c、管理装置200およびクライアント装置300も、サーバ装置100と同様のハードウェアによって実現できる。
図4は、リクエスト処理の例を示す図である。図4では、リクエストとして、(A)単一のキーを指定したリード要求、(B)キーの範囲を指定したリード要求、(C)ライト要求の例を挙げている。サーバ装置100aは、キーとデータの組(key,value)として、(2,data2),(3,data3)を記憶し、サーバ装置100cは、(4,data4),(5,data5)を記憶しているとする。
図5は、セグメント管理ツリーの例を示す図である。サーバ装置100,100a,100b,100cは、セグメント管理ツリーを記述したセグメント情報を有する。セグメント管理ツリーとして、トライ木やプレフィックス木と呼ばれる順序付きツリーを用いることができる。前述の非特許文献1(Yatin Chawathe, Sriram Ramabhadran, Sylvia Ratnasamy, Anthony LaMarca, Scott Shenker and Joseph Hellerstein, "A Case Study in Building Layered DHT Applications")に記載されたPHTを用いてもよい。
図6は、セグメントに属するデータのサーバ装置への配置方法の例を示す図である。前述の通り、セグメント管理ツリーの葉ノードに対応するセグメントに属するデータは、当該セグメントのラベルに応じてサーバ装置100,100a,100b,100cの何れかに配置される。
図7は、サーバ装置のソフトウェア例を示すブロック図である。
サーバ装置100は、通信処理部110、格納先決定部120、イベント処理部130およびデータ記憶部140を有する。通信処理部110、格納先決定部120、イベント処理部130は、例えば、図3に示したようなCPU101およびRAM102を用いて実行されるプログラムとして実現できる。データ記憶部140は、例えば、図3に示したようなRAM102やHDD103上の記憶領域として実現できる。図2に示したサーバ装置100a,100b,100cも、サーバ装置100と同様のブロック構成によって実現できる。
リクエスト受信部111は、図2に示したようなクライアント装置300からリクエストを受信すると、そのリクエストをメッセージ処理部114に通知する。また、リクエスト受信部111は、データ記憶部140から読み出されたデータまたはデータ記憶部140への書き込み結果をメッセージ処理部114から取得し、レスポンスとしてクライアント装置300に送信する。
セグメント情報記憶部121は、図5のようなセグメント管理ツリーを記載したセグメント情報を記憶する。セグメント情報は、セグメントの分割に伴って更新される。セグメント情報記憶部121は、ハッシュ関数を示す情報を記憶してもよい。なお、セグメント情報記憶部121は、RAM102またはHDD103上の記憶領域として実現できる。
データ処理部131は、セグメント管理部122またはメッセージ処理部114からの依頼に応じて、データ処理を行う。キーまたはキーの範囲を指定したリード要求である場合、データ処理部131は、キーに対応するデータまたはキーの範囲に対応するデータ群をデータ記憶部140から読み出す。キーを指定したライト要求である場合、データ処理部131は、キーに対応付けてデータをデータ記憶部140に書き込む。
(セグメント分割処理)
図8は、セグメント分割の一例を示すフローチャートである。ここでは、サーバ装置100が処理を行う場合を考える。サーバ装置100a,100b,100cも、サーバ装置100と同様の処理を行う。以下、図8に示す処理をステップ番号に沿って説明する。
f=value(L)/blength(L) (2)
式(1)において、th(L)は、あるラベルLのセグメントに適用する閾値を示している。また、Rは所定のルート閾値、Nは前述した転送を許容する階層間隔を示している。式(2)において、bはセグメント管理ツリーの分岐数を示す。また、length(L)はラベルLのビット数を示し、value(L)はラベルLが表す10進数表現の値を示す。
(ステップS16)データ処理部131は、ステップS14の処理で定義された子セグメントの中から、ステップS15の処理で選択したキーのプレフィックスと一致するラベルをもつ子セグメントを特定する。そして、データ処理部131は、ステップS15の処理で選択したキーを、特定した子セグメントに割り当てる。
ただし、図9の例では、ルート閾値R=128[MB]、転送を許容する階層間隔N=4としている。
式(1)に基づいて閾値を算出することで、分割したときに転送が生じる可能性がある階層に属するセグメントにおいて、分割されるタイミングをずらすことができる。図9に示したようなセグメント管理ツリーにおいて、転送を許容する階層間隔N=4としているので、例えば、n=4の階層のラベル“000”,“001”のセグメントは、分割されたときに転送が生じる可能性がある(詳細は後述する)。ラベル“000”のセグメントに対応づけられた閾値が128[MB]で、ラベル“001”のセグメントに対応づけられた閾値が181である。このような閾値を適用することで、キー空間全体に対して均等に一定の速度でデータが追加される場合を考えると、ラベル“000”のセグメントに対して、ラベル“001”のセグメントの分割されるタイミングを遅らせることができる。
図8のフローチャートにおけるステップS18の処理(データ転送判定処理)の例を説明する。
データ送信部113は、転送条件記憶部112に格納されている転送を許容する階層間隔Nを参照する。そして、データ送信部113は、例えば、2進数で表されるセグメントのラベルの先頭から、Nの倍数のビットだけ残し、端数のビットを削除する。
(ラベル変換方法2)
データ送信部113は、例えば、2進数で表されるセグメントのラベルに対して、式(2)を適用してfの値を求める。なお、fの値は、閾値を算出する処理(図8のステップS12の処理)で求められたものを、データ送信部113が取得して用いるようにしてもよい。
(ラベル変換方法1の適用例)
図11は、ラベル変換方法1を適用した場合に転送が許容されるセグメントの例を示す図である。図11では、図9に示したセグメント管理ツリーと同様のものが示されている。
図12は、ラベル変換方法2を適用した場合に転送が許容されるセグメントの例を示す図である。図12では、図9に示したセグメント管理ツリーと同様のものが示されている。
以上のようにラベル変換方法2を適用すると、ラベル変換方法1を適用した場合と同様の効果が得られるとともに、複数のセグメントの間でデータ転送が発生するタイミングをずらすことができ、データ転送の発生が同時期に集中することを抑制することができる。このため、情報処理システムの負荷を軽減できる。
図13は、リクエスト処理の一例を示すフローチャートである。ここでは、サーバ装置100が処理を行う場合を考える。サーバ装置100a,100b,100cも、サーバ装置100と同様の処理を行う。以下、図13に示す処理をステップ番号に沿って説明する。
図14は、情報処理システムの動作シーケンスの一例を示すシーケンス図である。クライアント装置300がサーバ装置100に対して、データの書き込みのリクエストを送信し、データの書き込みによってセグメント分割が発生する場合を考える。
(ステップS42)サーバ装置100は、自装置が有するセグメント情報からキーの属するセグメントを検索し、ラベルを、適用されたラベル変換方法1または2を用いて変換する。そして、サーバ装置100は、変換されたラベルとハッシュ関数を用いて当該セグメントに属するデータが配置されているサーバ装置(ここでは、サーバ装置100a)を特定する。そして、ライト要求のメッセージをサーバ装置100aに送信する。メッセージには、キーとデータが含まれる。
(ステップS45)サーバ装置100aは、データの書き込みによって、セグメントのデータの量またはデータ数が閾値を超えたことを検出する。すると、サーバ装置100aは、当該セグメントをb個(例えば、2個)のセグメントに更に分割する。
(ステップS48)サーバ装置100bは、サーバ装置100aから受信したキーとデータを対応付けて、自装置が有する記憶装置に書き込む。そして、書き込み完了を示すレスポンスをサーバ装置100aに送信する。
11 記憶部
12 制御部
20−1〜20−n 記憶装置
sg1,sg2a,sg2b,sg3a,sg3b,sg3c,sg3d,sg4a,sg4b,sg5a,sg5b,sg5c,sg5d セグメント
Claims (9)
- 記憶するデータに対応付けられるキーの集合を複数のセグメントに分割し、セグメント単位で複数の記憶装置へのデータの配置を管理する情報処理システムに用いられる、情報処理装置であって、
セグメントとキーとの対応関係を示すセグメント情報を記憶する記憶部と、
セグメントを複数に分割し、前記セグメント情報を更新する制御部と、を有し、
前記制御部は、第1のセグメントから1回または階層的にN(N>1)回の分割によって複数の第2のセグメントが得られたときに、前記分割が所定の条件を満たす場合には、前記複数の第2のセグメントの少なくとも1つに属するデータを、前記第1のセグメントに属するデータを記憶していた第1の記憶装置から第2の記憶装置へ移動することを許容し、前記分割が前記所定の条件を満たさない場合には、前記複数の第2のセグメントに属するデータの移動を制限する、
情報処理装置。 - 前記制御部は、一のセグメントに属するデータの増加に応じて、当該一のセグメントを複数に分割し、前記セグメント情報を更新する、
請求項1記載の情報処理装置。 - 前記制御部は、前記分割の回数が前記所定の条件を満たす場合には、前記複数の第2のセグメントの少なくとも1つに属するデータを、前記第1のセグメントに属するデータを記憶していた前記第1の記憶装置から前記第2の記憶装置へ移動することを許容し、前記分割の回数が前記所定の条件を満たさない場合には、前記複数の第2のセグメントに属するデータの移動を制限する、
請求項1記載の情報処理装置。 - 前記所定の条件は、前記第1のセグメントの階層と前記複数の第2のセグメントの階層との間の間隔が、2以上の所定の階層間隔の倍数であるという条件である、
請求項1記載の情報処理装置。 - 各セグメントには、前記分割の深さに応じた長さのラベルが付与されており、
前記制御部は、前記複数の第2のセグメントに付与されたラベルに基づいて、前記所定の条件を満たすか否か判定する、
請求項1乃至3の何れか一項に記載の情報処理装置。 - 前記所定の条件を満たすか否かは、同じ階層のセグメント間では判定結果が同じになる方法を用いて判定する、
請求項1乃至3の何れか一項に記載の情報処理装置。 - 前記所定の条件を満たすか否かは、同じ階層のセグメント間でもセグメントによって判定結果が異なる方法を用いて判定する、
請求項1乃至3の何れか一項に記載の情報処理装置。 - 記憶するデータに対応付けられるキーの集合を複数のセグメントに分割し、セグメント単位で複数の記憶装置へのデータの配置を管理する情報処理システムが行うデータ管理方法であって、
セグメントを複数に分割し、セグメントとキーとの対応関係を示すセグメント情報を更新し、
第1のセグメントから1回または階層的にN(N>1)回の分割によって複数の第2のセグメントが得られたときに、前記分割が所定の条件を満たす場合には、前記複数の第2のセグメントの少なくとも1つに属するデータを、前記第1のセグメントに属するデータを記憶していた第1の記憶装置から第2の記憶装置へ移動することを許容し、
前記分割が前記所定の条件を満たさない場合には、前記複数の第2のセグメントに属するデータの移動を制限する、
データ管理方法。 - 記憶するデータに対応付けられるキーの集合を複数のセグメントに分割し、セグメント単位で複数の記憶装置へのデータの配置を管理する情報処理システムに用いられるコンピュータに実行させるプログラムであって、前記コンピュータに、
セグメントを複数に分割し、セグメントとキーとの対応関係を示すセグメント情報を更新し、
第1のセグメントから1回または階層的にN(N>1)回の分割によって複数の第2のセグメントが得られたときに、前記分割が所定の条件を満たす場合には、前記複数の第2のセグメントの少なくとも1つに属するデータを、前記第1のセグメントに属するデータを記憶していた第1の記憶装置から第2の記憶装置へ移動することを許容し、
前記分割が前記所定の条件を満たさない場合には、前記複数の第2のセグメントに属するデータの移動を制限する、
処理を実行させるプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2012/050158 WO2013103012A1 (ja) | 2012-01-06 | 2012-01-06 | 情報処理装置、データ管理方法およびプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013103012A1 JPWO2013103012A1 (ja) | 2015-05-11 |
JP5765441B2 true JP5765441B2 (ja) | 2015-08-19 |
Family
ID=48745082
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013552374A Expired - Fee Related JP5765441B2 (ja) | 2012-01-06 | 2012-01-06 | 情報処理装置、データ管理方法およびプログラム |
Country Status (4)
Country | Link |
---|---|
US (1) | US20140310321A1 (ja) |
EP (1) | EP2801911A4 (ja) |
JP (1) | JP5765441B2 (ja) |
WO (1) | WO2013103012A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
CN103327084B (zh) * | 2013-06-08 | 2017-01-04 | 北京古盘创世科技发展有限公司 | 一种公私混合分布式的云存储系统及云存储方法 |
JP6344962B2 (ja) * | 2014-04-25 | 2018-06-20 | Kddi株式会社 | 構成情報管理サーバ、ネットワーク構成情報管理システムおよび構成情報管理方法 |
US10572509B2 (en) * | 2015-07-27 | 2020-02-25 | Cisco Technology, Inc. | Scalable spine nodes with partial replication of routing information in a network environment |
US11256696B2 (en) * | 2018-10-15 | 2022-02-22 | Ocient Holdings LLC | Data set compression within a database system |
US12050580B2 (en) | 2018-10-15 | 2024-07-30 | Ocient Inc. | Data segment storing in a database system |
CN110430042B (zh) * | 2019-06-28 | 2022-11-22 | 中国人民解放军战略支援部队信息工程大学 | 一种在异构冗余系统中存储秘钥的装置及方法 |
Family Cites Families (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20050193425A1 (en) * | 2000-07-24 | 2005-09-01 | Sanghoon Sull | Delivery and presentation of content-relevant information associated with frames of audio-visual programs |
GB2366014B (en) * | 2000-08-19 | 2004-10-13 | Ibm | Free space collection in information storage systems |
US7546319B1 (en) * | 2003-04-28 | 2009-06-09 | Ibrix, Inc. | File system consistency checking in a distributed segmented file system |
JP2007148545A (ja) * | 2005-11-24 | 2007-06-14 | Brother Ind Ltd | 情報配信システム、情報配信方法、ノード装置、及びノード処理プログラム |
JP2007193626A (ja) * | 2006-01-20 | 2007-08-02 | Brother Ind Ltd | コンテンツ配信システム、ノード装置及びその情報処理方法並びにそのプログラム |
CN101505262B (zh) * | 2008-02-05 | 2011-07-20 | 华为技术有限公司 | 一种构造节点Id的方法和装置 |
-
2012
- 2012-01-06 EP EP12864659.3A patent/EP2801911A4/en not_active Withdrawn
- 2012-01-06 WO PCT/JP2012/050158 patent/WO2013103012A1/ja active Application Filing
- 2012-01-06 JP JP2013552374A patent/JP5765441B2/ja not_active Expired - Fee Related
-
2014
- 2014-06-26 US US14/315,377 patent/US20140310321A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
WO2013103012A1 (ja) | 2013-07-11 |
EP2801911A1 (en) | 2014-11-12 |
EP2801911A4 (en) | 2014-12-10 |
JPWO2013103012A1 (ja) | 2015-05-11 |
US20140310321A1 (en) | 2014-10-16 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
KR102240557B1 (ko) | 데이터 저장 방법, 장치 및 시스템 | |
JP5765441B2 (ja) | 情報処理装置、データ管理方法およびプログラム | |
US8832113B2 (en) | Data management apparatus and system | |
JP5411250B2 (ja) | 冗長データ記憶システムへの指示に従ってのデータ配置 | |
CN103150394B (zh) | 面向高性能计算的分布式文件系统元数据管理方法 | |
US7934211B2 (en) | Multi-level patching operation | |
CN103067433B (zh) | 一种分布式存储系统的数据迁移方法、设备和系统 | |
US9031906B2 (en) | Method of managing data in asymmetric cluster file system | |
JP2013045379A (ja) | ストレージ制御方法、情報処理装置およびプログラム | |
JP6222227B2 (ja) | ストレージノード、ストレージノード管理装置、ストレージノード論理容量設定方法、プログラム、記録媒体および分散データストレージシステム | |
JP2012256324A (ja) | データ管理方法、および、複合型データ管理システム | |
US9128944B2 (en) | File system enabling fast purges and file access | |
US10678817B2 (en) | Systems and methods of scalable distributed databases | |
US20140244794A1 (en) | Information System, Method and Program for Managing the Same, Method and Program for Processing Data, and Data Structure | |
US20170220586A1 (en) | Assign placement policy to segment set | |
US11216421B2 (en) | Extensible streams for operations on external systems | |
JP2008102795A (ja) | ファイル管理装置、システム及びプログラム | |
JP5633646B2 (ja) | 情報処理装置、データ管理方法およびデータ管理プログラム | |
JP6011786B2 (ja) | 分散ストレージシステム、分散ストレージデータ配置制御方法及び分散ストレージデータ配置制御用プログラム | |
US9942324B2 (en) | Rebalancing and elastic storage scheme with elastic named distributed circular buffers | |
JP5463899B2 (ja) | ファイル管理情報記憶装置、ファイル管理情報記憶装置の制御方法、およびファイル管理情報記憶装置の制御プログラム | |
US12026177B2 (en) | Dynamic adaptive partition splitting | |
JP2017107300A (ja) | データ管理プログラム及びデータ管理方法 | |
JP2021124952A (ja) | 情報処理装置、情報処理システムおよびアクセス制御方法 | |
CN117194439B (zh) | 一种资源存储系统的创建方法、电子设备及存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150217 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150420 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20150519 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20150601 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5765441 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |