JP7491545B2 - 情報処理方法 - Google Patents
情報処理方法 Download PDFInfo
- Publication number
- JP7491545B2 JP7491545B2 JP2019238200A JP2019238200A JP7491545B2 JP 7491545 B2 JP7491545 B2 JP 7491545B2 JP 2019238200 A JP2019238200 A JP 2019238200A JP 2019238200 A JP2019238200 A JP 2019238200A JP 7491545 B2 JP7491545 B2 JP 7491545B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- fragment data
- storage device
- storage
- failure time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 33
- 238000003672 processing method Methods 0.000 title claims description 31
- 239000012634 fragment Substances 0.000 claims description 165
- 238000004364 calculation method Methods 0.000 claims description 95
- 238000012546 transfer Methods 0.000 claims description 35
- 238000012545 processing Methods 0.000 description 42
- 238000000034 method Methods 0.000 description 30
- 238000010586 diagram Methods 0.000 description 17
- 238000013500 data storage Methods 0.000 description 15
- 230000008569 process Effects 0.000 description 13
- 230000006870 function Effects 0.000 description 9
- 230000005012 migration Effects 0.000 description 7
- 238000013508 migration Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 5
- 230000008929 regeneration Effects 0.000 description 4
- 238000011069 regeneration method Methods 0.000 description 4
- 241001522296 Erithacus rubecula Species 0.000 description 3
- 230000015556 catabolic process Effects 0.000 description 3
- 238000006731 degradation reaction Methods 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 238000005516 engineering process Methods 0.000 description 2
- 239000000284 extract Substances 0.000 description 2
- 230000003362 replicative effect Effects 0.000 description 2
- 230000009471 action Effects 0.000 description 1
- 238000004458 analytical method Methods 0.000 description 1
- 230000007423 decrease Effects 0.000 description 1
- 230000000694 effects Effects 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 238000007726 management method Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 238000012544 monitoring process Methods 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 238000007616 round robin method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001360 synchronised effect Effects 0.000 description 1
- 230000007704 transition Effects 0.000 description 1
Images
Landscapes
- Hardware Redundancy (AREA)
Description
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードが、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算し、
計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる
という構成をとる。
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードであって、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる移動部と、
を有する
という構成をとる。
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードに、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる移動部と、
を実現するためのプログラムである。
本発明の第1の実施形態を図1から図9までを参照して説明する。図1は、システム全体の構成の一例を示すブロック図である。図2は、アクセラレータノード110の構成の一例を示すブロック図である。図3は、ストレージシステム100において行われる分散記憶処理の一例を説明するための図である。図4は、ストレージノード120の構成の一例を示すブロック図である。図5は、データ移動処理の一例を説明するための図である。図6は、故障時期リスト126の一例を示す図である。図7は、データ移動処理の一例を説明するための図である。図8は、ストレージノード120が故障時期リスト126を生成する際の動作の一例を示すフローチャートである。図9は、ストレージノード120がフラグメントデータの移動または複製を行う際の動作の一例を示すフローチャートである。
次に、本発明の第2の実施形態について、図10、図11を参照して説明する。図10、図11は、ストレージノード300の構成の一例を示している。
・CPU(Central Processing Unit)301(演算装置)
・ROM(Read Only Memory)302(記憶装置)
・RAM(Random Access Memory)303(記憶装置)
・RAM303にロードされるプログラム群304
・プログラム群304を格納する記憶装置305
・情報処理装置外部の記録媒体310の読み書きを行うドライブ装置306
・情報処理装置外部の通信ネットワーク311と接続する通信インタフェース307
・データの入出力を行う入出力インタフェース308
・各構成要素を接続するバス309
上記実施形態の一部又は全部は、以下の付記のようにも記載されうる。以下、本発明における情報処理方法などの概略を説明する。但し、本発明は、以下の構成に限定されない。
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードが、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算し、
計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる
情報処理方法。
(付記2)
付記1に記載の情報処理方法であって、
計算した結果に基づいて移動が必要であると判断される記憶装置から、移動が必要でないと判断される他の記憶装置へと、前記フラグメントデータを移動させる
情報処理方法。
(付記3)
付記1または付記2に記載の情報処理方法であって、
計算した結果と、記憶装置の空き容量を示す情報と、に基づいて、移動先の記憶装置を選択する
情報処理方法。
(付記4)
付記1から付記3までのいずれか1項に記載の情報処理方法であって、
事前に定めた記憶装置への要求数を超えないように、前記フラグメントデータの移動を行う
情報処理方法。
(付記5)
付記1から付記4までのいずれか1項に記載の情報処理方法であって、
記憶装置が故障する可能性に応じた情報として、記憶装置が故障する時期を示す故障時期情報を計算する
情報処理方法。
(付記6)
付記1から付記5までのいずれか1項に記載の情報処理方法であって、
前記フラグメントデータの優先度を計算し、
計算した前記フラグメントデータの優先度に応じて、前記フラグメントデータを他の記憶装置に移動させる
情報処理方法。
(付記7)
付記6に記載の情報処理方法であって、
優先度の高い前記フラグメントデータから順番に他の記憶装置に移動させる
情報処理方法。
(付記8)
付記1から付記7までのいずれか1項に記載の情報処理方法であって、
ストレージノードは、複数の記憶装置を有するとともに、他のストレージノードと通信可能に接続されており、
ストレージノード自身が有する他の記憶装置と、他のストレージノードが有する記憶装置と、のうちのいずれかに、前記フラグメントデータを移動させる
情報処理方法。
(付記9)
付記1から付記8までのいずれか1項に記載の情報処理方法であって、
ストレージノードは、複数の他のストレージノードと通信可能に接続されることでストレージシステムを構成しており、
ストレージシステム全体の空き容量を示す容量情報を取得し、
取得した前記容量情報に基づいて、前記フラグメントデータを移動した後、移動元の前記フラグメントデータを削除するか否か判断する
情報処理方法。
(付記10)
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードであって、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる移動部と、
を有する
ストレージノード。
(付記11)
記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードに、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記フラグメントデータを他の記憶装置に移動させる移動部と、
を実現するためのプログラム。
110 アクセラレータノード
111 ファイルシステムサービス部
112 ブロック分割処理部
113 重複排除処理部
114 分散処理部
120 ストレージノード
121 データ保存部
122 故障時期計算部
123 故障時期同期部
124 優先度計算部
125 データ移動部
126 故障時期リスト
127 記憶装置
200 データ格納・参照装置
300 ストレージノード
301 CPU
302 ROM
303 RAM
304 プログラム群
305 記憶装置
306 ドライブ装置
307 通信インタフェース
308 入出力インタフェース
309 バス
310 記録媒体
311 通信ネットワーク
321 計算部
322 移動部
Claims (9)
- 記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードが、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報として、記憶装置が故障する時期を示す故障時期情報を計算し、
計算した結果に基づいて、前記故障時期情報が示す故障する時期が所定値以下となる記憶装置から前記フラグメントデータを他の記憶装置に移動させ、
書き込みまたは読み出しからの経過時間に基づいて判断される前記フラグメントデータの使用頻度と、前記フラグメントデータと予め関連づけられたメタデータに含まれる、前記フラグメントデータを生成する際に生成した冗長データの数を表すパリティ数と同一のデータ内容であると判断され参照されている数を表す被参照数とのうちの少なくとも一方と、に応じて、前記フラグメントデータの優先度を計算し、
計算した前記フラグメントデータの優先度と、前記故障時期情報と、に応じて、前記フラグメントデータを他の記憶装置に移動させる
情報処理方法。 - 請求項1に記載の情報処理方法であって、
計算した結果に基づいて移動が必要であると判断される記憶装置から、移動が必要でないと判断される他の記憶装置へと、前記フラグメントデータを移動させる
情報処理方法。 - 請求項1または請求項2に記載の情報処理方法であって、
計算した結果と、記憶装置の空き容量を示す情報と、に基づいて、移動先の記憶装置を選択する
情報処理方法。 - 請求項1から請求項3までのいずれか1項に記載の情報処理方法であって、
事前に定めた記憶装置への要求数を超えないように、前記フラグメントデータの移動を行う
情報処理方法。 - 請求項1に記載の情報処理方法であって、
優先度の高い前記フラグメントデータから順番に他の記憶装置に移動させる
情報処理方法。 - 請求項1から請求項5までのいずれか1項に記載の情報処理方法であって、
ストレージノードは、複数の記憶装置を有するとともに、他のストレージノードと通信可能に接続されており、
ストレージノード自身が有する他の記憶装置と、他のストレージノードが有する記憶装置と、のうちのいずれかに、前記フラグメントデータを移動させる
情報処理方法。 - 請求項1から請求項6までのいずれか1項に記載の情報処理方法であって、
ストレージノードは、複数の他のストレージノードと通信可能に接続されることでストレージシステムを構成しており、
ストレージシステム全体の空き容量を示す容量情報を取得し、
取得した前記容量情報に基づいて、前記フラグメントデータを移動した後、移動元の前記フラグメントデータを削除するか否か判断する
情報処理方法。 - 記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードであって、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報として、記憶装置が故障する時期を示す故障時期情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記故障時期情報が示す故障する時期が所定値以下となる記憶装置から前記フラグメントデータを他の記憶装置に移動させる移動部と、
書き込みまたは読み出しからの経過時間に基づいて判断される前記フラグメントデータの使用頻度と、前記フラグメントデータと予め関連づけられたメタデータに含まれる、前記フラグメントデータを生成する際に生成した冗長データの数を表すパリティ数と同一のデータ内容であると判断され参照されている数を表す被参照数とのうちの少なくとも一方と、に応じて、前記フラグメントデータの優先度を計算する優先度計算部と、
を有し、
前記移動部は、計算した前記フラグメントデータの優先度と、前記故障時期情報と、に応じて、前記フラグメントデータを他の記憶装置に移動させる
ストレージノード。 - 記憶対象のデータを複数に分割した分割データと記憶対象のデータを復元するための復元データとからなるフラグメントデータを、複数の記憶装置のうちのいずれかに格納するストレージノードに、
前記フラグメントデータを格納する記憶装置が故障する可能性に応じた情報として、記憶装置が故障する時期を示す故障時期情報を計算する計算部と、
前記計算部が計算した結果に基づいて、前記故障時期情報が示す故障する時期が所定値以下となる記憶装置から前記フラグメントデータを他の記憶装置に移動させる移動部と、
書き込みまたは読み出しからの経過時間に基づいて判断される前記フラグメントデータの使用頻度と、前記フラグメントデータと予め関連づけられたメタデータに含まれる、前記フラグメントデータを生成する際に生成した冗長データの数を表すパリティ数と同一のデータ内容であると判断され参照されている数を表す被参照数とのうちの少なくとも一方と、に応じて、前記フラグメントデータの優先度を計算する優先度計算部と、
を実現させ、
前記移動部は、計算した前記フラグメントデータの優先度と、前記故障時期情報と、に応じて、前記フラグメントデータを他の記憶装置に移動させる
プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019238200A JP7491545B2 (ja) | 2019-12-27 | 2019-12-27 | 情報処理方法 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2019238200A JP7491545B2 (ja) | 2019-12-27 | 2019-12-27 | 情報処理方法 |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021105964A JP2021105964A (ja) | 2021-07-26 |
JP7491545B2 true JP7491545B2 (ja) | 2024-05-28 |
Family
ID=76918869
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2019238200A Active JP7491545B2 (ja) | 2019-12-27 | 2019-12-27 | 情報処理方法 |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7491545B2 (ja) |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007233903A (ja) | 2006-03-03 | 2007-09-13 | Hitachi Ltd | 記憶制御装置及び記憶制御装置のデータ回復方法 |
JP2011154428A (ja) | 2010-01-26 | 2011-08-11 | Nec Corp | ストレージシステム |
JP2016099659A (ja) | 2014-11-18 | 2016-05-30 | 株式会社エヌ・ティ・ティ・データ | 管理装置、ストレージシステム、ストレージ管理方法、及びプログラム |
WO2017149581A1 (ja) | 2016-02-29 | 2017-09-08 | 株式会社日立製作所 | 仮想ストレージシステム |
WO2018188618A1 (zh) | 2017-04-14 | 2018-10-18 | 紫光华山信息技术有限公司 | 固态硬盘访问 |
JP2019036163A (ja) | 2017-08-17 | 2019-03-07 | 富士通株式会社 | ストレージ制御装置、および制御プログラム |
-
2019
- 2019-12-27 JP JP2019238200A patent/JP7491545B2/ja active Active
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2007233903A (ja) | 2006-03-03 | 2007-09-13 | Hitachi Ltd | 記憶制御装置及び記憶制御装置のデータ回復方法 |
JP2011154428A (ja) | 2010-01-26 | 2011-08-11 | Nec Corp | ストレージシステム |
JP2016099659A (ja) | 2014-11-18 | 2016-05-30 | 株式会社エヌ・ティ・ティ・データ | 管理装置、ストレージシステム、ストレージ管理方法、及びプログラム |
WO2017149581A1 (ja) | 2016-02-29 | 2017-09-08 | 株式会社日立製作所 | 仮想ストレージシステム |
WO2018188618A1 (zh) | 2017-04-14 | 2018-10-18 | 紫光华山信息技术有限公司 | 固态硬盘访问 |
JP2019036163A (ja) | 2017-08-17 | 2019-03-07 | 富士通株式会社 | ストレージ制御装置、および制御プログラム |
Non-Patent Citations (2)
Title |
---|
LI,Peng et al,ProCode: Aproactive Erasure Coding Scheme for Cloud Storage Systems,2016 IEEE 35thSymposium on Reliable Distributed Systems,米国,IEEE,2016年,pp. 219-228 |
NUNOME, Atsushi et al,A Data Migration Scheme Considering Node Reliability for an Autonomous Distributed Storage System,2018 5th International Conference on ComputationalScience/Intelligence and Applied Informatics,米国,IEEE,2018年,pp. 160-165 |
Also Published As
Publication number | Publication date |
---|---|
JP2021105964A (ja) | 2021-07-26 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US12067256B2 (en) | Storage space optimization in a system with varying data redundancy schemes | |
WO2017119091A1 (ja) | 分散型ストレージシステム、データ格納方法、およびソフトウェアプログラム | |
JP5637552B2 (ja) | ストレージシステム | |
US7054960B1 (en) | System and method for identifying block-level write operations to be transferred to a secondary site during replication | |
CN106687911B (zh) | 不损害数据完整性的在线数据移动 | |
JP2019101703A (ja) | 記憶システム及び制御ソフトウェア配置方法 | |
CN102349047B (zh) | 数据插入系统、数据控制装置、存储装置、数据插入方法、数据控制方法和数据存储方法 | |
AU2015360953A1 (en) | Dataset replication in a cloud computing environment | |
JP2010079886A (ja) | 拡張可能な2次ストレージシステムと方法 | |
CN109313538A (zh) | 内联去重 | |
US10628298B1 (en) | Resumable garbage collection | |
US20200304373A1 (en) | Computer system and data management method | |
JP6337982B1 (ja) | ストレージシステム | |
JP6269120B2 (ja) | ストレージシステム | |
JP7491545B2 (ja) | 情報処理方法 | |
JP5891842B2 (ja) | ストレージシステム | |
CN111400098A (zh) | 一种副本管理方法、装置、电子设备及存储介质 | |
JP5688676B2 (ja) | ストレージ装置及びストレージ装置の記憶資源の使用効率向上方法 | |
JP2005208697A (ja) | デフラグ方法 | |
CN118466862B (zh) | 一种数据存储方法、产品、装置以及介质 | |
KR102599116B1 (ko) | 데이터 중복 제거 방법 및 데이터 중복 제거를 수행하는 스토리지 장치 | |
JP7456601B2 (ja) | 情報処理方法 | |
KR20090124829A (ko) | 분산 파일 시스템 및 복제본 기반 장애 처리 방법 | |
JP6707951B2 (ja) | 情報処理装置、情報処理方法、およびプログラム | |
JP6343952B2 (ja) | ストレージシステム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20221102 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20230814 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230822 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20231012 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20231219 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20240306 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20240315 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20240416 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20240509 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7491545 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |