JP7376894B2 - データ管理システム、データ管理装置、自発移動条件判定装置、自発移動先選択装置、および、データ管理方法、並びに、プログラム - Google Patents
データ管理システム、データ管理装置、自発移動条件判定装置、自発移動先選択装置、および、データ管理方法、並びに、プログラム Download PDFInfo
- Publication number
- JP7376894B2 JP7376894B2 JP2020013204A JP2020013204A JP7376894B2 JP 7376894 B2 JP7376894 B2 JP 7376894B2 JP 2020013204 A JP2020013204 A JP 2020013204A JP 2020013204 A JP2020013204 A JP 2020013204A JP 7376894 B2 JP7376894 B2 JP 7376894B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- node
- data management
- accesses
- storage
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000013523 data management Methods 0.000 title claims description 236
- 230000021542 voluntary musculoskeletal movement Effects 0.000 title claims description 58
- 238000000034 method Methods 0.000 title claims description 46
- 238000003860 storage Methods 0.000 claims description 348
- 230000002269 spontaneous effect Effects 0.000 claims description 191
- 238000011156 evaluation Methods 0.000 claims description 155
- 230000005012 migration Effects 0.000 claims description 116
- 238000013508 migration Methods 0.000 claims description 116
- 238000012545 processing Methods 0.000 claims description 80
- 238000004891 communication Methods 0.000 claims description 36
- 238000009826 distribution Methods 0.000 claims description 15
- 238000012544 monitoring process Methods 0.000 claims description 14
- 238000004364 calculation method Methods 0.000 claims description 12
- 230000002747 voluntary effect Effects 0.000 claims description 8
- 230000008569 process Effects 0.000 description 33
- 230000006870 function Effects 0.000 description 25
- 238000012546 transfer Methods 0.000 description 21
- 238000013500 data storage Methods 0.000 description 18
- 238000010586 diagram Methods 0.000 description 15
- 230000000694 effects Effects 0.000 description 9
- 239000008186 active pharmaceutical agent Substances 0.000 description 8
- 239000013256 coordination polymer Substances 0.000 description 8
- 230000004044 response Effects 0.000 description 7
- 230000001965 increasing effect Effects 0.000 description 6
- 235000008694 Humulus lupulus Nutrition 0.000 description 4
- 238000005516 engineering process Methods 0.000 description 4
- 238000007726 management method Methods 0.000 description 4
- 230000014759 maintenance of location Effects 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 238000004904 shortening Methods 0.000 description 3
- 230000008859 change Effects 0.000 description 2
- 230000001186 cumulative effect Effects 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000009467 reduction Effects 0.000 description 2
- 230000001960 triggered effect Effects 0.000 description 2
- 230000002776 aggregation Effects 0.000 description 1
- 238000004220 aggregation Methods 0.000 description 1
- 230000005540 biological transmission Effects 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 239000012141 concentrate Substances 0.000 description 1
- 238000007405 data analysis Methods 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 238000012217 deletion Methods 0.000 description 1
- 230000037430 deletion Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000002360 preparation method Methods 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
Images
Description
また、上記した従来技術では、ストレージデバイスが一杯の場合、ストレージデバイスからデータを削除することしかできず、例えば古くなっても削除されては困るデータがある場合などに不都合が生じる。
今日、IoT(Internet of Things)が急速に拡大を続けており、多種多様かつ膨大な数のデバイスがネットワークに接続されつつある。そして、これらのデバイスが生成する膨大なデータの活用が期待されている。例えば、街頭や店舗には既に多くの監視カメラが設置されており、日々の映像を記録している。また、工場等の稼働データを、センサデバイス等を利用して収集している。これらの大量のデータは、ビックデータとして様々なサービスやデータ解析に利用される。
そして、ホットストレージとコールドストレージとを備えた各ノードが接続されたストレージネットワークにおいて、適切なノードを選択してデータを配置するようにする。ここで、適切なノードとは、例えば、遅延の程度等で表されるQoS(Quality of Service)が良好な場所(遅延が少ない場所)や、データの取得要求を行うユーザ端末と物理的に近いなどのデータ転送エネルギーが小さい場所のノードのことをいう。
(制御1)有用性が低いデータを、ノード内のホットストレージからコールドストレージに移動する(以下、「アーカイブ」と称する。)。
(制御2)有用性の高いデータを、他ノードの適切なホットストレージに移動する。
まず、自発移動について説明する。
本実施形態における自発移動とは、あるデータに関して、現状のデータ保持ノードより、データを取得要求するユーザ端末(Subscriber)にとって、より最適な場所にノードが存在するとき、通信コストの低減等のために、当該データを自発的に当該ノード(後記する「最適ノード」)に移動させる処理をいう。
上記の(制御2)の他ノードへの移動は、ホットストレージの容量が溢れたときに、保持するノードを変更して性能改善が可能なデータを移動させる処理である。この(制御2)は、容量溢れが生じたタイミングが契機となるが、本実施形態に係るデータ管理システム1000(図3)の自発移動では、より早期に性能改善を図るために、容量溢れが生じたタイミングに限らず、対象となるデータが、所定の条件(後記する「自発移動条件」)を満たした場合に、最適ノードを選択して移動させる。
有用性評価値は、そのデータについて、現時点までのアクセス数に基づき予測される将来のアクセス数が、大きいものほど高い値となる評価値である。有用性評価値が高いほど、そのデータが将来、ユーザ端末からアクセスされる可能性が高い、つまり、そのデータが有用性の高いデータであることを示す。
また、アクセス偏在性は、ノードが保持するデータに対するアクセス元の隣接ノードからのアクセス数の偏りを示す。つまり、あるデータについて、隣接する複数のノードのうち、1つのノードのアクセス偏在性が高いほど、単一方向からそのデータがアクセスされていることを示し、現状ノード(現時点でそのデータを保持するノード)が需要地点ノードである確率が低いことを示している。なお、需要地点ノードとは、自身が収容するユーザ端末(Subscriber)からデータの取得要求を受け付けるノードである。仮に、需要地点ノードに目的とするデータが保持されていれば、他のノードにデータを要求して取得する場合に比べ、データ転送エネルギーが少なく済むとともに、遅延等が減りQoSが良好となる。
図2においては、後記する最適ノード選択処理により、需要地点ノードN50により近いノードN30を最適ノードとして選択し、ノードN10に記憶されていたデータ「A」を、ノードN30に自発移動させた例を示している。
この最適ノード選択処理の詳細については、図11を参照して後記する。
次に、強制移動について説明する。
あるノードに新しいデータを記憶させようとしてデータ溢れが生じた際に、上記の(制御1)のように、そのノードに記憶されているデータのうち、有用性(有用性評価値)の低いデータをアーカイブ操作し、コールドストレージに記憶することができる。ただし、他ノードが、さらに有用性評価値の低いデータを保持していた場合、自ノードのホットストレージに、より有用性評価値の高いデータを保持しておくためには、容量溢れが生じたノードの有用性評価値が最小のデータをアーカイブする代わりに、他ノードにおいて有用性評価値がさらに低い最小のデータをアーカイブすべきである。
つまり、強制移動では、あるノードのホットストレージ容量が溢れたとき、そのノードの有用性評価値が最小のデータが、ストレージネットワークを構成するノード(後記する移動可能ノード)全体で有用性評価値が最小でない場合には、ノード(移動可能ノード)全体のうち、有用性評価値が最小のデータを持つノードを強制移動先ノードとして選択する。そして、選択した強制移動先ノードに、ホットストレージ容量が溢れたノードの有用性評価値が最小のデータを移動する。
この強制移動の詳細については、後記する。
つぎに、リアルタイム要求に応じたデータ生成間隔調整について説明する。
データを生成(収集)するデバイス(Publisher)は、所定の時間間隔ごとに、所定の時間内でリアルタイムに生成したデータの集合を、1つのデータ群として、ノードに送信している。このデータ群(広い意味での「データ」と称する。)を生成するデバイスに関して、リアルタイムな要求度(例えば、データ生成後、所定時間内のアクセス数に比例した値)が高い場合には、データ生成間隔を短くすることで、そのデバイスのAoI(Age of Information)を低減することができる。なお、AoIは、情報の鮮度(提供された最新のデータに関する、生成時刻からの経過時間を示す)を意味する。
また、このデータ(データ群)に関して、一定時間内のアクセス数が多いデータと少ないデータとが存在する。この記憶されるデータについて、AoIを考慮しないと、必要以上にストレージを無駄に消費してしまう可能性がある。例えば、アクセス数の少ないデータ(データ群)を生成するデバイスにおいて、AoIを大きくすると、データ容量の大きいデータを1つのデータとして生成し、ノードに送信してホットストレージに記憶することとなる。これに対し、例えば、あるデバイスの60分周期でのデータ群(データ)の生成を、10分周期での生成とすれば、1つのデータのデータ容量を小さくできる。よって、そのデータに関する移動のための転送エネルギー(ネットワーク負荷)を低減することができる。これにより、データ移動の利用から除外されるリンクを減らし、本実施形態におけるデータ配置先(最適ノード)の候補となる移動可能ノード(詳細は後記)を増やすことができる。
よって、リアルタイム要求度が高いデバイスの最新データは、AoIをより小さく、つまり、データ生成間隔を短くするように調整する。一方、リアルタイム要求度の低いデバイスの最新データは、AoIをより大きく、つまり、データ生成間隔を長くするように調整する。
図3は、本実施形態に係るデータ管理システム1000を含むストレージネットワークの全体構成を示す図である。
図3に示すように、データ管理システム1000は、データ管理装置1と、上記した「自発移動」を実現するために用いられる装置群である、自発移動条件判定装置21、自発移動先選択装置22およびアーカイブ指示装置23と、上記した「強制移動」を実現するために用いられる装置群である、強制移動対象データ選択装置31および強制移動先選択装置32と、上記した「データ生成間隔調整」を実現するために用いられる生成間隔調整装置40とを備える。
データ管理装置1は、ストレージネットワークにおいてストレージデバイスとして機能する、上記した各ノードであり、ホットストレージで構成される有限容量蓄積部100と、コールドストレージで構成される無限容量蓄積部105とを備える。そして、複数の上記データ管理システム1000がネットワークを介して接続され、全体としてストレージネットワークを構築する。
強制移動に関する装置群である、強制移動対象データ選択装置31および強制移動先選択装置32は、1つのデータ管理装置1ごとに設けられ、これらの装置間および当該データ管理装置1に通信接続される。
また、データ生成間隔調整に関する装置である生成間隔調整装置40は、1つのデータ管理装置1ごとに設けられ、当該データ管理装置1およびデータを生成するデバイス(Publisher)に通信接続される。
次に、図3等を参照して、データ管理装置1、および、「自発移動」「強制移動」「データ生成間隔調整」に関する各装置の詳細について説明する。
データ管理装置1は、通信接続されたデバイス(Publisher)Pからのデータを、ホットストレージ(有限容量蓄積部100)に記憶するとともに、必要に応じて、ホットストレージ(有限容量蓄積部100)からコールドストレージ(無限容量蓄積部105)へデータを移動するアーカイブを実行する。また、データ管理装置1は、上記した、「自発移動」「強制移動」「リアルタイム要求に応じたデータ生成間隔調整」を上記した各装置と連携して行うことにより、より適切なデータ配置制御を行う。
このデータ管理装置1は、制御部10と、入出力部11と、記憶部12とを備える。
この記憶部12(記憶手段)は、上記したホットストレージで構成される有限容量蓄積部100と、上記したコールドストレージで構成される無限容量蓄積部105を含んで構成される。
また、記憶部12には、さらに、自身が記憶するデータに対するアクセス元(他のデータ管理装置1やユーザ端末)とそのアクセス数や、他のデータ管理装置1の記憶容量に関する情報(ホットストレージの空き容量等)、他のデータ管理装置1との接続状況(例えば、リンクの使用量)の情報(以下、これらの情報をまとめて「状態情報」と称する。)等が保存される。なお、上記したストレージネットワークの各ノードによるネットワーク構成において、リンクが用いられている場合、リンクの使用状況(状態情報)として、各リンクの使用量の合計や使用量の平均といった統計値を用いる。
そして、この記憶部12には、制御部10の各機能部を実行させるためのプログラムや、制御部10の処理に必要な情報(所定の閾値等)が記憶される。
なお、状態監視部110において、ストレージネットワーク内のどのデータ管理装置1から状態情報等を取得できるかは、予め設定される。例えば、ストレージネットワークが線形接続で構成される場合において、隣接するNホップ(Nは正の整数)までのデータ管理装置1から状態情報等を取得できるものとして設定される(詳細は後記)。そして、状態監視部110は、隣接する各データ管理装置1の有限容量蓄積部100(ホットストレージ)に記憶されるデータのうち、有効性評価値が最小のデータの(最新の)情報を取得し記憶しておく。
また、状態監視部110は、自身が有限容量蓄積部100および無限容量蓄積部105に格納するデータについても同様にアクセス元およびアクセス数の情報を計測し、記憶部12に記憶しておく。
また、取得要求処理部120は、その取得要求(リクエスト)が自身の記憶部12に記憶したデータではなく、他のデータ管理装置1が記憶するものである場合には、当該他のデータ管理装置1に向けて、取得要求を転送する。
取得要求処理部120は、取得要求を受け付けると、そのデータのアクセス元および取得要求があった回数(アクセス数「A」)を、状態監視部110に出力することにより記憶部12に記憶させる。
そして、自発移動処理部130は、算出した有用性評価値とアクセス偏在性とを自発移動条件判定装置21に送信する。そして、自発移動処理部130は、自発移動条件判定装置21が、有用性評価値とアクセス偏在性とに基づく所定の自発移動条件を満たすと判定した場合に、その対象データを、自発移動の対象となるデータ(以下、「自発移動対象データ」と称する。)であるとする。
また、自発移動処理部130は、自発移動対象データについて、移動先となる最適ノードを選択した結果を自発移動先選択装置22から受け取り、そのデータ管理装置1に移動(自発移動)させる。
以下、自発移動処理部130の機能と、自発移動に関する各装置が備える機能の詳細を、図4等を参照して説明する。
図4に示すように、自発移動処理部130は、有用性評価部131、アクセス偏在性算出部132、自発移動実行部133およびアーカイブ実行部134を含んで構成される。
具体的には、有用性評価部131は、例えば、十分に時間が経過するとアクセスが無くなるという前提のもと、時間軸に対する累積アクセス数をある値に収束する関数で近似し、その収束値と時刻tにおける累積アクセス数の差を有用性評価値とする。
有用性評価部131は、各データ(対象データ)について有用性評価値を算出すると、その情報を、自発移動条件判定装置21に送信する。
図5は、本実施形態におけるアクセス偏在性を説明するための図である。
ここでは、ストレージネットワークのトポロジが、ノードN1 ,N2 ,N3 ,…,N7の線形接続であるものとして説明する。前提として、各ノード(データ管理装置1)は、近接したノードやリンクの状態情報を収集する。また、図5に示すノードN4が保持するデータDxが、時刻tまでに計M回アクセスされたものとする。その内訳は、ノードNiが収容するユーザ端末からAi t回(Σ7 i=1Ai t = M)である。ここで、「Ai t」回は、時刻tにおけるノードiでのアクセス数である。ただし、ノードN4では2ホップより先は状態情報等を取得できないものとし、データDxに対して、ノードN2より先からは(A1 t+A2 t)回、ノードN6より先からは(A6 t+A7 t)回、アクセスがあったとする情報をノードN4が取得する。
max(Σ3 i=1Ai t , A4 t , Σ7 i=5Ai t)= Σ3 i=1Ai t
のとき、データDxはノードN3の方向から、より多くのアクセスがある。このため、アクセス偏在性算出部132は、
Σ3 i=1Ai t/M
を、アクセス偏在性とする。
アクセス偏在性算出部132は、各データ(対象データ)についてアクセス偏在性を算出すると、その情報を、自発移動条件判定装置21に送信する。
自発移動条件判定装置21は、そのデータを、自発移動対象データであると判定した旨の情報を自発移動先選択装置22に送信する。
この最適ノード選択処理は、以下に示す所定手順で実行される。
なお、ここでは図5で示すように、ノードN4が保持するデータDxが、自発移動対象データであるものとして説明する。
よって、(手順1)では、例えば、ノードN4からみて、アクセス偏在性の高い方向がノードN3側である場合、候補ノードからノードN5, N6が除かれ、ノードN2, N3, N4に候補ノードが絞り込まれる。
これにより、ユーザ端末がデータにアクセスする際の通信コストが増加する位置にある候補ノードが除外される。つまり、通信コストが削減される位置にある候補ノードに絞り込まれる。
例えば、各リンクに予め設定されている上限使用量に対して、時刻tにおけるリンク使用量とデータDxのサイズの和が小さい場合、当該リンクをデータ移動に用いることができると判断する。
具体的には、図5に示す、ノードN4が状態情報を取得可能なリンクのうち、リンクL23のみが、上記の和の値が上限使用量を超えて条件を満たさない場合に、候補ノード(ノードN2, N3, N4)のうち、リンクL23を移動時の通信経路に含まないノードN3, N4が移動可能ノードとして選択される。
例えば、データDxの有用性評価値がSxであり、ノードN3, N4の保持するデータの有用性評価値の最小値がそれぞれS3 min, S4 min(S3 min, S4 min < Sx)である場合、移動可能ノードのうち、保持可能ノードとしてノードN3, N4が選択される。
なお、データDxの有効性評価値SxがそのデータDxを保持するノード(ノードN4)における最小値であり、移動可能ノードの保持するデータの中でも最小値の場合、つまり、Sx=S4 min <S3 minである場合には、自発移動先選択装置22は、その旨の情報を、アーカイブ指示装置23に送信する。そして、アーカイブ指示装置23が、そのデータDxを保持するノード(ノードN4)において、当該データDxをアーカイブさせる指示情報を、自発移動処理部130(アーカイブ実行部134)に送信する。アーカイブ実行部134は、ホットストレージからコールドストレージへ移動するアーカイブを、そのデータDxについて実行する。
例えば、簡易的なモデルとして、転送エネルギーの大きさは、データサイズと通信ホップ数に比例する値として計算する。具体的には、図5に示す例において、データDxを保持可能ノードであるノードN3に移動する場合、移動のための転送エネルギーは、移動通信ホップ数が「1」であり、データDxのサイズをDSxとしたとき、C×DSx×1(Cは比例定数)となる。
[ノードN2より先]
ノードN2から先のノードが収容するユーザ端末からは、今後、Sx×(A1 t+A2 t)/M(回)のアクセスが予想され、ノードN3にデータDxを移動することで、1ホップ近づくため、C×DSx×1×(A1 t+A2 t)/Mの削減効果がある。
[ノードN3]
ノードN3が収容するユーザ端末からは、今後、Sx×A3 t/M(回)のアクセスが予想され、ノードN3にデータDxを移動することで、1ホップ近づくため、C×DSx×1×A3 t/Mの削減効果がある。
[ノードN4]
ノードN4が収容するユーザ端末からは、今後、Sx×A4 t/M(回)のアクセスが予想され、ノードN3にデータDxを移動することで、1ホップ遠ざかるため、C×DSx×1×A4 t/Mの増加効果がある。
[ノードN5]
ノードN5が収容するユーザ端末からは、今後、Sx×A5 t/M(回)のアクセスが予想され、ノードN3にデータDxを移動することで、1ホップ遠ざかるため、C×DSx×1×A5 t/Mの増加効果がある。
[ノードN6より先]
ノードN6から先のノードが収容するユーザ端末からは、今後、Sx×(A6 t+A7 t)/M(回)のアクセスが予想され、ノードN3にデータDxを移動することで、1ホップ遠ざかるため、C×DSx×1×(A6 t+A7 t)/Mの増加効果がある。
そして、自発移動先選択装置22は、(手順4)において、移動のための転送エネルギーと、ユーザ端末によるデータ取得の転送エネルギーとの和を、各保持可能ノード(ここでは、ノードN3, N4)について求め、和が最小となるノードを最適ノード(自発移動先ノード)として選択する。
また、自発移動先選択装置22は、上記した(手順1)~(手順4)のすべてを実行する場合だけでなく、これらの手順のうちのいずれか1つまたは組み合わせを実行するようにしてもよい。
自発移動先選択装置22は、選択した最適ノード(自発移動先ノード:例えば、ノードN3)の情報を、自発移動処理部130(自発移動実行部133)に送信する。
そして、アーカイブ実行部134は、上記したように、処理対象であるデータの有効性評価値が、上記した移動可能ノードが保持するすべてのデータの中で最小値であると自発移動先選択装置22が判定した場合に、アーカイブ指示装置23からの指示情報を受け取って、ホットストレージ(有限容量蓄積部100)からコールドストレージ(無限容量蓄積部105)へ移動するアーカイブを、そのデータについて実行する。
一方、データ蓄積部140は、自身の有限容量蓄積部100(ホットストレージ)に空き容量がない場合には、状態情報を取得可能な隣接するいずれかのデータ管理装置1の有限容量蓄積部100(ホットストレージ)に、当該データを格納できる空き容量があるか否かを、例えば、状態監視部110が取得した情報に基づき判定し、空き容量があれば、そのデータ管理装置1に当該データを転送する。
そして、データ蓄積部140は、状態情報が取得可能な全てのデータ管理装置1の有限容量蓄積部100(ホットストレージ)に空き容量がなければ、その旨の情報(受信したデータの情報)を強制移動対象データ選択装置31に送信する。
なお、強制移動対象データは、強制移動対象データ選択装置31が、自身のデータ管理装置1の有限容量蓄積部100(ホットストレージ)に記憶されたデータのうちの有用性評価値が最小のデータを強制移動対象データとして選択したデータである。また、強制移動先ノードは、強制移動先選択装置32が、有用性評価値が最小のデータを持つノード(データ管理装置1)を強制移動先ノードとして選択したノードである。
以下、強制移動処理部150の機能と、強制移動に関する装置群の詳細を、図6等を参照して説明する。
図6に示すように、強制移動処理部150は、アーカイブ評価部151、強制移動評価部152、処理決定部153、アーカイブ実行部154および強制移動実行部155を含んで構成される。
有用性評価値が最小のデータ(ここでは、データD4 min)を、強制移動対象データとして選択するのは、有用性評価値が低いほど、今後のアクセス数が少なく、そのノード(データ管理装置1)から移動させても影響が少ないからである。
なお、強制移動対象データ選択装置31は、自身のデータ管理装置1の有限容量蓄積部100(ホットストレージ)に記憶する各データについて、上記した自発移動処理部130内の有用性評価部131(図4)と同様に、今後(現時点から将来における)アクセス数の予測値が大きいものほど高い値となる評価値として有用性評価値を算出する。
強制移動対象データ選択装置31は、強制移動対象データを選択すると、その強制移動対象データの情報を、強制移動処理部150(アーカイブ評価部151)と強制移動先選択装置32とに送信する。
このアーカイブ評価値は、アーカイブ後のリアルタイムにデータ取得ができない経済的損失の総量(所定の損失)を示す。ここで、アーカイブされたデータに対するアクセスがあったとき、リアルタイムにデータを取得できない補償として経済的損失CPが発生するものとする。
例えば、アーカイブ評価部151は、強制移動対象データ(データD4 min)をアーカイブする際の有用性評価値がS4 minであるとき、アーカイブ評価値をS4 min×CPとする(図7の符号a)。
なお移動可能ノードは、自発移動先選択装置22での説明と同様であり、そのノードが状態情報を取得可能なノード(候補ノード)のうち、当該候補ノードまでのリンク使用量と強制移動対象データ(データD4 min)のサイズに基づき、各リンクの上限使用量で当該データが移動不可となるリンクを使用するノードを除いたノードである。
ここで、ノードN4の強制移動対象データ(データD4 min)についての移動可能ノードがノードN3, N4, N5, N6であるとし、有用性評価値が最小のデータ(min(Si min|3≦i≦6)=S5 minとする。)を保持するノードN5が、強制移動先ノードとして選択される。
強制移動先選択装置32は、強制移動先ノードを選択すると、その強制移動先ノードの情報を、強制移動処理部150(強制移動評価部152)に送信する。
具体的には、強制移動対象データ(データD4 min)のデータ移動で生じる転送エネルギーをTC(=C×DS4 min×1)とする(図7の符号b)。なお、Cは比例定数である。
また、ノードN5が強制移動対象データ(データD4 min)を受信時に容量溢れが生じ、データD5 minがアーカイブされるとし、そのアーカイブ評価値がS5 min×CPとなる(図7の符号c)。
これにより、強制移動評価部152は、TC+S5 min×CPを、強制移動評価値として算出する。
例えば、処理決定部153は、S4 min×CP < TC+S5 min×CPであれば、データD4 minを、自身の無限容量蓄積部105(コールドストレージ)にアーカイブすると決定する。
一方、処理決定部153は、S4 min×CP > TC+S5 min×CPであれば、データD4 minを、強制移動先ノード(ノードN5)に強制移動すると決定する。
生成間隔調整装置40は、リアルタイム要求度に応じて、データを生成するデバイスについて、データ生成間隔を長短(調整)する指示情報を生成する。そして、生成間隔調整装置40は、そのデータを生成するデバイスに対して、生成した指示情報を送信することにより、データ生成間隔をデバイス単位で調整する。
以上説明した本実施形態に係るデータ管理システム1000では、図3に示すように、データ管理装置1が、制御部10内に自発移動処理部130と強制移動処理部150との両方を備えるとともに、自発移動に関する装置群(自発移動条件判定装置21、自発移動先選択装置22、アーカイブ指示装置23)および強制移動に関する装置群(強制移動対象データ選択装置31、強制移動先選択装置32)を備えるものとして説明した。
しかしながら、本発明の実施形態は図3に示すデータ管理システム1000に限定されない。例えば、図8のデータ管理システム1000Aで示すように、図3で示した強制移動に関連する機能(強制移動処理部150および強制移動に関する装置群)を備えない構成にしてもよい。データ管理システム1000Aのデータ管理装置1Aは、有限容量蓄積部100(ホットストレージ)、無限容量蓄積部105(コールドストレージ)、自発移動処理部130、自発移動に関する装置群等を備えることにより、自身の有限容量蓄積部100(ホットストレージ)の記憶容量が不足する場合であっても、データ削除せずに記憶しておくことができる。さらに、自発移動処理部130が、有用性評価値およびアクセス偏在性に基づく所定の自発移動条件を満たすデータ(自発移動対象データ)を、最適ノードに移動しておくことができる。よって、ユーザ端末からアクセスされる可能性の高い有用なデータを、より転送エネルギーの少ない最適なノード(データ管理装置1A)の有限容量蓄積部100(ホットストレージ)に記憶させておくことができる。
次にデータ管理システム1000(図3参照)が実行する処理について説明する。ここでは、自発移動、強制移動、生成間隔調整に関する各処理内容について具体的に説明する。
なお、図8で示すデータ管理システム1000A、および、図9で示すデータ管理システム1000Bにおいても同様の処理を行う。
まず、データ管理システム1000の自発移動によるデータ配置制御について説明する。
なお、ここでは、データ管理装置1の状態監視部110(図3)が、状態情報を取得可能な隣接する他のデータ管理装置1から、データ毎のアクセス元およびその処理回数(アクセス数)の情報や、各リンク使用量等の状態情報を予め取得しているものとする。
また、自発移動処理部130(および自発移動に関する装置群)は、例えば、取得要求処理部120が、データの取得要求(リクエスト)を受信し、記憶部12内の有限容量蓄積部100(ホットストレージ)に記憶されているデータを送信したことを契機として、そのデータについて、以下に示す自発移動によるデータ配置制御を実行してもよい。また、自発移動処理部130は、記憶部12内の有限容量蓄積部100(ホットストレージ)に記憶されている各データについて、所定の時間間隔で、以下に示す自発移動によるデータ配置処理を実行してもよい。その際、自発移動処理部130は、例えばアクセス数の多いデータから順に、自発移動によるデータ配置処理を実行するようにしてもよい。
まず、データ管理装置1(自発移動処理部130)の有用性評価部131(図4参照)は、対象となるデータ(対象データ)の今後のアクセス数の予測に基づく有用性評価値を算出する(ステップS10)。
そして、有用性評価部131は、算出した有用性評価値を、自発移動条件判定装置21に送信する。
アクセス偏在性算出部132は、算出したアクセス偏在性の情報を、自発移動条件判定装置21に送信する。
所定の自発移動条件は、例えば、有用性評価値が所定の閾値(所定の第1閾値)以上であり、かつ、アクセス偏在性が所定の確率(所定の第2閾値)以上であること、という条件である。
ここで、所定の自発移動条件を満たさなかった場合は(ステップS12→No)、処理を終了する。一方、所定の自発移動条件を満たす場合には(ステップS12→Yes)、自発移動条件判定装置21が、そのデータを、自発移動の対象となるデータ(自発移動対象データ)であるとし、自発移動先選択装置22にその情報を送信し、次のステップS13に進む。
図11は、本実施形態に係るデータ管理システム1000の最適ノード選択処理の流れを示すフローチャートである。
この最適ノード選択処理は、図10で示す自発移動によるデータ配置制御におけるステップS13において、自発移動先選択装置22が実行する処理である。
このようにして、自発移動先選択装置22は、自発移動対象データに関する最適ノードを選択することができる。
次に、データ管理システム1000の強制移動によるデータ配置制御について説明する。
なお、ここでは、データ管理装置1の状態監視部110(図3)が、状態情報を取得可能な隣接する他のデータ管理装置1から、各データ管理装置1間のリンクの使用状況(リンク使用量)、各データ管理装置1の有限容量蓄積部100(ホットストレージ)の空き容量や有用性評価値が最小のデータ等の情報(状態情報)を取得しているものとする。
また、状態情報を取得可能な全てのデータ管理装置1の有限容量蓄積部(ホットストレージ)に空き容量がないものとする。
この強制移動処理部150および強制移動に関する装置群は、データ蓄積部140が新たなデータを受信したことを契機として処理を開始する。
まず、データ管理装置1のデータ蓄積部140は、新たなデータを受信すると、そのデータの容量を確認する。そして、データ蓄積部140は、自身の有限容量蓄積部100(ホットストレージ)に、新たなデータを格納できるだけの空き容量があるか否かを判定する(ステップS20)。
そして、データ蓄積部140は、空き容量があれば(ステップS20→Yes)、その新たなデータを、有限容量蓄積部100(ホットストレージ)に記憶する(ステップS21)。一方、空き容量がなければ(ステップS20→No)、データ蓄積部140は、その新たなデータの情報を、強制移動対象データ選択装置31に送信し、次のステップS22に進む。
強制移動対象データ選択装置31は、強制移動対象データを選択すると、その強制移動対象データの情報を、強制移動処理部150(アーカイブ評価部151)と強制移動先選択装置32とに送信する。
強制移動先選択装置32は、選択した強制移動先ノードの情報を、強制移動処理部150(強制移動評価部152)に送信する。
ここで、処理決定部153は、新たなデータを受信したノードのアーカイブ評価値の方が、強制移動評価値より小さければ、アーカイブ処理を実行すると決定する。一方、処理決定部153は、強制移動評価値の方が、新たなデータを受信したノードのアーカイブ評価値より小さければ、強制移動を実行すると決定する。
なお、処理決定部153は、新たなデータを受信したノードのアーカイブ評価値と、強制移動評価値とが同じであれば、予め決めておいた方の処理を実行してもよいし、ランダムにどちらかの処理を決定してもよい。
次に、データ管理システム1000の生成間隔調整装置40(図3)によるリアルタイム要求に応じたデータ生成間隔調整について説明する。
なお、ここで、記憶部12には、各データに対するアクセス数の情報が、状態監視部110を介して記憶されているものとする。
まず、データ管理装置1の取得要求処理部120が、自身のデータ管理装置1が収容するユーザ端末(図示省略)や他のデータ管理装置1から、データの取得要求(リクエスト)を受信し、記憶部12内の有限容量蓄積部100(ホットストレージ)または無限容量蓄積部105(コールドストレージ)に記憶されているデータを、応答情報として返信する(ステップS30)。
なお、生成間隔調整装置40は、データ管理装置1の取得要求処理部120を監視し、取得要求を受けたデータの情報を得てもよいし、取得要求処理部120がデータを返信した旨の情報を生成間隔調整装置40に送信するように設定しておくことにより、そのデータに関する情報を取得してもよい。
続いて、生成間隔調整装置40は、リアルタイム要求度が高いほど、データ生成間隔を短く調整する指示情報を生成し、そのデータを生成したデバイス(Publisher)に送信する(ステップS32)。
本実施形態に係るデータ管理装置1(1A,1B)や各装置(自発移動条件判定装置21、自発移動先選択装置22、アーカイブ指示装置23、強制移動対象データ選択装置31、強制移動先選択装置32、生成間隔調整装置40)は、例えば図14に示すような構成のコンピュータ900によって実現される。
図14は、本実施形態に係るデータ管理装置1(1A,1B)および各装置の機能を実現するコンピュータ900の一例を示すハードウェア構成図である。コンピュータ900は、CPU(Central Processing Unit)901、ROM(Read Only Memory)902、RAM903、HDD(Hard Disk Drive)904、入出力I/F(Interface)905、通信I/F906およびメディアI/F907を有する。
以下、本発明に係るデータ管理システム1000(1000A)等の効果について説明する。
本発明に係るデータ管理システムは、ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、ノードであるデータ管理装置1(1A)を含むデータ管理システム1000(1000A)であって、データ管理システム1000は、データを記憶するためのホットストレージおよびコールドストレージを有するデータ管理装置1、並びに、当該データ管理装置1を自ノードとし接続される、自発移動条件判定装置21、自発移動先選択装置22およびアーカイブ指示装置23を備えており、自発移動条件判定装置21は、ホットストレージに記憶されたデータが、当該データへのアクセスに関する所定の自発移動条件を満たす場合に、当該データを自発移動対象データと判定し、自発移動先選択装置22は、データにアクセスする際のユーザ端末の通信コストが削減される位置にある、自ノード以外の他ノードを、自発移動対象データを保持するノードからの移動先となるノードを示す自発移動先ノードとして選択し、アーカイブ指示装置23は、自ノードのホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報を、データ管理装置1に送信し、データ管理装置1は、自発移動対象データを自発移動先ノードに移動し、指示情報を受け取ると、自ノードのホットストレージに記憶された有用性評価値が最小のデータ、自ノードのコールドストレージに移動させることを特徴とする。
また、自発移動条件判定装置21は、アクセスに関する所定の自発移動条件を満たすデータを自発移動対象データとして選択する。自発移動先選択装置22は、ユーザ端末の通信コストが削減される位置にある自発移動先ノードを選択する。そして、データ管理装置1が、自発移動対象データを自発移動先ノードに移動させることができる。
よって、ユーザ端末からアクセスされる可能性の高い有用なデータを、ユーザ端末からの通信コストが少ないノードに移動させておくことができる。
また、データ管理装置1は、アーカイブ指示装置23からの指示情報を受け取り、自ノードのホットストレージに記憶された有用性評価値が最小のデータを、自ノードのコールドストレージに移動させることができる。よって、データ管理システム1000(1000A)によれば、ストレージデバイスの記憶容量が不足する場合であっても、データを削除せずに記憶しておくことができる。
また、データ管理装置1は、アーカイブ指示装置23からの指示情報を受け取り、自ノードのホットストレージに記憶された有用性評価値が最小のデータを、自ノードのコールドストレージに移動させることができる。よって、データ管理装置1(1A)は、ストレージデバイスの記憶容量が不足する場合であっても、データを削除せずに記憶しておくことができる。
自発移動条件判定装置21が判定するアクセスに関する所定の自発移動条件は、例えば、有用性評価値とアクセス偏在性の両方が所定の閾値よりも高い場合に、そのデータを自発移動対象データと判定することである。このような、アクセスに関する所定の自発移動条件によれば、将来アクセスされる可能性が高くて、そのデータを保持するノードが、取得要求を受け付けるノードを示す需要地点ノードである確率の低い場合に、自発移動対象データと判定されるため、ユーザ端末の通信コストの削減効果の高いデータを選択して移動させることができる。
例えば、図15のデータ管理装置1Cで示すように、図3で示したデータ管理システム1000における、自発移動に関する装置群(自発移動条件判定装置21、自発移動先選択装置22、アーカイブ指示装置23)、強制移動に関する装置群(強制移動対象データ選択装置31、強制移動先選択装置32)、および、生成間隔調整装置40の各機能を、データ管理装置1Cとして組み込み、1つの筐体の装置としてもよい。この場合、自発移動条件判定装置21、自発移動先選択装置22、アーカイブ指示装置23の各機能を、自発移動処理部130Cとして組み込む。強制移動対象データ選択装置31、強制移動先選択装置32の各機能を、強制移動処理部150Cとして組み込む。また、生成間隔調整装置40の機能を制御部10内に生成間隔調整部160として組み込む。
このようにしても、本実施形態に係るデータ管理システム1000と同様の作用効果を奏することができる。さらに、図15に示すデータ管理装置1Cにおいて、自発移動処理部130C、強制移動処理部150C、生成間隔調整部160のいずれかを備えない構成にすることもできる。
10 制御部
11 入出力部
12 記憶部(記憶手段)
21 自発移動条件判定装置
22 自発移動先選択装置
23 アーカイブ指示装置
31 強制移動対象データ選択装置
32 強制移動先選択装置
40 生成間隔調整装置
100 有限容量蓄積部(ホットストレージ)
105 無限容量蓄積部(コールドストレージ)
110 状態監視部
120 取得要求処理部
130 自発移動処理部
131 有用性評価部
132 アクセス偏在性算出部
133 自発移動実行部
134 アーカイブ実行部
140 データ蓄積部
150 強制移動処理部
151 アーカイブ評価部
152 強制移動評価部
153 処理決定部
154 アーカイブ実行部
155 強制移動実行部
1000,1000A,1000B データ管理システム
Claims (9)
- ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、前記ノードであるデータ管理装置を含むデータ管理システムであって、
前記データ管理システムは、前記データ管理装置、並びに、当該データ管理装置を自ノードとし接続される、自発移動条件判定装置、自発移動先選択装置およびアーカイブ指示装置を備えており、
前記データ管理装置は、
データを記録するためのホットストレージおよびコールドストレージを有する記憶手段と、
前記ホットストレージおよび前記コールドストレージに記録されるデータに対するアクセス数を含む状態情報を取得する状態監視手段と、
前記記憶手段に記憶されるデータについて、現時点までの前記アクセス数に基づき予測される将来のアクセス数が、大きいものほど高い値となる評価値である有用性評価値を算出するとともに、前記記憶手段に記憶されるデータについて、当該データを保持する前記自ノードが収容するユーザ端末からの自ノードへのアクセス数、当該自ノードに隣接する一方向の他ノードに線形接続されるノードからのアクセスを含む前記一方向の他ノードからのアクセス数、当該自ノードに隣接する前記一方向とは異なる他方向の他ノードに線形接続されるノードからのアクセスを含む前記他方向の他ノードからのアクセス数、を用いた当該データへのアクセス全体に対する各アクセス数の偏りのうち、最大のアクセス数の偏りをアクセス偏在性として算出する自発移動処理手段と、を備え、
前記自発移動条件判定装置は、前記ホットストレージに記憶された当該データについて、前記有用性評価値が所定の第1閾値以上であり、かつ、前記アクセス偏在性が所定の第2閾値以上であるという所定の自発移動条件を満たす場合に、当該データを自発移動対象データと判定する手段を備え、
前記自発移動先選択装置は、自ノードおよび他ノードの保持するデータの有用性評価値の最小値が前記自発移動対象データの有用性評価値より小さい場合に、そのより小さい有用性評価値であるデータを備えるノードを保持可能ノードとして選択し、前記保持可能ノードのうち、前記自発移動対象データと判定されたデータにアクセスする際のユーザ端末の通信コストが削減される位置にあるノードを、前記自発移動対象データを保持するノードからの移動先となるノードを示す自発移動先ノードとして選択する手段を備え、
前記アーカイブ指示装置は、自ノードのホットストレージに記憶されたデータのうち、前記有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報を、前記データ管理装置に送信する手段を備え、
前記データ管理装置は、
前記自発移動対象データを前記自発移動先ノードに移動し、
前記指示情報を受け取ると、自ノードのホットストレージに記憶された前記有用性評価値が最小のデータを、自ノードのコールドストレージに移動させること
を特徴とするデータ管理システム。 - ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、前記ノードであるデータ管理装置を含むデータ管理システムであって、
前記データ管理システムは、データを記憶するためのホットストレージおよびコールドストレージを有する前記データ管理装置、並びに、当該データ管理装置を自ノードとし接続される、自発移動条件判定装置、自発移動先選択装置およびアーカイブ指示装置を備えており、
前記自発移動条件判定装置は、前記ホットストレージに記憶されたデータが、当該データへのアクセスに関する所定の自発移動条件を満たす場合に、当該データを自発移動対象データと判定し、
前記自発移動先選択装置は、前記データにアクセスする際のユーザ端末の通信コストが削減される位置にある、自ノード以外の他ノードを、前記自発移動対象データを保持するノードからの移動先となるノードを示す自発移動先ノードとして選択し、
前記アーカイブ指示装置は、自ノードのホットストレージに記憶されたデータのうち、将来のアクセス数の予測が大きいほど高い値を示す有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報を、前記データ管理装置に送信し、
前記データ管理装置は、
前記自発移動対象データを前記自発移動先ノードに移動し、
前記指示情報を受け取ると、自ノードのホットストレージに記憶された前記有用性評価値が最小のデータを、自ノードのコールドストレージに移動させ、
前記ホットストレージに記憶されたデータの所定時間内のアクセス数に比例する値をリアルタイム要求度として算出し、前記リアルタイム要求度が高いほど、データ生成間隔を短く調整する指示情報を生成し、当該データを生成するデバイスに、当該指示情報を出力する生成間隔調整装置を、さらに備えること
を特徴とするデータ管理システム。 - ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、前記ノードであるデータ管理装置を含むデータ管理システムの前記データ管理装置であって、
前記データ管理システムは、前記データ管理装置、並びに、当該データ管理装置を自ノードとし接続される、自発移動条件判定装置、自発移動先選択装置およびアーカイブ指示装置を備えており、
前記データ管理装置は、
データを記憶するためのホットストレージおよびコールドストレージを有する記憶部と、
前記ホットストレージおよび前記コールドストレージに記録されるデータに対するアクセス数を含む状態情報を取得する状態監視部と、
前記記憶部に記憶されるデータについて、現時点までの前記アクセス数に基づき予測される将来のアクセス数が、大きいものほど高い値となる評価値である有用性評価値を算出する有用性評価部と、
前記記憶部に記憶されるデータについて、当該データを保持する前記自ノードが収容するユーザ端末からの自ノードへのアクセス数、当該自ノードに隣接する一方向の他ノードに線形接続されるノードからのアクセスを含む前記一方向の他ノードからのアクセス数、当該自ノードに隣接する前記一方向とは異なる他方向の他ノードに線形接続されるノードからのアクセスを含む前記他方向の他ノードからのアクセス数、を用いた当該データへのアクセス全体に対する各アクセス数の偏りのうち、最大のアクセス数の偏りをアクセス偏在性として算出するアクセス偏在性算出部と、
前記ホットストレージに記憶された当該データについて、前記有用性評価値および前記アクセス偏在性を用いた所定の自発移動条件を満たすと前記自発移動条件判定装置により判定されたデータである自発移動対象データを、前記データにアクセスする際のユーザ端末の通信コストが削減される位置にあり、前記自発移動対象データを保持するノードからの移動先のノードとして前記自発移動先選択装置により選択されたノードである自発移動先ノードに移動する自発移動実行部と、
自ノードのホットストレージに記憶されたデータのうち、前記有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報を前記アーカイブ指示装置から受け取り、自ノードのホットストレージに記憶された前記有用性評価値が最小のデータを、自ノードのコールドストレージに移動させるアーカイブ実行部と、を備えること
を特徴とするデータ管理装置。 - ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、前記ノードであるデータ管理装置を含むデータ管理システムの自発移動条件判定装置であって、
前記データ管理システムは、データを記憶するためのホットストレージおよびコールドストレージを有する前記データ管理装置および自発移動条件判定装置を備えており、
前記自発移動条件判定装置は、
前記ホットストレージに記憶されたデータについて、現時点までのアクセス数に基づき予測される将来のアクセス数が、大きいものほど高い値となる評価値である有用性評価値、および、前記ホットストレージに記憶されたデータについて、当該データを保持する前記データ管理装置である自ノードが収容するユーザ端末からの前記自ノードへのアクセス数、当該自ノードに隣接する一方向の他ノードに線形接続されるノードからのアクセスを含む前記一方向の他ノードからのアクセス数、当該自ノードに隣接する前記一方向とは異なる他方向の他ノードに線形接続されるノードからのアクセスを含む前記他方向の他ノードからのアクセス数、を用いた当該データへのアクセス全体に対する各アクセス数の偏りのうち、最大のアクセス数の偏りを示すアクセス偏在性を、前記データ管理装置から取得し、前記有用性評価値が所定の第1閾値以上であり、かつ、前記アクセス偏在性が所定の第2閾値以上であるという所定の自発移動条件を満たす場合に、当該データを自発移動対象データと判定する手段を備えること
を特徴とする自発移動条件判定装置。 - ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、前記ノードであるデータ管理装置を含むデータ管理システムの自発移動先選択装置であって、
前記データ管理システムは、データを記憶するためのホットストレージおよびコールドストレージを有する前記データ管理装置、並びに、当該データ管理装置を自ノードとし接続される、自発移動条件判定装置および自発移動先選択装置を備えており、
前記自発移動先選択装置は、
前記ホットストレージに記憶されたデータにおいて、当該データへのアクセスに関する所定の自発移動条件を満たすと前記自発移動条件判定装置により判定されたデータである自発移動対象データについて、前記データ管理装置の記憶部の前記ホットストレージに記憶されたデータの、現時点までのアクセス数に基づき予測される将来のアクセス数が、大きいものほど高い値となる評価値である有用性評価値を参照し、自ノードおよび他ノードの保持するデータの有用性評価値の最小値が前記自発移動対象データの有用性評価値より小さい場合に、そのより小さい有用性評価値であるデータを備えるノードを保持可能ノードとして選択する手段と、
前記保持可能ノードのうち、前記自発移動対象データと判定されたデータにアクセスする際のユーザ端末の通信コストが削減される位置にある前記ノードを、前記自発移動対象データを保持するノードからの移動先となるノードを示す自発移動先ノードとして選択する手段と、を備えること
を特徴とする自発移動先選択装置。 - ストレージデバイスとして機能するノードが複数で構成されるストレージネットワークにおける、前記ノードであるデータ管理装置を含むデータ管理システムのデータ管理方法であって、
前記データ管理システムは、前記データ管理装置、並びに、当該データ管理装置を自ノードとし接続される、自発移動条件判定装置、自発移動先選択装置およびアーカイブ指示装置を備えており、
前記データ管理装置は、
データを記録するためのホットストレージおよびコールドストレージを有する記憶部を有しており、
前記ホットストレージおよび前記コールドストレージに記録されるデータに対するアクセス数を含む状態情報を取得し、
前記記憶部に記憶されるデータについて、現時点までの前記アクセス数に基づき予測される将来のアクセス数が、大きいものほど高い値となる評価値である有用性評価値を算出するとともに、前記記憶部に記憶されるデータについて、当該データを保持する前記自ノードが収容するユーザ端末からの自ノードへのアクセス数、当該自ノードに隣接する一方向の他ノードに線形接続されるノードからのアクセスを含む前記一方向の他ノードからのアクセス数、当該自ノードに隣接する前記一方向とは異なる他方向の他ノードに線形接続されるノードからのアクセスを含む前記他方向の他ノードからのアクセス数、を用いた当該データへのアクセス全体に対する各アクセス数の偏りのうち、最大のアクセス数の偏りをアクセス偏在性として算出し、
前記自発移動条件判定装置は、前記ホットストレージに記憶された当該データについて、前記有用性評価値が所定の第1閾値以上であり、かつ、前記アクセス偏在性が所定の第2閾値以上であるという所定の自発移動条件を満たす場合に、当該データを自発移動対象データと判定し、
前記自発移動先選択装置は、自ノードおよび他ノードの保持するデータの有用性評価値の最小値が前記自発移動対象データの有用性評価値より小さい場合に、そのより小さい有用性評価値であるデータを備えるノードを保持可能ノードとして選択し、前記保持可能ノードのうち、前記自発移動対象データと判定されたデータにアクセスする際のユーザ端末の通信コストが削減される位置にあるノードを、前記自発移動対象データを保持するノードからの移動先となるノードを示す自発移動先ノードとして選択し、
前記アーカイブ指示装置は、自ノードのホットストレージに記憶されたデータのうち、前記有用性評価値が最小のデータを、自ノードのコールドストレージに移動させる指示情報を、前記データ管理装置に送信し、
前記データ管理装置は、
前記自発移動対象データを前記自発移動先ノードに移動し、
前記指示情報を受け取ると、自ノードのホットストレージに記憶された前記有用性評価値が最小のデータを、自ノードのコールドストレージに移動させること
を特徴とするデータ管理方法。 - コンピュータを、請求項3に記載のデータ管理装置として機能させるためのプログラム。
- コンピュータを、請求項4に記載の自発移動条件判定装置として機能させるためのプログラム。
- コンピュータを、請求項5に記載の自発移動先選択装置として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020013204A JP7376894B2 (ja) | 2020-01-30 | 2020-01-30 | データ管理システム、データ管理装置、自発移動条件判定装置、自発移動先選択装置、および、データ管理方法、並びに、プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2020013204A JP7376894B2 (ja) | 2020-01-30 | 2020-01-30 | データ管理システム、データ管理装置、自発移動条件判定装置、自発移動先選択装置、および、データ管理方法、並びに、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2021119437A JP2021119437A (ja) | 2021-08-12 |
JP7376894B2 true JP7376894B2 (ja) | 2023-11-09 |
Family
ID=77195479
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2020013204A Active JP7376894B2 (ja) | 2020-01-30 | 2020-01-30 | データ管理システム、データ管理装置、自発移動条件判定装置、自発移動先選択装置、および、データ管理方法、並びに、プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP7376894B2 (ja) |
Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000207370A (ja) | 1999-01-20 | 2000-07-28 | Matsushita Electric Ind Co Ltd | 分散ファイル管理装置及び分散ファイル管理システム |
JP2003271316A (ja) | 2002-03-14 | 2003-09-26 | Hitachi Ltd | ストレージシステム、その動作プログラム及びその運用方法、情報処理端末及びその動作プログラム、データ管理システム |
JP2005050007A (ja) | 2003-07-31 | 2005-02-24 | Hitachi Ltd | ストレージシステムおよびその利用方法 |
JP2006252247A (ja) | 2005-03-11 | 2006-09-21 | Hitachi Ltd | ストレージシステム及びデータ移動方法 |
JP2018005446A (ja) | 2016-06-30 | 2018-01-11 | 富士通株式会社 | 情報処理装置、ストレージ制御プログラム、及びストレージ制御方法 |
US20190034445A1 (en) | 2017-07-26 | 2019-01-31 | International Business Machines Corporation | Cognitive file and object management for distributed storage environments |
CN110139234A (zh) | 2019-05-07 | 2019-08-16 | 肇庆学院 | 一种基于结点分组的无线传感器网络休眠调度方法 |
Family Cites Families (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US8984027B1 (en) * | 2011-07-28 | 2015-03-17 | Symantec Corporation | Systems and methods for migrating files to tiered storage systems |
-
2020
- 2020-01-30 JP JP2020013204A patent/JP7376894B2/ja active Active
Patent Citations (7)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000207370A (ja) | 1999-01-20 | 2000-07-28 | Matsushita Electric Ind Co Ltd | 分散ファイル管理装置及び分散ファイル管理システム |
JP2003271316A (ja) | 2002-03-14 | 2003-09-26 | Hitachi Ltd | ストレージシステム、その動作プログラム及びその運用方法、情報処理端末及びその動作プログラム、データ管理システム |
JP2005050007A (ja) | 2003-07-31 | 2005-02-24 | Hitachi Ltd | ストレージシステムおよびその利用方法 |
JP2006252247A (ja) | 2005-03-11 | 2006-09-21 | Hitachi Ltd | ストレージシステム及びデータ移動方法 |
JP2018005446A (ja) | 2016-06-30 | 2018-01-11 | 富士通株式会社 | 情報処理装置、ストレージ制御プログラム、及びストレージ制御方法 |
US20190034445A1 (en) | 2017-07-26 | 2019-01-31 | International Business Machines Corporation | Cognitive file and object management for distributed storage environments |
CN110139234A (zh) | 2019-05-07 | 2019-08-16 | 肇庆学院 | 一种基于结点分组的无线传感器网络休眠调度方法 |
Non-Patent Citations (1)
Title |
---|
IRIE, Ryo et al.,A Novel Automated Tiered Storage Architecture for Achieving both Cost Saving and QoE,2018 IEEE 8th International Symposium on Cloud and Service Computing (SC2) [online],IEEE,2018年12月09日,pp.32-40,[検索日:2023.01.04], Internet<URL:https://ieeexplore.ieee.org/abstract/document/8567370> |
Also Published As
Publication number | Publication date |
---|---|
JP2021119437A (ja) | 2021-08-12 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
Zhong et al. | A deep reinforcement learning-based framework for content caching | |
US7644230B1 (en) | Dynamic load management of network memory | |
US9330004B2 (en) | Data processing method, cache node, collaboration controller, and system | |
US7051161B2 (en) | Memory admission control based on object size or request frequency | |
US8914501B2 (en) | Method, apparatus, and system for scheduling distributed buffer resources | |
JP2015072682A (ja) | 低遅延の2階層分散キャッシュ記憶システムの負荷平衡及び動的なスケーリングの方法及び装置 | |
US8539069B2 (en) | Distributed storage system, method thereof and computer readable medium storing distributed storage program | |
US20180217778A1 (en) | Data storage server with multi-memory migration | |
JP7176209B2 (ja) | 情報処理装置 | |
JP2005031987A (ja) | コンテンツ配信システムにおけるコンテンツ配置管理システム及びコンテンツ配置管理プログラム | |
CN111309650A (zh) | 缓存控制方法、装置、存储介质及设备 | |
US20090150536A1 (en) | Application layer congestion control | |
CN108900599B (zh) | 一种软件定义的内容中心网络装置及其聚类缓存决策方法 | |
US20030236885A1 (en) | Method for data distribution and data distribution system | |
US8751750B2 (en) | Cache device, data management method, program, and cache system | |
JP7376894B2 (ja) | データ管理システム、データ管理装置、自発移動条件判定装置、自発移動先選択装置、および、データ管理方法、並びに、プログラム | |
JP7445271B2 (ja) | データ管理装置およびプログラム | |
JP7174372B2 (ja) | 分散ストレージネットワークにおけるデータ管理方法、装置、プログラム | |
CN113573103B (zh) | 分布式移动网络视频缓存放置方法、系统及相关设备 | |
KR101690944B1 (ko) | 이종 컴퓨터 환경에서 부하 분산을 고려한 분산 캐시 관리 방법 및 장치 | |
US20150149726A1 (en) | Data distribution device and data distribution method | |
CN114124971B (zh) | 一种基于边缘缓存的cdn-p2p网络的内容副本放置方法 | |
CN116069529B (zh) | 一种动态缓存方法、装置、电子设备及计算机可读介质 | |
CN115051996B (zh) | 一种多接入边缘计算下基于本地视频效用值的视频缓存管理方法 | |
KR102541077B1 (ko) | 5g mec 기반 정보 중심 네트워크에서 컨텐츠 캐싱 방법 및 장치 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
RD01 | Notification of change of attorney |
Free format text: JAPANESE INTERMEDIATE CODE: A7426 Effective date: 20200207 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A821 Effective date: 20200207 |
|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20220216 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20221226 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230117 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230320 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20230620 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20230821 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20230919 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20231019 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 7376894 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |