JP5962269B2 - 評価装置,分散格納システム,評価方法及び評価プログラム - Google Patents

評価装置,分散格納システム,評価方法及び評価プログラム Download PDF

Info

Publication number
JP5962269B2
JP5962269B2 JP2012153589A JP2012153589A JP5962269B2 JP 5962269 B2 JP5962269 B2 JP 5962269B2 JP 2012153589 A JP2012153589 A JP 2012153589A JP 2012153589 A JP2012153589 A JP 2012153589A JP 5962269 B2 JP5962269 B2 JP 5962269B2
Authority
JP
Japan
Prior art keywords
value
evaluation
contents
count
accesses
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2012153589A
Other languages
English (en)
Other versions
JP2014016780A (ja
Inventor
純 加藤
純 加藤
年弘 小沢
年弘 小沢
宗則 前田
宗則 前田
雅寿 田村
雅寿 田村
達夫 熊野
達夫 熊野
健 飯澤
健 飯澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2012153589A priority Critical patent/JP5962269B2/ja
Priority to US13/902,845 priority patent/US20140012816A1/en
Publication of JP2014016780A publication Critical patent/JP2014016780A/ja
Application granted granted Critical
Publication of JP5962269B2 publication Critical patent/JP5962269B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23Updating
    • G06F16/2365Ensuring data consistency and integrity
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/27Replication, distribution or synchronisation of data between databases or within a distributed database system; Distributed database system architectures therefor

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • Computer Security & Cryptography (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Information Transfer Between Computers (AREA)

Description

本発明は、評価装置,分散格納システム,評価方法及び評価プログラムに関する。
例えば、ビッグデータを扱う分散ストレージシステムではデータスパイクという現象が知られている。
データスパイクとは、特定の人気のあるデータに極端にアクセスが集中することで、このデータスパイクが発生すると、人気データを持つサーバにのみアクセスが集中することになりそのサーバのレスポンス性能が低下してしまう。
サーバのレスポンス性能の低下は、人気のあるデータを見つけてその処理を負荷が少ない他のサーバに肩代わりさせることで解決することができるが、それにあたってデータの人気度をサーバ内部で把握する必要がある。
ここで、データの人気度Pは、データへのアクセス回数をC、データを持つサーバへの合計アクセス回数をNとすると、P=C/Nで求めることができる。ただし、N=Σiiである。しかしながら、人気度Pを誤差なく求めようとすると、データごとにアクセス回数を記録する必要があるのでメモリ消費量がデータの個数に比例して増加する。そのため、ビッグデータのような膨大な数のデータを扱う分散ストレージシステム上でこの手法を採用すると、メモリ消費量が膨大になってしまうという問題がある。
このような問題を解決するために、人気度を最大誤差εの範囲で推定するアルゴリズムがいくつか提案されている。これらのアルゴリズムは人気度の誤差を許容することで必要なメモリ使用量の削減を実現する。これにより、ビッグデータを扱う分散ストレージシステム上でもメモリ使用量を気にすることなく人気度を最大誤差εの範囲で推定することができる。
これらのアルゴリズムの中でも、特にSpace Savingアルゴリズムは高速・低メモリ・高精度であることが知られている。以下、Space Savingアルゴリズムの概略について説明する。
図6はSpace SavingアルゴリズムにおけるStream-Summaryデータ構造を例示する図、図7はそのカウント更新アルゴリズムを例示する図である。
Space Savingアルゴリズムは、図6に示すStream-Summaryデータ構造を、図7に示すアルゴリズムによって更新することで、データDに対する人気度を最大誤差εで推定する。
Stream-Summaryは、データ名及びカウントからなる要素(最大で1/ε個)と、それを管理するバケットとを備えるデータ構造である。各バケットはカウントが同じ要素をリスト構造で管理しており、バケットは管理している要素のカウント値で昇順にソートされたソート済みリスト(図示省略)によって管理される。
カウントはデータへのアクセスがあるたびにインクリメントされ、データDの推定人気度はデータDのカウントCとカウントの合計値Nを用いてC/Nとして表される(N=Σii)。
図8はSpace Savingアルゴリズムによる処理を説明するフローチャートである。
先ず、ステップA1において、所定の停止条件があるか否かを確認し、停止条件がある場合には(ステップA1のYESルート参照)、処理を終了する。停止条件がない場合には(ステップA1のNOルート参照)、次に、ステップA2において、データDへのアクセスがあったか否かを確認する。
データDへのアクセスがない場合には(ステップA2のNOルート参照)、ステップA1に戻る。
データDへのアクセスがあった場合には(ステップA2のYESルート参照)、ステップA3において、データDがStream-Summaryに要素として含まれているか否かを確認する。
データDがStream-Summaryに要素として含まれていた場合(ステップA3のYESルート参照)、ステップA5において、その要素のカウントをインクリメントする。又、このカウントのインクリメントにより、データDを管理するバケットが変更される際はデータDを管理するバケットの変更を行なう。そして、ステップA1に戻る。
データDがStream-Summaryに含まれていない場合には(ステップA3のNOルート参照)、ステップA4において、Stream-Summaryの要素数に空きがあるかを調べる。すなわち、Stream-Summaryの要素数が1/εよりも小さいか否かを確認する。要素数が1/εよりも小さい場合には(ステップA4のYESルート参照)、Stream-Summaryの最大要素数に達していないので、ステップA6において、データDをカウント=1としてStream-Summaryに追加する。その後、ステップA1に戻る。
要素数が1/ε以上の場合には(ステップA4のNOルート参照)、要素数が最大要素数まで達していて空きがない状態である。この場合には、ステップA7において、先頭バケットが管理しているリストの先頭要素(カウントをminCountとする)を削除する一方で、データDをカウント(=minCount+1)としてStream-Summaryに追加する。これにより、カウントが最小の要素とデータDとの入れ替えを行なう。その後、ステップA1に戻る。
このように、Space Savingアルゴリズムによれば、人気度をデータの個数によらないメモリ消費量で算出することができる
Ahmed Metwally, Divyakant Agrawal, Amr El Abbadi著、「An integrated efficient solution for computing frequent and top-k elements in data streams」、ACM Transactions on Database Systems (TODS)、2006年9月、Volume 31, Issue 3, p. 1095-1133
しかしながら、このような従来のSpace Savingアルゴリズムではデータスパイクを高速に検出することはできないという課題がある。
Space Saving アルゴリズムは動作開始時点から現時点までのすべてのカウントをもとにして人気度の推定を行なう。従って、動作開始時点から十分なアクセスがあった後に発生する突発的なデータスパイクを敏感に検出することができない。データスパイクが引き起こすはずの人気度の変動がデータスパイク発生前の過去の人気度に引きずられて小さくなってしまうからである。
1つの側面では、本発明は、評価値推定アルゴリズムにおいて突発的なデータスパイクを高速に検出できるようにすることを目的とする。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の1つとして位置付けることができる。
このため、この評価装置は、複数のコンテンツのうちの評価対象コンテンツについての評価値を推定する評価装置において、前記評価対象コンテンツに対するアクセス数のカウント値と前記複数のコンテンツに対する各アクセス数のカウント値の合計値とに基づき、評価値推定アルゴリズムを用いて前記評価対象コンテンツの評価値を算出する算出部と、前記複数のコンテンツに対する各アクセス数のカウント値の合計値が所定値に達したかを確認する確認部と、前記複数のコンテンツに対する各アクセス数のカウント値の合計値が前記所定値に達した場合に、前記複数のコンテンツに対する各アクセス数のカウント値を(1−α)倍(ただし、0<α<1)することにより、前記複数のコンテンツに対するアクセス数のカウント値を縮小する処理部と、を備える。
また、この分散格納システムは、複数のコンテンツを分散して格納する複数のノード装置と、前記複数のコンテンツのうちの評価対象コンテンツに対するアクセス数のカウント値と、前記複数のコンテンツに対する各アクセス数のカウント値の合計値とに基づき、評価値推定アルゴリズムを用いて前記評価対象コンテンツの評価値を算出する算出部と、前記複数のコンテンツに対する各アクセス数のカウント値の合計値が所定値に達したかを確認する確認部と、前記複数のコンテンツに対する各アクセス数のカウント値の合計値が前記所定値に達した場合に、前記複数のコンテンツに対する各アクセス数のカウント値を(1−α)倍(ただし、0<α<1)することにより、前記複数のコンテンツに対する各アクセス数のカウント値を縮小する処理部と、を備える。
さらに、この評価方法は、複数のコンテンツのうちの評価対象コンテンツについての評価値を推定する評価方法において、コンピュータが、前記複数のコンテンツに対する各アクセス数のカウント値の合計値が所定値に達したかを確認し、前記複数のコンテンツに対する各アクセス数のカウント値の合計値が前記所定値に達した場合に、前記複数のコンテンツに対する各アクセス数のカウント値を(1−α)倍(ただし、0<α<1)することにより、前記複数のコンテンツに対するアクセス数のカウント値を縮小し、前記評価対象コンテンツに対するアクセス数のカウント値と前記複数のコンテンツに対する各アクセス数のカウント値の合計値とに基づき、評価値推定アルゴリズムを用いて前記評価対象コンテンツの評価値を算出する。
また、この評価プログラムは、複数のコンテンツのうちの評価対象コンテンツについての評価値を推定する評価プログラムにおいて、コンピュータに、前記複数のコンテンツに対する各アクセス数のカウント値の合計値が所定値に達したかを確認させ、前記複数のコンテンツに対する各アクセス数のカウント値の合計値が前記所定値に達した場合に、前記複数のコンテンツに対する各アクセス数のカウント値を(1−α)倍(ただし、0<α<1)することにより、前記複数のコンテンツに対するアクセス数のカウント値を縮小させ、前記評価対象コンテンツに対するアクセス数のカウント値と前記複数のコンテンツに対する各アクセス数のカウント値の合計値とに基づき、評価値推定アルゴリズムを用いて前記評価対象コンテンツの評価値を算出させる。
一実施形態によれば、評価値推定アルゴリズムにおいて突発的なデータスパイクを高速に検出できる。
実施形態の一例としての管理サーバをそなえる分散ストレージシステムの機能構成を模式的に示す図である。 実施形態の一例としての管理サーバをそなえる分散ストレージシステムの構成を模式的に示す図である。 実施形態の一例としての分散ストレージシステムにおけるカウンタ値の更新手法を説明するフローチャートである。 実施形態の一例としての分散ストレージシステムにおけるシュリンク処理部がカウンタ値を縮小した際の処理を説明するフローチャートである。 実施形態の一例としての分散ストレージシステムにおけるカウントシュリンク処理のアルゴリズムを例示する図である。 Space SavingアルゴリズムにおけるStream-Summaryデータ構造を例示する図である。 Space Savingアルゴリズムにおけるカウント更新アルゴリズムを例示する図である。 Space Savingアルゴリズムによる処理を説明するフローチャートである。
以下、図面を参照して本評価装置,分散格納システム,評価方法及び評価プログラムに係る実施の形態を説明する。ただし、以下に示す実施形態はあくまでも例示に過ぎず、実施形態で明示しない種々の変形例や技術の適用を排除する意図はない。すなわち、本実施形態を、その趣旨を逸脱しない範囲で種々変形して実施することができる。又、各図は、図中に示す構成要素のみを備えるという趣旨ではなく、他の機能等を含むことができる。
図1は実施形態の一例としての管理サーバ(評価装置)をそなえる分散ストレージシステム(分散格納システム)の機能構成を模式的に示す図、図2はその管理サーバをそなえる分散ストレージシステムの構成を模式的に示す図である。
分散ストレージシステム1は、図2に示すように、管理サーバ10,プロキシサーバ40,クライアント60及びストレージサーバノード(ストレージ装置)30−1〜30−6を備える。ただし、図1中においては、便宜上、クライアント60及びプロキシサーバ40の図示を省略している。
図2に示す例においては、管理サーバ10及び各ストレージサーバノード30−1〜30−6と各プロキシサーバ40とは、例えばLocal Area Network(LAN)50を介して、相互に通信可能に接続されている。又、各プロキシサーバ40と各クライアント60とは、公衆回線網等のネットワーク51を介して、相互に通信可能に接続されている。
分散ストレージシステム1は、複数のストレージサーバノード30−1〜30−6がそれぞれ有するディスク領域をまとめて、あたかも一つのストレージのように取り扱うことを可能とする。この分散ストレージシステム1においては、複数のデータファイル(データ,コンテンツ)を複数のストレージサーバノード30−1〜30−6に分散して配置される。
以下、ストレージサーバノードを示す符号としては、複数のストレージサーバノードのうち1つを特定する必要があるときには符号30−1〜30−6を用いるが、任意のストレージサーバノードを指すときには符号30を用いる。
ストレージサーバノード30は、サーバ機能を備えたコンピュータであり、記憶装置34を備える。
記憶装置34は種々のデータやプログラムを格納する記憶装置であって、例えば、Hard Disk Drive(HDD)やSolid State Drive(SSD)である。又、記憶装置34として、例えば、複数の記憶装置によりRedundant Arrays of Inexpensive Disks(RAID)を構成してもよく、種々変形して実施することができる。
この記憶装置34には、各クライアント60からリードもしくはライトされるデータファイルが格納される。
そして、本分散ストレージシステム1は、これらの複数のストレージサーバノード30の記憶装置34にデータ(コンテンツ,評価対象コンテンツ)を分散して格納する。
図2に示す例においては、本分散ストレージシステム1に6つのストレージサーバノード30が備えられているが、これに限定されるものではなく、5つ以下もしくは7以上のストレージサーバノード30をそなえてもよい。
クライアント60は、例えば、パーソナルコンピュータ等の情報処理装置であり、プロキシサーバ40を介して、ストレージサーバノード30に格納されたデータ(コンテンツ)に対するリードやライトの要求(リード/ライト要求)を行なう。図1及び図2に示す例においては、分散ストレージシステム1に2つのクライアント60が備えられているが、これに限定されるものではなく、1つもしくは3以上のクライアント60をそなえてもよい。
クライアント60は、例えば、アクセス対象のファイル名(オブジェクト名)等のデータを特定する情報とともにリード/ライト要求をプロキシサーバ40に対して送信する。以下、クライアント60からアクセスを行なうコンテンツを単にデータという場合がある。
プロキシサーバ40は、クライアント60に代わってストレージサーバノード30へのデータアクセスを行なう。各プロキシサーバ40は、サーバ機能を備えたコンピュータ等の情報処理装置であり、互いに同様の構成を備える。図1及び図2に示す例においては、分散ストレージシステム1に2つのプロキシサーバ40が備えられているが、これに限定されるものではなく、1つもしくは3以上のプロキシサーバ40をそなえてもよい。
プロキシサーバ40は、それぞれ分散表41を備える。分散表41は、データファイルを特定する情報に対して当該データファイルの格納位置を関連付けて構成される。プロキシサーバ40は、クライアント60からデータファイルへのリード/ライト要求を受信すると、受信したファイル名に基づいて分散表41を参照して、アクセス対象のデータファイルの格納場所を確認する。プロキシサーバ40は、このデータファイルの格納場所に対応するストレージサーバノード30に対してリード/ライト要求を送信する。又。プロキシサーバ40は、ストレージサーバノード30からリード/ライト要求に対するリプライを受信すると、リード/ライト要求の送信元のクライアント60に対して、そのリプライを転送する。
なお、プロキシサーバ40としての機能は、既知の種々の手法で実現され、その詳細な説明は省略する。
管理サーバ10は、サーバ機能を備えたコンピュータ等の情報処理装置であり、本分散ストレージシステム1における各種設定や制御を行なう。
管理サーバ10は、図1に示すように、Central Processing Unit(CPU)101,Random Access Memory(RAM)102,Read Only Memory(ROM)103,キーボード104,ポインティングデバイス105,記憶装置106及び表示装置107を備える。
記憶装置106はCPU101が実行するOperating System(OS)やプログラム,種々のデータ等を格納する記憶装置であって、例えば、HDDやSSDである。又、記憶装置106として、例えば、複数の記憶装置によりRAIDを構成してもよく、種々変形して実施することができる。
ROM103は、CPU101が実行するプログラムや各種データ等を格納する記憶装置である。RAM102は、種々のデータやプログラムを格納する記憶領域であって、CPU101がプログラムを実行する際に、データやプログラムを格納・展開して用いる。又、このRAM102には、ケット情報15,要素情報16及びカウント合計値Nが格納される。
ケット情報15は、後述する人気度推定部(算出部)19のバケット管理部11がSpace Savingアルゴリズムを用いて人気度を推定する際に用いるバケットに関する情報である。Stream-Summaryデータ構造において、バケットには同じカウントのデータ(要素)が関連付けられる。ケット情報15は、各バケットが関連付けられたデータのカウントや、バケットに関連付けられたデータ(要素)を特定する情報を備える。なお、カウントの値(カウント値)はそのデータ(コンテンツ)に対して行なわれたアクセス数を表す。なお、Space Savingアルゴリズムにおいては、カウント値は、厳密にはアクセス数の近似値であるが、便宜上、単にアクセス数と表す。
要素情報16は、後述する人気度推定部19の要素管理部12がSpace Savingアルゴリズムを用いて人気度を推定する際に用いる要素に関する情報であり、Stream-Summaryデータ構造の要素についての情報である。要素情報16は、要素として登録されたデータを識別する情報(例えば、格納先アドレスやデータ名)と、そのデータに対するアクセス数を示すカウント値とを含む。
カウント合計値Nは、要素情報16に登録された各データのカウント値の合計である。
キーボード104及びポインティングデバイス105は利用者が各種入力操作を行なう入力装置である。ポインティングデバイス105は、例えば、タッチパッドやマウスである。ディスプレイ107は、各種情報やメッセージを表示する出力装置である。
なお、キーボード104やポインティングデバイス105及びディスプレイ107としての機能は、これらの機能をそなえたタッチパネルディスプレイで実現してもよく、種々変形して実施することができる。
CPU101は、種々の制御や演算を行なう処理装置であり、ROM103等に格納されたOSやプログラムを実行することにより、種々の機能を実現する。具体的には、CPU101は、図1に示すように、人気度推定部19,カウント合計値管理部13,シュリンク処理部14及びデータ管理部18として機能する。
なお、これらの人気度推定部19,カウント合計値管理部13,シュリンク処理部14及びデータ管理部18としての機能を実現するためのプログラム(評価プログラム)は、例えばフレキシブルディスク,CD(CD−ROM,CD−R,CD−RW等),DVD(DVD−ROM,DVD−RAM,DVD−R,DVD+R,DVD−RW,DVD+RW,HD DVD等),ブルーレイディスク,磁気ディスク,光ディスク,光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク,光ディスク,光磁気ディスク等の記憶装置(記録媒体)に記録しておき、その記憶装置から通信経路を介してコンピュータに提供するようにしてもよい。
人気度推定部19,カウント合計値管理部13,シュリンク処理部14及びデータ管理部18としての機能を実現する際には、内部記憶装置(本実施形態ではRAM102やROM103)に格納されたプログラムがコンピュータのマイクロプロセッサ(本実施形態ではCPU101)によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータが読み取って実行するようにしてもよい。
なお、本実施形態において、コンピュータとは、ハードウェアとオペレーティングシステムとを含む概念であり、オペレーティングシステムの制御の下で動作するハードウェアを意味している。又、オペレーティングシステムが不要でアプリケーションプログラム単独でハードウェアを動作させるような場合には、そのハードウェア自体がコンピュータに相当する。ハードウェアは、少なくとも、CPU等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取るための手段とをそなえており、本実施形態においては、管理サーバ10がコンピュータとしての機能を有しているのである。
データ管理部18は、本分散ストレージシステム1における各ストレージサーバノード30が保持するデータを管理する。
データ管理部18は、本分散ストレージシステム1に備えられた複数のストレージサーバノード30間において、一部のストレージサーバノード30に負荷が集中することのないように、人気度の高いデータを複数のストレージサーバノード30に分散して再配置(移動)させる。
データ管理部18は、人気度推定部19により算出された人気度(評価値)に基づいて、人気度の高いデータを特定する。
また、データ管理部18は、ストレージサーバノード30間でデータの再配置を行なった場合には、プロキシサーバ40に対して、データの再配置の結果を通知し、分散表41を更新させる。
人気度推定部(算出部)19は、本分散ストレージシステム1における各ストレージサーバノード30の各データ(評価対象コンテンツ)の人気度(評価値)を算出する。
クライアント60から、ストレージサーバノード30のコンテンツに対してアクセスが行なわれると、ストレージサーバノード30もしくはプロキシサーバ40は、少なくともアクセスが行なわれたデータを識別する情報を管理サーバ10に対して通知する。
人気度推定部19は、バケット管理部11及び要素管理部12としての機能を備え、各データについての人気度を、Space Savingアルゴリズム(評価値推定アルゴリズム)を用いて推定する。すなわち、人気度推定部19は、図6に示したStream-Summaryデータ構造を管理する。そして、本分散ストレージシステム1における各ストレージサーバノード30の各データに対してアクセスが行なわれる度に、図7に示したカウント更新アルゴリズムを実行することで、データに対する人気度を最大誤差εで推定する。
バケット管理部11は、前述したRAM102のバケット情報15を用いて、Stream-Summaryデータ構造におけるバケットを管理する。このStream-Summaryデータ構造においては、図6に例示したように、データ(コンテンツ)Dを要素Eとして管理し、又、各データに対するアクセス数をカウント値として管理する。
バケット管理部11は、バケット情報15の作成や削除を行ない、又、同じカウント値が同じ要素を管理する。バケット管理部11は、バケットを、各バケットが持つ要素のカウント値でソートしたソート済みリスト(図示省略)で管理する。
また、本分散ストレージシステム1においては、バケット管理部11は、後述するシュリンク処理部14がデータのカウント値を変更(縮小)した場合には、変更後のカウント値に応じて、バケットへ要素の関連付けを再度行なう。
後述の如くシュリンク処理部14がデータのカウント値を変更することにより、Stream-Summaryデータ構造において隣接するバケットにおいて、互いに同じカウントのデータを有することになる場合がある。この場合、バケット管理部11が、変更後の各データのカウント値に応じてバケットへの関連付けを再度行なうことにより、変更前は異なるバケットのデータが同じバケットに関連付けられる場合がある。以下、変更後の各データのカウント値に応じてバケットへの関連付けを再度行なうことにより、変更前はバケットが異なっていたデータを同一のバケットに関連付けることを、バケットをマージすると言う場合がある。
そして、人気度推定部19は、評価対象のデータ(評価対象コンテンツ)の人気度Pを、そのデータのカウント値Cと、後述するカウント合計値管理部13によって管理されるカウント合計値Nとを用いて、人気度P=C/Nを算出することにより求める。
要素管理部12は、前述したRAM102の要素情報16を用いて、Stream-Summaryデータ構造における要素を管理する。Stream-Summaryデータ構造において、最大誤差εとした場合に、要素管理部12は、最大で1/ε個の要素を管理する。すなわち、要素情報16においては、最大で1/ε個の要素が登録される。
要素管理部12は、要素情報16の作成や削除を行ない、要素として登録されたデータについてのカウント値の更新等を行なう。
すなわち、要素管理部12は、データへのアクセスが行なわれる度に、そのカウント値を更新する。なお、データに対してアクセスが行なわれたことは、プロキシサーバ40から取得されてもよく、又、各ストレージサーバノード30から通知されてもよい。
また、本分散ストレージシステム1においては、バケット管理部11は、後述するシュリンク処理部14が各データのカウント値を変更した場合には、要素情報1における各データのカウント値を変更された値で更新する。
カウント合計値管理部13は、前述したRAM102のカウント合計値Nを用いて、各データのカウント値の合計を管理する。カウント合計値管理部13は、要素管理部12によって管理されている1/ε個の全てのデータの各カウント値を合計し、RAM102にカウント合計値Nとして格納する。
また、本分散ストレージシステム1においては、バケット管理部11は、後述するシュリンク処理部14が各データのカウント値を変更した場合には、変更されたカウント値を用いて合計をし直し、カウント合計値Nを更新する。
シュリンク処理部(処理部)14は、カウント合計値Nを予め設定された閾値Ntと比較し、カウント合計値Nが閾値Ntよりも大きくなった場合に、要素情報16に登録された全てのデータのカウント値を一律に小さくする。具体的には、シュリンク処理部14は、各データのカウント値を(1−α)倍することで縮小(シュリンク)させて更新する。ただし、0<α<1である。例えば、α=0.875もしくは7/8である。
すなわち 、シュリンク処理部14は、人気度が平滑化係数をαとした指数移動平均となるように時間軸に沿った重み付けを行なう。
また、シュリンク処理部14は、各データのカウント値を(1−α)倍した結果において、小数点以下を繰り上げる。以下、各データのカウント値を(1−α)倍して縮小することをカウントシュリンクという場合がある。
これにより、前述の如く、RAM102のカウント合計値Nも縮小される。縮 小後のカウント合計値Nの値は縮小前の(1−α)倍の値に上述のデータのカウント値を(1−α)倍する際の丸め誤差をすべて含んだ値となる。
上述の如く構成された、実施形態の一例としての分散ストレージシステム1におけるカウンタ値の更新手法を、図3に示すフローチャート(ステップB1〜B9)に従って説明する。
先ず、ステップB1において、所定の停止条件があるか否かを確認し、停止条件がある場合には(ステップB1のYESルート参照)、処理を終了する。停止条件がない場合には(ステップB1のNOルート参照)、次に、ステップB2において、データDへのアクセスがあったか否かを確認する。
データDへのアクセスがない場合には(ステップB2のNOルート参照)、ステップB1に戻る。
データDへのアクセスがあった場合には(ステップB2のYESルート参照)、ステップB3において、データDがStream-Summaryに要素として含まれているか否かを確認する。
データDがStream-Summaryに要素として含まれていた場合(ステップB3のYESルート参照)、ステップB5において、その要素のカウントをインクリメントする。又、このカウントのインクリメントにより、データDを管理するバケットが変更される際はデータDを管理するバケットの変更を行なう。
そして、ステップB8において、シュリンク処理部14が、カウント合計値Nが閾値Ntに達したかを確認する。カウント合計値Nが閾値Ntに達していない場合には(ステップB8のNOルート参照)、ステップB1に戻る。
カウント合計値Nが閾値Ntに達している場合には(ステップB8のYESルート参照)、ステップB9において、シュリンク処理部14が、要素情報16に登録されている 全てのデータのカウント値を(1−α)倍することにより、各カウント値を縮小する(カウントシュリンク)。その後、ステップB1に戻る。
また、データDがStream-Summaryに含まれていない場合には(ステップB3のNOルート参照)、ステップB4において、Stream-Summaryの要素数に空きがあるかを調べる。すなわち、Stream-Summaryの要素数が1/εよりも小さいか否かを確認する。要素数が1/εよりも小さい場合には(ステップB4のYESルート参照)、Stream-Summaryの最大要素数に達していない。そこで、ステップB6において、そのデータDをカウント=1としてStream-Summaryに追加する。その後、ステップB8に移行する。
要素数が1/ε以上の場合には(ステップB4のNOルート参照)、要素数が最大要素数まで達していて空きがない状態である。この場合には、ステップB7において、先頭バケットが管理しているリストの先頭要素(カウントをminCountとする)を削除する一方で、データDをカウント(=minCount+1)としてStream-Summaryに追加する。これにより、カウントが最小の要素とデータDとの入れ替えを行なう。その後、ステップB8に移行する。
このようにして更新されたStream-Summaryデータ構造を参照することにより、各データのカウント値(アクセス数)の近似値を取得することができる。特に、アクセスが頻繁に行なわれたデータに対するアクセス数(カウント値)を取得することができ、人気度推定部19がそのカウント値とカウント合計値Nとを用いて人気度Pを算出する。
次に、実施形態の一例としての分散ストレージシステム1におけるシュリンク処理部14によるカウントシュリンク処理を、図5を参照しながら、図4に示すフローチャート(ステップC1〜C4)に従って説明する。図5はカウントシュリンク処理のアルゴリズムを例示する図である。なお、この図5に示す例においては、カウントシュリンク処理をプログラムの形式で示している。
カウントシュリンク処理は、前述した図3のフローチャートのステップB8において、カウント合計値Nが閾値Ntに達したことが検知された場合に実行される。図5に示す例においては、カウントシュリンク処理を“SHRINK ALL COUNTERS”という関数名で表している。又、図5 に示す例においては、カウント合計値Nの算出に変数“totalCount”を用いている。
先ず、ステップC1において、カウント合計値Nを0リセットしてから(図5の矢印P1参照)、シュリンク処理部14が、要素情報16に登録された個々の要素Eについてのカウント値を(1−α)倍して縮小する(図5の矢印P2参照)。この要素Eのカウント値を(1−α)倍して縮小する処理は、要素情報16に登録された全ての要素Eに対して行なわれる。
また、(1−α)倍された要素Eのカウンタ値はそれぞれカウント合計値Nに加算され、“totalCount”の値を逐次更新する(図5の矢印P3参照)。又、図5中においては、バケットに含まれる全ての要素に対して(1−α)倍及びカウント合計値の更新を順次行ない、更に、これらの処理を全てのバケットに対して行なっている。
その後、ステップC2において、バケット管理部11が、ステップC1においてカウント値の縮小を行なったことにより同じカウントの要素を管理するバケットが生じたかを確認する(図5の矢印P4参照)。
同じカウントの要素を管理するバケットが複数ある場合には(ステップC2のYESルート参照)、ステップC4において、それらの同じカウントの要素を管理するバケットをマージする(図5の矢印P5参照)。その後、ステップC2に戻る。
同じカウントの要素を管理するバケットがない場合には(ステップC2のNOルート参照)、ステップC3において、カウント合計値Nを“totalCount”の値を用いて更新する(図5の矢印P6参照)。その後、処理を終了する。
このように、実施形態の一例としての分散ストレージシステム1によれば、カウント合計値NがNtに達した場合に、全ての要素のカウンタ値を(1−α)倍することにより縮小する。これに伴い、カウント合計値Nも(1−α)Nに近い値に縮小される。
これにより、各データの人気度P(=C/N)を算出するための除数であるカウント合計値Nが縮小されるので、各データのカウント値Cの変動が人気度Pに反映され易くなり、データスパイクを検出し易くすることができる。すなわち、過去のアクセスが人気度に与える影響を小さくして、データスパイクが引き起こす人気度の変動を大きくすることができる。つまり、最近の人気度が重視されるよう、時間軸に沿った人気度の重み付けを実現することができる。
そして、開示の技術は上述した実施形態に限定されるものではなく、本実施形態の趣旨を逸脱しない範囲で種々変形して実施することができる。本実施形態の各構成及び各処理は、必要に応じて取捨選択することができ、あるいは適宜組み合わせてもよい。
例えば、上述した実施形態においては、管理サーバ10に、人気度推定部19,カウント合計値管理部13,シュリンク処理部14及びデータ管理部18としての機能を備えているが、これに限定されるものではない。これらの人気度推定部19,カウント合計値管理部13,シュリンク処理部14及びデータ管理部18としての機能の少なくとも一部を、ストレージサーバノード30に備えてもよい。
すなわち、ストレージサーバノード30が評価装置としての機能をそなえ、その記憶装置34に格納されたデータ(コンテンツ)の人気度を算出し、人気度の高いデータを他のストレージサーバノード30に分散して再配置(移動)させてもよい。
また、上述した実施形態においては、人気度推定部19が、各データについての人気度を、評価値推定アルゴリズムとしてSpace Savingアルゴリズムを用いて推定しているが、これに限定されるものではない。すなわち、Space Savingアルゴリズム以外の評価値推定アルゴリズムを用いて人気度の推定を行なってもよく、シュリンク処理部14は、この評価値推定アルゴリズムにおいて用いられるデータのカウント値を小さくしてもよい。
なお、上述した開示により本実施形態を当業者によって実施・製造することが可能である。
以上の実施形態に関し、更に以下の付記を開示する。
(付記1)
複数のコンテンツのうちの評価対象コンテンツについての評価値を推定する評価装置において、
前記評価対象コンテンツに対するカウント値と前記複数のコンテンツに対する各カウント値の合計値とに基づき、評価値推定アルゴリズムを用いて前記評価対象コンテンツの評価値を算出する算出部と、
前記複数のコンテンツに対する各カウント値の合計値が所定値に達したかを確認する確認部と、
前記複数のコンテンツに対する各カウント値の合計値が前記所定値に達した場合に、前記複数のコンテンツの各カウント値を縮小する処理部と、
を備えることを特徴とする評価装置。
(付記2)
前記処理部が、前記複数のコンテンツに対する各カウント値を(1−α)倍(ただし、0<α<1)することにより、それぞれ縮小することを特徴とする付記1記載の評価装置。
(付記3)
前記処理部が、前記複数のコンテンツに対する縮小後のカウント値の小数点以下を切り上げることで整数値にすることを特徴とする付記1又は2記載の評価装置。
(付記4)
前記評価値推定アルゴリズムは、Space Savingアルゴリズムであり、
前記複数のコンテンツに対する縮小後の各カウント値に合わせて、前記Space SavingアルゴリズムのStream-Summaryデータ構造におけるバケットの関連付けを行なうことを特徴とする付記1〜3のいずれか1項に記載の評価装置。
(付記5)
複数のコンテンツを分散して格納する複数のノード装置と、
前記複数のコンテンツのうちの評価対象コンテンツに対するアクセス数と、前記複数のコンテンツに対する各アクセス数の合計値とに基づき、評価値推定アルゴリズムを用いて前記評価対象コンテンツの評価値を算出する算出部と、
前記複数のコンテンツに対する各アクセス数の合計値が所定値に達したかを確認する確認部と、
前記複数のコンテンツに対する各アクセス数の合計値が前記所定値に達した場合に、前記複数のコンテンツの各アクセス数を縮小する処理部と、
を備えることを特徴とする分散格納システム。
(付記6)
前記処理部が、前記複数のコンテンツに対する各アクセス数を(1−α)倍(ただし、0<α<1)することにより、それぞれ縮小することを特徴とする付記5記載の分散格納システム。
(付記7)
前記処理部が、前記複数のコンテンツに対する縮小後の各アクセス数を小数点以下を切り上げることで整数値にすることを特徴とする付記5又は6記載の分散格納システム。
(付記8)
前記評価値推定アルゴリズムは、Space Savingアルゴリズムであり、
前記複数のコンテンツに対する各アクセス数に合わせて、前記Space SavingアルゴリズムのStream-Summaryデータ構造におけるバケットの関連付けを行なうことを特徴とする付記5〜7のいずれか1項に記載の分散格納システム。
(付記9)
複数のコンテンツのうちの評価対象コンテンツについての評価値を推定する評価方法において、
コンピュータが、
前記複数のコンテンツに対する各カウント値の合計値が所定値に達したかを確認し、
前記複数のコンテンツに対する各カウント値の合計値が前記所定値に達した場合に、前記複数のコンテンツの各カウント値を縮小し、
前記評価対象コンテンツに対するカウント値と前記複数のコンテンツに対する各カウント値の合計値とに基づき、評価値推定アルゴリズムを用いて前記評価対象コンテンツの評価値を算出することを特徴とする評価方法。
(付記10)
前記複数のコンテンツの各カウント値を(1−α)倍(ただし、0<α<1)することにより縮小することを特徴とする付記9記載の評価方法。
(付記11)
前記複数のコンテンツに対する縮小後の各カウント値の小数点以下を切り上げることで整数値にすることを特徴とする付記9又は10記載の評価方法。
(付記12)
前記評価値推定アルゴリズムは、Space Savingアルゴリズムであり、
前記複数のコンテンツに対する縮小後の各カウント値に合わせて、前記Space SavingアルゴリズムのStream-Summaryデータ構造におけるバケットの関連付けを行なうことを特徴とする付記9〜11のいずれか1項に記載の評価方法。
(付記13)
複数のコンテンツのうちの評価対象コンテンツについての評価値を推定する評価プログラムにおいて、
コンピュータに、
前記複数のコンテンツに対する各カウント値の合計値が所定値に達したかを確認させ、
前記複数のコンテンツに対する各カウント値の合計値が前記所定値に達した場合に、前記複数のコンテンツの各カウント値を縮小させ、
前記評価対象コンテンツに対するカウント値と前記複数のコンテンツに対する各カウント値の合計値とに基づき、評価値推定アルゴリズムを用いて前記評価対象コンテンツの評価値を算出させることを特徴とする評価プログラム。
(付記14)
前記複数のコンテンツの各カウント値を(1−α)倍(ただし、0<α<1)することにより縮小させることを特徴とする付記13記載の評価プログラム。
(付記15)
前記複数のコンテンツに対する縮小後の各カウント値の小数点以下を切り上げることで整数値にさせることを特徴とする付記13又は14記載の評価プログラム。
(付記16)
前記評価値推定アルゴリズムは、Space Savingアルゴリズムであり、
前記複数のコンテンツに対する縮小後の各カウント値に合わせて、前記Space SavingアルゴリズムのStream-Summaryデータ構造におけるバケットの関連付けを行なわせることを特徴とする付記13〜15のいずれか1項に記載の評価プログラム。
(付記17)
複数のコンテンツのうちの評価対象コンテンツについての評価値を推定する評価プログラムを記録したコンピュータ読取可能な記録媒体であって、
前記評価プログラムが、コンピュータに、
前記複数のコンテンツに対する各カウント値の合計値が所定値に達したかを確認させ、
前記複数のコンテンツに対する各カウント値の合計値が前記所定値に達した場合に、前記複数のコンテンツの各カウント値を縮小させ、
前記評価対象コンテンツに対するカウント値と前記複数のコンテンツに対する各カウント値の合計値とに基づき、評価値推定アルゴリズムを用いて前記評価対象コンテンツの評価値を算出させることを特徴とする評価プログラムを記録したコンピュータ読取可能な記録媒体。
(付記18)
前記複数のコンテンツの各カウント値を(1−α)倍(ただし、0<α<1)することにより縮小させることを特徴とする、付記17記載の評価プログラムを記録したコンピュータ読取可能な記録媒体。
(付記19)
前記複数のコンテンツに対する縮小後の各カウント値の小数点以下を切り上げることで整数値にさせることを特徴とする付記17又は18記載の評価プログラムを記録したコンピュータ読取可能な記録媒体。
(付記20)
前記評価値推定アルゴリズムは、Space Savingアルゴリズムであり、
前記複数のコンテンツに対する縮小後の各カウント値に合わせて、前記Space SavingアルゴリズムのStream-Summaryデータ構造におけるバケットの関連付けを行なわせることを特徴とする付記17〜19のいずれか1項に記載の評価プログラムを記録したコンピュータ読取可能な記録媒体。
1 分散ストレージシステム(分散格納システム)
10 管理サーバ(評価装置)
11 バケット管理部
12 要素管理部
13 カウント合計値管理部
14 シュリンク処理部(処理部)
15 バケット情報
16 要素情報
18 データ管理部
30−1〜30−6,30 ストレージサーバノード
40 プロキシサーバ
50 LAN
51 ネットワーク
60 クライアント
101 CPU
102 RAM
103 ROM
104 キーボード
105 ポインティングデバイス
34,106 記憶装置
107 ディスプレイ

Claims (8)

  1. 複数のコンテンツのうちの評価対象コンテンツについての評価値を推定する評価装置において、
    前記評価対象コンテンツに対するアクセス数のカウント値と前記複数のコンテンツに対する各アクセス数のカウント値の合計値とに基づき、評価値推定アルゴリズムを用いて前記評価対象コンテンツの評価値を算出する算出部と、
    前記複数のコンテンツに対する各アクセス数のカウント値の合計値が所定値に達したかを確認する確認部と、
    前記複数のコンテンツに対する各アクセス数のカウント値の合計値が前記所定値に達した場合に、前記複数のコンテンツに対する各アクセス数のカウント値を(1−α)倍(ただし、0<α<1)することにより、前記複数のコンテンツに対するアクセス数のカウント値を縮小する処理部と、
    を備えることを特徴とする評価装置。
  2. 前記処理部が、
    前記複数のコンテンツに対する縮小後の各アクセス数のカウント値の小数点以下を切り上げることで整数値にすることを特徴とする請求項1記載の評価装置。
  3. 前記評価値推定アルゴリズムは、Space Savingアルゴリズムであり、
    前記複数のコンテンツに対する縮小後の各アクセス数のカウント値に合わせて、前記Space SavingアルゴリズムのStream-Summaryデータ構造におけるバケットの関連付けを行なうことを特徴とする請求項1または2記載の評価装置。
  4. 複数のコンテンツを分散して格納する複数のノード装置と、
    前記複数のコンテンツのうちの評価対象コンテンツに対するアクセス数のカウント値と、前記複数のコンテンツに対する各アクセス数のカウント値の合計値とに基づき、評価値推定アルゴリズムを用いて前記評価対象コンテンツの評価値を算出する算出部と、
    前記複数のコンテンツに対する各アクセス数のカウント値の合計値が所定値に達したかを確認する確認部と、
    前記複数のコンテンツに対する各アクセス数のカウント値の合計値が前記所定値に達した場合に、前記複数のコンテンツに対する各アクセス数のカウント値を(1−α)倍(ただし、0<α<1)することにより、前記複数のコンテンツに対する各アクセス数のカウント値を縮小する処理部と、
    を備えることを特徴とする分散格納システム。
  5. 前記処理部が、
    前記複数のコンテンツに対する縮小後の各アクセス数のカウント値の小数点以下を切り上げることで整数値にすることを特徴とする請求項記載の分散格納システム。
  6. 前記評価値推定アルゴリズムはSpace Savingアルゴリズムであり、
    前記複数のコンテンツに対する縮小後の各アクセス数のカウント値に合わせて、前記Space SavingアルゴリズムのStream-Summaryデータ構造におけるバケットの関連付けを行なうことを特徴とする請求項4または5記載の分散格納システム。
  7. 複数のコンテンツのうちの評価対象コンテンツについての評価値を推定する評価方法に
    おいて、
    コンピュータが、
    前記複数のコンテンツに対する各アクセス数のカウント値の合計値が所定値に達したかを確認し、
    前記複数のコンテンツに対する各アクセス数のカウント値の合計値が前記所定値に達した場合に、前記複数のコンテンツに対する各アクセス数のカウント値を(1−α)倍(ただし、0<α<1)することにより、前記複数のコンテンツに対するアクセス数のカウント値を縮小し、
    前記評価対象コンテンツに対するアクセス数のカウント値と前記複数のコンテンツに対する各アクセス数のカウント値の合計値とに基づき、評価値推定アルゴリズムを用いて前記評価対象コンテンツの評価値を算出することを特徴とする評価方法。
  8. 複数のコンテンツのうちの評価対象コンテンツについての評価値を推定する評価プログラムにおいて、
    コンピュータに、
    前記複数のコンテンツに対する各アクセス数のカウント値の合計値が所定値に達したかを確認させ、
    前記複数のコンテンツに対する各アクセス数のカウント値の合計値が前記所定値に達した場合に、前記複数のコンテンツに対する各アクセス数のカウント値を(1−α)倍(ただし、0<α<1)することにより、前記複数のコンテンツに対するアクセス数のカウント値を縮小させ、
    前記評価対象コンテンツに対するアクセス数のカウント値と前記複数のコンテンツに対する各アクセス数のカウント値の合計値とに基づき、評価値推定アルゴリズムを用いて前記評価対象コンテンツの評価値を算出させることを特徴とする評価プログラム。
JP2012153589A 2012-07-09 2012-07-09 評価装置,分散格納システム,評価方法及び評価プログラム Expired - Fee Related JP5962269B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2012153589A JP5962269B2 (ja) 2012-07-09 2012-07-09 評価装置,分散格納システム,評価方法及び評価プログラム
US13/902,845 US20140012816A1 (en) 2012-07-09 2013-05-26 Evaluation apparatus, distributed storage system, evaluation method, and computer readable recording medium having stored therein evaluation program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012153589A JP5962269B2 (ja) 2012-07-09 2012-07-09 評価装置,分散格納システム,評価方法及び評価プログラム

Publications (2)

Publication Number Publication Date
JP2014016780A JP2014016780A (ja) 2014-01-30
JP5962269B2 true JP5962269B2 (ja) 2016-08-03

Family

ID=49879296

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012153589A Expired - Fee Related JP5962269B2 (ja) 2012-07-09 2012-07-09 評価装置,分散格納システム,評価方法及び評価プログラム

Country Status (2)

Country Link
US (1) US20140012816A1 (ja)
JP (1) JP5962269B2 (ja)

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0991308A (ja) * 1995-09-28 1997-04-04 Nippon Telegr & Teleph Corp <Ntt> 情報探索システム
US5926822A (en) * 1996-09-06 1999-07-20 Financial Engineering Associates, Inc. Transformation of real time data into times series and filtered real time data within a spreadsheet application
US6460045B1 (en) * 1999-03-15 2002-10-01 Microsoft Corporation Self-tuning histogram and database modeling
US6640218B1 (en) * 2000-06-02 2003-10-28 Lycos, Inc. Estimating the usefulness of an item in a collection of information
US7356523B2 (en) * 2002-05-23 2008-04-08 International Business Machines Corporation Dynamic optimization of prepared statements in a statement pool
US7168010B2 (en) * 2002-08-12 2007-01-23 Intel Corporation Various methods and apparatuses to track failing memory locations to enable implementations for invalidating repeatedly failing memory locations
US7383262B2 (en) * 2004-06-29 2008-06-03 Microsoft Corporation Ranking database query results using probabilistic models from information retrieval
US7565405B2 (en) * 2004-09-24 2009-07-21 Alcatel-Lucent Usa Inc. Method and apparatus for providing data storage in peer-to-peer networks
US8400948B2 (en) * 2005-01-18 2013-03-19 Aspect Software Inc. Method and system for updating real-time data between intervals
JP4635682B2 (ja) * 2005-03-29 2011-02-23 ブラザー工業株式会社 情報処理装置、情報処理方法及び情報処理用プログラム
US7668663B2 (en) * 2005-12-20 2010-02-23 Roche Molecular Systems, Inc. Levenberg-Marquardt outlier spike removal method
JP5168961B2 (ja) * 2007-03-19 2013-03-27 富士通株式会社 最新評判情報通知プログラム、記録媒体、装置及び方法
US7881984B2 (en) * 2007-03-30 2011-02-01 Amazon Technologies, Inc. Service for providing item recommendations
JP2009140108A (ja) * 2007-12-04 2009-06-25 Yahoo Japan Corp ブックマークの有用性評価方法
US8599203B2 (en) * 2007-12-20 2013-12-03 Yahoo! Inc. Systems and methods for presenting visualizations of media access patterns
US8078710B2 (en) * 2007-12-21 2011-12-13 At&T Intellectual Property I, Lp Method and apparatus for monitoring functions of distributed data
JP2009245004A (ja) * 2008-03-28 2009-10-22 Nippon Telegraph & Telephone West Corp 双方向データ配置システム、アクセス解析サーバ、データ移動サーバ、双方向データ配置方法、及び、プログラム
CN101639769B (zh) * 2008-07-30 2013-03-06 国际商业机器公司 在多处理器系统上对数据集进行划分及排序的方法和装置
WO2010037308A1 (en) * 2008-09-30 2010-04-08 The Chinese University Of Hong Kong Systems and methods for determining top spreaders
CN101527736A (zh) * 2009-04-09 2009-09-09 中兴通讯股份有限公司 分布式文件系统中业务内容处理、更新方法与装置
US8296253B2 (en) * 2009-06-15 2012-10-23 Hewlett-Packard Development Company, L. P. Managing online content based on its predicted popularity
JP2012048558A (ja) * 2010-08-27 2012-03-08 Fujitsu Toshiba Mobile Communications Ltd 情報処理装置
CN102075562B (zh) * 2010-12-03 2014-08-20 华为技术有限公司 协作缓存的方法和装置
US9305043B2 (en) * 2011-09-12 2016-04-05 Hitachi, Ltd. Stream data anomaly detection method and device

Also Published As

Publication number Publication date
JP2014016780A (ja) 2014-01-30
US20140012816A1 (en) 2014-01-09

Similar Documents

Publication Publication Date Title
US9851911B1 (en) Dynamic distribution of replicated data
US10175909B2 (en) Extent migration in multi-tier storage systems
JP6423468B2 (ja) 記憶階層の動的選択
JP4749140B2 (ja) データマイグレーション方法及びシステム
US9229819B2 (en) Enhanced reliability in deduplication technology over storage clouds
US9613037B2 (en) Resource allocation for migration within a multi-tiered system
JP5867206B2 (ja) 移動制御装置,プログラム及びストレージ装置
Aggarwal et al. Sprout: A functional caching approach to minimize service latency in erasure-coded storage
WO2012085968A1 (en) Storage apparatus and storage management method
US8918605B2 (en) Capacity management in deduplication storage systems
US9390122B2 (en) Tree comparison to manage progressive data store switchover with assured performance
US11836067B2 (en) Hyper-converged infrastructure (HCI) log system
JP2005234834A (ja) 論理ボリュームの再配置方法
US7809915B2 (en) Handling multi-rank pools and varying degrees of control in volume allocation on storage controllers
JP6307888B2 (ja) 操作対象管理装置及びプログラム
JP5962269B2 (ja) 評価装置,分散格納システム,評価方法及び評価プログラム
US20220391370A1 (en) Evolution of communities derived from access patterns
CN110457280B (zh) 一种hdfs副本再复制改进方法
US11580082B2 (en) Object storage system with control entity quota usage mapping
US10379902B2 (en) Information processing device for aggregating load information, information processing system for aggregating load information, and non-transitory computer-readable storage medium recording program for aggregating load information
US20140129523A1 (en) Method &amp; apparatus for enabling auditing of a position by creating a chain of active &amp; inactive records

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150406

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20160229

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20160308

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20160509

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20160531

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20160613

R150 Certificate of patent or registration of utility model

Ref document number: 5962269

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees