JP5621229B2 - ストレージシステム、管理方法及びプログラム - Google Patents

ストレージシステム、管理方法及びプログラム Download PDF

Info

Publication number
JP5621229B2
JP5621229B2 JP2009197221A JP2009197221A JP5621229B2 JP 5621229 B2 JP5621229 B2 JP 5621229B2 JP 2009197221 A JP2009197221 A JP 2009197221A JP 2009197221 A JP2009197221 A JP 2009197221A JP 5621229 B2 JP5621229 B2 JP 5621229B2
Authority
JP
Japan
Prior art keywords
data
unit
storage
log
access
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2009197221A
Other languages
English (en)
Other versions
JP2011048679A (ja
Inventor
山川 聡
聡 山川
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to JP2009197221A priority Critical patent/JP5621229B2/ja
Publication of JP2011048679A publication Critical patent/JP2011048679A/ja
Application granted granted Critical
Publication of JP5621229B2 publication Critical patent/JP5621229B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00Accessing, addressing or allocating within memory systems or architectures
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/06Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)

Description

本発明は、少なくとも1つのストレージ装置を備えるストレージシステム、管理方法及びそのストレージ装置のプログラムに関する。
従来、大規模なデータを格納するストレージシステムにおいて、データの格納コストを下げる手段として、階層ストレージ管理というデータ管理方法がある。階層ストレージ管理とは、アクセス性能、運用コスト、システムの信頼性などの特徴がそれぞれ異なるストレージ装置を用い、データの利用状況に応じて、データの格納先となるストレージ装置を変更することで実現されるものである。
例えば、データの利用頻度に着目して階層ストレージ管理を利用した場合、データの利用頻度の高いデータは、アクセス性能及びデータの格納コストが相対的に高いストレージ装置に格納され、データの利用頻度の低いデータは、アクセス性能及びデータの格納コストが相対的に低いストレージ装置に格納される。また、アクセス性能及びデータの格納コストが相対的に低いストレージ装置に格納されたデータも、データアクセス頻度がある一定水準以上に達した場合、もしくはデータアクセス要求が発生した場合にアクセス性能が相対的に高いストレージ装置に移動される。このような動作をシステムとして自律的に実行することで、要求に見合ったデータアクセス性能を追従的に維持しつつ、かつデータの格納にかかるコストを抑えることができる。
また、データの利用頻度といった利用の状態に基づいてデータの格納先を決定する手法だけでなく、データのライフサイクルとして、データの使用頻度やデータ廃棄時期といった利用の状態を予め設定しておき、当該設定された情報に基づいてデータの格納先を決定する方法がある。これにより、予め計画されたデータ要求に対して、ストレージ装置間でのデータの移動を事前に行うことができ、データ要求が発生した際に、データアクセス性能のサービスレベルを落とすことなく、データを提供することができる。なお、このライフサイクルの管理方法としては、データ自身にライフサイクルを表すようなメタデータを付与する方法、またはデータの中身を解析し、予め定義されたある特徴を持ったデータをグルーピングし、グループとしてライフサイクルを規定しておくといった方法が考えられる。
一方で、大規模なデータを格納するストレージシステムとして、上記したような機能や特徴の異なるストレージ装置を組み合わせて管理するのではなく、データの容量増加に併せて、同一の機能を有するストレージ装置を追加することで、仮想的に一つのストレージシステムとしてストレージリソースを提供する分散システム型ストレージシステムがある。分散システム型ストレージシステムは、ファイルやオブジェクトといった個々のデータのサイズが大きく、データの更新頻度よりもデータの読み出し頻度が高く、またデータが新規に追加されることが多い、といった特徴を有する環境において利用される。つまり、分散システム型ストレージシステムは、格納しなければならないデータの容量が常に増加していく状況に対して、ストレージ装置を追加することでストレージ容量を拡張するとともに、データアクセス性能の拡張も同時に実現していることが特徴となっている。
また、特許文献1に、複数のストレージ装置を備え、ストレージ装置の利用状況に基づいてデータの移動または圧縮を行うことで、データの格納コストを下げる方法が開示されている。
特開2003−345632号公報
しかしながら、前述したように、分散システム型ストレージシステムにおいては、ストレージ容量の拡張、及びデータアクセス性能の拡張を、同一の性能のストレージ装置の追加により実現しているため、それぞれのストレージ装置の性能差を用いた格納コストの改善を行うことができない。
また、階層ストレージ管理を用いたストレージシステムを運用する場合、それぞれのストレージ装置の性能が異なるため、それぞれのストレージ装置の性能に見合ったデータ配置の管理をする必要があり、管理が複雑になってしまうという問題があった。
そのため、装置の機能的差を用いずにデータの格納コストを下げる方法が求められていた。
また、分散システム型ストレージシステムにおいて、オブジェクトやファイルなどのデータがあるデータ配置アルゴリズムによって均一に分散されていたとしても、個々のデータのサイズに大きなばらつきがあった場合、各ストレージ装置で格納している総データ容量にもばらつきが発生する。これによって、分散システム全体として充分な空き容量があったとしても、特定のストレージ装置に空き容量がないという状態が発生する惧れがある。従来はこのような問題に対処するため、新たなストレージ装置を追加し、また追加したストレージ装置へのデータの移動を実施していた。この追加により余分にデータの格納コストを上げてしまうという問題があった。
本発明は上記の点に鑑みてなされたものであり、その目的は、ハードウェア構成としての装置の機能的差を用いずにデータの格納コストを下げることができるストレージシステムを提供することにある。
本発明は上記の課題を解決するためになされたものであり、少なくとも1つのストレージ装置を備えるストレージシステムであって、前記ストレージ装置は、データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部と、前記アクセスログ記憶部からアクセスログを読み出すログ読み出し部と、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部と、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータを1つの結合データに結合する結合部と、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部と、を備え、前記データ圧縮条件は、アクセス回数が所定の閾値以上であり、かつアクセス間隔の代表値が所定の閾値以上であり、かつアクセス間隔の散布度が所定の閾値以下であることを示す条件であることを特徴とする。
また、本発明は、少なくとも1つのストレージ装置を備えるストレージシステムであって、前記ストレージ装置は、データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻と当該データへのアクセスを行ったアプリケーションまたはユーザの識別情報を関連付けて格納するアクセスログを記憶するログ記憶部と、前記アクセスログ記憶部からアクセスログを読み出すログ読み出し部と、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部と、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、前記アクセスログが示す前記アプリケーションまたはユーザの識別情報が同一となるデータの組み合わせを1つの結合データに結合する結合部と、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部と、を備えることを特徴とする。
また、本発明は、少なくとも1つのストレージ装置を備えるストレージシステムであって、前記ストレージ装置は、データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部と、前記アクセスログ記憶部からアクセスログを読み出すログ読み出し部と、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部と、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、当該複数のデータを結合して圧縮した場合の圧縮率が、結合前のそれぞれのデータを圧縮した場合の圧縮率より高くなるデータの組み合わせを、1つの結合データに結合する結合部と、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部と、を備えることを特徴とする。
また、本発明は、データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を少なくとも1つ備えるストレージシステムの管理方法であって、前記ストレージ装置のログ読み出し部は、前記アクセスログ記憶部からアクセスログを読み出し、前記ストレージ装置の同定部は、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中から、アクセス回数が所定の閾値以上であり、かつアクセス間隔の代表値が所定の閾値以上であり、かつアクセス間隔の散布度が所定の閾値以下であることを示す条件であるデータ圧縮条件を満たすデータを同定し、前記ストレージ装置の結合部は、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータを1つの結合データに結合し、前記ストレージ装置の圧縮部は、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮することを特徴とする。
また、本発明は、データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻と当該データへのアクセスを行ったアプリケーションまたはユーザの識別情報を関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を少なくとも1つ備えるストレージシステムの管理方法であって、前記ストレージ装置のログ読み出し部は、前記アクセスログ記憶部からアクセスログを読み出し、前記ストレージ装置の同定部は、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定し、前記ストレージ装置の結合部は、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、前記アクセスログが示す前記アプリケーションまたはユーザの識別情報が同一となるデータの組み合わせを1つの結合データに結合し、前記ストレージ装置の圧縮部は、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮することを特徴とする。
また、本発明は、データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を少なくとも1つ備えるストレージシステムの管理方法であって、前記ストレージ装置のログ読み出し部は、前記アクセスログ記憶部からアクセスログを読み出し、前記ストレージ装置の同定部は、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定し、前記ストレージ装置の結合部は、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、当該複数のデータを結合して圧縮した場合の圧縮率が、結合前のそれぞれのデータを圧縮した場合の圧縮率より高くなるデータの組み合わせを、1つの結合データに結合し、前記ストレージ装置の圧縮部は、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮することを特徴とする。
また、本発明は、データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中から、アクセス回数が所定の閾値以上であり、かつアクセス間隔の代表値が所定の閾値以上であり、かつアクセス間隔の散布度が所定の閾値以下であることを示す条件であるデータ圧縮条件を満たすデータを同定する同定部、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータを1つの結合データに結合する結合部、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部として機能させるためのプログラムである。
また、本発明は、データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻と当該データへのアクセスを行ったアプリケーションまたはユーザの識別情報を関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、前記アクセスログが示す前記アプリケーションまたはユーザの識別情報が同一となるデータの組み合わせを1つの結合データに結合する結合部、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部として機能させるためのプログラムである。
また、本発明は、データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、当該複数のデータを結合して圧縮した場合の圧縮率が、結合前のそれぞれのデータを圧縮した場合の圧縮率より高くなるデータの組み合わせを、1つの結合データに結合する結合部、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部として機能させるためのプログラムである。
本発明によれば、ストレージ装置の結合部が、データ圧縮条件を満たすデータのうちサイズが所定の閾値未満となる複数のデータを1つの結合データに結合し、圧縮部は、データ圧縮条件を満たすデータのうちサイズが所定の閾値以上となるデータ、及び結合部が結合した結合データを圧縮する。このようにデータの圧縮を行うことで、ハードウェア構成としての装置の機能的差を用いずにデータの格納コストを下げることができる。また、サイズの小さいデータを結合してから圧縮を行うことで圧縮効率を高め、データの格納コストをさらに下げることができる。
本発明の一実施形態によるストレージシステムの構成を示す概略ブロック図である。 ストレージ装置にデータを登録する際の動作を示すシーケンス図である。 ストレージ装置のデータにアクセスする際の動作を示すシーケンス図である。 ストレージ装置に格納されているデータの配置方法を変更する動作を示すフローチャートである。 一定間隔以上の周期でアクセスされるデータの圧縮処理の動作を示すフローチャートである。 一定期間以上アクセスされていないデータの圧縮処理の動作を示すフローチャートである。 ストレージ装置間でのデータ配置を制御する動作を示すシーケンス図である。
以下、図面を参照しながら本発明の実施形態について詳しく説明する。
図1は、本発明の一実施形態によるストレージシステムの構成を示す概略ブロック図である。
本実施形態によるストレージシステムは、クライアント装置10、複数のストレージ装置30−1〜30−N(以下、総称してストレージ装置30と呼ぶ)、データ配置管理サーバ装置40を備える。これらの装置は、ネットワーク20を介して相互に接続されている。
クライアント装置10は、ストレージ装置30へのデータの新規登録並びにストレージ装置30のデータの読み込み及び書き込みを行う指示(アクセス要求)を出力する。
ストレージ装置30は、クライアント装置10から転送されたデータを格納する。
データ配置管理サーバ装置40は、ストレージ装置30が格納するデータの配置を管理する。
ストレージ装置30は、リクエスト制御部31、転送制御部32、配置制御部33(同定部)、圧縮・展開部34(結合部、圧縮部)、データ管理部35、状態・履歴管理部36(ログ記憶部、ログ読み出し部)、記憶デバイス37を備える。
リクエスト制御部31は、ネットワーク20を介してストレージ装置30に入力されるデータ処理要求の受信及びデータ処理要求に対する応答の送信を行う。
転送制御部32は、記憶デバイス37が格納するデータを他のストレージ装置30に転送する。
配置制御部33は、記憶デバイス37が格納するデータの配置管理方法の変更を制御する。
圧縮・展開部34は、記憶デバイス37が格納するデータの結合・圧縮・展開を行う。
データ管理部35は、記憶デバイス37に格納されているデータの配置管理を行う。
状態・履歴管理部36は、クライアント装置10からのデータアクセスの履歴やデータの利用状況を図示しない補助記憶装置に格納されたアクセスログに記録する。
データ配置管理サーバ装置40は、名前管理部41と配置制御部42とを備える。
名前管理部41は、複数のストレージ装置30の中からデータの格納先を決定し、当該データを特定するIDとデータの格納先となるストレージ装置30のアドレス情報とを関連付けて図示しない補助記憶装置に記録する。
配置制御部42は、複数のストレージ装置30の間でデータの配置変更を行う際、配置変更対象となるデータと当該データの配置先を制御する。
そして、ストレージ装置30−1の配置制御部33は、状態・履歴管理部36からアクセスログを読み出し、読み出したアクセスログが示すアクセス時刻に基づいて、記憶デバイス37に格納されたデータの中からデータ圧縮条件を満たすデータを同定する。
次に、圧縮・展開部34は、配置制御部33が同定したデータのうちサイズが所定の閾値未満となる複数のデータを1つの結合データに結合し、また、圧縮・展開部34は、配置制御部33が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合した結合データを圧縮する。
これにより、ハードウェア構成としての装置の機能的差を用いずにデータの格納コストを下げることができる。
次に、本実施形態によるストレージシステムの動作を説明する。
まず、クライアント装置10がストレージ装置30にデータを登録する際の動作を説明する。
図2は、ストレージ装置30にデータを登録する際の動作を示すシーケンス図である。
まず、ユーザの操作によってクライアント装置10から、データ配置管理サーバ装置40に対して新規に登録するデータを特定するIDを含むデータ登録要求を送信する(ステップS1)。このとき、データのIDとして例えばファイル名等を用いると良い。
クライアント装置10がデータ登録要求を送信すると、データ配置管理サーバ装置40の名前管理部41は、クライアント装置10からデータのIDを含むデータ登録要求を受信する(ステップS2)。名前管理部41がデータ登録要求を受信すると、データ登録要求に含まれるデータのIDに基づいて当該データの登録先のストレージ装置30を決定する(ステップS3)。ここで、登録先のストレージ装置30の決定方法としては、例えば、データのIDからハッシュ値を算出し、ストレージ装置30の各々に割り当てられたハッシュ値の値域によって格納先を決定する方法など、複数のストレージ装置30の間で均等にデータを配置できる方法を用いると良い。
名前管理部41は、データ格納先のストレージ装置30を決定すると、データのIDとデータ格納先のストレージ装置30のアドレス情報とを関連付けて補助記憶装置に記録する(ステップS4)。次に、名前管理部41は、データのIDとデータ格納先のストレージ装置30のアドレス情報とをクライアント装置10に送信する(ステップS5)。
データ配置管理サーバ装置40がデータのIDとストレージ装置30のアドレス情報とを送信すると、クライアント装置10は、当該IDとアドレス情報とを受信する(ステップS6)。次に、クライアント装置10は、受信したIDと、当該IDが示すデータと、当該データに関連付けられたメタデータとを含む新規データ書き込み要求を、受信したアドレス情報が示すストレージ装置30に送信する(ステップS7)。ここで、データに関連付けられたメタデータとは、予めクライアント装置10によって生成されたデータであり、関連するデータの情報を含むものである。具体的には、新規データ書き込み要求をしたアプリケーションやユーザを特定するIDや、データサイズ、データアクセス許可に関わる認証情報などが含まれる。
クライアント装置10が新規データ書き込み要求を送信すると、ストレージ装置30のリクエスト制御部31は、新規データ書き込み要求を受信する(ステップS8)。次に、データ管理部35は、リクエスト制御部31が受信した新規データ書き込み要求に含まれるデータと、当該データのIDとメタデータとを関連付けて記憶デバイス37の空き領域に登録する(ステップS9)。このとき、データ管理部35は、メタデータに当該メタデータが属するデータの、記憶デバイス37における配置アドレス情報を書き込む(ステップS10)。
データ管理部35が記憶デバイス37にデータを格納すると、リクエスト制御部31は、クライアント装置10に新規データ書き込み要求に対する処理が終了したことを通知する(ステップS11)。
また、データの格納が完了すると、状態・履歴管理部36は、処理内容(ここでは新規データ書き込み処理)及びアクセス時刻の情報を、アクセス要求の発行元を示す情報(例えば、クライアント装置10のアドレス情報、またはクライアント装置10においてアクセス要求を発行したアプリケーションもしくはユーザのIDなど)に関連付けて内部メモリに格納されているアクセスログに追記する(ステップS12)。なお、ここでアクセス時刻とは、クライアント装置10からのアクセスを受け付けた日付及び時刻を指すものとする。
なお、状態・履歴管理部36は、アクセスログの情報量が所定の量に達すると、または所定の期間が経過すると、アクセスログを内部メモリから記憶デバイス37に移動させる。
次に、クライアント装置10がストレージ装置30のデータにアクセスする際の動作を説明する。
図3は、ストレージ装置30のデータにアクセスする際の動作を示すシーケンス図である。
まず、ユーザの操作によってクライアント装置10から、データ配置管理サーバ装置40に対して、データを特定するIDを含むデータアクセス要求を送信する(ステップS101)。アクセス要求の内容としては、例えば、データの更新処理、読み出し処理等の各種データ処理内容が挙げられる。クライアント装置10がデータアクセス要求を送信すると、データ配置管理サーバ装置40の名前管理部41は、データアクセス要求を受信する(ステップS102)。次に、名前管理部41は、補助記憶装置から受信したデータアクセス要求に含まれるIDに関連付けられたストレージ装置30のアドレス情報を読み出す(ステップS103)。次に、名前管理部41は、データのIDと読み出したアドレス情報とをクライアント装置10に送信する(ステップS104)。
データ配置管理サーバ装置40がデータのIDとアドレス情報とを送信すると、クライアント装置10は、当該IDとアドレス情報とを受信する(ステップS105)。次に、クライアント装置10は、受信したIDが示すデータに対するデータアクセス要求を、受信したアドレス情報が示すストレージ装置30に送信する(ステップS106)。
クライアント装置10がデータアクセス要求を送信すると、ストレージ装置30のリクエスト制御部31は、データアクセス要求を受信する(ステップS107)。次に、データ管理部35は、記憶デバイス37から、リクエスト制御部31が受信したデータアクセス要求に含まれるIDに関連付けられたメタデータを取得する(ステップS108)。
データ管理部35は、取得したメタデータに含まれる圧縮フラグが立っているか否かを判定する(ステップS109)。圧縮フラグとは、メタデータが属するデータが圧縮されているか否かを示すフラグであり、立っている場合に圧縮されていることを示す。ここで、「圧縮フラグが立っている」とは、メタデータにおける圧縮フラグを示すビットが1になっていることを示す。なお、データの圧縮処理及びメタデータの圧縮フラグの設定については、後述する。
データ管理部35が、圧縮フラグが立っていると判定した場合(ステップS109:YES)、データ管理部35は、メタデータに含まれる配置アドレス情報に基づいて、記憶デバイス37から圧縮データを読み出す(ステップS110)。データ管理部35が圧縮データを読み出すと、圧縮・展開部34は、圧縮データを展開し、アクセス対象のデータを取得する(ステップS111)。このとき、圧縮データの展開時に、アクセス対象のデータが他のデータと結合されていた場合、結合データを分離してアクセス対象のデータを取得することとなる。
なお、圧縮データから展開されたデータは、データ管理部35の内部メモリに保持されるが、データ管理部35の内部メモリの保持容量を超えた場合、または一定時間が経過した後に破棄される。また、内部メモリの保持容量を超えたときに破棄する場合は、最も読み出しタイミングが古いデータから破棄されるものとする。
また、ステップS109で圧縮フラグが立っていると判定された場合において、データ管理部35の内部メモリに読み出し対象となるデータが一時的に記憶されていた場合、ステップS110の処理で記憶デバイス37から圧縮データを読み出さずに、データ管理部35の内部メモリが一時的に記憶しているデータを読み出しても良い。
他方、ステップS109で、データ管理部35が、圧縮フラグが立っていないと判定した場合(ステップS109:NO)、データ管理部35は、メタデータに含まれる配置アドレス情報に基づいて、記憶デバイス37からアクセス対象のデータを読み出す(ステップS112)。
ステップS111、またはステップS112で配置制御部33がアクセス対象のデータを取得すると、リクエスト制御部31は、配置制御部33が取得したデータをクライアント装置10に送信する(ステップS113)。
ここで、データアクセス要求が、データの更新処理の要求であった場合、クライアント装置10が受信したデータを編集してストレージ装置30に返送し、当該データを記憶デバイス37に格納しても良いし、ステップS113でリクエスト制御部31がデータをクライアント装置10に送信せずに、クライアント装置10から受信した更新指示に基づいてデータの書き換えを行い、当該データを記憶デバイス37に格納しても良い。このとき、書き換え前のデータは記憶デバイス37から削除される。
このとき、データアクセス要求が、圧縮されていたデータに対する更新処理の要求であった場合、データ管理部35は、書き換えられたデータを圧縮せずにそのまま記憶デバイス37に登録しても良いし、圧縮・展開部34を介して圧縮したデータを記憶デバイス37に登録しても良い。
また、データアクセス要求が、結合後に圧縮されていたデータに対する更新処理の要求であった場合、データ管理部35は、書き換えられたデータを他のデータと結合・圧縮せず、それぞれのデータをそのまま記憶デバイス37に登録しても良いし、圧縮・展開部34を介して結合・圧縮したデータを記憶デバイス37に登録しても良い。また、データ管理部35は、書き換えられたデータを結合・圧縮せずにそのまま記憶デバイス37に登録し、書き換えられたデータ以外のデータを結合・圧縮して記憶デバイス37に登録するようにしても良い。
ステップS113でデータをクライアント装置10に送信すると(データの更新処理の場合は更新されたデータを記憶デバイス37に格納すると)、状態・履歴管理部36は、処理内容(例えば、データの更新処理や読み出し処理など)及びアクセス時刻の情報を、アクセス要求の発行元を示す情報(例えば、クライアント装置10のアドレス情報、またはクライアント装置10においてアクセス要求を発行したアプリケーションもしくはユーザのIDなど)に関連付けて内部メモリに格納されているアクセスログに追記する(ステップS114)。
なお、状態・履歴管理部36は、アクセスログの情報量が所定の量に達すると、または所定の期間が経過すると、アクセスログを内部メモリから記憶デバイス37に移動させる。
次に、ストレージ装置30に格納されているデータの配置方法を変更する動作を説明する。ここで、データの配置方法の変更とは、データを圧縮して格納するか圧縮せずに格納するかを変更することを指す。
図4は、ストレージ装置30に格納されているデータの配置方法を変更する動作を示すフローチャートである。
ストレージ装置30の配置制御部33は、定期的に状態・履歴管理部36の内部メモリ及び記憶デバイス37に格納されているアクセスログを読み出す(ステップS201)。次に、配置制御部33は、読み出したアクセスログから各データの最終アクセス時刻、並びに各データのアクセス処理の発生間隔の散布度及び代表値を算出する(ステップS202)。ここで、散布度としては、例えば、標準偏差、分散、四分位範囲などを用いると良い。また、代表値としては、例えば、平均値、中央値、最頻値などを用いると良い。
配置制御部33が最終アクセス時刻並びにアクセス発生間隔の散布度及び代表値を算出すると、データ管理部35は、記憶デバイス37に格納されているデータに対応付けられたメタデータを構成要素とするリストを生成する(ステップS203)。次に、配置制御部33は、データ管理部35が生成したリストに関連付けてステップS202で算出した最終アクセス時刻並びにアクセス発生間隔の散布度及び代表値を登録する(ステップS204)。次に、状態・履歴管理部36は、内部メモリ及び記憶デバイス37に格納するアクセスログを削除する(ステップS205)。
次に、配置制御部33は、一定間隔以上の周期でアクセスされるデータの圧縮処理を行う(ステップS206)。なお、一定間隔以上の周期でアクセスされるデータの圧縮処理の詳細な動作については後述する。
配置制御部33は、一定間隔以上の周期でアクセスされるデータの圧縮処理を終えると、次に、一定期間以上アクセスされていないデータの圧縮処理を行う(ステップS207)。なお、一定間隔以上の周期でアクセスされるデータの圧縮処理の詳細な動作については後述する。
これにより、記憶デバイス37に格納されるデータのうち、アクセス頻度が低いデータを圧縮することができる。つまり、アクセス頻度が低いデータの格納コストを下げることができる。
次に、上述したステップS206による一定間隔以上の周期でアクセスされるデータの圧縮処理について説明する。
図5は、一定間隔以上の周期でアクセスされるデータの圧縮処理の動作を示すフローチャートである。
まず、配置制御部33は、ステップS204で生成したメタデータのリストから、アクセス回数が所定の閾値以上であり、かつアクセス間隔の代表値が所定の閾値以上であり、かつアクセス間隔の散布度が所定の閾値以下であるデータの集合を抽出し、当該集合を要素とする長周期データリストを生成する(ステップS301)。つまり、一定間隔以上の周期でアクセスされるデータのメタデータを要素とする長周期データリストを生成する。
配置制御部33は、長周期データリストを生成すると、当該長周期データリストの要素が空であるか否かを判定する(ステップS302)。
配置制御部33は、長周期データリストの要素が空でないと判定した場合(ステップS302:NO)、長周期データリストに含まれる1つのメタデータからデータのサイズを読み出し、当該メタデータが属するデータのサイズが所定の閾値以上であるか否かを判定する(ステップS303)。
配置制御部33は、読み出したデータのサイズが所定の閾値未満であると判定した場合(ステップS303:NO)、長周期データリストから、アクセス要求の発行元(例えば、クライアント装置10のアドレス情報、またはクライアント装置10においてアクセス要求を発行したアプリケーションもしくはユーザのIDなど)が当該データと同一となる他のデータがあるか否かを判定する(ステップS304)。なお、アクセス要求の発行元の情報は、上述したようにメタデータ内に格納されている。
配置制御部33が、アクセス要求の発行元が同一となる他のデータがあると判定した場合(ステップS304:YES)、圧縮・展開部34は、アクセス要求の発行元が同一となるデータを記憶デバイス37から読み出し、当該データの組み合わせを結合して1つの結合データを生成する(ステップS305)。このとき、データの結合方法としては、例えば、tarアーカイブなどのフォーマットを用いて結合しても良いし、または単純にデータを結合することで結合データを生成し、分離時のためにそれぞれのデータの結合位置(例えば、オフセットとレングスの情報)をメタデータに書き込むようにしても良い。
圧縮・展開部34は、結合データを生成すると、当該結合データを圧縮し、圧縮データを生成する(ステップS306)。
他方、ステップS303で配置制御部33が、データのサイズが所定の閾値以上であると判定した場合(ステップS303:YES)、または、配置制御部33が、アクセス要求の発行元が同一となる他のデータがないと判定した場合(ステップS304:NO)、圧縮・展開部34は、当該データを圧縮し、圧縮データを生成する(ステップS307)。
ステップS306またはステップS307で圧縮・展開部34が圧縮データを生成すると、データ管理部35は、当該圧縮データを記憶デバイス37に登録する(ステップS308)。
次に、データ管理部35は、圧縮したデータのメタデータに、データが圧縮されているか否かを示す圧縮フラグを立て、また記憶デバイス37における配置アドレス情報を圧縮データの格納先のアドレスに変更する(ステップS309)。このとき、ステップS305で結合した他のデータについても同様にメタデータの書き換えを行う。
データ管理部35は、メタデータの書き換えを行うと、記憶デバイス37から圧縮の対象となったデータを削除する(ステップS310)。また、配置制御部33は、長周期データリストから圧縮の対象となったデータを示す要素を削除する(ステップS311)。
データ管理部35が長周期データリストから要素の削除を行うと、ステップS302に戻り、再度長周期データリストの要素が空であるか否かの判定を行い、他のデータの圧縮処理を実行する。
ステップS302で配置制御部33が長周期データリストの要素が空であると判定すると、ステップS206による一定間隔以上の周期でアクセスされるデータの圧縮処理を終了する。
次に、上述したステップS207による一定期間以上アクセスされていないデータの圧縮処理について説明する。
図6は、一定期間以上アクセスされていないデータの圧縮処理の動作を示すフローチャートである。
まず、配置制御部33は、ステップS204で生成したメタデータのリストから、最終アクセス時刻からの経過時間が所定の閾値以上であるデータの集合を抽出し、当該集合を要素とする放置データリストを生成する(ステップS401)。つまり、一定間隔以上アクセスされていないデータのメタデータを要素とする放置データリストを生成する。
配置制御部33は、放置データリストを生成すると、当該放置データリストの要素が空であるか否かを判定する(ステップS402)。
配置制御部33は、放置データリストの要素が空でないと判定した場合(ステップS402:NO)、放置データリストに含まれる1つのメタデータからデータのサイズを読み出し、当該メタデータが属するデータのサイズが所定の閾値以上であるデータを抽出する(ステップS403)。
配置制御部33がデータのサイズが所定の閾値以上であるデータを抽出すると、圧縮・展開部34は、抽出したそれぞれのデータを圧縮し、圧縮データを生成する(ステップS404)。次に、データ管理部35は、当該圧縮データを記憶デバイス37に登録する(ステップS405)。
次に、データ管理部35は、圧縮したデータのメタデータに、データが圧縮されているか否かを示す圧縮フラグを立て、また記憶デバイス37における配置アドレス情報を圧縮データの格納先のアドレスに変更する(ステップS406)。
データ管理部35は、メタデータの書き換えを行うと、記憶デバイス37から圧縮の対象となったデータを削除する(ステップS407)。また、配置制御部33は、放置データリストから圧縮したデータを示す要素を削除する(ステップS408)。
次に、圧縮・展開部34は、放置データリストに含まれるメタデータが属するデータそれぞれの圧縮率を算出する(ステップS409)。圧縮率の算出は、データ圧縮を行い、圧縮前のサイズと圧縮後のサイズとの比率を求めることで行う。
次に、圧縮・展開部34は、放置データリストに含まれるメタデータが属するデータから2つのデータの組み合わせのパターンを全て抽出し、それぞれの組み合わせに対して、結合・圧縮した場合の圧縮率を算出する(ステップS410)。このとき、全ての組み合わせに対して結合・圧縮処理を行うと処理時間が掛かってしまうため、圧縮効率の改善が望めないような組み合わせの計算を省略しても良い。例えば、テキストデータと画像データの組み合わせなど、異なるフォーマットのデータ同士の組み合わせなどを除外しても良い。
圧縮・展開部34が全ての組み合わせに対して圧縮率を算出すると、配置制御部33は、それぞれの組み合わせの圧縮率が、結合前のそれぞれのデータ1つで圧縮したときの圧縮率より高くなる組み合わせを抽出する(ステップS411)。
配置制御部33が、圧縮率が高くなる組み合わせを抽出すると、圧縮・展開部34は、抽出した組み合わせに含まれないそれぞれのデータを圧縮し、圧縮データを生成する(ステップS412)。次に、データ管理部35は、当該圧縮データを記憶デバイス37に登録する(ステップS413)。
次に、データ管理部35は、圧縮したデータのメタデータに、データが圧縮されているか否かを示す圧縮フラグを立て、また記憶デバイス37における配置アドレス情報を圧縮データの格納先のアドレスに変更する(ステップS414)。
データ管理部35は、メタデータの書き換えを行うと、記憶デバイス37から圧縮の対象となったデータを削除する(ステップS415)。また、配置制御部33は、放置データリストから圧縮したデータを示す要素を削除する(ステップS416)。
次に、配置制御部33は、放置データリストに含まれるデータのうち、データサイズの合計が所定のサイズ以下になるような複数のデータを記憶デバイス37から読み出し、当該データの組み合わせを結合して1つの結合データを生成する(ステップS417)。このとき、結合するデータの選択方法として、ステップS410で抽出した組み合わせの集合から、あるデータを含む組み合わせの集合をさらに抽出し、当該集合に含まれるデータを選択して結合方法を用いることが望ましい。
圧縮・展開部34は、結合データを生成すると、当該結合データを圧縮し、圧縮データを生成する(ステップS418)。次に、データ管理部35は、当該圧縮データを記憶デバイス37に登録する(ステップS419)。
次に、データ管理部35は、圧縮したデータのメタデータに、データが圧縮されているか否かを示す圧縮フラグを立て、また記憶デバイス37における配置アドレス情報を圧縮データの格納先のアドレスに変更する(ステップS420)。このとき、ステップS417で結合した他のデータについても同様にメタデータの書き換えを行う。
データ管理部35は、メタデータの書き換えを行うと、記憶デバイス37から圧縮の対象となったデータを削除する(ステップS421)。また、配置制御部33は、放置データリストから圧縮の対象となったデータを示す要素を削除する(ステップS422)。
データ管理部35が放置データリストから要素の削除を行うと、当該放置データリストの要素が空であるか否かを再度判定する(ステップS423)。
配置制御部33は、放置データリストの要素が空でないと判定した場合(ステップS423:NO)、ステップS417に戻り、他のデータの結合・圧縮処理を実行する。
ステップS402またはステップS423で配置制御部33が長周期データリストの要素が空であると判定すると、ステップS207による一定期間以上アクセスされていないデータの圧縮処理を終了する。
次に、ストレージ装置30間でのデータ配置を制御する動作を説明する。
上述した処理によってストレージ装置30に格納されているデータの配置方法を変更すると、それぞれのストレージ装置30が格納するデータの量にばらつきが生じる。そこで、データ配置管理サーバ装置40は、定期的にストレージ装置30のデータ量の均等化処理を行う。
図7は、ストレージ装置30間でのデータ配置を制御する動作を示すシーケンス図である。
まず、データ配置管理サーバ装置40の配置制御部42は、ストレージ装置30の各々に対して記憶デバイス37の格納容量の通知要求を送信する(ステップS501)。
データ配置管理サーバ装置40が通知要求を送信すると、ストレージ装置30のリクエスト制御部31は、当該通知要求を受信する(ステップS502)。リクエスト制御部31が通知要求を受信すると、データ管理部35は、記憶デバイス37の格納容量を算出する(ステップS503)。
データ管理部35が格納容量を算出すると、リクエスト制御部31は、データ管理部35が算出した格納容量をデータ配置管理サーバ装置40に送信する(ステップS504)。
ストレージ装置30が格納容量を送信すると、データ配置管理サーバ装置40の配置制御部42は、格納容量の通知を受信する(ステップS505)。配置制御部42は、全てのストレージ装置30から格納容量の通知を受信すると、受信した通知が示す格納容量が最も小さいストレージ装置30と格納容量が最も大きいストレージ装置30とを抽出する(ステップS506)。ここでは、格納容量が最も大きいストレージ装置30がストレージ装置30−1、格納容量が最も小さいストレージ装置30がストレージ装置30−2であった場合を例に説明する。
配置制御部42は、ストレージ装置30−1、30−2を抽出すると、抽出したストレージ装置30−1、30−2の格納容量の平均値を算出する(ステップS507)。次に、配置制御部42は、格納容量が大きいストレージ装置30−1の格納容量から、算出した平均値を減算し、得られた値をストレージ装置30−2への移動容量として決定する(ステップS508)。
配置制御部42は、移動容量を決定すると、当該移動容量とストレージ装置30−2のアドレス情報とを含むデータ移動要求をストレージ装置30−1に送信する(ステップS509)。
データ配置管理サーバ装置40がデータ移動要求を送信すると、ストレージ装置30−1のリクエスト制御部31は、当該データ移動要求を受信する(ステップS510)。
リクエスト制御部31がデータ移動要求を受信すると、転送制御部32は、データ管理部35を介して記憶デバイス37が格納する全てのデータのメタデータを取得する(ステップS511)。次に、転送制御部32は、取得したメタデータからデータのサイズを読み出し、データ移動要求に含まれる移動容量を満たすデータ及び当該データのIDを記憶デバイス37から取得する(ステップS512)。このとき、転送制御部32は、圧縮フラグが立っているメタデータが属するデータ(すなわち圧縮データ)を優先的に取得すると良い。
次に、転送制御部32は、データ移動要求に含まれるアドレスが示すストレージ装置、すなわちストレージ装置30−2に、取得したデータ、当該データのID及び当該データのメタデータを転送する(ステップS513)。
転送が完了すると、リクエスト制御部31は、転送したデータのIDを含む移動完了通知をデータ配置管理サーバ装置40に送信する(ステップS514)。
ストレージ装置30−1が移動完了通知を送信すると、データ配置管理サーバ装置40の配置制御部42は、当該移動完了通知を受信する(ステップS515)。配置制御部42は、移動完了通知に含まれるデータのIDに関連付けて補助記憶装置に格納されているアドレス情報を、移動先のストレージ装置30−2のアドレス情報に書き換える(ステップS516)。
配置制御部42は、アドレス情報を書き換えると、ストレージ装置30−1に書き換え完了通知を送信する(ステップS517)。
データ配置管理サーバ装置40が書き換え完了通知を送信すると、ストレージ装置30−1のリクエスト制御部31は、書き換え完了通知を受信する(ステップS518)。リクエスト制御部31が書き換え完了通知を受信すると、転送制御部32は、データ管理部35を介して記憶デバイス37から転送を完了したデータを削除する(ステップS519)。
また、データ配置管理サーバ装置40の配置制御部42は、ステップS517で完了通知を送信すると、データ移動作業の対象となっていないストレージ装置30の有無を判定する(ステップS520)。
配置制御部42が、データ移動作業の対象となっていないストレージ装置30が有ると判定した場合(ステップS520:YES)、ステップS506に戻り、データ移動作業の対象となっていないストレージ装置30の中で格納容量が最も小さいストレージ装置30と格納容量が最も大きいストレージ装置30とを抽出し、以降の処理を継続する。
他方、配置制御部42が、データ移動作業の対象となっていないストレージ装置30が無いと判定した場合(ステップS520:NO)、ストレージシステムは、ストレージ装置30間でのデータ配置制御動作を終了する。
これにより、各ストレージ装置30で格納しているデータの格納容量のばらつきを抑えることができる。
このように、本実施形態によれば、ストレージ装置30の圧縮・展開部34が、データ圧縮条件を満たすデータを圧縮する。これにより、ハードウェア構成としての装置の機能的差を用いずにデータの格納コストを下げることができる。また、圧縮・展開部34は、データ圧縮条件を満たすデータのうち、サイズが所定の閾値未満となる複数のデータを1つの結合データに結合してから圧縮を行う。このように、サイズの小さいデータを結合してから圧縮を行うことで圧縮効率を高め、データの格納コストを下げることができる。
なお、本実施形態では、アクセス頻度が低いデータを圧縮する方法を説明したが、圧縮したデータへのアクセス頻度が高くなった場合にデータを展開して記憶デバイスに格納するようにする処理を行うとなお良い。
例えば、配置制御部33は、アクセス回数が所定の閾値以上であり、かつアクセス間隔の代表値が所定の閾値以下であり、かつアクセス間隔の散布度が所定の閾値以下である圧縮データ、及びアクセス間隔の散布度が所定の閾値以上であり、かつ最終アクセス時刻からの経過時間が所定の閾値以下である圧縮データを展開して記憶デバイスに格納するようにすると良い。
以上、図面を参照してこの発明の一実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
上述のストレージ装置30は内部に、コンピュータシステムを有している。そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、CD−ROM、DVD−ROM、半導体メモリ等をいう。また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。
また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル(差分プログラム)であっても良い。
10…クライアント装置 20…ネットワーク 30、30−1〜30−N…ストレージ装置 31…リクエスト制御部 32…転送制御部 33…配置制御部 34…圧縮・展開部 35…データ管理部 36…状態・履歴管理部 37…記憶デバイス 40…データ配置管理サーバ装置 41…名前管理部 42…配置制御部

Claims (12)

  1. 少なくとも1つのストレージ装置を備えるストレージシステムであって、
    前記ストレージ装置は、
    データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部と、
    前記アクセスログ記憶部からアクセスログを読み出すログ読み出し部と、
    前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部と、
    前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータを1つの結合データに結合する結合部と、
    前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部と、
    を備え
    前記データ圧縮条件は、アクセス回数が所定の閾値以上であり、かつアクセス間隔の代表値が所定の閾値以上であり、かつアクセス間隔の散布度が所定の閾値以下であることを示す条件である
    ことを特徴とするストレージシステム。
  2. 少なくとも1つのストレージ装置を備えるストレージシステムであって、
    前記ストレージ装置は、
    データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻と当該データへのアクセスを行ったアプリケーションまたはユーザの識別情報を関連付けて格納するアクセスログを記憶するログ記憶部と、
    前記アクセスログ記憶部からアクセスログを読み出すログ読み出し部と、
    前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部と、
    前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、前記アクセスログが示す前記アプリケーションまたはユーザの識別情報が同一となるデータの組み合わせを1つの結合データに結合する結合部と、
    前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部と、
    を備えることを特徴とするストレージシステム。
  3. 少なくとも1つのストレージ装置を備えるストレージシステムであって、
    前記ストレージ装置は、
    データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部と、
    前記アクセスログ記憶部からアクセスログを読み出すログ読み出し部と、
    前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部と、
    前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、当該複数のデータを結合して圧縮した場合の圧縮率が、結合前のそれぞれのデータを圧縮した場合の圧縮率より高くなるデータの組み合わせを、1つの結合データに結合する結合部と、
    前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部と、
    を備えることを特徴とするストレージシステム。
  4. 前記データ圧縮条件は、最終アクセス時刻からの経過時間が所定の閾値以上であることを示す条件である
    ことを特徴とする請求項2または請求項3に記載のストレージシステム。
  5. 前記ストレージ装置を2つ以上備え、
    当該ストレージ装置間でのデータの格納容量に所定の閾値以上の差がある場合に、データの格納容量が多い方のストレージ装置のデータを他方のストレージ装置に転送する
    ことを特徴とする請求項1から請求項4の何れか1項に記載のストレージシステム。
  6. 前記データ転送元のストレージ装置は、前記圧縮部が圧縮を行ったデータを優先的に転送する
    ことを特徴とする請求項5に記載のストレージシステム。
  7. データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を少なくとも1つ備えるストレージシステムの管理方法であって、
    前記ストレージ装置のログ読み出し部は、前記アクセスログ記憶部からアクセスログを読み出し、
    前記ストレージ装置の同定部は、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中から、アクセス回数が所定の閾値以上であり、かつアクセス間隔の代表値が所定の閾値以上であり、かつアクセス間隔の散布度が所定の閾値以下であることを示す条件であるデータ圧縮条件を満たすデータを同定し、
    前記ストレージ装置の結合部は、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータを1つの結合データに結合し、
    前記ストレージ装置の圧縮部は、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する
    ことを特徴とする管理方法。
  8. データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻と当該データへのアクセスを行ったアプリケーションまたはユーザの識別情報を関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を少なくとも1つ備えるストレージシステムの管理方法であって、
    前記ストレージ装置のログ読み出し部は、前記アクセスログ記憶部からアクセスログを読み出し、
    前記ストレージ装置の同定部は、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定し、
    前記ストレージ装置の結合部は、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、前記アクセスログが示す前記アプリケーションまたはユーザの識別情報が同一となるデータの組み合わせを1つの結合データに結合し、
    前記ストレージ装置の圧縮部は、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する
    ことを特徴とする管理方法。
  9. データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を少なくとも1つ備えるストレージシステムの管理方法であって、
    前記ストレージ装置のログ読み出し部は、前記アクセスログ記憶部からアクセスログを読み出し、
    前記ストレージ装置の同定部は、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定し、
    前記ストレージ装置の結合部は、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、当該複数のデータを結合して圧縮した場合の圧縮率が、結合前のそれぞれのデータを圧縮した場合の圧縮率より高くなるデータの組み合わせを、1つの結合データに結合し、
    前記ストレージ装置の圧縮部は、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する
    ことを特徴とする管理方法。
  10. データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を、
    前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中から、アクセス回数が所定の閾値以上であり、かつアクセス間隔の代表値が所定の閾値以上であり、かつアクセス間隔の散布度が所定の閾値以下であることを示す条件であるデータ圧縮条件を満たすデータを同定する同定部、
    前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータを1つの結合データに結合する結合部、
    前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部
    として機能させるためのプログラム。
  11. データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻と当該データへのアクセスを行ったアプリケーションまたはユーザの識別情報を関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を、
    前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部、
    前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、前記アクセスログが示す前記アプリケーションまたはユーザの識別情報が同一となるデータの組み合わせを1つの結合データに結合する結合部、
    前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部
    として機能させるためのプログラム。
  12. データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を、
    前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部、
    前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、当該複数のデータを結合して圧縮した場合の圧縮率が、結合前のそれぞれのデータを圧縮した場合の圧縮率より高くなるデータの組み合わせを、1つの結合データに結合する結合部、
    前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部
    として機能させるためのプログラム。
JP2009197221A 2009-08-27 2009-08-27 ストレージシステム、管理方法及びプログラム Active JP5621229B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2009197221A JP5621229B2 (ja) 2009-08-27 2009-08-27 ストレージシステム、管理方法及びプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2009197221A JP5621229B2 (ja) 2009-08-27 2009-08-27 ストレージシステム、管理方法及びプログラム

Publications (2)

Publication Number Publication Date
JP2011048679A JP2011048679A (ja) 2011-03-10
JP5621229B2 true JP5621229B2 (ja) 2014-11-12

Family

ID=43834915

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2009197221A Active JP5621229B2 (ja) 2009-08-27 2009-08-27 ストレージシステム、管理方法及びプログラム

Country Status (1)

Country Link
JP (1) JP5621229B2 (ja)

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2510523B (en) 2011-12-22 2014-12-10 Ibm Storage device access system
WO2014188528A1 (ja) 2013-05-22 2014-11-27 株式会社日立製作所 メモリ装置、計算機システム及びメモリ装置の制御方法
KR101663547B1 (ko) 2016-02-26 2016-10-07 주식회사 아미크 데이터베이스의 아카이빙 방법 및 장치, 아카이빙된 데이터베이스의 검색 방법 및 장치
US9936019B2 (en) 2016-03-16 2018-04-03 Google Llc Efficient live-migration of remotely accessed data
JP6794782B2 (ja) 2016-11-02 2020-12-02 富士通株式会社 情報処理装置、情報処理プログラム、及び情報処理方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH07325741A (ja) * 1994-05-30 1995-12-12 Nec Corp データベースデータ管理制御方式
JP4077907B2 (ja) * 1997-08-04 2008-04-23 富士通株式会社 計算機のデータバックアップ装置及びデータバックアップ方法並びにデータバックアッププログラムを記録したコンピュータ読み取り可能な記録媒体
JP2003337822A (ja) * 2002-05-21 2003-11-28 Fujitsu Ltd 圧縮検索アーカイブ処理方法,圧縮検索アーカイブ処理プログラムおよびそのプログラムの記録媒体
JP2005005903A (ja) * 2003-06-10 2005-01-06 Ricoh Co Ltd データ処理システム
JP3713666B2 (ja) * 2004-01-13 2005-11-09 理明 中川 ファイルシステムイメージの圧縮方法及びプログラム
JP2007316995A (ja) * 2006-05-26 2007-12-06 Hitachi Ltd 記憶システム及びデータ管理方法
JP2008225686A (ja) * 2007-03-09 2008-09-25 Nec Corp 分散型データ処理プラットフォームにおけるデータ配置管理装置と方法、システム及びプログラム
JP2009053961A (ja) * 2007-08-27 2009-03-12 Daiwa Securities Group Inc ファイル検索システム

Also Published As

Publication number Publication date
JP2011048679A (ja) 2011-03-10

Similar Documents

Publication Publication Date Title
WO2014087508A1 (ja) ストレージシステム及びストレージシステムの制御方法
KR101767710B1 (ko) 폐기가능 파일들의 카드-기반 관리
EP3153987B1 (en) Duplicate data deletion method and device
JP5313600B2 (ja) ストレージシステム、及びストレージシステムの運用方法
JP5621229B2 (ja) ストレージシステム、管理方法及びプログラム
JP6011349B2 (ja) ストレージ装置、およびデータ圧縮方法
JP2012089094A5 (ja)
JP2007042034A (ja) 計算機システム、管理計算機及び論理記憶領域の管理方法
KR20110107800A (ko) 폐기 가능 파일
JP5464269B2 (ja) ファイルストレージ装置、データ格納方法およびデータ格納プログラム
KR20110127636A (ko) 폐기 가능 파일의 다운로드 관리 방법
CN103197987A (zh) 一种数据备份的方法、数据恢复的方法及系统
JP5470974B2 (ja) 分散ファイルシステム及び分散ファイル格納方法
US20140320498A1 (en) Terminal device, information processing method, and computer program product
CN112817962A (zh) 基于对象存储的数据存储方法、装置和计算机设备
JP5504936B2 (ja) ストレージ装置およびデータ格納制御方法
JP2011170665A (ja) ストレージシステム
JP5494817B2 (ja) ストレージシステム、データ管理装置、方法及びプログラム
JP2014203284A (ja) 診療記録管理システム及びプログラム
US9858963B2 (en) Storage device, computer-readable nonvolatile storage medium to store control program of storage device, and control method of storage device
JP2009053961A (ja) ファイル検索システム
JP6291937B2 (ja) ブロックストレージ、ストレージシステム、コンピュータシステム、ブロックストレージ制御方法、ストレージシステム制御方法およびプログラム
JP6193491B2 (ja) 計算機システム
JP2010218235A (ja) アーカイブ装置、分散管理装置および分散管理プログラム
JP2017174265A (ja) 制御装置、記憶装置、記憶制御方法およびコンピュータプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20120709

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20130920

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20131001

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20131127

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140304

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140424

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140826

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140908

R150 Certificate of patent or registration of utility model

Ref document number: 5621229

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150