JP5621229B2 - ストレージシステム、管理方法及びプログラム - Google Patents
ストレージシステム、管理方法及びプログラム Download PDFInfo
- Publication number
- JP5621229B2 JP5621229B2 JP2009197221A JP2009197221A JP5621229B2 JP 5621229 B2 JP5621229 B2 JP 5621229B2 JP 2009197221 A JP2009197221 A JP 2009197221A JP 2009197221 A JP2009197221 A JP 2009197221A JP 5621229 B2 JP5621229 B2 JP 5621229B2
- Authority
- JP
- Japan
- Prior art keywords
- data
- unit
- storage
- log
- access
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F12/00—Accessing, addressing or allocating within memory systems or architectures
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
- G06F3/06—Digital input from, or digital output to, record carriers, e.g. RAID, emulated record carriers or networked record carriers
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Human Computer Interaction (AREA)
Description
また、階層ストレージ管理を用いたストレージシステムを運用する場合、それぞれのストレージ装置の性能が異なるため、それぞれのストレージ装置の性能に見合ったデータ配置の管理をする必要があり、管理が複雑になってしまうという問題があった。
そのため、装置の機能的差を用いずにデータの格納コストを下げる方法が求められていた。
本発明は上記の点に鑑みてなされたものであり、その目的は、ハードウェア構成としての装置の機能的差を用いずにデータの格納コストを下げることができるストレージシステムを提供することにある。
また、本発明は、少なくとも1つのストレージ装置を備えるストレージシステムであって、前記ストレージ装置は、データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻と当該データへのアクセスを行ったアプリケーションまたはユーザの識別情報を関連付けて格納するアクセスログを記憶するログ記憶部と、前記アクセスログ記憶部からアクセスログを読み出すログ読み出し部と、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部と、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、前記アクセスログが示す前記アプリケーションまたはユーザの識別情報が同一となるデータの組み合わせを1つの結合データに結合する結合部と、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部と、を備えることを特徴とする。
また、本発明は、少なくとも1つのストレージ装置を備えるストレージシステムであって、前記ストレージ装置は、データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部と、前記アクセスログ記憶部からアクセスログを読み出すログ読み出し部と、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部と、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、当該複数のデータを結合して圧縮した場合の圧縮率が、結合前のそれぞれのデータを圧縮した場合の圧縮率より高くなるデータの組み合わせを、1つの結合データに結合する結合部と、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部と、を備えることを特徴とする。
また、本発明は、データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻と当該データへのアクセスを行ったアプリケーションまたはユーザの識別情報を関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を少なくとも1つ備えるストレージシステムの管理方法であって、前記ストレージ装置のログ読み出し部は、前記アクセスログ記憶部からアクセスログを読み出し、前記ストレージ装置の同定部は、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定し、前記ストレージ装置の結合部は、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、前記アクセスログが示す前記アプリケーションまたはユーザの識別情報が同一となるデータの組み合わせを1つの結合データに結合し、前記ストレージ装置の圧縮部は、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮することを特徴とする。
また、本発明は、データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を少なくとも1つ備えるストレージシステムの管理方法であって、前記ストレージ装置のログ読み出し部は、前記アクセスログ記憶部からアクセスログを読み出し、前記ストレージ装置の同定部は、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定し、前記ストレージ装置の結合部は、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、当該複数のデータを結合して圧縮した場合の圧縮率が、結合前のそれぞれのデータを圧縮した場合の圧縮率より高くなるデータの組み合わせを、1つの結合データに結合し、前記ストレージ装置の圧縮部は、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮することを特徴とする。
また、本発明は、データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻と当該データへのアクセスを行ったアプリケーションまたはユーザの識別情報を関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、前記アクセスログが示す前記アプリケーションまたはユーザの識別情報が同一となるデータの組み合わせを1つの結合データに結合する結合部、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部として機能させるためのプログラムである。
また、本発明は、データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、当該複数のデータを結合して圧縮した場合の圧縮率が、結合前のそれぞれのデータを圧縮した場合の圧縮率より高くなるデータの組み合わせを、1つの結合データに結合する結合部、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部として機能させるためのプログラムである。
図1は、本発明の一実施形態によるストレージシステムの構成を示す概略ブロック図である。
本実施形態によるストレージシステムは、クライアント装置10、複数のストレージ装置30−1〜30−N(以下、総称してストレージ装置30と呼ぶ)、データ配置管理サーバ装置40を備える。これらの装置は、ネットワーク20を介して相互に接続されている。
クライアント装置10は、ストレージ装置30へのデータの新規登録並びにストレージ装置30のデータの読み込み及び書き込みを行う指示(アクセス要求)を出力する。
ストレージ装置30は、クライアント装置10から転送されたデータを格納する。
データ配置管理サーバ装置40は、ストレージ装置30が格納するデータの配置を管理する。
リクエスト制御部31は、ネットワーク20を介してストレージ装置30に入力されるデータ処理要求の受信及びデータ処理要求に対する応答の送信を行う。
転送制御部32は、記憶デバイス37が格納するデータを他のストレージ装置30に転送する。
配置制御部33は、記憶デバイス37が格納するデータの配置管理方法の変更を制御する。
圧縮・展開部34は、記憶デバイス37が格納するデータの結合・圧縮・展開を行う。
データ管理部35は、記憶デバイス37に格納されているデータの配置管理を行う。
状態・履歴管理部36は、クライアント装置10からのデータアクセスの履歴やデータの利用状況を図示しない補助記憶装置に格納されたアクセスログに記録する。
名前管理部41は、複数のストレージ装置30の中からデータの格納先を決定し、当該データを特定するIDとデータの格納先となるストレージ装置30のアドレス情報とを関連付けて図示しない補助記憶装置に記録する。
配置制御部42は、複数のストレージ装置30の間でデータの配置変更を行う際、配置変更対象となるデータと当該データの配置先を制御する。
次に、圧縮・展開部34は、配置制御部33が同定したデータのうちサイズが所定の閾値未満となる複数のデータを1つの結合データに結合し、また、圧縮・展開部34は、配置制御部33が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合した結合データを圧縮する。
これにより、ハードウェア構成としての装置の機能的差を用いずにデータの格納コストを下げることができる。
まず、クライアント装置10がストレージ装置30にデータを登録する際の動作を説明する。
図2は、ストレージ装置30にデータを登録する際の動作を示すシーケンス図である。
まず、ユーザの操作によってクライアント装置10から、データ配置管理サーバ装置40に対して新規に登録するデータを特定するIDを含むデータ登録要求を送信する(ステップS1)。このとき、データのIDとして例えばファイル名等を用いると良い。
また、データの格納が完了すると、状態・履歴管理部36は、処理内容(ここでは新規データ書き込み処理)及びアクセス時刻の情報を、アクセス要求の発行元を示す情報(例えば、クライアント装置10のアドレス情報、またはクライアント装置10においてアクセス要求を発行したアプリケーションもしくはユーザのIDなど)に関連付けて内部メモリに格納されているアクセスログに追記する(ステップS12)。なお、ここでアクセス時刻とは、クライアント装置10からのアクセスを受け付けた日付及び時刻を指すものとする。
なお、状態・履歴管理部36は、アクセスログの情報量が所定の量に達すると、または所定の期間が経過すると、アクセスログを内部メモリから記憶デバイス37に移動させる。
図3は、ストレージ装置30のデータにアクセスする際の動作を示すシーケンス図である。
まず、ユーザの操作によってクライアント装置10から、データ配置管理サーバ装置40に対して、データを特定するIDを含むデータアクセス要求を送信する(ステップS101)。アクセス要求の内容としては、例えば、データの更新処理、読み出し処理等の各種データ処理内容が挙げられる。クライアント装置10がデータアクセス要求を送信すると、データ配置管理サーバ装置40の名前管理部41は、データアクセス要求を受信する(ステップS102)。次に、名前管理部41は、補助記憶装置から受信したデータアクセス要求に含まれるIDに関連付けられたストレージ装置30のアドレス情報を読み出す(ステップS103)。次に、名前管理部41は、データのIDと読み出したアドレス情報とをクライアント装置10に送信する(ステップS104)。
ステップS111、またはステップS112で配置制御部33がアクセス対象のデータを取得すると、リクエスト制御部31は、配置制御部33が取得したデータをクライアント装置10に送信する(ステップS113)。
また、データアクセス要求が、結合後に圧縮されていたデータに対する更新処理の要求であった場合、データ管理部35は、書き換えられたデータを他のデータと結合・圧縮せず、それぞれのデータをそのまま記憶デバイス37に登録しても良いし、圧縮・展開部34を介して結合・圧縮したデータを記憶デバイス37に登録しても良い。また、データ管理部35は、書き換えられたデータを結合・圧縮せずにそのまま記憶デバイス37に登録し、書き換えられたデータ以外のデータを結合・圧縮して記憶デバイス37に登録するようにしても良い。
なお、状態・履歴管理部36は、アクセスログの情報量が所定の量に達すると、または所定の期間が経過すると、アクセスログを内部メモリから記憶デバイス37に移動させる。
図4は、ストレージ装置30に格納されているデータの配置方法を変更する動作を示すフローチャートである。
ストレージ装置30の配置制御部33は、定期的に状態・履歴管理部36の内部メモリ及び記憶デバイス37に格納されているアクセスログを読み出す(ステップS201)。次に、配置制御部33は、読み出したアクセスログから各データの最終アクセス時刻、並びに各データのアクセス処理の発生間隔の散布度及び代表値を算出する(ステップS202)。ここで、散布度としては、例えば、標準偏差、分散、四分位範囲などを用いると良い。また、代表値としては、例えば、平均値、中央値、最頻値などを用いると良い。
配置制御部33は、一定間隔以上の周期でアクセスされるデータの圧縮処理を終えると、次に、一定期間以上アクセスされていないデータの圧縮処理を行う(ステップS207)。なお、一定間隔以上の周期でアクセスされるデータの圧縮処理の詳細な動作については後述する。
これにより、記憶デバイス37に格納されるデータのうち、アクセス頻度が低いデータを圧縮することができる。つまり、アクセス頻度が低いデータの格納コストを下げることができる。
図5は、一定間隔以上の周期でアクセスされるデータの圧縮処理の動作を示すフローチャートである。
まず、配置制御部33は、ステップS204で生成したメタデータのリストから、アクセス回数が所定の閾値以上であり、かつアクセス間隔の代表値が所定の閾値以上であり、かつアクセス間隔の散布度が所定の閾値以下であるデータの集合を抽出し、当該集合を要素とする長周期データリストを生成する(ステップS301)。つまり、一定間隔以上の周期でアクセスされるデータのメタデータを要素とする長周期データリストを生成する。
配置制御部33は、長周期データリストの要素が空でないと判定した場合(ステップS302:NO)、長周期データリストに含まれる1つのメタデータからデータのサイズを読み出し、当該メタデータが属するデータのサイズが所定の閾値以上であるか否かを判定する(ステップS303)。
配置制御部33が、アクセス要求の発行元が同一となる他のデータがあると判定した場合(ステップS304:YES)、圧縮・展開部34は、アクセス要求の発行元が同一となるデータを記憶デバイス37から読み出し、当該データの組み合わせを結合して1つの結合データを生成する(ステップS305)。このとき、データの結合方法としては、例えば、tarアーカイブなどのフォーマットを用いて結合しても良いし、または単純にデータを結合することで結合データを生成し、分離時のためにそれぞれのデータの結合位置(例えば、オフセットとレングスの情報)をメタデータに書き込むようにしても良い。
圧縮・展開部34は、結合データを生成すると、当該結合データを圧縮し、圧縮データを生成する(ステップS306)。
ステップS306またはステップS307で圧縮・展開部34が圧縮データを生成すると、データ管理部35は、当該圧縮データを記憶デバイス37に登録する(ステップS308)。
データ管理部35は、メタデータの書き換えを行うと、記憶デバイス37から圧縮の対象となったデータを削除する(ステップS310)。また、配置制御部33は、長周期データリストから圧縮の対象となったデータを示す要素を削除する(ステップS311)。
データ管理部35が長周期データリストから要素の削除を行うと、ステップS302に戻り、再度長周期データリストの要素が空であるか否かの判定を行い、他のデータの圧縮処理を実行する。
ステップS302で配置制御部33が長周期データリストの要素が空であると判定すると、ステップS206による一定間隔以上の周期でアクセスされるデータの圧縮処理を終了する。
図6は、一定期間以上アクセスされていないデータの圧縮処理の動作を示すフローチャートである。
まず、配置制御部33は、ステップS204で生成したメタデータのリストから、最終アクセス時刻からの経過時間が所定の閾値以上であるデータの集合を抽出し、当該集合を要素とする放置データリストを生成する(ステップS401)。つまり、一定間隔以上アクセスされていないデータのメタデータを要素とする放置データリストを生成する。
配置制御部33は、放置データリストの要素が空でないと判定した場合(ステップS402:NO)、放置データリストに含まれる1つのメタデータからデータのサイズを読み出し、当該メタデータが属するデータのサイズが所定の閾値以上であるデータを抽出する(ステップS403)。
データ管理部35は、メタデータの書き換えを行うと、記憶デバイス37から圧縮の対象となったデータを削除する(ステップS407)。また、配置制御部33は、放置データリストから圧縮したデータを示す要素を削除する(ステップS408)。
次に、圧縮・展開部34は、放置データリストに含まれるメタデータが属するデータから2つのデータの組み合わせのパターンを全て抽出し、それぞれの組み合わせに対して、結合・圧縮した場合の圧縮率を算出する(ステップS410)。このとき、全ての組み合わせに対して結合・圧縮処理を行うと処理時間が掛かってしまうため、圧縮効率の改善が望めないような組み合わせの計算を省略しても良い。例えば、テキストデータと画像データの組み合わせなど、異なるフォーマットのデータ同士の組み合わせなどを除外しても良い。
配置制御部33が、圧縮率が高くなる組み合わせを抽出すると、圧縮・展開部34は、抽出した組み合わせに含まれないそれぞれのデータを圧縮し、圧縮データを生成する(ステップS412)。次に、データ管理部35は、当該圧縮データを記憶デバイス37に登録する(ステップS413)。
データ管理部35は、メタデータの書き換えを行うと、記憶デバイス37から圧縮の対象となったデータを削除する(ステップS415)。また、配置制御部33は、放置データリストから圧縮したデータを示す要素を削除する(ステップS416)。
圧縮・展開部34は、結合データを生成すると、当該結合データを圧縮し、圧縮データを生成する(ステップS418)。次に、データ管理部35は、当該圧縮データを記憶デバイス37に登録する(ステップS419)。
データ管理部35は、メタデータの書き換えを行うと、記憶デバイス37から圧縮の対象となったデータを削除する(ステップS421)。また、配置制御部33は、放置データリストから圧縮の対象となったデータを示す要素を削除する(ステップS422)。
配置制御部33は、放置データリストの要素が空でないと判定した場合(ステップS423:NO)、ステップS417に戻り、他のデータの結合・圧縮処理を実行する。
ステップS402またはステップS423で配置制御部33が長周期データリストの要素が空であると判定すると、ステップS207による一定期間以上アクセスされていないデータの圧縮処理を終了する。
上述した処理によってストレージ装置30に格納されているデータの配置方法を変更すると、それぞれのストレージ装置30が格納するデータの量にばらつきが生じる。そこで、データ配置管理サーバ装置40は、定期的にストレージ装置30のデータ量の均等化処理を行う。
まず、データ配置管理サーバ装置40の配置制御部42は、ストレージ装置30の各々に対して記憶デバイス37の格納容量の通知要求を送信する(ステップS501)。
データ配置管理サーバ装置40が通知要求を送信すると、ストレージ装置30のリクエスト制御部31は、当該通知要求を受信する(ステップS502)。リクエスト制御部31が通知要求を受信すると、データ管理部35は、記憶デバイス37の格納容量を算出する(ステップS503)。
データ管理部35が格納容量を算出すると、リクエスト制御部31は、データ管理部35が算出した格納容量をデータ配置管理サーバ装置40に送信する(ステップS504)。
配置制御部42は、ストレージ装置30−1、30−2を抽出すると、抽出したストレージ装置30−1、30−2の格納容量の平均値を算出する(ステップS507)。次に、配置制御部42は、格納容量が大きいストレージ装置30−1の格納容量から、算出した平均値を減算し、得られた値をストレージ装置30−2への移動容量として決定する(ステップS508)。
データ配置管理サーバ装置40がデータ移動要求を送信すると、ストレージ装置30−1のリクエスト制御部31は、当該データ移動要求を受信する(ステップS510)。
転送が完了すると、リクエスト制御部31は、転送したデータのIDを含む移動完了通知をデータ配置管理サーバ装置40に送信する(ステップS514)。
配置制御部42は、アドレス情報を書き換えると、ストレージ装置30−1に書き換え完了通知を送信する(ステップS517)。
データ配置管理サーバ装置40が書き換え完了通知を送信すると、ストレージ装置30−1のリクエスト制御部31は、書き換え完了通知を受信する(ステップS518)。リクエスト制御部31が書き換え完了通知を受信すると、転送制御部32は、データ管理部35を介して記憶デバイス37から転送を完了したデータを削除する(ステップS519)。
配置制御部42が、データ移動作業の対象となっていないストレージ装置30が有ると判定した場合(ステップS520:YES)、ステップS506に戻り、データ移動作業の対象となっていないストレージ装置30の中で格納容量が最も小さいストレージ装置30と格納容量が最も大きいストレージ装置30とを抽出し、以降の処理を継続する。
他方、配置制御部42が、データ移動作業の対象となっていないストレージ装置30が無いと判定した場合(ステップS520:NO)、ストレージシステムは、ストレージ装置30間でのデータ配置制御動作を終了する。
これにより、各ストレージ装置30で格納しているデータの格納容量のばらつきを抑えることができる。
例えば、配置制御部33は、アクセス回数が所定の閾値以上であり、かつアクセス間隔の代表値が所定の閾値以下であり、かつアクセス間隔の散布度が所定の閾値以下である圧縮データ、及びアクセス間隔の散布度が所定の閾値以上であり、かつ最終アクセス時刻からの経過時間が所定の閾値以下である圧縮データを展開して記憶デバイスに格納するようにすると良い。
Claims (12)
- 少なくとも1つのストレージ装置を備えるストレージシステムであって、
前記ストレージ装置は、
データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部と、
前記アクセスログ記憶部からアクセスログを読み出すログ読み出し部と、
前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部と、
前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータを1つの結合データに結合する結合部と、
前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部と、
を備え、
前記データ圧縮条件は、アクセス回数が所定の閾値以上であり、かつアクセス間隔の代表値が所定の閾値以上であり、かつアクセス間隔の散布度が所定の閾値以下であることを示す条件である
ことを特徴とするストレージシステム。 - 少なくとも1つのストレージ装置を備えるストレージシステムであって、
前記ストレージ装置は、
データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻と当該データへのアクセスを行ったアプリケーションまたはユーザの識別情報を関連付けて格納するアクセスログを記憶するログ記憶部と、
前記アクセスログ記憶部からアクセスログを読み出すログ読み出し部と、
前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部と、
前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、前記アクセスログが示す前記アプリケーションまたはユーザの識別情報が同一となるデータの組み合わせを1つの結合データに結合する結合部と、
前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部と、
を備えることを特徴とするストレージシステム。 - 少なくとも1つのストレージ装置を備えるストレージシステムであって、
前記ストレージ装置は、
データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部と、
前記アクセスログ記憶部からアクセスログを読み出すログ読み出し部と、
前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部と、
前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、当該複数のデータを結合して圧縮した場合の圧縮率が、結合前のそれぞれのデータを圧縮した場合の圧縮率より高くなるデータの組み合わせを、1つの結合データに結合する結合部と、
前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部と、
を備えることを特徴とするストレージシステム。 - 前記データ圧縮条件は、最終アクセス時刻からの経過時間が所定の閾値以上であることを示す条件である
ことを特徴とする請求項2または請求項3に記載のストレージシステム。 - 前記ストレージ装置を2つ以上備え、
当該ストレージ装置間でのデータの格納容量に所定の閾値以上の差がある場合に、データの格納容量が多い方のストレージ装置のデータを他方のストレージ装置に転送する
ことを特徴とする請求項1から請求項4の何れか1項に記載のストレージシステム。 - 前記データ転送元のストレージ装置は、前記圧縮部が圧縮を行ったデータを優先的に転送する
ことを特徴とする請求項5に記載のストレージシステム。 - データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を少なくとも1つ備えるストレージシステムの管理方法であって、
前記ストレージ装置のログ読み出し部は、前記アクセスログ記憶部からアクセスログを読み出し、
前記ストレージ装置の同定部は、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中から、アクセス回数が所定の閾値以上であり、かつアクセス間隔の代表値が所定の閾値以上であり、かつアクセス間隔の散布度が所定の閾値以下であることを示す条件であるデータ圧縮条件を満たすデータを同定し、
前記ストレージ装置の結合部は、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータを1つの結合データに結合し、
前記ストレージ装置の圧縮部は、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する
ことを特徴とする管理方法。 - データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻と当該データへのアクセスを行ったアプリケーションまたはユーザの識別情報を関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を少なくとも1つ備えるストレージシステムの管理方法であって、
前記ストレージ装置のログ読み出し部は、前記アクセスログ記憶部からアクセスログを読み出し、
前記ストレージ装置の同定部は、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定し、
前記ストレージ装置の結合部は、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、前記アクセスログが示す前記アプリケーションまたはユーザの識別情報が同一となるデータの組み合わせを1つの結合データに結合し、
前記ストレージ装置の圧縮部は、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する
ことを特徴とする管理方法。 - データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を少なくとも1つ備えるストレージシステムの管理方法であって、
前記ストレージ装置のログ読み出し部は、前記アクセスログ記憶部からアクセスログを読み出し、
前記ストレージ装置の同定部は、前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定し、
前記ストレージ装置の結合部は、前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、当該複数のデータを結合して圧縮した場合の圧縮率が、結合前のそれぞれのデータを圧縮した場合の圧縮率より高くなるデータの組み合わせを、1つの結合データに結合し、
前記ストレージ装置の圧縮部は、前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する
ことを特徴とする管理方法。 - データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を、
前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中から、アクセス回数が所定の閾値以上であり、かつアクセス間隔の代表値が所定の閾値以上であり、かつアクセス間隔の散布度が所定の閾値以下であることを示す条件であるデータ圧縮条件を満たすデータを同定する同定部、
前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータを1つの結合データに結合する結合部、
前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部
として機能させるためのプログラム。 - データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻と当該データへのアクセスを行ったアプリケーションまたはユーザの識別情報を関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を、
前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部、
前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、前記アクセスログが示す前記アプリケーションまたはユーザの識別情報が同一となるデータの組み合わせを1つの結合データに結合する結合部、
前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部
として機能させるためのプログラム。 - データ記憶部が記憶するデータの識別情報と当該データへのアクセス時刻とを関連付けて格納するアクセスログを記憶するログ記憶部を備えるストレージ装置を、
前記ログ読み出し部が読み出したアクセスログが示すアクセス時刻に基づいて、前記データ記憶部が記憶するデータの中からデータ圧縮条件を満たすデータを同定する同定部、
前記同定部が同定したデータのうちサイズが所定の閾値未満となる複数のデータであって、当該複数のデータを結合して圧縮した場合の圧縮率が、結合前のそれぞれのデータを圧縮した場合の圧縮率より高くなるデータの組み合わせを、1つの結合データに結合する結合部、
前記同定部が同定したデータのうちサイズが所定の閾値以上となるデータ、及び前記結合部が結合した結合データを圧縮する圧縮部
として機能させるためのプログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009197221A JP5621229B2 (ja) | 2009-08-27 | 2009-08-27 | ストレージシステム、管理方法及びプログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2009197221A JP5621229B2 (ja) | 2009-08-27 | 2009-08-27 | ストレージシステム、管理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2011048679A JP2011048679A (ja) | 2011-03-10 |
JP5621229B2 true JP5621229B2 (ja) | 2014-11-12 |
Family
ID=43834915
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2009197221A Active JP5621229B2 (ja) | 2009-08-27 | 2009-08-27 | ストレージシステム、管理方法及びプログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5621229B2 (ja) |
Families Citing this family (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB2510523B (en) | 2011-12-22 | 2014-12-10 | Ibm | Storage device access system |
WO2014188528A1 (ja) | 2013-05-22 | 2014-11-27 | 株式会社日立製作所 | メモリ装置、計算機システム及びメモリ装置の制御方法 |
KR101663547B1 (ko) | 2016-02-26 | 2016-10-07 | 주식회사 아미크 | 데이터베이스의 아카이빙 방법 및 장치, 아카이빙된 데이터베이스의 검색 방법 및 장치 |
US9936019B2 (en) | 2016-03-16 | 2018-04-03 | Google Llc | Efficient live-migration of remotely accessed data |
JP6794782B2 (ja) | 2016-11-02 | 2020-12-02 | 富士通株式会社 | 情報処理装置、情報処理プログラム、及び情報処理方法 |
Family Cites Families (8)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPH07325741A (ja) * | 1994-05-30 | 1995-12-12 | Nec Corp | データベースデータ管理制御方式 |
JP4077907B2 (ja) * | 1997-08-04 | 2008-04-23 | 富士通株式会社 | 計算機のデータバックアップ装置及びデータバックアップ方法並びにデータバックアッププログラムを記録したコンピュータ読み取り可能な記録媒体 |
JP2003337822A (ja) * | 2002-05-21 | 2003-11-28 | Fujitsu Ltd | 圧縮検索アーカイブ処理方法,圧縮検索アーカイブ処理プログラムおよびそのプログラムの記録媒体 |
JP2005005903A (ja) * | 2003-06-10 | 2005-01-06 | Ricoh Co Ltd | データ処理システム |
JP3713666B2 (ja) * | 2004-01-13 | 2005-11-09 | 理明 中川 | ファイルシステムイメージの圧縮方法及びプログラム |
JP2007316995A (ja) * | 2006-05-26 | 2007-12-06 | Hitachi Ltd | 記憶システム及びデータ管理方法 |
JP2008225686A (ja) * | 2007-03-09 | 2008-09-25 | Nec Corp | 分散型データ処理プラットフォームにおけるデータ配置管理装置と方法、システム及びプログラム |
JP2009053961A (ja) * | 2007-08-27 | 2009-03-12 | Daiwa Securities Group Inc | ファイル検索システム |
-
2009
- 2009-08-27 JP JP2009197221A patent/JP5621229B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2011048679A (ja) | 2011-03-10 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
WO2014087508A1 (ja) | ストレージシステム及びストレージシステムの制御方法 | |
KR101767710B1 (ko) | 폐기가능 파일들의 카드-기반 관리 | |
EP3153987B1 (en) | Duplicate data deletion method and device | |
JP5313600B2 (ja) | ストレージシステム、及びストレージシステムの運用方法 | |
JP5621229B2 (ja) | ストレージシステム、管理方法及びプログラム | |
JP6011349B2 (ja) | ストレージ装置、およびデータ圧縮方法 | |
JP2012089094A5 (ja) | ||
JP2007042034A (ja) | 計算機システム、管理計算機及び論理記憶領域の管理方法 | |
KR20110107800A (ko) | 폐기 가능 파일 | |
JP5464269B2 (ja) | ファイルストレージ装置、データ格納方法およびデータ格納プログラム | |
KR20110127636A (ko) | 폐기 가능 파일의 다운로드 관리 방법 | |
CN103197987A (zh) | 一种数据备份的方法、数据恢复的方法及系统 | |
JP5470974B2 (ja) | 分散ファイルシステム及び分散ファイル格納方法 | |
US20140320498A1 (en) | Terminal device, information processing method, and computer program product | |
CN112817962A (zh) | 基于对象存储的数据存储方法、装置和计算机设备 | |
JP5504936B2 (ja) | ストレージ装置およびデータ格納制御方法 | |
JP2011170665A (ja) | ストレージシステム | |
JP5494817B2 (ja) | ストレージシステム、データ管理装置、方法及びプログラム | |
JP2014203284A (ja) | 診療記録管理システム及びプログラム | |
US9858963B2 (en) | Storage device, computer-readable nonvolatile storage medium to store control program of storage device, and control method of storage device | |
JP2009053961A (ja) | ファイル検索システム | |
JP6291937B2 (ja) | ブロックストレージ、ストレージシステム、コンピュータシステム、ブロックストレージ制御方法、ストレージシステム制御方法およびプログラム | |
JP6193491B2 (ja) | 計算機システム | |
JP2010218235A (ja) | アーカイブ装置、分散管理装置および分散管理プログラム | |
JP2017174265A (ja) | 制御装置、記憶装置、記憶制御方法およびコンピュータプログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20120709 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20130920 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20131001 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20131127 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140304 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140424 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140826 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140908 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5621229 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |