JPWO2014024610A1 - データ転送装置、データ転送方法、及びプログラム - Google Patents

Abstract

データ転送装置は、単位時間あたりに圧縮することができるデータ量を示す圧縮性能値と、単位時間あたりに転送することができるデータ量を示す転送性能値を算出し、それらに基づいて転送すべき全データに対する圧縮した後に転送するデータの割合を示す圧縮割合を算出する。データを記憶する記憶部から転送すべきデータを抽出すると、前記圧縮割合に基づいて、抽出したデータの一部を圧縮し、圧縮したデータと残りのデータとを他の装置に転送する。前記圧縮と転送処理とは、並行して実行される。

Description

本発明は、データ転送装置、データ転送方法、及びプログラムに関する。

近年、データを高速に並列処理して分析する技術が確立されつつある。例えば、データを分散して保持しておき、データを保持しているマシンで並列に処理を行う技術がある（非特許文献１を参照）。

一方、データを蓄積する蓄積装置からデータ処理装置にデータを移行（転送）する場合、当該データ処理装置における処理にあったデータ形式や構造にデータを変更する必要がある。
そのための処理として、蓄積装置からデータを読み込む処理（Ｅｘｔｒａｃｔ）、データ形式の変換処理（Ｔｒａｎｓｆｏｒｍ）、データ処理装置へのデータ読み込み処理（Ｌｏａｄ）を行う必要がある。これらの処理は、頭文字をとってＥＴＬ処理と呼ばれる。

ＥＴＬ処理においては、転送処理がボトルネックとなることが多い。これは、ストレージレイヤの広帯域化や演算器のマルチコア化による処理帯域の広帯域化が進んでいることが原因にある。
この問題を解決する方法として、データを圧縮して転送する技術がある（例えば、特許文献１、特許文献２を参照）。また、特許文献３には、データの圧縮と転送とを並列して実行する技術が開示されている。

また、特許文献４、特許文献５には、圧縮すべきデータと圧縮しないデータとを振り分けてデータの転送を行う技術が開示されている。

特開平０８−１４７２５１号公報 特開平０７−１７５７０７号公報 特開昭６２−１８２９１９号公報 特開平０１−１０８６３１号公報 特開２００８−１７６４２０号公報

"Ｈａｄｏｏｐ"、［ｏｎｌｉｎｅ］、Ａｐａｃｈｅ Ｓｏｆｔｗａｒｅ Ｆｏｕｎｄａｔｉｏｎ、［２０１２年７月３０日検索］、インターネット〈ＵＲＬ： ｈｔｔｐ：／／ｈａｄｏｏｐ．ａｐａｃｈｅ．ｏｒｇ／〉

しかしながら、特許文献１、２に記載の技術のように、圧縮処理を実行した後に転送処理を行う場合、圧縮処理の性能がそのまま転送性能に影響を与えてしまうという問題がある。例えば、圧縮性能が転送性能より悪い場合、実効転送スループットが悪化するおそれがある。なお、実効転送スループットとは、転送すべきデータ形式での転送スループットのことである。
また、特許文献３に記載の技術によれば、圧縮処理と転送処理とを並列して実行するが、転送すべき全てのデータを圧縮する必要があるため、特許文献１、２と同様に、圧縮性能がそのまま転送性能に影響を与えてしまうという問題がある。

また、特許文献４に記載の技術は、圧縮すべきデータと圧縮しないデータとで振り分けて、圧縮処理と転送処理とを並行して行うが、圧縮すべきデータと圧縮しないデータとの振り分けを制御する手段が明記されていない。
また、特許文献５に記載の技術は、圧縮率が高いデータを圧縮すべきデータ、圧縮率が低いデータを圧縮しないデータにそれぞれ振り分けて圧縮処理と転送処理とを並行して行う技術である。しかしながら、例えば全てのデータが圧縮率が高いデータである場合、または全てのデータが圧縮率が低いデータである場合、特許文献１−３と同様の問題が生じる。

本発明の目的は、上述した課題を解決するデータ転送装置、データ転送方法、及びプログラムを提供することにある。

本発明は上記の課題を解決するためになされたものであり、データを圧縮する圧縮部と、前記圧縮部が単位時間あたりに圧縮することができるデータ量を示す圧縮性能値を算出する圧縮性能値算出部と、データを他の装置に転送する転送部と、前記転送部が単位時間あたりに転送することができるデータ量を示す転送性能値を算出する転送性能値算出部と、前記圧縮性能値と前記転送性能値とに基づいて、転送すべき全データに対する、前記圧縮部が圧縮した後に転送するデータの割合を示す圧縮割合を算出する圧縮割合算出部と、データを記憶する記憶部から転送すべきデータを抽出し、前記圧縮割合算出部が算出した圧縮割合に基づいて、抽出したデータの一部を前記圧縮部に出力し、残りを前記転送部に出力する圧縮判定部とを備え、前記圧縮部と前記転送部は並行して処理を行うことを特徴とするデータ転送装置を提供する。

また、本発明は、単位時間あたりに圧縮することができるデータ量を示す圧縮性能値を算出する圧縮性能値算出ステップと、単位時間あたりに転送することができるデータ量を示す転送性能値を算出する転送性能値算出ステップと、前記圧縮性能値と前記転送性能値とに基づいて、転送すべき全データに対する、圧縮した後に転送するデータの割合を示す圧縮割合を算出する圧縮割合算出ステップと、データを記憶する記憶部から転送すべきデータを抽出する抽出ステップと、前記圧縮割合に基づいて、抽出したデータの一部を圧縮する圧縮ステップと、前記圧縮ステップにおいて圧縮したデータと残りのデータとを他の装置に転送する転送ステップとを備え、前記圧縮ステップと前記転送ステップを並行して実行することを特徴とするデータ転送方法も提供する。

また、本発明は、コンピュータを、データを圧縮する圧縮部、前記圧縮部が単位時間あたりに圧縮することができるデータ量を示す圧縮性能値を算出する圧縮性能値算出部、データを他の装置に転送する転送部、前記転送部が単位時間あたりに転送することができるデータ量を示す転送性能値を算出する転送性能値算出部、前記圧縮性能値と前記転送性能値とに基づいて、転送すべき全データに対する、前記圧縮部が圧縮した後に転送するデータの割合を示す圧縮割合を算出する圧縮割合算出部、データを記憶する記憶部から転送すべきデータを抽出し、前記圧縮割合算出部が算出した圧縮割合に基づいて、抽出したデータの一部を前記圧縮部に出力し、残りを前記転送部に出力する圧縮判定部として機能させ、前記圧縮部と前記転送部は並行して処理を行うことを特徴とするプログラムも提供する。

本発明によれば、圧縮性能の良否に依存せずに実効転送スループットを向上させることができる。

本発明の第１の実施形態に係る蓄積装置を備える分析システムの構成を示す概略ブロック図である。 同第１の実施形態による蓄積装置のデータ取得処理の動作を示すフローチャートである。 同第１の実施形態による蓄積装置のデータ転送処理の動作を示すフローチャートである。 同第２の実施形態に係る分析システムの構成を示す概略ブロック図である。 本発明によるデータ転送装置の基本構成を示す概略ブロック図である。

《第１の実施形態》
以下、図面を参照しながら本発明の第１の実施形態について詳しく説明する。
図１は、本発明の第１の実施形態に係る蓄積装置１を備える分析システムの構成を示す概略ブロック図である。

分析システムは、蓄積装置１（データ転送装置）と分析装置２とを備える。
蓄積装置１は、サービスを提供するクライアントのデータや分析に用いるセンサのデータなど、分析処理を行う前の生データを蓄積する。
蓄積装置１と分析装置２とはネットワーク３で接続されており、蓄積装置１は、ネットワーク３を介してデータを分析装置２に送信する。
分析装置２は、蓄積装置１から転送されるデータに対して分析処理を行う。なお、本実施形態では、分析システムが分析装置２を１つだけ備える構成について説明するが、これに限られず、分析装置２に台数の制限はない。

蓄積装置１は、記憶部１０１、取得部１０２、圧縮判定部１０３、非圧縮データ保持部１０４、圧縮前データ保持部１０５、圧縮後データ保持部１０６、圧縮部１０７、転送部１０８、転送性能値算出部１０９、圧縮性能値算出部１１０、圧縮割合算出部１１１を備える。

記憶部１０１は、上述のクライアントのデータやセンサのデータなど、分析処理を行う前の生データを記憶する。具体的には、記憶部１０１は、データベースやファイルシステム、メッセージキューなどによって実装される。
取得部１０２は、記憶部１０１から分析装置２に送信すべきデータを取得する。

圧縮判定部１０３は、圧縮割合算出部１１１が算出した圧縮割合に基づいて、取得部１０２が取得したデータを圧縮するか否かを判定する。なお、圧縮割合とは、転送すべきデータに対する圧縮すべきデータ量の割合のことである。
例えば、圧縮した後に転送するデータのデータ量をｃ、圧縮せずに転送するデータのデータ量をｓとすると、転送すべき全データが「ｃ＋ｓ」であるため、圧縮割合は、「ｃ／（ｃ＋ｓ）」である。
また、圧縮判定部１０３は、データを圧縮すべきでないと判定した場合、当該データを非圧縮データ保持部１０４に記録し、データを圧縮すべきと判定した場合、当該データを圧縮前データ保持部１０５に記録する（ｅｎｑｕｅｕｅ、ｐｕｓｈ）。

非圧縮データ保持部１０４は、圧縮せずにそのまま分析装置２に転送すべきデータを一時的に保持する。
圧縮前データ保持部１０５は、圧縮部１０７により圧縮される前のデータを一時的に保持する。
圧縮後データ保持部１０６は、圧縮部１０７により圧縮されたデータを一時的に保持する。
なお、各保持部（非圧縮データ保持部１０４、圧縮前データ保持部１０５、圧縮後データ保持部１０６）は、ＦＩＦＯ（Ｆｉｒｓｔ Ｉｎ Ｆｉｒｓｔ Ｏｕｔ）バッファなどによって実装される。

圧縮部１０７は、圧縮前データ保持部１０５から逐次データを取り出し（ｄｅｑｕｅｕｅ、ｐｏｐ）、当該データを圧縮する。圧縮部１０７による圧縮方法に制限はない。また圧縮部１０７は、圧縮したデータを圧縮後データ保持部１０６に記録する。
なお、本明細書において「保持部からデータを取り出す」とは、保持部からデータを読み出した後に、当該データを削除することを示す。

転送部１０８は、非圧縮データ保持部１０４または圧縮後データ保持部１０６から逐次データを取り出し、ネットワーク３を介して分析装置２に転送する。
なお、転送部１０８は、非圧縮データ保持部１０４または圧縮後データ保持部１０６のうち一方の保持部を、データを取り出す保持部として選択し、当該保持部から全てのデータを取り出した後に、他方の保持部をデータを取り出す保持部として選択する。つまり、転送部１０８は、非圧縮データ保持部１０４が保持するデータの転送と圧縮後データ保持部１０６が保持するデータの転送のサイクルを繰り返し実行する。
なお、圧縮部１０７による圧縮処理と転送部１０８による転送処理とは並行して実行される。

転送性能値算出部１０９は、転送部１０８を監視し、転送部１０８が単位時間あたりに転送することができるデータ量を示す転送性能値を算出する。なお本実施形態において、転送性能値は、メガバイト毎秒を単位とする転送処理スループットを示す。

圧縮性能値算出部１１０は、圧縮部１０７を監視し、圧縮部１０７が単位時間当たりに圧縮することができるデータ量を示す圧縮性能値、及び圧縮部１０７によるデータの圧縮率を算出する。
なお本実施形態において、圧縮性能値は、メガバイト毎秒を単位とする圧縮処理スループットを示す。圧縮率は、圧縮後のデータ量を圧縮前のデータ量で除算することで算出する。例えば、圧縮部１０７の圧縮処理により１００バイトのデータが１０バイトになる場合、圧縮率は、１０／１００＝０．１である。

圧縮割合算出部１１１は、転送性能値算出部１０９が算出した転送性能値と圧縮性能値算出部１１０が算出した圧縮性能値とに基づいて、圧縮割合を算出する。なお、圧縮割合算出部１１１は、圧縮性能値による圧縮に要する時間と転送性能値による転送に要する時間とが同一となるようなデータ量の割合を、圧縮割合として算出する。

圧縮割合算出部１１１が算出する圧縮割合により、圧縮判定部１０３は、圧縮に要する時間と転送に要する時間とが同一となるような割合で、データを圧縮前データ保持部１０５と非圧縮データ保持部１０４とに振り分ける。これにより、圧縮部１０７は、非圧縮データ保持部１０４が保持するデータを転送部１０８が全て転送したときに、圧縮前データ保持部１０５が保持するデータを全て圧縮し終えることとなる。
つまり、本実施形態によれば、転送部１０８が圧縮部１０７による圧縮処理が完了を待機することがないため、圧縮性能の良否によらず、実効転送スループットを確実に向上させることができる。

次に、本実施形態による蓄積装置１の動作について説明する。
まず、本実施形態による蓄積装置１のデータ取得処理について説明する。
図２は、本発明の第１の実施形態による蓄積装置１のデータ取得処理の動作を示すフローチャートである。
まず、初期設定として、圧縮判定部１０３は、管理者の入力に基づいて、蓄積装置１のデータ取得処理における単位データ量を設定して内部メモリに記録する（ステップＳ１）。
データ取得処理における単位データ量とは、圧縮判定部１０３が圧縮するデータ量を算出する際の基となるデータ量であって、転送部１０８による非圧縮データ及び圧縮後データの転送の１サイクルにおいて転送されるデータの総データ量である。

次に、圧縮割合算出部１１１は、転送性能値及び圧縮性能値を所定の式に当てはめることで、圧縮割合を算出する（ステップＳ２）。
なお、圧縮割合を算出するための式は、例えば数理計画法を用いて、転送性能値及び圧縮性能値をモデル化することで導出することができる。本実施形態においては、圧縮割合は、「Ｃ／（Ｎ＋Ｃ−Ｃａ）」によって算出する。ここで、Ｃとは圧縮性能値を示し、Ｎとは転送性能値を示し、ａは圧縮率を示す。
例えば、圧縮性能値算出部１１０が算出した圧縮性能値が２０メガバイト毎秒、圧縮率が０．３であり、転送性能値算出部１０９が算出した転送性能値が１００メガバイト毎秒である場合、圧縮割合算出部１１１は、０．１７５を圧縮割合として算出する。
なお、初回実行時には、圧縮性能値算出部１１０及び転送性能値算出部１０９は、それぞれ予め測定しておいた圧縮性能値及び転送性能値の初期値を圧縮割合算出部１１１に出力する。
また、圧縮後のデータの転送処理時間が十分に小さい場合は、圧縮率を用いずに「Ｃ／（Ｎ＋Ｃ）」によって圧縮割合を算出しても良い。
なお、圧縮割合の算出法は、「Ｃ／（Ｎ＋Ｃ−Ｃａ）」や「Ｃ／（Ｎ＋Ｃ）」に限られず、転送性能値及び圧縮性能値をモデル化することで導出された他の式であっても良い。

次に、圧縮判定部１０３は、ステップＳ１で設定した単位データ量と、ステップＳ２で圧縮割合算出部１１１が算出した圧縮割合とに基づいて、非圧縮データの送出データ量閾値と、圧縮データの送出データ量閾値とを設定して、内部メモリに記録する（ステップＳ３）。
具体的には、圧縮データの送出データ量閾値は、単位データ量に圧縮割合を乗算することで算出し、非圧縮データの送出データ量閾値は、単位データ量に、圧縮割合の補数（１−圧縮割合）を乗算することで算出する。

例えば、単位データ量が１０００キロバイトであり、圧縮割合が０．３である場合、圧縮判定部１０３は、圧縮データの送出データ量閾値が３００キロバイトであり、非圧縮データの送出データ量閾値が７００キロバイトであると算出する。
この場合、１０００キロバイトのデータのうち、７００キロバイト分のデータが圧縮されずに転送され、３００キロバイト分のデータが圧縮された後に転送されることとなる。なお、この場合、圧縮部１０７による３００キロバイトのデータの圧縮に要する時間と、転送部１０８による７００キロバイトのデータの転送に要する時間は、ほぼ同じである。

次に、圧縮判定部１０３は、非圧縮データ保持部１０４または圧縮前データ保持部１０５に記録したデータ量を示す累積送出データ量を、初期値の０に設定して内部メモリに記録する（ステップＳ４）。
また、圧縮判定部１０３は、取得部１０２が取得したデータの記録先の保持部として、非圧縮データ保持部１０４を選択して内部メモリに記録する（ステップＳ５）。
以上がデータ取得処理の初期設定である。

初期設定を終えると、取得部１０２は、記憶部１０１を参照し、分析装置２に転送すべきデータがあるか否かを判定する（ステップＳ６）。
取得部１０２は、分析装置２に転送すべきデータがあると判定した場合（ステップＳ６：ＹＥＳ）、当該データを取得する（複数種類ある時は、そのうちの１つ）（ステップＳ７）。
次に、取得部１０２は、取得したデータのデータ量を算出する（ステップＳ８）。次に、圧縮判定部１０３は、内部メモリに記憶する累積送出データ量に、当該データ量を加算する（ステップＳ９）。

次に、圧縮判定部１０３は、内部メモリにおいてデータの記録先の保持部として非圧縮データ保持部１０４と圧縮前データ保持部１０５のいずれを選択しているかを判定する（ステップＳ１０）。
圧縮判定部１０３は、データの記録先の保持部として非圧縮データ保持部１０４を選択している場合（ステップＳ１０：非圧縮）、取得部１０２が取得したデータを非圧縮データ保持部１０４に記録する（ステップＳ１１）。

次に、圧縮判定部１０３は、内部メモリに記憶する累積送出データ量が、非圧縮データの送出データ量閾値以上であるか否かを判定する（ステップＳ１２）。累積送出データ量が非圧縮データの送出データ量閾値未満である場合（ステップＳ１２：ＮＯ）、ステップＳ６に戻り、次のデータの処理を行う。

他方、累積送出データ量が非圧縮データの送出データ量閾値以上である場合（ステップＳ１２：ＹＥＳ）、圧縮判定部１０３は、内部メモリに記憶するデータの記録先の保持部を、圧縮前データ保持部１０５に書き換え、累積送出データ量を０にリセットする（ステップＳ１３）。
また、このとき転送性能値算出部１０９及び圧縮性能値算出部１１０は、それぞれ転送性能値及び圧縮性能値を算出する。
次に、圧縮割合算出部１１１は圧縮割合を算出し、圧縮判定部１０３は、当該圧縮割合に基づいて圧縮データの送出データ量閾値及び非圧縮データの送出データ量閾値を算出し、内部メモリに記録する（ステップＳ１４）。
そして、ステップＳ６に戻り、次のデータの処理を行う。

また、ステップＳ１０において圧縮判定部１０３は、データの記録先の保持部として圧縮前データ保持部１０５を選択している場合（ステップＳ１０：圧縮前）、取得部１０２が取得したデータを圧縮前データ保持部１０５に記録する（ステップＳ１５）。

次に、圧縮判定部１０３は、内部メモリに記憶する累積送出データ量が、圧縮データの送出データ量閾値以上であるか否かを判定する（ステップＳ１６）。累積送出データ量が圧縮データの送出データ量閾値未満である場合（ステップＳ１６：ＮＯ）、ステップＳ６に戻り、次のデータの処理を行う。

他方、累積送出データ量が圧縮データの送出データ量閾値以上である場合（ステップＳ１６：ＹＥＳ）、圧縮判定部１０３は、内部メモリに記憶するデータの記録先の保持部を、非圧縮データ保持部１０４に書き換え、累積送出データ量を０にリセットする（ステップＳ１７）。
また、このとき転送性能値算出部１０９及び圧縮性能値算出部１１０は、それぞれ転送性能値及び圧縮性能値を算出する。
次に、圧縮割合算出部１１１は圧縮割合を算出し、圧縮判定部１０３は、当該圧縮割合に基づいて圧縮データの送出データ量閾値及び非圧縮データの送出データ量閾値を算出し、内部メモリに記録する（ステップＳ１８）。
そして、ステップＳ６に戻り、次のデータの処理を行う。

なお、ステップＳ６において取得部１０２は、分析装置２に転送すべきデータがないと判定した場合（ステップＳ６：ＮＯ）、つまり分析装置２に転送すべきデータを全て取得した場合、データ取得処理を終了する。

次に、本実施形態による蓄積装置１のデータ転送処理について説明する。
図３は、本発明の第１の実施形態による蓄積装置１のデータ転送処理の動作を示すフローチャートである。
まず、転送部１０８は、転送すべきデータを取得する保持部として、非圧縮データ保持部１０４を選択し、内部メモリに記録する（ステップＳ１０１）。

次に、転送部１０８は、転送すべき全てのデータの転送を完了しているか否かを判定する（ステップＳ１０２）。
データの転送が完了しているかの判定方法としては、例えば、管理者などによる操作や割り込み処理などにより、外部から処理の終了要求を入力した場合が挙げられる。
転送部１０８は、全てのデータの転送を完了していないと判定した場合（ステップＳ１０２：ＮＯ）、転送すべきデータを取得する保持部として選択している保持部（非圧縮データ保持部１０４または圧縮後データ保持部１０６）にデータが格納されているか否かを判定する（ステップＳ１０３）。

転送すべきデータを取得する保持部として選択している保持部にデータが格納されていると判定した場合（ステップＳ１０３：ＹＥＳ）、当該保持部からデータを取り出す（ステップＳ１０４）。
そして、転送部１０８は、取り出したデータに、当該データの種類を識別する情報を付与して、ネットワーク３を介して分析装置２に転送する（ステップＳ１０５）。
ここで、データの種類を識別する情報とは、当該データが圧縮されたものであるか否かを示す情報である。なお転送部１０８が、非圧縮データ保持部１０４が記憶するデータを転送している場合、当該転送処理に並行して、圧縮部１０７は、圧縮前データ保持部１０５が記憶するデータを圧縮し、逐次圧縮後データ保持部１０６に記録している。これにより、転送部１０８が、非圧縮データ保持部１０４が記憶するデータを転送し終えたときに、圧縮部１０７は、圧縮前データ保持部１０５が記憶するデータを全て圧縮し終えることとなる。
そしてステップＳ１０２に戻り、次のデータの転送を行う。

他方、ステップＳ１０３において、転送すべきデータを取得する保持部として選択している保持部にデータが格納されていないと判定した場合（ステップＳ１０３：ＮＯ）、転送部１０８は、内部メモリに記憶している、転送すべきデータを取得する保持部の情報を切り替える（ステップＳ１０６）。
つまり、内部メモリに記憶している転送すべきデータを取得する保持部が非圧縮データ保持部１０４である場合、転送部１０８は、転送すべきデータを取得する保持部を圧縮後データ保持部１０６に切り替える。
他方、内部メモリに記憶している転送すべきデータを取得する保持部が圧縮後データ保持部１０６である場合、転送部１０８は、転送すべきデータを取得する保持部を非圧縮データ保持部１０４に切り替える。そしてステップＳ１０２に戻り、次のデータの転送を行う。

他方、ステップＳ１０２において転送部１０８は、全てのデータの転送を完了したと判定した場合（ステップＳ１０２：ＹＥＳ）、データ転送処理を終了する。

なお、蓄積装置１からデータの転送を受けた分析装置２は、ステップＳ１０５で付与された情報に基づいてデータが圧縮されたデータであるか否かを判定し、それに応じた記憶部１０１にデータを振り分けて、圧縮されているデータのみを解凍処理する。これにより、分析装置２は、性能を落とすことなくデータを受信することができる。

このように、本実施形態によれば、蓄積装置１は、圧縮性能に見合った圧縮割合に従って圧縮すべきデータと圧縮すべきでないデータとに割り振ることで、転送性能を低下させることなく、圧縮処理と転送処理とを並行して実行することができる。これにより、圧縮による転送データ量の削減分だけ転送時間が短縮されるため、実効転送スループットを向上させることができる。

また、本実施形態によれば、蓄積装置１の転送性能値算出部１０９及び圧縮性能値算出部１１０は、転送処理及び圧縮処理の実行中に、転送性能と圧縮性能とを算出し、圧縮割合を算出しなおす（ステップＳ１４、ステップＳ１８）。これにより、常に状況に合った最適な圧縮割合を設定することができる。

《第２の実施形態》
次に、本発明の第２の実施形態について説明する。
図４は、本発明の第２の実施形態に係る分析システムの構成を示す概略ブロック図である。
第２の実施形態に係る分析システムの蓄積装置１は、第１の実施形態に係る蓄積装置１の構成に加えて、さらにリソース制御部１１２を備える。

リソース制御部１１２は、自装置の空き計算リソースを特定し、当該空き計算リソースの有無に基づいて、圧縮部１０７の処理並列数や計算リソースの利用優先度の制御を行う。
なお、計算リソースとは、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）やＧＰＵ（Ｇｒａｐｈｉｃｓ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）などの処理演算器や、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）などの主記憶装置などのことである。

ここで、蓄積装置１の計算リソースとして、４つのコアからなるＣＰＵが使用されている場合を例に、第２の実施形態に係る蓄積装置１の動作について説明する。リソース制御部１１２が、転送処理中に計算リソースの負荷を計算し、２つのコアの使用率が１００％であり、残りのコアの使用率が０％であると判定した場合、リソース制御部１１２は、圧縮部１０７の処理並列数を２つ上げる。

これにより、圧縮部１０７の圧縮性能が向上するため、圧縮割合算出部１１１が算出する圧縮割合は、処理並列数を上げる前と比較して高くなる。これにより、転送するデータに対する圧縮すべきデータ量が増えるため、実効転送スループットをさらに向上させることができる。

以上、図面を参照してこの発明のいくつかの実施形態について詳しく説明してきたが、具体的な構成は上述のものに限られることはなく、この発明の要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
例えば、上述した実施形態では、本発明に係るデータ転送装置を蓄積装置１に実装する場合について説明したが、これに限られず、記憶部１０１を備える蓄積装置１とデータ転送装置とを別個に備える構成であっても良い。

また、上述した実施形態では、圧縮割合算出部１１１がデータ量に基づいて圧縮割合を算出する場合について説明したが、これに限られない。
例えば、取得部１０２が取得するデータのデータ量が一定である場合は、データ取得回数に基づいて圧縮割合を算出しても良いし、取得部１０２によるデータ取得スループットが一定である場合は、時間を基に圧縮割合を算出しても良い。

また、上述した実施形態では、初期設定において圧縮判定部１０３がデータの記録先の保持部として、非圧縮データ保持部１０４を選択し（ステップＳ５）、転送部１０８が転送すべきデータを取得する保持部として非圧縮データ保持部１０４を選択する（ステップＳ１０１）場合について説明したが、これに限られない。
例えば、初期設定において、データの記録先の保持部として、圧縮前データ保持部１０５を選択しても良いし、転送すべきデータを取得する保持部として圧縮後データ保持部１０６を選択しても良い。
但し、初期状態においては圧縮部１０７による圧縮処理が完了していないため、圧縮後データ保持部１０６にはデータが記録されていないので、この場合、転送部１０８はすぐに転送処理を開始することができない。

《基本構成》
図５は、本発明によるデータ転送装置の基本構成を示す概略ブロック図である。
上述した実施形態では、本発明によるデータ転送装置の一実施形態として図１、図４に示す構成について説明したが、本発明によるデータ転送装置の基本構成は、図５に示すとおりである。
すなわち、本発明によるデータ転送装置は、圧縮判定部１０３、圧縮部１０７、転送部１０８、転送性能値算出部１０９、圧縮性能値算出部１１０、圧縮割合算出部１１１を基本構成とする。

圧縮判定部１０３は、圧縮割合算出部１１１が算出した圧縮割合に基づいて、抽出したデータの一部を圧縮部１０７に出力し、残りを転送部１０８に出力する。
圧縮部１０７は、データを圧縮する。転送部１０８は、データを他の装置に転送する。
転送性能値算出部１０９は、転送部１０８が単位時間あたりに転送することができるデータ量を示す転送性能値を算出する。圧縮性能値算出部１１０は、圧縮部１０７が単位時間あたりに圧縮することができるデータ量を示す圧縮性能値を算出する。
圧縮割合算出部１１１は、上記圧縮性能値と上記転送性能値とに基づいて、転送部１０８が転送すべきデータに対する圧縮部１０７が圧縮すべきデータ量の割合を示す圧縮割合を算出する。

これにより、データ転送装置は、圧縮性能の良否に依存せずに実効転送スループットを向上させることができる。

上述のデータ転送装置は内部に、コンピュータシステムを有している。
そして、上述した各処理部の動作は、プログラムの形式でコンピュータ読み取り可能な記録媒体に記憶されており、このプログラムをコンピュータが読み出して実行することによって、上記処理が行われる。
ここでコンピュータ読み取り可能な記録媒体とは、磁気ディスク、光磁気ディスク、ＣＤ−ＲＯＭ、ＤＶＤ−ＲＯＭ、半導体メモリ等をいう。
また、このコンピュータプログラムを通信回線によってコンピュータに配信し、この配信を受けたコンピュータが当該プログラムを実行するようにしても良い。

また、上記プログラムは、前述した機能の一部を実現するためのものであっても良い。
さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であっても良い。

この出願は、２０１２年８月７日に出願された日本出願特願２０１２−１７４８０２号を基礎とする優先権を主張し、その開示の全てをここに取り込む。

本発明によれば、圧縮性能の良否に依存せずに実効転送スループットを向上させることができる。

１…蓄積装置
２…分析装置
３…ネットワーク
１０１…記憶部
１０２…取得部
１０３…圧縮判定部
１０４…非圧縮データ保持部
１０５…圧縮前データ保持部
１０６…圧縮後データ保持部
１０７…圧縮部
１０８…転送部
１０９…転送性能値算出部
１１０…圧縮性能値算出部
１１１…圧縮割合算出部
１１２…リソース制御部

Claims (10)

1. データを圧縮する圧縮部と、
   前記圧縮部が単位時間あたりに圧縮することができるデータ量を示す圧縮性能値を算出する圧縮性能値算出部と、
   データを他の装置に転送する転送部と、
   前記転送部が単位時間あたりに転送することができるデータ量を示す転送性能値を算出する転送性能値算出部と、
   前記圧縮性能値と前記転送性能値とに基づいて、前記転送部が転送すべきデータに対する前記圧縮部が圧縮すべきデータ量の割合を示す圧縮割合を算出する圧縮割合算出部と、
   データを記憶する記憶部から転送すべきデータを抽出し、前記圧縮割合算出部が算出した圧縮割合に基づいて、抽出したデータの一部を前記圧縮部に出力し、残りを前記転送部に出力する圧縮判定部と
   を備え、
   前記圧縮部と前記転送部は並行して処理を行う
   ことを特徴とするデータ転送装置。
2. 前記圧縮部により圧縮すべきデータを保持する圧縮前データ保持部と、
   前記圧縮部が圧縮したデータを保持する圧縮後データ保持部と、
   前記圧縮部による圧縮をせずに転送するデータを保持する非圧縮データ保持部と
   を更に備え、
   前記圧縮判定部は、データを記憶する記憶部から転送すべきデータを抽出し、前記圧縮割合算出部が算出した圧縮割合に基づいて、抽出したデータの一部を前記圧縮前データ保持部に記録し、残りを前記非圧縮データ保持部に記録し、
   前記転送部は、前記圧縮後データ保持部と前記非圧縮データ保持部との何れか一方の保持部が記憶するデータを他の装置に転送し、当該保持部が記憶する全てのデータを転送し終えたときに、他方の保持部が記憶するデータを他の装置に転送する
   ことを特徴とする請求項１に記載のデータ転送装置。
3. 前記圧縮割合は、前記圧縮性能値による圧縮に要する時間と前記転送性能値による転送に要する時間とが同一となるようなデータ量の割合である
   ことを特徴とする請求項１または請求項２に記載のデータ転送装置。
4. 前記圧縮性能値算出部は、前記圧縮部によるデータの圧縮率を算出し、
   前記圧縮割合算出部は、前記圧縮性能値と前記転送性能値と前記圧縮率とに基づいて、前記圧縮割合を算出する
   ことを特徴とする請求項１から請求項３の何れか１項に記載のデータ転送装置。
5. 前記圧縮割合は、前記圧縮性能値と前記転送性能値の和から、前記転送性能値に前記圧縮率を乗じた値を減じた値で、前記圧縮性能値を除算した値である
   ことを特徴とする請求項４に記載のデータ転送装置。
6. 自装置の余剰計算リソース量に応じて、前記圧縮部の処理に対するリソース割り当てを行うリソース制御部を備えることを特徴とする請求項１から請求項５の何れか１項に記載のデータ転送装置。
7. 単位時間あたりに圧縮することができるデータ量を示す圧縮性能値を算出する圧縮性能値算出ステップと、
   単位時間あたりに転送することができるデータ量を示す転送性能値を算出する転送性能値算出ステップと、
   前記圧縮性能値と前記転送性能値とに基づいて、転送すべき全データに対する圧縮した後に転送するデータの割合を示す圧縮割合を算出する圧縮割合算出ステップと、
   データを記憶する記憶部から転送すべきデータを抽出する抽出ステップと、
   前記圧縮割合に基づいて、抽出したデータの一部を圧縮する圧縮ステップと、
   前記圧縮ステップにおいて圧縮したデータと残りのデータとを他の装置に転送する転送ステップと
   を備え、
   前記圧縮ステップと前記転送ステップを並行して実行する
   ことを特徴とするデータ転送方法。
8. 前記圧縮割合に基づいて、前記抽出したデータの一部を圧縮前データ保持部に記録し、残りを非圧縮データ保持部に記録する圧縮判定ステップを更に備え、
   前記圧縮ステップは、前記圧縮前データ保持部が記憶するデータを逐次圧縮して圧縮後データ保持部に記録し、
   前記転送ステップは、前記圧縮後データ保持部と前記非圧縮データ保持部との何れか一方の保持部が記憶するデータを他の装置に転送し、当該保持部が記憶する全てのデータを転送し終えたときに、他方の保持部が記憶するデータを他の装置に転送する
   ことを特徴とする請求項７に記載のデータ転送方法。
9. コンピュータを、
   データを圧縮する圧縮部、
   前記圧縮部が単位時間あたりに圧縮することができるデータ量を示す圧縮性能値を算出する圧縮性能値算出部、
   データを他の装置に転送する転送部、
   前記転送部が単位時間あたりに転送することができるデータ量を示す転送性能値を算出する転送性能値算出部、
   前記圧縮性能値と前記転送性能値とに基づいて、前記転送部が転送すべきデータに対する前記圧縮部が圧縮すべきデータ量の割合を示す圧縮割合を算出する圧縮割合算出部、
   データを記憶する記憶部から転送すべきデータを抽出し、前記圧縮割合算出部が算出した圧縮割合に基づいて、抽出したデータの一部を前記圧縮部に出力し、残りを前記転送部に出力する圧縮判定部
   として機能させ、
   前記圧縮部と前記転送部は並行して処理を行う
   ことを特徴とするプログラム。
10. 前記コンピュータを、
    前記圧縮部により圧縮すべきデータを保持する圧縮前データ保持部と、
    前記圧縮部が圧縮したデータを保持する圧縮後データ保持部と、
    前記圧縮部による圧縮をせずに転送するデータを保持する非圧縮データ保持部としても機能させ、
    前記圧縮判定部は、データを記憶する記憶部から転送すべきデータを抽出し、前記圧縮割合算出部が算出した圧縮割合に基づいて、抽出したデータの一部を前記圧縮前データ保持部に記録し、残りを前記非圧縮データ保持部に記録し、
    前記転送部は、前記圧縮後データ保持部と前記非圧縮データ保持部との何れか一方の保持部が記憶するデータを他の装置に転送し、当該保持部が記憶する全てのデータを転送し終えたときに、他方の保持部が記憶するデータを他の装置に転送する
    ことを特徴とする請求項９に記載のプログラム。

Images