JPWO2013145222A1 - Information processing apparatus and data storage processing program - Google Patents
Information processing apparatus and data storage processing program Download PDFInfo
- Publication number
- JPWO2013145222A1 JPWO2013145222A1 JP2014507188A JP2014507188A JPWO2013145222A1 JP WO2013145222 A1 JPWO2013145222 A1 JP WO2013145222A1 JP 2014507188 A JP2014507188 A JP 2014507188A JP 2014507188 A JP2014507188 A JP 2014507188A JP WO2013145222 A1 JPWO2013145222 A1 JP WO2013145222A1
- Authority
- JP
- Japan
- Prior art keywords
- data
- server
- data center
- processing unit
- response time
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000013500 data storage Methods 0.000 title claims description 32
- 230000010365 information processing Effects 0.000 title claims description 27
- 230000004044 response Effects 0.000 claims abstract description 251
- 238000012545 processing Methods 0.000 claims description 181
- 230000005540 biological transmission Effects 0.000 claims description 21
- 238000005259 measurement Methods 0.000 claims description 7
- 230000001174 ascending effect Effects 0.000 claims description 6
- 238000000034 method Methods 0.000 abstract description 15
- 238000007726 management method Methods 0.000 description 29
- 238000013523 data management Methods 0.000 description 28
- 238000010586 diagram Methods 0.000 description 25
- 238000012546 transfer Methods 0.000 description 7
- 238000004891 communication Methods 0.000 description 3
- 239000004065 semiconductor Substances 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 2
- 230000011218 segmentation Effects 0.000 description 2
- 238000006243 chemical reaction Methods 0.000 description 1
- 238000012790 confirmation Methods 0.000 description 1
- 125000004122 cyclic group Chemical group 0.000 description 1
- 230000006870 function Effects 0.000 description 1
Images
Landscapes
- Information Transfer Between Computers (AREA)
Abstract
データを複数の分割データに分割し、ネットワークレスポンスタイムやサーバレスポンスタイムに基づいて、複数のデータセンタの中から保存先のデータセンタを決定し、分割データを決定したデータセンタに保存することで、保存処理の時間を低減する。By dividing the data into a plurality of divided data, determining a data center as a storage destination from a plurality of data centers based on the network response time and server response time, and storing the divided data in the determined data center, Reduce the storage process time.
Description
本発明は、情報処理装置およびデータ保存処理プログラムに関する。 The present invention relates to an information processing apparatus and a data storage processing program.
現在、ネットワークを介して計算機資源(例えば、サーバ、ストレージ、アプリケーションなど)を利用する形態、いわゆるクラウドコンピューティングが行われている。 Currently, a form of using computer resources (for example, server, storage, application, etc.) via a network, so-called cloud computing is performed.
クラウドコンピューティングにおいて、ユーザは、パーソナルコンピュータ等のクライアントを用いて各種作業を実行する。 In cloud computing, a user performs various tasks using a client such as a personal computer.
ユーザがデータを保存する場合、該データは、サービスを提供しているクラウドサーバに保存される。 When the user stores data, the data is stored in a cloud server that provides the service.
クラウドサーバにデータを保存する場合、クライアントは通常、クラウドサーバの内の決められたデータセンタにデータを保存する。 When storing data in the cloud server, the client typically stores the data in a predetermined data center in the cloud server.
しかしながら、当該データセンタに多数のクライアントからのアクセス集中による処理遅延、またはクライアントとデータセンタ間のネットワーク障害や多量のパケットによるネットワーク遅延が発生すると保存処理に時間が掛かってしまう。 However, if a processing delay due to concentration of access from a large number of clients in the data center, or a network failure between the client and the data center or a network delay due to a large number of packets, the storage process takes time.
本発明の課題は、保存処理に要する時間を低減することである。 An object of the present invention is to reduce the time required for storage processing.
実施の形態の情報処理装置は、複数のサーバと通信可能であり、記憶部、分割部、保存先決定部、および送信部を備える。 The information processing apparatus according to the embodiment can communicate with a plurality of servers, and includes a storage unit, a division unit, a storage destination determination unit, and a transmission unit.
前記記憶部は、サーバに対する接続要求の送信から、該接続要求に対する応答の受信までの時間であるネットワークレスポンスタイムが記述されたネットワークレスポンステーブルおよびサーバに対するデータの書込み要求を送信してから、該書き込み完了の応答を受信するまでの時間であるサーバレスポンスタイムが記述されたサーバレスポンステーブルとを含む。 The storage unit transmits a network response table in which a network response time, which is a time from transmission of a connection request to the server to reception of a response to the connection request, and a data write request to the server is transmitted, and then the write A server response table in which a server response time, which is a time until receiving a completion response, is described.
前記分割部は、書込みデータを分割し、分割データを生成する。
前記保存先決定部は、前記ネットワークレスポンスタイムまたは前記サーバレスポンスタイムに基づいて、前記分割データを保存する保存先サーバを決定する。The dividing unit divides write data and generates divided data.
The storage destination determination unit determines a storage destination server that stores the divided data based on the network response time or the server response time.
前記送信部は、前記分割データを前記保存先サーバに送信する。 The transmission unit transmits the divided data to the storage destination server.
実施の形態の情報処理装置によれば、保存処理に要する時間を低減することできる。 According to the information processing apparatus of the embodiment, the time required for the storage process can be reduced.
以下、図面を参照しながら実施の形態について説明する。
図1は、実施の形態に係るシステムの構成図である。Hereinafter, embodiments will be described with reference to the drawings.
FIG. 1 is a configuration diagram of a system according to an embodiment.
システム101は、クライアント201、管理サーバ301、およびデータセンタ401−i(i=1〜6)を備える。
The system 101 includes a
クライアント201、管理サーバ301、およびデータセンタ401は、ネットワークを介して接続されており、互いに通信可能となっている。
The
クライアント201は、各種処理を実行し、データをデータセンタ401に保存する。
クライアント201は、例えば、パーソナルコンピュータや携帯端末などの情報処理装置である。The
The
管理サーバ301は、データセンタ301の情報の収集や管理を行う。
データセンタ401は、データを格納するサーバである。データセンタ401は、クライアント201から要求されたデータの書き込みおよび読み出しを行う。The
The data center 401 is a server that stores data. The data center 401 writes and reads data requested from the
また、データセンタ401−1〜401−6には、サーバIDとして、データセンタ-a〜データセンタ-fがそれぞれ割り当てられている。サーバIDは、データセンタ401を識別する識別子である。 Data centers 401-1 to 401-6 are assigned data center-a to data center-f as server IDs, respectively. The server ID is an identifier that identifies the data center 401.
図2は、実施の形態に係るクライアントの構成図である。
クライアント201は、データセンタ構成情報取得部211、ダミーデータ書込み要求処理部212、ネットワーク(NW)レスポンステーブル処理部213、サーバレスポンステーブル処理部214、ソートテーブル受信処理部215、データ分割処理部216、データ保存先決定処理部217、データ読込・書込処理部218、送受信制御部219、および記憶部220を備える。FIG. 2 is a configuration diagram of the client according to the embodiment.
The
データセンタ構成情報取得部211は、データセンタ構成情報321を管理サーバ301から取得し、記憶部220にデータセンタ構成情報232として格納する。
The data center configuration
ダミーデータ書込み要求処理部212は、接続要求やダミーデータ書込み要求をデータセンタ401に送信する。
The dummy data write
NWレスポンステーブル処理部213は、NWレスポンスタイムの測定やNWレスポンステーブル233の生成を行う。
The NW response
サーバレスポンステーブル処理部214は、サーバレスポンスタイムの測定やサーバレスポンステーブル235の生成を行う。
The server response
ソートテーブル受信処理部215は、ソート済みNWレスポンステーブル、ソート済みサーバレスポンステーブル、およびソート済み空きディスク容量テーブルを受信し、記憶部220に格納する。
The sort table
データ分割処理部216は、書込みデータ231を分割し、分割データを生成する。
データ保存先決定処理部217は、ネットワークレスポンスタイム、サーバレスポンスタイム、および空きディスク容量の少なくともいずれか一つに基づいて、分割データを保存する保存先データセンタを決定(選択)する。The data
The data storage destination
データ保存先決定処理部217は、例えば、ネットワークレスポンスタイムの速い順に所定の台数(例えば、10台)のデータセンタを保存先データセンタとして決定する。
For example, the data storage destination
また、データ保存先決定処理部217は、例えば、サーバレスポンスタイムの速い順に所定の台数(例えば、10台)のデータセンタを保存先データセンタとして決定する。
In addition, the data storage destination
また、データ保存先決定処理部217は、例えば、空きディスク容量が所定の容量以下のデータセンタは、保存先データセンタとして決定しない。すなわち、データ保存先決定処理部217は、空きディスク容量が所定の容量より大きいデータセンタを保存先データセンタとして決定する。
In addition, the data storage destination
また、データ保存先決定処理部217は、分割データ毎に、保存先データセンタをサイクリックに選択していく(割り当てていく)。サイクリックに選択とは、ネットワークレスポンスタイムまたはサーバレスポンスタイムの速い順に並んでいる保存先データセンタのリストから保存先データセンタを先頭から順番に選択していき、リストの最後に到達したら、リストの先頭の戻り(ラップアラウンド)、再び順番に選択していくことである。
Further, the data storage destination
例えば、ネットワークレスポンスタイムが速い順に保存先データセンタα、β、γがある場合に、データ保存先決定処理部217は、分割データ毎に、保存先データセンタα→β→γ→α→β→γ→・・・のような順番で選択する。
For example, when there are storage destination data centers α, β, and γ in order of network response time, the data storage destination
データ保存先決定処理部217は、分割データ管理テーブル239を作成する。
データ読込・書込処理部218は、データセンタ401への分割データの送信およびデータセンタ401から分割データを受信する。また、データ読込・書込処理部218は、受信した分割データを結合する。The data storage destination
The data read /
送受信制御部219は、データセンタ構成情報取得部211、ダミーデータ書込み要求処理部212、NWレスポンステーブル処理部213、サーバレスポンステーブル処理部214、ソートテーブル受信処理部215、データ分割処理部216、データ保存先決定処理部217、およびデータ読込・書込処理部218からデータを受信し、データを管理サーバ301またはデータセンタ401に転送する。また、送受信制御部219は、管理サーバ301またはデータセンタ401からデータを受信し、データをデータセンタ構成情報取得部211、ダミーデータ書込み要求処理部212、NWレスポンステーブル処理部213、サーバレスポンステーブル処理部214、ソートテーブル受信処理部215、データ分割処理部216、データ保存先決定処理部217、またはデータ読込・書込処理部218に転送する。
The transmission /
記憶部220は、データを格納する装置である。記憶部220は、例えば、磁気ディスク装置、半導体記憶装置、またはRandom Access Memory(RAM)等である。
The
記憶部220は、書き込みデータ231、データセンタ構成情報232、ネットワーク(NW)レスポンステーブル233、ソート済みNWレスポンステーブル234、サーバレスポンステーブル235、ソート済みサーバレスポンステーブル236、ソート済み空きディスク容量テーブル237、データ分割条件テーブル238、および分割データ管理テーブル239を格納する。
The
書き込みデータ231は、データセンタ401に書き込む分割前のデータである。書き込みデータ231は、例えば、クライアント201で動作するアプリケーションソフトウェアにより生成される。
The
データセンタ構成情報232は、システム101内にあるデータセンタ401の情報である。
The data
図3は、データセンタ構成情報の例を示す図である。
データセンタ構成情報232は、項目として、サーバID、Internet Protocol(IP)アドレス、Uniform Resource Locator(URL)を有する。データセンタ構成情報232には、サーバID、IPアドレス、およびURLが対応付けられて記述されている。FIG. 3 is a diagram illustrating an example of data center configuration information.
The data
サーバIDは、データセンタ401を識別する識別子である。
IPアドレスは、データセンタ401のIPアドレスである。
URLは、データセンタ401のURLである。The server ID is an identifier that identifies the data center 401.
The IP address is the IP address of the data center 401.
The URL is the URL of the data center 401.
ネットワーク(NW)レスポンステーブル233は、クライアント201とデータセンタ401との間のネットワークレスポンスタイムが記述されたテーブルである。ネットワークレスポンスタイムは、クライアント201が接続要求(SYNパケット)をデータセンタ401に送信してから確認応答(ACKパケット)を受信するまでの時間である。尚、ネットワークレスポンスタイムの詳細については後述する。
The network (NW) response table 233 is a table in which the network response time between the
図4は、NWレスポンステーブルの例を示す図である。
NWレスポンステーブル233は、項目として、サーバIDおよびNWレスポンスタイムを有する。NWレスポンステーブル233には、サーバIDおよびNWレスポンスタイムが対応付けられて記述されている。FIG. 4 is a diagram illustrating an example of the NW response table.
The NW response table 233 includes a server ID and an NW response time as items. In the NW response table 233, the server ID and the NW response time are described in association with each other.
サーバIDは、データセンタ401を識別する識別子である。
NWレスポンスタイムは、クライアント201とデータセンタ401間のネットワークレスポンスタイムである。NWレスポンスタイムの単位は、ミリ秒(ms)である。The server ID is an identifier that identifies the data center 401.
The NW response time is a network response time between the
ソート済みNWレスポンステーブル234は、後述のNWレスポンステーブル322のレコードをNWレスポンスタイムの小さい順にソートしたテーブルである。 The sorted NW response table 234 is a table in which records of an NW response table 322, which will be described later, are sorted in ascending order of NW response time.
図5は、ソート済みNWレスポンステーブルの例を示す図である。
ソート済みNWレスポンステーブル234は、項目として、サーバIDおよびNWレスポンスタイムを有する。ソート済みNWレスポンステーブル234には、サーバIDおよびNWレスポンスタイムが対応付けられて記述されている。FIG. 5 is a diagram illustrating an example of a sorted NW response table.
The sorted NW response table 234 has a server ID and an NW response time as items. In the sorted NW response table 234, the server ID and the NW response time are described in association with each other.
サーバIDは、データセンタ401を識別する識別子である。
NWレスポンスタイムは、クライアント201とデータセンタ401間のネットワークレスポンスタイムである。NWレスポンスタイムの単位は、ミリ秒(ms)である。The server ID is an identifier that identifies the data center 401.
The NW response time is a network response time between the
サーバレスポンステーブル235は、クライアント201とデータセンタ401との間のサーバレスポンスタイムが記述されたテーブルである。サーバレスポンスタイムは、クライアント201がダミーデータ書き込み要求をデータセンタ401に送信してから応答を受信するまでの時間である。尚、サーバレスポンスタイムの詳細については後述する。
The server response table 235 is a table in which the server response time between the
図6は、サーバレスポンステーブルの例を示す図である。
サーバレスポンステーブル235は、項目として、サーバIDおよびサーバレスポンスタイムを有する。サーバレスポンステーブル235には、サーバIDおよびサーバレスポンスタイムが対応付けられて記述されている。FIG. 6 is a diagram illustrating an example of a server response table.
The server response table 235 has a server ID and a server response time as items. In the server response table 235, a server ID and a server response time are described in association with each other.
サーバIDは、データセンタ401を識別する識別子である。
サーバレスポンスタイムは、クライアント201とデータセンタ401間のサーバレスポンスタイムである。サーバレスポンスタイムの単位は、ミリ秒(ms)である。
ソート済みサーバレスポンステーブル236は、後述のサーバレスポンステーブル323のレコードをサーバレスポンスタイムの小さい順にソートしたテーブルである。The server ID is an identifier that identifies the data center 401.
The server response time is a server response time between the
The sorted server response table 236 is a table in which records in a server response table 323 described later are sorted in ascending order of server response time.
図7は、ソート済みサーバレスポンステーブルの例を示す図である。
ソート済みサーバレスポンステーブル236は、項目として、サーバIDおよびサーバレスポンスタイムを有する。ソート済みサーバレスポンステーブル236には、サーバIDおよびサーバレスポンスタイムが対応付けられて記述されている。FIG. 7 is a diagram illustrating an example of a sorted server response table.
The sorted server response table 236 includes a server ID and a server response time as items. In the sorted server response table 236, the server ID and the server response time are described in association with each other.
サーバIDは、データセンタ401を識別する識別子である。
サーバレスポンスタイムは、クライアント201とデータセンタ401間のサーバレスポンスタイムである。サーバレスポンスタイムの単位は、ミリ秒(ms)である。The server ID is an identifier that identifies the data center 401.
The server response time is a server response time between the
ソート済み空きディスク容量テーブル237は、後述する空きディスク容量テーブル324のレコードを空きディスク容量の大きい順にソートしたテーブルである。ソート済み空きディスク容量テーブル237は、データセンタ401の空きディスク容量が記述されたテーブルである。 The sorted free disk capacity table 237 is a table in which records in the free disk capacity table 324 described later are sorted in descending order of free disk capacity. The sorted free disk capacity table 237 is a table in which the free disk capacity of the data center 401 is described.
図8は、ソート済み空きディスク容量テーブルの例である。
ソート済み空きディスク容量テーブル237は、項目として、サーバIDおよび空きディスク容量を有する。ソート済み空きディスク容量テーブル237には、サーバIDおよび空きディスク容量が対応付けられて記述されている。FIG. 8 is an example of a sorted free disk capacity table.
The sorted free disk capacity table 237 includes a server ID and a free disk capacity as items. In the sorted free disk capacity table 237, the server ID and the free disk capacity are described in association with each other.
サーバIDは、データセンタ401を識別する識別子である。
空きディスク容量は、データセンタ401が備える記憶部の空き領域のサイズである。空きディスク容量の単位は、ギガバイト(GB)である。The server ID is an identifier that identifies the data center 401.
The free disk capacity is the size of the free area of the storage unit provided in the data center 401. The unit of the free disk capacity is gigabyte (GB).
データ分割条件テーブル238は、データ分割処理部216がデータを分割するときの方針が記述されたテーブルである。
The data division condition table 238 is a table in which a policy when the data
図9は、データ分割条件テーブルの例である。
データ分割条件テーブル238は、項目として、データサイズ、分割サイズ、および分割数を有する。データ分割条件テーブル238には、データサイズ、分割サイズ、および分割数が対応付けられて記述されている。FIG. 9 is an example of a data division condition table.
The data division condition table 238 includes data size, division size, and number of divisions as items. In the data division condition table 238, the data size, the division size, and the number of divisions are described in association with each other.
データサイズは、分割対象のデータのサイズを示す。データサイズの単位はメガバイト(MB)である。 The data size indicates the size of data to be divided. The unit of data size is megabyte (MB).
分割サイズは、分割データのサイズを示す。分割サイズの単位は、MBである。
分割数は、分割対象のデータを分割サイズで分割したときの分割データの数を示す。The division size indicates the size of the divided data. The unit of the division size is MB.
The number of divisions indicates the number of divided data when the data to be divided is divided by the division size.
例えば、図9のデータ分割条件テーブル238の2行目は、分割対象のデータのサイズが5MBより大きく15MB以下の場合に、5MBごとに分割対象のデータを分割し、それにより3個以下の分割データが生成されることを示す。 For example, the second line of the data division condition table 238 in FIG. 9 divides the data to be divided every 5 MB when the size of the data to be divided is larger than 5 MB and 15 MB or less, thereby dividing the data into 3 or less. Indicates that data will be generated.
分割データ管理テーブル239は、分割データの保存先を示す情報が記述されたテーブルである。 The divided data management table 239 is a table in which information indicating the storage destination of divided data is described.
図10は、分割データ管理テーブルの例である。
分割データ管理テーブル239は、項目として、サーバID、IPアドレス、URL、および書き込みファイル名を有する。分割データ管理テーブル239には、サーバID、IPアドレス、URL、および書き込みデータ名が対応付けられて記述されている。FIG. 10 is an example of a divided data management table.
The divided data management table 239 has, as items, a server ID, an IP address, a URL, and a write file name. In the divided data management table 239, a server ID, an IP address, a URL, and a write data name are described in association with each other.
サーバIDは、データセンタ401を識別する識別子である。
IPアドレスは、データセンタ401のIPアドレスである。The server ID is an identifier that identifies the data center 401.
The IP address is the IP address of the data center 401.
URLは、データセンタ401のURLである。
書き込みデータ名は、分割された書込みデータ(分割データ)の名称(ファイル名)である。書き込みデータ名の形式は、“書き込みデータ231の名称”-“分割番号”である。分割番号は、分割データに順番に付される番号である。例えば、書き込みデータ名“Abc-1”は、名称が”Abc”である書き込みデータ231を分割したデータの内の1番目のデータを示す。The URL is the URL of the data center 401.
The write data name is the name (file name) of the divided write data (divided data). The format of the write data name is “name of
例えば、分割データ管理テーブル239の2行目は、サーバIDが“データセンタ-f”であるデータセンタに、名称が”Abc-1”である分割データが格納されていることを示す。すなわち、サーバIDが“データセンタ-f”であるデータセンタに、名称が”Abc”である書き込みデータ231を分割したデータの内の1番目のデータが格納されていることを示す。
For example, the second line of the divided data management table 239 indicates that the divided data with the name “Abc-1” is stored in the data center with the server ID “data center-f”. That is, it indicates that the first data among the data obtained by dividing the
図11は、実施の形態に係る管理サーバの構成図である。
管理サーバ301は、データセンタ構成情報処理部311、NWレスポンステーブル処理部312、サーバレスポンステーブル処理部313、空きディスク容量テーブル処理部314、ディスク容量問合わせ処理部315、ソート処理部316、送受信制御部317、および記憶部318を備える。FIG. 11 is a configuration diagram of the management server according to the embodiment.
The
データセンタ構成情報処理部311は、データセンタ構成情報321をクライアント201に送信する。
The data center configuration
NWレスポンステーブル処理部312は、クライアント201からNWレスポンステーブル233を受信し、NWレスポンステーブル322として記憶部318に格納する。
The NW response
サーバレスポンステーブル処理部313は、クライアント201からサーバレスポンステーブル235を受信し、サーバレスポンステーブル323として記憶部318に格納する。
The server response
空きディスク容量テーブル処理部314は、空きディスク容量テーブル324の作成や更新を行う。
The free disk capacity
ディスク容量問合わせ処理部315は、データセンタ401に空きディスク容量を問合わせ、空きディスク容量の情報を取得する。
The disk capacity
ソート処理部316は、NWレスポンステーブル322、サーバレスポンステーブル323、および空きディスク容量テーブル324のレコードをソートする。
The
送受信制御部317は、データセンタ構成情報処理部311、NWレスポンステーブル処理部312、サーバレスポンステーブル処理部313、空きディスク容量テーブル処理部314、ディスク容量問合わせ処理部315、およびソート処理部316からデータを受信し、データをクライアント201またはデータセンタ401に転送する。また、送受信制御部317は、クライアント201またはデータセンタ401からデータを受信し、データをデータセンタ構成情報処理部311、NWレスポンステーブル処理部312、サーバレスポンステーブル処理部313、空きディスク容量テーブル処理部314、ディスク容量問合わせ処理部315、またはソート処理部316に転送する。
The transmission /
記憶部318は、データを格納する装置である。記憶部318は、例えば、磁気ディスク装置、半導体記憶装置、またはRAM等である。
The
記憶部318は、データセンタ構成情報321、NWレスポンステーブル322、サーバレスポンステーブル323、および空きディスク容量テーブル324を格納する。
The
データセンタ構成情報321は、システム101内にあるデータセンタ401の情報である。データセンタ構成情報321の形式は、上述のデータセンタ構成情報232と同様であるため、説明は省略する。
The data
NWレスポンステーブル322は、クライアント201とデータセンタ401との間のネットワークレスポンスタイムが記述されたテーブルである。NWレスポンステーブル322の形式は、上述のNWレスポンステーブル233と同様であるため、説明は省略する。
The NW response table 322 is a table in which the network response time between the
サーバレスポンステーブル323は、クライアント201とデータセンタ401との間のサーバレスポンスタイムが記述されたテーブルである。サーバレスポンスタイムは、クライアント201がダミーデータ書き込み要求をデータセンタ401に送信してから応答を受信するまでの時間である。尚、サーバレスポンスタイムの詳細については後述する。サーバレスポンステーブル323の形式は、上述のサーバレスポンステーブル235と同様であるため、説明は省略する。
The server response table 323 is a table in which server response times between the
空きディスク容量テーブル324は、データセンタ401の空きディスク容量のサイズが記述されたテーブルである。 The free disk capacity table 324 is a table in which the size of the free disk capacity of the data center 401 is described.
図12は、済み空きディスク容量テーブルの例である。
空きディスク容量テーブル324は、項目として、サーバIDおよび空きディスク容量を有する。空きディスク容量テーブル324には、サーバIDおよび空きディスク容量が対応付けられて記述されている。FIG. 12 is an example of a completed free disk capacity table.
The free disk capacity table 324 includes a server ID and a free disk capacity as items. In the free disk capacity table 324, the server ID and the free disk capacity are described in association with each other.
サーバIDは、データセンタ401を識別する識別子である。
空きディスク容量は、データセンタ401が備える記憶部の空き領域のサイズである。空きディスク容量の単位は、ギガバイト(GB)である。The server ID is an identifier that identifies the data center 401.
The free disk capacity is the size of the free area of the storage unit provided in the data center 401. The unit of the free disk capacity is gigabyte (GB).
図13は、実施の形態に係るデータセンタの構成図である。
データセンタ401−1は、ディスク容量チェック処理部411、データ読込み処理部412、データ書込み処理部413、ダミーデータ書込み処理部414、送受信制御部415、Network Interface Card(NIC)416、および記憶部417を備える。FIG. 13 is a configuration diagram of a data center according to the embodiment.
The data center 401-1 includes a disk capacity
ディスク容量チェック処理部411は、記憶部417の空き容量のサイズをチェックする。
The disk capacity
データ読込み処理部412は、記憶部417からデータを読み出す。
データ書込み処理部413は、記憶部417にデータを書き込む。The data read processing unit 412 reads data from the
The data write
ダミーデータ書込み処理部414は、記憶部401にダミーデータ401を書き込む。尚、ダミーデータは、小さいサイズ(例えば、100バイト)のデータである。また、ダミーデータの内容は任意である。
The dummy data write
送受信制御部415は、ディスク容量チェック処理部411、データ読込み処理部412、データ書込み処理部413、およびダミーデータ書込み処理部414からデータを受信し、データをNIC416に転送する。また、送受信制御部415は、NIC416からデータを受信し、データをディスク容量チェック処理部411、データ読込み処理部412、データ書込み処理部413、またはダミーデータ書込み処理部414に転送する。
The transmission /
NIC416は、ネットワークと接続し、クライアント201および管理サーバ301と通信を行う拡張カードである。NIC416は、クライアント201または管理サーバ301からデータを受信し、送受信制御部415に転送する。また、送受信制御部415からデータを受信し、クライアント201または管理サーバ301に転送する。NIC416は、接続要求(SYNパケット)に対する確認応答(ACKパケット)をクライアント201に送信する。
The
記憶部417は、データを格納する装置である。記憶部417は、例えば、磁気ディスク装置、半導体記憶装置、またはRAM等である。
The
記憶部417は、分割データ421を格納する。分割データ421は、分割された書き込みデータ231の一部である。
The
尚、データセンタ401−2〜401−6の構成は、データセンタ401−1と同様であるので、説明は省略する。 The configuration of the data centers 401-2 to 401-6 is the same as that of the data center 401-1 and will not be described.
次にネットワークレスポンスタイムとサーバレスポンスタイムの定義および測定処理について述べる。 Next, the definition of network response time and server response time and the measurement process will be described.
図14は、ネットワークレスポンスタイムおよびサーバレスポンスタイムの測定処理のシーケンス図である。 FIG. 14 is a sequence diagram of measurement processing of network response time and server response time.
ここでは、データセンタ401−1のネットワークレスポンスタイムおよびサーバレスポンスタイムの測定について説明する。 Here, measurement of the network response time and server response time of the data center 401-1 will be described.
尚、クライアント201とデータセンタ401−1は、Transmission Control Protocol(TCP)を用いて通信する。
The
クライアント201は、ダミーデータ書込み処理を開始する。
先ず、クライアントは201、接続要求(SYNパケット)をデータセンタ401−1に送信する(S501)。The
First, the
NIC416は、接続要求に対する確認応答(ACKパケット)をクライアント201に送信する(S502)。
The
そして、クライアント201は、確認応答(ACKパケット)を受信する。
クライアント201は、クライアント201が接続要求(SYNパケット)を送信してから、確認応答(ACKパケット)を受信するまでの時間を測定し、該時間をネットワークレスポンスタイムとする。Then, the
The
次に、クライアント201は、HyperText Transfer Protocol(HTTP)またはHypertext Transfer Protocol over Secure Socket Layer(HTTPS)を用いて、ダミーデータ書込み要求をデータセンタ401−1に送信する(S503)。
Next, the
ダミーデータ書込み処理部414は、ダミーデータ書込み要求を受信すると、ダミーデータを記憶部417に書込む。ダミーデータ書込み処理部414は、書込みが完了したら、書込み完了をクライアント201に応答する(S504)。
When receiving the dummy data write request, the dummy data write
そして、クライアント201は、書込み完了の応答を受信する。
クライアント201は、クライアント201がダミーデータ書込み要求を送信してから、書込み完了の応答を受信するまでの時間を測定し、該時間をサーバレスポンスタイムとする。Then, the
The
クライアント201は、FINパケットをデータセンタ401−1に送信し、通信を終了する(S505)。
The
尚、データセンタ401−2〜401−6のネットワークレスポンスタイムおよびサーバレスポンスタイムの測定処理についても、上述のデータセンタ401−1のネットワークレスポンスタイムおよびサーバレスポンスタイムの測定処理と同様である。 Note that the network response time and server response time measurement processing of the data centers 401-2 to 401-6 are the same as the network response time and server response time measurement processing of the data center 401-1 described above.
図15は、実施の形態に係るクライアントのデータ保存処理のフローチャートである。
先ず、クライアント201は、アプリケーションソフトウェアによる処理で書き込みデータ231を生成し、書き込みデータ231を保存するデータ保存処理を開始する。FIG. 15 is a flowchart of client data storage processing according to the embodiment.
First, the
ステップS511において、データセンタ構成情報取得処理部211は、管理サーバ301にデータセンタ構成情報取得要求を送信し、管理サーバ301からデータセンタ構成情報321を受信し、データセンタ構成情報232として記憶部220に格納する。
In
ステップS512において、ダミーデータ書込み要求処理部212は、データセンタ構成情報232に記述されている各データセンタ401に対してダミーデータ書込み処理を実行し、各データセンタ401のNWレスポンスタイムおよびサーバレスポンスタイムを測定する。
In
ステップS513において、NWレスポンステーブル処理部213は、NWレスポンステーブル233を作成する。詳細には、NWレスポンステーブル処理部213は、サーバIDと測定したNWレスポンスタイムとを対応付けてNWレスポンステーブル233に記述する。そして、NWレスポンステーブル処理部213は、NWレスポンステーブル233を管理サーバ301に送信する。
In step S513, the NW response
ステップS514において、サーバレスポンステーブル処理部214は、サーバレスポンステーブル235を作成する。詳細には、サーバレスポンステーブル処理部214は、サーバIDと測定したサーバレスポンスタイムとを対応付けてサーバレスポンステーブル235に記述する。そして、サーバレスポンステーブル処理部214は、サーバレスポンステーブル235を管理サーバ301に送信する。
In step S514, the server response
ステップS515において、ソートテーブル受信処理部215は、管理サーバ301から、ソート済みNWレスポンステーブル、ソート済みサーバレスポンステーブル、およびソート済み空きディスク容量テーブルを受信し、ソート済みNWレスポンステーブル234、ソート済みサーバレスポンステーブル235、およびソート済み空きディスク容量テーブル237を記憶部220に格納する。
In step S515, the sort table
ステップS516において、データ分割処理部216は、データ分割条件テーブル238を参照し、データ分割条件テーブル238に記述された条件に従って書き込みデータ231を分割し、分割データを生成する。
In step S516, the data
ステップS517において、データ保存先決定処理部217は、ソート済みNWレスポンステーブル234、ソート済みサーバレスポンステーブル235、およびソート済み空きディスク容量テーブル237の内の少なくとも一つを参照し、分割データを保存するデータセンタを所定の条件に基づいて決定する。所定の条件としては、NWレスポンスタイム優先、サーバレスポンスタイム優先、閾値より大きい空きディスク容量などがある。尚、分割データを保存するデータセンタは、保存先データセンタと呼ぶ。また、保存先データセンタの決定例については後述する。
In step S517, the data storage destination
ステップS518において、データ保存先決定処理部217は、分割データ管理テーブル239を作成する。詳細には、データ保存先決定処理部217は、分割データ管理テーブル239に保存先データセンタのサーバIDと分割データの名称とを対応付けて記述する。
In step S518, the data storage destination
ステップS519において、データ読込・書込処理部217は、分割データ管理テーブル239に基づいて、保存先データセンタに分割データをそれぞれ送信する。
In step S519, the data read /
ここで、データセンタ構成情報の取得(ステップS511)からソート済みテーブル受信(ステップS515)までの詳細な処理を説明する。 Here, detailed processing from acquisition of the data center configuration information (step S511) to reception of the sorted table (step S515) will be described.
図16は、実施の形態に係るデータセンタ構成情報の取得からソート済みテーブル取得までのシーケンス図である。 FIG. 16 is a sequence diagram from the acquisition of the data center configuration information to the acquisition of the sorted table according to the embodiment.
図16は、図15のステップS511〜S515に対応する。
先ず、データセンタ構成情報取得処理部211は、管理サーバ301にデータセンタ構成情報取得要求を送信する(ステップS521)。FIG. 16 corresponds to steps S511 to S515 in FIG.
First, the data center configuration information
データセンタ構成情報処理部311は、データセンタ構成情報取得要求を受信すると、データセンタ構成情報321をクライアント201に送信し(ステップS522)、データセンタ構成情報取得処理部211は、データセンタ構成情報321を受信する。データセンタ構成情報取得処理部211は、受信したデータセンタ構成情報321をデータセンタ構成情報232として記憶部220に格納する。
When receiving the data center configuration information acquisition request, the data center configuration
ダミーデータ書込み要求処理部212は、接続要求(SYNパケット)をデータセンタ401−1に送信する(S523−1)。
The dummy data write
NIC416は、接続要求に対する確認応答(ACKパケット)をクライアント201に送信する(S524−1)。
The
そして、クライアント201は、確認応答(ACKパケット)を受信する。
NWレスポンステーブル処理部213は、データセンタ401−1に接続要求(SYNパケット)を送信してから、確認応答(ACKパケット)を受信するまでの時間を測定し、該時間をデータセンタ401−1のネットワークレスポンスタイムとしてNWレスポンステーブル233に記述する。Then, the
The NW response
次に、ダミーデータ書込み要求処理部212は、HTTPまたはHTTPSを用いて、ダミーデータ書込み要求をデータセンタ401−1に送信する(S525−1)。
Next, the dummy data write
ダミーデータ書込み処理部414は、ダミーデータ書込み要求を受信すると、ダミーデータを記憶部417に書込む。ダミーデータ書込み処理部414は、書込みが完了したら、書込み完了をクライアント201に応答する(S526−1)。
When receiving the dummy data write request, the dummy data write
そして、クライアント201は、書込み完了の応答を受信する。
サーバレスポンステーブル処理部214は、クライアント201がダミーデータ書込み要求を送信してから、書込み完了の応答を受信するまでの時間を測定し、該時間をデータセンタ401−1のサーバレスポンスタイムとしてサーバレスポンステーブル235に記述する。Then, the
The server response
以下、同様にデータセンタ401−2〜401−6のNWレスポンスタイムおよびサーバレスポンスタイムを測定し、測定したデータセンタ401−2〜401−6のNWレスポンスタイムおよびサーバレスポンスタイムをNWレスポンステーブル233およびサーバレスポンスタイムテーブル235にそれぞれ記述する(ステップS523−2〜S526−6)。 Similarly, the NW response time and server response time of the data centers 401-2 to 401-6 are measured, and the measured NW response time and server response time of the data centers 401-2 to 401-6 are measured in the NW response table 233 and Each is described in the server response time table 235 (steps S523-2 to S526-6).
NWレスポンステーブル233およびサーバレスポンスタイムテーブル235の作成後、NWレスポンステーブル処理部213は、NWレスポンステーブル233を管理サーバ301に送信し、サーバレスポンステーブル処理部214は、サーバレスポンステーブル235を管理サーバ301に送信する(ステップS527)。
After creating the NW response table 233 and the server response time table 235, the NW response
そして、ソートテーブル受信処理部215は、管理サーバ301から、ソート済みNWレスポンステーブル、ソート済みサーバレスポンステーブル、およびソート済み空きディスク容量テーブルを受信し、ソート済みNWレスポンステーブル234、ソート済みサーバレスポンステーブル235、およびソート済み空きディスク容量テーブル237を記憶部220に格納する(ステップS528)。
The sort table
次に管理サーバ301の処理について説明する。
図17は、実施の形態に係る管理サーバの処理のフローチャートである。Next, processing of the
FIG. 17 is a flowchart of processing of the management server according to the embodiment.
ステップS601において、ディスク容量問合わせ部315は、各データセンタ401の空きディスク容量をチェックする。詳細には、ディスク容量問合わせ部315は、各データセンタ401に空きディスク容量を問い合わせる空きディスク容量チェック要求を送信する。ディスク容量問合わせ部315は、各データセンタ401から空きディスク容量応答(空きディスク容量のサイズ)を受信する。空きディスク容量テーブル処理部314は、受信した空きディスク容量の情報を空きディスク容量テーブル324に記述する。空きディスク容量の情報の取得は、定期的(例えば、1時間毎)に実施される。尚、空きディスク容量の情報取得の詳細については後述する。
In step S601, the disk
ステップS602において、クライアント201からデータセンタ構成情報取得要求がある場合、制御はステップS603に進み、データセンタ構成情報取得要求がない場合、制御はステップS601に戻る。
If there is a data center configuration information acquisition request from the
ステップS603において、データセンタ構成情報処理部311は、クライアント201からデータセンタ構成情報取得要求を受信する。
In step S <b> 603, the data center configuration
ステップS604において、データセンタ構成情報処理部311は、データセンタ構成情報321をクライアント201に送信する。
In step S <b> 604, the data center configuration
ステップS605において、NWレスポンステーブル処理部312は、クライアント201からNWレスポンステーブル233を受信し、NWレスポンステーブル322として記憶部318に格納する。サーバレスポンステーブル処理部313は、クライアント201からサーバレスポンステーブル235を受信し、サーバレスポンステーブル323として記憶部318に格納する。
In step S605, the NW response
ステップS606において、ソート処理部316は、NWレスポンステーブル322をネットワークレスポンスタイムの小さい順にソートし、ソート済みNWレスポンステーブルを生成する。ソート処理部316は、サーバレスポンステーブル323をサーバレスポンスタイムの小さい順にソートし、ソート済みサーバレスポンステーブルを生成する。ソート処理部316は、空きディスク容量テーブル324を空きディスク容量の大きい順にソートし、ソート済み空きディスク容量テーブルを生成する。
In step S606, the
ステップS607において、NWレスポンステーブル処理部312は、ソート済みNWレスポンステーブルをクライアント201に送信する。サーバレスポンステーブル処理部313は、ソート済みサーバレスポンステーブルをクライアント201に送信する。空きディスク容量テーブル処理部314は、ソート済み空きディスク容量テーブルをクライアント201に送信する。
In step S607, the NW response
図18は、実施の形態に係る空きディスク容量の情報取得処理のシーケンス図である。
図18は、図17のステップS601に対応する。FIG. 18 is a sequence diagram of the free disk capacity information acquisition processing according to the embodiment.
FIG. 18 corresponds to step S601 in FIG.
ディスク容量問合わせ部315は、データセンタ401−1に空きディスク容量を問い合わせる空きディスク容量チェック要求を送信する(ステップS611−1)。
The disk
ディスク容量問合わせ部315は、各データセンタ401−1から空きディスク容量応答(空きディスク容量のサイズ)を受信する(ステップS612−1)。空きディスク容量テーブル処理部314は、受信したデータセンタ401−1の空きディスク容量の情報を空きディスク容量テーブル324に記述する。
The disk
以下、同様にディスク容量問合わせ部315は、データセンタ401−2からデータセンタ401−6まで順番に空きディスク容量チェック要求を送信し、データセンタ401−2〜401−6の空きディスク容量の情報を受信し、空きディスク容量テーブル324に記述する(ステップS611−2〜S612−6)。
Thereafter, similarly, the disk
次にデータセンタ401の処理について説明する。尚、データセンタ401−1〜401−6は、それぞれ同様の処理を実行するので、データセンタ401−1の処理のみ説明する。 Next, processing of the data center 401 will be described. Since the data centers 401-1 to 401-6 execute the same processing, only the processing of the data center 401-1 will be described.
図19は、実施の形態に係るデータセンタのクライアント応答処理のフローチャートである。 FIG. 19 is a flowchart of client response processing in the data center according to the embodiment.
ステップS701において、NIC416は、クライアント201から接続要求(SYNパケット)を受信し、確認応答(ACKパケット)をクライアント201に送信する。
In step S <b> 701, the
ステップS702において、データセンタ401−1がダミーデータ書込み要求を受信した場合、制御はステップS703に進み、ダミーデータ書込み要求を受信しなかった場合、制御はステップS706に進む。 In step S702, if the data center 401-1 receives a dummy data write request, the control proceeds to step S703, and if no dummy data write request is received, the control proceeds to step S706.
ステップS703において、ダミーデータ書込み処理部414は、クライアント201からダミーデータ書込み要求を受信する。
In step S <b> 703, the dummy data write
ステップS704において、ダミーデータ書込み処理部414は、ダミーデータを記憶部417に書き込む。そして、ダミーデータ書込み処理部414は、書込み完了をクライアント201に応答する。
In step S <b> 704, the dummy data write
ステップS705において、データセンタ401−1がデータ読出し要求またはデータ書込み要求を受信した場合、制御はステップS706に進み、データ読出し要求またはデータ書込み要求を受信しなかった場合、制御はステップS701に戻る。 In step S705, if the data center 401-1 receives a data read request or data write request, control proceeds to step S706, and if no data read request or data write request is received, control returns to step S701.
ステップS706において、データ読込み処理部412がデータ読出し要求を受信した場合、制御はステップS707に進み、データ読込み処理部412がデータ読出し要求を受信しない場合、制御はステップS708に進む。 If the data read processing unit 412 receives a data read request in step S706, the control proceeds to step S707, and if the data read processing unit 412 does not receive a data read request, the control proceeds to step S708.
ステップS707において、データ読込み処理部412は、データ読み出し要求で要求されたデータを記憶部417から読み出し、読み出したデータをクライアント201に送信する。
In step S <b> 707, the data read processing unit 412 reads the data requested by the data read request from the
ステップS708において、データ書込み処理部413がデータ書込み要求を受信した場合、制御はステップS709に進み、データ書込み処理部413がデータ書込みを受信しない場合、制御はステップS701に戻る。尚、データ書込み要求を受信した場合、データ書込み処理部413は、記憶部417に書き込むデータとして、分割データを受信する。
If the data
ステップS709において、データ書込み処理部413は、受信した分割データを記憶部417に書き込む。
In step S709, the data
図20は、実施の形態に係るデータセンタの管理サーバ応答処理のフローチャートである。 FIG. 20 is a flowchart of management server response processing in the data center according to the embodiment.
ディスク容量チェック処理部411は、管理サーバ301から空きディスク容量チェック要求を受信し、記憶部417の空きディスク容量をチェックする(ステップS711)。
The disk capacity
そして、ディスク容量チェック処理部411は、記憶部417の空きディスク容量のサイズを空きディスク容量応答として管理サーバ301に返信する(ステップS712)。
Then, the disk capacity
ここで、保存先のデータセンタの決定処理に関して2つの例を説明する。
(1)ネットワークレスポンスタイム優先
先ず、第1の例としてネットワークレスポンスタイムに基づく保存先データセンタの決定処理について説明する。Here, two examples regarding the determination processing of the data center of the storage destination will be described.
(1) Network Response Time Priority First, storage destination data center determination processing based on network response time will be described as a first example.
第1の例において、書き込みデータ231の名称は“Abc”であり、書き込みデータ231が分割され、2つの分割データが作成されたものとする。また、2つの分割データの名称は、それぞれ“Abc-1”および“Abc-2”とする。
また、保存先データセンタとして使用するデータセンタの数は3とする。In the first example, it is assumed that the name of the
The number of data centers used as the storage destination data center is three.
図21は、ソート済み空きディスク容量テーブルを示す図である。
図22は、ソート済みNWレスポンステーブルを示す図である。FIG. 21 is a diagram showing a sorted free disk capacity table.
FIG. 22 is a diagram showing a sorted NW response table.
第1の例において、ソート済み空きディスク容量テーブル237−1およびソート済みNWレスポンステーブル234−1は、それぞれ図21および図22に示す通りとする。また、データセンタ構成情報232は、図3に示す通りとする。
In the first example, the sorted free disk capacity table 237-1 and the sorted NW response table 234-1 are as shown in FIGS. 21 and 22, respectively. The data
データ保存先決定処理部217は、空きディスク容量テーブル237−1を参照し、空きディスク容量が所定値以下(例えば、10G以下)のデータセンタを対象外として設定する。空きディスク容量が所定値以下のデータセンタを保存先データセンタから除外することで、該データセンタに格納されている既存のデータの修正や書込みを出来るようにする。
The data storage destination
ここでは、データセンタ-aとデータセンタ-dが対象外として設定されたものとする。
データ保存先決定処理部217は、NWレスポンステーブル234−1を参照し、対象外とされたデータセンタの情報をNWレスポンステーブル234−1に反映する。すなわち、NWレスポンステーブル234−1のデータセンタ-aとデータセンタ-dが対象外として設定される。Here, it is assumed that data center-a and data center-d are set as excluded.
The data storage destination
データ保存先決定処理部217は、データセンタ構成情報232とソート済みNWレスポンステーブル234−1から図23に示す分割データ管理テーブル239−1を作成する。ただし、書込みデータ名には、データは記述されていないものする。
The data storage destination
分割データ管理テーブル239−1では、サーバIDは、NWレスポンスタイムの速い順に並んでいる。 In the divided data management table 239-1, the server IDs are arranged in order of increasing NW response time.
データ保存先決定処理部217は、分割データ管理テーブル239−1の内、対象外として設定されたデータセンタを除いたデータセンタの内、NWレスポンスタイムの速い順に3つのデータセンタを保存先データセンタとして選択する。すなわち、データセンタ-f、データセンタ-c、およびデータセンタ-bが選択される。
The data storage destination
さらに、保存先データセンタの内、NWレスポンスタイムの速い順に分割データを割り当てる。 Further, the divided data is allocated in the order of the NW response time in the storage destination data center.
これにより、分割データ“Abc-1”および“Abc-2”は、データセンタ-fとデータセンタ-cにそれぞれ割り当てられる。 As a result, the divided data “Abc-1” and “Abc-2” are allocated to the data center-f and the data center-c, respectively.
データ保存先決定処理部217は、“Abc-1”および“Abc-2”を分割データ管理テーブル239−1のデータセンタ-fおよびデータセンタ-cに対応する書込みデータ名にそれぞれ記述する。これにより、図23に示されるような分割データ管理テーブル239−1が作成される。データ保存先決定処理部217は、分割データ管理テーブル239−1をデータ名”Abc”と結びつけて記憶部220に保存する。
The data storage destination
データ読込・書込処理部218は、分割データ”Abc-1”および”Abc-2”をデータセンタ401−6およびデータセンタ401−3にそれぞれ送信する。
The data read /
尚、次に別の書込み要求があった場合、データセンタ-b→データセンタ-f→・・・の様な順にサイクリックに使用される。
(2)サーバレスポンスタイム優先
次に、第2の例としてサーバレスポンスタイムに基づく保存先データセンタの決定処理について説明する。If another write request is received next, it is used cyclically in the order of data center-b → data center-f →.
(2) Server Response Time Priority Next, a storage destination data center determination process based on the server response time will be described as a second example.
第2の例において、書き込みデータ231の名称は“Def”であり、書き込みデータ231が分割され、3つの分割データが作成されたものとする。また、3つの分割データの名称は、それぞれ“Def-1” 、“Def-2” および“Def-3”とする。
また、保存先データセンタとして使用するデータセンタの数は3とする。In the second example, it is assumed that the name of the
The number of data centers used as the storage destination data center is three.
図24は、ソート済み空きディスク容量テーブルを示す図である。
図25は、ソート済みサーバレスポンステーブルを示す図である。FIG. 24 is a diagram showing a sorted free disk capacity table.
FIG. 25 is a diagram illustrating a sorted server response table.
第2の例において、ソート済み空きディスク容量テーブル237−2およびソート済みサーバレスポンステーブル236−2は、それぞれ図24および図25に示す通りとする。また、データセンタ構成情報232は、図3に示す通りとする。
In the second example, the sorted free disk capacity table 237-2 and the sorted server response table 236-2 are as shown in FIGS. 24 and 25, respectively. The data
データ保存先決定処理部217は、空きディスク容量テーブル237−2を参照し、空きディスク容量が所定値以下(例えば、10G以下)のデータセンタを対象外として設定する。空きディスク容量が所定値以下のデータセンタを保存先データセンタから除外することで、該データセンタに格納されている既存のデータの修正や書込みを出来るようにする。
The data storage destination
ここでは、データセンタ-aとデータセンタ-dが対象外として設定されたものとする。
データ保存先決定処理部217は、サーバレスポンステーブル236−2を参照し、対象外とされたデータセンタの情報をサーバレスポンステーブル236−2に反映する。すなわち、サーバレスポンステーブル236−2のデータセンタ-aとデータセンタ-dが対象外として設定される。Here, it is assumed that data center-a and data center-d are set as excluded.
The data storage destination
データ保存先決定処理部217は、データセンタ構成情報232とソート済みサーバレスポンステーブル236−2から図26に示す分割データ管理テーブル239−1を作成する。ただし、書込みデータ名には、データは記述されていないものする。
The data storage destination
分割データ管理テーブル239−1では、サーバIDは、サーバレスポンスタイムの速い順に並んでいる。 In the divided data management table 239-1, the server IDs are arranged in order of the server response time.
データ保存先決定処理部217は、分割データ管理テーブル239−2の内、対象外として設定されたデータセンタを除いたデータセンタの内、サーバレスポンスタイムの速い順に3つのデータセンタを保存先データセンタとして選択する。すなわち、データセンタ-b、データセンタ-f、およびデータセンタ-eが選択される。
The data storage destination
さらに、保存先データセンタの内、NWレスポンスタイムの速い順に分割データを割り当てる。 Further, the divided data is allocated in the order of the NW response time in the storage destination data center.
これにより、分割データ“Def-1”、“Def-2”、および“Def-3”は、データセンタ-b、データセンタ-f、およびデータセンタ-eにそれぞれ割り当てられる。 Accordingly, the divided data “Def-1”, “Def-2”, and “Def-3” are allocated to the data center-b, the data center-f, and the data center-e, respectively.
データ保存先決定処理部217は、“Def-1”、“Def-2”、および“Def-3”を分割データ管理テーブル239−2のデータセンタ-b、データセンタ-f、およびデータセンタ-eに対応する書込みデータ名にそれぞれ記述する。これにより、図26に示されるような分割データ管理テーブル239−2が作成される。データ保存先決定処理部217は、分割データ管理テーブル239−2をデータ名”Def”と結びつけて記憶部220に保存する。
The data storage destination
データ読込・書込処理部218は、分割データ“Def-1”、“Def-2”、および“Def-3”をデータセンタ401−2、データセンタ401−6、およびデータセンタ401−5にそれぞれ送信する。
The data read /
尚、次に別の書込み要求があった場合、データセンタ-b→データセンタ-f→・・・の様な順にサイクリックに使用される。 If another write request is received next, it is used cyclically in the order of data center-b → data center-f →.
次にデータの読み出し処理について説明する。
クライアント201がデータセンタ401に保存したデータを必要とする場合、データ読込・書込処理部218は、データセンタ401から分割データを読み出し、分割データを結合する。これにより、分割前のデータが生成される。Next, data read processing will be described.
When the
例えば、クライアント201がデータ名が”Abc”であるデータを必要とする場合、データ読込・書込処理部218は、データ名”Abc”と結び付けられた分割データ管理テーブル239−1を参照する。
For example, when the
図23に示すように、分割データ管理テーブル239−1には、分割データ”Abc-1”および”Abc-2”がデータセンタ401−6およびデータセンタ401−3にそれぞれ格納されていることが記述されている。 As shown in FIG. 23, in the divided data management table 239-1, the divided data “Abc-1” and “Abc-2” are stored in the data center 401-6 and the data center 401-3, respectively. It has been described.
したがって、データ読込・書込処理部218は、データセンタ401−6およびデータセンタ401−3から分割データ”Abc-1”および”Abc-2”をそれぞれ読み出し、分割データ”Abc-1”と分割データ”Abc-2”を結合し、分割前のデータ“Abc”を生成する。
Therefore, the data read /
このように、データ読込・書込処理部218は、分割データ管理テーブル239を参照し、分割データを格納したデータセンタ401を特定し、特定したデータセンタ401から分割データを読み出して、分割データを結合し、分割前のデータを生成する。
As described above, the data read /
実施の形態のシステムによれば、クライアントは、保存処理に時間が掛からないデータセンタを選択することが出来る。 According to the system of the embodiment, the client can select a data center in which the storage process does not take time.
実施の形態のシステムによれば、データを複数個に分割して、異なるデータセンタに保存することで、特定のデータセンタへの負荷を低減することが出来る。 According to the system of the embodiment, the load on a specific data center can be reduced by dividing the data into a plurality of data and storing the data in different data centers.
実施の形態のシステムによれば、保存処理に掛かる時間を低減することが出来る。
図27は、情報処理装置(コンピュータ)の構成図である。According to the system of the embodiment, the time required for the storage process can be reduced.
FIG. 27 is a configuration diagram of an information processing apparatus (computer).
実施の形態のクライアント201、管理サーバ301、およびデータセンタ401は、例えば、図27に示すような情報処理装置1によって実現される。
The
情報処理装置1は、CPU2、メモリ3、入力部4、出力部5、記憶部6、記録媒体駆動部7、およびネットワーク接続部8を備え、それらはバス9により互いに接続されている。
The
CPU2は、情報処理装置1全体を制御する中央処理装置である。CPU2は、データセンタ構成情報取得部211、ダミーデータ書込み要求処理部212、NWレスポンステーブル処理部213、サーバレスポンステーブル処理部214、ソートテーブル受信処理部215、データ分割処理部216、データ保存先決定処理部217、データ読込・書込処理部218、送受信制御部219、NWレスポンステーブル処理部312、サーバレスポンステーブル処理部313、空きディスク容量テーブル処理部314、ディスク容量問合わせ処理部315、ソート処理部316、送受信制御部317、ディスク容量チェック処理部411、データ読込み処理部412、データ書込み処理部413、ダミーデータ書込み処理部414、および送受信制御部415に対応する。
The
メモリ3は、プログラム実行の際に、記憶部6(あるいは可搬記録媒体10)に記憶されているプログラムあるいはデータを一時的に格納するRead Only Memory(ROM)やRandom Access Memory(RAM)等のメモリである。CPU2は、メモリ3を利用してプログラムを実行することにより、上述した各種処理を実行する。
The
この場合、可搬記録媒体10等から読み出されたプログラムコード自体が実施の形態の機能を実現する。
In this case, the program code itself read from the
入力部4は、例えば、キーボード、マウス、タッチパネル等である。
出力部5は、例えば、ディスプレイ、プリンタ等である。The
The
記憶部6は、例えば、磁気ディスク装置、光ディスク装置、テープ装置等である。情報処理装置1は、記憶部6に、上述のプログラムとデータを保存しておき、必要に応じて、それらをメモリ3に読み出して使用する。
The storage unit 6 is, for example, a magnetic disk device, an optical disk device, a tape device, or the like. The
メモリ3または記憶部6は、記憶部220、318、417に対応する。
記録媒体駆動部7は、可搬記録媒体10を駆動し、その記録内容にアクセスする。可搬記録媒体としては、メモリカード、フレキシブルディスク、Compact Disk Read Only Memory(CD-ROM)、光ディスク、光磁気ディスク等、任意のコンピュータ読み取り可能な記録媒体が用いられる。ユーザは、この可搬記録媒体10に上述のプログラムとデータを格納しておき、必要に応じて、それらをメモリ3に読み出して使用する。The
The recording
ネットワーク接続部8は、LAN等の任意の通信ネットワークに接続され、通信に伴うデータ変換を行う。ネットワーク接続部8は、NIC416に対応する。
The network connection unit 8 is connected to an arbitrary communication network such as a LAN, and performs data conversion accompanying communication. The network connection unit 8 corresponds to the
Claims (8)
前記情報処理装置は、
サーバに対する接続要求の送信から、該接続要求に対する応答の受信までの時間であるネットワークレスポンスタイムが記述されたネットワークレスポンステーブルおよびサーバに対するデータの書込み要求を送信してから、該書き込み完了の応答を受信するまでの時間であるサーバレスポンスタイムが記述されたサーバレスポンステーブルとを含む記憶部と、
書込みデータを分割し、分割データを生成する分割部と、
前記ネットワークレスポンスタイムまたは前記サーバレスポンスタイムに基づいて、前記分割データを保存する保存先サーバを決定する保存先決定部と、
前記分割データを前記保存先サーバに送信する送信部と、
を備えることを特徴とする情報処理装置。An information processing apparatus capable of communicating with a plurality of servers,
The information processing apparatus includes:
A network response table in which the network response time, which is the time from the transmission of the connection request to the server to the reception of the response to the connection request, and the data write request to the server are transmitted, and then the write completion response is received. A storage unit including a server response table describing a server response time that is a time until
A division unit for dividing the write data and generating divided data;
Based on the network response time or the server response time, a storage destination determination unit that determines a storage destination server for storing the divided data;
A transmission unit for transmitting the divided data to the storage destination server;
An information processing apparatus comprising:
前記分割部は、前記分割条件テーブルに基づいて、前記分割データを生成することを特徴とする請求項1乃至3のいずれか1項に記載の情報処理装置。The storage unit further stores a division condition table described in association with the size of the write data and the size of the divided data,
The information processing apparatus according to claim 1, wherein the division unit generates the divided data based on the division condition table.
前記保存先決定部は、前記空き容量が閾値より大きいサーバを前記保存先サーバに決定することを特徴とする請求項1乃至6のいずれか1項に記載の情報処理装置。The storage unit stores a free space table in which free space of the plurality of servers is described,
The information processing apparatus according to claim 1, wherein the storage destination determination unit determines a server having the free capacity larger than a threshold as the storage destination server.
書込みデータを分割し、
分割データを生成し、
前記ネットワークレスポンスタイムまたは前記サーバレスポンスタイムに基づいて、前記分割データを保存する保存先サーバを決定し、
前記分割データを前記保存先サーバに送信する
処理を実行させるデータ保存処理プログラム。It is possible to communicate with multiple servers, send a network response table describing the network response time, which is the time from transmission of a connection request to the server to reception of a response to the connection request, and a data write request to the server To a computer including a storage unit including a server response table in which a server response time, which is a time until receiving the write completion response, is described,
Divide the write data,
Generate split data,
Based on the network response time or the server response time, determine a storage destination server to store the divided data,
A data storage processing program for executing processing for transmitting the divided data to the storage destination server.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014507188A JPWO2013145222A1 (en) | 2012-03-29 | 2012-03-29 | Information processing apparatus and data storage processing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014507188A JPWO2013145222A1 (en) | 2012-03-29 | 2012-03-29 | Information processing apparatus and data storage processing program |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2013145222A1 true JPWO2013145222A1 (en) | 2015-08-03 |
Family
ID=53772825
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014507188A Pending JPWO2013145222A1 (en) | 2012-03-29 | 2012-03-29 | Information processing apparatus and data storage processing program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JPWO2013145222A1 (en) |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020154594A (en) * | 2019-03-19 | 2020-09-24 | 株式会社Pfu | Server device and network system |
Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006146294A (en) * | 2004-11-16 | 2006-06-08 | Dainippon Printing Co Ltd | Data storage control system |
JP2006350470A (en) * | 2005-06-13 | 2006-12-28 | National Institute Of Advanced Industrial & Technology | Data management device and method |
JP2007328727A (en) * | 2006-06-09 | 2007-12-20 | Hitachi Ltd | Distributed file management method and information processor |
WO2009089426A1 (en) * | 2008-01-10 | 2009-07-16 | Diskeeper Corporation | Selecting storage location for file storage based on storage longevity and speed |
JP2010287036A (en) * | 2009-06-11 | 2010-12-24 | Nippon Hoso Kyokai <Nhk> | Storage server device and computer program |
JP2011065314A (en) * | 2009-09-16 | 2011-03-31 | Hitachi Ltd | File management method and storage system |
-
2012
- 2012-03-29 JP JP2014507188A patent/JPWO2013145222A1/en active Pending
Patent Citations (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2006146294A (en) * | 2004-11-16 | 2006-06-08 | Dainippon Printing Co Ltd | Data storage control system |
JP2006350470A (en) * | 2005-06-13 | 2006-12-28 | National Institute Of Advanced Industrial & Technology | Data management device and method |
JP2007328727A (en) * | 2006-06-09 | 2007-12-20 | Hitachi Ltd | Distributed file management method and information processor |
WO2009089426A1 (en) * | 2008-01-10 | 2009-07-16 | Diskeeper Corporation | Selecting storage location for file storage based on storage longevity and speed |
JP2010287036A (en) * | 2009-06-11 | 2010-12-24 | Nippon Hoso Kyokai <Nhk> | Storage server device and computer program |
JP2011065314A (en) * | 2009-09-16 | 2011-03-31 | Hitachi Ltd | File management method and storage system |
Cited By (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2020154594A (en) * | 2019-03-19 | 2020-09-24 | 株式会社Pfu | Server device and network system |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
ES2553428T3 (en) | Method, device and content processing system | |
EP2721504B1 (en) | File processing method, system and server-clustered system for cloud storage | |
CN108881348B (en) | Service quality control method and device and storage server | |
JP2005122235A (en) | Storage device and system having communication buffer reservation function | |
KR20200017589A (en) | Cloud server for offloading task of mobile node and therefor method in wireless communication system | |
WO2020116612A1 (en) | Storage management device, method, and program | |
US9836358B2 (en) | Ephemeral remote data store for dual-queue systems | |
JP6972714B2 (en) | Data acquisition programs, equipment, and methods | |
TW201931145A (en) | Method and server for dynamic work transfer | |
US20170153909A1 (en) | Methods and Devices for Acquiring Data Using Virtual Machine and Host Machine | |
JP2017162257A (en) | Load monitoring program, load monitoring method, information processing device, and information processing system | |
US20140222896A1 (en) | Distributed processing system and management method of distributed processing system | |
US9781023B2 (en) | Information processing device, information processing method, and recording medium | |
JP2013196389A (en) | Information processing apparatus, information processing program and information processing method | |
JP6886874B2 (en) | Edge devices, data processing systems, data transmission methods, and programs | |
JP7305990B2 (en) | Transfer program, transfer method, and information processing device | |
JP2021039802A (en) | Data processing system and data processing method | |
CN102209019A (en) | Load balancing method and load balancing equipment based on message payload | |
EP3345345B1 (en) | Systems and methods for remote network topology discovery | |
US10970250B2 (en) | System, data management method, and file server | |
JP6793498B2 (en) | Data store device and data management method | |
US10516628B2 (en) | Transfer device, transfer system, and transfer method | |
CN107046503A (en) | A kind of message transmitting method, system and its apparatus | |
WO2013145222A1 (en) | Information processing device and data storing processing program | |
US20140289307A1 (en) | Method for transmitting data between electronic devices |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20151020 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151218 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20160614 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20161213 |