JP5909760B2 - Placement destination determination system, placement destination determination method, and computer program - Google Patents
Placement destination determination system, placement destination determination method, and computer program Download PDFInfo
- Publication number
- JP5909760B2 JP5909760B2 JP2012116748A JP2012116748A JP5909760B2 JP 5909760 B2 JP5909760 B2 JP 5909760B2 JP 2012116748 A JP2012116748 A JP 2012116748A JP 2012116748 A JP2012116748 A JP 2012116748A JP 5909760 B2 JP5909760 B2 JP 5909760B2
- Authority
- JP
- Japan
- Prior art keywords
- data center
- data
- evaluation value
- point
- delay
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 238000000034 method Methods 0.000 title claims description 13
- 238000004590 computer program Methods 0.000 title claims description 3
- 238000011156 evaluation Methods 0.000 claims description 140
- 230000001174 ascending effect Effects 0.000 claims 3
- 238000010586 diagram Methods 0.000 description 16
- 230000006870 function Effects 0.000 description 11
- 230000008569 process Effects 0.000 description 9
- 238000005457 optimization Methods 0.000 description 7
- 238000012545 processing Methods 0.000 description 7
- 238000012986 modification Methods 0.000 description 5
- 230000004048 modification Effects 0.000 description 5
- 239000004065 semiconductor Substances 0.000 description 5
- 238000004891 communication Methods 0.000 description 4
- 230000008859 change Effects 0.000 description 3
- 230000000694 effects Effects 0.000 description 3
- 230000004044 response Effects 0.000 description 3
- 230000002411 adverse Effects 0.000 description 2
- 238000004364 calculation method Methods 0.000 description 1
- 230000015556 catabolic process Effects 0.000 description 1
- 230000001186 cumulative effect Effects 0.000 description 1
- 238000006731 degradation reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
Images
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
- Information Transfer Between Computers (AREA)
Description
本発明は、複数のデータセンタを備えるシステムにおいて各データをどのデータセンタに配置するかを決定する技術に関する。 The present invention relates to a technique for determining in which data center each data is arranged in a system including a plurality of data centers.
従来、複数のデータセンタ(Data Center:DC)の各種リソースを連携させることによって仮想DCを実現することが提案されている(例えば特許文献1参照)。仮想DCでは、サービス要求に対する各種リソースの制約を解放する広域リソースプールが実現される。さらに、仮想DCでは、DC拠点における障害の発生時においても、サービス継続性を維持できる高い可用性が実現される。
分散されたDCでは、ファイルを配置するストレージも運用されている。ただし、各拠点のリソースの性能には差があるため、同じファイルであっても配置先によってアクセスに要する時間が異なる。そのため、サービス品質を向上させるためにも、ファイルを適切な拠点に配置する必要が生じる。このような配置は、例えばILM(Information Lifecycle Management)を用いて実現することが提案されている。
Conventionally, it has been proposed to realize a virtual DC by linking various resources of a plurality of data centers (DC) (for example, see Patent Document 1). In the virtual DC, a wide-area resource pool that releases various resource restrictions on service requests is realized. Further, the virtual DC realizes high availability capable of maintaining service continuity even when a failure occurs in the DC base.
In the distributed DC, a storage for arranging files is also operated. However, since there is a difference in the resource performance of each site, the time required for access differs depending on the arrangement destination even for the same file. Therefore, in order to improve the service quality, it is necessary to place the file at an appropriate base. It has been proposed to realize such an arrangement using, for example, ILM (Information Lifecycle Management).
しかしながら、物理的に離れた拠点に利用したいファイルが配置されている場合、ユーザ端末からファイルが配置されているデータセンタまでのネットワーク遅延により、アクセス品質が低下してしまうという問題があった。
上記事情に鑑み、本発明は、ネットワーク遅延によって生じるアクセス品質の低下を抑える技術の提供を目的としている。
However, when a file to be used is located at a physically distant base, there is a problem that access quality is deteriorated due to a network delay from the user terminal to the data center where the file is located.
In view of the above circumstances, an object of the present invention is to provide a technique for suppressing a decrease in access quality caused by network delay.
本発明の一態様は、記録されるデータについて、そのデータを配置した場合に前記データへのアクセスにおいて生じる遅延に関する遅延評価値をデータセンタ毎に評価する評価部と、前記遅延評価値に基づいて、各データの配置先となるデータセンタを決定する決定部と、を備える配置先決定システムである。 According to one aspect of the present invention, an evaluation unit that evaluates, for each data center, a delay evaluation value related to a delay that occurs in access to the data when the data is arranged, based on the delay evaluation value. And a determination unit that determines a data center to which each data is to be allocated.
本発明の一態様は、上記の配置先決定システムであって、データセンタ及び地点の組み合わせ毎に、ある地点に位置するユーザ端末と各データセンタとの間で生じる遅延に関する地点間遅延評価値を取得する地点間遅延評価値取得部と、前記ユーザ端末から各データへのアクセスの履歴情報を取得する履歴情報取得部と、を更に備え、前記評価部は、前記地点間遅延評価値及び前記履歴情報に基づいて前記遅延評価値を評価する。 One aspect of the present invention is the above-described placement destination determination system, wherein a point-to-point delay evaluation value relating to a delay occurring between a user terminal located at a certain point and each data center is obtained for each combination of the data center and the point. A point-to-point delay evaluation value acquisition unit to acquire, and a history information acquisition unit to acquire history information of access to each data from the user terminal, the evaluation unit, the point-to-point delay evaluation value and the history The delay evaluation value is evaluated based on the information.
本発明の一態様は、記録されるデータについて、そのデータを配置した場合に前記データへのアクセスにおいて生じる遅延に関する遅延評価値をデータセンタ毎に評価する評価ステップと、前記遅延評価値に基づいて、各データの配置先となるデータセンタを決定する決定ステップと、を有する配置先決定方法である。 According to one aspect of the present invention, an evaluation step of evaluating, for each data center, a delay evaluation value related to a delay that occurs in access to the data when the data is arranged, based on the delay evaluation value. And a determination step of determining a data center that is an allocation destination of each data.
本発明の一態様は、記録されるデータについて、そのデータを配置した場合に前記データへのアクセスにおいて生じる遅延に関する遅延評価値をデータセンタ毎に評価する評価ステップと、前記遅延評価値に基づいて、各データの配置先となるデータセンタを決定する決定ステップと、をコンピュータに実行させるためのコンピュータプログラムである。 According to one aspect of the present invention, an evaluation step of evaluating, for each data center, a delay evaluation value related to a delay that occurs in access to the data when the data is arranged, based on the delay evaluation value. A computer program for causing a computer to execute a determination step of determining a data center as a placement destination of each data.
本発明により、物理的距離の大小によって生じるアクセス品質の低下を抑えることが可能となる。 According to the present invention, it is possible to suppress a decrease in access quality caused by the physical distance.
[概要]
まず、本発明の一実施形態であるデータ分散システムの概要について説明する。データ分散システムは、複数のデータセンタを備える。また、データ分散システムは、配置先決定システムを備える。各データセンタは異なる地点に設置されている。配置先決定システムは、ユーザ端末から各データセンタへのアクセスにおいて生じる遅延に関する評価値(遅延評価値)を評価する。配置先決定システムは、遅延評価値が低くなるように、各ファイルの配置先となるデータセンタを決定する。例えば、配置先決定システムは、ユーザ端末とデータセンタとの間ので生じる遅延に関する評価値(地点間遅延評価値)と、ユーザ端末から各ファイルへのアクセスの履歴情報とを取得する。配置先決定システムは、配置先が決定されるファイルについて、そのファイルを配置した場合にそのファイルへのアクセスにおいて生じる遅延に関する遅延評価値をデータセンタ毎に評価しても良い。データ分散システムは、配置先決定システムによって決定された配置先に応じて、各ファイルを決定された配置先に移動させる。
[Overview]
First, an outline of a data distribution system according to an embodiment of the present invention will be described. The data distribution system includes a plurality of data centers. The data distribution system also includes an arrangement destination determination system. Each data center is installed at a different point. The placement destination determination system evaluates an evaluation value (delay evaluation value) related to a delay that occurs in access from the user terminal to each data center. The placement destination determination system determines the data center that is the placement destination of each file so that the delay evaluation value becomes low. For example, the placement destination determination system acquires an evaluation value (inter-point delay evaluation value) regarding a delay that occurs between the user terminal and the data center, and history information on access to each file from the user terminal. The placement destination determination system may evaluate, for each data center, a delay evaluation value related to a delay that occurs in accessing a file when the file is placed for the file whose placement destination is determined. The data distribution system moves each file to the determined placement destination according to the placement destination determined by the placement destination determination system.
[詳細]
次に、本発明の一実施形態であるデータ分散システムの詳細について説明する。図1は、データ分散システムのシステム構成例を表すシステム構成図である。図1に示すデータ分散システムは、7台のデータセンタ10(10−A〜10−G)と、配置先決定装置50とを備える。
[Details]
Next, details of the data distribution system according to an embodiment of the present invention will be described. FIG. 1 is a system configuration diagram illustrating a system configuration example of a data distribution system. The data distribution system shown in FIG. 1 includes seven data centers 10 (10-A to 10-G) and an arrangement
各データセンタ10は、それぞれ異なる地点に配置されている。そのため、あるユーザ端末から各データセンタ10に対してアクセスする際に生じる遅延は、同一のファイルにアクセスした場合であっても、データセンタ10毎に異なる。このような遅延の差は、ユーザ端末とデータセンタ10との間の物理的な距離や、ユーザ端末とデータセンタ10との間のネットワーク設備などに応じて生じる。
配置先決定装置50は、本発明の配置先決定システムとして機能し、各ファイルの配置先となるデータセンタを決定する。
Each
The placement
図2は、データセンタ10の機能構成の具体例を示す概略ブロック図である。データセンタ10は、ファイル配置最適化装置20、DC間接続装置205、リダイレクト装置401、ゲートウェイ(Gate Way:GW)402、1台以上の記憶装置30を備える。図2の例では、データセンタ10はn台の記憶装置30(30−1〜30−n)を備える(nは1以上の整数)。
ファイル配置最適化装置20は、バスで接続されたCPU(Central Processing Unit)やメモリや補助記憶装置などを備え、ゲートウェイプログラムを実行することによって、アクセス履歴管理部201、アクセス履歴記憶部202、地点間遅延評価値管理部203、地点間遅延評価値記憶部204を備える装置として機能する。なお、ファイル配置最適化装置20の各機能の全て又は一部は、ASIC(Application Specific Integrated Circuit)やPLD(Programmable Logic Device)やFPGA(Field Programmable Gate Array)等のハードウェアを用いて実現されても良い。
FIG. 2 is a schematic block diagram illustrating a specific example of a functional configuration of the
The file
アクセス履歴管理部201は、自身が備えられるデータセンタ10に対してユーザ端末からアクセスが発生する度に、アクセス履歴に関する情報(アクセス履歴情報)をアクセス履歴記憶部202に記録する。また、アクセス履歴管理部201は、所定のタイミングで、アクセス履歴記憶部202に記録されているアクセス履歴情報を通知する。
アクセス履歴記憶部202は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。アクセス履歴記憶部202は、アクセス履歴情報の具体例としてアクセス履歴テーブルを記憶する。
The access
The access
図3は、アクセス履歴テーブルの具体例を示す図である。アクセス履歴テーブルは、ファイルID毎にアクセス地点情報を対応付けたテーブルである。ファイルIDは、自身(アクセス履歴記憶部202)が備えられるデータセンタ10に配置されているファイルの識別情報である。ファイルがデータセンタ10に配置されているということは、ファイルがデータセンタ10の記憶装置30に記録されていることを示す。アクセス地点情報は、ファイルIDが示すファイルに対してアクセスしたユーザ端末の位置を表す情報である。例えば、図3に示されるアクセス履歴テーブルは、ファイルIDが“0001”であるファイルに対して、A地点に位置するユーザ端末と、D地点に位置するユーザ端末と、C地点に位置するユーザ端末と、からアクセスがあったことを表している。
FIG. 3 is a diagram showing a specific example of the access history table. The access history table is a table in which access point information is associated with each file ID. The file ID is identification information of a file arranged in the
地点間遅延評価値管理部203は、自身が備えられるデータセンタ10が位置する地点のユーザ端末からのアクセスにおいて生じる遅延に関する評価値(地点間遅延評価値)を、データセンタ10毎に取得する。地点間遅延評価値管理部203は、取得した地点間遅延評価値を地点間遅延評価値記憶部204に記録する。
地点間遅延評価値記憶部204は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。地点間遅延評価値記憶部204は、地点間遅延評価値テーブルを記憶する。図4は、地点間遅延評価値テーブルの具体例を示す図である。図4に示される地点間遅延評価値テーブルは、A地点に位置するデータセンタ10の地点間遅延評価値テーブルの具体例を示す。地点間遅延評価値テーブルは、ある地点(図4の場合はA地点)に位置するユーザ端末から、各地点(A、B、C、D、・・・)に設置されたデータセンタ10との間で生じる遅延に関する地点間遅延評価値を表す。図4の場合、地点Aに位置するユーザ端末から、地点A、B、C、Dに設置されたデータセンタ10との間で生じる地点間遅延評価値は、それぞれ“1”、“2”、“3”、“4”である。
The inter-point delay evaluation
The point-to-point delay evaluation
次に、地点間遅延評価値テーブルの取得処理の具体例について説明する。まず、地点間遅延評価値管理部203は、自身が備えられるデータセンタ10が備える各記憶装置30のアクセス性能(アクセスに関する性能)を評価する。例えば、地点間遅延評価値管理部203は、各記憶装置30に対して、ディスク負荷テスト等のベンチマークを実行することによって、アクセス性能の評価値(アクセス評価値T(Mbps))を評価しても良い。アクセス評価値Tは、例えば記憶装置30に格納されているファイルにGW402からアクセスする際に要する時間(アクセス速度)を表す値である。
Next, a specific example of the process for acquiring the inter-point delay evaluation value table will be described. First, the inter-point delay evaluation
次に、地点間遅延評価値管理部203は、自身と各地点のデータセンタ10のGW402との間の通信時間を測定する。例えば、地点間遅延評価値管理部203は、各地点のデータセンタ10のGW402に対してpingを行うことによって、RTT(Round Trip Time)を通信時間として測定しても良い。地点間遅延評価値管理部203は、RTTの値を、自身が備えられるデータセンタ10が位置する地点のユーザ端末から各データセンタ10に対するアクセス時間として用いる。
Next, the inter-point delay evaluation
次に、地点間遅延評価値管理部203は、アクセス評価値及び通信時間に基づいて、地点間遅延評価値をデータセンタ毎に取得する。例えば、地点間遅延評価値管理部203は、データセンタ毎にレスポンスタイムRTを以下の式1で算出し、レスポンスタイムRTに応じたスコアを地点間遅延評価値として取得しても良い。
RT=SIZE÷(1024÷RTT+T)(式1)
式1において、SIZEは定数である。地点間遅延評価値管理部203は、レスポンスタイムRTが大きいほど、大きな地点間遅延評価値(スコア)を設定する。
Next, the inter-point delay evaluation
RT = SIZE ÷ (1024 ÷ RTT + T) (Formula 1)
In
DC間接続装置205は、配置先決定装置50によってファイルの配置先を変更することについて指示を受けた場合に、他のデータセンタ10のDC間接続装置205との間で通信することによって、ファイルの配置換えを行う。DC間接続装置205は、自身が備えられたデータセンタ10に配置されているファイルを他のデータセンタ10に配置することについて指示を受けると、対象となっているファイルを記憶装置30から読み出す。そして、DC間接続装置205は、読み出したファイルを、新たな配置先となっているデータセンタ10のDC間接続装置205に対して送信する。また、DC間接続装置205は、他のデータセンタのDC間接続装置205からファイルを受信すると、受信したファイルを、自身が備えられたデータセンタ10の記憶装置30に記録する。
リダイレクト装置401及びGW402については、従来と変わらない装置であるため詳細な説明を省く。なお、リダイレクト装置401及びGW402が行う処理については、図14を用いて簡単に説明する。
The
Since the
図5は、配置先決定装置50の機能構成の具体例を示す概略ブロック図である。配置先決定装置50は、バスで接続されたCPUやメモリや補助記憶装置などを備え、配置先決定プログラムを実行する。配置先決定プログラムの実行によって、配置先決定装置50は、履歴情報取得部501、アクセス履歴記憶部502、評価値取得部503、地点間遅延評価値記憶部504、評価部505、決定部506を備える装置として機能する。なお、配置先決定装置50の各機能の全て又は一部は、ASICやPLDやFPGA等のハードウェアを用いて実現されても良い。
なお、配置先決定装置50の機能は、必ずしも単体の装置において実装される必要は無い。例えば、配置先決定装置50の機能は、複数の装置に分散して実装されても良い。また、配置先決定装置50の機能は、いずれか1つ又は複数のデータセンタ10に実装されても良い。
FIG. 5 is a schematic block diagram illustrating a specific example of a functional configuration of the arrangement
Note that the function of the placement
履歴情報取得部501は、各データセンタ10のファイル配置最適化装置20と通信し、各ファイル配置最適化装置20において記録されているアクセス履歴情報を取得する。履歴情報取得部501は、取得したアクセス履歴情報をアクセス履歴記憶部502に記録する。
アクセス履歴記憶部502は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。アクセス履歴記憶部502は、各データセンタ10におけるアクセス履歴情報を記憶する。
The history
The access
評価値取得部503は、各データセンタ10のファイル配置最適化装置20と通信し、各ファイル配置最適化装置20において記憶されている地点間遅延評価値テーブルを取得する。評価値取得部503は、取得した地点間遅延評価値テーブルを地点間遅延評価値記憶部504に記録する。
地点間遅延評価値記憶部504は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。地点間遅延評価値記憶部504は、各データセンタ10における地点間遅延評価値テーブルを記憶する。図6は、地点間遅延評価値記憶部504が記憶する地点間遅延評価値テーブルの具体例を示す図である。図6に示されるように、地点間遅延評価値記憶部504に記憶される地点間遅延評価値テーブルは、複数の地点のデータセンタ10において取得された地点間遅延評価値を有する。
The evaluation
The point-to-point delay evaluation
図6に示される地点間遅延評価値テーブルの最上段のレコード61−1は、図4に示される地点間遅延評価値テーブルと同じである。すなわち、図6に示される地点間遅延評価値テーブルの最上段のレコード61−1は、A地点に位置するユーザ端末から、各地点(A、B、C、D、・・・)に設置されたデータセンタ10との間で生じる遅延に関する地点間遅延評価値を表す。レコード61−2は、B地点に位置するユーザ端末から、各地点(A、B、C、D、・・・)に設置されたデータセンタ10との間で生じる遅延に関する地点間遅延評価値を表す。レコード61−3は、C地点に位置するユーザ端末から、各地点(A、B、C、D、・・・)に設置されたデータセンタ10との間で生じる遅延に関する地点間遅延評価値を表す。レコード61−4は、D地点に位置するユーザ端末から、各地点(A、B、C、D、・・・)に設置されたデータセンタ10との間で生じる遅延に関する地点間遅延評価値を表す。
The uppermost record 61-1 of the point-to-point delay evaluation value table shown in FIG. 6 is the same as the point-to-point delay evaluation value table shown in FIG. That is, the uppermost record 61-1 in the inter-point delay evaluation value table shown in FIG. 6 is installed at each point (A, B, C, D,...) From the user terminal located at the A point. This represents a point-to-point delay evaluation value regarding a delay occurring between the
以上より、図6に示される地点間遅延評価値テーブルにおいて、縦に並んだ地点名(A、B、C、D、・・・)は、ユーザ端末が位置すると仮定される地点を表す。一方、横に並んだ地点名(A、B、C、D、・・・)は、アクセスされるファイルが格納されているデータセンタ10が位置する地点を表す。例えば、地点Dに位置するユーザ端末から地点Aに位置するデータセンタ10のファイルにアクセスする際に生じる地点間遅延の評価値は、上から5行目左から2列目の矩形が示す数値“5”である。
From the above, in the inter-point delay evaluation value table shown in FIG. 6, the vertically arranged spot names (A, B, C, D,...) Represent the spots where the user terminal is assumed to be located. On the other hand, the point names (A, B, C, D,...) Arranged side by side represent points where the
評価部505は、各ファイルについて、そのファイルを配置した場合にユーザ端末からのアクセスにおいて生じる遅延に関する遅延評価値をデータセンタ毎に評価する。図7は、遅延評価値の評価内容の具体例を示す図である。図7におけるレコード62−1は、ファイル0001についての遅延評価値の評価結果を表す図である。ファイル0001が地点Aのデータセンタ10に配置されたと仮定すると、アクセス履歴記憶部502に記憶されているアクセス履歴(図3参照)と同様のアクセスが生じた場合の遅延評価値は、1+5+4=10と算出される。加算される“1”は、地点Aに位置するユーザ端末から地点Aのデータセンタ10のファイルにアクセスした場合の地点間遅延評価値である。加算される“5”は、地点Dに位置するユーザ端末から地点Aのデータセンタ10のファイルにアクセスした場合の地点間遅延評価値である。加算される“4”は、地点Cに位置するユーザ端末から地点Aのデータセンタ10のファイルにアクセスした場合の地点間遅延評価値である。評価部505は、このような演算を各ファイルについて行うことによって、図7に示されるような遅延評価値を算出する。
For each file, the
決定部506は、評価部505の評価結果に基づいて、ファイル毎に配置先となるデータセンタ10を決定する。例えば、決定部506は、ファイル毎に、遅延評価値が最小となる地点のデータセンタ10を配置先として決定する。決定部506は、決定結果(ファイルID及び配置先のデータセンタ10の識別情報)を、決定に関するファイルが配置されているデータセンタ10に通知する。通知を受けたデータセンタ10は、自身に配置されているファイルを読み出し、決定結果が示す新たな配置先のデータセンタ10に読み出したファイルを送信する。新たな配置先のデータセンタ10は、ファイルを受信すると、受信したファイルを自身の記憶装置30に記録する。
The
このように構成されたデータ分散システムでは、ネットワーク遅延によって生じるアクセス品質の低下を抑えることが可能となる。その詳細は以下の通りである。上記のデータ分散システムでは、評価部505によって、記録されるファイル(データ)について、遅延評価値がデータセンタ毎に評価される。遅延評価値は、そのファイルを、あるデータセンタに配置した場合に、各ユーザ端末からのアクセスによって生じるネットワーク遅延の推定値を表す値である。このような遅延評価値は、各ファイルに対する実際のアクセス履歴と、地点間の遅延の評価値(地点間遅延評価値)と、に基づいて算出される。そして、遅延評価値が少ないデータセンタ10に対してファイルが配置される。そのため、各ファイルに対するアクセスによって生じるネットワーク遅延を小さく抑え、アクセス品質の低下を抑えることが可能となる。
In the data distribution system configured as described above, it is possible to suppress a decrease in access quality caused by network delay. The details are as follows. In the data distribution system, the
図8は、遅延により生じるデータ分散システムへの悪影響の大きさの具体例を表す図である。Tier1は、遅延が負荷されていないデータセンタ10を表す。Tier2は、20ミリ秒の遅延が負荷されたデータセンタ10を表す。どのようなファイルサイズであっても、読出時間(Read)や書込時間(Write)に10倍以上の差が生じていることがわかる。このように、わずか20ミリ秒の遅延が、アクセス品質を大きく低下させてしまう。すなわち、データ分散システムにおいて、遅延の発生はわずかであっても大きな悪影響となってしまう。上記のデータ分散システムでは、このようなアクセス品質の低下を抑えることが可能となる。
FIG. 8 is a diagram illustrating a specific example of the magnitude of the adverse effect on the data distribution system caused by the delay.
また、上記のデータ分散システムでは以下のような効果もある。地点間遅延評価値管理部203から各データセンタ10に格納されているファイルへのアクセスに要する時間を測定すると、ネットワーク帯域が圧迫されてしまうおそれがある。このような問題に対し、地点間遅延評価値管理部203は、自身から各データセンタ10のGW402との間の通信時間と、GW402から各記憶装置30のファイルへのアクセスに要する時間とをそれぞれ取得し、その結果に応じて地点間遅延評価値を評価する。そのため、ネットワーク帯域を圧迫することを防止できる。さらに、ボトルネックの箇所を明確に判定することが可能となる。したがって、プロビジョニングが容易となる。
Further, the above data distribution system has the following effects. If the time required for accessing the file stored in each
<変形例>
決定部506は、所定の条件を満たしたデータセンタ10について、そのデータセンタ10に配置されている各ファイルの配置先を決定するように構成されても良い。以下、このような構成の具体例について説明する。
<Modification>
The
図9は、配置先決定装置の変形例(配置先決定装置50a)の機能構成の具体例を表す概略ブロック図である。配置先決定装置50aは、決定部506に代えて決定部506aを備える。また、配置先決定装置50aは、タイミング情報記憶部511を備える。
タイミング情報記憶部511は、磁気ハードディスク装置や半導体記憶装置などの記憶装置を用いて構成される。タイミング情報記憶部511は、決定部506aが配置先となるデータセンタ10を決定する処理を行うタイミングに関する情報を記憶する。図10は、タイミング情報記憶部511が記憶するタイミング情報テーブルの具体例を表す図である。
FIG. 9 is a schematic block diagram illustrating a specific example of a functional configuration of a modification example (arrangement destination determination device 50a) of the arrangement destination determination device. The placement destination determination device 50a includes a determination unit 506a instead of the
The timing
タイミング情報テーブルは、データセンタ10毎に、閾値、累積値、実行禁止時間帯を有する。閾値は、予め設定された値である。累積値は、そのデータセンタ10において発生したアクセスに応じた地点間遅延評価値の累積値を表す。実行禁止時間帯は、決定部506aがデータセンタ10に対してファイルの配置先を変更することを指示する処理の実行が禁止された時間帯を表す。
The timing information table has a threshold, a cumulative value, and an execution prohibition time zone for each
決定部506aは、アクセス履歴記憶部502に新たなアクセス情報が書き込まれる度に、新たなアクセスに応じた地点間遅延評価値を累積値に加算する。例えば、新たに書き込まれたアクセス情報が、地点Aのデータセンタ10に配置されているファイル0001に対し地点Dに位置するユーザ端末からアクセスが生じたことを表す場合、決定部506aは、DCの値が“A”のレコードの累積値“153”に対し、さらに“5”を加算する。決定部506aは、累積値が閾値を超えた場合、そのデータセンタに配置されている各ファイルについて、新たな配置先となるデータセンタ10を決定する。そして、決定部506aは、決定された配置先をデータセンタ10に通知し、配置先を変更することを指示する。ただし、その時間帯が実行禁止時間帯である場合には、決定部506aは、実行禁止時間帯を過ぎてから指示を行う。
Each time new access information is written in the access
図11は、変形例における決定部506aの処理の流れを表すフローチャートである。決定部506aは、新たに書き込まれたアクセス情報に基づいて累積値を更新する(ステップS101)。次に決定部506aは、更新後の累積値が閾値を超えているか否か判定する(ステップS102)。累積値が閾値を超えていない場合(ステップS102−NO)、決定部506aは、ステップS101の処理に戻る。一方、累積値が閾値を超えている場合(ステップS102−YES)、決定部506aは、実行禁止時間帯であるか否か判定する(ステップS103)。実行禁止時間帯である場合(ステップS104−YES)、決定部506aは、実行禁止時間帯が終わるまで待機する。一方、実行禁止時間帯で無い場合(ステップS104−NO)、決定部506aは、決定した配置先をデータセンタ10に指示する(ステップS105)。
FIG. 11 is a flowchart showing the flow of processing of the determination unit 506a in the modification. The determination unit 506a updates the accumulated value based on the newly written access information (step S101). Next, the determination unit 506a determines whether or not the updated accumulated value exceeds the threshold value (step S102). When the accumulated value does not exceed the threshold (step S102—NO), the determination unit 506a returns to the process of step S101. On the other hand, when the accumulated value exceeds the threshold (step S102—YES), the determination unit 506a determines whether or not it is the execution prohibited time zone (step S103). When it is the execution prohibition time zone (step S104-YES), the determination unit 506a waits until the execution prohibition time zone ends. On the other hand, when it is not the execution prohibition time zone (step S104—NO), the determination unit 506a instructs the
このように変形して構成された配置先決定装置50aによれば、アクセスが集中しているデータセンタ10について優先的にファイルの分散を行うことが可能となる。そのため、アクセス品質が大幅に低下してしまう前にファイルを分散させ、アクセス品質の大幅な低下を抑えることが可能となる。
According to the placement destination determination device 50a configured as described above, it is possible to preferentially distribute files for the
地点間遅延評価値管理部203は、所定のタイミングで繰り返し地点間遅延評価値の取得処理を行っても良い。このように構成されることによって、地点間遅延評価値記憶部204が記憶する情報を、より実情に即した値に維持することが可能となる。
各データセンタ10は、各データセンタ10に配置されているファイルの識別情報を表す配置先テーブルを記憶するように構成されても良い。図12は、配置先テーブルの具体例を示す図である。配置先テーブルは、データセンタ10の識別情報(例えば地点名)毎に、そのデータセンタ10に配置されているファイルの識別情報(ファイルID)を有する。図12の例では、地点Aに位置するデータセンタ10には、0001及び0005のファイルが配置されている。
The inter-point delay evaluation
Each
決定部506は、遅延評価値及び他の要素に基づいて、配置先となるデータセンタ10を決定しても良い。他の要素とは、例えば、各データセンタ10における空き容量を表す値であっても良い。図13は、このように構成された決定部506の処理の具体例を示すフローチャートである。
決定部506は、まず、処理対象となっているファイルについて、遅延評価値が最も低いデータセンタ10を配置先として選択する(ステップS201)。次に、決定部506は、選択したデータセンタ10の空き容量に、配置対象となっているファイルのサイズが収まるか否か判定する。すなわち、選択したデータセンタ10に余力リソースがあるか否か判定する(ステップS202)。余力リソースが無い場合(ステップS202−NO)、決定部506は、前回選択したデータセンタ10の次に遅延評価値が低いデータセンタ10を配置先として選択する(ステップS201)。決定部506は、ステップS202において余力リソースがあるデータセンタ10が選択されるまで処理を繰り返す。
The
First, the
選択したデータセンタ10に余力リソースがある場合(ステップS202−YES)、決定部506は、選択したデータセンタ10を配置先として決定する。そして、処理対象となっているファイルを記憶しているデータセンタ10に対し、決定した配置先のデータセンタ10に送信することを指示する(ステップS203)。そして、決定部506は、配置先テーブル(図12参照)を更新する(ステップS204)。
When there is a surplus resource in the selected data center 10 (step S202—YES), the
図14は、ユーザ端末がファイルにアクセスする際の処理の流れの具体例を表す図である。次に、上述した配置先決定装置50によってファイルの配置先が決定された後に、ユーザ端末が各ファイルにアクセスする際の処理の流れについて説明する。
まず、ユーザ端末は、最寄りのデータセンタ10を所定のDNSに問い合わせる(1)。DNSは、ユーザ端末の位置情報を、ユーザ端末に割り当てられているIPアドレスに基づいて判定する(2)。そして、DNSは、ユーザ端末の位置情報に最も近いデータセンタ10のIPアドレスをユーザ端末に通知する。例えば、DNSは、ユーザ端末の位置情報が表す行政区分と同じ行政区分に位置するデータセンタ10のIPアドレスをユーザ端末に通知する。
FIG. 14 is a diagram illustrating a specific example of a processing flow when a user terminal accesses a file. Next, a flow of processing when the user terminal accesses each file after the file placement destination is determined by the placement
First, the user terminal inquires a predetermined DNS about the nearest data center 10 (1). The DNS determines the location information of the user terminal based on the IP address assigned to the user terminal (2). Then, the DNS notifies the user terminal of the IP address of the
ユーザ端末は、通知されたIPアドレスに基づいて、アクセス対象のファイルへのアクセス要求をデータセンタ10に送信する(3)。アクセス対象のファイルが、アクセス要求を受けたデータセンタ10に配置されている場合、リダイレクト装置401は、リダイレクト処理を実行しない。この場合、データセンタ10の記憶装置30(ストレージ)に記録されているファイルに対し、ユーザ端末からのアクセスが許可される(4)。
Based on the notified IP address, the user terminal transmits an access request to the access target file to the data center 10 (3). When the file to be accessed is arranged in the
一方、アクセス対象のファイルが、アクセス要求を受けたデータセンタ10に配置されていない場合、リダイレクト装置401は、配置先テーブル(図12参照)を参照して、アクセス対象のファイルが配置されているデータセンタ10を判定する。そして、リダイレクト装置401は、アクセス対象のファイルが配置されているデータセンタ10へリダイレクトする(5)。このリダイレクトによって、ユーザ端末は、アクセス対象のファイルへアクセスする。
On the other hand, when the access target file is not arranged in the
以上、この発明の実施形態について図面を参照して詳述してきたが、具体的な構成はこの実施形態に限られるものではなく、この発明の要旨を逸脱しない範囲の設計等も含まれる。 The embodiment of the present invention has been described in detail with reference to the drawings. However, the specific configuration is not limited to this embodiment, and includes designs and the like that do not depart from the gist of the present invention.
10…データセンタ, 20…ファイル配置最適化装置201…アクセス履歴管理部, 202…アクセス履歴記憶部, 203…地点間遅延評価値管理部, 204…地点間遅延評価値記憶部, 205…DC間接続装置, 30…記憶装置, 401…リダイレクト装置, 402…GW, 50,50a…配置先決定装置, 501…履歴情報取得部, 502…アクセス履歴記憶部, 503…評価値取得部, 504…地点間遅延評価値記憶部, 505…評価部, 506,506a…決定部, 511…タイミング情報記憶部
DESCRIPTION OF
Claims (4)
前記遅延評価値及び前記データセンタ毎の空き容量に基づいて、各データの配置先となるデータセンタを決定する決定部と、
を備え、
前記決定部は、前記データセンタ毎の空き容量に基づいて、データセンタに前記データが保存可能であるか否かを前記遅延評価値が低い順に判定し、前記データを保存可能なデータセンタが見つかった時点で、見つかったデータセンタを前記データの配置先となるデータセンタに決定する配置先決定システム。 For the data to be recorded, an evaluation unit that evaluates for each data center a delay evaluation value related to a delay that occurs in accessing the data when the data is arranged;
A determination unit that determines a data center to which each data is to be arranged based on the delay evaluation value and the free capacity of each data center;
Equipped with a,
The determination unit determines whether the data can be stored in the data center based on the free capacity for each data center in ascending order of the delay evaluation value, and finds a data center capable of storing the data. in time, found disposed destination determining system that determines the data center to the data center as a placement destination of the data.
前記ユーザ端末から各データへのアクセスの履歴情報を取得する履歴情報取得部と、
を更に備え、
前記評価部は、前記地点間遅延評価値及び前記履歴情報に基づいて前記遅延評価値を評価する、請求項1に記載の配置先決定システム。 A point-to-point delay evaluation value acquisition unit that acquires a point-to-point delay evaluation value related to a delay that occurs between a user terminal located at a certain point and each data center for each combination of data center and point;
A history information acquisition unit that acquires history information of access to each data from the user terminal;
Further comprising
The placement evaluation system according to claim 1, wherein the evaluation unit evaluates the delay evaluation value based on the inter-point delay evaluation value and the history information.
前記遅延評価値及び前記データセンタ毎の空き容量に基づいて、各データの配置先となるデータセンタを決定する決定ステップと、
を有し、
前記決定ステップにおいて、前記データセンタ毎の空き容量に基づいて、データセンタに前記データが保存可能であるか否かを前記遅延評価値が低い順に判定し、前記データを保存可能なデータセンタが見つかった時点で、見つかったデータセンタを前記データの配置先となるデータセンタに決定する配置先決定方法。 For the data to be recorded, an evaluation step for evaluating for each data center a delay evaluation value relating to a delay that occurs in accessing the data when the data is arranged;
A determination step of determining a data center as a placement destination of each data based on the delay evaluation value and the free capacity for each data center;
I have a,
In the determining step, based on the free capacity of each data center, it is determined whether or not the data can be stored in the data center in ascending order of the delay evaluation value, and a data center capable of storing the data is found. An arrangement destination determining method for determining a data center that is found as a data center to be an arrangement destination of the data at a point of time .
前記遅延評価値及び前記データセンタ毎の空き容量に基づいて、各データの配置先となるデータセンタを決定する決定ステップと、
をコンピュータに実行させ、
前記決定ステップにおいて、前記データセンタ毎の空き容量に基づいて、データセンタに前記データが保存可能であるか否かを前記遅延評価値が低い順に判定し、前記データを保存可能なデータセンタが見つかった時点で、見つかったデータセンタを前記データの配置先となるデータセンタに決定するためのコンピュータプログラム。 For the data to be recorded, an evaluation step for evaluating for each data center a delay evaluation value relating to a delay that occurs in accessing the data when the data is arranged;
A determination step of determining a data center as a placement destination of each data based on the delay evaluation value and the free capacity for each data center;
To the computer ,
In the determining step, based on the free capacity of each data center, it is determined whether or not the data can be stored in the data center in ascending order of the delay evaluation value, and a data center capable of storing the data is found. at the time was, the order to determine the found data center to the data center as a placement destination of the data the computer program.
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012116748A JP5909760B2 (en) | 2012-05-22 | 2012-05-22 | Placement destination determination system, placement destination determination method, and computer program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2012116748A JP5909760B2 (en) | 2012-05-22 | 2012-05-22 | Placement destination determination system, placement destination determination method, and computer program |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2013242789A JP2013242789A (en) | 2013-12-05 |
JP5909760B2 true JP5909760B2 (en) | 2016-04-27 |
Family
ID=49843602
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012116748A Active JP5909760B2 (en) | 2012-05-22 | 2012-05-22 | Placement destination determination system, placement destination determination method, and computer program |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP5909760B2 (en) |
Families Citing this family (1)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US20240340652A1 (en) * | 2021-07-16 | 2024-10-10 | Nippon Telegraph And Telephone Corporation | Information processing apparatus, installation arrangement calculation method and program |
Family Cites Families (5)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP4113352B2 (en) * | 2001-10-31 | 2008-07-09 | 株式会社日立製作所 | Storage resource operation management method in storage network |
JP4445783B2 (en) * | 2003-12-09 | 2010-04-07 | 株式会社日立製作所 | File management apparatus and computer system using file management apparatus |
JP4341072B2 (en) * | 2004-12-16 | 2009-10-07 | 日本電気株式会社 | Data arrangement management method, system, apparatus and program |
JP2009151403A (en) * | 2007-12-19 | 2009-07-09 | Hitachi Ltd | Storage node, cluster storage system, and its operating method |
GB2477092A (en) * | 2010-01-20 | 2011-07-27 | Nec Corp | Selecting virtual machine host servers based on client device location |
-
2012
- 2012-05-22 JP JP2012116748A patent/JP5909760B2/en active Active
Also Published As
Publication number | Publication date |
---|---|
JP2013242789A (en) | 2013-12-05 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
EP3419247B1 (en) | Method and device for storage resource allocation for video cloud storage | |
CN112015583B (en) | Data storage method, device and system | |
US9626222B2 (en) | Method and apparatus for network and storage-aware virtual machine placement | |
US20060288159A1 (en) | Method of controlling cache allocation | |
CN109271172B (en) | Host performance expansion method and device of sweep cluster | |
JP2007026094A (en) | Execution device and application program | |
CN113676511B (en) | Cloud storage method, system, equipment and storage medium | |
US20140082403A1 (en) | Adaptive Service Timeouts | |
JP6325348B2 (en) | Virtual machine placement device | |
US20140181297A1 (en) | Information processing device, information processing method, and recording medium | |
JP5909760B2 (en) | Placement destination determination system, placement destination determination method, and computer program | |
JP6233403B2 (en) | Storage system, storage device, storage device control method and control program, management device, management device control method and control program | |
US9832704B2 (en) | Method and user terminal for dynamically controlling routing | |
US20070064612A1 (en) | Method and apparatus for selecting an optimal path from a path-starting node of a network to a path-ending node of the network | |
CN113687940A (en) | Load balancing method and device and physical machine | |
JP6194875B2 (en) | Cache device, cache system, cache method, and cache program | |
CN115079958A (en) | Multi-node load balancing cold and hot data migration device, method, terminal and medium | |
US10389617B1 (en) | Web-based computing system with continuous burn-in testing | |
JP2015534663A (en) | Method and apparatus for providing a traffic RE aware slot arrangement | |
JP7332249B2 (en) | Destination determination program, device and method | |
US11119815B2 (en) | Management apparatus, control method of calculation resources, and storage medium | |
US9229875B2 (en) | Method and system for extending virtual address space of process performed in operating system | |
JP4221046B2 (en) | Volume management method and apparatus | |
JP2011227729A (en) | Management server and method for controlling arrangement of virtual machine | |
JP6129698B2 (en) | Software distribution system and software distribution method |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20141120 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20150831 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150908 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20151106 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20160301 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20160303 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5909760 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |