JP5556498B2 - 管理装置,ファイルサーバシステム,処理方法及び管理プログラム - Google Patents
管理装置,ファイルサーバシステム,処理方法及び管理プログラム Download PDFInfo
- Publication number
- JP5556498B2 JP5556498B2 JP2010182419A JP2010182419A JP5556498B2 JP 5556498 B2 JP5556498 B2 JP 5556498B2 JP 2010182419 A JP2010182419 A JP 2010182419A JP 2010182419 A JP2010182419 A JP 2010182419A JP 5556498 B2 JP5556498 B2 JP 5556498B2
- Authority
- JP
- Japan
- Prior art keywords
- file server
- job
- secondary file
- management
- unit
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L67/00—Network arrangements or protocols for supporting network services or applications
- H04L67/01—Protocols
- H04L67/10—Protocols in which an application is distributed across nodes in the network
- H04L67/1001—Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
- H04L67/1004—Server selection for load balancing
- H04L67/1008—Server selection for load balancing based on parameters of servers, e.g. available memory or workload
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5083—Techniques for rebalancing the load in a distributed system
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
- H04L47/00—Traffic control in data switching networks
- H04L47/10—Flow control; Congestion control
- H04L47/12—Avoiding congestion; Recovering from congestion
- H04L47/125—Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering
Description
図10は従来のコンピュータシステムのネットワーク構成を模式的に示す図である。この図10に示す従来のコンピュータシステム500は、複数の計算ノード501,管理サーバ502,共通ファイルサーバ503,公衆回線網504及びクライアントコンピュータ505をそなえている。
クライアントコンピュータ505は、ユーザが使用する情報処理端末装置である。ユーザは、このクライアントコンピュータ505を介して、例えば、演算指示入力を行なう。
計算ノード501は、管理サーバ502によって割り振られたジョブを処理するものである。各計算ノード501はジョブを実行するに際して、それぞれ必要なデータ等を共通ファイルサーバ503から取得し、又、演算結果をそれぞれ共通ファイルサーバ503に格納する。
本件の目的の一つは、共通ファイルサーバの負荷を軽減し、ジョブを効率的に処理できるようにすることである。
(A)第1実施形態
図1は第1実施形態の一例としてのファイルサーバシステム1aの構成を模式的に示す図である。
本ファイルサーバシステム1aは、演算指示にかかるジョブを複数の計算ノード30に分散して実行する分散処理システムである。このファイルサーバシステム1aは、図1に示すように、計算ノード30,2次ファイルサーバ60,クライアントコンピュータ50,管理サーバ10a及び共通ファイルサーバ20をそなえている。
クライアントコンピュータ50は、ユーザが各種指示や各種入力を入力する情報処理装置である。ユーザは、例えば、このクライアントコンピュータ50を用いて演算指示の入力を行なう。そして、この入力された演算指示は、ネットワーク40を介して管理サーバ10aに送信される。
そして、このクライアントコンピュータ50においては、CPUがOS(Operating System)や各種アプリケーションを実行することにより上述した機能を実現する。
各計算ノード30は、後述する管理サーバ10aからの指示に基づきジョブを実行する。この管理サーバ10aからのジョブの実行指示には、ジョブの実行に用いる2次ファイルサーバ60を指定する情報が含まれる場合がある。計算ノード30は、ジョブの実行指示に2次ファイルサーバ60の指定が含まれている場合には、その2次ファイルサーバ60を用いてジョブの実行を行なう。
この計算ノード30も、CPUやRAM,ROM,記憶装置,ネットワーク機器等をそなえた一般的なコンピュータのハードウェア構成を有するものであり、本実施形態においては、便宜上、そのハードウェア構成についての詳細な説明は省略する。
また、共通ファイルサーバ20は、各計算ノード30からジョブの処理結果(演算結果)を受け取り、これらの情報を一元管理する機能をそなえる。以下、各計算ノード30から受信するジョブの処理結果にかかるデータを出力ファイルという場合がある。
2次ファイルサーバ60は、共通ファイルサーバ20のファイルの一部を格納するサーバコンピュータである。本ファイルサーバシステム1aには、複数(図1に示す例では3つ)の2次ファイルサーバ60がそなえられている。
管理サーバ10aは、クライアントコンピュータ50等からの演算指示にかかるジョブを計算ノード30に実行させる制御を行なう。この際、この管理サーバ10aは、複数のジョブを複数の計算ノード30に分散して実行させる制御も行なう。
以下、ジョブの実行指示に際して、管理サーバ10aが、計算ノード30が使用する2次ファイルサーバ60を特定(選択)することを、2次ファイルサーバ60にジョブを割り振る、もしくは、計算ノード30に2次ファイルサーバ60を割り振ると表現する場合がある。
記憶装置101は、例えば、ハードディスクドライブ(Hard disk drive:HDD)、SSD(Solid State Drive)等の記憶装置であって、種々のデータを格納するものである。この記憶装置101には、ジョブ割り振り表102が格納される。
そして、管理サーバ10aにおいて、CPUがその記憶装置等に格納された管理プログラムを実行することにより、後述する管理サーバ10aとしての各種機能が実現される。
管理サーバ10aから計算ノード30に対するジョブの実行指示は、例えば、以下の(a)〜(d)に示すような情報を送信することにより行なう。
(b)パラメータ
(c)入力データ情報
(d)2次ファイルサーバ情報
ここで、(a)プログラム情報とは、ジョブの実行に用いられるプログラムに関する情報であり、例えば、プログラムそのものであったり、プログラムを特定する情報、もしくはプログラムの格納位置である。
負荷状態管理部11は、各計算ノード30の負荷状態を管理するものであり、本第1実施形態においては、負荷状態管理部11は、図1に示すように、ジョブ数管理部111をそなえている。
図2は第1実施形態の一例としてのファイルサーバシステム1aにおけるジョブ割り振り表102の例を示す図である。
なお、図2に示す例においては、fs−1〜fs−6の6つの2次ファイルサーバ60についてのジョブ割り振り表102であって、例えば、サーバ名fs−5の2次ファイルサーバ60には3つのジョブが割り振られている。又、この図2に示す例においては、サーバ名fs−3,fs−4の2次ファイルサーバ60にはジョブが割り振られていない(ジョブ数=0)状態を示している。
選択部12は、計算ノード30に対してジョブを割り当てる際に、複数の2次ファイルサーバ60の中から、計算ノード30に割り振る2次ファイルサーバ60を選択する。具体的には、選択部12は、複数の2次ファイルサーバ60のうち、最も軽負荷状態の2次ファイルサーバ60を選択する。
上述の如く構成された、第1実施形態の一例としてのファイルサーバシステム1aにおける、ジョブの処理手法を説明する。
管理サーバ10aにおいて、負荷状態管理部11のジョブ数管理部111が、ジョブ割り振り表102により、本ファイルサーバシステム1aの各2次ファイルサーバ60へのジョブの割り振り数を管理している。
選択部12は、ジョブ割り振り表102を参照して、現在割り振られているジョブ数が一番少ない2次ファイルサーバ60を選択する。すなわち、選択部12は、複数の2次ファイルサーバ60のうち最も軽負荷状態の2次ファイルサーバ60を選択する。割当管理部13は、この選択部12によって選択された2次ファイルサーバ60を、そのジョブに割り振る。
図3は第2実施形態の一例としてのファイルサーバシステム1bの構成を模式的に示す図である。
本ファイルサーバシステム1bも、第1実施形態のファイルサーバシステム1aと同様に、演算指示にかかるジョブを複数の計算ノード30に分散して実行する分散処理システムである。
データ転送量取得部112は、各2次ファイルサーバ60における読み書き転送量(データ転送量)を取得する。例えば、データ転送量取得部112は、各2次ファイルサーバ60に対して、ネットワーク42におけるデータ転送量の送信を要求するコマンドを送信することにより、各2次ファイルサーバ60における読み書き転送量を取得する。なお、各2次ファイルサーバ60における読み書き転送量の取得は、既知の種々の手法を用いて実現することができるものであり、その詳細な説明は省略する。
図4は第2実施形態の一例としてのファイルサーバシステム1bにおける読み書き転送量表103の例を示す図である。
なお、図4に示す例においては、fs−1〜fs−6の6つの2次ファイルサーバ60についてのジョブ割り振り表102であって、例えば、サーバ名fs−1の2次ファイルサーバ60における読み書き転送量が800,000,000[単位:bps(bit per second)]であることがわかる。又、この図4に示す例においては、サーバ名fs−5の2次ファイルサーバ60における読み書き転送量が200[bps]であり、最も読み書き転送量が小さいことがわかる。
例えば、ユーザがクライアントコンピュータ50から演算指示を入力すると、管理サーバ10bが、この演算指示に伴なうジョブの管理を行なう。
管理サーバ10bにおいて、負荷状態管理部11のデータ転送量取得部112が、各2次ファイルサーバ60に対してデータ転送量の送信を要求するコマンドを送信し、各2次ファイルサーバ60における読み書き転送量を取得する。そして、負荷状態管理部11は、2次ファイルサーバ60から読み書き転送量を受信する度に、読み書き転送量表103を更新する。
このように、第2実施形態の一例としてのファイルサーバシステム1bによっても、第1実施形態のファイルサーバシステム1aと同様に、最も軽負荷状態の2次ファイルサーバ60に対して優先してジョブの割り振りを行なうので、複数の2次ファイルサーバ60間において負荷を分散させることができる。すなわち、特定の2次ファイルサーバ60にジョブが集中し、高負荷状態となることを防止することができ、安定したシステム運用を行なうことができる。又、各2次ファイルサーバ60の負荷を平準化することができる。
図5は第3実施形態の一例としてのファイルサーバシステム1cの構成を模式的に示す図である。
本ファイルサーバシステム1cも、第1実施形態のファイルサーバシステム1aと同様に、演算指示にかかるジョブを複数の計算ノード30に分散して実行する分散処理システムである。
また、管理サーバ10cの負荷状態管理部11において、第1実施形態のジョブ数管理部111,データ転送量取得部112及び負荷指数算出部113をそなえる。
また、図中、既述の符号と同一の符号は同一もしくは略同一の部分を示しているので、その詳細な説明は省略する。
負荷指数算出部113は、複数の2次ファイルサーバ60のそれぞれについて、割り振られているジョブ数とデータ転送量とに基づいて負荷指数を算出する。具体的には、負荷指数算出部113は、以下の式(1)により、各2次ファイルサーバ60の負荷指数(LoadIndex(FSn))を算出する。
ここで、JobNum(FSn) は、2次ファイルサーバ60に割り振られているジョブ数であり、ジョブ割り振り表102から取得することができる。
また、Traffic (FSn)は、2次ファイルサーバ60における読み書き転送量表103であり、読み書き転送量表103から取得、もしくは、データ転送量取得部112が2次ファイルサーバ60に対してデータ転送量の送信を要求するコマンドを送信することにより取得することができる。
上述の如く構成された、第3実施形態の一例としてのファイルサーバシステム1cにおける2次ファイルサーバ60の割り振り処理を、図6に示すフローチャート(ステップA10〜A40)に従って説明する。
次に、データ転送量取得部112が、各2次ファイルサーバ60に対してデータ転送量の送信を要求するコマンドを送信することにより、各2次ファイルサーバ60から読み書き転送量を取得する。データ転送量取得部112は取得した各読み書き転送量を読み書き転送量表103に登録するとともに、取得した読み書き転送量をTraffic (FSn)に代入する(ステップA20)。
選択部12は、ステップA30において算出した各2次ファイルサーバ60の負荷指数に基づき、負荷指数が最も小さい2次ファイルサーバ60を選択する。割当管理部13は、この選択部12によって選択された2次ファイルサーバ60にジョブを割り振る(ステップA40)。
第1実施形態及び第2実施形態と同様の作用効果を得ることができる他、荷重係数a,bの値を適宜変更して設定することにより、ジョブ数と読み書き転送量とのうちいずれかを重視させて2次ファイルサーバ60の割り振りを行なうことができる。
(D)第1変形例
上述した第1〜3実施形態のファイルサーバシステム1a,1b,1cにおいて、計算ノード30におけるジョブの実行に際して、常に2次ファイルサーバ60を用いることが必ずしも共通ファイルサーバ20の負荷軽減になるとは限らない。
従って、ジョブの処理中に計算ノード30から外部へのファイル読み書きが少ない場合は、このようなジョブの前後に行なう入力ファイルや出力ファイルの転送がかえって共通ファイルサーバ20の負荷となる場合がある。
そこで、前述した第1〜第3の各実施形態において、2次ファイルサーバ60の使用の要否を判断する判断部(図示省略)をそなえ、この判断部が2次ファイルサーバ60の使用を必要と判断した場合に2次ファイルサーバ60を使用することが望ましい。
なお、以下、管理サーバ10a,10b,10cのうち任意の管理サーバを指すときには符号10を用いる。
図7は本第1変形例において用いるジョブ転送量記録表を例示する図である。このジョブ転送量記録表は、計算ノード30において実際にジョブを実行することによって取得された情報を記録したものであり、ジョブID,ユーザ名,グループ名,ジョブキュー名,入出力ファイルのサイズ及び実行中の読み書き転送量を項目としてそなえる。
実行中の読み書き転送量は、そのジョブの処理中に、計算ノード30において発生した読み書き転送量(データ転送量)である。
ジョブ転送量記録表においては、処理された各ジョブについてのこれらの情報が順次、記録される。
具体的には、判断部は、ジョブ転送量記録表から同一のユーザ名にかかるデータエントリを抽出し、これらの抽出したデータエントリについて、入出力ファイルのサイズの総和(総量)と、実行中の読み書き転送量の総和(総量)とをそれぞれ算出する。
CompareIndexOfUser=[同一ユーザ名にかかる入出力ファイルのサイズの総量]
−[同一ユーザ名にかかる実行中の読み書き転送量の総量] ・・・(2)
そして、判断部は、算出したCompareIndexOfUser(入出力ファイルのサイズの総和)が0よりも大きい場合(CompareIndexOfUser>0)には2次ファイルサーバ60を使用しない。又、CompareIndexOfUser≦0の場合には、2次ファイルサーバ60を使用する旨の判断を行なう。
管理サーバ10が計算ノード30にジョブの割り振りを行なうに際して、判断部は、ジョブ転送量記録表を参照して、処理対象のジョブと同一のユーザIDのエントリを所定数抽出し、これらのエントリにおいて、入出力ファイルのサイズの総和と、実行中の読み書き転送量の総和とをそれぞれ算出し、上記式(2)を用いてCompareIndexOfUserを算出する(ステップB10)。
2次ファイルサーバ60を使用する場合には、割当管理部13は、前述した、(a)プログラム情報,(b)パラメータ,(c)入力データ情報及び(d)2次ファイルサーバ情報をそなえたジョブの実行指示を、計算ノード30に送信する。
2次ファイルサーバ60を使用しない場合には、割当管理部13は、前述した、(a)プログラム情報,(b)パラメータ及び(c)入力データ情報をそなえたジョブの実行指示を、計算ノード30に送信する。すなわち、割当管理13は、計算ノード30に対するジョブの実行指示に(d)2次ファイルサーバ情報を含めないことにより、計算ノード30による2次ファイルサーバ60の使用を阻止する。
すなわち、判断部が、ジョブ実行時に、そのジョブに関するデータ転送発生傾向に基づいて、計算ノード30におけるジョブの割り振りにより生じる入出力ファイルの転送量が、ジョブの実行中に生ずるファイルの読み書き転送量よりも多い場合に、2次ファイルサーバ60を使用しないことを決定する。これにより、2次ファイルサーバ60を使用させるために生じる非効率的なファイル転送の発生を阻止することができ、ネットワーク42における不要なトラフィックの発生を抑止し、システムを効率的に運用することができる。
上述した第1変形例においては、判断部が、新たなジョブの処理を開始する度に、その処理対象のジョブのユーザ名に基づいてジョブ転送量記録表を参照し、同一のユーザ名にかかるデータ転送発生傾向を算出しているが、これに限定されるものではない。すなわち、ジョブ転送量記録表におけるグループ名やジョブキュー名に基づいてジョブ転送量記録表を参照し、同一のグループ名やジョブキュー名にかかるデータ転送発生傾向を算出してもよい。
本第2変形例においては、判断部は、先ず、ジョブ転送量記録表から同一のユーザ名にかかるデータエントリを抽出し、これらの抽出したデータエントリについて、入出力ファイルのサイズの総和(総量)と、実行中の読み書き転送量の総和(総量)とをそれぞれ算出する。
CompareIndexOfUser={[同一ユーザ名にかかる入出力ファイルのサイズの総量]
−[同一ユーザ名にかかる実行中の読み書き転送量の総量]}
/同一ユーザ名のジョブ数 ・・・(3)
また、判断部は、ジョブ転送量記録表から同一のグループ名にかかるデータエントリを抽出し、これらの抽出したデータエントリについて、入出力ファイルのサイズの総和(総量)と、実行中の読み書き転送量の総和(総量)とをそれぞれ算出する。
CompareIndexOfGroup={[同一グループ名にかかる入出力ファイルのサイズの総量]
−[同一グループ名にかかる実行中の読み書き転送量の総量]}
/同一グループ名のジョブ数 ・・・(4)
さらに、判断部は、ジョブ転送量記録表から同一のジョブキュー名にかかるデータエントリを抽出し、これらの抽出したデータエントリについて、入出力ファイルのサイズの総和(総量)と、実行中の読み書き転送量の総和(総量)とをそれぞれ算出する。
CompareIndexOfQueue={[同一ジョブキュー名にかかる入出力ファイルのサイズの総量]−[同一ジョブキュー名にかかる実行中の読み書き転送量の総量]}/同一ジョブキュー名のジョブ数 ・・・(5)
なお、上記式(3)〜(5)において、ジョブ数による除算を行なっているのは、同一ユーザ名のジョブ数と、同一グループ名のジョブ数と、同一ジョブキュー名のジョブ数とが必ずしも等しくならないので、平均値を用いるためである。
比較基準値A=c×CompareIndexOfUser+d×CompareIndexOfGroup
+ e×CompareIndexOfQueue・・・(6)
なお、c,d,eはそれぞれ荷重係数であり、ユーザや管理者が任意に設定することができる。すなわち、荷重係数c,d,eに大きい値を設定することにより、ユーザ名,グループ名及びジョブキュー名のうちいずれかを重視した2次ファイルサーバ60の使用の要否の判断を行なうことができる。
すなわち、判断部は、ジョブ実行時に、そのジョブに関するデータ転送発生傾向として、同一ユーザ、同一グループ及び同一ジョブキューのそれぞれに関して、計算ノード30におけるジョブの実行中に生ずるファイルの読み書き転送量と、ジョブの割り振りにより生じる入出力ファイルの転送量とに基づく判断基準値CompareIndexOfUser,CompareIndexOfGroup及びCompareIndexOfQueueを算出する。
上述の如く構成された本第2変形例としてのファイルサーバシステムにおける、2次ファイルサーバ60の使用の要否の判断手法を、図9に示すフローチャート(ステップC10〜C60)に従って説明する。
また、判断部は、ジョブ転送量記録表から、当該ジョブのグループの入出力ファイルのサイズの総量から実行中の読み書き転送量の総量を引いた値のジョブ当たり平均 CompareIndexOfGroupを算出する(ステップC20)。
そして、判断部は、この算出した比較基準値Aが0以下の場合には(ステップC40のFalseルート参照)、2次ファイルサーバ60を使用すると判断する(ステップC60)。又、比較基準値Aが0よりも大きい場合には(ステップC40のTrueルート参照)、2次ファイルサーバ60を使用しないと判断する(ステップC50)。
上述した第2変形例において、比較基準値Aの算出に用いる荷重係数d,e,fはユーザや管理者が任意に設定することができる値である旨を示しているが、これに限定されるものではない。すなわち、これらの荷重係数d,e,fを、実際のジョブの処理結果に基づき、自動的に決定してもよい。
荷重係数d=σ(CompareIndexOfGroup)×σ(CompareIndexOfQueue)・・(7)
荷重係数e=σ(CompareIndexOfUser)×σ(CompareIndexOfQueue)・・(8)
荷重係数f=σ(CompareIndexOfUser)×σ(CompareIndexOfGroup)・・(9)
ここで、σ()は標準偏差を表し、例えば、σ(CompareIndexOfGroup)は、判断基準値CompareIndexOfGroupの標準偏差を表す。
これにより、各判断基準値の値のばらつき(標準偏差)を荷重係数d,e,fに反映させることができ、実際のジョブの処理結果に合わせたフィードバック制御を実現することができる。
そして、開示の技術は上述した各実施形態及び各変形例に限定されるものではなく、これらの趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、ファイルアクセスが激しい特定のジョブがある場合には、この特定のジョブを処理するための専用の2次ファイルサーバ(特定用2次ファイルサーバ)をそなえ、割当管理部13は、かかる特定のジョブ以外のジョブにはこの特定用2次ファイルサーバを割り振らない。これにより、ファイルアクセスが激しい特定のジョブの処理を効率よく処理することができる。
また、特定用のジョブキューの過去一定期間のジョブ数から、特定用2次ファイルサーバの個数を動的に変化させてもよい。これにより、使われない2次ファイルサーバ60を少なくすることができ、2次ファイルサーバ60を効率的に運用することができる。
なお、これらの負荷状態管理部11,ジョブ数管理部111,データ転送量取得部112,負荷指数算出部113,選択部12,割当管理部13及び判断部としての機能を実現するためのプログラム(管理プログラム)は、例えばフレキシブルディスク,CD(CD−ROM,CD−R,CD−RW等),DVD(DVD−ROM,DVD−RAM,DVD−R,DVD+R,DVD−RW,DVD+RW,HD DVD等),ブルーレイディスク,磁気ディスク,光ディスク,光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク,光ディスク,光磁気ディスク等の記憶装置(記録媒体)に記録しておき、その記憶装置から通信経路を介してコンピュータに提供するようにしてもよい。
(H)付記
(付記1)
ファイルを用いてジョブを処理する複数の計算ノードと、
該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、
該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバと、
該2次ファイルサーバの負荷状態を管理する負荷状態管理部と、
処理対象のジョブの割当時に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択部と、
該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを割り当てる割当管理部とをそなえることを特徴とする、ファイルサーバシステム。
該負荷状態管理部が、該2次ファイルサーバに割り振られているジョブ数を管理するジョブ数管理部をそなえ、
該選択部が、割り振られているジョブ数が最も少ない該2次ファイルサーバを選択することを特徴とする、付記1記載のファイルサーバシステム。
該負荷状態管理部が、各2次ファイルサーバにおけるデータ転送量を取得するデータ転送量取得部をそなえ、
該選択部が、該データ転送量が最も少ない該2次ファイルサーバを選択することを特徴とする、付記1記載のファイルサーバシステム。
該負荷状態管理部が、
該2次ファイルサーバに割り振られているジョブ数を管理するジョブ数管理部と、
各2次ファイルサーバにおけるデータ転送量を取得するデータ転送量取得部と、
該複数の2次ファイルサーバのそれぞれについて、該割り振られているジョブ数と該データ転送量とに基づいて負荷指数を算出する負荷指数算出部とをそなえ、
該選択部が、負荷指数が最も小さい該2次ファイルサーバを選択することを特徴とする、付記1記載のファイルサーバシステム。
処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断部をそなえ、
該判断部が該2次ファイルサーバの使用を必要と判断した場合に、該選択部が該2次ファイルサーバの選択を行ない、該割当管理部が、該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを該割り当てることを特徴とする付記1〜付記4のいずれか1項に記載のファイルサーバシステム。
該判断部が、該ジョブに関する複数種類の属性情報毎に該データ転送発生傾向を取得し、これらの属性情報毎の該データ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断することを特徴とする、付記5記載のファイルサーバシステム。
(付記7)
該属性情報毎のデータ転送発生傾向に対して、標準偏差に基づく重み付けを設定する重み付け設定部をそなえることを特徴とする、付記6記載のファイルサーバシステム。
ファイルを用いてジョブを処理する複数の計算ノードと、
該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、
該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバとをそなえたファイルサーバシステムにおける該ジョブの処理方法であって、
該2次ファイルサーバの負荷状態を管理する負荷状態管理ステップと、
処理対象のジョブの割当時に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択ステップと、
該処理対象のジョブに対して、該選択ステップにおいて選択された該2次ファイルサーバを割り当てる割当ステップとをそなえることを特徴とする、処理方法。
該負荷状態管理ステップにおいて、該2次ファイルサーバに割り振られているジョブ数を管理するジョブ数管理ステップをそなえ、
該選択ステップにおいて、割り振られているジョブ数が最も少ない該2次ファイルサーバを選択することを特徴とする、付記8記載の処理方法。
該負荷状態管理ステップにおいて、各2次ファイルサーバにおけるデータ転送量を取得するデータ転送量取得ステップをそなえ、
該選択ステップにおいて、該データ転送量が最も少ない該2次ファイルサーバを選択することを特徴とする、付記8記載の処理方法。
該負荷状態管理ステップにおいて、
該2次ファイルサーバに割り振られているジョブ数を管理するジョブ数管理ステップと、
各2次ファイルサーバにおけるデータ転送量を取得するデータ転送量取得ステップと、
該複数の2次ファイルサーバのそれぞれについて、該割り振られているジョブ数と該データ転送量とに基づいて負荷指数を算出する負荷指数算出ステップとをそなえ、
該選択ステップにおいて、負荷指数が最も小さい該2次ファイルサーバを選択することを特徴とする、付記8記載の処理方法。
処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断ステップをそなえ、
該判断ステップにおいて該2次ファイルサーバの使用を必要と判断した場合に、該選択ステップにおいて該2次ファイルサーバの選択を行ない、該割当ステップにおいて、該処理対象のジョブに対して、該選択ステップにおいて選択された該2次ファイルサーバを該割り当てることを特徴とする付記8〜付記11のいずれか1項に記載の処理方法。
該判断ステップにおいて、該ジョブに関する複数種類の属性情報毎に該データ転送発生傾向を取得し、これらの属性情報毎の該データ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断することを特徴とする、付記12記載の処理方法。
(付記14)
該属性情報毎のデータ転送発生傾向に対して、標準偏差に基づく重み付けを設定する重み付け設定ステップをそなえることを特徴とする、付記13記載の処理方法。
ファイルを用いてジョブを処理する複数の計算ノードと、該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバとをそなえたファイルサーバシステムにおけるジョブの管理を行なう管理装置であって、
該2次ファイルサーバの負荷状態を管理する負荷状態管理部と、
処理対象のジョブの割当時に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択部と、
該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを割り当てる割当管理部とをそなえることを特徴とする、管理装置。
該負荷状態管理部が、該2次ファイルサーバに割り振られているジョブ数を管理するジョブ数管理部をそなえ、
該選択部が、割り振られているジョブ数が最も少ない該2次ファイルサーバを選択することを特徴とする、付記15記載の管理装置。
該負荷状態管理部が、各2次ファイルサーバにおけるデータ転送量を取得するデータ転送量取得部をそなえ、
該選択部が、該データ転送量が最も少ない該2次ファイルサーバを選択することを特徴とする、付記15記載の管理装置。
該負荷状態管理部が、
該2次ファイルサーバに割り振られているジョブ数を管理するジョブ数管理部と、
各2次ファイルサーバにおけるデータ転送量を取得するデータ転送量取得部と、
該複数の2次ファイルサーバのそれぞれについて、該割り振られているジョブ数と該データ転送量とに基づいて負荷指数を算出する負荷指数算出部とをそなえ、
該選択部が、負荷指数が最も小さい該2次ファイルサーバを選択することを特徴とする、付記15記載の管理装置。
処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断部をそなえ、
該判断部が該2次ファイルサーバの使用を必要と判断した場合に、該選択部が該2次ファイルサーバの選択を行ない、該割当管理部が、該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを該割り当てることを特徴とする付記15〜付記8のいずれか1項に記載の管理装置。
ファイルを用いてジョブを処理する複数の計算ノードと、該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバとをそなえたファイルサーバシステムにおけるジョブの管理機能をコンピュータに実行させるための管理プログラムであって、
該2次ファイルサーバの負荷状態を管理する負荷状態管理部と、
処理対象のジョブの割当時に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択部と、
該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを割り当てる割当管理部として、該コンピュータを機能させることを特徴とする、管理プログラム。
10a,10b,10c 管理サーバ
11 負荷状態管理部
12 選択部
13 割当管理部
20 共通ファイルサーバ
30 計算ノード
40,41,42,43 ネットワーク
50 クライアントコンピュータ
60 2次ファイルサーバ
101 記憶装置
102 ジョブ割り振り表
103 読み書き転送量表
111 ジョブ数管理部
112 データ転送量取得部
113 負荷指数算出部
Claims (7)
- ファイルを用いてジョブを処理する複数の計算ノードと、該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバとをそなえたファイルサーバシステムにおけるジョブの管理を行なう管理装置であって、
該2次ファイルサーバの負荷状態を管理する負荷状態管理部と、
処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断部と、
該判断部が該2次ファイルサーバの使用を必要と判断した場合に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択部と、
該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを割り当てる割当管理部とをそなえることを特徴とする、管理装置。 - 該負荷状態管理部が、該2次ファイルサーバに割り振られているジョブ数を管理するジョブ数管理部をそなえ、
該選択部が、割り振られているジョブ数が最も少ない該2次ファイルサーバを選択することを特徴とする、請求項1記載の管理装置。 - 該負荷状態管理部が、各2次ファイルサーバにおけるデータ転送量を取得するデータ転送量取得部をそなえ、
該選択部が、該データ転送量が最も少ない該2次ファイルサーバを選択することを特徴とする、請求項1記載の管理装置。 - 該負荷状態管理部が、
該2次ファイルサーバに割り振られているジョブ数を管理するジョブ数管理部と、
各2次ファイルサーバにおけるデータ転送量を取得するデータ転送量取得部と、
該複数の2次ファイルサーバのそれぞれについて、該割り振られているジョブ数と該データ転送量とに基づいて負荷指数を算出する負荷指数算出部とをそなえ、
該選択部が、負荷指数が最も小さい該2次ファイルサーバを選択することを特徴とする、請求項1記載の管理装置。 - ファイルを用いてジョブを処理する複数の計算ノードと、
該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、
該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバと、
該2次ファイルサーバの負荷状態を管理する負荷状態管理部と、
処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断部と、
該判断部が該2次ファイルサーバの使用を必要と判断した場合に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択部と、
該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを割り当てる割当管理部とをそなえることを特徴とする、ファイルサーバシステム。 - ファイルを用いてジョブを処理する複数の計算ノードと、
該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、
該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバとをそなえたファイルサーバシステムにおける該ジョブの処理方法であって、
該2次ファイルサーバの負荷状態を管理する負荷状態管理ステップと、
処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断ステップと、
該判断ステップにおいて該2次ファイルサーバの使用を必要と判断された場合に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択ステップと、
該処理対象のジョブに対して、該選択ステップにおいて選択された該2次ファイルサーバを割り当てる割当ステップとをそなえることを特徴とする、処理方法。 - ファイルを用いてジョブを処理する複数の計算ノードと、該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバとをそなえたファイルサーバシステムにおけるジョブの管理機能をコンピュータに実行させるための管理プログラムであって、
該2次ファイルサーバの負荷状態を管理する負荷状態管理部と、
処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断部と、
該判断部が該2次ファイルサーバの使用を必要と判断した場合に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択部と、
該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを割り当てる割当管理部として、該コンピュータを機能させることを特徴とする、管理プログラム。
Priority Applications (2)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010182419A JP5556498B2 (ja) | 2010-08-17 | 2010-08-17 | 管理装置,ファイルサーバシステム,処理方法及び管理プログラム |
US13/207,527 US20120044532A1 (en) | 2010-08-17 | 2011-08-11 | Management device, file server system, execution method and management program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2010182419A JP5556498B2 (ja) | 2010-08-17 | 2010-08-17 | 管理装置,ファイルサーバシステム,処理方法及び管理プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2012043098A JP2012043098A (ja) | 2012-03-01 |
JP5556498B2 true JP5556498B2 (ja) | 2014-07-23 |
Family
ID=45593858
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2010182419A Expired - Fee Related JP5556498B2 (ja) | 2010-08-17 | 2010-08-17 | 管理装置,ファイルサーバシステム,処理方法及び管理プログラム |
Country Status (2)
Country | Link |
---|---|
US (1) | US20120044532A1 (ja) |
JP (1) | JP5556498B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
WO2014020795A1 (ja) * | 2012-07-30 | 2014-02-06 | 日本電気株式会社 | 分散システム制御装置、プログラム、及び制御方法 |
JP2015119472A (ja) * | 2013-11-18 | 2015-06-25 | 株式会社リコー | 選択システム、通信管理システム、通信システム、プログラム、及び選択方法 |
WO2015078498A1 (en) * | 2013-11-27 | 2015-06-04 | Huawei Technologies Co., Ltd. | Method and system for balancing load in a sdn network |
US9576039B2 (en) * | 2014-02-19 | 2017-02-21 | Snowflake Computing Inc. | Resource provisioning systems and methods |
CN104579801B (zh) * | 2015-02-10 | 2018-01-16 | 广州市品高软件股份有限公司 | 一种软件定义网络控制器集群的调度方法 |
JP2017102777A (ja) * | 2015-12-03 | 2017-06-08 | 富士通株式会社 | 負荷分散処理サーバ、負荷分散処理方法、及び、システム |
Family Cites Families (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2000259591A (ja) * | 1999-03-11 | 2000-09-22 | Matsushita Electric Ind Co Ltd | 分散処理ジョブ実行方法およびネットワークシステム |
JP3463803B2 (ja) * | 1999-11-09 | 2003-11-05 | 松下電器産業株式会社 | クラスタサーバ装置 |
US20030128384A1 (en) * | 2002-01-04 | 2003-07-10 | Nelson Dean S. | Dynamic load-balancing print server systems and methods |
US7912954B1 (en) * | 2003-06-27 | 2011-03-22 | Oesterreicher Richard T | System and method for digital media server load balancing |
JP2007041720A (ja) * | 2005-08-01 | 2007-02-15 | Fujitsu Ltd | ジョブステップ実行プログラムおよびジョブステップ実行方法 |
JP4763587B2 (ja) * | 2006-12-11 | 2011-08-31 | 株式会社ソニー・コンピュータエンタテインメント | キャッシュサーバ、キャッシュサーバの制御方法、プログラム及び情報記憶媒体 |
US20080184248A1 (en) * | 2007-01-29 | 2008-07-31 | Yahoo! Inc. | Optimization of job scheduling for resource clusters with access control and usage reporting |
KR20100033728A (ko) * | 2008-09-22 | 2010-03-31 | 삼성전자주식회사 | 문서전송방법, 문서전송장치 및 문서전송시스템 |
JP5319237B2 (ja) * | 2008-10-28 | 2013-10-16 | キヤノン株式会社 | 印刷システム及びその制御方法 |
JP2011034164A (ja) * | 2009-07-30 | 2011-02-17 | Hitachi Ltd | リモートコピーシステム及びリモートコピー制御方法 |
US8700773B2 (en) * | 2009-12-07 | 2014-04-15 | Microsoft Corporation | Load balancing using redirect responses |
US8578027B2 (en) * | 2010-03-09 | 2013-11-05 | Blackberry Limited | Communications system providing server load balancing based upon load and separation metrics and related methods |
-
2010
- 2010-08-17 JP JP2010182419A patent/JP5556498B2/ja not_active Expired - Fee Related
-
2011
- 2011-08-11 US US13/207,527 patent/US20120044532A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
JP2012043098A (ja) | 2012-03-01 |
US20120044532A1 (en) | 2012-02-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP4737728B2 (ja) | 情報処理装置及び情報処理システム | |
JP5556498B2 (ja) | 管理装置,ファイルサーバシステム,処理方法及び管理プログラム | |
JP5902716B2 (ja) | 大規模記憶システム | |
JP5244236B2 (ja) | 計算機システム、方法、およびプログラム | |
JP6237318B2 (ja) | 管理装置、業務負荷分散管理方法および業務負荷分散管理プログラム | |
US7933995B2 (en) | Computer program and apparatus for controlling computing resources, and distributed processing system | |
JP4407431B2 (ja) | 計算機システム及び計算機システムの帯域制御方法 | |
KR20070011413A (ko) | 네트워크를 통해 클라이언트로 액세스가능한 파일세트의네임스페이스를 유지하는 방법, 시스템 및 프로그램 | |
JP2008537816A5 (ja) | ||
JP4801761B2 (ja) | データベース管理方法およびシステム並びにその処理プログラム | |
JP5609730B2 (ja) | 情報処理プログラム及び方法、転送処理装置 | |
JP5672386B2 (ja) | 計算機およびリソース検索方法 | |
JP2005310120A (ja) | 計算機システム及びタスク割当方法 | |
JP5445739B2 (ja) | リソース割当装置、リソース割当方法、及びプログラム | |
JP5515889B2 (ja) | 仮想マシンシステム、自動マイグレーション方法および自動マイグレーションプログラム | |
JP5810968B2 (ja) | リソースキャパシティ予測装置、方法およびプログラム | |
JP2004046372A (ja) | 分散処理システム、リソース割当方法およびプログラムならびにリソース割当プログラムが記録された記録媒体 | |
KR100983479B1 (ko) | 분산 스페이스를 이용하여 분산 프로그래밍 환경을 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체 | |
JP2009087213A (ja) | 計算機余力算出装置、計算機余力算出方法 | |
JP4594877B2 (ja) | 計算機リソース割当管理方法および計算機リソース割当管理装置 | |
JP5867499B2 (ja) | 仮想サーバシステム、管理サーバ装置及びシステム管理方法 | |
JP6374059B2 (ja) | コンピュータ資源配分決定方法、コンピュータ資源配分決定方法プログラムおよび制御用コンピュータ | |
JP2006277530A (ja) | 割当システム、割当装置、割当方法及びそのプログラム | |
JP6365027B2 (ja) | 割り当てプログラム、割り当て装置、割り当てシステム、及び割り当て方法 | |
JP5958111B2 (ja) | ジョブ管理プログラム、ジョブ管理方法及びジョブ管理装置 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20130604 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20140212 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20140218 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20140411 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20140507 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20140520 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5556498 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |