JP5556498B2 - 管理装置,ファイルサーバシステム,処理方法及び管理プログラム - Google Patents

管理装置,ファイルサーバシステム,処理方法及び管理プログラム Download PDF

Info

Publication number
JP5556498B2
JP5556498B2 JP2010182419A JP2010182419A JP5556498B2 JP 5556498 B2 JP5556498 B2 JP 5556498B2 JP 2010182419 A JP2010182419 A JP 2010182419A JP 2010182419 A JP2010182419 A JP 2010182419A JP 5556498 B2 JP5556498 B2 JP 5556498B2
Authority
JP
Japan
Prior art keywords
file server
job
secondary file
management
unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2010182419A
Other languages
English (en)
Other versions
JP2012043098A (ja
Inventor
浩一郎 高橋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to JP2010182419A priority Critical patent/JP5556498B2/ja
Priority to US13/207,527 priority patent/US20120044532A1/en
Publication of JP2012043098A publication Critical patent/JP2012043098A/ja
Application granted granted Critical
Publication of JP5556498B2 publication Critical patent/JP5556498B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/10Protocols in which an application is distributed across nodes in the network
    • H04L67/1001Protocols in which an application is distributed across nodes in the network for accessing one among a plurality of replicated servers
    • H04L67/1004Server selection for load balancing
    • H04L67/1008Server selection for load balancing based on parameters of servers, e.g. available memory or workload
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00Arrangements for program control, e.g. control units
    • G06F9/06Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46Multiprogramming arrangements
    • G06F9/50Allocation of resources, e.g. of the central processing unit [CPU]
    • G06F9/5083Techniques for rebalancing the load in a distributed system
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L47/00Traffic control in data switching networks
    • H04L47/10Flow control; Congestion control
    • H04L47/12Avoiding congestion; Recovering from congestion
    • H04L47/125Avoiding congestion; Recovering from congestion by balancing the load, e.g. traffic engineering

Description

本件は、管理装置,ファイルサーバシステム,処理方法及び管理プログラムに関する。
従来から、コンピュータシステムにおいて、ジョブをネットワーク上で接続された複数のコンピュータに割り振って処理する手法が知られている(例えば、下記特許文献1参照)。
図10は従来のコンピュータシステムのネットワーク構成を模式的に示す図である。この図10に示す従来のコンピュータシステム500は、複数の計算ノード501,管理サーバ502,共通ファイルサーバ503,公衆回線網504及びクライアントコンピュータ505をそなえている。
ここで、共通ファイルサーバ503には複数の計算ノード501が通信可能に接続され、又、各計算ノード501は、管理サーバ502に通信可能に接続されている。又、管理サーバ502は、公衆回線網504を介してクライアントコンピュータ505に通信可能に接続されている。
クライアントコンピュータ505は、ユーザが使用する情報処理端末装置である。ユーザは、このクライアントコンピュータ505を介して、例えば、演算指示入力を行なう。
管理サーバ502は、クライアントコンピュータ505等から与えられた演算指示に基づき、計算ノード501に対してジョブを処理させる制御を行なう。管理サーバ502は、具体的には、ジョブを複数の計算ノード501に振り分け、各計算ノード501にそれぞれ処理させる。
計算ノード501は、管理サーバ502によって割り振られたジョブを処理するものである。各計算ノード501はジョブを実行するに際して、それぞれ必要なデータ等を共通ファイルサーバ503から取得し、又、演算結果をそれぞれ共通ファイルサーバ503に格納する。
共通ファイルサーバ503は、各計算ノード501のジョブの入出力ファイルをそれぞれ格納・管理するサーバである。共通ファイルサーバ503は、計算ノード501からの要求等に応じて、各ジョブに必要なデータを提供したり、計算ノード501による演算結果等を格納する。すなわち、共通ファイルサーバ503は、計算ノード501がそれぞれジョブを処理するために用いるデータを一元管理する。
このように、共通ファイルサーバ503に、各計算ノード501のジョブの入出力ファイルを格納することにより、特定の計算ノード501に対して特定のジョブを割り当てる必要がなく、計算ノード501にフレキシブルにジョブの割り当てを行なうことができるのである。
特開平6−332782号公報
しかしながら、このような従来のコンピュータシステム500においては、多数の計算ノード501を共通ファイルサーバ503に接続した場合に、共通ファイルサーバ503の処理能力を超えるアクセスが生じ、共通ファイルサーバ503が過負荷状態となりジョブの処理に影響を与えるおそれがある。
本件の目的の一つは、共通ファイルサーバの負荷を軽減し、ジョブを効率的に処理できるようにすることである。
なお、前記目的に限らず、後述する発明を実施するための形態に示す各構成により導かれる作用効果であって、従来の技術によっては得られない作用効果を奏することも本発明の他の目的の1つとして位置付けることができる。
このため、この管理装置は、ファイルを用いてジョブを処理する複数の計算ノードと、該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバとをそなえたファイルサーバシステムにおけるジョブの管理を行なう管理装置であって、該2次ファイルサーバの負荷状態を管理する負荷状態管理部と、処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断部と、該判断部が該2次ファイルサーバの使用を必要と判断した場合に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択部と、該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを割り当てる割当管理部とをそなえる。
また、このファイルサーバシステムは、ファイルを用いてジョブを処理する複数の計算ノードと、該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバと、該2次ファイルサーバの負荷状態を管理する負荷状態管理部と、処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断部と、該判断部が該2次ファイルサーバの使用を必要と判断した場合に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択部と、該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを割り当てる割当管理部とをそなえる。
さらに、この処理方法は、ファイルを用いてジョブを処理する複数の計算ノードと、該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバとをそなえたファイルサーバシステムにおける該ジョブの処理方法であって、該2次ファイルサーバの負荷状態を管理する負荷状態管理ステップと、処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断ステップと、該判断ステップにおいて該2次ファイルサーバの使用を必要と判断された場合に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択ステップと、該処理対象のジョブに対して、該選択ステップにおいて選択された該2次ファイルサーバを割り当てる割当ステップとをそなえる。
また、この管理プログラムは、ファイルを用いてジョブを処理する複数の計算ノードと、該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバとをそなえたファイルサーバシステムにおけるジョブの管理機能をコンピュータに実行させるための管理プログラムであって、該2次ファイルサーバの負荷状態を管理する負荷状態管理部と、処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断部と、該判断部が該2次ファイルサーバの使用を必要と判断した場合に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択部と、該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを割り当てる割当管理部として、該コンピュータを機能させる。
開示の技術によれば、最も軽負荷状態の2次ファイルサーバに対して優先してジョブの割り振りを行なうので、特定の2次ファイルサーバにジョブが集中し、高負荷状態となることを防止することができ、安定したシステム運用を行なうことができる利点がある。
第1実施形態の一例としてのファイルサーバシステムの構成を模式的に示す図である。 第1実施形態の一例としてのファイルサーバシステムにおけるジョブ割り振り表の例を示す図である。 第2実施形態の一例としてのファイルサーバシステムの構成を模式的に示す図である。 第2実施形態の一例としてのファイルサーバシステムにおける読み書き転送量表の例を示す図である。 第3実施形態の一例としてのファイルサーバシステムの構成を模式的に示す図である。 第3実施形態の一例としてのファイルサーバシステムにおける2次ファイルサーバの割り振り処理を説明するためのフローチャートである。 第1変形例において用いるジョブ転送量記録表を例示する図である。 第1変形例としてのファイルサーバシステムにおける2次ファイルサーバの使用の要否の判断手法を説明するためのフローチャートである。 第2変形例としてのファイルサーバシステムにおける2次ファイルサーバの使用の要否の判断手法を説明するためのフローチャートである。 従来のコンピュータシステムのネットワーク構成を模式的に示す図である。
以下、図面を参照して本ファイルサーバシステムに係る実施の形態を説明する。
(A)第1実施形態
図1は第1実施形態の一例としてのファイルサーバシステム1aの構成を模式的に示す図である。
本ファイルサーバシステム1aは、演算指示にかかるジョブを複数の計算ノード30に分散して実行する分散処理システムである。このファイルサーバシステム1aは、図1に示すように、計算ノード30,2次ファイルサーバ60,クライアントコンピュータ50,管理サーバ10a及び共通ファイルサーバ20をそなえている。
ここで、複数(図1に示す例では2つ以上)のクライアントコンピュータ50は、ネットワーク40を介して管理サーバ10aに通信可能に接続されている。又、管理サーバ10aには、ネットワーク41を介して複数の計算ノード30が並列に通信可能に接続されている。又、各計算ノード30は、ネットワーク42を介して各2次ファイルサーバ60に通信可能に接続されるとともに、ネットワーク43を介して共通ファイルサーバ20に通信可能に接続されている。
ネットワーク40,41,42,43は、インターネットや公衆回線網等の通信ネットワークであり、例えば、イーサネット(登録商標)等の規格に基づいてデータの送受信を実現する。
クライアントコンピュータ50は、ユーザが各種指示や各種入力を入力する情報処理装置である。ユーザは、例えば、このクライアントコンピュータ50を用いて演算指示の入力を行なう。そして、この入力された演算指示は、ネットワーク40を介して管理サーバ10aに送信される。
なお、このクライアントコンピュータ50は、CPU(Central Processing Unit)やRAM(Random Access Memory),ROM(Read Only Memory),記憶装置,ネットワーク機器等をそなえた一般的なコンピュータのハードウェア構成を有する。なお、本実施形態においては、便宜上、クライアントコンピュータ50のハードウェア構成についての詳細な説明は省略する。
また、図1に示す例においては、2台のクライアントコンピュータ50がそなえられているが、これに限定されるものではなく、クライアントコンピュータ50の台数は適宜変更して実施することができる。
そして、このクライアントコンピュータ50においては、CPUがOS(Operating System)や各種アプリケーションを実行することにより上述した機能を実現する。
計算ノード30は、種々の演算処理を実行可能な情報処理装置であり、本ファイルサーバシステム1aにおいては、この計算ノード30が複数(図1に示す例では6つ以上)そなえられる。又、これらの計算ノード30の台数は適宜変更して実施することができる。
各計算ノード30は、後述する管理サーバ10aからの指示に基づきジョブを実行する。この管理サーバ10aからのジョブの実行指示には、ジョブの実行に用いる2次ファイルサーバ60を指定する情報が含まれる場合がある。計算ノード30は、ジョブの実行指示に2次ファイルサーバ60の指定が含まれている場合には、その2次ファイルサーバ60を用いてジョブの実行を行なう。
ここで、「ジョブの実行に2次ファイルサーバ60を用いる」とは、例えば、その2次ファイルサーバ60の所定の領域に格納されているプログラムやデータを読み出して用いることや、ジョブの実行にかかる演算処理の過程や演算終了時に生成されるデータを2次ファイルサーバ60の所定の領域に読み書きすること等が含まれる。
この計算ノード30も、CPUやRAM,ROM,記憶装置,ネットワーク機器等をそなえた一般的なコンピュータのハードウェア構成を有するものであり、本実施形態においては、便宜上、そのハードウェア構成についての詳細な説明は省略する。
共通ファイルサーバ(1次ファイルサーバ)20は、計算ノード30がジョブを実行するに際して用いる各種プログラムやデータ(ファイル)を格納するサーバコンピュータである。この共通ファイルサーバ20は、ネットワークを介して接続された計算ノード30や2次ファイルサーバ60に対して、これらのプログラムやデータを提供するサーバ機能をそなえている。
この共通ファイルサーバ20は、例えば、2次ファイルサーバ60からの送信要求に応じて、ジョブの実行(動作)時に必要なファイル(プログラムやデータ)を、その2次ファイルサーバ60に対して送信する。以下、これらのジョブの実行時に必要なプログラムやデータ等のファイルを入力ファイルという場合がある。
また、共通ファイルサーバ20は、各計算ノード30からジョブの処理結果(演算結果)を受け取り、これらの情報を一元管理する機能をそなえる。以下、各計算ノード30から受信するジョブの処理結果にかかるデータを出力ファイルという場合がある。
なお、共通ファイルサーバ20も、CPUやRAM,ROM,記憶装置,ネットワーク機器等をそなえた一般的なコンピュータのハードウェア構成を有するものであり、本実施形態においては、便宜上、そのハードウェア構成についての詳細な説明は省略する。
2次ファイルサーバ60は、共通ファイルサーバ20のファイルの一部を格納するサーバコンピュータである。本ファイルサーバシステム1aには、複数(図1に示す例では3つ)の2次ファイルサーバ60がそなえられている。
そして、2次ファイルサーバ60は、計算ノード30に対して、ファイルや記憶領域を提供する。すなわち、2次ファイルサーバ60は、その所定の領域に格納されているプログラムやデータをネットワーク42を介して計算ノード30に提供したり、計算ノード30におけるジョブの実行にかかる演算処理の過程や演算終了時に生成されるデータを受信し、その所定の領域に書き込み、又、必要に応じて読み出す。
この2次ファイルサーバ60も、CPUやRAM,ROM,記憶装置,ネットワーク機器等をそなえた一般的なコンピュータのハードウェア構成を有するものであり、本実施形態においては、便宜上、そのハードウェア構成についての詳細な説明は省略する。又、これらの2次ファイルサーバ60の台数は適宜変更して実施することができる。
管理サーバ10aは、クライアントコンピュータ50等からの演算指示にかかるジョブを計算ノード30に実行させる制御を行なう。この際、この管理サーバ10aは、複数のジョブを複数の計算ノード30に分散して実行させる制御も行なう。
また、管理サーバ10aは、計算ノード30に対してジョブの実行指示を行なうに際して、必要に応じて、この計算ノード30がジョブの実行に際して使用する2次ファイルサーバ60を選択し、この選択した2次ファイルサーバ60をその計算ノード30に対して通知する。
以下、ジョブの実行指示に際して、管理サーバ10aが、計算ノード30が使用する2次ファイルサーバ60を特定(選択)することを、2次ファイルサーバ60にジョブを割り振る、もしくは、計算ノード30に2次ファイルサーバ60を割り振ると表現する場合がある。
管理サーバ10aも、図示しないCPUやRAM,ROM,ネットワーク機器や、記憶装置101等をそなえた一般的なコンピュータのハードウェア構成を有する。
記憶装置101は、例えば、ハードディスクドライブ(Hard disk drive:HDD)、SSD(Solid State Drive)等の記憶装置であって、種々のデータを格納するものである。この記憶装置101には、ジョブ割り振り表102が格納される。
なお、本実施形態においては、便宜上、管理サーバ10aのハードウェア構成についての詳細な説明は省略する。
そして、管理サーバ10aにおいて、CPUがその記憶装置等に格納された管理プログラムを実行することにより、後述する管理サーバ10aとしての各種機能が実現される。
管理サーバ10aから計算ノード30に対するジョブの実行指示は、例えば、以下の(a)〜(d)に示すような情報を送信することにより行なう。
(a)プログラム情報
(b)パラメータ
(c)入力データ情報
(d)2次ファイルサーバ情報
ここで、(a)プログラム情報とは、ジョブの実行に用いられるプログラムに関する情報であり、例えば、プログラムそのものであったり、プログラムを特定する情報、もしくはプログラムの格納位置である。
例えば、管理サーバ10aがジョブの実行に用いられるプログラムを格納している場合には、管理サーバ10aは、そのプログラムをプログラム情報として対象の計算ノード30に対して送信する。又、計算ノード30がすでにそのプログラムを保持している場合には、そのプログラムを特定するための情報を(a)プログラム情報として送信する。又、管理サーバ10aや計算ノード30にはそのプログラムが格納されていない場合には、その格納位置(例えば、共通ファイルサーバ20における格納位置情報)を(a)プログラム情報として送信する。
(b)パラメータは、プログラムを実行する際に使用される設定値等の情報であり、(c)入力データ情報は、プログラムの実行に際して入力される入力データに関する情報である。管理サーバ10aがこの入力データを格納している場合には、管理サーバ10aは、その入力データを(c)入力データ情報として対象の計算ノード30に対して送信する。又、計算ノード30がすでにその入力データを保持している場合には、その入力データを特定するための情報を(c)入力データ情報として送信する。又、管理サーバ10aや計算ノード30にはそのプログラムが格納されていない場合には、その格納位置(例えば、共通ファイルサーバ20における格納位置情報)を(c)入力データ情報として送信する。
(d)2次ファイルサーバ情報は、計算ノード30がそのジョブを実行するに際に使用すべき2次ファイルサーバ60を特定するための情報である。計算ノード30がジョブを実行するに際して2次ファイルサーバ60を用いて行なうべき場合に、管理サーバ10aは、その2次ファイルサーバ60を特定するための情報を(d)2次ファイルサーバ情報として送信する。
本ファイルサーバシステム1aにおいて、管理サーバ10aは、図1に示すように、負荷状態管理部11,選択部12及び割当管理部13としての機能をそなえる。
負荷状態管理部11は、各計算ノード30の負荷状態を管理するものであり、本第1実施形態においては、負荷状態管理部11は、図1に示すように、ジョブ数管理部111をそなえている。
ジョブ数管理部111は、各2次ファイルサーバ60に割り振られているジョブ数を管理する。このジョブ数管理部111は、ジョブ割り振り表102を用いて2次ファイルサーバ60に割り振られているジョブの数を管理する。
図2は第1実施形態の一例としてのファイルサーバシステム1aにおけるジョブ割り振り表102の例を示す図である。
ジョブ割り振り表102は、図2に示すように、2次ファイルサーバ60のサーバ名(2次ファイルサーバ名)と、ジョブ数とを対応付けて構成されている。
なお、図2に示す例においては、fs−1〜fs−6の6つの2次ファイルサーバ60についてのジョブ割り振り表102であって、例えば、サーバ名fs−5の2次ファイルサーバ60には3つのジョブが割り振られている。又、この図2に示す例においては、サーバ名fs−3,fs−4の2次ファイルサーバ60にはジョブが割り振られていない(ジョブ数=0)状態を示している。
そして、ジョブ数管理部111は、2次ファイルサーバ60に対してジョブを割り振った場合や、2次ファイルサーバ60に割り振ったジョブが完了した場合等には、このジョブ割り振り表102を更新する。
選択部12は、計算ノード30に対してジョブを割り当てる際に、複数の2次ファイルサーバ60の中から、計算ノード30に割り振る2次ファイルサーバ60を選択する。具体的には、選択部12は、複数の2次ファイルサーバ60のうち、最も軽負荷状態の2次ファイルサーバ60を選択する。
この選択部12は、負荷状態管理部11のジョブ数管理部111が管理するジョブ割り振り表102を参照し、割り振られているジョブ数(割り振りジョブ数)が最も少ない2次ファイルサーバ60を選択する。なお、ジョブ数が最も少ない2次ファイルサーバ60が複数ある場合には、例えば、これらの2次ファイルサーバ60からランダムに一の2次ファイルサーバ60を選択してもよく、又、例えば、処理性能の高いものを優先させる等、所定の優先順位に従って一の2次ファイルサーバ60を選択してもよい。
割当管理部13は、処理対象のジョブに対して、選択部12によって選択された2次ファイルサーバを割り当てる。具体的には、処理対象のジョブを割り振る計算ノード30に対して、選択部12によって選択された2次ファイルサーバ60を特定する情報を2次ファイルサーバ情報として含んだ実行指示を送信する。又、割当管理部13は、ジョブ数管理部111に対して、2次ファイルサーバ60にジョブを割り当てたことを通知し、これに基づき、ジョブ数管理部111は、ジョブ割り振り表102の更新を行なう。
なお、管理サーバ10aにおいては、ジョブを待ち行列(キュー,ジョブキュー)を用いて管理する。
上述の如く構成された、第1実施形態の一例としてのファイルサーバシステム1aにおける、ジョブの処理手法を説明する。
管理サーバ10aにおいて、負荷状態管理部11のジョブ数管理部111が、ジョブ割り振り表102により、本ファイルサーバシステム1aの各2次ファイルサーバ60へのジョブの割り振り数を管理している。
そして、例えば、ユーザがクライアントコンピュータ50から演算指示を入力すると、管理サーバ10aが、この演算指示に伴なうジョブの管理を行なう。
選択部12は、ジョブ割り振り表102を参照して、現在割り振られているジョブ数が一番少ない2次ファイルサーバ60を選択する。すなわち、選択部12は、複数の2次ファイルサーバ60のうち最も軽負荷状態の2次ファイルサーバ60を選択する。割当管理部13は、この選択部12によって選択された2次ファイルサーバ60を、そのジョブに割り振る。
このように、第1実施形態の一例としてのファイルサーバシステム1aによれば、最も軽負荷状態の2次ファイルサーバ60に対して優先してジョブの割り振りを行なうので、複数の2次ファイルサーバ60間において負荷を分散させることができる。すなわち、特定の2次ファイルサーバ60にジョブが集中し、高負荷状態となることを防止することができ、安定したシステム運用を行なうことができる。
(B)第2実施形態
図3は第2実施形態の一例としてのファイルサーバシステム1bの構成を模式的に示す図である。
本ファイルサーバシステム1bも、第1実施形態のファイルサーバシステム1aと同様に、演算指示にかかるジョブを複数の計算ノード30に分散して実行する分散処理システムである。
図3に示すように、第2実施形態のファイルサーバシステム1bは、第1実施形態の管理サーバ10aに代えて管理サーバ10bをそなえるとともに、ジョブ割り振り表102に変えて読み書き転送量表103をそなえる。又、管理サーバ10bの負荷状態管理部11において、第1実施形態のジョブ数管理部111に代えてデータ転送量取得部112をそなえる。なお、その他の部分は第1実施形態のファイルサーバシステム1aと同様に構成されている。
また、図中、既述の符号と同一の符号は同一もしくは略同一の部分を示しているので、その詳細な説明は省略する。
データ転送量取得部112は、各2次ファイルサーバ60における読み書き転送量(データ転送量)を取得する。例えば、データ転送量取得部112は、各2次ファイルサーバ60に対して、ネットワーク42におけるデータ転送量の送信を要求するコマンドを送信することにより、各2次ファイルサーバ60における読み書き転送量を取得する。なお、各2次ファイルサーバ60における読み書き転送量の取得は、既知の種々の手法を用いて実現することができるものであり、その詳細な説明は省略する。
そして、負荷状態管理部11は、データ転送量取得部112によって取得した各2次ファイルサーバ60の読み書き転送量を、記憶装置101に読み書き転送量表103として管理する。
図4は第2実施形態の一例としてのファイルサーバシステム1bにおける読み書き転送量表103の例を示す図である。
読み書き転送量表103は、図4に示すように、2次ファイルサーバ60のサーバ名(2次ファイルサーバ名)と、読み書き転送量とを対応付けて構成されている。
なお、図4に示す例においては、fs−1〜fs−6の6つの2次ファイルサーバ60についてのジョブ割り振り表102であって、例えば、サーバ名fs−1の2次ファイルサーバ60における読み書き転送量が800,000,000[単位:bps(bit per second)]であることがわかる。又、この図4に示す例においては、サーバ名fs−5の2次ファイルサーバ60における読み書き転送量が200[bps]であり、最も読み書き転送量が小さいことがわかる。
そして、データ転送量取得部112は、2次ファイルサーバ60に対するジョブの割り振りを行なう度に、各2次ファイルサーバ60に対してデータ転送量の送信を要求するコマンドを送信し、各2次ファイルサーバ60における読み書き転送量を取得する。そして、負荷状態管理部11は、2次ファイルサーバ60から読み書き転送量を受信する度に、読み書き転送量表103を更新する。
上述の如く構成された、第2実施形態の一例としてのファイルサーバシステム1bにおける、ジョブの処理手法を説明する。
例えば、ユーザがクライアントコンピュータ50から演算指示を入力すると、管理サーバ10bが、この演算指示に伴なうジョブの管理を行なう。
管理サーバ10bにおいて、負荷状態管理部11のデータ転送量取得部112が、各2次ファイルサーバ60に対してデータ転送量の送信を要求するコマンドを送信し、各2次ファイルサーバ60における読み書き転送量を取得する。そして、負荷状態管理部11は、2次ファイルサーバ60から読み書き転送量を受信する度に、読み書き転送量表103を更新する。
選択部12は、読み書き転送量表103を参照して、読み書き転送量が最も少ない2次ファイルサーバ60を選択する。すなわち、選択部12は、複数の2次ファイルサーバ60のうち最も軽負荷状態の2次ファイルサーバ60を選択する。割当管理部13は、この選択部12によって選択された2次ファイルサーバ60を、そのジョブに割り振る。
このように、第2実施形態の一例としてのファイルサーバシステム1bによっても、第1実施形態のファイルサーバシステム1aと同様に、最も軽負荷状態の2次ファイルサーバ60に対して優先してジョブの割り振りを行なうので、複数の2次ファイルサーバ60間において負荷を分散させることができる。すなわち、特定の2次ファイルサーバ60にジョブが集中し、高負荷状態となることを防止することができ、安定したシステム運用を行なうことができる。又、各2次ファイルサーバ60の負荷を平準化することができる。
(C)第3実施形態
図5は第3実施形態の一例としてのファイルサーバシステム1cの構成を模式的に示す図である。
本ファイルサーバシステム1cも、第1実施形態のファイルサーバシステム1aと同様に、演算指示にかかるジョブを複数の計算ノード30に分散して実行する分散処理システムである。
図5に示すように、第3実施形態のファイルサーバシステム1cは、第1実施形態の管理サーバ10aに代えて管理サーバ10cをそなえるとともに、記憶装置101にジョブ割り振り表102と読み書き転送量表103とをそなえる。
また、管理サーバ10cの負荷状態管理部11において、第1実施形態のジョブ数管理部111,データ転送量取得部112及び負荷指数算出部113をそなえる。
すなわち、本第3実施形態の一例としてのファイルサーバシステム1cは、負荷状態管理部11において、第1実施形態のジョブ数管理部111とデータ転送量取得部112との両方の機能をそなえ、各2次ファイルサーバ60に割り当てられているジョブ数と、各2次ファイルサーバ60における読み書き転送量とに基づいて、2次ファイルサーバ60の負荷状態を管理する。
なお、その他の部分は第1実施形態のファイルサーバシステム1aと同様に構成されている。
また、図中、既述の符号と同一の符号は同一もしくは略同一の部分を示しているので、その詳細な説明は省略する。
負荷指数算出部113は、複数の2次ファイルサーバ60のそれぞれについて、割り振られているジョブ数とデータ転送量とに基づいて負荷指数を算出する。具体的には、負荷指数算出部113は、以下の式(1)により、各2次ファイルサーバ60の負荷指数(LoadIndex(FSn))を算出する。
LoadIndex(FSn)=a×JobNum(FSn) + b×Traffic (FSn) ・・・(1)
ここで、JobNum(FSn) は、2次ファイルサーバ60に割り振られているジョブ数であり、ジョブ割り振り表102から取得することができる。
また、Traffic (FSn)は、2次ファイルサーバ60における読み書き転送量表103であり、読み書き転送量表103から取得、もしくは、データ転送量取得部112が2次ファイルサーバ60に対してデータ転送量の送信を要求するコマンドを送信することにより取得することができる。
a,bはそれぞれ荷重係数であり、ユーザや管理者が任意に設定することができる。すなわち、荷重係数aもしくはbに大きい値を設定することにより、ジョブ数と読み書き転送量とのうちいずれかを重視した2次ファイルサーバ60の割り振りを行なうことができる。
上述の如く構成された、第3実施形態の一例としてのファイルサーバシステム1cにおける2次ファイルサーバ60の割り振り処理を、図6に示すフローチャート(ステップA10〜A40)に従って説明する。
管理サーバ10cが計算ノード30にジョブの割り振りを行なうに際して、ジョブ数管理部111は、ジョブ割り振り表102を参照して、各2次ファイルサーバ60の割り振りジョブ数を取得し、この取得した割り振りジョブ数を、JobNum(FSn)に代入する(ステップA10)。
次に、データ転送量取得部112が、各2次ファイルサーバ60に対してデータ転送量の送信を要求するコマンドを送信することにより、各2次ファイルサーバ60から読み書き転送量を取得する。データ転送量取得部112は取得した各読み書き転送量を読み書き転送量表103に登録するとともに、取得した読み書き転送量をTraffic (FSn)に代入する(ステップA20)。
そして、負荷指数算出部113が、ステップA10において求めたJobNum(FSn)と、ステップA20において求めたTraffic (FSn)とを用いて、各2次ファイルサーバ60について、上記式(1)を用いて、負荷指数(2次ファイルサーバ負荷指数)LoadIndex(FSn)を算出する(ステップA30)。
選択部12は、ステップA30において算出した各2次ファイルサーバ60の負荷指数に基づき、負荷指数が最も小さい2次ファイルサーバ60を選択する。割当管理部13は、この選択部12によって選択された2次ファイルサーバ60にジョブを割り振る(ステップA40)。
このように、本第3実施形態の一例としてのファイルサーバシステム1cにおいては、
第1実施形態及び第2実施形態と同様の作用効果を得ることができる他、荷重係数a,bの値を適宜変更して設定することにより、ジョブ数と読み書き転送量とのうちいずれかを重視させて2次ファイルサーバ60の割り振りを行なうことができる。
(D)第1変形例
上述した第1〜3実施形態のファイルサーバシステム1a,1b,1cにおいて、計算ノード30におけるジョブの実行に際して、常に2次ファイルサーバ60を用いることが必ずしも共通ファイルサーバ20の負荷軽減になるとは限らない。
ジョブの実行を行なうために計算ノード30が2次ファイルサーバ60を用いる場合には、かかるジョブの前後に共通ファイルサーバ20と2次ファイルサーバ60との間で、作業ファイル以外の最終的な入力ファイルや出力ファイルを転送する必要が生じる。
従って、ジョブの処理中に計算ノード30から外部へのファイル読み書きが少ない場合は、このようなジョブの前後に行なう入力ファイルや出力ファイルの転送がかえって共通ファイルサーバ20の負荷となる場合がある。
すなわち、ジョブの処理中に計算ノード30から外部へのファイル読み書きが少ない場合には、計算ノード30が、直接、共通ファイルサーバ20を用いてジョブの処理を行なった方が、共通ファイルサーバ20と2次ファイルサーバ60との間でジョブの前後に入力ファイルや出力ファイルの転送を行なう必要がない。これにより、結果的に、共通ファイルサーバ20の負荷やネットワーク負荷を軽減できることになる。
つまり、処理中に計算ノード30から外部へのファイルアクセスが少ないジョブについては、あえて2次ファイルサーバ60を用いないようにすることで、共通ファイルサーバ20の負荷を軽減し、システム全体での効率を向上させることができる。
そこで、前述した第1〜第3の各実施形態において、2次ファイルサーバ60の使用の要否を判断する判断部(図示省略)をそなえ、この判断部が2次ファイルサーバ60の使用を必要と判断した場合に2次ファイルサーバ60を使用することが望ましい。
すなわち、本第1変形例においては、管理サーバ10a,10b,10cが計算ノード30にジョブの割り振りを行なう際に、判断部(図示省略)が、2次ファイルサーバ60の使用の要否の判定を行なう。
なお、以下、管理サーバ10a,10b,10cのうち任意の管理サーバを指すときには符号10を用いる。
具体的には、本第1変形例において、判断部は、図7に示すようなジョブ転送量記録表(データ転送発生履歴)に基づいて、2次ファイルサーバ60を使用するもしくは使用しないの判断を行なう。
図7は本第1変形例において用いるジョブ転送量記録表を例示する図である。このジョブ転送量記録表は、計算ノード30において実際にジョブを実行することによって取得された情報を記録したものであり、ジョブID,ユーザ名,グループ名,ジョブキュー名,入出力ファイルのサイズ及び実行中の読み書き転送量を項目としてそなえる。
ここで、ジョブIDは、ジョブを特定するための識別情報(Identification)であり、例えば管理サーバ10が任意に設定する。ユーザ名は、そのジョブにかかる演算指示を行なったユーザを特定する情報である。グループ名はユーザが所属するグループ(ユーザグループ)を特定する情報である。又、ジョブキュー名は、管理サーバ10においてジョブが登録されたキューを特定する情報である。又、ユーザ名,グループ名,ジョブキュー名は、ジョブに関する属性情報である。
入出力ファイルのサイズは、そのジョブの処理前後において共通ファイルサーバ20との間で送受信された入力ファイル及び出力ファイルのデータサイズである。
実行中の読み書き転送量は、そのジョブの処理中に、計算ノード30において発生した読み書き転送量(データ転送量)である。
ジョブ転送量記録表においては、処理された各ジョブについてのこれらの情報が順次、記録される。
判断部は、新たなジョブの処理を開始する度に、その処理対象のジョブのユーザ名に基づいて、ジョブ転送量記録表を参照し、同一のユーザ名にかかるデータ転送発生傾向を算出する。
具体的には、判断部は、ジョブ転送量記録表から同一のユーザ名にかかるデータエントリを抽出し、これらの抽出したデータエントリについて、入出力ファイルのサイズの総和(総量)と、実行中の読み書き転送量の総和(総量)とをそれぞれ算出する。
なお、これらの総量の算出は、ジョブ転送量記録表から抽出した全てのエントリに関して行なってもよく、又、ジョブ転送量記録表から抽出した全てのエントリのうち、予め規定した数(例えば、10個)のエントリに関して行なってもよい。なお、予め規定した数のデータエントリに関して、入出力ファイルのサイズの総量や実行中の読み書き転送量の総量を算出する場合には、例えば、最近に行なわれたジョブのエントリを優先して用いることが望ましい。
判断部は、以下の式(2)を用いて、判断基準値CompareIndexOfUserを算出する。
CompareIndexOfUser=[同一ユーザ名にかかる入出力ファイルのサイズの総量]
−[同一ユーザ名にかかる実行中の読み書き転送量の総量] ・・・(2)
そして、判断部は、算出したCompareIndexOfUser(入出力ファイルのサイズの総和)が0よりも大きい場合(CompareIndexOfUser>0)には2次ファイルサーバ60を使用しない。又、CompareIndexOfUser≦0の場合には、2次ファイルサーバ60を使用する旨の判断を行なう。
すなわち、判断部は、ジョブ実行時に、そのジョブに関するデータ転送発生傾向として、同一ユーザに関する、計算ノード30におけるジョブの実行中に生ずるファイルの読み書き転送量と、ジョブの割り振りにより生じる入出力ファイルの転送量との大小関係を調べる。その結果、計算ノード30におけるジョブの割り振りにより生じる入出力ファイルの転送量が、ジョブの実行中に生ずるファイルの読み書き転送量よりも多い場合に、2次ファイルサーバ60を使用しないことを決定する。そして、計算ノード30におけるジョブの割り振りにより生じる入出力ファイルの転送量が、ジョブの実行中に生ずるファイルの読み書き転送量以下の場合に、2次ファイルサーバ60の使用を決定する。
上述の如く構成された本第1変形例としてのファイルサーバシステムにおける、2次ファイルサーバ60の使用の要否の判断手法を、図8に示すフローチャート(ステップB10〜B40)に従って説明する。
管理サーバ10が計算ノード30にジョブの割り振りを行なうに際して、判断部は、ジョブ転送量記録表を参照して、処理対象のジョブと同一のユーザIDのエントリを所定数抽出し、これらのエントリにおいて、入出力ファイルのサイズの総和と、実行中の読み書き転送量の総和とをそれぞれ算出し、上記式(2)を用いてCompareIndexOfUserを算出する(ステップB10)。
そして、判断部は、この算出したCompareIndexOfUserが0よりも大きいか否かを判断し(ステップB20)、CompareIndexOfUserが0以下の場合には(ステップB20のFalseルート参照)、2次ファイルサーバ60を使用すると判断する(ステップB40)。
2次ファイルサーバ60を使用する場合には、割当管理部13は、前述した、(a)プログラム情報,(b)パラメータ,(c)入力データ情報及び(d)2次ファイルサーバ情報をそなえたジョブの実行指示を、計算ノード30に送信する。
一方、CompareIndexOfUserが0よりも大きい場合には(ステップB20のTrueルート参照)、2次ファイルサーバ60を使用しないと判断する(ステップB30)。
2次ファイルサーバ60を使用しない場合には、割当管理部13は、前述した、(a)プログラム情報,(b)パラメータ及び(c)入力データ情報をそなえたジョブの実行指示を、計算ノード30に送信する。すなわち、割当管理13は、計算ノード30に対するジョブの実行指示に(d)2次ファイルサーバ情報を含めないことにより、計算ノード30による2次ファイルサーバ60の使用を阻止する。
このように、第1変形例の一例としてのファイルサーバシステムによれば、上述した第1〜第3実施形態のファイルサーバシステム1a,1b,1cのいずれかの作用効果を得られる他、以下に示すような作用効果を得ることができる。
すなわち、判断部が、ジョブ実行時に、そのジョブに関するデータ転送発生傾向に基づいて、計算ノード30におけるジョブの割り振りにより生じる入出力ファイルの転送量が、ジョブの実行中に生ずるファイルの読み書き転送量よりも多い場合に、2次ファイルサーバ60を使用しないことを決定する。これにより、2次ファイルサーバ60を使用させるために生じる非効率的なファイル転送の発生を阻止することができ、ネットワーク42における不要なトラフィックの発生を抑止し、システムを効率的に運用することができる。
(E)第2変形例
上述した第1変形例においては、判断部が、新たなジョブの処理を開始する度に、その処理対象のジョブのユーザ名に基づいてジョブ転送量記録表を参照し、同一のユーザ名にかかるデータ転送発生傾向を算出しているが、これに限定されるものではない。すなわち、ジョブ転送量記録表におけるグループ名やジョブキュー名に基づいてジョブ転送量記録表を参照し、同一のグループ名やジョブキュー名にかかるデータ転送発生傾向を算出してもよい。
以下、第2変形例として、判断部が、ユーザ名,グループ名及びジョブキュー名に基づいて、データ転送傾向を求め、これらの情報に基づいて2次ファイルサーバ60の使用の要否を判断する手法を説明する。
本第2変形例においては、判断部は、先ず、ジョブ転送量記録表から同一のユーザ名にかかるデータエントリを抽出し、これらの抽出したデータエントリについて、入出力ファイルのサイズの総和(総量)と、実行中の読み書き転送量の総和(総量)とをそれぞれ算出する。
すなわち、判断部は、以下の式(3)を用いて、判断基準値CompareIndexOfUserを算出する。
CompareIndexOfUser={[同一ユーザ名にかかる入出力ファイルのサイズの総量]
−[同一ユーザ名にかかる実行中の読み書き転送量の総量]}
/同一ユーザ名のジョブ数 ・・・(3)
また、判断部は、ジョブ転送量記録表から同一のグループ名にかかるデータエントリを抽出し、これらの抽出したデータエントリについて、入出力ファイルのサイズの総和(総量)と、実行中の読み書き転送量の総和(総量)とをそれぞれ算出する。
すなわち、判断部は、以下の式(4)を用いて、判断基準値CompareIndexOfGroupを算出する。
CompareIndexOfGroup={[同一グループ名にかかる入出力ファイルのサイズの総量]
−[同一グループ名にかかる実行中の読み書き転送量の総量]}
/同一グループ名のジョブ数 ・・・(4)
さらに、判断部は、ジョブ転送量記録表から同一のジョブキュー名にかかるデータエントリを抽出し、これらの抽出したデータエントリについて、入出力ファイルのサイズの総和(総量)と、実行中の読み書き転送量の総和(総量)とをそれぞれ算出する。
すなわち、判断部は、以下の式(5)を用いて、判断基準値CompareIndexOfQueueを算出する。
CompareIndexOfQueue={[同一ジョブキュー名にかかる入出力ファイルのサイズの総量]−[同一ジョブキュー名にかかる実行中の読み書き転送量の総量]}/同一ジョブキュー名のジョブ数 ・・・(5)
なお、上記式(3)〜(5)において、ジョブ数による除算を行なっているのは、同一ユーザ名のジョブ数と、同一グループ名のジョブ数と、同一ジョブキュー名のジョブ数とが必ずしも等しくならないので、平均値を用いるためである。
また、これらの判断基準値の算出にかかる総量の算出は、ジョブ転送量記録表から抽出した全てのエントリに関して行なってもよく、又、ジョブ転送量記録表から抽出した全てのエントリのうち、予め規定した数(例えば、10個)のエントリに関して行なってもよい。なお、予め規定した数のデータエントリに関して、入出力ファイルのサイズの総量や実行中の読み書き転送量の総量を算出する場合には、例えば、最近に行なわれたジョブのエントリを優先して用いることが望ましい。
そして、判断部は、算出した判断基準値CompareIndexOfUser,CompareIndexOfGroup及びCompareIndexOfQueueに基づき、下記の式(6)により、比較基準値Aを求める。
比較基準値A=c×CompareIndexOfUser+d×CompareIndexOfGroup
+ e×CompareIndexOfQueue・・・(6)
なお、c,d,eはそれぞれ荷重係数であり、ユーザや管理者が任意に設定することができる。すなわち、荷重係数c,d,eに大きい値を設定することにより、ユーザ名,グループ名及びジョブキュー名のうちいずれかを重視した2次ファイルサーバ60の使用の要否の判断を行なうことができる。
判断部は、算出した比較基準値Aが0よりも大きい場合(比較基準値A>0)には2次ファイルサーバ60を使用しない。又、比較基準値A≦0の場合には、2次ファイルサーバ60を使用する旨の判断を行なう。
すなわち、判断部は、ジョブ実行時に、そのジョブに関するデータ転送発生傾向として、同一ユーザ、同一グループ及び同一ジョブキューのそれぞれに関して、計算ノード30におけるジョブの実行中に生ずるファイルの読み書き転送量と、ジョブの割り振りにより生じる入出力ファイルの転送量とに基づく判断基準値CompareIndexOfUser,CompareIndexOfGroup及びCompareIndexOfQueueを算出する。
そして、これらの判断基準値CompareIndexOfUser,CompareIndexOfGroup及びCompareIndexOfQueueに基づき、更に、比較基準値Aを算出し、この比較基準値が0よりも大きいか否かを判断することにより、2次ファイルサーバ60の使用の要否を決定する。
上述の如く構成された本第2変形例としてのファイルサーバシステムにおける、2次ファイルサーバ60の使用の要否の判断手法を、図9に示すフローチャート(ステップC10〜C60)に従って説明する。
判断部は、ジョブ転送量記録表から、当該ジョブのユーザの入出力ファイルのサイズの総量から実行中の読み書き転送量の総量を引いた値のジョブ当たり平均 CompareIndexOfUserを算出する(ステップC10)。
また、判断部は、ジョブ転送量記録表から、当該ジョブのグループの入出力ファイルのサイズの総量から実行中の読み書き転送量の総量を引いた値のジョブ当たり平均 CompareIndexOfGroupを算出する(ステップC20)。
さらに、判断部は、ジョブ転送量記録表から、当該ジョブのジョブキューの入出力ファイルのサイズの総量から実行中の読み書き転送量の総量を引いた値のジョブ当たり平均 CompareIndexOfQueueを算出する(ステップC30)。なお、これらのステップC10〜C30の処理順序はこれに限定されるものではなく、いずれのステップを先に行なってもよい。
その後、判断部は、各処理は、比較基準値Aを算出し、この算出した比較基準値が0よりも大きいか否かを判断する(ステップC40)。
そして、判断部は、この算出した比較基準値Aが0以下の場合には(ステップC40のFalseルート参照)、2次ファイルサーバ60を使用すると判断する(ステップC60)。又、比較基準値Aが0よりも大きい場合には(ステップC40のTrueルート参照)、2次ファイルサーバ60を使用しないと判断する(ステップC50)。
このように、第2変形例の一例としてのファイルサーバシステムによれば、上述した第1変形例と同様の作用効果を得ることができる。更に、ユーザ名,グループ名及びジョブキュー名の3種類の情報を考慮したデータ転送発生傾向に基づき、2次ファイルサーバ60の使用の要否を判断することができ、実際の運用に合った判断を行なうことができ、信頼性を向上させることができる。
なお、本変形例においては、必ずしも、ユーザ名,グループ名及びジョブキュー名の3種類の全てをデータ転送発生傾向の考慮に含める必要はなく、適宜変更して実施することが出来る。例えば、これらのユーザ名,グループ名及びジョブキュー名のうちいずれかを考慮しないデータ転送発生傾向を求める場合には、対応する荷重係数c,d,eの値を0にすればよい。
(F)第3変形例
上述した第2変形例において、比較基準値Aの算出に用いる荷重係数d,e,fはユーザや管理者が任意に設定することができる値である旨を示しているが、これに限定されるものではない。すなわち、これらの荷重係数d,e,fを、実際のジョブの処理結果に基づき、自動的に決定してもよい。
具体的には、本第3変形例においては、荷重係数d,e,fを以下の式(7)〜(9)により求める。
荷重係数d=σ(CompareIndexOfGroup)×σ(CompareIndexOfQueue)・・(7)
荷重係数e=σ(CompareIndexOfUser)×σ(CompareIndexOfQueue)・・(8)
荷重係数f=σ(CompareIndexOfUser)×σ(CompareIndexOfGroup)・・(9)
ここで、σ()は標準偏差を表し、例えば、σ(CompareIndexOfGroup)は、判断基準値CompareIndexOfGroupの標準偏差を表す。
すなわち、荷重係数d,e,fを各判断基準値の標準偏差を用いて算出することにより、属性情報毎のデータ転送発生傾向に対して、標準偏差に基づく重み付けを設定するのである。これにより、判断部は、属性情報毎のデータ転送発生傾向に対して、標準偏差に基づく重み付けを設定する重み付け設定部としての機能をそなえる。
これにより、各判断基準値の値のばらつき(標準偏差)を荷重係数d,e,fに反映させることができ、実際のジョブの処理結果に合わせたフィードバック制御を実現することができる。
(G)その他、
そして、開示の技術は上述した各実施形態及び各変形例に限定されるものではなく、これらの趣旨を逸脱しない範囲で種々変形して実施することができる。
例えば、ファイルアクセスが激しい特定のジョブがある場合には、この特定のジョブを処理するための専用の2次ファイルサーバ(特定用2次ファイルサーバ)をそなえ、割当管理部13は、かかる特定のジョブ以外のジョブにはこの特定用2次ファイルサーバを割り振らない。これにより、ファイルアクセスが激しい特定のジョブの処理を効率よく処理することができる。
この場合、かかる特定用2次ファイルサーバを使うジョブのために特定用のジョブキューを用意し、このジョブキューに投入されたジョブのみ特定用2次ファイルサーバを使うように設定することが望ましい。
また、特定用のジョブキューの過去一定期間のジョブ数から、特定用2次ファイルサーバの個数を動的に変化させてもよい。これにより、使われない2次ファイルサーバ60を少なくすることができ、2次ファイルサーバ60を効率的に運用することができる。
上述した負荷状態管理部11,ジョブ数管理部111,データ転送量取得部112,負荷指数算出部113,選択部12,割当管理部13及び判断部としての機能は、管理サーバ10a,10b,10cのCPUが管理プログラムを実行することにより実現される。
なお、これらの負荷状態管理部11,ジョブ数管理部111,データ転送量取得部112,負荷指数算出部113,選択部12,割当管理部13及び判断部としての機能を実現するためのプログラム(管理プログラム)は、例えばフレキシブルディスク,CD(CD−ROM,CD−R,CD−RW等),DVD(DVD−ROM,DVD−RAM,DVD−R,DVD+R,DVD−RW,DVD+RW,HD DVD等),ブルーレイディスク,磁気ディスク,光ディスク,光磁気ディスク等の、コンピュータ読取可能な記録媒体に記録された形態で提供される。そして、コンピュータはその記録媒体からプログラムを読み取って内部記憶装置または外部記憶装置に転送し格納して用いる。又、そのプログラムを、例えば磁気ディスク,光ディスク,光磁気ディスク等の記憶装置(記録媒体)に記録しておき、その記憶装置から通信経路を介してコンピュータに提供するようにしてもよい。
負荷状態管理部11,ジョブ数管理部111,データ転送量取得部112,負荷指数算出部113,選択部12,割当管理部13及び判断部としての機能を実現する際には、内部記憶装置(本実施形態では管理サーバ10a,10b,10cのRAMやROM)に格納されたプログラムがコンピュータのマイクロプロセッサ(本実施形態ではCPU)によって実行される。このとき、記録媒体に記録されたプログラムをコンピュータが読み取って実行するようにしてもよい。
なお、本実施形態において、コンピュータとは、ハードウェアとオペレーティングシステムとを含む概念であり、オペレーティングシステムの制御の下で動作するハードウェアを意味している。又、オペレーティングシステムが不要でアプリケーションプログラム単独でハードウェアを動作させるような場合には、そのハードウェア自体がコンピュータに相当する。ハードウェアは、少なくとも、CPU等のマイクロプロセッサと、記録媒体に記録されたコンピュータプログラムを読み取るための手段とをそなえており、本実施形態においては、管理サーバ10a,10b,10cがコンピュータとしての機能を有しているのである。
また、上述して各実施形態及び変形例において、管理サーバ10としての機能を複数のサーバコンピュータに分割して実現してもよく、適宜変形して実施することができる。
(H)付記
(付記1)
ファイルを用いてジョブを処理する複数の計算ノードと、
該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、
該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバと、
該2次ファイルサーバの負荷状態を管理する負荷状態管理部と、
処理対象のジョブの割当時に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択部と、
該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを割り当てる割当管理部とをそなえることを特徴とする、ファイルサーバシステム。
(付記2)
該負荷状態管理部が、該2次ファイルサーバに割り振られているジョブ数を管理するジョブ数管理部をそなえ、
該選択部が、割り振られているジョブ数が最も少ない該2次ファイルサーバを選択することを特徴とする、付記1記載のファイルサーバシステム。
(付記3)
該負荷状態管理部が、各2次ファイルサーバにおけるデータ転送量を取得するデータ転送量取得部をそなえ、
該選択部が、該データ転送量が最も少ない該2次ファイルサーバを選択することを特徴とする、付記1記載のファイルサーバシステム。
(付記4)
該負荷状態管理部が、
該2次ファイルサーバに割り振られているジョブ数を管理するジョブ数管理部と、
各2次ファイルサーバにおけるデータ転送量を取得するデータ転送量取得部と、
該複数の2次ファイルサーバのそれぞれについて、該割り振られているジョブ数と該データ転送量とに基づいて負荷指数を算出する負荷指数算出部とをそなえ、
該選択部が、負荷指数が最も小さい該2次ファイルサーバを選択することを特徴とする、付記1記載のファイルサーバシステム。
(付記5)
処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断部をそなえ、
該判断部が該2次ファイルサーバの使用を必要と判断した場合に、該選択部が該2次ファイルサーバの選択を行ない、該割当管理部が、該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを該割り当てることを特徴とする付記1〜付記4のいずれか1項に記載のファイルサーバシステム。
(付記6)
該判断部が、該ジョブに関する複数種類の属性情報毎に該データ転送発生傾向を取得し、これらの属性情報毎の該データ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断することを特徴とする、付記5記載のファイルサーバシステム。
(付記7)
該属性情報毎のデータ転送発生傾向に対して、標準偏差に基づく重み付けを設定する重み付け設定部をそなえることを特徴とする、付記6記載のファイルサーバシステム。
(付記8)
ファイルを用いてジョブを処理する複数の計算ノードと、
該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、
該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバとをそなえたファイルサーバシステムにおける該ジョブの処理方法であって、
該2次ファイルサーバの負荷状態を管理する負荷状態管理ステップと、
処理対象のジョブの割当時に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択ステップと、
該処理対象のジョブに対して、該選択ステップにおいて選択された該2次ファイルサーバを割り当てる割当ステップとをそなえることを特徴とする、処理方法。
(付記9)
該負荷状態管理ステップにおいて、該2次ファイルサーバに割り振られているジョブ数を管理するジョブ数管理ステップをそなえ、
該選択ステップにおいて、割り振られているジョブ数が最も少ない該2次ファイルサーバを選択することを特徴とする、付記8記載の処理方法。
(付記10)
該負荷状態管理ステップにおいて、各2次ファイルサーバにおけるデータ転送量を取得するデータ転送量取得ステップをそなえ、
該選択ステップにおいて、該データ転送量が最も少ない該2次ファイルサーバを選択することを特徴とする、付記8記載の処理方法。
(付記11)
該負荷状態管理ステップにおいて、
該2次ファイルサーバに割り振られているジョブ数を管理するジョブ数管理ステップと、
各2次ファイルサーバにおけるデータ転送量を取得するデータ転送量取得ステップと、
該複数の2次ファイルサーバのそれぞれについて、該割り振られているジョブ数と該データ転送量とに基づいて負荷指数を算出する負荷指数算出ステップとをそなえ、
該選択ステップにおいて、負荷指数が最も小さい該2次ファイルサーバを選択することを特徴とする、付記8記載の処理方法。
(付記12)
処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断ステップをそなえ、
該判断ステップにおいて該2次ファイルサーバの使用を必要と判断した場合に、該選択ステップにおいて該2次ファイルサーバの選択を行ない、該割当ステップにおいて、該処理対象のジョブに対して、該選択ステップにおいて選択された該2次ファイルサーバを該割り当てることを特徴とする付記8〜付記11のいずれか1項に記載の処理方法。
(付記13)
該判断ステップにおいて、該ジョブに関する複数種類の属性情報毎に該データ転送発生傾向を取得し、これらの属性情報毎の該データ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断することを特徴とする、付記12記載の処理方法。
(付記14)
該属性情報毎のデータ転送発生傾向に対して、標準偏差に基づく重み付けを設定する重み付け設定ステップをそなえることを特徴とする、付記13記載の処理方法。
(付記15)
ファイルを用いてジョブを処理する複数の計算ノードと、該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバとをそなえたファイルサーバシステムにおけるジョブの管理を行なう管理装置であって、
該2次ファイルサーバの負荷状態を管理する負荷状態管理部と、
処理対象のジョブの割当時に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択部と、
該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを割り当てる割当管理部とをそなえることを特徴とする、管理装置。
(付記16)
該負荷状態管理部が、該2次ファイルサーバに割り振られているジョブ数を管理するジョブ数管理部をそなえ、
該選択部が、割り振られているジョブ数が最も少ない該2次ファイルサーバを選択することを特徴とする、付記15記載の管理装置。
(付記17)
該負荷状態管理部が、各2次ファイルサーバにおけるデータ転送量を取得するデータ転送量取得部をそなえ、
該選択部が、該データ転送量が最も少ない該2次ファイルサーバを選択することを特徴とする、付記15記載の管理装置。
(付記18)
該負荷状態管理部が、
該2次ファイルサーバに割り振られているジョブ数を管理するジョブ数管理部と、
各2次ファイルサーバにおけるデータ転送量を取得するデータ転送量取得部と、
該複数の2次ファイルサーバのそれぞれについて、該割り振られているジョブ数と該データ転送量とに基づいて負荷指数を算出する負荷指数算出部とをそなえ、
該選択部が、負荷指数が最も小さい該2次ファイルサーバを選択することを特徴とする、付記15記載の管理装置。
(付記19)
処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断部をそなえ、
該判断部が該2次ファイルサーバの使用を必要と判断した場合に、該選択部が該2次ファイルサーバの選択を行ない、該割当管理部が、該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを該割り当てることを特徴とする付記15〜付記8のいずれか1項に記載の管理装置。
(付記20)
ファイルを用いてジョブを処理する複数の計算ノードと、該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバとをそなえたファイルサーバシステムにおけるジョブの管理機能をコンピュータに実行させるための管理プログラムであって、
該2次ファイルサーバの負荷状態を管理する負荷状態管理部と、
処理対象のジョブの割当時に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択部と、
該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを割り当てる割当管理部として、該コンピュータを機能させることを特徴とする、管理プログラム。
1a,1b,1c ファイルサーバシステム
10a,10b,10c 管理サーバ
11 負荷状態管理部
12 選択部
13 割当管理部
20 共通ファイルサーバ
30 計算ノード
40,41,42,43 ネットワーク
50 クライアントコンピュータ
60 2次ファイルサーバ
101 記憶装置
102 ジョブ割り振り表
103 読み書き転送量表
111 ジョブ数管理部
112 データ転送量取得部
113 負荷指数算出部

Claims (7)

  1. ファイルを用いてジョブを処理する複数の計算ノードと、該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバとをそなえたファイルサーバシステムにおけるジョブの管理を行なう管理装置であって、
    該2次ファイルサーバの負荷状態を管理する負荷状態管理部と、
    処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断部と、
    該判断部が該2次ファイルサーバの使用を必要と判断した場合に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択部と、
    該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを割り当てる割当管理部とをそなえることを特徴とする、管理装置。
  2. 該負荷状態管理部が、該2次ファイルサーバに割り振られているジョブ数を管理するジョブ数管理部をそなえ、
    該選択部が、割り振られているジョブ数が最も少ない該2次ファイルサーバを選択することを特徴とする、請求項1記載の管理装置。
  3. 該負荷状態管理部が、各2次ファイルサーバにおけるデータ転送量を取得するデータ転送量取得部をそなえ、
    該選択部が、該データ転送量が最も少ない該2次ファイルサーバを選択することを特徴とする、請求項1記載の管理装置。
  4. 該負荷状態管理部が、
    該2次ファイルサーバに割り振られているジョブ数を管理するジョブ数管理部と、
    各2次ファイルサーバにおけるデータ転送量を取得するデータ転送量取得部と、
    該複数の2次ファイルサーバのそれぞれについて、該割り振られているジョブ数と該データ転送量とに基づいて負荷指数を算出する負荷指数算出部とをそなえ、
    該選択部が、負荷指数が最も小さい該2次ファイルサーバを選択することを特徴とする、請求項1記載の管理装置
  5. ファイルを用いてジョブを処理する複数の計算ノードと、
    該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、
    該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバと、
    該2次ファイルサーバの負荷状態を管理する負荷状態管理部と、
    処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断部と、
    該判断部が該2次ファイルサーバの使用を必要と判断した場合に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択部と、
    該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを割り当てる割当管理部とをそなえることを特徴とする、ファイルサーバシステム。
  6. ファイルを用いてジョブを処理する複数の計算ノードと、
    該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、
    該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバとをそなえたファイルサーバシステムにおける該ジョブの処理方法であって、
    該2次ファイルサーバの負荷状態を管理する負荷状態管理ステップと、
    処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断ステップと、
    該判断ステップにおいて該2次ファイルサーバの使用を必要と判断された場合に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択ステップと、
    該処理対象のジョブに対して、該選択ステップにおいて選択された該2次ファイルサーバを割り当てる割当ステップとをそなえることを特徴とする、処理方法。
  7. ファイルを用いてジョブを処理する複数の計算ノードと、該ジョブに関する該ファイルを格納可能な1次ファイルサーバと、該一次ファイルサーバの該ファイルの一部を格納可能な複数の2次ファイルサーバとをそなえたファイルサーバシステムにおけるジョブの管理機能をコンピュータに実行させるための管理プログラムであって、
    該2次ファイルサーバの負荷状態を管理する負荷状態管理部と、
    処理対象のジョブの割当時に、ジョブ実行時の当該ジョブに関するデータ転送発生傾向に基づいて、該2次ファイルサーバの使用の要否を判断する判断部と、
    該判断部が該2次ファイルサーバの使用を必要と判断した場合に、該複数の2次ファイルサーバのうち最も軽負荷状態の該2次ファイルサーバを選択する選択部と、
    該処理対象のジョブに対して、該選択部によって選択された該2次ファイルサーバを割り当てる割当管理部として、該コンピュータを機能させることを特徴とする、管理プログラム。
JP2010182419A 2010-08-17 2010-08-17 管理装置,ファイルサーバシステム,処理方法及び管理プログラム Expired - Fee Related JP5556498B2 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2010182419A JP5556498B2 (ja) 2010-08-17 2010-08-17 管理装置,ファイルサーバシステム,処理方法及び管理プログラム
US13/207,527 US20120044532A1 (en) 2010-08-17 2011-08-11 Management device, file server system, execution method and management program

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2010182419A JP5556498B2 (ja) 2010-08-17 2010-08-17 管理装置,ファイルサーバシステム,処理方法及び管理プログラム

Publications (2)

Publication Number Publication Date
JP2012043098A JP2012043098A (ja) 2012-03-01
JP5556498B2 true JP5556498B2 (ja) 2014-07-23

Family

ID=45593858

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2010182419A Expired - Fee Related JP5556498B2 (ja) 2010-08-17 2010-08-17 管理装置,ファイルサーバシステム,処理方法及び管理プログラム

Country Status (2)

Country Link
US (1) US20120044532A1 (ja)
JP (1) JP5556498B2 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2014020795A1 (ja) * 2012-07-30 2014-02-06 日本電気株式会社 分散システム制御装置、プログラム、及び制御方法
JP2015119472A (ja) * 2013-11-18 2015-06-25 株式会社リコー 選択システム、通信管理システム、通信システム、プログラム、及び選択方法
WO2015078498A1 (en) * 2013-11-27 2015-06-04 Huawei Technologies Co., Ltd. Method and system for balancing load in a sdn network
US9576039B2 (en) * 2014-02-19 2017-02-21 Snowflake Computing Inc. Resource provisioning systems and methods
CN104579801B (zh) * 2015-02-10 2018-01-16 广州市品高软件股份有限公司 一种软件定义网络控制器集群的调度方法
JP2017102777A (ja) * 2015-12-03 2017-06-08 富士通株式会社 負荷分散処理サーバ、負荷分散処理方法、及び、システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000259591A (ja) * 1999-03-11 2000-09-22 Matsushita Electric Ind Co Ltd 分散処理ジョブ実行方法およびネットワークシステム
JP3463803B2 (ja) * 1999-11-09 2003-11-05 松下電器産業株式会社 クラスタサーバ装置
US20030128384A1 (en) * 2002-01-04 2003-07-10 Nelson Dean S. Dynamic load-balancing print server systems and methods
US7912954B1 (en) * 2003-06-27 2011-03-22 Oesterreicher Richard T System and method for digital media server load balancing
JP2007041720A (ja) * 2005-08-01 2007-02-15 Fujitsu Ltd ジョブステップ実行プログラムおよびジョブステップ実行方法
JP4763587B2 (ja) * 2006-12-11 2011-08-31 株式会社ソニー・コンピュータエンタテインメント キャッシュサーバ、キャッシュサーバの制御方法、プログラム及び情報記憶媒体
US20080184248A1 (en) * 2007-01-29 2008-07-31 Yahoo! Inc. Optimization of job scheduling for resource clusters with access control and usage reporting
KR20100033728A (ko) * 2008-09-22 2010-03-31 삼성전자주식회사 문서전송방법, 문서전송장치 및 문서전송시스템
JP5319237B2 (ja) * 2008-10-28 2013-10-16 キヤノン株式会社 印刷システム及びその制御方法
JP2011034164A (ja) * 2009-07-30 2011-02-17 Hitachi Ltd リモートコピーシステム及びリモートコピー制御方法
US8700773B2 (en) * 2009-12-07 2014-04-15 Microsoft Corporation Load balancing using redirect responses
US8578027B2 (en) * 2010-03-09 2013-11-05 Blackberry Limited Communications system providing server load balancing based upon load and separation metrics and related methods

Also Published As

Publication number Publication date
JP2012043098A (ja) 2012-03-01
US20120044532A1 (en) 2012-02-23

Similar Documents

Publication Publication Date Title
JP4737728B2 (ja) 情報処理装置及び情報処理システム
JP5556498B2 (ja) 管理装置,ファイルサーバシステム,処理方法及び管理プログラム
JP5902716B2 (ja) 大規模記憶システム
JP5244236B2 (ja) 計算機システム、方法、およびプログラム
JP6237318B2 (ja) 管理装置、業務負荷分散管理方法および業務負荷分散管理プログラム
US7933995B2 (en) Computer program and apparatus for controlling computing resources, and distributed processing system
JP4407431B2 (ja) 計算機システム及び計算機システムの帯域制御方法
KR20070011413A (ko) 네트워크를 통해 클라이언트로 액세스가능한 파일세트의네임스페이스를 유지하는 방법, 시스템 및 프로그램
JP2008537816A5 (ja)
JP4801761B2 (ja) データベース管理方法およびシステム並びにその処理プログラム
JP5609730B2 (ja) 情報処理プログラム及び方法、転送処理装置
JP5672386B2 (ja) 計算機およびリソース検索方法
JP2005310120A (ja) 計算機システム及びタスク割当方法
JP5445739B2 (ja) リソース割当装置、リソース割当方法、及びプログラム
JP5515889B2 (ja) 仮想マシンシステム、自動マイグレーション方法および自動マイグレーションプログラム
JP5810968B2 (ja) リソースキャパシティ予測装置、方法およびプログラム
JP2004046372A (ja) 分散処理システム、リソース割当方法およびプログラムならびにリソース割当プログラムが記録された記録媒体
KR100983479B1 (ko) 분산 스페이스를 이용하여 분산 프로그래밍 환경을 제공하기 위한 방법, 시스템 및 컴퓨터 판독 가능한 기록 매체
JP2009087213A (ja) 計算機余力算出装置、計算機余力算出方法
JP4594877B2 (ja) 計算機リソース割当管理方法および計算機リソース割当管理装置
JP5867499B2 (ja) 仮想サーバシステム、管理サーバ装置及びシステム管理方法
JP6374059B2 (ja) コンピュータ資源配分決定方法、コンピュータ資源配分決定方法プログラムおよび制御用コンピュータ
JP2006277530A (ja) 割当システム、割当装置、割当方法及びそのプログラム
JP6365027B2 (ja) 割り当てプログラム、割り当て装置、割り当てシステム、及び割り当て方法
JP5958111B2 (ja) ジョブ管理プログラム、ジョブ管理方法及びジョブ管理装置

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20130604

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20140212

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20140218

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20140411

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20140507

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20140520

R150 Certificate of patent or registration of utility model

Ref document number: 5556498

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150

LAPS Cancellation because of no payment of annual fees