JP5834092B2 - 計算機システム、分割ジョブ処理方法及びプログラム - Google Patents
計算機システム、分割ジョブ処理方法及びプログラム Download PDFInfo
- Publication number
- JP5834092B2 JP5834092B2 JP2013545656A JP2013545656A JP5834092B2 JP 5834092 B2 JP5834092 B2 JP 5834092B2 JP 2013545656 A JP2013545656 A JP 2013545656A JP 2013545656 A JP2013545656 A JP 2013545656A JP 5834092 B2 JP5834092 B2 JP 5834092B2
- Authority
- JP
- Japan
- Prior art keywords
- divided
- job
- execution
- computer
- jobs
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
- 238000003672 processing method Methods 0.000 title claims description 13
- 238000000034 method Methods 0.000 claims description 74
- 230000008569 process Effects 0.000 claims description 67
- 238000012545 processing Methods 0.000 claims description 62
- 238000005259 measurement Methods 0.000 claims description 36
- 238000012544 monitoring process Methods 0.000 claims description 28
- 230000006870 function Effects 0.000 claims description 14
- 230000004044 response Effects 0.000 claims description 10
- 230000003247 decreasing effect Effects 0.000 claims description 6
- 230000007423 decrease Effects 0.000 claims description 5
- 230000007704 transition Effects 0.000 claims description 5
- 230000005540 biological transmission Effects 0.000 claims 1
- 238000010586 diagram Methods 0.000 description 18
- 238000003860 storage Methods 0.000 description 9
- 230000004913 activation Effects 0.000 description 5
- 239000000284 extract Substances 0.000 description 2
- 230000008859 change Effects 0.000 description 1
- 239000003086 colorant Substances 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 229920006395 saturated elastomer Polymers 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5005—Allocation of resources, e.g. of the central processing unit [CPU] to service a request
- G06F9/5027—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals
- G06F9/505—Allocation of resources, e.g. of the central processing unit [CPU] to service a request the resource being a machine, e.g. CPUs, Servers, Terminals considering the load
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2209/00—Indexing scheme relating to G06F9/00
- G06F2209/50—Indexing scheme relating to G06F9/50
- G06F2209/5017—Task decomposition
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Debugging And Monitoring (AREA)
Description
各実行計算機14、16、18では、負荷状況測定部48が、負荷状況観測時間Tが来る毎に、スループット値を測定し、その測定結果の履歴を基に、多重度測定部46において、最も多くの分割ジョブを処理できる多重度を決定する。ジョブ要求部44は、多重度測定部46で決定された多重度と、実行されている分割ジョブ数との差を算出し、算出した差を、要求分割ジョブ数として分割ジョブ要求テーブル64に記録し、記録された分割ジョブ要求テーブル64の情報を管理計算機12のジョブスケジュール部38に送信する。ジョブ実行部50は、ジョブスケジュール部38から送信された分割ジョブを実行する。以下、具体的な内容について説明する。
管理計算機12では、グリッドジョブをジョブ入力部32が受け付けた後、データ分割部34でグリッドジョブを複数の分割ジョブに分割し、分割された分割ジョブをプログラムと関連付けてジョブ情報テーブル30に登録し、分割ジョブを作成する。ジョブスケジュール部38では、各実行計算機から分割ジョブの要求(ジョブ要求)がある毎に、ジョブ情報テーブル30を参照し、ジョブ要求があった実行計算機に対して、要求応答テーブル62を作成し、作成した要求応答テーブル62の内容に従ってスケジュールを実行する。
更に、本実施形態では、管理計算機12と、実行計算機14、16、18を物理計算機として用いる例について説明したが、本発明は、これらの全部又は一部を仮想計算機として、1台又は複数台の物理計算機に実装する構成にも適用することができる。
Claims (11)
- 複数の計算機のうち、データ量が均一な複数の分割データと当該分割データを処理するプログラムを含むジョブを複数の分割ジョブに分けて管理する管理計算機と、前記複数の分割ジョブのうち前記管理計算機により割り当てられる分割ジョブを実行する複数の実行計算機とを有する計算機システムにおいて、
前記各実行計算機は、
前記各実行計算機の負荷として、負荷状況観測時間毎に、単位時間当たりに処理できる分割ジョブの数を示すスループット値と、実行する分割ジョブの数を示す実行ジョブ数をそれぞれ測定し、前記測定したスループット値が、前回の負荷状況観測時間で測定されたスループット値よりも増加傾向にある場合には、前記各実行計算機が、同時に実行可能な分割ジョブの数を示す多重度であって、今回の多重度を、前回の負荷状況観測時間で決定した多重度よりも増加させた値であって、前記スループット値が最大値となる多重度よりも低い値に決定し、前記測定したスループット値が、前回の負荷状況観測時間で測定されたスループット値よりも減少傾向にある場合には、今回の多重度を、前回の負荷状況観測時間で決定した多重度よりも減少させた値であって、前記スループット値が最大値となる多重度よりも高い値に決定し、前記決定した多重度と前記測定した実行ジョブ数との差を算出し、前記算出した差を、要求分割ジョブ数とするジョブ要求を生成し、前記生成したジョブ要求を前記管理計算機に送信し、
前記管理計算機は、
前記ジョブ要求を前記各実行計算機から受信した場合、前記受信したジョブ要求に含まれる要求分割ジョブ数に応じた数の分割ジョブを前記各実行計算機に割り当てることを特徴とする計算機システム。 - 請求項1に記載の計算機システムであって、
前記各実行計算機は、
前記負荷として、前記分割ジョブの処理を実行するCPUが、単位時間当たりに処理できる分割ジョブの数を示すスループット値と、前記CPUが、少なくとも前記分割ジョブの処理を実行する際の使用率を示すCPU使用率と、前記CPUが、前記分割ジョブの処理を実行する際にメモリを使用する使用率を示すメモリ使用率と、前記CPUが、データ入出力処理を実行する際の使用率を示すI/O使用率のうち、少なくとも一つを測定することを特徴とする計算機システム。 - 請求項1に記載の計算機システムであって、
前記各実行計算機は、
前記負荷状況観測時間毎に測定したスループット値のうち最新のスループット値を前記ジョブ要求に付加し、
前記管理計算機は、
前記ジョブ要求に付加された最新のスループット値が、高い順に前記分割ジョブの割当先となる実行計算機を決定することを特徴とする計算機システム。 - 請求項1に記載の計算機システムであって、
前記各実行計算機は、
前記管理計算機から割り当てられた分割ジョブの実行を終了した場合、前記管理計算機に前記分割ジョブの終了通知を送信し、
前記管理計算機は、
前記分割ジョブの割当先となる実行計算機で、前記分割ジョブの実行が終了する終了予定時間と、前記いずれかの実行計算機に対する前記分割ジョブの割当ての有無を示すスケジュール状態を前記分割ジョブに対応づけて管理し、
前記各実行計算機から、前記終了予定時間までに、前記分割ジョブの終了通知を受信したことを条件に、前記スケジュール状態が、未割当を示す分割ジョブを前記分割ジョブの終了通知を送信した実行計算機に割り当て、
前記いずれかの実行計算機の中に、前記終了予定時間までに、前記分割ジョブの終了通知を送信できない実行計算機が存在する場合、当該実行計算機に割り当てるべき分割ジョブを、前記終了予定時間までに、前記分割ジョブの終了通知を送信した実行計算機に割り当てることを特徴とする計算機システム。 - 請求項1に記載の計算機システムであって、
前記各実行計算機は、
前記管理計算機から割り当てられた分割ジョブを実行する過程で、前記測定した実行ジョブ数の推移を、前記分割ジョブを実行する実行時間に対応づけて監視画面上に表示すると共に、前記算出した要求分割ジョブ数と、前記測定したスループット値を前記各実行計算機に対応づけて前記監視画面上に表示することを特徴とする計算機システム。 - 複数の計算機のうち、データ量が均一な複数の分割データと当該分割データを処理するプログラムを含むジョブを複数の分割ジョブに分けて管理する管理計算機と、前記複数の分割ジョブのうち前記管理計算機により割り当てられる分割ジョブを実行する複数の計算機とを有する計算機システムにおける分割ジョブ処理方法において、
前記各実行計算機が、前記各実行計算機の負荷として、負荷状況観測時間毎に、単位時間当たりに処理できる分割ジョブの数を示すスループット値と、実行する分割ジョブの数を示す実行ジョブ数をそれぞれ測定する測定ステップと、
前記各実行計算機が、前記測定したスループット値が、前回の負荷状況観測時間で測定されたスループット値よりも増加傾向にある場合には、前記各実行計算機が、同時に実行可能な分割ジョブの数を示す多重度であって、今回の多重度を、前回の負荷状況観測時間で決定した多重度よりも増加させた値であって、前記スループット値が最大値となる多重度よりも低い値に決定し、前記測定したスループット値が、前回の負荷状況観測時間で測定されたスループット値よりも減少傾向にある場合には、今回の多重度を、前回の負荷状況観測時間で決定した多重度よりも減少させた値であって、前記スループット値が最大値となる多重度よりも高い値に決定する決定ステップと、
前記各実行計算機が、前記決定した多重度と前記測定した実行ジョブ数との差を算出し、前記算出した差を、要求分割ジョブ数とするジョブ要求を生成する生成ステップと、
前記各実行計算機が、前記生成したジョブ要求を前記管理計算機に送信する送信ステップと、
前記管理計算機が、前記ジョブ要求を前記各実行計算機から受信した場合、前記受信したジョブ要求に含まれる要求分割ジョブ数に応じた数の分割ジョブを前記各実行計算機に割り当てる割当てステップと、を含むことを特徴とする分割ジョブ処理方法。 - 請求項6に記載の分割ジョブ処理方法であって、
前記各実行計算機は、
前記生成ステップでは、前記負荷として、前記分割ジョブの処理を実行するCPUが、単位時間当たりに処理できる分割ジョブの数を示すスループット値と、前記CPUが、少なくとも前記分割ジョブの処理を実行する際の使用率を示すCPU使用率と、前記CPUが、前記分割ジョブの処理を実行する際にメモリを使用する使用率を示すメモリ使用率と、前記CPUが、データ入出力処理を実行する際の使用率を示すI/O使用率のうち、少なくとも一つを測定することを特徴とする分割ジョブ処理方法。 - 請求項6に記載の分割ジョブ処理方法であって、
前記各実行計算機は、
前記生成ステップでは、前記負荷状況観測時間毎に測定したスループット値のうち最新のスループット値を前記ジョブ要求に付加し、
前記管理計算機は、
前記割当てステップでは、前記ジョブ要求に付加された最新のスループット値が、高い順に前記分割ジョブの割当先となる実行計算機を決定することを特徴とする分割ジョブ処理方法。 - 請求項6に記載の分割ジョブ処理方法であって、
前記各実行計算機は、
前記送信ステップでは、前記管理計算機から割り当てられた分割ジョブの実行を終了した場合、前記管理計算機に前記分割ジョブの終了通知を送信し、
前記管理計算機は、
前記割当てステップでは、前記分割ジョブの割当先となる実行計算機で、前記分割ジョブの実行が終了する終了予定時間と、前記いずれかの実行計算機に対する前記分割ジョブの割当ての有無を示すスケジュール状態を前記分割ジョブに対応づけて管理し、
前記各実行計算機から、前記終了予定時間までに、前記分割ジョブの終了通知を受信したことを条件に、前記スケジュール状態が、未割当を示す分割ジョブを前記分割ジョブの終了通知を送信した実行計算機に割り当て、
前記いずれかの実行計算機の中に、前記終了予定時間までに、前記分割ジョブの終了通知を送信できない実行計算機が存在する場合、当該実行計算機に割り当てるべき分割ジョブを、前記終了予定時間までに、前記分割ジョブの終了通知を送信した実行計算機に割り当てることを特徴とする分割ジョブ処理方法。 - 請求項6に記載の分割ジョブ処理方法であって、
前記各実行計算機が、前記管理計算機から割り当てられた分割ジョブを実行する過程で、前記測定した実行ジョブ数の推移を、前記分割ジョブを実行する実行時間に対応づけて監視画面上に表示すると共に、前記算出した要求分割ジョブ数と、前記測定したスループット値を前記各実行計算機に対応づけて前記監視画面上に表示するステップを含むことを特徴とする分割ジョブ処理方法。 - データ量が均一な複数の分割データと当該分割データを処理するプログラムを含むジョブを複数の分割ジョブに分けて管理する管理計算機から割り当てられる分割ジョブを実行する複数の実行計算機に、
前記各実行計算機の負荷として、負荷状況観測時間毎に、単位時間当たりに処理できる分割ジョブの数を示すスループット値と、実行する分割ジョブの数を示す実行ジョブ数をそれぞれ測定する機能と、
前記測定したスループット値が、前回の負荷状況観測時間で測定されたスループット値よりも増加傾向にある場合には、前記各実行計算機が、同時に実行可能な分割ジョブの数を示す多重度であって、今回の多重度を、前回の負荷状況観測時間で決定した多重度よりも増加させた値であって、前記スループット値が最大値となる多重度よりも低い値に決定し、前記測定したスループット値が、前回の負荷状況観測時間で測定されたスループット値よりも減少傾向にある場合には、今回の多重度を、前回の負荷状況観測時間で決定した多重度よりも減少させた値であって、前記スループット値が最大値となる多重度よりも高い値に決定する機能と、
前記決定した多重度と前記測定した実行ジョブ数との差を算出し、前記算出した差を、要求分割ジョブ数とするジョブ要求を生成する機能と、
前記生成したジョブ要求を前記管理計算機に送信する機能と、
前記ジョブ要求に応じて前記管理計算機から割り当てられた分割ジョブを実行する機能と、
を実現させるためのプログラム。
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2011/006549 WO2013076775A1 (ja) | 2011-11-24 | 2011-11-24 | 計算機システム、分割ジョブ処理方法及びプログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPWO2013076775A1 JPWO2013076775A1 (ja) | 2015-04-27 |
JP5834092B2 true JP5834092B2 (ja) | 2015-12-16 |
Family
ID=48469260
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2013545656A Expired - Fee Related JP5834092B2 (ja) | 2011-11-24 | 2011-11-24 | 計算機システム、分割ジョブ処理方法及びプログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US9244721B2 (ja) |
JP (1) | JP5834092B2 (ja) |
WO (1) | WO2013076775A1 (ja) |
Families Citing this family (12)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
IN2013MU02180A (ja) * | 2013-06-27 | 2015-06-12 | Tata Consultancy Services Ltd | |
CN103905337B (zh) * | 2014-03-31 | 2018-01-23 | 华为技术有限公司 | 一种网络资源的处理装置、方法和系统 |
US20160054779A1 (en) | 2014-08-22 | 2016-02-25 | Devadatta Bodas | Managing power performance of distributed computing systems |
US9552229B2 (en) * | 2015-05-14 | 2017-01-24 | Atlassian Pty Ltd | Systems and methods for task scheduling |
WO2017006465A1 (ja) * | 2015-07-08 | 2017-01-12 | 株式会社日立製作所 | ジョブ管理システム及びジョブ管理方法 |
US10275287B2 (en) | 2016-06-07 | 2019-04-30 | Oracle International Corporation | Concurrent distributed graph processing system with self-balance |
US10296380B1 (en) * | 2016-09-19 | 2019-05-21 | Amazon Technologies, Inc. | Distributed computing with adaptive parallelization |
US10318355B2 (en) | 2017-01-24 | 2019-06-11 | Oracle International Corporation | Distributed graph processing system featuring interactive remote control mechanism including task cancellation |
US10534657B2 (en) | 2017-05-30 | 2020-01-14 | Oracle International Corporation | Distributed graph processing system that adopts a faster data loading technique that requires low degree of communication |
US10990595B2 (en) | 2018-05-18 | 2021-04-27 | Oracle International Corporation | Fast distributed graph query engine |
JP6773755B2 (ja) * | 2018-12-13 | 2020-10-21 | 株式会社日立製作所 | ストレージ装置及びストレージ装置における構成管理リクエストの処理方法 |
US11461130B2 (en) | 2020-05-26 | 2022-10-04 | Oracle International Corporation | Methodology for fast and seamless task cancelation and error handling in distributed processing of large graph data |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JPS57757A (en) * | 1980-06-04 | 1982-01-05 | Hitachi Ltd | Job execution schedule system |
JPH0713817B2 (ja) | 1990-03-13 | 1995-02-15 | 工業技術院長 | 疎結合並列計算機における負荷の動的均等化方法 |
JPH06348663A (ja) * | 1993-06-14 | 1994-12-22 | Fuji Xerox Co Ltd | ネットワーク |
JP3882315B2 (ja) | 1998-02-10 | 2007-02-14 | 富士通株式会社 | 負荷分散システム |
JP2001160040A (ja) * | 1999-12-01 | 2001-06-12 | Nec Corp | サーバ多重度制御装置、サーバ多重度制御方法およびサーバ多重度制御プログラムを記録した記録媒体 |
JP4034312B2 (ja) | 2003-03-24 | 2008-01-16 | 富士通株式会社 | 分散処理制御装置、分散処理制御方法および分散処理制御プログラム |
JP2005031771A (ja) | 2003-07-08 | 2005-02-03 | Hitachi Ltd | ジョブスケジューリング管理方法及びシステム並びにプログラム |
US7650331B1 (en) | 2004-06-18 | 2010-01-19 | Google Inc. | System and method for efficient large-scale data processing |
JP4170302B2 (ja) * | 2005-03-10 | 2008-10-22 | 富士通株式会社 | 負荷制御装置および負荷制御プログラム |
JP4571576B2 (ja) | 2005-11-24 | 2010-10-27 | 株式会社日立製作所 | リモートコピー記憶装置システムおよびリモートコピー方法 |
JP4797095B2 (ja) | 2009-07-24 | 2011-10-19 | 株式会社日立製作所 | バッチ処理多重化方法 |
-
2011
- 2011-11-24 JP JP2013545656A patent/JP5834092B2/ja not_active Expired - Fee Related
- 2011-11-24 WO PCT/JP2011/006549 patent/WO2013076775A1/ja active Application Filing
- 2011-11-24 US US14/360,429 patent/US9244721B2/en not_active Expired - Fee Related
Also Published As
Publication number | Publication date |
---|---|
JPWO2013076775A1 (ja) | 2015-04-27 |
US9244721B2 (en) | 2016-01-26 |
US20140317635A1 (en) | 2014-10-23 |
WO2013076775A1 (ja) | 2013-05-30 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5834092B2 (ja) | 計算機システム、分割ジョブ処理方法及びプログラム | |
US10733026B2 (en) | Automated workflow selection | |
US9703285B2 (en) | Fair share scheduling for mixed clusters with multiple resources | |
CN106020966B (zh) | 用于将任务智能地分布于多个劳动资源间的系统和方法 | |
US9092266B2 (en) | Scalable scheduling for distributed data processing | |
US7668703B1 (en) | Determining required capacity for a resource | |
JP2014532946A (ja) | クラスタに依頼されたタスクを実行するために前記クラスタのコンピュータ資源を割り当てるための方法、コンピュータプログラム、およびデバイス | |
KR20170029263A (ko) | 부하 분산 장치 및 방법 | |
US11467874B2 (en) | System and method for resource management | |
JP2007299401A (ja) | 個々のユーザの資源使用量およびその使用量の追跡に基づいた公平な共用分のスケジューリングを行う方法およびシステム | |
US11496413B2 (en) | Allocating cloud computing resources in a cloud computing environment based on user predictability | |
US8103486B1 (en) | Determining feasible variations for assigning applications to resources | |
JP2014032674A (ja) | 仮想マシンのリソース配置システム及びその方法 | |
JP2009176097A (ja) | サービス管理装置及びプログラム | |
JP2011186701A (ja) | リソース割当装置、リソース割当方法、およびリソース割当プログラム | |
JP2014191594A (ja) | 分散処理システム | |
JP6924083B2 (ja) | 情報処理システムおよびリソース割り当て方法 | |
JP2015108878A (ja) | 割当判定装置、制御方法、及びプログラム | |
JP5879117B2 (ja) | 情報処理システムおよび運用管理方法 | |
Wu et al. | QoS oriented resource reservation in shared environments | |
JP6303806B2 (ja) | 並列計算機システム,プロセス制御プログラム,及び並列計算機システムの制御方法 | |
WO2013140412A1 (en) | A method and system for distributed computing of jobs | |
US20090320020A1 (en) | Method and System for Optimising A Virtualisation Environment | |
JP6374059B2 (ja) | コンピュータ資源配分決定方法、コンピュータ資源配分決定方法プログラムおよび制御用コンピュータ | |
JP5006837B2 (ja) | 使用量予測システム、使用量予測方法及び使用量予測プログラム |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20150507 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20150626 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20151020 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20151030 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 5834092 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
LAPS | Cancellation because of no payment of annual fees |