JP6349837B2 - スケジューラ装置及びそのスケジューリング方法、演算処理システム、並びにコンピュータ・プログラム - Google Patents
スケジューラ装置及びそのスケジューリング方法、演算処理システム、並びにコンピュータ・プログラム Download PDFInfo
- Publication number
- JP6349837B2 JP6349837B2 JP2014062062A JP2014062062A JP6349837B2 JP 6349837 B2 JP6349837 B2 JP 6349837B2 JP 2014062062 A JP2014062062 A JP 2014062062A JP 2014062062 A JP2014062062 A JP 2014062062A JP 6349837 B2 JP6349837 B2 JP 6349837B2
- Authority
- JP
- Japan
- Prior art keywords
- request
- stage
- job
- information
- map
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Landscapes
- Management, Administration, Business Operations System, And Electronic Commerce (AREA)
Description
を備える。
ジョブを構成するリクエストが必要とするノード数と実行時間とを含むリクエスト情報を記憶し、前記ジョブを対象に、前記リクエストを解析することによって、前記ノード数と前記実行時間とを含む要件情報を求めると共に、前記ジョブがワークフローを構成するリクエストを含むWF(Work Flow ;ワークフロー)ジョブか否かを判別し、前記WFジョブであると判別した場合には、前記リクエストの実行が他の前記リクエストの終了の後に開始できることを表す依存性を解析することにより前記ワークフローの段と、その段の順序関係に関する情報とを含む段情報を求める解析し、前記ジョブが前記WFジョブと種類の異なる他のジョブの場合に、前記要件情報に基づきリクエストマップを作成する第1のマッピング処理を実行するマップ演算手順と、前記ジョブが前記WFジョブの場合には、前記要件情報と前記段情報とに基づき第2のマッピング処理を実行し前記リクエストマップを作成し、前記マップ演算手段が前記リクエストマップの空き空間を検出して、前記依存性に基づいて前記空き空間に前記他の前記リクエストをマッピングするバックフィル処理を実行する。
図1は、本発明の第1の実施形態におけるスケジューラ装置1の構成を示すブロック図である。
・段毎に、その段に含まれるWFリクエストを識別可能なリクエスト識別子(Identification:以降、「ID」と称する)、
・段に含まれる複数のWFリクエストのうち、同時に実行する必要のあるWFリクエストのリクエストID及び
・各段に含まれるWFリクエストの処理が開始される時刻(第1の開始時刻)までに処理が終了していなければならないWFリクエストのリクエストIDを示す情報である。即ち、段毎の第1の開始時刻までに終了する必要のあるWFリクエストのリクエストIDを示す情報である。
解析部2は、通常ジョブを構成する1つ以上の通常リクエスト、またはWFジョブを構成する1つ以上のWFリクエストが入力されるのに応じて、そのリクエストを解析することによって、当該リクエストが必要とするノード数や実行時間などの要件を示す要件情報を取得する。
解析部2は、入力されたリクエストを解析した結果、WFジョブか否かを判別する。
解析部2は、WFジョブか否かを判別した結果、WFジョブであると判別した場合に、処理をステップS6に進める。
解析部2は、WFジョブか否かを判別した結果、WFジョブでないと判別した場合に、処理をステップS3に進める。即ち、解析部2は、入力されたリクエストが通常ジョブであると判別した場合に、処理をステップS3に進める。
解析部2は、取得した要件情報を、マップ演算部4に対して与える。
マップ演算部4は、解析部2から得た要件情報に基づいて、マッピング処理を実行する。
リクエスト管理部3は、マップ演算部4からの要求に応じて、リクエストマップを更新する。
解析部2は、WFジョブを構成する1つ以上のWFリクエストにおける依存性を解析することによって、WFの段と、その段の順序関係に関する情報とを含む段情報を取得する。
解析部2は、取得した要件情報と段情報とを、WF段管理部5に対して与える。
WF段管理部5は、解析部2から得た要件情報及び段情報を記憶する。また、WF段管理部5は、要件情報及び段情報に基づいて、第2のマッピング処理を実行する。WF段管理部5は、マッピングを行った結果に基づきリクエストマップを更新するようリクエスト管理部3に対して要求する。そして、WF段管理部5は、マッピングを行った結果に基づいて、段毎に、第1の開始時刻を記憶する。
WF段管理部5は、先頭の段から順に、マップ演算部4を用いてリクエスト管理部3に記憶されたリクエストマップに基づきバックフィル処理を実行する。
WF段管理部5は、要件情報、段情報及び段毎の第1の開始時刻を、マップ演算部4に対して与える。
マップ演算部4は、WF段管理部5から得た要件情報、段情報及び段毎の第1の開始時刻に基づいて、リクエスト管理部3に記憶された現在のリクエストマップを参照する。マップ演算部4は、段毎に、リクエストマップの中から要件情報と段情報とを満たす空き空間を検索する。
マップ演算部4は、要件を満たす空き空間を、リクエストマップの中から検索した結果、空き空間の有無を判別する。
マップ演算部4は、要件を満たす空き空間を、リクエストマップの中から検索した結果、空き空間があると判別する場合に、処理をステップS24に進める。
マップ演算部4は、要件を満たす空き空間を、リクエストマップの中から検索した結果、空き空間がないと判別する場合に、処理をステップS22に戻す。
マップ演算部4は、要件を満たす空き空間に、WFリクエストをマッピングする。
マップ演算部4は、マッピングを行った結果に基づき現在のリクエストマップを更新するようリクエスト管理部3に対して要求する。また、マップ演算部4は、マッピングにより変更となったWFリクエストの開始時刻を、そのリクエストを含む段の第1の開始時刻として更新する。
次に、上述した本発明の第1の実施形態に係るスケジューラ装置1を基本とする第2の実施形態について説明する。以下の説明においては、本実施形態に係る特徴的な部分を中心に説明する。その際、上述した各実施形態と同様な構成については、同一の参照番号を付すことにより、重複する説明は省略する。
監視部13は、計算装置22において実行される通常ジョブまたはWFジョブの状態を監視する。即ち、監視部13は、計算装置22において実行される通常ジョブまたはWFジョブを構成する特定のリクエストの終了、またはキャンセルが発生したか否かを判別する。
監視部13は、判別した結果、特定のリクエストの終了、またはキャンセルが発生したと判別する場合に、終了またはキャンセルが発生したことを示す通知を、リクエスト管理部11及びWF段管理部12に対して発行する。また、監視部13は、処理をステップS32に進める。
監視部13は、判別した結果、特定のリクエストの終了、またはキャンセルが発生していないと判別する場合に、処理をステップS31に戻す。即ち、監視部13は、監視を継続する。
リクエスト管理部11は、監視部13から通知を受信する。リクエスト管理部11は、受信した通知に基づき、削除すべき特定のリクエストをリクエストマップから削除する。即ち、リクエスト管理部11は、特定のリクエストをリクエストマップから削除することによって、当該リクエストマップを更新する。
WF段管理部12は、監視部13から通知を受信する。WF段管理部12は、監視部13から通知を受信するのに応じて、マップ演算部4を用いてバックフィル処理を実行する。
上述した実施形態において図面に示した各部は、ソフトウェアプログラムの機能(処理)単位(ソフトウェアモジュール)と捉えることができる。これらの各ソフトウェアモジュールは、専用のハードウェアによって実現してもよい。但し、これらの図面に示した各部の区分けは、説明の便宜上の構成であり、実装に際しては、様々な構成が想定されうる。この場合のハードウェア環境の一例を、図15を参照して説明する。
2 解析部
3 リクエスト管理部
4 マップ演算部
5 WF段管理部
10 スケジューラ装置
11 リクエスト管理部
12 WF段管理部
13 監視部
20 演算処理システム
21 クライアント装置
22 計算装置
110 通信ネットワーク
300 情報処理装置
301 CPU
302 ROM
303 RAM
304 ハードディスク
305 通信インタフェース
306 バス
307 記憶媒体
308 リーダライタ
Claims (9)
- ジョブを構成するリクエストが必要とするノード数と実行時間とを含むリクエスト情報を記憶するリクエスト管理手段と、
前記ジョブを対象に、前記リクエストを解析することによって、前記ノード数と前記実行時間とを含む要件情報を求めると共に、前記ジョブがワークフローを構成するリクエストを含むWF(Work Flow ;ワークフロー)ジョブか否かを判別し、前記WFジョブであると判別した場合には、前記リクエストの実行が他の前記リクエストの終了の後に開始できることを表す依存性を解析することにより前記ワークフローの段と、その段の順序関係に関する情報とを含む段情報を求める解析手段と、
前記ジョブが前記WFジョブと種類の異なる他のジョブの場合に、前記要件情報に基づきリクエストマップを作成する第1のマッピング処理を実行するマップ演算手段と、
前記ジョブが前記WFジョブの場合には、前記要件情報と前記段情報とに基づき第2のマッピング処理を実行し前記リクエストマップを作成し、前記マップ演算手段が前記リクエストマップの空き空間を検出して、前記依存性に基づいて前記空き空間に前記他の前記リクエストをマッピングするバックフィル処理を実行するWF段管理手段と、
を備えることを特徴とするスケジューラ装置。 - 前記WF段管理手段は、前記第2のマッピング処理として、
前記段毎に、既にマッピングされているリクエストのうち、最後に終了するリクエストの終了予想時刻以降となるように前記リクエストをマッピングすると共に、そのマッピング結果を前記リクエスト管理手段に対して前記リクエスト情報に記憶するよう制御し、前記段毎に、その段に含まれるリクエストのうち、最初に開始されるリクエストの第1の開始時刻を記憶する
ことを特徴とする請求項1に記載のスケジューラ装置。 - 前記WF段管理手段は、前記バックフィル処理として、
前記要件情報、前記段情報及び前記第1の開始時刻に基づき前記マップ演算手段に対して前記バックフィル処理を実行するよう制御し
前記マップ演算手段は、
前記制御に応じて、前記要件情報、前記段情報及び前記第1の開始時刻に基づき前記リクエスト情報を参照すると共に、前記リクエスト情報の中から要件を満たす空き空間を検索し、前記要件を満たす空き空間がある場合には、前記段毎に、前記リクエストをマッピングし、そのマッピング結果に基づき前記リクエスト管理手段に対して前記リクエスト情報に記憶するよう制御すると共に前記第1の開始時刻を更新する
ことを特徴とする請求項2に記載のスケジューラ装置。 - 前記段情報は、
1つ以上の前記リクエストにおける依存性により区分けされたWFの前記段と、それぞれの段に含まれるリクエストを識別可能なリクエストIDと、段毎の前記第1の開始時刻までに終了する必要のあるリクエストのリクエストIDと、前記段に含まれるリクエストのうち、同時に実行が必要となるリクエストのリクエストIDとを含む
ことを特徴とする請求項1乃至請求項3の何れかに記載のスケジューラ装置。 - 1つ以上の前記リクエストのうち、特定のリクエストの終了またはキャンセルの発生を検出するのに応じて、前記WF段管理手段及びリクエスト管理手段に対して通知する監視手段を、さらに備え、
前記リクエスト管理手段は、
前記通知を受信するのに応じて、前記特定のリクエストを前記リクエスト情報から削除することにより該リクエスト情報を更新し、
前記WF段管理手段は、
前記通知を受信するのに応じて、前記要件情報、前記段情報及び前記第1の開始時刻に基づき前記マップ演算処理手段に対して前記バックフィル処理を実行するよう制御する
ことを特徴とする請求項1乃至請求項4の何れかに記載のスケジューラ装置。 - 前記マップ演算手段は、前記第1のマッピング処理として、
前記要件情報に基づいて、前記リクエスト情報を参照すると共に、前記リクエスト情報の中から要件を満たす前記リクエストマップでの空き空間を検索し、前記要件を満たす空き空間に前記リクエストをマッピングすると共に、そのマッピング結果に基づき前記リクエスト管理手段に対して前記リクエスト情報に記憶するよう制御する
ことを特徴とする請求項1に記載のスケジューラ装置。 - 請求項1乃至請求項6の何れかに記載されたスケジューラ装置と、前記スケジューラ装置と通信ネットワークを介して通信可能に接続する前記ジョブを入力可能なクライアント装置と、前記ジョブを実行可能な計算装置とを備え、
前記リクエスト管理手段は、
前記リクエストに設定された開始時刻が現在の時刻に達した場合に、該リクエストに基づき処理を実行するよう前記計算装置を制御する
ことを特徴とする演算処理システム。 - 情報処理装置によって、
ジョブを構成するリクエストが必要とするノード数と実行時間とを含むリクエスト情報を記憶し、
前記ジョブを対象に、前記リクエストを解析することによって、前記ノード数と前記実行時間とを含む要件情報を求めると共に、前記ジョブがワークフローを構成するリクエストを含むWF(Work Flow ;ワークフロー)ジョブか否かを判別し、前記WFジョブであると判別した場合には、前記リクエストの実行が他の前記リクエストの終了の後に開始できることを表す依存性を解析することにより前記ワークフローの段と、その段の順序関係に関する情報とを含む段情報を求め、
前記ジョブが前記WFジョブと種類の異なる他のジョブの場合に、前記要件情報に基づきリクエストマップを作成する第1のマッピング処理を実行するマップ演算手順と、
前記ジョブが前記WFジョブの場合には、前記要件情報と前記段情報とに基づき第2のマッピング処理を実行し前記リクエストマップを作成し、前記マップ演算手段が前記リクエストマップの空き空間を検出して、前記依存性に基づいて前記空き空間に前記他の前記リクエストをマッピングするバックフィル処理を実行する、
ことを特徴とするスケジューリング方法。 - ジョブを構成するリクエストが必要とするノード数と実行時間とを含むリクエスト情報を記憶するリクエスト管理機能と、
前記ジョブを対象に、前記リクエストを解析することによって、前記ノード数と前記実行時間とを含む要件情報を求めると共に、前記ジョブがワークフローを構成するリクエストを含むWF(Work Flow ;ワークフロー)ジョブか否かを判別し、前記WFジョブであると判別した場合には、前記リクエストの実行が他の前記リクエストの終了の後に開始できることを表す依存性を解析することにより前記ワークフローの段と、その段の順序関係に関する情報とを含む段情報を求める解析機能と、
前記ジョブが前記WFジョブと種類の異なる他のジョブの場合に、前記要件情報に基づきリクエストマップを作成する第1のマッピング処理を実行するマップ演算機能と、
前記ジョブが前記WFジョブの場合には、前記要件情報と前記段情報とに基づき第2のマッピング処理を実行し前記リクエストマップを作成し、前記マップ演算手段が前記リクエストマップの空き空間を検出して、前記依存性に基づいて前記空き空間に前記他の前記リクエストをマッピングするバックフィル処理を実行するWF段管理機能と、
をコンピュータに実現させることを特徴とするコンピュータ・プログラム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014062062A JP6349837B2 (ja) | 2014-03-25 | 2014-03-25 | スケジューラ装置及びそのスケジューリング方法、演算処理システム、並びにコンピュータ・プログラム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014062062A JP6349837B2 (ja) | 2014-03-25 | 2014-03-25 | スケジューラ装置及びそのスケジューリング方法、演算処理システム、並びにコンピュータ・プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2015185003A JP2015185003A (ja) | 2015-10-22 |
JP6349837B2 true JP6349837B2 (ja) | 2018-07-04 |
Family
ID=54351433
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014062062A Active JP6349837B2 (ja) | 2014-03-25 | 2014-03-25 | スケジューラ装置及びそのスケジューリング方法、演算処理システム、並びにコンピュータ・プログラム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP6349837B2 (ja) |
Families Citing this family (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP6364880B2 (ja) * | 2014-03-31 | 2018-08-01 | 富士通株式会社 | 並列計算機システム,ジョブ管理装置の制御プログラム,及び並列計算機システムの制御方法 |
JP7238616B2 (ja) | 2019-06-11 | 2023-03-14 | 富士通株式会社 | 並列処理装置、ジョブ管理プログラム、及びジョブ管理方法 |
Family Cites Families (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2010182199A (ja) * | 2009-02-06 | 2010-08-19 | Nec Corp | ジョブスケジューリングシステム、方法、及びプログラム |
JP5684629B2 (ja) * | 2011-03-31 | 2015-03-18 | 日本電気株式会社 | ジョブ管理システム及びジョブ管理方法 |
JP2013164750A (ja) * | 2012-02-10 | 2013-08-22 | Nomura Research Institute Ltd | ジョブ実行管理システム |
-
2014
- 2014-03-25 JP JP2014062062A patent/JP6349837B2/ja active Active
Also Published As
Publication number | Publication date |
---|---|
JP2015185003A (ja) | 2015-10-22 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP5971334B2 (ja) | タスク配置装置、タスク配置方法、および、コンピュータ・プログラム | |
JP6515708B2 (ja) | 情報処理装置、並列計算機システム、ジョブスケジュール設定プログラムおよびジョブスケジュール設定方法 | |
JP7050957B2 (ja) | タスクスケジューリング | |
JP6951846B2 (ja) | 計算機システム及びタスクの割当方法 | |
US8458710B2 (en) | Scheduling jobs for execution on a computer system | |
CN109144697A (zh) | 一种任务调度方法、装置、电子设备及存储介质 | |
JP2007188523A (ja) | タスク実行方法およびマルチプロセッサシステム | |
JP6349837B2 (ja) | スケジューラ装置及びそのスケジューリング方法、演算処理システム、並びにコンピュータ・プログラム | |
CN108228323B (zh) | 基于数据本地性的Hadoop任务调度方法及装置 | |
JP5419134B2 (ja) | ベクトルプロセッサ及びベクトル命令発行方法 | |
JP5776813B2 (ja) | マルチコアプロセッサシステム、マルチコアプロセッサシステムの制御方法および制御プログラム | |
JP6156379B2 (ja) | スケジューリング装置、及び、スケジューリング方法 | |
KR101771183B1 (ko) | 인메모리 캐시를 관리하는 방법 | |
KR101470695B1 (ko) | 그리드 컴퓨팅 스케쥴링을 위한 생물지리학적 최적화 방법 및 시스템 | |
JP6753521B2 (ja) | 計算資源管理装置、計算資源管理方法、及びプログラム | |
US9705985B1 (en) | Systems and methods for cross protocol automatic sub-operation scheduling | |
US9304829B2 (en) | Determining and ranking distributions of operations across execution environments | |
US9459916B2 (en) | System and method for controlling execution of jobs performed by plural information processing devices | |
JP2016071725A (ja) | ワークフロー制御プログラム、ワークフロー制御方法及び情報処理装置 | |
JP6222354B2 (ja) | 情報処理装置、制御方法及び制御プログラム | |
CN116755893B (zh) | 面向深度学习的分布式计算系统的作业调度方法和装置 | |
JP6322968B2 (ja) | 情報処理装置、情報処理方法およびプログラム | |
CN112084297B (zh) | 数据处理方法、装置、电子设备及存储介质 | |
JP3931883B2 (ja) | ジョブスケジューリング方法、計算機システムおよびジョブスケジューリングプログラム | |
JP2006065658A (ja) | 並列計算機システムおよびジョブ投入方法 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20170215 |
|
A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20171222 |
|
A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20180109 |
|
A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20180208 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20180508 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20180521 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6349837 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |