JP6107801B2 - 情報処理装置、情報処理システム、タスク処理方法、及び、プログラム - Google Patents
情報処理装置、情報処理システム、タスク処理方法、及び、プログラム Download PDFInfo
- Publication number
- JP6107801B2 JP6107801B2 JP2014252130A JP2014252130A JP6107801B2 JP 6107801 B2 JP6107801 B2 JP 6107801B2 JP 2014252130 A JP2014252130 A JP 2014252130A JP 2014252130 A JP2014252130 A JP 2014252130A JP 6107801 B2 JP6107801 B2 JP 6107801B2
- Authority
- JP
- Japan
- Prior art keywords
- task
- job
- server
- task execution
- information
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
- 230000010365 information processing Effects 0.000 title claims description 45
- 238000003672 processing method Methods 0.000 title claims description 5
- 238000000034 method Methods 0.000 claims description 35
- 238000009826 distribution Methods 0.000 claims description 34
- 238000007726 management method Methods 0.000 description 23
- 238000010586 diagram Methods 0.000 description 12
- 230000008569 process Effects 0.000 description 10
- 238000007405 data analysis Methods 0.000 description 8
- 230000008859 change Effects 0.000 description 7
- 230000000694 effects Effects 0.000 description 7
- 230000001419 dependent effect Effects 0.000 description 5
- 230000004913 activation Effects 0.000 description 2
- 238000004458 analytical method Methods 0.000 description 2
- 238000004590 computer program Methods 0.000 description 2
- 230000007423 decrease Effects 0.000 description 1
- 230000001934 delay Effects 0.000 description 1
- 239000000284 extract Substances 0.000 description 1
- 230000007246 mechanism Effects 0.000 description 1
- 239000000203 mixture Substances 0.000 description 1
- 238000013468 resource allocation Methods 0.000 description 1
- 230000004044 response Effects 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 238000004904 shortening Methods 0.000 description 1
- 239000007787 solid Substances 0.000 description 1
- 238000009827 uniform distribution Methods 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5077—Logical partitioning of resources; Management or configuration of virtualized resources
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/50—Allocation of resources, e.g. of the central processing unit [CPU]
- G06F9/5061—Partitioning or combining of resources
- G06F9/5066—Algorithms for mapping a plurality of inter-dependent sub-tasks onto a plurality of physical CPUs
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
- G06F9/38—Concurrent instruction execution, e.g. pipeline or look ahead
- G06F9/3885—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units
- G06F9/3889—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by multiple instructions, e.g. MIMD, decoupled access or execute
- G06F9/3891—Concurrent instruction execution, e.g. pipeline or look ahead using a plurality of independent parallel functional units controlled by multiple instructions, e.g. MIMD, decoupled access or execute organised in groups of units sharing resources, e.g. clusters
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/46—Multiprogramming arrangements
- G06F9/48—Program initiating; Program switching, e.g. by interrupt
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45579—I/O management, e.g. providing access to device drivers or storage
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
- G06F2009/45583—Memory management, e.g. access or allocation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F9/00—Arrangements for program control, e.g. control units
- G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
- G06F9/44—Arrangements for executing specific programs
- G06F9/455—Emulation; Interpretation; Software simulation, e.g. virtualisation or emulation of application or operating system execution engines
- G06F9/45533—Hypervisors; Virtual machine monitors
- G06F9/45558—Hypervisor-specific management and integration aspects
Landscapes
- Engineering & Computer Science (AREA)
- Software Systems (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Multi Processors (AREA)
Description
<第二の実施形態>
次に、本発明を実施するための第二の形態について図面を参照して詳細に説明する。
<第三の実施形態>
次に、本発明を実施するための第三の形態について図面を参照して詳細に説明する。
2 ジョブ配布サーバ
3 クラスタ管理サーバ
4 デプロイメントサーバ
5 ネットワーク
10 タスク実行サーバ
11 仮想マシン(VM:Virtual Machine)
12 分散ファイルシステム
20 情報処理システム
30 情報処理システム
31 タスク実行命令サーバ
310 タスク実行サーバ
311 仮想マシン
312 分散ファイルシステム
320、321 ジョブ配布サーバ
330、331 クラスタ管理サーバ
34 デプロイメントサーバ
35 ネットワーク
40 情報処理装置
41 タスク実行命令部
42 ジョブ配布部
43 クラスタ管理部
44 デプロイメント部
45 タスク実行サーバ
46 仮想マシン
Claims (8)
- サーバ仮想化環境を構築可能な、複数のタスク実行サーバに接続される情報処理装置であって、
複数の前記タスク実行サーバのそれぞれの構成を示すクラスタ構成情報を管理する複数のクラスタ管理手段と、
複数の前記タスク実行サーバに対して、各タスク実行サーバの仮想マシンの数を示すデプロイパターンを定義する、ジョブの付帯情報に含まれる処理特性に応じて定義されるパターン制約条件に基づいて、前記仮想マシンの起動を命令するデプロイメント手段と、
各前記クラスタ管理手段と複数のペアを成し、各前記クラスタ構成情報によって示される前記仮想マシンであって前記タスク実行サーバ上で起動している前記仮想マシンに前記ジョブを配布する複数のジョブ配布手段と、
前記ジョブ配布手段に前記ジョブを含むタスクを送信し、前記タスクに含まれる前記ジョブに付与された前記付帯情報に基づき、前記ペアごとに前記デプロイパターンを決定し、前記デプロイメント手段に送信するタスク実行命令手段と、
を包含する情報処理装置。 - 前記付帯情報が、CPU(Central Processing Unit)依存、または、I/O(Input/Output)依存を示す処理特性を含む、請求項1に記載の情報処理装置。
- 前記付帯情報が、マルチプロセス、または、マルチスレッドに適合するか否かを示す並列処理適合度を含む、請求項1または2に記載の情報処理装置。
- 前記付帯情報が、シーケンシャル、または、ランダムを示すI/O特性を含む、請求項1または2に記載の情報処理装置。
- 請求項1乃至4のいずれか1項に記載の情報処理装置と、
前記複数のタスク実行サーバと、を包含する情報処理システム。 - 複数のクラスタ管理手段により、複数のタスク実行サーバのそれぞれの構成を示すクラスタ構成情報を管理し、
複数の前記タスク実行サーバに対して、各タスク実行サーバの仮想マシンの数を示すデプロイパターンを定義する、ジョブの付帯情報に含まれる処理特性に応じて定義されるパターン制約条件に基づいて、前記仮想マシンの起動を命令し、
複数のジョブ配布手段により、各前記クラスタ管理手段と複数のペアを成し、各前記クラスタ構成情報によって示される前記仮想マシンであって前記タスク実行サーバ上で起動している前記仮想マシンに前記ジョブを配布し、
各前記ジョブ配布手段に前記ジョブを含むタスクを送信し、
タスク実行命令手段により、前記タスクに含まれる前記ジョブに付与された前記付帯情報に基づき、前記ペアごとに前記デプロイパターンを決定し、送信する、
タスク処理方法。 - 前記付帯情報が、CPU依存、または、I/O依存を示す処理特性を含む、請求項6に記載のタスク処理方法。
- 前記付帯情報が、マルチプロセス、または、マルチスレッドに適合するか否かを示す並列処理適合度を含む、請求項6または7に記載のタスク処理方法。
Priority Applications (3)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014252130A JP6107801B2 (ja) | 2014-12-12 | 2014-12-12 | 情報処理装置、情報処理システム、タスク処理方法、及び、プログラム |
PCT/JP2015/006167 WO2016092856A1 (ja) | 2014-12-12 | 2015-12-10 | 情報処理装置、情報処理システム、タスク処理方法、及び、プログラムを記憶する記憶媒体 |
US15/525,123 US20180239646A1 (en) | 2014-12-12 | 2015-12-10 | Information processing device, information processing system, task processing method, and storage medium for storing program |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP2014252130A JP6107801B2 (ja) | 2014-12-12 | 2014-12-12 | 情報処理装置、情報処理システム、タスク処理方法、及び、プログラム |
Publications (2)
Publication Number | Publication Date |
---|---|
JP2016115065A JP2016115065A (ja) | 2016-06-23 |
JP6107801B2 true JP6107801B2 (ja) | 2017-04-05 |
Family
ID=56107068
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2014252130A Active JP6107801B2 (ja) | 2014-12-12 | 2014-12-12 | 情報処理装置、情報処理システム、タスク処理方法、及び、プログラム |
Country Status (3)
Country | Link |
---|---|
US (1) | US20180239646A1 (ja) |
JP (1) | JP6107801B2 (ja) |
WO (1) | WO2016092856A1 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
US10417582B2 (en) * | 2017-01-27 | 2019-09-17 | Wipro Limited | Method and device for automating operational tasks in an enterprise network |
US20200195531A1 (en) * | 2018-12-14 | 2020-06-18 | Hewlett Packard Enterprise Development Lp | Analytics on network switch using multi-threaded sandboxing of a script |
CN112398669B (zh) * | 2019-08-15 | 2023-09-26 | 北京京东尚科信息技术有限公司 | 一种Hadoop部署方法和装置 |
JP7327635B2 (ja) * | 2020-02-26 | 2023-08-16 | 日本電信電話株式会社 | 仮想マシンの接続制御装置、仮想マシンの接続制御システム、仮想マシンの接続制御方法およびプログラム |
CN112506619B (zh) * | 2020-12-18 | 2023-08-04 | 北京百度网讯科技有限公司 | 作业处理方法、装置、电子设备和存储介质 |
US11803448B1 (en) | 2021-06-29 | 2023-10-31 | Amazon Technologies, Inc. | Faster restart of task nodes using periodic checkpointing of data sources |
Family Cites Families (11)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2009223842A (ja) * | 2008-03-19 | 2009-10-01 | Fujitsu Ltd | 仮想計算機制御プログラム及び仮想計算機システム |
US8161479B2 (en) * | 2008-06-13 | 2012-04-17 | Microsoft Corporation | Synchronizing virtual machine and application life cycles |
EP2395430B1 (en) * | 2009-02-09 | 2017-07-12 | Fujitsu Limited | Virtual computer allocation method, allocation program, and information processing device having a virtual computer environment |
US8276139B2 (en) * | 2009-09-30 | 2012-09-25 | International Business Machines Corporation | Provisioning virtual machine placement |
US8260840B1 (en) * | 2010-06-28 | 2012-09-04 | Amazon Technologies, Inc. | Dynamic scaling of a cluster of computing nodes used for distributed execution of a program |
JPWO2012093469A1 (ja) * | 2011-01-06 | 2014-06-09 | 日本電気株式会社 | 性能評価装置及び性能評価方法 |
US20130346983A1 (en) * | 2011-03-11 | 2013-12-26 | Nec Corporation | Computer system, control system, control method and control program |
US9626222B2 (en) * | 2012-01-17 | 2017-04-18 | Alcatel Lucent | Method and apparatus for network and storage-aware virtual machine placement |
US9268590B2 (en) * | 2012-02-29 | 2016-02-23 | Vmware, Inc. | Provisioning a cluster of distributed computing platform based on placement strategy |
JP6048500B2 (ja) * | 2012-07-05 | 2016-12-21 | 富士通株式会社 | 情報処理装置、情報処理方法、情報処理プログラム、及び記録媒体 |
JP6083278B2 (ja) * | 2013-03-22 | 2017-02-22 | 富士通株式会社 | 計算システム及びその電力管理方法 |
-
2014
- 2014-12-12 JP JP2014252130A patent/JP6107801B2/ja active Active
-
2015
- 2015-12-10 WO PCT/JP2015/006167 patent/WO2016092856A1/ja active Application Filing
- 2015-12-10 US US15/525,123 patent/US20180239646A1/en not_active Abandoned
Also Published As
Publication number | Publication date |
---|---|
US20180239646A1 (en) | 2018-08-23 |
WO2016092856A1 (ja) | 2016-06-16 |
JP2016115065A (ja) | 2016-06-23 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
JP6107801B2 (ja) | 情報処理装置、情報処理システム、タスク処理方法、及び、プログラム | |
US20220075643A1 (en) | Unified resource management for containers and virtual machines | |
US10827020B1 (en) | Assignment of microservices | |
Chowdhury et al. | Implementation and performance analysis of various VM placement strategies in CloudSim | |
EP3347816B1 (en) | Extension of resource constraints for service-defined containers | |
US11113782B2 (en) | Dynamic kernel slicing for VGPU sharing in serverless computing systems | |
Zhang et al. | Integrating resource consumption and allocation for infrastructure resources on-demand | |
US9563474B2 (en) | Methods for managing threads within an application and devices thereof | |
US20170024251A1 (en) | Scheduling method and apparatus for distributed computing system | |
US10108463B2 (en) | System, method of controlling to execute a job, and apparatus | |
JP6741941B2 (ja) | 仮想マシン管理プログラム、仮想マシン管理方法、及び、仮想マシン管理装置 | |
US11740921B2 (en) | Coordinated container scheduling for improved resource allocation in virtual computing environment | |
Armstrong et al. | Scheduling many-task workloads on supercomputers: Dealing with trailing tasks | |
JP6519111B2 (ja) | データ処理制御方法、データ処理制御プログラムおよびデータ処理制御装置 | |
US20220253341A1 (en) | Memory-aware placement for virtual gpu enabled systems | |
Raj et al. | Enhancement of hadoop clusters with virtualization using the capacity scheduler | |
US20210011751A1 (en) | Memory-aware placement for virtual gpu enabled systems | |
KR102052964B1 (ko) | 컴퓨팅 스케줄링 방법 및 시스템 | |
JP6239400B2 (ja) | 制御装置 | |
US20140101669A1 (en) | Apparatus and method for processing task | |
KR101867960B1 (ko) | 매니 코어 시스템을 위한 운영체제 동적 재구성 장치 및 방법 | |
JP5879117B2 (ja) | 情報処理システムおよび運用管理方法 | |
KR102014246B1 (ko) | 리소스 통합관리를 위한 메소스 처리 장치 및 방법 | |
Komarasamy et al. | Priority scheduling with consolidation based backfilling algorithm in cloud | |
Janardhanan et al. | Study of execution parallelism by resource partitioning in Hadoop YARN |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20160418 |
|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20160927 |
|
A521 | Request for written amendment filed |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20161212 |
|
A911 | Transfer to examiner for re-examination before appeal (zenchi) |
Free format text: JAPANESE INTERMEDIATE CODE: A911 Effective date: 20161220 |
|
TRDD | Decision of grant or rejection written | ||
A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20170207 |
|
A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20170220 |
|
R150 | Certificate of patent or registration of utility model |
Ref document number: 6107801 Country of ref document: JP Free format text: JAPANESE INTERMEDIATE CODE: R150 |