WO2021210123A1 - スケジューリング方法、スケジューラ、ｇｐｕクラスタシステムおよびプログラム - Google Patents

スケジューリング方法、スケジューラ、ｇｐｕクラスタシステムおよびプログラム Download PDF

Info

Publication number
WO2021210123A1
WO2021210123A1 PCT/JP2020/016697 JP2020016697W WO2021210123A1 WO 2021210123 A1 WO2021210123 A1 WO 2021210123A1 JP 2020016697 W JP2020016697 W JP 2020016697W WO 2021210123 A1 WO2021210123 A1 WO 2021210123A1
Authority
WO
WIPO (PCT)
Prior art keywords
job
cluster
queue
scheduler
data
Prior art date
Application number
PCT/JP2020/016697
Other languages
English (en)
French (fr)
Inventor
兼三 奥田
益谷　仁士
武志 弘田
健 桑原
Original Assignee
日本電信電話株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電信電話株式会社 filed Critical 日本電信電話株式会社
Priority to JP2022514945A priority Critical patent/JP7385156B2/ja
Priority to PCT/JP2020/016697 priority patent/WO2021210123A1/ja
Publication of WO2021210123A1 publication Critical patent/WO2021210123A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication

Definitions

  • the present invention relates to a scheduling method, a scheduler, a GPU cluster system and a program.
  • GPU Graphics Processing Unit
  • GPUs are hardware that performs calculation processing necessary for rendering high-definition images and videos.
  • GPUs have been used as arithmetic units for machine learning and the like.
  • a GPU cluster in which multiple GPUs are clustered is also being developed.
  • Kubernetes exists as open source software that manages container-type GPU clusters (Non-Patent Document 1).
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a scheduling method, a scheduler, a GPU cluster system and a program for reducing the idle time of the GPU and improving the operating rate of the GPU. It is in.
  • one aspect of the present invention is a scheduling method performed by a GPU cluster system, in which the scheduler stores a submitted job in a first stage queue that stores a job waiting to start fetching. Then, the step of taking out the job of the first stage queue, registering it in the fetching job list, and starting the fetch of the data of the job in the cache cluster, and fetching the job whose fetched data amount exceeds a predetermined threshold.
  • a step of fetching from the job list and storing the job waiting to be deployed in the second stage queue and a step of fetching the job from the second stage queue and instructing the deployment of the job are performed, and the cache cluster fetches the job.
  • the data of the job registered in the job list is fetched from the storage in which the data is stored, and the step of storing the data in the cache cluster is performed, and the GPU cluster accesses the data of the cache cluster to execute the job. Take the steps to perform.
  • One aspect of the present invention is a scheduler in a GPU cluster system, in which a first queue selector that stores submitted jobs in a first stage queue that stores jobs waiting to start fetching and a job in the first stage queue are stored. Fetching The first job selector that is fetched, registered in the fetching job list, and stored in the storage to start fetching the data of the job in the cache cluster, and the job whose fetched data amount exceeds a predetermined threshold are fetched. It has a second queue selector that is fetched from the job list and stored in the second stage queue that stores jobs waiting to be deployed, and a second job selector that fetches jobs from the second stage queue and instructs the deployment of the job.
  • the cache cluster is specified as a storage location of the data of the job in the deployment instruction of the job, and the GPU cluster accesses the cache cluster and executes the job.
  • One aspect of the present invention is a GPU cluster system including a scheduler, a cache cluster, and a GPU cluster, in which the cache cluster stores the data of jobs registered in the fetching job list. It is fetched from the storage and stored in the cache cluster, and the GPU cluster accesses the data of the cache cluster and executes the job.
  • One aspect of the present invention is a program that functions a computer as the above scheduler.
  • the present invention it is possible to provide a scheduling method, a scheduler, a GPU cluster system, and a program that reduce the idle time of the GPU and improve the operating rate of the GPU.
  • FIG. 1 is a configuration diagram showing a schematic configuration of a basic GPU cluster system.
  • the GPU cluster system shown in the figure is a GPU learning cluster system for executing learning processing using the GPU.
  • the cluster provider (hereinafter referred to as "business operator") provides the user (user) with equipment that performs learning processing on behalf of the GPU cluster.
  • the user pays the operator a pay-as-you-go amount according to the usage time of the GPU cluster without owning an expensive GPU. Since learning processes such as machine learning need only be executed once, it is cheaper for users to pay a pay-as-you-go amount than to purchase an expensive GPU.
  • the GPU cluster system is required to be able to execute various jobs (Jobs) (that is, job virtualization) and to deploy jobs at high speed.
  • Jobs that is, job virtualization
  • the basic operation outline of the GPU cluster will be explained with reference to Fig. 1.
  • a container-type cluster that allocates GPU resources for each job execution is used.
  • the user terminal 5 stores data or the like to be learned in the cluster shared storage 4A instructed by the provider of the GPU cluster according to the user's instruction (S1A).
  • the user terminal 5 registers the job of the learning process to be executed in the scheduler 1A according to the instruction of the user (S2A).
  • the scheduler 1A schedules the jobs received from the plurality of user terminals 5 based on the priority, the estimated processing time, and the like, and instructs the master 2A to execute the jobs as soon as the GPU resources are secured (S3A).
  • Master 2A deploys the job to the node, attaches the GPU, and causes the GPU to execute the learning process (S4A). That is, the master 2A creates a virtual environment for executing the learning / inference program for each job, and attaches the GPU. Master 2A releases the GPU when the job is complete.
  • the GPU performs the learning process while reading the learning target data uploaded to the cluster shared storage 4A in advance, and stores the result of the learning process in the cluster shared storage 4A (S5A). When the user finishes executing his / her own job, he / she can acquire the execution result of the learning process by accessing the cluster shared storage 4A.
  • the user terminal 5 stores the learning target data in the user storage 6A of the user base (S1A'), and the job of the node 3A is closed-connected to the user storage 6A and the user. Directly access storage 6A (S5A').
  • the data transfer speed becomes slower than the processing speed of the learning program, and the idle time of the GPU occurs.
  • FIG. 3 is a configuration diagram showing a schematic configuration of the GPU cluster system of the present embodiment.
  • the GPU cluster system of the present embodiment is a GPU learning cluster system for executing learning processing using the GPU.
  • the learning process is to read the learning target data and perform processing such as machine learning. At this time, instead of reading all the data to be learned at once, the learning process is performed while reading the data in block units or file units in order.
  • the GPU cluster system shown in the figure includes a scheduler 1, a master 2, a node 3, a cluster shared storage 4, and a cache cluster 7.
  • a container-type GPU cluster that allocates GPU resources for each job execution.
  • the user base may include a user storage 6 for storing the learning target data by the user.
  • the GPU cluster system of this embodiment includes a high-cost and high-speed cache cluster 7 (cache), and the scheduler 1 schedules the cache cluster 7 and the GPU at the same time.
  • Large-capacity data is normally stored in low-cost and low-speed storage (cluster shared storage 4, user storage 6) at low cost, and the data is stored in cache cluster 7 when a job is executed.
  • cluster shared storage 4 cluster shared storage 4, user storage 6) at low cost
  • cache cluster shared storage 4 cluster shared storage 4
  • the data is stored in cache cluster 7 when a job is executed.
  • the GPU since the GPU reads data from the high-speed cache cluster 7, it is possible to avoid a situation in which the GPU is idle waiting for data reading.
  • the scheduler 1 (Scheduler) accepts a job (Job) submitted from the user terminal 5.
  • the scheduler 1 monitors the availability of GPU resources in the GPU cluster, and if there is a availability, instructs the master 2 to deploy the job (deploy it to the execution environment). That is, the scheduler 1 instructs the master 2 to execute the job.
  • Master 2 manages Node 3 and deploys jobs.
  • the master 2 constructs a virtual environment such as a container defined in the job on the node 3 and executes the program defined in the job in the virtual environment.
  • the master 2 deletes the virtual environment when the program defined in the job is completed.
  • a job defines a program that the user wants to execute (for example, a learning or inference program) and an execution environment of the program.
  • a job includes one or more programs to be executed and their order.
  • the job includes an environment for executing a program (virtual environment, runtime, OS, distribution, library, etc.).
  • the job includes the image file name of the container, the image file name of the VM (Virtual Machine), and the like as the environment.
  • the job may include a procedure for automatically constructing the above environment, and the job may automatically generate an image of the execution environment.
  • the job of this embodiment includes a main container (MainContainer), and may include a container other than the main container.
  • the main container is a container of a virtual environment that executes the learning program of the present embodiment.
  • a container is used as a realization form of the virtual environment, but a VM may also be used.
  • Cluster Shared Storage 4 is a storage system that stores data.
  • the cluster shared storage 4 stores the learning target data and the execution result. You can access the cluster shared storage 4 from the job virtual environment. The user can directly or indirectly store the learning target data read by the job in the cluster shared storage 4 by some means. Since the cluster shared storage 4 stores a large amount of data to be learned, it is assumed that storage technologies such as Ceph, GlusterFS, Swift, and RAID will be used. Ceph (https://ceph.io/) and GlusterFS (https://www.gluster.org/) are open source distributed storage software.
  • Cache cluster 7 Cluster Shared Storage
  • the cache cluster 7 fetches data from the cluster shared storage 4 or the user storage 6.
  • the "fetch” for reading data is also referred to as “cache” hereafter.
  • the user terminal 5 stores the learning target data and the like in the cluster shared storage 4 or the user storage 6 instructed by the business operator that provides the GPU cluster system according to the user's instruction (S1).
  • the user terminal 5 registers the job of the learning process to be executed in the scheduler 1 according to the instruction of the user (S2).
  • the scheduler 1 instructs the cache cluster 7 to cache the data (S3).
  • the cache cluster 7 starts fetching the learning target data from the cluster shared storage 4 or the user storage 6 (S4).
  • the scheduler 1 schedules jobs received from a plurality of user terminals 5 (users) based on the registration order, priority, required resource amount (number of GPUs, number of CPUs, etc.), estimated processing time, etc., and can secure GPU resources.
  • the master 2 is instructed to execute the job (S5).
  • the required resource amount may be included in the metadata of the job by the user in advance and notified to the scheduler 1, or the scheduler 1 may estimate from the contents of the job.
  • Master 2 deploys the job to the node, attaches the GPU, mounts the cache area of the cache cluster 7, and causes the GPU to execute the job learning process (S6). That is, the master 2 creates a virtual environment for executing the learning / inference program for each job, and attaches the GPU. Master 2 releases the GPU when the job is completed.
  • the GPU performs the learning process while reading the data of the learning target cached in the cache area, and stores the result of the learning process in the cache cluster 7 or the cluster shared storage 4 (S7).
  • the scheduler 1 deletes the data in the cache area after the job is completed (S8).
  • FIG. 4 is a configuration diagram of the cache cluster 7.
  • the cache cluster 7 shown in the figure includes a VPN connection unit 71 (VPN Function), a cache management unit 72 (Cache Manager), and one or more storages 73 (Storage).
  • VPN Function VPN Function
  • cache management unit 72 cache Manager
  • Storage storages
  • the VPN connection unit 71 starts or listens for a closed connection and establishes a closed connection.
  • the cache management unit 72 collectively forms a cluster with one or more storages 73.
  • the cache management unit 72 accesses the storage (cluster shared storage 4, user storage 6) that is the origin (original) using a file sharing protocol or the like, caches the data possessed by the origin, and shares the data with the requester. Has a transparent cache function.
  • the cache management unit 72 determines whether or not the requested data has been cached. If it has already been cached, the relevant data is returned to the requester. If it is not cached, the data is requested from the storage that is the origin, and the data passed from the storage that is the origin is returned to the requester.
  • the cache management unit 72 has a function of operating the cluster shared storage 4 and the user storage 6.
  • the storage 73 stores the data cached from the storage that is the origin.
  • High-speed storage such as NVMe or NVDIMM is used for the storage 73.
  • the VPN connection unit 71 may not be included in the cache cluster 7 and may exist in the GPU cluster system independently of the cache cluster 7. Further, the cache cluster 7 may include the cluster shared storage 4.
  • FIG. 5 is a configuration diagram of the scheduler 1.
  • the scheduler 1 includes a first stage queue 10, a second stage queue 20, a fetching job list 30 (Fetching Job List (hereinafter, “FJL”)), an account DB 31 (Accounting DB), and a GPU usage monitoring unit. It is equipped with 32 (GPU Utilization Monitor).
  • the account DB31 manages the GPU usage of each user.
  • the account DB 31 may be installed outside the scheduler 1 instead of inside the scheduler 1. Further, the existing user database of the business operator may be diverted to the account DB 31.
  • the GPU usage monitoring unit 32 acquires the GPU usage from the master 2 or the node 3 and monitors the GPU usage.
  • the first stage queue 10 includes a first queue selector 11 (Queue Selector 1), a plurality of job queues 13-15, and a first job selector 12 (Job Selector 1).
  • the first queue selector 11 stores the jobs submitted from the user terminal 5 in the job queues 13-15 of any of the first stage queues 10 that store the jobs waiting to start fetching. The processing of the first queue selector 11 will be described later.
  • the first job selector 12 takes out a job in the first stage queue, registers it in the fetching job list, and causes the cache cluster to start fetching the data of the job stored in the storage.
  • the first job selector 12 takes out the jobs stored in the job queues 13-15 according to the priority and the like, and registers them in the fetching job list 30. Further, the first job selector 12 inquires the account DB 31 of the current GPU usage of the user, and depending on the current usage of the user, the job queue corresponding to the fairness allocation amount or the job exceeding the user allocation amount. Relocate to. The processing of the first job selector 12 will be described later.
  • the job queue of the first stage includes job queue 13 (Job Queue (hereinafter, "JQ”)), over-fairness job queue 14 (Over Fairness-quota Job Queue (hereinafter, "OFJQ”)), and user excess job.
  • Queue 15 (Over User-quota Job Queue (hereinafter, "OUJQ”)) is included.
  • JQ13 Job Quality of Service k
  • the class k is 1 ⁇ k ⁇ n
  • JQ13 of class k may be described as "JQk”.
  • OFJQ14 stores jobs that exceed the fairness allocation amount (quota) of the GPU assigned to each user from the viewpoint of fairness.
  • This fairness quota is used by operators to use each user's GPU fairly in order to prevent one user from monopolizing the GPU and another user from being unable to use the GPU, and to allocate the GPU to each user fairly. It sets an upper limit on the amount.
  • the allotted amount is an allotted amount for a predetermined period such as one month.
  • OFJQ14 is provided for each job class k like JQ13, and k is 1 ⁇ k ⁇ n.
  • the job queue 14 of class k may be described as "OFJQ k".
  • OUJQ15 stores jobs that exceed the user allocation amount of the GPU set by the user. This user quota sets an upper limit for the user's own GPU usage in order to keep the GPU usage fee within the budget.
  • the allotted amount is an allotted amount for a predetermined period such as one month. Jobs stored in OUJQ15 are not deployed and fetched.
  • the first job selector 12 fetches a job from the beginning of OUJQ15, and the first queue selector 11 is a job of the class corresponding to the job. Allocate to queue 13.
  • the current usage amount is updated, for example, when the upper limit of the monthly usage amount is set, or when the usage amount is updated to 0 in the next month.
  • the first job selector 12 registers the job of JQ13 in FJL30 with priority over the job of OFJQ14.
  • FJL30 is a list in which jobs for starting data fetching are registered.
  • the cache cluster 7 fetches (prefetches) the jobs registered in FJL30.
  • the first job selector 12 may instruct the cache cluster 7 to start fetching the job added to the FJL 30 after registering the job in the FJL 30.
  • the cache cluster 7 may periodically check the FJL 30 and start fetching the job when a new job is registered. Jobs whose fetched data amount exceeds a predetermined threshold are moved to the second stage queue 20. The threshold value will be described later.
  • a suspended job may be registered in FJL30.
  • the second stage queue 20 stores jobs waiting to be deployed.
  • the second stage queue 20 includes a second queue selector 21 (Queue Selector 2), a plurality of job queues 23-25, and a second job selector 22 (Job Selector 2).
  • the second queue selector 21 takes out a job whose fetched data amount exceeds a predetermined threshold value from the FJL 30 and stores it in any queue 23-25 of the second stage queue 20. The processing of the second queue selector 21 will be described later.
  • the second job selector 22 takes out a job from any of the queues 23-25 of the second stage queue 20 and instructs the deployment of the job.
  • the job queues of the second stage include the restore queue 23 (Restore Queue (hereinafter, "RQ”)), the deploy queue 24 (Deploy Queue (hereinafter, “DQ”)), and the over-fairness queue 25 (Over Fairness-quota).
  • RQ Restore Queue
  • DQ Deploy Queue
  • OFDQ Over Fairness-quota
  • RQ23 stores jobs waiting for restoration in which the amount of fetched data exceeds the threshold value.
  • the DQ24 stores jobs waiting for deployment in which the amount of fetched data exceeds the threshold value.
  • the OFDQ25 stores jobs in which the current GPU usage of the user (job owner) of the job exceeds the fairness allocation amount. Jobs that exceed the fairness quota will be deployed if there is free space on the GPU and there are no other jobs (jobs for RQ23 and DQ24). If there are other jobs, the other jobs take precedence.
  • the excess state is resolved by resetting the usage amount of the user to 0 in the next month, it is taken out from the first job of OFDQ25 and stored in RQ23 or DQ24.
  • the second job selector 22 gives priority to deploy the RQ23 job over the DQ24 job, and gives priority to deploy the DQ24 job over the OFDQ25 job.
  • the second job selector 22 activates the second queue selector 21, and the second queue selector 21 receives the first job of the FJL 30 or the amount of data fetched in the FJL 30.
  • the most jobs may be stored in any of RQ23, DQ24 and OFDQ25. Further, when fetching a job from RQ23, the job immediately after suspend may be excluded from the deployment instruction until a fixed amount of fetch is performed for a certain period of time so that the restore and suspend are not repeated in a short period of time.
  • the threshold value of the fetched data amount when fetching a job from FJL30 may be calculated by, for example, the following method.
  • the first method uses a value defined by the business operator or the user as a threshold value. For example, 10% of the amount of data.
  • the second method is to calculate the threshold value from the job definition. Specifically, the calculation amount order is calculated from the depth of the loop processing of the program included in the job definition and the number of instructions, divided into stages according to the size of the calculation amount order, and the threshold value is determined for each stage. Further, the larger the calculation amount order, the lower the data processing amount (data processing speed) per hour. Therefore, the larger the calculation amount order, the smaller the threshold value.
  • the third method calculates the threshold value from the job execution status until the checkpoint, which will be described later. Specifically, the data processing speed Vp and the fetch speed Vf are calculated from the execution status so far.
  • Vf ⁇ Vp the threshold value is Vf ⁇ M.
  • M is an arbitrary value.
  • the threshold value (1-Vf / Vp) ⁇ S + Vp ⁇ M.
  • S is the remaining amount of unprocessed data
  • M is an arbitrary value.
  • FIG. 6 is a flowchart showing the processing of the first queue selector 11.
  • the first queue selector 11 receives the job (S11)
  • the first queue selector 11 acquires the priority class of the user who is the owner of the job in the account DB31 (S12).
  • the priority class is k (S13).
  • the first queue selector 11 compares the fairness quota of the GPU with the current usage of the user (S14), and when the current usage does not exceed the fairness quota (S15: true), the user of the GPU The allocated amount and the current usage amount of the user are compared (S16).
  • the first queue selector 11 stores the job received in S11 at the end of JQ k13 of the priority class k (S18).
  • the first queue selector 11 stores the job received in S11 at the end of OUJQ15 (S19).
  • the current usage exceeds the fairness allocation amount (S15: false)
  • the first queue selector 11 stores the job received in S11 at the end of OFJQ k14 of the priority class k (S20).
  • FIG. 7 is a flowchart showing the processing of the first job selector 12. The process of FIG. 7 is started with a job being submitted to the first queue selector 11 as a trigger. Further, the process of FIG. 7 is started with the detection that the second queue selector 21 has a vacancy in the FJL 30 as a trigger.
  • the first job selector 12 stores the job fetched in S34 at the end of FJL30 (S39).
  • the first job selector 12 stores the job fetched in S34 at the end of the OUJQ 15 via the first queue selector 11 (S40).
  • the current usage exceeds the fairness allocation amount (S36: false) the first job selector 12 stores the job fetched in S34 via the first queue selector 11 at the end of OFJQ k14 of the priority class k. (S41).
  • FIG. 8 is a flowchart showing the processing of the second queue selector 21.
  • the process of FIG. 8 is executed periodically.
  • the second queue selector 21 sets the threshold value of the data amount of the fetched learning target data of the i-th job. Is determined (S53).
  • the second queue selector 21 inquires the cache cluster 7 (cache management unit 72) of the amount of fetched data. When the fetched data amount does not exceed the threshold value (S53: false), the second queue selector 21 adds 1 to i (S54), returns to S52, and performs subsequent processing.
  • the second queue selector 21 fetches the i-th job of FJL30 and dequeues it (S55).
  • the second queue selector 21 confirms the metadata of the fetched job (S56), and stores the job in the RQ23 when the job is in the suspend state (pause state) (S57: true) (S63). Since the FJL 30 has a free space, the second queue selector 21 activates the first job selector 12 (S61).
  • the second queue selector 21 confirms the fairness allocation amount of the job owner and the reduced current usage amount in order to determine whether or not to proceed with the job control. (S58).
  • the second queue selector 21 stores the job in the DQ24 (S63) and activates the first job selector 12 (S61).
  • the second queue selector 21 stores the job in the OFDQ25 (S62) and activates the first job selector 12 (S61).
  • the second queue selector 21 inquires the GPU usage amount monitoring unit 32 about the GPU usage amount.
  • the GPU usage monitoring unit 32 acquires the GPU usage from the master 2 or the node 3 and responds to the second queue selector 21. If the GPU is free (S64: true), RQ23 is empty (S65: true), DQ24 is empty (S66: true), and the first job exists in FJL30 (S67: true), the second queue The selector 21 takes out the first job of FJL30 (S68) and proceeds to S56.
  • S64: true the GPU is free
  • RQ23 is empty
  • DQ24 is empty
  • S66: true the first job exists in FJL30
  • S67: true the second queue The selector 21 takes out the first job of FJL30 (S68) and proceeds to S56.
  • S68 In order to maximize the GPU usage rate, in the present embodiment, when there are no more RQ23 and DQ24 jobs to be executed, even the FJL30 job with insufficient fetch is deployed.
  • the second queue selector 21 takes out the first job of FJL30 even if the fetch is insufficient and enqueues it to one of the queues 23-25.
  • the second queue selector 21 activates the first job selector 12 (S61).
  • the fetched data amount of the first (first) job among the jobs stored in the FJL30 is not always the largest. ..
  • the second queue selector 21 in S68 takes out the job with the largest amount of data fetched in FJL30, proceeds to S56, and stores the job in any of RQ23, DQ24, and OFDQ25. You may let me. That is, the second queue selector 21 may take out the most fetched job among the jobs in the FJL 30.
  • FIG. 9 is a flowchart showing the processing of the second job selector 22.
  • the GPU usage monitoring unit 32 activates the second job selector 22 when there is a vacancy in the GPU, and the process of FIG. 9 is performed.
  • the second job selector 22 takes out one job from the RQ23 and stores it in J (S72).
  • RQ23 is empty (S71: true) and DQ24 is not empty (S75: false)
  • the second job selector 22 takes out one job from DQ24 and stores it in J (S76).
  • the second job selector 22 instructs the master 2 to deploy J (S73) and activates the second queue selector 21 (S74).
  • OFDQ25 is empty (S78: true)
  • the second job selector 22 activates the second queue selector 21 (S74).
  • the FJL 30 is not empty (S77: false)
  • the second job selector 22 activates the second queue selector 21, waits for the completion of the operation of the second queue selector 21 (S80), and proceeds to S71.
  • the second job selector 22 activates the second queue selector 21 when all of the RQ23, DQ24, and OFDQ25 are empty, and stores the first job of the FJL30 in any of the RQ23, DQ24, and OFDQ25. ..
  • FIG. 10 is a configuration diagram of the GPU cluster of the first embodiment.
  • the learning target data is stored in advance in the low-speed cluster shared storage 4 (distributed storage).
  • the cache cluster 7 cache management unit 72
  • the master 2 mounts the area of the cache cluster 7 on the node 3.
  • the cache area is mounted using RDMA-fs (a mechanism for converting data on RDMA devices into a file system), NFS over RDMA, GlusterFS, etc.
  • the bandwidth of the transfer path for RDMA is guaranteed by TSN (Time Sensitive Networking) or the like.
  • a high-speed, bandwidth-securing network such as Lossless DC fabric is constructed, and data is transferred using various switches (SW) such as a spine switch (Spine SW).
  • SW Switche SW
  • the scheduler 1 instructs the cache cluster 7 to prefetch the data of the job while waiting for the job. As a result, the cache cluster 7 prefetches data from the cluster shared storage 4 according to the above instruction.
  • the scheduler 1 instructs the master 2 to deploy the job, and the master 2 assigns the job to the GPU.
  • the master 2 mounts the cache area of the cache cluster 7 using RDMA-fs or the like.
  • the GPU executes the job.
  • the scheduler 1 deletes the cache data of the cache cluster 7 after executing the job.
  • FIG. 11 is a configuration diagram of the GPU cluster of the second embodiment.
  • the user storage 6 at the user base is connected online. That is, in this embodiment, the learning target data stored in the low-speed user storage 6 is connected online.
  • a high-speed, bandwidth-securing network such as Lossless DC fabric is constructed as in the first embodiment, and data is collected using various switches (SW) such as spine switches (SpineSW). Forward.
  • SW switches
  • a data transfer path (VPN, leased line, etc.) is constructed by connecting the Access / Metro network with a switch such as Border Leaf between the GPU cluster system and the user base.
  • the cache cluster 7 (cache management unit 72) transfers the data of the user storage 6 at the user base and prefetches it into the memory (NV-DIMM) of the cache cluster 7. Note that this is not equivalent to downloading because only a part of the data is placed in the cache memory.
  • CRIU Checkpoint / Restore In Userspace
  • the cache cluster 7 writes the process data being processed to the cache cluster 7.
  • FIG. 12 is a configuration diagram of the GPU cluster of the third embodiment.
  • a plurality of data centers 40 are distributed and exist.
  • the data center 40 includes a GPU cluster including a plurality of masters 2 and nodes 3, a cache cluster 7, and a cluster shared storage 4.
  • the data center 40 does not have to include the cluster shared storage 4.
  • Scheduler 1 allocates the job to the GPU cluster near the user base.
  • the scheduler 1 selects a GPU cluster as close as possible to the cluster shared storage 4 to which the user uploaded the data.
  • FIG. 13 is a schematic diagram showing a closed area connection of method 1.
  • the user storage 6 has a closed connection function and waits for a closed connection from the cache cluster 7.
  • the cache cluster 7 starts a closed connection to the user storage 6.
  • the cache cluster 7 releases the closed connection.
  • the user storage 6 returns to the standby state of the closed connection.
  • the user storage 6 is always in a state of waiting for a closed connection.
  • a subscriber-side line termination device hereinafter referred to as "CPE" is placed at the user base.
  • CPE subscriber-side line termination device
  • the user needs to negotiate and decide the settings for the closed connection in advance with the operator of the GPU cluster system.
  • the user needs to set his / her own user storage 6 for a closed connection with the cache cluster 7.
  • FIG. 14 is a schematic diagram showing a closed area connection of method 2.
  • the CPE 8 at the user base includes a VPN connection unit and an API (control unit) for supporting control from the scheduler 1.
  • This method configures a closed connection on demand.
  • the user registers a job in the scheduler 1
  • the user includes the connection information to the API of CPE8 in the job.
  • the scheduler 1 instructs the cache cluster 7 to listen for a closed connection from the CPE 8.
  • the CPE 8 receives an instruction from the scheduler 1 and requests a closed connection from the instructed connection destination (cache cluster 7).
  • the cache cluster 7 replicates the learning target data on the user storage 6 to the GPU cluster system.
  • the replication destination is either the cache cluster 7 or the cluster shared storage 4.
  • the scheduler 1 instructs CPE8 to delete the closed connection setting.
  • FIG. 15 is a schematic diagram showing a closed area connection of the method 3.
  • the CPE 8 includes a VPN connection unit and an API (control unit).
  • the scheduler 1 causes the CPE 8 to listen for the closed connection and instructs the cache cluster 7 to start the closed connection.
  • This method configures a closed connection on demand.
  • the user registers a job in the scheduler 1, the user includes the connection information to the API of CPE8 in the job.
  • the scheduler 1 instructs the CPE 8 to listen for a closed connection from the cache cluster 7.
  • the cache cluster 7 receives an instruction from the scheduler 1 and requests a closed connection from the instructed connection destination (CPE8).
  • the cache cluster 7 replicates the learning target data on the user storage 6 to the GPU cluster system.
  • the replication destination is either the cache cluster 7 or the cluster shared storage 4.
  • the scheduler 1 instructs the CPE to delete the closed connection setting.
  • FIG. 16 is a schematic diagram showing a closed area connection of the method 4.
  • a virtualized subscriber-side line termination device hereinafter, “vCPE”) 92 is installed in the carrier network.
  • the vCPE92 has a VPN connection unit and an API (control unit) corresponding to control from the scheduler 1.
  • This method configures a closed connection on demand.
  • the user registers a job in the scheduler 1, the user includes line identification information for identifying the line to which the user storage 6 is connected to the job.
  • the scheduler 1 instructs the cache cluster 7 to listen for a closed connection from vCPE92.
  • the vCPE 92 receives an instruction from the scheduler 1 and requests a closed connection from the instructed connection destination (cache cluster 7).
  • the cache cluster 7 replicates the learning target data on the user storage 6 to the GPU cluster system.
  • the replication destination is either the cache cluster 7 or the cluster shared storage 4.
  • the scheduler 1 instructs vCPE92 to release the closed connection.
  • An optical network unit (hereinafter referred to as “ONU”) 91 or a modem or the like is installed at the user base and is connected to vCPE92.
  • ONU91 etc. provide layer 2 connection (Ethernet etc.) with vCPE92.
  • FIG. 17 is a schematic diagram showing a closed area connection of method 5.
  • vCPE92 is provided in the carrier network as in method 4.
  • ONU91 and the like are installed at the user base.
  • the ONU91 and the like are connected to the vCPE92 and provide a layer 2 connection with the vCPE92.
  • the scheduler 1 causes vCPE92 to listen for a closed connection and instructs the cache cluster 7 to start a closed connection.
  • This method configures a closed connection on demand.
  • the user When the user registers a job in the scheduler 1, the user includes line identification information for identifying the line to which the user storage 6 is connected to the job.
  • the scheduler 1 instructs vCPE92 to listen for a closed connection from the cache cluster 7.
  • the cache cluster 7 receives an instruction from the scheduler 1 and requests a closed connection from the instructed connection destination (vCPE92).
  • vCPE92 the instructed connection destination
  • the replication destination is either the cache cluster 7 or the cluster shared storage 4.
  • the scheduler 1 instructs vCPE92 to release the closed connection.
  • FIG. 18 is a schematic diagram showing a closed area connection of the method 6.
  • vCPE92 is provided in the carrier network as in method 4.
  • a CPE 8 similar to the method 1 is installed at the user base and is connected to the vCPE 92.
  • This method configures a closed connection on demand.
  • the scheduler 1 instructs vCPE92 to start listening to the closed connection request from the cache cluster 7 and CPE8.
  • the scheduler 1 instructs the cache cluster 7 to make a closed connection to vCPE92.
  • the scheduler 1 instructs CPE8 to make a closed connection to vCPE92.
  • the cache cluster 7 replicates the learning target data on the user storage 6 to the GPU cluster system.
  • the replication destination is either the cache cluster 7 or the cluster shared storage 4.
  • the scheduler 1 instructs vCPE92 and CPE8 to release the closed connection.
  • the one deployed in advance may be pooled, and the vCPE92 closest to the user base may be assigned at the start of prefetching the training target data of the job.
  • an instance of vCPE may be deployed at the start of prefetching the training target data of the job.
  • FIG. 19 is a schematic diagram showing a closed connection of the method 7.
  • a closed connection is performed using a gateway device (hereinafter referred to as “GW”) 93 that relays PPPoE or the like in the carrier network to the ISP.
  • GW93 gateway device
  • a connection unit for closed connection with the cache cluster 7 and an API (control unit) corresponding to control from the scheduler 1 are added.
  • a tunneling protocol such as PPPoE or DS-lite is used to connect to an ISP via a relay device in the carrier network.
  • the CPE 8 installed at the user base is a device that terminates these protocols on the subscriber side, and in most cases, a closed connection is always made to the GW93.
  • the scheduler 1 establishes a closed connection between the GW 93 and the cache cluster 7, and causes the GW 93 to relay the communication between the user storage 6 and the cache cluster 7.
  • the communication between the device other than the cache cluster 7 and the CPE 8 is transferred to the tunnel to the ISP as usual, and is set to the Internet access 94.
  • This method configures a closed connection on demand.
  • the scheduler 1 instructs the GW93 to start listening to the closed connection request from the cache cluster 7 when the closed connection is set.
  • the GW93 to be instructed is specified from the line identification information and the like.
  • the scheduler 1 requests the cache cluster 7 to make a closed connection to the GW93.
  • the GW93 relays the communication between the user storage 6 and the cache cluster 7, and the communication path is established.
  • GPU cluster system operation The operation of the GPU cluster system will be described below.
  • FIG. 20 is a sequence diagram showing the operation of the basic GPU cluster system shown in FIG.
  • the user uploads the learning target data to the cluster shared storage 4 (S101) and registers the job in the scheduler 1 (S102).
  • the job registration data includes a job definition, a storage location of learning target data, authentication information such as a user ID, and the like.
  • the scheduler 1 authenticates the user using the authentication information, but the authentication process is omitted here.
  • the scheduler 1 When a job is registered, the scheduler 1 confirms the GPU availability (GPU operating status) with the master 2 (S103), and acquires the GPU availability from the master 2 (S104). The scheduler 1 schedules a job using GPU free information and the like (S105), and instructs the master 2 to deploy the job (S106). This deploy instruction includes job definition, storage location of data to be learned, authentication information, and the like. The master 2 instructs the node 3 to deploy the job (S107). This deploy instruction includes job definition, storage location of learning target data, and so on.
  • Node 3 starts job execution and creates a virtual environment for the job (S108). Specifically, the node 3 creates a namespace such as Network namespace and a virtual environment such as a container. Further, the node 3 is set so that the job can access the learning target data. As a result, the storage destination (cluster shared storage 4) of the learning target data becomes accessible from the job.
  • a namespace such as Network namespace
  • a virtual environment such as a container
  • the job starts the learning process (S109) and executes the learning process while accessing the learning target data.
  • the job writes the learning result to the cluster shared storage 4 (S110).
  • the learning results may be written out sequentially or collectively at the end.
  • the job reports the execution completion to the node 3 (S112).
  • Node 3 deletes the virtual environment of the job (S113).
  • the node 3 also deletes the virtual network for the job.
  • the job execution is completed, the node 3 reports the job execution completion to the master 2 (S114).
  • the master 2 reports the job completion to the user as needed. Alternatively, the user may inquire the scheduler 1 or the master 2 about the completion of the job.
  • 21A, 21B and 21C are sequence diagrams showing the operation of the GPU cluster of the present embodiment. These are sequence diagrams when the cache cluster 7 fetches and uses the learning target data uploaded to the cluster shared storage 4.
  • the job registration data includes a job definition, a storage location of learning target data, authentication information such as a user ID, and the like.
  • the storage location of the learning target data is the cluster shared storage 4 in the case of pre-upload, and the user storage 6 in the case of not pre-uploading.
  • the job registration data includes closed connection information to the user storage 6. The user authentication process in scheduler 1 will be omitted.
  • the “closed connection establishment process” A connects a closed connection or a closed route between the user base and the cache cluster 7 under the control of the scheduler 1.
  • the “cluster storage process of learning target data” B stores the learning target data on the user storage 6 on the cache cluster 7 via a closed connection or a closed route established between the user base and the cache cluster 7. ..
  • the “closed connection release process” C releases the closed connection or closed route established between the user base and the cache cluster 7 under the control of the scheduler 1.
  • the scheduler 1 instructs the cache cluster 7 to prefetch the learning target data (S133). That is, the scheduler 1 instructs to store the learning target data in a predetermined storage location on the cache cluster 7.
  • the cache cluster 7 starts fetching the learning target data on the cluster shared storage 4 (S134).
  • the cache cluster 7 reports the completion of prefetching of the learning target data to the scheduler 1 (S135).
  • the scheduler 1 confirms the GPU availability and the like with the master 2 (S136) and acquires the GPU availability and the like from the master 2 (S137).
  • the scheduler 1 When not fetching all the learning target data, that is, when the job execution is speculatively started without waiting for the cache data of all the learning target data, the scheduler 1 performs the processing that continues without waiting for the completion of the prefetch. Run.
  • the scheduler 1 confirms the GPU availability and the like with the master 2 (S138), and acquires the GPU availability and the like from the master 2 (S139). Further, the scheduler 1 confirms the fetched data amount with the cache cluster 7 (S140), and acquires the fetched data amount from the cache cluster 7 (S141).
  • the scheduler 1 may perform the GPU free state confirmation processing of S138 and S139 and the fetch progress confirmation processing of the learning target data of S140 and S141 in parallel.
  • the scheduler 1 schedules a job using GPU free information and the like (S142), and instructs the master 2 to deploy the job (S143).
  • This deployment instruction includes a job definition, a storage location of learning target data, authentication information such as a user ID, and the like.
  • the master 2 instructs the node 3 to deploy the job (S144).
  • This deploy instruction includes job definition, storage location of learning target data, and so on.
  • Node 3 starts job execution and creates a virtual environment for the job (S145). Specifically, the node 3 creates a namespace such as Network namespace and a virtual environment such as a container. Further, the node 3 is set so that the job can access the learning target data. As a result, the storage destination (cache cluster 7) of the learning target data becomes accessible from the job.
  • a namespace such as Network namespace
  • a virtual environment such as a container
  • the job starts the learning process (S146), performs "data access to the cache cluster in the learning process" D, which will be described later, and executes the learning process while accessing the learning target data.
  • the job writes the learning result to the cache cluster 7 (S147).
  • the cache management unit 72 transparently writes the learning result to the cluster shared storage 4.
  • the job may write the learning result directly to the cluster shared storage 4. In that case, when creating a virtual environment for the job in S145. Set so that the job can access the cluster shared storage 4.
  • the job reports the execution completion to the node 3 (S149).
  • Node 3 deletes the virtual environment of the job (S150).
  • the node 3 also deletes the virtual network for the job.
  • the node 3 reports the job execution completion to the master 2 (S151).
  • the master 2 reports the job completion to the user as needed. Alternatively, the user may inquire the scheduler 1 or the master 2 about the completion of the job.
  • the scheduler 1 confirms the GPU availability status and the job completion status with the master 2 (S152), and acquires these information from the master 2 (S153).
  • the scheduler 1 instructs the cache cluster 7 to delete the cache data or the like of the learning target data (S154).
  • the cache cluster 7 deletes the cache data and the like (S155).
  • the cache cluster 7 executes writing back of the data written from the job to the cluster shared storage 4 in accordance with the deletion process.
  • the cache cluster 7 reports the completion of deletion to the scheduler 1 (S156).
  • 22A, 22B and 22C are sequence diagrams showing the operation of the GPU cluster of the present embodiment.
  • a sequence in which the cache cluster 7 directly fetches and uses the learning target data on the user storage 6 will be described.
  • the user registers the job in scheduler 1 (S161).
  • the job registration data includes a job definition, a storage location of learning target data (user storage 6), authentication information such as a user ID, and the like.
  • the job registration data includes closed connection information to the user storage 6.
  • the closed connection information will be described later.
  • the authentication process of scheduler 1 will be omitted.
  • the "closed connection establishment process” A which will be described later, is performed.
  • the “closed connection establishment process” A connects a closed connection or a closed route between the user base and the cache cluster 7 under the control of the scheduler 1.
  • the learning data on the user storage 6 at the user site can be accessed from the cache cluster 7 via the established closed connection or closed route.
  • the scheduler 1 instructs the cache cluster 7 to prefetch the learning target data (S162). That is, the scheduler 1 instructs to store the learning target data in a predetermined storage location on the cache cluster 7.
  • the cache cluster 7 starts fetching the learning target data on the user storage 6 via the closed connection or the closed route (S163). Since the processing of S164 to S171 is the same as the processing of S135 to S141 of FIG. 21B, description thereof will be omitted here.
  • the cache cluster 7 deletes the cache data and the like (S185). When the learning result is temporarily stored, the cache cluster 7 also deletes the learning result. The cache cluster 7 executes writing back of the data written from the job to the cluster shared storage 4 in accordance with the deletion process. The cache cluster 7 reports the completion of deletion to the scheduler 1 (S186).
  • FIG. 23 is a sequence diagram showing the operation of “closed connection establishment process” A.
  • a CPE 8 is arranged at the user base, and a closed connection is established between the CPE 8 and the cache cluster 7. Therefore, when CPE8 does not publish the API, the user sets the part where the scheduler 1 controls CPE8 by the API.
  • CPE8 may replace vCPE deployed within the carrier network.
  • the closed connection information to the user storage 6 included in the job registration data includes "closed connection information with the CPE” and "connection information to the API of the CPE".
  • the closed connection information does not include "CPE connection information to API”. This process will be described below.
  • the scheduler 1 instructs the cache cluster 7 to listen for a closed connection (S191).
  • This instruction includes information on a closed connection with the CPE 8.
  • the cache cluster 7 autonomously controls the acquisition of the learning target data after the closed connection is established, the "storage location of the learning target data" is also passed in the closed connection standby instruction.
  • the cache cluster 7 is set to listen for a closed connection (S192). As a result, the closed connection standby state is established.
  • the cache cluster 7 reports the completion of the closed connection standby process to the scheduler 1 (S193).
  • Information on the closed connection to the cache cluster 7 is generated in S191.
  • CPE8 does not disclose the API and the user sets CPE8, the contract procedure between the user and the business operator before the job registration is performed in advance. It will be decided by negotiation and notified to the user.
  • Scheduler 1 instructs CPE8 to establish a closed connection (S194).
  • the CPE 8 sets a closed connection (S195) and starts a closed connection with the cache cluster 7 (S196).
  • S195 closed connection
  • S196 starts a closed connection with the cache cluster 7
  • CPE8 does not disclose the API
  • job registration from the user and setting for establishing a closed connection to CPE8 by the user are performed asynchronously. Therefore, the process of starting the closed connection is repeatedly executed by CPE8 until the closed connection is established.
  • the cache cluster 7 accepts the closed connection to the CPE 8 (S197). This establishes a closed connection.
  • CPE8 reports the completion of the closed connection to scheduler 1 (S198). After that, the learning target data on the user storage 6 of the user base can be accessed from the cache cluster 7 or the cluster shared storage 4 via the established closed connection.
  • FIG. 24 is a sequence diagram showing the operation of "closed connection release processing" B.
  • CPE8 discloses an API for closed connection control.
  • the API is not open to the public, the user sets the part where the scheduler 1 controls CPE8 by the API.
  • CPE8 may replace vCPE deployed within the carrier network.
  • the closed connection information to the user storage 6 included in the job registration data includes "closed connection information with the CPE” and "connection information to the API of the CPE". However, if CPE8 does not disclose the API and the user sets CPE8, the closed connection information does not include "CPE connection information to API”.
  • a closed connection is established between the CPE 8 and the cache cluster 7 under the control of the scheduler 1. Under the control of the scheduler 1, the cache cluster 7 starts fetching the learning target data. The job is deployed under the control of scheduler 1 and learning is started. As the deployment timing, there are a case where all the learning target data is fetched by the cache cluster 7 and a case where the fetch is continued. The job is completed, and the scheduler 1 detects that the job has been executed. This process will be described below.
  • the information on the closed connection to the cache cluster 7 is as described above in S193 of "Connection processing for closed connection" in FIG. 23.
  • the scheduler 1 instructs the CPE 8 to release the closed connection (S201).
  • the CPE 8 starts releasing the closed connection to the cache cluster 7 (S202).
  • the cache cluster 7 accepts the cancellation of the closed connection to the CPE 8 (S203).
  • the CPE 8 deletes the closed connection (S204) and reports the completion of the cancellation of the closed connection to the scheduler 1 (S205).
  • the scheduler 1 instructs the cache cluster 7 to cancel the standby for the closed connection (S206).
  • This instruction includes information on a closed connection with the CPE 8.
  • the cache cluster 7 deletes the setting for waiting for the closed connection (S207), and reports the cancellation of the waiting for the closed connection to the scheduler 1 (S208).
  • S206-S208 cache cluster closed connection standby release processing precedes S201-S205 (CPE closed connection release processing). May be executed.
  • S202 starting the closed connection release
  • S204 detes the closed connection
  • the cancellation of the closed connection is started in accordance with S207, and the cancellation of the closed connection is accepted from CPE8.
  • FIG. 25 is a sequence diagram showing the operation of “closed connection establishment process” A.
  • CPE8 is arranged at the user base, and GW93 of the carrier network holds a connection interface to CPE8.
  • a closed connection has already been established between CPE8 and GW93 by PPPoE or the like, and by establishing a closed connection between GW93 and cache cluster 7, the GW93 relays the two closed connections.
  • PPPoE or the like PPPoE or the like
  • the GW93 relays the two closed connections.
  • Generate a route Through this closed route, the cache cluster 7 and the cluster shared storage 4 can access the user storage 6 under the CPE 8.
  • the GW93 holds an API for closed connection control.
  • a closed connection has been established between CPE8 and GW93 by PPPoE or the like, and the CPE8 can be connected to the Internet via this closed connection.
  • a job is registered in scheduler 1.
  • the closed connection information to the user storage 6 included in the job registration data includes "line identification information" (used for identifying the GW93 when the CPE 8 is connected). This process will be described below.
  • the scheduler 1 identifies the GW93 to which the CPE8 is connected (S211).
  • the scheduler 1 instructs the GW93 to set the standby for the closed connection and the relay setting for the closed connection (S212).
  • this relay setting after the closed connection with the cache cluster 7 is established, the closed connection between the CPE 8 and the GW 93 and the closed connection between the GW 93 and the cache cluster 7 are relayed by routing, a switch, etc., and the logical CPE 8 and the cache cluster 7 are relayed. It is a setting for generating a closed route between. By using this closed route, the cache cluster 7, the cluster shared storage 4, and the user storage 6 under the CPE 8 can be connected to each other.
  • the GW93 transfers data only destined for the cache cluster 7 or the cluster shared storage 4 to the closed route for the traffic from under the CPE 8. It can be shared with internet connection from under CPE8.
  • the GW93 implements the standby setting for the closed connection and the relay setting for the closed connection (S213). As a result, the standby state of the closed connection and the standby state of the closed connection relay are established.
  • the GW93 reports to the scheduler 1 the completion of the standby setting for the closed connection and the relay setting for the closed connection (S214). This report includes "information on closed connections to GW”.
  • the scheduler 1 instructs the cache cluster 7 to establish a closed connection (S215). This instruction includes "information on closed connection to GW".
  • the cache cluster 7 sets a closed connection (S216) and notifies the GW93 of the start of the closed connection (S217).
  • the GW93 accepts the closed connection to the cache cluster 7 (S218).
  • the closed connection standby state is established.
  • a closed route between the CPE 8 and the cache cluster 7 is established by relaying the closed connection by the GW93.
  • the cache cluster 7 reports the completion of establishment of the closed connection to the scheduler 1 (S219). After that, by going through the established closed route.
  • the learning target data on the user storage 6 of the user base can be accessed from the cache cluster 7 or the cluster shared storage 4.
  • FIG. 26 is a sequence diagram showing the operation of “closed connection release processing” C.
  • a closed connection has been established between the GW93 and the cache cluster 7, and a closed route has been established between the CPE 8 and the cache cluster 7 by the GW93.
  • the closed route between the CPE 8 and the cache cluster 7 is also released.
  • the GW93 holds an API for closed connection control.
  • a closed connection has been established between CPE8 and GW93 by PPPoE or the like, and the CPE8 can be connected to the Internet via this closed connection.
  • a job is registered in scheduler 1.
  • the closed connection information to the user storage 6 included in the job registration data includes "line identification information”.
  • a closed connection is established between the GW 93 and the cluster shared storage 4 under the control of the scheduler 1.
  • the GW93 establishes a closed route between the CPE 8 and the cache cluster 7.
  • the cache cluster 7 starts fetching the learning target data.
  • the job is deployed and learning is started under the control of the scheduler 1.
  • the deployment timing includes a case where all the learning target data is fetched by the cache cluster 7 and a case where the fetch is continued. This process will be described below.
  • Scheduler 1 instructs CPE8 to release the closed connection (S231).
  • This instruction includes "information on closed connection to GW93".
  • the cache cluster 7 starts releasing the closed connection with the GW93 (S232).
  • the GW93 accepts the cancellation of the closed connection to the cache cluster 7 (S233).
  • the cache cluster 7 deletes the closed connection (S234) and reports the completion of the cancellation of the closed connection to the scheduler 1 (S235).
  • the scheduler 1 instructs the GW93 to delete the closed connection standby setting and the closed connection relay setting (S236).
  • the GW93 deletes the closed connection standby setting and deletes the closed connection relay setting (S237).
  • GW93 reports the completion of deletion of S237 to scheduler 1 (S238).
  • FIGS 27 and 28 are sequence diagrams showing "cluster storage process of learning target data" B.
  • the learning target data on the user storage 6 is stored on the cluster shared storage 4.
  • the cache cluster 7 reads a block of data to be learned in the user storage 6 and repeatedly writes (replicates) the block on the cluster shared storage 4.
  • the block is a part of the data to be learned, and represents, for example, a set of one or more files, or a part of a file having a certain size.
  • a closed connection or a closed route is established between the cache cluster 7 and the CPE 8, and the cache cluster 7 accesses the learning target data of the user storage 6 via either of them. Further, when the cache cluster 7 detects the establishment of a closed connection or a closed route, the cache cluster 7 autonomously starts the storage process.
  • CPE8 may replace vCPE located in the carrier network.
  • a job is registered in scheduler 1.
  • a closed connection or a closed route is established between the CPE 8 and the cache cluster 7.
  • the cache cluster 7 is passed the "learning target data storage location" from the scheduler 1 to the cache cluster 7 in the closed connection or closed route establishment process. This process will be described below.
  • the cache cluster 7 With the establishment of the closed connection as an opportunity, the cache cluster 7 reads the learning target data from the user storage 6 in block units (S251) via the closed connection or the closed route, and reads the read block unit learning target data into the cluster shared storage 4. Write to (S252). The cache cluster 7 repeats S251 and S252 until all the learning target data is stored in the cluster shared storage 4. After storing all the learning target data, the cache cluster 7 notifies the scheduler 1 of the completion of acquisition of the learning target data (S253). This notification includes the storage location of the learning target data on the cluster shared storage 4.
  • the cache cluster 7 instructs the cluster shared storage 4 to acquire the learning target data on the user storage 6. Since the preconditions and the like are the same as those in FIG. 27, description thereof will be omitted here. This process will be described below.
  • the cache cluster 7 instructs the user storage 6 to acquire the learning target data when the closed connection is established (S271).
  • This instruction includes a "storage location of learning target data”.
  • the cluster shared storage 4 acquires learning target data from the user storage 6 via a closed connection or a closed route (S272). As a result, the learning target data of the user storage 6 is stored in the cluster shared storage 4 via the closed connection or the closed route.
  • the cluster shared storage 4 reports the completion of acquisition of the learning target data to the scheduler 1 (S273). This report includes the storage location of the learning target data on the cluster shared storage 4.
  • FIG. 29 is a sequence diagram showing "data access processing to the cache cluster in the learning process" D.
  • the job is speculatively deployed and learning is started before the cache (fetch) of the learning target data to the cache cluster 7 is completely completed.
  • the learning target data to be cached by the cache cluster 7 is stored in the user storage 6 or the cache cluster 7.
  • a job is registered in scheduler 1. Under the control of the scheduler 1, the cache cluster 7 starts caching the learning target data. The job is deployed. The learning target data of the cache cluster 7 can be accessed from the job. The job starts the learning process (S291). The job performs the learning process while accessing the learning target data. This process will be described below.
  • the job requests the cache cluster 7 to read the learning target data in block units (S292).
  • a cache miss occurs (S293), the cache cluster 7 performs transparent connection to the learning target data (S294, S295) and prefetching of the learning target data (S296) in parallel processing.
  • a cache miss refers to a state in which a requester (such as a job using the cache cluster 7) tries to read / write uncached data among the data cached by the cache cluster 7. Since the data does not exist, the data cannot be immediately responded to the requester.
  • the cache cluster 7 requests the cache target data from the origin while waiting for the request source, creates the cache data, and then responds to the request source.
  • the cache cluster 7 acquires the learning target data of the cache missed block from the origin (S294) and returns the learning target data of the acquired block to the job (S295).
  • the cache cluster 7 returns the data to the job while accessing the original data of the learning target data at the time of a cache miss. This allows the job to transparently access the origin of the data to be trained while hiding the occurrence of cache misses.
  • the data input process may be speeded up by not caching.
  • the learning target data several blocks ahead is read ahead and cached (S296).
  • the cache cluster 7 accesses the origin of the learning target data and returns the response to the job, and starts caching several blocks ahead in parallel for the block of the learning target data to be read by the job in the future. ..
  • the cache miss is made temporary, the occurrence of the subsequent cache miss is reduced, and the data input / output process is speeded up.
  • FIGS. 30A and 30B are sequence diagrams showing "job checkpoint processing".
  • Checkpoint processing is a process that freezes the virtual space and processes included in a running job and saves the state in several files (dumps).
  • Job checkpoint processing is implemented using, for example, CRIU (https://www.criu.org/Main_Page, https://github.com/checkpoint-restore/criu).
  • a cache error is allowed when the job reads the learning target data from the cache cluster 7. Specifically, when a cache miss occurs, the occurrence is detected and the job is checkedpoint. In this process, the job is speculatively deployed and learning is started before the fetch of the learning target data to the cache cluster 7 is completely completed.
  • the learning target data to be cached by the cache cluster 7 is stored in the user storage 6 or the cache cluster 7.
  • node 3 mounts the volume on the cache cluster 7 as a storage location for job dumps.
  • the storage location of the job dump may be on the cluster shared storage 4.
  • a job is registered in scheduler 1. Under the control of the scheduler 1, the cache cluster 7 starts caching the learning target data. The job is deployed. The learning target data of the cache cluster 7 can be accessed from the job. The job starts the learning process (S311). The job performs the learning process while accessing the learning target data. This process will be described below.
  • the cache cluster 7 detects continuous cache misses equal to or higher than a predetermined threshold value (S312), and notifies the scheduler 1 of the occurrence of the cache misses (S313).
  • the threshold value is arbitrarily determined by the cluster administrator. An appropriate value can be determined for the threshold value from the block size, communication speed, and the like.
  • the job detects the cache miss due to a decrease in the storage IO bandwidth (S314) and notifies the scheduler 1 of the occurrence of the cache miss (S315).
  • the node 3 reports the storage IO bandwidth of the job, the GPU usage rate, etc. to the master 2 (S316).
  • the scheduler 1 inquires the master 2 of the job status (S317).
  • the master 2 responds with the status of the job reported from the node 3 (S318).
  • the scheduler 1 detects the occurrence of a cache miss by confirming from the job status that the storage IO bandwidth of the job has decreased and that the GPU is almost unused.
  • the scheduler 1 When the scheduler 1 detects the occurrence of a cache miss, it instructs the master 2 to checkpoint the job (S319), and the master instructs the node 3 to checkpoint the job (S320). Node 3 checkspoint the job (S321). That is, the node 3 stores the dump of the job on the cache cluster 7. Node 3 mounts the cache cluster 7 in advance. A job checkpoint puts the job in a suspended state (suspended state). On the other hand, the prefetch of the uncached portion of the learning target data by the cache cluster 7 is continued.
  • Node 3 reports the completion of the job checkpoint to the master 2 (S322), and the master 2 reports the completion of the job checkpoint to the scheduler 1 (S323). This report includes the location of the job dump. Then, the "job restore process" E, which will be described later, is performed.
  • FIG. 31 is a sequence diagram showing another “job checkpoint processing”.
  • a cache error when the job reads the learning target data from the cache cluster 7 is prevented.
  • the occurrence of a cache miss is detected in advance, and the job is checkedpoint. Since the premise of this process is the same as that of FIG. 30A, the description thereof is omitted here. This process will be described below.
  • the cache cluster 7 When the job starts learning (S331), the cache cluster 7 starts monitoring the cache usage status. The generation of the cache is detected in advance from the transition between the cached learning target data amount and the data amount read by the job (S332). The cache cluster 7 notifies the scheduler 1 in advance of a cache miss occurrence (S333). The scheduler 1 instructs the master 2 to checkpoint the job (S334), and the master instructs the node 3 to checkpoint the job (S335). Node 3 checkspoint the job (S336). That is, the node 3 stores the job dump on the cache cluster 7 mounted in advance. A job checkpoint puts the job in a paused state. On the other hand, the prefetch of the uncached portion of the learning target data by the cache cluster 7 is continued.
  • Node 3 reports the completion of the job checkpoint to the master 2 (S337), and the master 2 reports the completion of the job checkpoint to the scheduler 1 (S338). This report includes the location of the job dump. Then, the "job restore process" E, which will be described later, is performed.
  • 32A, 32B and 32C are sequence diagrams showing "restore job” E. This process is the process from when the job is checkedpoint until the job resumes execution.
  • Job restoration is a process of restoring a job from a dump of a checked job and restarting the operation. Job restoration is realized using, for example, CRIU (https://www.criu.org/Main_Page, https://github.com/checkpoint-restore/criu).
  • node 3 mounts the volume on the cache cluster 7 as a storage location for job dumps.
  • the storage location of the dump may be on the cluster shared storage 4.
  • a job is registered in scheduler 1. Under the control of the scheduler 1, the cache cluster 7 starts caching the learning target data. The job is deployed. The learning target data of the cache cluster 7 can be accessed from the job. The job starts the learning process (S351). The job performs the learning process while accessing the learning target data.
  • the scheduler 1 checkspoint the job, the job execution is temporarily stopped. Even after the job is stopped, prefetching of the uncached portion of the training target data continues. This process will be described below.
  • the scheduler 1 queries the cache cluster 7 for the amount of cache data at the time of checkpoint, the cache speed of the cache cluster 7, and the amount of data to be learned (S356). (S357).
  • the data amount of the learning target data may be acquired from the user at the time of job registration.
  • the cache rate of the cache cluster 7 indicates the data input throughput when the cache cluster 7 caches the data to be learned.
  • the scheduler 1 calculates the waiting time candidate 1 (S358). Specifically, the scheduler 1 calculates the time until the cache data amount exceeds the threshold value as the time candidate 1 from the cache data amount and the cache speed at the checkpoint.
  • the scheduler 1 calculates the waiting time candidate 2 (S359). Specifically, the scheduler 1 calculates the time until all the learning target data is cached as the time candidate 2 from the cache data amount and the cache speed at the checkpoint.
  • the scheduler 1 compares the waiting candidate time 1 and the waiting candidate time 2 and waits for the shorter time (S360).
  • the scheduler 1 instructs the cache cluster 7 of the required amount of cache data (S361).
  • the cache cluster 7 caches the uncached portion of the learning target data (S362), and notifies the scheduler 1 when the instructed amount of data is cached (S363).
  • Scheduler 1 registers the checked suspend job in RQ23 (S364).
  • the scheduler 1 inquires of the master 2 about the availability status of the GPU (S365) and acquires it (S366). If there is free space on the GPU, the scheduler 1 schedules a job (S367). Specifically, the scheduler 1 schedules the job of RQ23 with priority over the normal job of DQ24.
  • the scheduler 1 instructs the master 2 to restore the job (S368), and the master 2 instructs the node 3 to restore the job (S369).
  • This instruction includes the location of the dump.
  • Node 3 executes job restore (S370) and resumes job execution (S371). For example, a virtual environment such as Network namespace is restored, and the learning process is restored to a state where it can be restarted from the situation at the time of checkpoint. Node 3 resumes the learning process (S372).
  • the scheduler 1 in the GPU cluster system of the present embodiment described above has a first queue selector 11 that stores the submitted jobs in the first stage queue 13-15 that stores jobs waiting to start fetching, and a first stage queue.
  • the first job selector 12 that takes out the jobs 13-15, registers them in the fetching job list 30, and starts fetching the data of the job stored in the storage 4 to the cache cluster 7, and the fetched data amount are predetermined. Jobs that exceed the threshold value of are fetched from the fetching job list 30, and jobs are selected from the second queue selector 21 and the second stage queue 23-25, which are stored in the second stage queue 23-25 that stores jobs waiting to be deployed.
  • It has a second job selector 22 that takes out and instructs the deployment of the job, the cache cluster 7 is specified as the storage location of the data of the job in the deployment instruction of the job, and the GPU cluster is set to the cache cluster 7. Access and execute the job.
  • the present embodiment it is possible to reduce the idle time of the GPU caused by insufficient storage speed and improve the operating rate of the GPU. That is, it is possible to speed up the reading of data such as learning target data, and it is possible to increase the operating rate of the GPU by the provider of the GPU cluster system.
  • the job before execution is registered in the fetching job list 30, and the cache cluster 7 is started to prefetch data.
  • the GPU can be used efficiently by prefetching data in parallel with the execution of the job by the GPU.
  • the GPU operating rate can be improved by suspending the job when the GPU is idle due to waiting for data and transferring the GPU to another job.
  • a general-purpose computer system as shown in FIG. 33 can be used.
  • the computer system shown is a CPU (Central Processing Unit, processor) 901, a memory 902, a storage 903 (HDD: Hard Disk Drive, SSD: Solid State Drive), a communication device 904, an input device 905, and an output device. 906 and.
  • the memory 902 and the storage 903 are storage devices.
  • each function of the scheduler 1 is realized by executing a predetermined program loaded on the memory 902 by the CPU 901.
  • the scheduler 1 may be implemented on one computer, or may be implemented on a plurality of computers. Further, the scheduler 1 may be a virtual machine mounted on a computer.
  • the program for scheduler 1 can be stored in a computer-readable recording medium such as HDD, SSD, USB (Universal Serial Bus) memory, CD (Compact Disc), DVD (Digital Versatile Disc), or distributed via a network. You can also do it.
  • a computer-readable recording medium such as HDD, SSD, USB (Universal Serial Bus) memory, CD (Compact Disc), DVD (Digital Versatile Disc), or distributed via a network. You can also do it.

Abstract

スケジューリング方法であって、スケジューラ１は、投入されたジョブをフェッチ開始待ちのジョブを格納する第１ステージキュー１３-１５に格納するステップと、第１ステージキュー１０のジョブを取り出してフェッチングジョブリスト３０に登録し、前記ジョブのデータのフェッチをキャッシュクラスタ７に開始させるステップと、フェッチしたデータ量が所定の閾値を超えたジョブをフェッチングジョブリスト３０から取り出しデプロイ待ちのジョブを格納する第２ステージキュー１２－２５に格納するステップと、第２ステージキュー２０からジョブを取り出し、当該ジョブのデプロイを指示するステップと、を行う。

Description

スケジューリング方法、スケジューラ、ＧＰＵクラスタシステムおよびプログラム
　本発明は、スケジューリング方法、スケジューラ、GPUクラスタシステムおよびプログラムに関する。
　GPU（Graphics Processing Unit）は、高精細な画像や動画のレンダリングなどに必要な計算処理を行うハードウェアである。近年、GPUは、機械学習（Machine Learning)などの演算器として用いられている。また、複数のGPUをクラスタ化したGPUクラスタの開発も行われている。コンテナ型のGPUクラスタを管理するオープンソース・ソフトウェアとしてKubernetesが存在する（非特許文献１）。
Kubernetes、［online］、インターネット＜URL: https://github.com/kubernetes/kubernetes＞ Kubernetes、［online］、インターネット＜URL: https://kubernetes.io/docs/concepts/overview/what-is-kubernetes/＞
　従来のGPUクラスタでは、ストレージにアップロードされた学習対象などのデータを読み出しながら機械学習処理などが行われる。GPUの処理速度は高速であるが、これに比べてストレージの処理速度は遅い。このため、ジョブが確保したGPUに、データの読み出し待ちによる遊休時間が発生してしまう。
　本発明は、上記事情に鑑みてなされたものであり、本発明の目的は、GPUの遊休時間を低減し、GPUの稼働率を向上させるスケジューリング方法、スケジューラ、GPUクラスタシステムおよびプログラムを提供することにある。
　上記目的を達成するため、本発明の一態様は、GPUクラスタシステムが行うスケジューリング方法であって、スケジューラは、投入されたジョブを、フェッチ開始待ちのジョブを格納する第１ステージキューに格納するステップと、第１ステージキューのジョブを取り出してフェッチングジョブリストに登録し、前記ジョブのデータのフェッチをキャッシュクラスタに開始させるステップと、フェッチしたデータ量が所定の閾値を超えたジョブを、フェッチングジョブリストから取り出し、デプロイ待ちのジョブを格納する第２ステージキューに格納するステップと、第２ステージキューからジョブを取り出し、当該ジョブのデプロイを指示するステップと、を行い、前記キャッシュクラスタは、フェッチングジョブリストに登録されたジョブのデータを、当該データが格納されたストレージからフェッチして、当該キャッシュクラスタに格納するステップを行い、GPUクラスタは、前記キャッシュクラスタのデータにアクセスして、ジョブを実行するステップを行う。
　本発明の一態様は、GPUクラスタシステムにおけるスケジューラであって、投入されたジョブを、フェッチ開始待ちのジョブを格納する第１ステージキューに格納する第１キューセレクタと、第１ステージキューのジョブを取り出してフェッチングジョブリストに登録し、ストレージに格納された、前記ジョブのデータのフェッチをキャッシュクラスタに開始させる第１ジョブセレクタと、フェッチしたデータ量が所定の閾値を超えたジョブを、フェッチングジョブリストから取り出し、デプロイ待ちのジョブを格納する第２ステージキューに格納する第２キューセレクタと、第２ステージキューからジョブを取り出し、当該ジョブのデプロイを指示する第２ジョブセレクタと、を有し、前記ジョブのデプロイ指示には、前記ジョブのデータの格納場所として前記キャッシュクラスタが指定され、GPUクラスタは前記キャッシュクラスタにアクセスして前記ジョブを実行する。
　本発明の一態様は、スケジューラと、キャッシュクラスタと、GPUクラスタとを備えるGPUクラスタシステムであって、前記キャッシュクラスタは、フェッチングジョブリストに登録されたジョブのデータを、当該データが格納されたストレージからフェッチして、当該キャッシュクラスタに格納し、前記GPUクラスタは、前記キャッシュクラスタのデータにアクセスして、ジョブを実行する。
　本発明の一態様は、上記スケジューラとして、コンピュータを機能させるプログラムである。
　本発明によれば、GPUの遊休時間を低減し、GPUの稼働率を向上させるスケジューリング方法、スケジューラ、GPUクラスタシステムおよびプログラムを提供することができる。
基本的なGPUクラスタシステムの構成図である。 ユーザストレージにアクセスする図１のGPUクラスタシステムの構成図である。 本実施形態のGPUクラスタシステムの構成図である。 キャッシュクラスタの構成図である。 スケジューラの構成図である。 第１キューセレクタの処理を示すフローチャートである。 第１ジョブセレクタの処理を示すフローチャートである。 第２キューセレクタの処理を示すフローチャートである。 第２ジョブセレクタの処理を示すフローチャートである。 実施例１のGPUクラスタの構成図である。 実施例２のGPUクラスタの構成図である。 実施例３のGPUクラスタの構成図である。 方式１の閉域接続を示す模式図である。 方式２の閉域接続を示す模式図である。 方式３の閉域接続を示す模式図である。 方式４の閉域接続を示す模式図である。 方式５の閉域接続を示す模式図である。 方式６の閉域接続を示す模式図である。 方式７の閉域接続を示す模式図である。 基本的なGPUクラスタシステムの動作を示すシーケンス図である。 本実施形態のGPUクラスタの動作を示すシーケンス図である。 本実施形態のGPUクラスタの動作を示すシーケンス図である。 本実施形態のGPUクラスタの動作を示すシーケンス図である。 本実施形態のGPUクラスタの動作を示すシーケンス図である。 本実施形態のGPUクラスタの動作を示すシーケンス図である。 本実施形態のGPUクラスタの動作を示すシーケンス図である。 方式２の「閉域接続の確立処理」を示すシーケンス図である。 方式２の「閉域接続の解除処理」を示すシーケンス図である。 方式７の「閉域接続の確立処理」を示すシーケンス図である。 方式７の「閉域接続の解除処理」を示すシーケンス図である。 「学習対象データのクラスタ格納処理」を示すシーケンス図である。 「学習対象データのクラスタ格納処理」を示すシーケンス図である。 「学習処理におけるキャッシュクラスタへのデータアクセス処理」を示すシーケンス図である。 「ジョブのチェックポイント処理」を示すシーケンス図である。 「ジョブのチェックポイント処理」を示すシーケンス図である。 「ジョブのチェックポイント処理」を示すシーケンス図である。 「ジョブのリストア処理」を示すシーケンス図である。 「ジョブのリストア処理」を示すシーケンス図である。 「ジョブのリストア処理」を示すシーケンス図である。 ハードウェア構成図である。
　以下、本発明の実施の形態について、図面を参照して説明する。
　（GPUクラスタシステムの基本構成）
　図１は、基本的なGPUクラスタシステムの概略構成を示す構成図である。図示するGPUクラスタシステムは、GPUを用いた学習処理を実行するためのGPU学習クラスタシステムである。
　クラスタ提供事業者（以下、「事業者」という）は、GPUクラスタを用いて学習処理を代行する設備をユーザ（利用者）に提供する。ユーザは、高価なGPUを保有せずに、GPUクラスタの利用時間等に応じて従量課金された金額を事業者に支払う。機械学習等の学習処理は一度実行すれば良いため、ユーザは、高価なGPUを購入するよりも、従量課金された金額を支払う方が低コストとなる。
　一方、GPUの稼働率を高めることが、事業者の利益最大化のポイントとなる。そのため、GPUクラスタシステムでは、多様なジョブ（Job）を実行できること（すなわちジョブの仮想化）、ジョブのデプロイが高速であることなどが求められる。
　図１を参照して基本的なGPUクラスタの動作概要を説明する。ここでは、GPUリソースをジョブの実行毎に割り当てるコンテナ型のクラスタを用いる。ユーザ端末５は、ユーザの指示により、GPUクラスタを提供する事業者から指示されたクラスタ共有ストレージ４Ａに学習対象となるデータ等を格納する（Ｓ１Ａ）。ユーザ端末５は、ユーザの指示により、実施したい学習処理のジョブをスケジューラ１Ａに登録する（Ｓ２Ａ）。スケジューラ１Ａは、複数のユーザ端末５から受け取ったジョブを優先順位、想定処理時間などを踏まえてスケジューリングし、 GPUリソースが確保でき次第マスタ２Ａにジョブの実行を指示する（Ｓ３Ａ）。
　マスタ２Ａは、ジョブをノードにデプロイし、GPUをアタッチし、GPUに学習処理を実行させる（Ｓ４Ａ）。すなわち、マスタ２Ａは、ジョブ毎に学習・推論のプログラムを実行するための仮想環境を生成し、GPUをアタッチする。マスタ２Ａは、ジョブが完了したらGPUを開放する。GPUは、予めクラスタ共有ストレージ４Ａにアップロードされた学習対象データを読み出しながら学習処理を行い、学習処理の結果をクラスタ共有ストレージ４Ａに格納する（Ｓ５Ａ）。ユーザは、自身のジョブの実行が終了すると、クラスタ共有ストレージ４Ａにアクセスすることで、学習処理の実行結果を取得することができる。
　図１に示す基本的なGPUクラスタシステムの場合、下記のような想定状況および制約条件に対応することが難しい。
　(1)学習プログラムの処理速度よりもストレージの速度（データ転送速度）が遅い場合、Ｓ５Ａの処理において、ストレージの速度不足によりジョブが確保したGPUに遊休時間が発生する。ビッグデータは、Cephなどを用いた大容量分散ストレージであるクラスタ共有ストレージ４に、無加工またはほぼ無加工で格納される。分散ストレージは、分散並列化の効果で大容量化しても低速化しないことが特徴であるが、劇的に高速化するわけではなく、高々 数百MB/s の性能である。
　GPUの処理速度に匹敵する高速なストレージは極めて高価であるため、ビッグデータすべてを格納できる容量の高価なストレージは用意できない。一方、ビッグデータ全体が同時に必要になることはない。
　(2)学習対象データを纏まった状態でクラスタ共有ストレージ４にアップロードできない、または、学習対象データが巨大過ぎて、全ての学習対象データをアップロードするのが現実的ではない場合がある。
　このような場合、図２に示すように、ユーザ端末５は、ユーザ拠点のユーザストレージ６Ａに学習対象データを格納し（Ｓ１Ａ’）、ノード３Ａのジョブは、ユーザストレージ６Ａに閉域接続し、ユーザストレージ６Ａに直接アクセスする（Ｓ５Ａ’）。しかしながら、ユーザストレージ６Ａからノード３Ａまでの通信区間があり、また、ユーザストレージ６Ａの速度が遅いことにより、学習プログラムの処理速度よりもデータ転送速度が遅くなり、GPUの遊休時間が発生する。
　(3) GPUを効率的に稼働させるために、データの蓄積と学習処理とを並行して実行させたい場合がある。
　このような状況に対応可能な本実施形態のGPUクラスタシステムについて、以下に説明する。
　（本実施形態のGPUクラスタシステム）
　図３は、本実施形態のGPUクラスタシステムの概略構成を示す構成図である。本実施形態のGPUクラスタシステムは、GPUを用いて学習処理を実行するためのGPU学習クラスタシステムである。学習処理は、学習対象データを読み込んで、機械学習等の処理を行うことである。この際、学習対象データの全てを一括で読み込むのではなく、ブロック単位やファイル単位などに分けて順々に読み込みながら学習処理を行う。
　図示するGPUクラスタシステムは、スケジューラ１と、マスタ２と、ノード３と、クラスタ共有ストレージ４と、キャッシュクラスタ７とを備える。ここでは、GPUリソースをジョブの実行毎に割り当てるコンテナ型のGPUクラスタを用いる。ユーザ拠点では、ユーザが学習対象データを格納するユーザストレージ６を備えていてもよい。
　本実施形態のGPUクラスタシステムは、高コストで高速なキャッシュクラスタ７（キャッシュ）を備え、スケジューラ１は、キャッシュクラスタ７とGPUとを同時にスケジュールする。大容量データは、通常時には低コストで低速なストレージ（クラスタ共有ストレージ４、ユーザストレージ６）に格納しておき、ジョブの実行の際にデータをキャッシュクラスタ７に格納する。これにより、本実施形態では、GPUは、高速なキャッシュクラスタ７からデータを読み出すため、GPUがデータ読み出し待ちで遊休してしまう事態を回避することができる。
　スケジューラ１（Scheduler）は、ユーザ端末５から投入されるジョブ（Job）を受け付ける。スケジューラ１は、GPUクラスタ内のGPUリソースの空き状況を監視し、空きがあれば、ジョブのデプロイ（実行環境に展開すること）をマスタ２に指示する。すなわち、スケジューラ１は、ジョブの実行をマスタ２に指示する。
　マスタ２（Master）は、ノード３（Node）の管理と、ジョブのデプロイを行う。マスタ２は、スケジューラ１からジョブのデプロイが指示されると、ノード３上にジョブに定義されたコンテナ等の仮想環境を構築し、仮想環境でジョブに定義されているプログラムを実行させる。マスタ２は、ジョブに定義されたプログラムが完了すると、仮想環境を削除する。
　ノード３（Node）には、複数のGPUがプールされている。GPUは、マスタ２にアタッチされるとジョブを実行する。ジョブは、ユーザが実行したいプログラム（例えば、学習、推論のプログラム）と、プログラムの実行環境とを定義したものである。具体的には、ジョブには、実行すべき１以上のプログラムと、その順序とが含まれる。また、ジョブには、プログラムを実行するための環境（仮想環境、ランタイム、OS、ディストリビューション、ライブラリ等）が含まれる。例えば、ジョブには、環境として、コンテナのイメージファイル名、VM（Virtual Machine）のイメージファイル名などが含まれる。また、必要があれば、ジョブは、上記環境を自動的に構築するための手順を含み、ジョブが自動で実行環境のイメージを生成してもよい。本実施形態のジョブはメインコンテナ（Main Container）を含み、メインコンテナ以外のコンテナを含んでもよい。メインコンテナは、本実施形態の学習プログラムを実行する仮想環境のコンテナである。なお、本実施形態では、仮想環境の実現形態としてコンテナを用いるが、VMでもよい。
　クラスタ共有ストレージ４（Cluster Shared Storage）は、データを格納するストレージシステムである。例えば、クラスタ共有ストレージ４には、学習対象データと、実行結果とが格納される。ジョブの仮想環境からクラスタ共有ストレージ４にアクセスできる。ユーザは、直接的または間接的に何らかの手段でクラスタ共有ストレージ４に、ジョブが読み込む学習対象データを格納できる。クラスタ共有ストレージ４では、大量の学習対象データを格納するため、例えばCeph、GlusterFS、Swift、RAID等のストレージ技術の利用が想定される。Ceph(https://ceph.io/)およびGlusterFS(https://www.gluster.org/)は、オープンソースの分散ストレージソフトウェアである。
　キャッシュクラスタ７（Cluster Shared Storage）については、後述する。
　次に、図３を参照して、本実施形態のGPUクラスタシステムの動作概要を説明する。ここでは、GPUリソースをジョブの実行毎に割り当てるコンテナ型のクラスタを用いる。
　本実施形態では、キャッシュクラスタ７がクラスタ共有ストレージ４またはユーザストレージ６からデータをフェッチする。なお、データを読み出す「フェッチ」は、以降において「キャッシュ」ともいう。
　ユーザ端末５は、ユーザの指示により、GPUクラスタシステムを提供する事業者から指示されたクラスタ共有ストレージ４またはユーザストレージ６に学習対象データ等を格納する（Ｓ１）。ユーザ端末５は、ユーザの指示により、実施したい学習処理のジョブをスケジューラ１に登録する（Ｓ２）。スケジューラ１は、キャッシュクラスタ７にデータをキャッシュするように指示する（Ｓ３）。キャッシュクラスタ７は、クラスタ共有ストレージ４またはユーザストレージ６から学習対象データのフェッチを開始する（Ｓ４）。スケジューラ１は、複数のユーザ端末５（ユーザ）から受け取ったジョブを登録順序、優先順位、必要リソース量(GPU数、CPU数など)、想定処理時間などを踏まえてスケジューリングし、 GPUリソースが確保でき次第、マスタ２にジョブの実行を指示する（Ｓ５）。必要リソース量は、ユーザが事前にジョブのメタデータに含めてスケジューラ１に通知してもよく、または、スケジューラ１がジョブの内容から推定してもよい。
　マスタ２は、ジョブをノードにデプロイし、GPUをアタッチし、キャッシュクラスタ７のキャッシュ領域をマウントして、GPUにジョブの学習処理を実行させる（Ｓ６）。すなわち、マスタ２は、ジョブ毎に学習・推論のプログラムを実行するための仮想環境を生成し、GPUをアタッチする。マスタ２は、ジョブが完了したらGPUを開放する。GPUは、キャッシュ領域にキャッシュされた学習対象のデータを読み出しながら学習処理を行い、学習処理の結果をキャッシュクラスタ７またはクラスタ共有ストレージ４に格納する（Ｓ７）。ユーザは、自身のジョブの実行が終了すると、キャッシュクラスタ７またはクラスタ共有ストレージ４にアクセスすることで、学習処理の実行結果を取得することができる。スケジューラ１は、ジョブの終了後にキャッシュ領域のデータを削除する（Ｓ８）。
　図４は、キャッシュクラスタ７の構成図である。図示するキャッシュクラスタ７は、VPN接続部７１（VPN Function）と、キャッシュ管理部７２（Cache Manager）と、１以上のストレージ７３（Storage）とを備える。
　VPN接続部７１は、閉域接続を開始または待受し、閉域接続を確立する。
　キャッシュ管理部７２は、１以上のストレージ７３をまとめてクラスタを構成する。キャッシュ管理部７２は、オリジン（原本）となるストレージ（クラスタ共有ストレージ４、ユーザストレージ６）に対してファイル共有プロトコル等を用いてアクセスし、オリジンが持つデータをキャッシュしつつ要求元にデータを共有する透過的なキャッシュ機能を有する。要求元が、キャッシュクラスタ７にデータを要求すると、キャッシュ管理部７２が要求されたデータがキャッシュ済みか否かを判断する。キャッシュ済みであれば当該データを要求元に返す。キャッシュ済みでなければ、オリジンとなるストレージにデータを要求し、オリジンとなるストレージから渡されたデータを要求元に返す。キャッシュ管理部７２は、クラスタ共有ストレージ４およびユーザストレージ６を操作する機能を有する。
　ストレージ７３は、オリジンとなるストレージからキャッシュしたデータを格納する。ストレージ７３には、NVMe、NVDIMMなどの高速なストレージを使用する。なお、VPN接続部７１は、キャッシュクラスタ７に内包されず、キャッシュクラスタ７から独立してGPUクラスタシステムに存在してもよい。また、キャッシュクラスタ７は、クラスタ共有ストレージ４を内包してもよい。
　図５は、スケジューラ１の構成図である。スケジューラ１は、第１ステージキュー１０と、第２ステージキュー２０と、フェッチングジョブリスト３０（Fetching Job List (以下、「FJL」)）と、アカウントDB３１（Accounting DB）と、GPU使用量監視部３２（GPU Utilization Monitor）と、を備える。アカウントDB３１は、各ユーザのGPU使用量を管理する。アカウントDB３１は、スケジューラ１内ではなく、スケジューラ１の外部に設置してもよい。また、アカウントDB３１には、事業者の既存のユーザデータベースなどを転用してもよい。GPU使用量監視部３２は、マスタ２またはノード３からGPU使用量を取得し、GPU使用量を監視する。
　第１ステージキュー１０には、フェッチ開始待ちのジョブが格納される。第１ステージキュー１０は、第１キューセレクタ１１(Queue Selector 1)と、複数のジョブキュー１３－１５と、第１ジョブセレクタ１２(Job Selector 1)とを備える。第１キューセレクタ１１は、ユーザ端末５から投入されたジョブを、フェッチ開始待ちのジョブを格納する第１ステージキュー１０のいずれかのジョブキュー１３－１５に格納する。第１キューセレクタ１１の処理は後述する。
　第１ジョブセレクタ１２は、第１ステージキューのジョブを取り出してフェッチングジョブリストに登録し、ストレージに格納された、前記ジョブのデータのフェッチをキャッシュクラスタに開始させる。本実施形態では、第１ジョブセレクタ１２は、ジョブキュー１３－１５に格納されたジョブを優先度等に従って取り出し、フェッチングジョブリスト３０に登録する。また、第１ジョブセレクタ１２は、アカウントDB３１にユーザの現時点のGPUの使用量を問い合わせ、ユーザの現時点の使用量に応じて、公平性割当量またはユーザ割当量を超過したジョブを対応するジョブキューに再配置する。第１ジョブセレクタ１２の処理は後述する。
　第１ステージのジョブキューには、ジョブキュー１３（Job Queue (以下、「JQ」)）と、公平性超過ジョブキュー１４（Over Fairness-quota Job Queue （以下「OFJQ」））と、ユーザ超過ジョブキュー１５（Over User-quota Job Queue (以下、「OUJQ」)）とが含まれる。
　JQ１３には、公平性割当量およびユーザ割当量を超えていないジョブが格納される。JQ１３は、ジョブのクラス（優先度）k毎に設けられる。ここでは、クラスkは1≦k≦nとし、最も高い優先度のクラスはk＝1とし、最も低い優先度のクラスはk＝nとする。クラスkのJQ１３は、「JQ k」と記載する場合もある。
　OFJQ１４には、公平性の観点から各ユーザに割り当てられたGPUの公平性割当量（quota）を超えたジョブが格納される。この公平性の割当量は、１人のユーザがGPUを独占し、他のユーザがGPUを使用できない状態を防止し、各ユーザにGPUを公平に割り当てるために、事業者が各ユーザのGPU使用量の上限を定めたものである。割当量は、例えば１か月などの所定期間の割当量である。OFJQ１４は、JQ１３と同様にジョブのクラスk 毎に設けられ、kは1≦k≦nとする。クラスkのジョブキュー１４は、「OFJQ k」と記載する場合もある。
　OUJQ１５には、ユーザが設定したGPUのユーザ割当量を超えたジョブが格納される。このユーザ割当量は、GPUの使用料金を予算内に抑えるために、ユーザが自身のGPU使用量の上限を定めたものである。割当量は、例えば１か月などの所定期間の割当量である。OUJQ１５に格納されたジョブは、デプロイおよびフェッチされない。ユーザ割当量が変更されるか、あるいは、現在の使用量が更新された場合、第１ジョブセレクタ１２は、OUJQ１５の先頭からジョブを取り出し、第１キューセレクタ１１は当該ジョブを対応するクラスのジョブキュー１３に振り分ける。現在の使用量が更新される場合は、例えば、月毎の使用量の上限を定めている場合、翌月となって使用量が0に更新される場合などである。
　第１ジョブセレクタ１２は、JQ１３のジョブをOFJQ１４のジョブより優先的にFJL３０に登録する。
　FJL３０は、データのフェッチを開始するジョブが登録されるリストである。キャッシュクラスタ７は、FJL３０に登録されたジョブをフェッチ（プリフェッチ）する。第１ジョブセレクタ１２は、ジョブをFJL３０に登録した後に、FJL３０に追加されたジョブのフェッチの開始をキャッシュクラスタ７に指示してもよい。キャッシュクラスタ７は、定期的にFJL３０をチェックし、新たなジョブが登録されると当該ジョブのフェッチを開始してもよい。フェッチされたデータ量が所定の閾値を超えたジョブは、第２ステージキュー２０に移される。閾値については、後述する。FJL３０には、サスペンド状態のジョブが登録されてもよい。
　第２ステージキュー２０には、デプロイ待ち状態のジョブが格納される。第２ステージキュー２０は、第２キューセレクタ２１(Queue Selector 2)と、複数のジョブキュー２３－２５と、第２ジョブセレクタ２２(Job Selector 2)とを備える。
　第２キューセレクタ２１は、フェッチしたデータ量が所定の閾値を超えたジョブをFJL３０から取り出し、第２ステージキュー２０のいずれかのキュー２３－２５に格納する。第２キューセレクタ２１の処理は後述する。第２ジョブセレクタ２２は、第２ステージキュー２０のいずれかのキュー２３－２５からジョブを取り出し、当該ジョブのデプロイを指示する。
　第２ステージのジョブキューには、リストアキュー２３（Restore Queue（以下、「RQ」））と、デプロイキュー２４（Deploy Queue（以下「DQ」））と、公平性超過キュー２５（Over Fairness-quota Deploy Queue（以下 (OFDQ)）とが含まれる。
　RQ２３には、フェッチしたデータ量が閾値を超えたリストア待ちのジョブが格納される。DQ２４には、フェッチしたデータ量が閾値を超えたデプロイ待ちのジョブが格納される。OFDQ２５には、フェッチしたデータ量が閾値を超えたジョブのうち、当該ジョブのユーザ（ジョブ所有者）の現在のGPU使用量が公平性割当量を超えているジョブが格納される。公平性割当量を超えたジョブは、GPUに空きがあり、他のジョブ（RQ２３およびDQ２４のジョブ）がない場合にデプロイ対象となる。他のジョブがある場合は、他のジョブが優先される。翌月となりユーザの使用量が0にリセットされるなどして、超過状態が解消された場合、OFDQ２５の先頭のジョブから取り出してRQ２３またはDQ２４に格納される。
　第２ジョブセレクタ２２は、RQ２３のジョブをDQ２４のジョブより優先的にデプロイ指示し、DQ２４のジョブをOFDQ２５のジョブより優先的にデプロイ指示する。また、第２ジョブセレクタ２２は、RQ２３、DQ２４の全てが空の場合、第２キューセレクタ２１を起動し、第２キューセレクタ２１にFJL３０の先頭のジョブ、またはFJL３０の中でフェッチしたデータ量が最も多いジョブを、RQ２３、DQ２４およびOFDQ２５のいずれかに格納させてもよい。また、RQ２３からジョブを取り出す際は、短期間でリストアとサスペンドを繰り返してしまわないように、サスペンド直後のジョブは一定時間または一定量フェッチが行われるまでデプロイ指示の対象外としてもよい。
　FJL３０からジョブを取り出す際のフェッチ済みデータ量の閾値は、例えば以下の方法で算出してもよい。
　第１の方法は、事業者またはユーザが定義した値を閾値とする。例えば、データ量の10%などとする。
　第２の方法は、ジョブ定義から閾値を算出する。具体的には、ジョブ定義に含まれるプログラムのループ処理の深さと、命令数とから計算量オーダを算出し、計算量オーダの大きさにより段階に分け、段階毎に閾値を決定する。また、計算量オーダが大きいほど時間あたりのデータ処理量(データ処理速度)が低下するため、計算量オーダが大きいほど閾値は小さくする。
　第３の方法は、後述するチェックポイントされるまでのジョブの実行状況から閾値を算出する。具体的には、これまでの実行状況からデータ処理速度Ｖｐとフェッチ速度Ｖｆを算出する。
　Ｖｆ≧Ｖｐの場合は、閾値＝Ｖｆ×Ｍとする。Ｍは任意の値である。
　Ｖｆ＜Ｖｐの場合は、閾値＝（１－Ｖｆ／Ｖｐ）×Ｓ＋Ｖｐ×Ｍとする。Ｓは処理されていない残りのデータ量、Ｍは任意の値である。
　図６は、第１キューセレクタ１１の処理を示すフローチャートである。第１キューセレクタ１１は、ジョブを受け付けると（Ｓ１１）、ジョブの所有者であるユーザの優先クラスをアカウントDB３１取得する（Ｓ１２）。ここでは、優先クラスはkとする（Ｓ１３）。第１キューセレクタ１１は、GPUの公平性割当量と、ユーザの現在使用量とを比較し（Ｓ１４）、現在使用量が公平性割当量を超えていない場合（Ｓ１５：true）、GPUのユーザ割当量とユーザの現在使用量とを比較する（Ｓ１６）。
　現在使用量がユーザ割当量を超えていない場合（Ｓ１７：true）、第１キューセレクタ１１は、Ｓ１１で受信したジョブを優先クラスkのJQ k１３の末尾に格納する（Ｓ１８）。現在使用量がユーザ割当量を超えている場合（Ｓ１７：false）、第１キューセレクタ１１は、Ｓ１１で受信したジョブをOUJQ１５ の末尾に格納する（Ｓ１９）。現在使用量が公平性割当量を超えている場合（Ｓ１５：false）、第１キューセレクタ１１は、Ｓ１１で受信したジョブを優先クラスkのOFJQ k１４の末尾に格納する（Ｓ２０）。
　図７は、第１ジョブセレクタ１２の処理を示すフローチャートである。図７の処理は、第１キューセレクタ１１にジョブが投入されることをトリガとして開始される。また、図７の処理は、第２キューセレクタ２１がFJL３０に空きができたことを検知することをトリガとして開始される。
　第１ジョブセレクタ１２は、FJL３０に空きがある場合（Ｓ３１：true）、k（優先クラス）に1を設定する（Ｓ３２）。k＝1のJQ k１３にジョブがある場合（Ｓ３３：true）、第１ジョブセレクタ１２は、JQ k１３からジョブを取り出し（Ｓ３４）、ジョブ所有者の公平性割当量と、現在使用量とを比較する（Ｓ３５）。現在使用量が公平性割当量を超えていない場合（Ｓ３６：true）、第１ジョブセレクタ１２は、ジョブ所有者のユーザ割当量と現在使用量とを比較する（Ｓ３７）。
　現在使用量がユーザ割当量を超えていない場合（Ｓ３８：true）、第１ジョブセレクタ１２は、Ｓ３４で取り出したジョブをFJL３０の末尾に格納する（Ｓ３９）。現在使用量がユーザ割当量を超えている場合（Ｓ３８：false）、第１ジョブセレクタ１２は、第１キューセレクタ１１を介して、Ｓ３４で取り出したジョブをOUJQ１５の末尾に格納する（Ｓ４０）。現在使用量が公平性割当量を超えている場合（Ｓ３６：false）、第１ジョブセレクタ１２は、第１キューセレクタ１１を介してＳ３４で取り出したジョブを優先クラスkのOFJQ k１４の末尾に格納する（Ｓ４１）。
　k＝1のJQ k１３にジョブがない場合（Ｓ３３：false）、第１ジョブセレクタ１２は、k に1を加算し（Ｓ４２）、k≦nの場合（Ｓ４３：：true）、Ｓ３３に戻り以降の処理を行う。k＞nの場合（Ｓ４３：false）、第１ジョブセレクタ１２は、kに1を設定する（Ｓ４４）。k＝1のOFJQ k１４にジョブがある場合（Ｓ４５：true）、第１ジョブセレクタ１２は、OFJQ k１４からジョブを取り出し（Ｓ４８）、取り出したジョブのジョブ所有者のユーザ割当量と現在使用量とを比較し（Ｓ３７）、Ｓ３８に進む。Ｓ３８以降の処理は、前述したとおりであるため説明を省略する。
　k＝1のOFJQ k１４にジョブがない場合（Ｓ４５：false）、第１ジョブセレクタ１２は、k に1を加算し（Ｓ４６）、k≦nの場合（Ｓ４７：true）、Ｓ４５に戻り以降の処理を行う。k＞nの場合（Ｓ４７：false）、第１ジョブセレクタ１２は、処理を終了する。
　図８は、第２キューセレクタ２１の処理を示すフローチャートである。図８の処理は、定期的に実行される。第２キューセレクタ２１は、変数iに1を設定し（Ｓ５１）、FJL３０のi番目のジョブが存在する場合（Ｓ５２：true）、i番目のジョブのフェッチ済みの学習対象データのデータ量が閾値を超過しているか否かを判定する（Ｓ５３）。第２キューセレクタ２１は、キャッシュクラスタ７（キャッシュ管理部７２）にフェッチ済みのデータ量を問い合わせる。フェッチ済みのデータ量が閾値を超過していない場合（Ｓ５３：false）、第２キューセレクタ２１は、i に1を加算し（Ｓ５４）、Ｓ５２に戻り以降の処理を行う。
　フェッチ済みデータ量が閾値を超過している場合（Ｓ５３：true）、第２キューセレクタ２１は、FJL３０のi番目のジョブを取り出し、デキューする（Ｓ５５）。第２キューセレクタ２１は、取り出したジョブのメタデータを確認して（Ｓ５６）、当該ジョブがサスペンド状態（一時停止状態）の場合（Ｓ５７：true）、RQ２３に当該ジョブを格納する（Ｓ６３）。第２キューセレクタ２１は、FJL３０に空きができたため、第１ジョブセレクタ１２を起動する（Ｓ６１）。
　取り出したジョブがサスペンド状態でない場合（Ｓ５７：false）、第２キューセレクタ２１は、ジョブ制御を進めるか否かを判定するために、ジョブ所有者の公平性割当量と減現在使用量とを確認する（Ｓ５８）。現在使用量が公平性割当量を超えていない場合（Ｓ５９：true）、第２キューセレクタ２１は、DQ２４に当該ジョブを格納し（Ｓ６３）、第１ジョブセレクタ１２を起動する（Ｓ６１）。現在使用量が公平性割当量を超えている場合（Ｓ５９：false）、第２キューセレクタ２１は、OFDQ２５に当該ジョブを格納し（Ｓ６２）、第１ジョブセレクタ１２を起動する（Ｓ６１）。
　また、第２キューセレクタ２１は、GPU使用量監視部３２にGPUの使用量を問い合わせる。GPU使用量監視部３２は、マスタ２またはノード３からGPUの使用量を取得し、第２キューセレクタ２１に回答する。GPUに空きがあり（Ｓ６４：true）、RQ２３が空で（Ｓ６５：true）、DQ２４が空で（Ｓ６６：true）、FJL３０に1番目のジョブが存在する場合（Ｓ６７：true）、第２キューセレクタ２１は、FJL３０の1番目のジョブを取り出し（Ｓ６８）、Ｓ５６に進む。GPUの使用率を最大に高めるために、本実施形態では、実行すべきRQ２３およびDQ２４のジョブがなくなった場合、フェッチが不十分なFJL３０のジョブであってもデプロイさせる。すなわち、第２キューセレクタ２１は、RQ２３およびDQ２４が共に空の場合、FJL３０の1番目のジョブをフェッチが不十分であっても取り出していずれかのキュー２３－２５にエンキューする。Ｓ６４からＳ６７の少なくとも１つがfalseの場合、第２キューセレクタ２１は、第１ジョブセレクタ１２を起動する（Ｓ６１）。
　なお、学習対象データが格納されたストレージのI/O速度、通信速度などにより、FJL３０に格納されたジョブのうち、１番目（先頭）のジョブのフェッチ済みデータ量が、最も多いとは限らない。このような場合を考慮して、Ｓ６８で第２キューセレクタ２１は、FJL３０の中でフェッチしたデータ量が最も多いジョブを取り出し、Ｓ５６に進み、当該ジョブをRQ２３、DQ２４およびOFDQ２５のいずれかに格納させてもよい。すなわち、第２キューセレクタ２１は、FJL３０内のジョブのうち最もフェッチが進んだジョブを取り出してもよい。
　図９は、第２ジョブセレクタ２２の処理を示すフローチャートである。GPU使用量監視部３２は、GPUに空きがあると第２ジョブセレクタ２２を起動し、図９の処理が行われる。第２ジョブセレクタ２２は、RQ２３が空でない場合（Ｓ７１：false）、RQ２３から１つのジョブを取り出しJに格納する（Ｓ７２）。RQ２３が空の場合（Ｓ７１：true）で、DQ２４が空でない場合（Ｓ７５：false）、第２ジョブセレクタ２２は、DQ２４から１つのジョブを取り出しJに格納する（Ｓ７６）。DQ２４が空の場合（Ｓ７５：true）で、FJL３０が空で（Ｓ７７：true）、OFDQ２５が空でない場合（Ｓ７８：false）、第２ジョブセレクタ２２は、OFDQ２５から１つのジョブを取り出しJに格納する（Ｓ７９）。
　Ｓ７２、Ｓ７６およびＳ７９の後、第２ジョブセレクタ２２は、マスタ２にＪのデプロイを指示し（Ｓ７３）、第２キューセレクタ２１を起動する（Ｓ７４）。OFDQ２５が空の場合（Ｓ７８：true）、第２ジョブセレクタ２２は、第２キューセレクタ２１を起動する（Ｓ７４）。FJL３０が空でない場合（Ｓ７７：false）、第２ジョブセレクタ２２は、第２キューセレクタ２１を起動し、第２キューセレクタ２１の動作完了を待機して（Ｓ８０）、Ｓ７１へ進む。このように、第２ジョブセレクタ２２は、RQ２３、DQ２４およびOFDQ２５の全てが空の場合、第２キューセレクタ２１を起動し、FJL３０の先頭のジョブを、RQ２３、DQ２４およびOFDQ２５のいずれかに格納させる。
　（実施例１）
　図１０は、実施例１のGPUクラスタの構成図である。本実施例は、学習対象データを低速なクラスタ共有ストレージ４（分散ストレージ）に事前に格納している。ジョブの実行が近くなると、キャッシュクラスタ７（キャッシュ管理部７２）は、学習対象データをクラスタ共有ストレージ４からキャッシュクラスタ７にプリフェッチする。GPUに空きができると、マスタ２は、キャッシュクラスタ７の領域をノード３にマウントする。キャッシュ領域のマウントは、RDMA-fs （RDMAデバイス上のデータをファイルシステム化する仕組み）、NFS over RDMA、GlusterFSなどを用いて実装する。RDMA用の転送パスは、TSN(Time Sensitive Networking)等で帯域保証する。本実施例では、Lossless DC fabricなどの高速・帯域確保型ネットワークを構築し、スパインスイッチ（Spine SW）などの各種スイッチ（SW）を用いてデータを転送する。
　本実施例では、(1)スケジューラ１は、ジョブ待機中に当該ジョブのデータのプリフェッチを、キャッシュクラスタ７に指示する。これにより、キャッシュクラスタ７は、前記指示によりクラスタ共有ストレージ４からデータをプリフェッチする。(2)スケジューラ１は、ジョブのデプロイをマスタ２に指示し、マスタ２はジョブをGPUにアサインする。(3)マスタ２は、キャッシュクラスタ７のキャッシュ領域を、RDMA-fs等を用いてマウントする。(4)GPUは、ジョブを実行する。(5)スケジューラ１は、ジョブの実行後に、キャッシュクラスタ７のキャッシュデータを削除する。
　（実施例２）
　図１１は、実施例２のGPUクラスタの構成図である。本実施例は、ユーザ拠点のユーザストレージ６にオンライン接続する。すなわち、本実施例では、低速なユーザストレージ６に格納された学習対象データにオンラインで接続する。
　本実施例では、GPUクラスタシステム内では、実施例１と同様にLossless DC fabricなどの高速・帯域確保型ネットワークを構築し、スパインスイッチ（Spine SW）などの各種スイッチ（SW）を用いてデータを転送する。GPUクラスタシステムとユーザ拠点との間は、Access/MetroネットワークをBorder Leafなどスイッチで接続してデータ転送パス（VPN、専用線等)を構築する。本実施例の動作は、以下のとおりである。
　(1)キャッシュクラスタ７（キャッシュ管理部７２）は、ユーザ拠点のユーザストレージ６のデータを転送し、キャッシュクラスタ７のメモリ（NV-DIMM）にプリフェッチする。なお、キャッシュメモリにデータの一部を置くだけなのでダウンロードに相当しない。
　(2)キャッシュクラスタ７のメモリに一定量のキャッシュデータが溜まったら、GPUはジョブを実行する。
　(3)GPUがキャッシュデータを使い切ると、GPUは、ジョブを一時中断し、リソースを開放する。リソースの開放にはCRIU (Checkpoint/Restore In Userspace)のような技術を用いることで，ジョブのプログラムに一時中断のための機能を実装する必要がなくなる。CRIUは、プロセスを終了せずに、一時停止、保存、再開する技術である。
　(4)キャッシュクラスタ７は、処理中のプロセスデータをキャッシュクラスタ７に書き込む。
　(5)キャッシュクラスタ７のメモリに一定量のキャッシュデータが溜まったら、GPUを確保する。
　(6)プロセスデータを書き戻し、ジョブの処理を再開（リストア）する。
　(7)ジョブの処理が完了したら終了する。完了していない場合は、(3)に戻り以降の処理を繰り返す。
　（実施例３）
　図１２は、実施例３のGPUクラスタの構成図である。本実施例では、複数のデータセンタ４０が分散して存在する。データセンタ４０には、複数のマスタ２およびノード３を含むGPUクラスタと、キャッシュクラスタ７と、クラスタ共有ストレージ４とを備える。データセンタ４０は、クラスタ共有ストレージ４を備えなくてもよい。
　スケジューラ１は、ジョブの配置先をユーザ拠点から近いGPUクラスタに配置する。ユーザ自らデータをクラスタ共有ストレージ４にアップロードする場合は、スケジューラ１は、ユーザがデータをアップロードしたクラスタ共有ストレージ４になるべく近いGPUクラスタを選択する。
　（閉域接続方式）
　以下に、実施例２のユーザ拠点のユーザストレージ６に格納された学習対象データをキャッシュクラスタ７がフェッチする場合に、ユーザ拠点とキャッシュクラスタ７との閉域接続方式について説明する。
　図１３は、方式１の閉域接続を示す模式図である。本方式では、ユーザストレージ６が閉域接続の機能の有し、キャッシュクラスタ７からの閉域接続を待ち受けている。学習対象データのプリフェッチの際に、キャッシュクラスタ７がユーザストレージ６に対し閉域接続を開始する。学習対象データの取得が完了すると、キャッシュクラスタ７は、閉域接続を解除する。これにより、ユーザストレージ６は、閉域接続の待受状態に戻る。ユーザストレージ６は、常時、閉域接続の待ち受ける状態である。ユーザ拠点には加入者側回線終端装置（以下「CPE」)が配置される。ユーザは、閉域接続のための設定をGPUクラスタシステムの事業者と事前に折衝し、決めておく必要がある。ユーザは、自身のユーザストレージ６にキャッシュクラスタ７との閉域接続のための設定をする必要がある。
　図１４は、方式２の閉域接続を示す模式図である。本方式では、ユーザ拠点のCPE８は、VPN接続部と、スケジューラ１からの制御に対応するためのAPI（制御部）とを備える。本方式は、オンデマンドで閉域接続を構成する。ユーザは、スケジューラ１にジョブを登録する際に、当該ジョブにCPE８のAPIへの接続情報を含める。スケジューラ１は、キャッシュクラスタ７にCPE８からの閉域接続を待ち受けるよう指示する。CPE８は、スケジューラ１からの指示を受けて、指示された接続先(キャッシュクラスタ７)に対し閉域接続を要求する。閉域接続が確立すると、キャッシュクラスタ７は、ユーザストレージ６上の学習対象データをGPUクラスタシステムに複製する。複製先は、キャッシュクラスタ７またはクラスタ共有ストレージ４のいずれかである。ジョブが完了すると、スケジューラ１は、CPE８に閉域接続の設定削除を指示する。
　図１５は、方式３の閉域接続を示す模式図である。本方式では、方式２と同様に、CPE８は、VPN接続部と、API（制御部）とを備える。本方式では、スケジューラ１は、CPE８には閉域接続を待受させ、キャッシュクラスタ７に閉域接続開始を指示する。本方式は、オンデマンドで閉域接続を構成する。ユーザは、スケジューラ１にジョブを登録する際に、当該ジョブにCPE８のAPIへの接続情報を含める。スケジューラ１は、CPE８にキャッシュクラスタ７からの閉域接続を待ち受けるよう指示する。キャッシュクラスタ７は、スケジューラ１からの指示を受けて、指示された接続先(CPE８)に対し閉域接続を要求する。閉域接続が確立すると、キャッシュクラスタ７は、ユーザストレージ６上の学習対象データをGPUクラスタシステムに複製する。複製先は、キャッシュクラスタ７またはクラスタ共有ストレージ４のいずれかである。ジョブが完了すると、スケジューラ１は、CPEに閉域接続の設定削除を指示する。
　図１６は、方式４の閉域接続を示す模式図である。本方式では、キャリア網内に、仮想化された加入者側回線終端装置（以下、「vCPE」)９２を設置する。vCPE９２は、VPN接続部と、スケジューラ１から制御に対応するAPI（制御部）とを有する。
　本方式は、オンデマンドで閉域接続を構成する。ユーザは、スケジューラ１にジョブを登録する際に、当該ジョブにユーザストレージ６が接続されている回線を識別するための回線識別情報を含める。スケジューラ１は、キャッシュクラスタ７にvCPE９２からの閉域接続を待ち受けるよう指示する。vCPE９２は、スケジューラ１からの指示を受けて、指示された接続先(キャッシュクラスタ７)に対し閉域接続を要求する。閉域接続が確立すると、キャッシュクラスタ７は、ユーザストレージ６上の学習対象データをGPUクラスタシステムに複製する。複製先は、キャッシュクラスタ７またはクラスタ共有ストレージ４のいずれかである。ジョブが完了すると、スケジューラ１は、vCPE９２に閉域接続の解除を指示する。ユーザ拠点には、光回線終端装置(以下、「ONU」)９１またはモデムなどが設置され、vCPE９２と接続される。ONU９１等は、vCPE９２とのレイヤ2接続(Ethernet等)を提供する。
　図１７は、方式５の閉域接続を示す模式図である。本方式では、キャリア網内に方式４と同様にvCPE９２を備える。ユーザ拠点には、ONU９１等が設置される。ONU９１等は、vCPE９２と接続され、vCPE９２とのレイヤ2接続を提供する。本方式では、スケジューラ１は、vCPE９２には閉域接続を待受させ、キャッシュクラスタ７に閉域接続開始を指示する。
　本方式は、オンデマンドで閉域接続を構成する。ユーザは、スケジューラ１にジョブを登録する際に、当該ジョブにユーザストレージ６が接続されている回線を識別するための回線識別情報を含める。スケジューラ１は、vCPE９２にキャッシュクラスタ７からの閉域接続を待ち受けるよう指示する。キャッシュクラスタ７は、スケジューラ１からの指示を受けて、指示された接続先(vCPE９２)に対し閉域接続を要求する。閉域接続が確立すると、キャッシュクラスタ７は、ユーザストレージ６上の学習対象データをGPUクラスタシステムに複製する。複製先は、キャッシュクラスタ７またはクラスタ共有ストレージ４のいずれかである。ジョブが完了すると、スケジューラ１は、vCPE９２に閉域接続の解除を指示する。
　図１８は、方式６の閉域接続を示す模式図である。本方式では、キャリア網内に方式４と同様にvCPE９２を備える。ユーザ拠点には、方式１と同様のCPE８が設置され、vCPE９２と接続される。
　本方式は、オンデマンドで閉域接続を構成する。スケジューラ１は、vCPE９２にキャッシュクラスタ７とCPE８からの閉域接続要求に対する待受開始を指示する。スケジューラ１は、キャッシュクラスタ７に対し、vCPE９２への閉域接続を指示する。スケジューラ１は、CPE８にvCPE９２への閉域接続を指示する。閉域接続が確立すると、キャッシュクラスタ７は、ユーザストレージ６上の学習対象データをGPUクラスタシステムに複製する。複製先は、キャッシュクラスタ７またはクラスタ共有ストレージ４のいずれかである。ジョブが完了すると、スケジューラ１は、vCPE９２およびCPE８に閉域接続の解除を指示する。
　vCPE９２のインスタンスのパターンとしては、事前にデプロイしたものをプールしておき、ジョブの学習対象データのプリフェッチ開始時にユーザ拠点の最寄りのvCPE９２をアサインしてもよい。また、ジョブの学習対象データのプリフェッチ開始時に、vCPEのインスタンスをデプロイしてもよい。
　図１９は、方式７の閉域接続を示す模式図である。本方式では、キャリア網内にあるPPPoE等をISPに中継するゲートウェイ装置（以下「GW」）９３を用いて、閉域接続を行う。本方式のGW９３には、キャッシュクラスタ７との閉域接続を行う接続部と、スケジューラ１から制御に対応するAPI（制御部）とが追加される。通常、インターネットアクセスでは，PPPoEやDS-lite等のトンネリングプロトコルを使用してキャリア網内の中継装置を介してISPに接続される。ユーザ拠点に設置されるCPE８は、加入者側でこれらのプロトコルを終端する装置であり、殆どの場合は常時GW９３に対して閉域接続を行っている。スケジューラ１は、GW９３とキャッシュクラスタ７の間に閉域接続を確立し、GW９３にユーザストレージ６とキャッシュクラスタ７との通信を中継させる。キャッシュクラスタ７以外の装置とCPE８との通信は、通常通りISPへのトンネルに転送し、インターネットアクセス９４とする。
　本方式は、オンデマンドで閉域接続を構成する。スケジューラ１は、閉域接続の設定時に、GW９３に対し、キャッシュクラスタ７からの閉域接続要求に対する待受開始を指示する。指示対象のGW９３は，回線識別情報等から特定する。スケジューラ１は、キャッシュクラスタ７に対しGW９３への閉域接続を要求する。閉域接続が確立すると、ユーザストレージ６とキャッシュクラスタ７の通信をGW９３が中継し通信経路が確立する。
　（GPUクラスタシステムの動作）
　以下にGPUクラスタシステムの動作について説明する。
　図２０は、図１に示す基本的なGPUクラスタシステムの動作を示すシーケンス図である。ユーザは、学習対象データをクラスタ共有ストレージ４にアップロードし（Ｓ１０１）、ジョブをスケジューラ１に登録する（Ｓ１０２）。ジョブの登録データには、ジョブの定義、学習対象データの格納場所、ユーザＩＤなどの認証情報などが含まれる。スケジューラ１は、認証情報を用いてユーザを認証するが、ここでは認証処理については省略する。
　スケジューラ１は、ジョブが登録されると、GPUの空き状況など（GPUの稼働状況）をマスタ２に確認し（Ｓ１０３）、マスタ２からGPUの空き状況などを取得する（Ｓ１０４）。スケジューラ１は、GPUの空き情報等を用いて、ジョブをスケジューリングし（Ｓ１０５）、マスタ２にジョブのデプロイを指示する（Ｓ１０６）。このデプロイ指示には、ジョブの定義、学習対象データの格納場所、認証情報などが含まれる。マスタ２は、ノード３にジョブのデプロイを指示する（Ｓ１０７）。このデプロイ指示には、ジョブの定義、学習対象データの格納場所などが含まれる。
　ノード３は、ジョブの実行を開始し、ジョブの仮想環境を作成する（Ｓ１０８）。具体的には、ノード３は、Network namespace等の名前空間やコンテナなどの仮想環境を生成する。また、ノード３は、学習対象データにジョブがアクセスできるように設定する。これにより、学習対象データの格納先（クラスタ共有ストレージ４）がジョブからアクセス可能になる。
　ジョブは、学習処理を開始し（Ｓ１０９）、学習対象データにアクセスしながら学習処理を実行する。ジョブは、学習結果をクラスタ共有ストレージ４に書き出す（Ｓ１１０）。学習結果は、逐次書き出す場合と、最後にまとめて書き出す場合とがある。ジョブは、学習処理が終了すると（Ｓ１１１）、実行完了をノード３に報告する（Ｓ１１２）。ノード３は、ジョブの仮想環境等を削除する（Ｓ１１３）。また、ノード３は、ジョブのための仮想ネットワークなども併せて削除する。ジョブの実行が完了するとノード３は、ジョブの実行完了をマスタ２に報告する（Ｓ１１４）。マスタ２は、必要に応じてユーザにジョブ完了を報告する。あるいは、ユーザがスケジューラ１またはマスタ２にジョブの完了を問い合わせてもよい。
　図２１Ａ、図２１Ｂおよび図２１Ｃは、本実施形態のGPUクラスタの動作を示すシーケンス図である。これらは、クラスタ共有ストレージ４にアップロードされた学習対象データを、キャッシュクラスタ７がフェッチして利用する場合のシーケンス図である。
　ジョブ登録前に学習対象データをアップロードする場合、ユーザは、ユーザストレージ６に格納している学習対象データをクラスタ共有ストレージ４にアップロードし（Ｓ１３１）、ジョブをスケジューラ１に登録する（Ｓ１３２）。ジョブの登録データには、ジョブの定義、学習対象データの格納場所、ユーザＩＤなどの認証情報などが含まれる。学習対象データの格納場所は、事前アップロードの場合はクラスタ共有ストレージ４であり、事前アップロードしない場合はユーザストレージ６である。また、事前アップロードしない場合は、ジョブの登録データには、ユーザストレージ６への閉域接続情報などが含まれる。スケジューラ１におけるユーザの認証処理については、省略する。
　学習対象データを事前にアップロードしない場合は、Ｓ１３１を行うことなく、後述する「閉域接続の確立処理」Ａと、「学習対象データのクラスタ格納処理」Ｂと、「閉域接続の解除処理」Ｃとが行われる。「閉域接続の確立処理」Ａは、スケジューラ１の制御によりユーザ拠点とキャッシュクラスタ７との間に閉域接続または閉域経路を接続する。「学習対象データのクラスタ格納処理」Ｂは、ユーザ拠点とキャッシュクラスタ７との間に確立された閉域接続または閉域経路を介して、ユーザストレージ６上の学習対象データをキャッシュクラスタ７上に格納する。「閉域接続の解除処理」Ｃは、スケジューラ１の制御により、ユーザ拠点とキャッシュクラスタ７との間に確立された閉域接続または閉域経路を解除する。
　スケジューラ１は、キャッシュクラスタ７に学習対象データのプリフェッチを指示する（Ｓ１３３）。すなわち、スケジューラ１は、キャッシュクラスタ７上の所定の格納場所に、学習対象データを格納することを指示する。キャッシュクラスタ７は、クラスタ共有ストレージ４上の学習対象データのフェッチを開始する（Ｓ１３４）。
　全ての学習対象データをフェッチする場合、キャッシュクラスタ７は、学習対象データのプリフェッチの完了をスケジューラ１に報告する（Ｓ１３５）。スケジューラ１はGPUの空き状況などをマスタ２に確認し（Ｓ１３６）マスタ２からGPUの空き状況などを取得する（Ｓ１３７）。
　全ての学習対象データをフェッチしない場合、すなわち、全ての学習対象データのキャッシュデータを待たずに、投機的にジョブの実行を開始する場合、スケジューラ１は、プリフェッチの完了を待たずに続く処理を実行する。スケジューラ１はGPUの空き状況などをマスタ２に確認し（Ｓ１３８）、マスタ２からGPUの空き状況などを取得する（Ｓ１３９）。また、スケジューラ１はフェッチ済のデータ量をキャッシュクラスタ７に確認し（Ｓ１４０）、キャッシュクラスタ７からフェッチ済みのデータ量を取得する（Ｓ１４１）。スケジューラ１は、Ｓ１３８およびＳ１３９のGPUの空き状態の確認処理と、Ｓ１４０およびＳ１４１の学習対象データのフェッチ進捗確認処理とを並行して行ってもよい。
　スケジューラ１は、GPUの空き情報等を用いて、ジョブをスケジューリングし（Ｓ１４２）、マスタ２にジョブのデプロイを指示する（Ｓ１４３）。このデプロイ指示には、ジョブの定義、学習対象データの格納場所、ユーザＩＤ等の認証情報などが含まれる。マスタ２は、ノード３にジョブのデプロイを指示する（Ｓ１４４）。このデプロイ指示には、ジョブの定義、学習対象データの格納場所などが含まれる。
　ノード３は、ジョブの実行を開始し、ジョブの仮想環境を作成する（Ｓ１４５）。具体的には、ノード３は、Network namespace等の名前空間やコンテナなどの仮想環境を生成する。また、ノード３は、学習対象データにジョブがアクセスできるように設定する。これにより、学習対象データの格納先（キャッシュクラスタ７）がジョブからアクセス可能になる。
　ジョブは、学習処理を開始し（Ｓ１４６）、後述する「学習処理におけるキャッシュクラスタへのデータアクセス」Ｄを行い、学習対象データにアクセスしながら学習処理を実行する。ジョブは、学習結果をキャッシュクラスタ７に書き出す（Ｓ１４７）。学習結果をキャッシュクラスタ７に書き出すことで、キャッシュ管理部７２は、透過的にクラスタ共有ストレージ４に学習結果を書き出す。また、ジョブは、学習結果を直接クラスタ共有ストレージ４に書き出してもよい。その場合、Ｓ１４５でジョブの仮想環境を作成する際に。ジョブがクラスタ共有ストレージ４にアクセスできるように設定する。
　ジョブは、学習処理が終了すると（Ｓ１４８）、実行完了をノード３に報告する（Ｓ１４９）。ノード３は、ジョブの仮想環境等を削除する（Ｓ１５０）。また、ノード３は、ジョブのための仮想ネットワークなども併せて削除する。ジョブの実行が完了すると、ノード３は、ジョブの実行完了をマスタ２に報告する（Ｓ１５１）。マスタ２は、必要に応じてユーザにジョブ完了を報告する。あるいは、ユーザがスケジューラ１またはマスタ２にジョブの完了を問い合わせてもよい。
　スケジューラ１は、GPUの空き状況およびジョブの完了状況をマスタ２に確認し（Ｓ１５２）、マスタ２からこれらの情報を取得する（Ｓ１５３）。スケジューラ１は、学習対象データのキャッシュデータ等の削除をキャッシュクラスタ７に指示する（Ｓ１５４）。キャッシュクラスタ７は、キャッシュデータ等を削除する（Ｓ１５５）。キャッシュクラスタ７は、学習結果が一時的に格納された場合、学習結果も削除する。キャッシュクラスタ７は、削除処理に合わせて、ジョブからの書き出しデータのクラスタ共有ストレージ４への書き戻しを実行する。キャッシュクラスタ７は、削除完了をスケジューラ１に報告する（Ｓ１５６）。
　図２２Ａ、図２２Ｂおよび図２２Ｃは、本実施形態のGPUクラスタの動作を示すシーケンス図である。ここでは、ユーザストレージ６上の学習対象データを、キャッシュクラスタ７が直接フェッチして利用する場合のシーケンスを説明する。
　ユーザは、ジョブをスケジューラ１に登録する（Ｓ１６１）。ジョブの登録データには、ジョブの定義、学習対象データの格納場所（ユーザストレージ６）、ユーザＩＤなどの認証情報などが含まれる。ジョブの登録データには、ユーザストレージ６への閉域接続情報などが含まれる。閉域接続情報については後述する。スケジューラ１の認証処理については省略する。次に、後述する「閉域接続の確立処理」Ａが行われる。「閉域接続の確立処理」Ａは、スケジューラ１の制御によりユーザ拠点とキャッシュクラスタ７との間に閉域接続または閉域経路を接続する。確立した閉域接続または閉域経路を介して、キャッシュクラスタ７からユーザ拠点のユーザストレージ６上の学習データにアクセス可能となる。
　スケジューラ１は、キャッシュクラスタ７に学習対象データのプリフェッチを指示する（Ｓ１６２）。すなわち、スケジューラ１は、キャッシュクラスタ７上の所定の格納場所に、学習対象データを格納することを指示する。キャッシュクラスタ７は、閉域接続または閉域経路を介して、ユーザストレージ６上の学習対象データのフェッチを開始する（Ｓ１６３）。Ｓ１６４からＳ１７１の処理は、図２１ＢのＳ１３５からＳ１４１の処理と同じであるため、ここでは説明を省略する。
　そして、図２２ＢのＳ１７２からＳ１８１の処理が行われるが、この処理は、図２１ＣのＳ１４２からＳ１５１の処理と同じであるため、ここでは説明を省略する。そして、図２２Ｂで、スケジューラ１は、GPUの空き状況およびジョブの完了状況をマスタ２に確認し（Ｓ１８２）、マスタ２からこれらの情報を取得する（Ｓ１８３）。そして、後述する「閉域接続の解除処理」Ｃが行われる。「閉域接続の解除処理」は、スケジューラ１の制御により、ユーザ拠点とキャッシュクラスタ７との間に確立された閉域接続または閉域経路を解除する。スケジューラ１は、学習対象データのキャッシュデータ等の削除をキャッシュクラスタ７に指示する（Ｓ１８４）。キャッシュクラスタ７は、キャッシュデータ等を削除する（Ｓ１８５）。キャッシュクラスタ７は、学習結果が一時的に格納された場合、学習結果も削除する。キャッシュクラスタ７は、削除処理に合わせて、ジョブからの書き出しデータのクラスタ共有ストレージ４への書き戻しを実行する。キャッシュクラスタ７は、削除完了をスケジューラ１に報告する（Ｓ１８６）。
　図２３は、「閉域接続の確立処理」Ａの動作を示すシーケンス図である。ここでは、図１４に示す方式２の閉域接続の確立処理を説明する。ユーザ拠点には、CPE８が配置されており、CPE８とキャッシュクラスタ７との間で閉域接続を確立する。そのため、CPE８がAPIを公開していない場合は、スケジューラ１がAPIでCPE８を制御している部分については、ユーザが当該部分を設定する。CPE８は、キャリア網内にデプロイされているvCPEに置き換わる場合もある。
　本処理の前提として、スケジューラ１にジョブが登録されている。ジョブの登録データに含まれる、ユーザストレージ６への閉域接続情報には、「CPEとの閉域接続の情報」と、「CPEのAPIへの接続情報」とが含まれる。ただし、CPE８がAPIを公開していなく、ユーザがCPE８の設定を行う場合は、閉域接続情報には「CPEのAPIへの接続情報」は含まれない。以下に、本処理を説明する。
　スケジューラ１は、キャッシュクラスタ７に閉域接続の待ち受けを指示する（Ｓ１９１）。この指示には、CPE８との閉域接続の情報が含まれる。閉域接続確立後、キャッシュクラスタ７が自律的に学習対象データの取得制御を行う場合は、「学習対象データの格納場所」についても閉域接続の待ち受け指示で渡される。キャッシュクラスタ７は、閉域接続を待ち受ける設定を行う（Ｓ１９２）。これにより、閉域接続待ち受け状態が確立する。キャッシュクラスタ７は、閉域接続待ち受け処理の完了をスケジューラ１に報告する（Ｓ１９３）。キャッシュクラスタ７への閉域接続の情報は、Ｓ１９１で生成される。キャッシュクラスタ７への閉域接続の情報は、CPE８がAPIを公開していなく、ユーザがCPE８の設定を行う場合は、ジョブの登録より前段階でのユーザと事業者間での契約手続き等の事前折衝で決定され、ユーザに通知される。
　スケジューラ１は、閉域接続の確立をCPE８に指示する（Ｓ１９４）。CPE８は、閉域接続を設定し（Ｓ１９５）、キャッシュクラスタ７との閉域接続を開始する（Ｓ１９６）。CPE８がAPIを公開していない場合においては、ユーザからのジョブ登録と、ユーザによるCPE８への閉域接続確立のための設定が非同期で実施される。そのため、閉域接続の開始処理は閉域接続が確立するまでCPE８により繰り返し施行される。キャッシュクラスタ７は、CPE８に閉域接続を受諾する（Ｓ１９７）。これにより、閉域接続が確立される。CPE８は閉域接続の完了をスケジューラ１に報告する（Ｓ１９８）。以降、確立された閉域接続を介することで、キャッシュクラスタ７もしくはクラスタ共有ストレージ４からユーザ拠点のユーザストレージ６上の学習対象データにアクセス可能となる。
　図２４は、「閉域接続の解除処理」Ｂの動作を示すシーケンス図である。ここでは、図１４に示す方式２の閉域接続の解除処理を説明する。ユーザ拠点のCPE８とキャッシュクラスタ７との間で閉域接続が確立されておりこれを解除する。そのため、CPE８は、閉域接続制御のためのAPIを公開していることする。APIを公開していない場合は、スケジューラ１がAPIでCPE８を制御している部分については、ユーザが当該部分を設定する。CPE８は、キャリア網内にデプロイされているvCPEに置き換わる場合もある。
　本処理の前提として、スケジューラ１にジョブが登録されている。ジョブの登録データに含まれる、ユーザストレージ６への閉域接続情報には、「CPEとの閉域接続の情報」と、「CPEのAPIへの接続情報」とが含まれる。ただし、CPE８がAPIを公開していなく、ユーザがCPE８の設定を行う場合は、閉域接続情報には「CPEのAPIへの接続情報」は含まれない。スケジューラ１の制御によりCPE８とキャッシュクラスタ７の間で閉域接続が確立される。スケジューラ１の制御により、キャッシュクラスタ７が学習対象データのフェッチを開始する。スケジューラ１の制御によりジョブがデプロイされ、学習を開始する。デプロイされるタイミングとしては、キャッシュクラスタ７で学習対象データを全てフェッチしてからの場合と、フェッチを継続している場合とが存在する。ジョブが完了し、ジョブの実行完了をスケジューラ１が検知する。以下に、本処理を説明する。
　キャッシュクラスタ７への閉域接続の情報は、図２３の「閉域接続の接続処理」のＳ１９３で前述したとおりである。スケジューラ１は、CPE８に閉域接続の解除を指示する（Ｓ２０１）。CPE８は、キャッシュクラスタ７に対して閉域接続の解除を開始する（Ｓ２０２）。キャッシュクラスタ７は、CPE８に閉域接続の解除を受諾する（Ｓ２０３）。これにより、CPE８と７との間の閉域接続が解除される。CPE８は、閉域接続を削除し（Ｓ２０４）、閉域接続の解除完了をスケジューラ１に報告する（Ｓ２０５）。
　スケジューラ１は、キャッシュクラスタ７に閉域接続の待ち受け解除を指示する（Ｓ２０６）。この指示には、CPE８との閉域接続の情報が含まれる。キャッシュクラスタ７は、閉域接続の待ち受ける設定を削除し（Ｓ２０７）、閉域接続の待ち受け解除をスケジューラ１に報告する（Ｓ２０８）。
　CPE８がAPIを公開していなく、ユーザがCPE８の設定を行う場合は、Ｓ２０６－Ｓ２０８（キャッシュクラスタの閉域接続の待ち受け解除処理）が、Ｓ２０１－Ｓ２０５（CPEの閉域接続の解除処理）より前に実行される可能性がある。その場合、「CPEの閉域接続の解除処理」では、閉域接続は既に解除されているため、Ｓ２０２（閉域接続の解除を開始）を実行せず、Ｓ２０４（閉域接続を削除）を実行する。一方、「キャッシュクラスタの閉域接続の待ち受け解除処理」では、Ｓ２０７に伴い、閉域接続の解除を開始し、CPE８から閉域接続の解除を受諾する。
　図２５は、「閉域接続の確立処理」Ａの動作を示すシーケンス図である。ここでは、図１９に示す方式７の閉域接続の確立処理を説明する。ユーザ拠点には、CPE８が配置されており、キャリア網のGW９３がCPE８への接続インタフェースを保持している。CPE８とGW９３との間は、事前にPPPoE等により閉域接続が確立済みであり、さらにGW９３とキャッシュクラスタ７との間で閉域接続を確立することで、GW９３は、２つの閉域接続を中継する閉域経路を生成する。この閉域経路を介することで、キャッシュクラスタ７およびクラスタ共有ストレージ４からCPE８配下のユーザストレージ６にアクセス可能な状態になる。この制御のためにGW９３は閉域接続制御のためのAPIを保持している。
　本処理の前提として、CPE８とGW９３との間で、PPPoE等により閉域接続が確立済みで、この閉域接続を介してCPE８はインターネットに接続可能である。スケジューラ１にジョブが登録される。ジョブの登録データに含まれる、ユーザストレージ６への閉域接続情報には、「回線識別情報」（CPE８が接続すると、GW９３の識別等に用いられる）が含まれる。以下に、本処理を説明する。
　スケジューラ１は、CPE８が接続するGW９３を特定する（Ｓ２１１）。スケジューラ１は、GW９３に閉域接続の待ち受け設定と、閉域接続の中継設定とを指示する（Ｓ２１２）。この中継設定は、キャッシュクラスタ７との閉域接続確立後、CPE８とGW９３間の閉域接続と、GW９３とキャッシュクラスタ７間の閉域接続をルーティング、スイッチ等により中継して論理的なCPE８とキャッシュクラスタ７間の閉域経路を生成するための設定である。この閉域経路を利用することで、キャッシュクラスタ７およびクラスタ共有ストレージ４とCPE８配下のユーザストレージ６とは互いに接続可能となる。GW９３では、CPE８配下からのトラフィックについて、キャッシュクラスタ７もしくはクラスタ共有ストレージ４宛てのみのデータを閉域経路へ転送する。CPE８配下からインターネット接続と共用可能である。
　GW９３は、閉域接続の待ち受け設定と、閉域接続の中継設定とを実施する（Ｓ２１３）。これにより、閉域接続の待ち受けと、閉域接続中継の待機状態が確立する。GW９３は、閉域接続の待ち受け設定と、閉域接続の中継設定の完了をスケジューラ１に報告する（Ｓ２１４）。この報告には、「GWへの閉域接続の情報」が含まれる。スケジューラ１は、閉域接続の確立をキャッシュクラスタ７に指示する（Ｓ２１５）。この指示には、「GWへの閉域接続の情報」が含まれる。閉域接続確立後、キャッシュクラスタ７が自律的に学習対象データの取得制御を行う場合は、「学習対象データの格納場所」についても閉域接続の待ち受け指示で渡される。キャッシュクラスタ７は、閉域接続を設定し（Ｓ２１６）、閉域接続の開始をGW９３に通知する（Ｓ２１７）。GW９３は、キャッシュクラスタ７に閉域接続を受諾する（Ｓ２１８）。これにより、閉域接続待ち受け状態が確立される。GW９３による閉域接続の中継により、CPE８とキャッシュクラスタ７間の閉域経路が確立される。キャッシュクラスタ７は、閉域接続の確立完了をスケジューラ１に報告する（Ｓ２１９）。以降、確立された閉域経路を介することで。キャッシュクラスタ７もしくはクラスタ共有ストレージ４からユーザ拠点のユーザストレージ６上の学習対象データにアクセス可能となる。
　図２６は、「閉域接続の解除処理」Ｃの動作を示すシーケンス図である。ここでは、図１９に示す方式７の閉域接続の解除処理を説明する。GW９３とキャッシュクラスタ７間で、閉域接続が確立されており、さらにGW９３により、CPE８とキャッシュクラスタ７間に閉域経路が確立されている。ここで、GW９３とキャッシュクラスタ７間の閉域接続を解除することで、CPE８とキャッシュクラスタ７間の閉域経路も併せて解除する。この制御のためにGW９３は閉域接続制御のためのAPIを保持している。
　本処理の前提として、CPE８とGW９３との間で、PPPoE等により閉域接続が確立済みで、この閉域接続を介してCPE８はインターネットに接続可能である。スケジューラ１にジョブが登録される。ジョブの登録データに含まれる、ユーザストレージ６への閉域接続情報には「回線識別情報」が含まれる。スケジューラ１の制御により、GW９３とクラスタ共有ストレージ４間に閉域接続が確立される。合わせて、GW９３により、CPE８とキャッシュクラスタ７間に閉域経路が確立される。スケジューラ１の制御により、キャッシュクラスタ７が学習対象データのフェッチを開始する。スケジューラ１の制御により、ジョブがデプロイされ学習を開始する。デプロイされるタイミングとしては、キャッシュクラスタ７で学習対象データを全てフェッチしてからの場合と、フェッチを継続している場合とが存在する。以下に、本処理を説明する。
　スケジューラ１は、CPE８に閉域接続の解除を指示する（Ｓ２３１）。この指示には、「GW９３への閉域接続の情報」が含まれる。キャッシュクラスタ７は、GW９３との閉域接続の解除を開始する（Ｓ２３２）。GW９３は、閉域接続の解除をキャッシュクラスタ７に受諾する（Ｓ２３３）。これにより、閉域接続が解除され、CPE８とキャッシュクラスタ７間の閉域経路が解除される。キャッシュクラスタ７は、閉域接続を削除し（Ｓ２３４）、閉域接続の解除完了をスケジューラ１に報告する（Ｓ２３５）。スケジューラ１は、閉域接続待ち受け設定の削除と、閉域接続の中継設定の削除をGW９３に指示する（Ｓ２３６）。GW９３は、閉域接続待ち受け設定を削除し、閉域接続の中継設定を削除する（Ｓ２３７）。GW９３は、Ｓ２３７の削除完了をスケジューラ１に報告する（Ｓ２３８）。
　図２７および図２８は、「学習対象データのクラスタ格納処理」Ｂを示すシーケンス図である。本処理では、ユーザストレージ６上の学習対象データをクラスタ共有ストレージ４上に格納する。
　図２７では、キャッシュクラスタ７がユーザストレージ６の学習対象データのブロックを読み出し、当該ブロックをクラスタ共有ストレージ４上に書き込む（複製する）ことを繰り返す。ブロックは、学習対象データの一部であって、例えば１以上のファイルの集合、または、１ファイルのうちの一定サイズの１部分などを示す。キャッシュクラスタ７とCPE８との間には、閉域接続または閉域経路が確立されており、いずれかを介することでキャッシュクラスタ７はユーザストレージ６の学習対象データにアクセスする。また、キャッシュクラスタ７は、閉域接続または閉域経路の確立を検知すると、自律的に格納処理を開始する。CPE８は、キャリア網内に配置されているvCPEに置き換わる場合もある。
　本処理の前提として、スケジューラ１にジョブが登録される。スケジューラ１の制御により、CPE８とキャッシュクラスタ７との間に閉域接続または閉域経路が確立される。キャッシュクラスタ７は、自律的に格納処理を開始するために、閉域接続または閉域経路の確立処理の中で「学習対象データの格納場所」がスケジューラ１からキャッシュクラスタ７に渡されている。以下に、本処理を説明する。
　キャッシュクラスタ７は、閉域接続の確立を契機として、閉域接続または閉域経路を介してユーザストレージ６から学習対象データをブロック単位で読み出し（Ｓ２５１）、読み出したブロック単位の学習対象データをクラスタ共有ストレージ４に書き込む（Ｓ２５２）。キャッシュクラスタ７は、学習対象データを全てクラスタ共有ストレージ４に格納するまで、Ｓ２５１およびＳ２５２を繰り返す。キャッシュクラスタ７は、学習対象データを全て格納した後、学習対象データの取得完了を、スケジューラ１に通知する（Ｓ２５３）。この通知には、クラスタ共有ストレージ４上の学習対象データの格納場所が含まれる。
　図２８では、キャッシュクラスタ７がクラスタ共有ストレージ４に対し、ユーザストレージ６上の学習対象データの取得を指示する。前提条件などについては、図２７と同じであるため、ここでは説明を省略する。以下に、本処理を説明する。
　キャッシュクラスタ７は、閉域接続の確立を契機として、ユーザストレージ６に学習対象データの取得を指示する（Ｓ２７１）。この指示には、「学習対象データの格納場所」が含まれる。クラスタ共有ストレージ４は、閉域接続または閉域経路を介してユーザストレージ６から学習対象データを取得する（Ｓ２７２）。これにより、閉域接続または閉域経路を介してユーザストレージ６の学習対象データがクラスタ共有ストレージ４に格納される。クラスタ共有ストレージ４は、学習対象データの取得完了を、スケジューラ１に報告する（Ｓ２７３）。この報告には、クラスタ共有ストレージ４上の学習対象データの格納場所が含まれる。
　図２９は、「学習処理におけるキャッシュクラスタへのデータアクセス処理」Ｄを示すシーケンス図である。本処理では、キャッシュクラスタ７への学習対象データのキャッシュ（フェッチ）が完全に完了する前に投機的にジョブがデプロイされ、学習を開始している場合である。キャッシュクラスタ７がキャッシュ対象とする学習対象データは、ユーザストレージ６またはキャッシュクラスタ７に格納されている。
　本処理の前提として、スケジューラ１にジョブが登録される。スケジューラ１の制御により、キャッシュクラスタ７が学習対象データのキャッシュを開始する。ジョブがデプロイされる。キャッシュクラスタ７の学習対象データにジョブからアクセスが可能になる。ジョブが、学習処理を開始する（Ｓ２９１）。ジョブは、学習対象データにアクセスしながら学習処理を行う。以下に、本処理を説明する。
　ジョブは、学習対象データのブロック単位での読み込みをキャッシュクラスタ７に要求する（Ｓ２９２）。キャッシュクラスタ７は、キャッシュミスが発生した場合（Ｓ２９３）、学習対象データへの透過的接続（Ｓ２９４、Ｓ２９５）と、学習対象データのプリフェッチ（Ｓ２９６）とを並列処理で行う。キャッシュミスは、キャッシュクラスタ７がキャッシュ対象としているデータのうち、要求元（キャッシュクラスタ７を利用するジョブなど）が、未キャッシュのデータを読み書きしようとした状態を指す。データが存在しないため、要求元に対してデータを即時応答することができない。キャッシュクラスタ７は、要求元を待たせたまま、キャッシュ対象データをオリジンに要求し、キャッシュデータを作成してから要求元に応答するなどの処理が発生する。
　学習対象データへの透過的接続では、キャッシュクラスタ７は、キャッシュミスしたブロックの学習対象データをオリジンから取得し（Ｓ２９４）、取得したブロックの学習対象データをジョブに返却する（Ｓ２９５）。キャッシュクラスタ７は、キャッシュミス時に学習対象データの元データにアクセスしながら、ジョブにデータを返却する。これにより、ジョブにはキャッシュミスの発生を隠ぺいしつつ、透過的に学習対象データのオリジンにアクセスさせる。なお、キャッシュクラスタ７において、ここで返却している学習対象データのブロックは、今後利用される見込みがないため、キャッシュしないことでデータ入力処理を高速化してもよい。
　学習対象データのプリフェッチでは、数ブロック先の学習対象データを先読みしてキャッシュする（Ｓ２９６）。キャッシュクラスタ７は、キャッシュミス発生後、学習対象データのオリジンにアクセスして応答をジョブに返却するとともに、今後、ジョブが読み込む学習対象データのブロックについて、数ブロック先のキャッシュを並行して開始する。これにより、キャッシュミスを一時的なものとして、その後のキャッシュミスの発生を低減し、データ入出力処理を高速化する。
　図３０Ａおよび図３０Ｂは、「ジョブのチェックポイント処理」を示すシーケンス図である。チェックポイント処理は、動作中のジョブに含まれる仮想空間やプロセスをフリーズし、状態をいくつかのファイル(ダンプ)に保存する処理である。ジョブのチェックポイント処理は、例えば、CRIU (https://www.criu.org/Main_Page、https://github.com/checkpoint-restore/criu) などを使用して実現される。
　本処理では、ジョブがキャッシュクラスタ７から学習対象データを読み込む際のキャッシュミスを許容する。具体的には、キャッシュミスが発生した場合に、その発生を検知し、ジョブをチェックポイントする。本処理では、キャッシュクラスタ７への学習対象データのフェッチが完全に完了する前に投機的にジョブがデプロイされ、学習を開始している場合である。キャッシュクラスタ７がキャッシュ対象とする学習対象データは、ユーザストレージ６またはキャッシュクラスタ７に格納されている。
　本処理の前提として、ノード３は、キャッシュクラスタ７上のボリュームをジョブのダンプの格納場所としてマウントしている。ジョブのダンプの格納場所は、クラスタ共有ストレージ４上でもよい。スケジューラ１にジョブが登録される。スケジューラ１の制御により、キャッシュクラスタ７が学習対象データのキャッシュを開始する。ジョブがデプロイされる。キャッシュクラスタ７の学習対象データにジョブからアクセスが可能になる。ジョブが、学習処理を開始する（Ｓ３１１）。ジョブは、学習対象データにアクセスしながら学習処理を行う。以下に、本処理を説明する。
　学習対象データの読み込みでキャッシュミスが連続して発生する。この場合、以下の３つの処理のいずれかの処理が行われる。
　「キャッシュクラスタが検知する場合」では、キャッシュクラスタ７が、所定の閾値以上の連続したキャッシュミスを検出し（Ｓ３１２）、スケジューラ１にキャッシュミスの発生を通知する（Ｓ３１３）。閾値は、クラスタ管理者が任意に決定する。閾値は、ブロックサイズや通信速度などから適切な値を決定することができる。
　「ジョブがキャッシュミスを検知する場合」では、ジョブが、ストレージIO帯域幅の減少等からキャッシュミスを検知し（Ｓ３１４）、スケジューラ１にキャッシュミスの発生を通知する（Ｓ３１５）。
　「スケジューラ１がキャッシュミスを検知する場合」では、ノード３が、ジョブのストレージIO帯域幅やGPU使用率等をマスタ２に報告する（Ｓ３１６）。スケジューラ１は、マスタ２にジョブの状態を問い合わせる（Ｓ３１７）。マスタ２は、ノード３から報告されているジョブの状態を応答する（Ｓ３１８）。スケジューラ１は、ジョブの状態からジョブのストレージIO帯域幅の減少や、GPUがほぼ使用されていないことなどを確認して、キャッシュミスの発生を検知する。
　スケジューラ１は、キャッシュミスの発生を検知すると、ジョブのチェックポイントをマスタ２に指示し（Ｓ３１９）、マスタは、ジョブのチェックポイントをノード３に指示する（Ｓ３２０）。ノード３は、ジョブをチェックポイントする（Ｓ３２１）。すなわち、ノード３は、ジョブのダンプをキャッシュクラスタ７上に格納する。ノード３は、事前にキャッシュクラスタ７をマウントしている。ジョブのチェックポイントにより、ジョブは一時停止状態（サスペンド状態）となる。一方、キャッシュクラスタ７による学習対象データの未キャッシュ部分のプリフェッチは継続される。
　ノード３は、ジョブのチェックポイント完了をマスタ２に報告し（Ｓ３２２）、マスタ２は、ジョブのチェックポイント完了をスケジューラ１に報告する（Ｓ３２３）。この報告には、ジョブのダンプの格納場所が含まれる。そして、後述する「ジョブのリストア処理」Ｅが行われる。
　図３１は、別の「ジョブのチェックポイント処理」を示すシーケンス図である。本処理では、ジョブがキャッシュクラスタ７から学習対象データを読み込む際のキャッシュミスを防止する。具体的には、キャッシュミスの発生を事前に検知し、ジョブをチェックポイントする。なお、本処理の前提は、図３０Ａと同様であるためここでは、説明を省略する。以下に、本処理を説明する。
　ジョブが学習を開始すると（Ｓ３３１）、キャッシュクラスタ７は、キャッシュの利用状況の監視を開始する。キャッシュ済みの学習対象データ量と、ジョブが読み出したデータ量との変遷からキャッシュの発生を事前に検知する（Ｓ３３２）。キャッシュクラスタ７は、スケジューラ１にキャッシュミス発生の事前警告を通知する（Ｓ３３３）。スケジューラ１は、ジョブのチェックポイントをマスタ２に指示し（Ｓ３３４）、マスタは、ジョブのチェックポイントをノード３に指示する（Ｓ３３５）。ノード３は、ジョブをチェックポイントする（Ｓ３３６）。すなわち、ノード３は、事前にマウントしたキャッシュクラスタ７上にジョブのダンプを格納する。ジョブのチェックポイントにより、ジョブは一時停止状態となる。一方、キャッシュクラスタ７による学習対象データの未キャッシュ部分のプリフェッチは継続される。
　ノード３は、ジョブのチェックポイント完了をマスタ２に報告し（Ｓ３３７）、マスタ２は、ジョブのチェックポイント完了をスケジューラ１に報告する（Ｓ３３８）。この報告には、ジョブのダンプの格納場所が含まれる。そして、後述する「ジョブのリストア処理」Ｅが行われる。
　図３２Ａ、図３２Ｂおよび図３２Ｃは、「ジョブのリストア」Ｅを示すシーケンス図である。本処理は、ジョブがチェックポイントされた後、ジョブが実行を再開するまでの処理である。ジョブのリストアは、チェックポイントされたジョブのダンプから、ジョブを復元し動作を再開させる処理である。ジョブのリストアは、例えば、CRIU (https://www.criu.org/Main_Page、https://github.com/checkpoint-restore/criu) などを使用して実現される。
　本処理の前提として、ノード３は、キャッシュクラスタ７上のボリュームをジョブのダンプの格納場所としてマウントしている。ダンプの格納場所は、クラスタ共有ストレージ４上でもよい。スケジューラ１にジョブが登録される。スケジューラ１の制御により、キャッシュクラスタ７が学習対象データのキャッシュを開始する。ジョブがデプロイされる。キャッシュクラスタ７の学習対象データにジョブからアクセスが可能になる。ジョブが、学習処理を開始する（Ｓ３５１）。ジョブは、学習対象データにアクセスしながら、学習処理を行う。スケジューラ１がジョブをチェックポイントすることで、ジョブの実行を一次停止する。ジョブが停止された後も、学習対象データの未キャッシュ部分のプリフェッチは継続される。以下に、本処理を説明する。
　チェックポイントによりジョブの実行が一時停止されると、以下の「キャッシュクラスタのポーリング確認によるリストア待機」、「時間予測に基づくリストア待機」および「キャッシュクラスタから通知する場合」の３つの処理のいずれかの処理が行われる。
　「キャッシュクラスタのポーリング確認によるリストア待機」では、スケジューラ１がジョブのチェックポイント時のキャッシュデータ量と、学習対象データのデータ量とをキャッシュクラスタ７に問い合わせて（Ｓ３５２）、キャッシュクラスタ７からこれらの情報を取得する（Ｓ３５３）。学習対象データのデータ量はジョブ登録時にユーザから取得してもよい。そして、スケジューラ１は、キャッシュデータ量をキャッシュクラスタ７に問い合わせ、取得する（Ｓ３５４、Ｓ３５５）。スケジューラ１は、「キャッシュデータ量」－「チェックポイント時のキャッシュデータ量」＞＝「データ量閾値」となるまで、Ｓ３５４およびＳ３５５の処理を繰り返す。
　「時間予測に基づくリストア待機」では、スケジューラ１は、チェックポイント時のキャッシュデータ量と、キャッシュクラスタ７のキャッシュ速度と、学習対象データのデータ量とを、キャッシュクラスタ７に問い合わせ（Ｓ３５６）、これらの情報を取得する（Ｓ３５７）。学習対象データのデータ量はジョブ登録時にユーザから取得してもよい。キャッシュクラスタ７のキャッシュ速度は、キャッシュクラスタ７が学習対象データをキャッシュする際のデータ入力スループットを示す。
　スケジューラ１は、待機時間候補１を算出する（Ｓ３５８）。具体的には、スケジューラ１は、チェックポイント時のキャッシュデータ量とキャッシュ速度から、今後キャッシュデータ量が閾値を超過するまでの時間を時間候補１として算出する。スケジューラ１は、待機時間候補２を算出する（Ｓ３５９）。具体的には、スケジューラ１は、チェックポイント時のキャッシュデータ量とキャッシュ速度から、今後、学習対象データの全てがキャッシュされるまでの時間を時間候補２として算出する。スケジューラ１は、待機候補時間１と待機候補時間２とを比較し、短い方の時間待機する（Ｓ３６０）。
　「キャッシュクラスタから通知する場合」では、スケジューラ１は、必要なキャッシュデータ量をキャッシュクラスタ７に指示する（Ｓ３６１）。キャッシュクラスタ７は、学習対象データの未キャッシュ部分をキャッシュし（Ｓ３６２）、指示されたデータ量をキャッシュしたことを契機にスケジューラ１に通知する（Ｓ３６３）。
　スケジューラ１は、チェックポイントされたサスペンドジョブをRQ２３に登録する（Ｓ３６４）。スケジューラ１は、マスタ２にGPUの空き状況等を問い合わせ（Ｓ３６５）、取得する（Ｓ３６６）。GPUに空きがある場合、スケジューラ１は、ジョブをスケジューリングする（Ｓ３６７）。具体的には、スケジューラ１は、RQ２３のジョブを、DQ２４の通常のジョブより優先的にスケジュールする。スケジューラ１は、ジョブのリストアをマスタ２に指示し（Ｓ３６８）、マスタ２はジョブのリストアをノード３に指示する（Ｓ３６９）。この指示には、ダンプの格納場所が含まれる。ノード３は、ジョブのリストアを実行し（Ｓ３７０）、ジョブの実行を再開する（Ｓ３７１）。例えば、Network namespaceなどの仮想環境が復元され、チェックポイント時の状況から学習処理が再開可能な状態に復元される。ノード３は、学習処理を再開する（Ｓ３７２）。
　（本実施形態の効果）
　以上説明した本実施形態のGPUクラスタシステムにおけるスケジューラ１は、投入されたジョブを、フェッチ開始待ちのジョブを格納する第１ステージキュー１３-１５に格納する第１キューセレクタ１１と、第１ステージキュー１３-１５のジョブを取り出してフェッチングジョブリスト３０に登録し、ストレージ４に格納された、前記ジョブのデータのフェッチをキャッシュクラスタ７に開始させる第１ジョブセレクタ１２と、フェッチしたデータ量が所定の閾値を超えたジョブを、フェッチングジョブリスト３０から取り出し、デプロイ待ちのジョブを格納する第２ステージキュー２３－２５に格納する第２キューセレクタ２１と、第２ステージキュー２３－２５からジョブを取り出し、当該ジョブのデプロイを指示する第２ジョブセレクタ２２と、を有し、前記ジョブのデプロイ指示には、前記ジョブのデータの格納場所としてキャッシュクラスタ７が指定され、GPUクラスタはキャッシュクラスタ７にアクセスして前記ジョブを実行する。
　これにより本実施形態では、ストレージの速度不足により発生するGPUの遊休時間を低減し、GPUの稼働率を向上させることができる。すなわち、学習対象データなどのデータの読み出しを高速化することができ、GPUクラスタシステムの提供事業者によるGPUの稼働率を高めることができる。
　また、本実施形態では、実行前のジョブをフェッチングジョブリスト３０に登録し、キャッシュクラスタ７にデータのプリフェッチを開始させる。このように、GPUによるジョブの実行と並行してデータのプリフェッチを行うことで、GPUを効率的に使用することができる。
　また、本実施形態では、データ待ちによるGPU遊休時にジョブを一時停止し、他のジョブにGPUを譲ることで、GPUの稼働率を向上することができる。
　（ハードウェア構成）
　上記説明したスケジューラ１は、例えば、図３３に示すような汎用的なコンピュータシステムを用いることができる。図示するコンピュータシステムは、CPU（Central Processing Unit、プロセッサ）９０１と、メモリ９０２と、ストレージ９０３（HDD：Hard Disk Drive、SSD：Solid State Drive）と、通信装置９０４と、入力装置９０５と、出力装置９０６とを備える。メモリ９０２およびストレージ９０３は、記憶装置である。このコンピュータシステムにおいて、CPU９０１がメモリ９０２上にロードされた所定のプログラムを実行することにより、スケジューラ１の各機能が実現される。
　また、スケジューラ１は、１つのコンピュータで実装されてもよく、あるいは複数のコンピュータで実装されても良い。また、スケジューラ１は、コンピュータに実装される仮想マシンであっても良い。
　スケジューラ１用のプログラムは、HDD、SSD、USB（Universal Serial Bus）メモリ、CD (Compact Disc)、DVD (Digital Versatile Disc)などのコンピュータ読取り可能な記録媒体に記憶することも、ネットワークを介して配信することもできる。
　なお、本発明は上記実施形態および変形例に限定されるものではなく、その要旨の範囲内で数々の変形が可能である。
　１　：スケジューラ
　１１：第１キューセレクタ
　１２：第１ジョブセレクタ
　１３：ジョブキュー（JQ）
　１４：公平性超過ジョブキュー（OFJQ）
　１５：ユーザ超過ジョブキュー（OUJQ）
　２１：第２キューセレクタ
　２２：第２ジョブセレクタ
　２３：リストアキュー（RQ）
　２４：デプロイキュー（DQ）
　２５：公平性超過キュー（OFDQ）
　３０：フェッチングジョブリスト（FJL）
　３１：アカウントDB
　３２：GPU使用量監視部
　２　：マスタ
　３　：ノード
　４　：クラスタ共有ストレージ
　５　：ユーザ端末
　６　：ユーザストレージ
　７　：キャッシュクラスタ

Claims (7)

  1. 　GPUクラスタシステムが行うスケジューリング方法であって、
    　スケジューラは、
    　　投入されたジョブを、フェッチ開始待ちのジョブを格納する第１ステージキューに格納するステップと、
    　　第１ステージキューのジョブを取り出してフェッチングジョブリストに登録し、前記ジョブのデータのフェッチをキャッシュクラスタに開始させるステップと、
    　　フェッチしたデータ量が所定の閾値を超えたジョブを、フェッチングジョブリストから取り出し、デプロイ待ちのジョブを格納する第２ステージキューに格納するステップと、
    　　第２ステージキューからジョブを取り出し、当該ジョブのデプロイを指示するステップと、を行い、
    　前記キャッシュクラスタは、
    　　フェッチングジョブリストに登録されたジョブのデータを、当該データが格納されたストレージからフェッチして、当該キャッシュクラスタに格納するステップを行い、
    　GPUクラスタは、
    　　前記キャッシュクラスタのデータにアクセスして、ジョブを実行するステップを行う
    　スケジューリング方法。
  2. 　GPUクラスタシステムにおけるスケジューラであって、
    　投入されたジョブを、フェッチ開始待ちのジョブを格納する第１ステージキューに格納する第１キューセレクタと、
    　第１ステージキューのジョブを取り出してフェッチングジョブリストに登録し、ストレージに格納された、前記ジョブのデータのフェッチをキャッシュクラスタに開始させる第１ジョブセレクタと、
    　フェッチしたデータ量が所定の閾値を超えたジョブを、フェッチングジョブリストから取り出し、デプロイ待ちのジョブを格納する第２ステージキューに格納する第２キューセレクタと、
    　第２ステージキューからジョブを取り出し、当該ジョブのデプロイを指示する第２ジョブセレクタと、を有し、
    　前記ジョブのデプロイ指示には、前記ジョブのデータの格納場所として前記キャッシュクラスタが指定され、GPUクラスタは前記キャッシュクラスタにアクセスして前記ジョブを実行する
    　スケジューラ。
  3. 　請求項２記載のスケジューラであって、
    　第１ステージキューは、公平性の観点から各ユーザに割り当てられたGPUの割当量を超えていないジョブが格納されるジョブキューと、前記割当量を超えたジョブが格納される超過ジョブキューとを備え、
    　第１ジョブセレクタは、前記ジョブキューのジョブを前記超過ジョブキューのジョブより優先的にフェッチングジョブリストに登録する
    　スケジューラ。
  4. 　請求項２または３記載のスケジューラであって、
    　第２ステージキューは、リストア待ちのジョブが格納されるリストアキューと、デプロイ待ちのジョブが格納されるデプロイキューと、公平性の観点から各ユーザに割り当てられたGPUの割当量を超えたジョブが格納され超過キューとを備え、
    　第２ジョブセレクタは、前記リストアキューのジョブを前記デプロイキューのジョブより優先的にデプロイ指示し、前記デプロイキューのジョブを前記超過キューのジョブより優先的にデプロイ指示する
    　スケジューラ。
  5. 　請求項４記載のスケジューラであって、
    　第２ジョブセレクタは、前記リストアキュー、前記デプロイキューおよびの前記超過キューの全てが空の場合、第２キューセレクタを起動し、フェッチングジョブリストの中でフェッチしたデータ量が最も多いジョブまたはフェッチングジョブリストの先頭のジョブを、前記リストアキュー、前記デプロイキューおよびの前記超過キューのいずれかに格納させる
    　スケジューラ。
  6. 　請求項２から５のいずれか１項に記載のスケジューラと、キャッシュクラスタと、GPUクラスタとを備えるGPUクラスタシステムであって、
    　前記キャッシュクラスタは、フェッチングジョブリストに登録されたジョブのデータを、当該データが格納されたストレージからフェッチして、当該キャッシュクラスタに格納し、
    　前記GPUクラスタは、前記キャッシュクラスタのデータにアクセスして、ジョブを実行する
    　GPUクラスタシステム。
  7. 　請求項２から５のいずれか１項に記載のスケジューラとして、コンピュータを機能させるプログラム。
PCT/JP2020/016697 2020-04-16 2020-04-16 スケジューリング方法、スケジューラ、ｇｐｕクラスタシステムおよびプログラム WO2021210123A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2022514945A JP7385156B2 (ja) 2020-04-16 2020-04-16 スケジューリング方法、スケジューラ、ｇｐｕクラスタシステムおよびプログラム
PCT/JP2020/016697 WO2021210123A1 (ja) 2020-04-16 2020-04-16 スケジューリング方法、スケジューラ、ｇｐｕクラスタシステムおよびプログラム

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/016697 WO2021210123A1 (ja) 2020-04-16 2020-04-16 スケジューリング方法、スケジューラ、ｇｐｕクラスタシステムおよびプログラム

Publications (1)

Publication Number Publication Date
WO2021210123A1 true WO2021210123A1 (ja) 2021-10-21

Family

ID=78083559

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/016697 WO2021210123A1 (ja) 2020-04-16 2020-04-16 スケジューリング方法、スケジューラ、ｇｐｕクラスタシステムおよびプログラム

Country Status (2)

Country Link
JP (1) JP7385156B2 (ja)
WO (1) WO2021210123A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114706690A (zh) * 2022-06-06 2022-07-05 浪潮通信技术有限公司 一种Kubernetes容器共享GPU方法及系统
CN115617364A (zh) * 2022-12-20 2023-01-17 中化现代农业有限公司 Gpu虚拟化部署方法、系统、计算机设备和存储介质

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011154528A (ja) * 2010-01-27 2011-08-11 Renesas Electronics Corp データ処理装置
WO2014016951A1 (ja) * 2012-07-27 2014-01-30 株式会社日立製作所 情報処理装置
WO2017131187A1 (ja) * 2016-01-29 2017-08-03 日本電気株式会社 アクセラレータ制御装置、アクセラレータ制御方法およびプログラム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011154528A (ja) * 2010-01-27 2011-08-11 Renesas Electronics Corp データ処理装置
WO2014016951A1 (ja) * 2012-07-27 2014-01-30 株式会社日立製作所 情報処理装置
WO2017131187A1 (ja) * 2016-01-29 2017-08-03 日本電気株式会社 アクセラレータ制御装置、アクセラレータ制御方法およびプログラム

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114706690A (zh) * 2022-06-06 2022-07-05 浪潮通信技术有限公司 一种Kubernetes容器共享GPU方法及系统
CN115617364A (zh) * 2022-12-20 2023-01-17 中化现代农业有限公司 Gpu虚拟化部署方法、系统、计算机设备和存储介质

Also Published As

Publication number Publication date
JP7385156B2 (ja) 2023-11-22
JPWO2021210123A1 (ja) 2021-10-21

Similar Documents

Publication Publication Date Title
US6026452A (en) Network distributed site cache RAM claimed as up/down stream request/reply channel for storing anticipated data and meta data
JP4781089B2 (ja) タスク割り当て方法およびタスク割り当て装置
WO2018005613A1 (en) Systems and methods for efficient distribution of stored data objects
US20150074222A1 (en) Method and apparatus for load balancing and dynamic scaling for low delay two-tier distributed cache storage system
CN102981929B (zh) 磁盘镜像的管理方法和系统
WO2021210123A1 (ja) スケジューリング方法、スケジューラ、ｇｐｕクラスタシステムおよびプログラム
CN110069341B (zh) 边缘计算中结合功能按需配置的有依赖关系任务的调度方法
US11461119B2 (en) Virtual containers configured to support multiple machine learning models
US20160156715A1 (en) Optimal allocation of dynamically instantiated services among computation resources
US11966768B2 (en) Apparatus and method for multi-cloud service platform
CN111427675B (zh) 一种数据处理方法、装置以及计算机可读存储介质
JP2005031987A (ja) コンテンツ配信システムにおけるコンテンツ配置管理システム及びコンテンツ配置管理プログラム
CN112600761B (zh) 一种资源分配的方法、装置及存储介质
CN106254561A (zh) 一种网络资源文件的实时离线下载方法及系统
Rajalakshmi et al. An improved dynamic data replica selection and placement in cloud
CN108073457B (zh) 一种超融合基础架构的分层资源管理方法、装置及系统
CN112905325B (zh) 一种分布式数据缓存加速训练的方法、系统及介质
Czarnul A model, design, and implementation of an efficient multithreaded workflow execution engine with data streaming, caching, and storage constraints
US11916998B2 (en) Multi-cloud edge system
CN117215493A (zh) 文件共享系统
CN116974465A (zh) 数据加载方法、装置、设备及计算机存储介质
Tang et al. A block-level caching optimization method for mobile transparent computing
Bakhshad et al. A Dynamic Replication Aware Load Balanced Scheduling for Data Grids in Distributed Environments of Internet of Things.
CN106775942B (zh) 一种云应用导向的固态盘缓存管理系统及方法
CN114880147A (zh) 一种显存共享方法、装置、设备及存储介质

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20931419

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022514945

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20931419

Country of ref document: EP

Kind code of ref document: A1