JP6692454B2 - Continuous integration system and resource control method - Google Patents

Continuous integration system and resource control method Download PDF

Info

Publication number
JP6692454B2
JP6692454B2 JP2018557492A JP2018557492A JP6692454B2 JP 6692454 B2 JP6692454 B2 JP 6692454B2 JP 2018557492 A JP2018557492 A JP 2018557492A JP 2018557492 A JP2018557492 A JP 2018557492A JP 6692454 B2 JP6692454 B2 JP 6692454B2
Authority
JP
Japan
Prior art keywords
test
resource
information
unit
estimation
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2018557492A
Other languages
Japanese (ja)
Other versions
JPWO2018116460A1 (en
Inventor
貴也 井出
貴也 井出
哲 守屋
哲 守屋
順史 木下
順史 木下
敬太 嶋田
敬太 嶋田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hitachi Ltd
Original Assignee
Hitachi Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Ltd filed Critical Hitachi Ltd
Publication of JPWO2018116460A1 publication Critical patent/JPWO2018116460A1/en
Application granted granted Critical
Publication of JP6692454B2 publication Critical patent/JP6692454B2/en
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software

Description

本発明は、プログラムの不具合解消のためのテストの際に消費する計算機リソースを削減する計算機システム及びその方法に関する。   The present invention relates to a computer system and a method for reducing computer resources consumed during a test for resolving a program problem.

ソフトウェア開発において、コーディングとソフトウェアテスト（以下テストと呼称）を継続的に繰り返す継続的インテグレーション（ＣＩ：Continuous Integration）が行われている。ＣＩを行うときは、ソフトウェア構成管理（ＳＣＭ：Software Configuration Management）サーバにてユーザが生成したソースコードやテストコード（以下まとめてコード群と呼称）を管理する。   In software development, continuous integration (CI: Continuous Integration) is performed in which coding and software testing (hereinafter referred to as “test”) are continuously repeated. When performing CI, a source code and a test code (hereinafter collectively referred to as a code group) generated by the user are managed by a software configuration management (SCM) server.

ソフトウェア構成管理サーバ（以下、ＳＣＭサーバ）は、ユーザからのリクエストやコード群の更新に応じて、継続的インテグレーションサーバ（以下ＣＩサーバ）上でテストコードを実行する。なお、ソースコードにはテストの対象となるソフトウェアの処理が記述されており、テストコードにはソースコードを評価する処理（テスト処理）、およびビルドやテスト処理の起動等、テストに必要な一連の処理が記述されている。   A software configuration management server (hereinafter, SCM server) executes a test code on a continuous integration server (hereinafter, CI server) in response to a request from a user or an update of a code group. The source code describes the process of the software to be tested, and the test code includes a process for evaluating the source code (test process) and a series of tests required for testing, such as starting a build or test process. The process is described.

また、近年ではＣＩサーバの機能をサービスとして提供するＣＩサービスが登場し始めている。ＣＩサービスとは、ユーザがＳＣＭサーバのコード群を更新すると、ＣＩサービスのサービス提供者が保有するＣＩサーバ上でユーザのテストコードを自動的に実行し、実行結果を電子メールやチャットによりユーザへ通知するサービスである。   Further, in recent years, a CI service that provides the function of a CI server as a service has begun to appear. The CI service is that when the user updates the code group of the SCM server, the test code of the user is automatically executed on the CI server owned by the service provider of the CI service, and the execution result is sent to the user by e-mail or chat. This is a notification service.

上記従来の技術では、ＣＩサービスにおいて、ユーザのテストコードを実行するときは、テストの実行基盤上に、テストごとに仮想マシンやコンテナ（ＬＸＣ（Linux Containers）等のコンテナ型仮想化技術によって生成されたコンテナ）等のインスタンスを構築して、当該インスタンス上でテストを実行する。   In the above-mentioned conventional technology, when the user's test code is executed in the CI service, it is generated by a container-type virtualization technology such as a virtual machine or a container (LXC (Linux Containers)) for each test on the test execution base. Container)) and execute the test on the instance.

現在のＣＩサービスにおいては、テストを実行するためのインスタンスに、十分な量のコンピューティングリソース（プロセッサやメモリ、ディスクサイズ、ネットワーク帯域等、以下リソースと呼称）を一律に割り当てる。これにより、ＣＩサーバの実行環境のリソース不足に起因したユーザのテストの失敗を抑制できるが、一方で負荷の少ないテストにも一律にリソースが割り当てられることからリソースの無駄が多い、という問題があった。   In the current CI service, a sufficient amount of computing resources (processor, memory, disk size, network bandwidth, etc., hereinafter referred to as resources) are uniformly assigned to instances for executing tests. As a result, it is possible to suppress the user's test failure due to the lack of resources in the execution environment of the CI server, but on the other hand, there is a problem that resources are often wasted because resources are uniformly allocated to tests with a low load. It was

ＣＩサービスの実行基盤としてパブリッククラウド環境を用いることにより、負荷に応じて基盤リソースを増強できるため、リソースが枯渇する心配は無いものの、リソースを増強すると、その分コストが増大するためＣＩサービスの提供者は採算が取りづらくなる。リソースのコストを低減するために、ＣＩサービスにおいては、テストを実行する実行基盤のリソースを効率的に使用することが要求されている。   By using a public cloud environment as the execution base for CI services, it is possible to increase the base resources according to the load, so there is no concern that the resources will be exhausted, but if the resources are increased, the cost will increase accordingly, so the CI service will be provided. Are hard to come by. In order to reduce the cost of resources, CI services are required to efficiently use the resources of the execution base for executing tests.

ＣＩの実行基盤のリソースを効率的に使用する技術として特許文献１、２が知られている。   Patent Documents 1 and 2 are known as techniques for efficiently using CI execution base resources.

特許文献１には、テストの網羅性を担保しながらも、ソースコードの更新箇所に関係するテストのみを実行するように、テストの実行範囲を変更することで、回帰テストの量を削減するテストシステムが開示されている。   Patent Document 1 discloses a test that reduces the amount of regression tests by changing the test execution range so that only the tests related to the update location of the source code are executed while ensuring the completeness of the tests. A system is disclosed.

特許文献２には、使用可能なリソースが制限された中で、テストがソフトウェアに与える品質属性（ＳＱＡ：Software Quality Attribute）や過去のテスト結果の成否の情報に基づき、テストの集合から実行するテストの部分集合を抽出する手法が開示されている。   In Patent Document 2, a test to be executed from a set of tests is executed based on a quality attribute (SQA: Software Quality Attribute) given to the software by the test and information on success or failure of past test results, while the usable resources are limited. A method of extracting a subset of is disclosed.

特開２０１５−０６９４００号公報JP, 2005-069400, A 米国特許第９４０５６６１号US Patent 9405661

サービス提供者が上述のＣＩをサービスとして提供するとき、前記先行技術文献ではテストの実行基盤となるリソースを効率化に用いることは困難である。以下に、その理由を示す。   When the service provider provides the above-mentioned CI as a service, it is difficult in the above-mentioned prior art document to use the resource that is the basis for executing the test for efficiency. The reason is shown below.

特許文献１および２は、テストの大部分が前回のテストと同一の処理という点に着目し、過去のテスト情報やテスト結果をもとにテストの中から一部の処理を抽出し、抽出した処理のみ実行することで、テストに必要なリソース量を削減している。   In Patent Documents 1 and 2, focusing on the fact that most of the tests are the same as the previous test, some processes were extracted from the test based on past test information and test results, and extracted. By executing only the process, the amount of resources required for the test is reduced.

しかし、ソフトウェアの品質保証という観点を考えると、全てのテストを実行しなければ、テスト工程で問題が無いことを保証できない。このため、前記従来例のように実行するテストを部分的に抽出して実行することは望ましくない。特に、ＣＩサービスにおいては、サービス提供者がリソースを削減する目的で、ユーザの生成したテストから実行するテストを部分的に抽出して実行することはサービス品質の観点において困難である。   However, from the viewpoint of software quality assurance, it cannot be guaranteed that there will be no problems in the test process unless all tests are executed. Therefore, it is not desirable to partially extract and execute the test to be executed as in the conventional example. In particular, in the CI service, it is difficult from the viewpoint of quality of service for the service provider to partially extract the test to be executed from the user-generated test for the purpose of reducing resources.

本発明は以上の点を考慮してなされたもので、過去のテストの履歴情報に基づいて各テストに必要なリソースを推定することにより、各テストのインスタンスに割り当てるリソースを変更し、テスト実行時に割り当てるリソース量を低減することを目的とする。   The present invention has been made in consideration of the above points. By estimating the resources required for each test based on the history information of past tests, the resources allocated to each test instance are changed, and at the time of test execution. The purpose is to reduce the amount of resources to be allocated.

本発明は、プロセッサとメモリとを有し、ソフトウェアのテストを管理するＣＩサーバと、プロセッサとメモリとを有する一つ以上の計算機を含み、前記ＣＩサーバからの要求に応じて前記ソフトウェアのテストを実行する計算クラスタと、を含む継続的インテグレーションシステムであって、前記ＣＩサーバは、前記テストを実行するソフトウェアを受け付けて、前記テストに割り当てるリソースを決定し、当該リソースを前記計算クラスタに通知して前記テストを実行させて、前記計算クラスタから実行結果を取得するＣＩサービス部と、前記ＣＩサービス部からの要求に応じて、前記テストに割り当てるリソースを推定するリソース推定部と、を有し、前記リソース推定部は、前記テストごとに一意となるテストＩＤを割り当てるテストＩＤ算出部と、前記テストＩＤごとに前記テストの実行中に消費したリソースの情報を取得する結果取得部と、過去に実行した前記テストＩＤと前記取得したリソースの情報とを対応付けて格納する履歴情報と、前記ＣＩサービス部からリソースの推定を要求されたときには、前記履歴情報に基づいて、前記テストＩＤごとにテストの実行に必要なリソースを推定し、推定結果をリソース割当情報として前記ＣＩサービス部に通知する推定部と、を含み、前記ＣＩサービス部は、前記テストに割り当てるリソースの推定要求をリソース推定部に送信し、前記リソース推定部から受け付けたリソースの推定結果を、前記テストに割り当てるリソースとして決定する。   The present invention includes a CI server that has a processor and a memory and manages a software test, and one or more computers having a processor and a memory, and executes the software test in response to a request from the CI server. A continuous integration system including a computing cluster to execute, wherein the CI server receives software for executing the test, determines a resource to be allocated to the test, and notifies the computing cluster of the resource. A CI service unit configured to execute the test and obtain an execution result from the calculation cluster; and a resource estimation unit configured to estimate a resource to be allocated to the test in response to a request from the CI service unit, The resource estimation unit assigns a unique test ID to each test. An ID calculation unit, a result acquisition unit that acquires information on resources consumed during the execution of the test for each test ID, a test ID executed in the past, and information on the acquired resources are stored in association with each other. When the history information and the resource estimation from the CI service unit are requested, the resources required to execute the test are estimated for each of the test IDs based on the history information, and the estimation result is used as the resource allocation information. The CI service unit transmits a request for estimating a resource to be allocated to the test to the resource estimating unit, and the resource estimation result received from the resource estimating unit is included in the test. Determine as the resource to allocate.

本発明によれば、各テストに必要なリソースを推定することにより、テストに割り当てる計算機リソースの量を変更することが可能となって、テストの実行時のリソース消費量を削減できる。   According to the present invention, by estimating the resources required for each test, it becomes possible to change the amount of computer resources allocated to each test, and it is possible to reduce the resource consumption amount when the test is executed.

本発明の実施例１を示し、リソース推定の単位であるテストを示すブロック図である。FIG. 3 is a block diagram showing the first embodiment of the present invention and showing a test as a unit of resource estimation. 本発明の実施例１を示し、リソース推定装置を含むＣＩシステムの一例を示すブロック図である。1 is a block diagram showing a first embodiment of the present invention and showing an example of a CI system including a resource estimation device. FIG. 本発明の実施例１を示し、リソース推定装置の機能要素の一例を示すブロック図である。1 is a block diagram illustrating a first embodiment of the present invention and an example of functional elements of a resource estimation device. FIG. 本発明の実施例１を示し、リソース推定装置のハードウェアの構成の一例を示すブロック図である。1 is a block diagram showing a first embodiment of the present invention and showing an example of a hardware configuration of a resource estimation device. FIG. 本発明の実施例１を示し、履歴情報に含まれるテストＩＤ管理テーブルの一例を示す図である。FIG. 5 is a diagram showing the first embodiment of the present invention and showing an example of a test ID management table included in history information. 本発明の実施例１を示し、履歴情報に含まれる履歴管理テーブルの一例を示す図である。FIG. 6 is a diagram showing the first embodiment of the present invention and showing an example of a history management table included in history information. 本発明の実施例１を示し、ＣＩシステムで行われる処理の一例を示すシーケンス図である。FIG. 6 is a sequence diagram showing the first embodiment of the present invention and showing an example of processing performed in the CI system. 本発明の実施例１を示し、リソース推定装置が出力する表示画面の一例を示す図である。It is a figure which shows Example 1 of this invention and shows an example of the display screen which a resource estimation apparatus outputs. 本発明の実施例２を示し、履歴情報に格納される履歴管理テーブルの一例を示す図である。FIG. 8 is a diagram showing the second embodiment of the present invention and showing an example of a history management table stored in history information. 本発明の実施例２を示し、ＣＩシステムで行われる処理の一例を示すシーケンス図である。FIG. 9 is a sequence diagram showing the second embodiment of the present invention and showing an example of processing performed in the CI system. 本発明の実施例３を示し、ＣＩサーバの構成の一例を示すブロック図である。It is a block diagram which shows Example 3 of this invention and shows an example of a structure of a CI server.

以下、本発明の一実施形態について添付図面を用いて説明する。   An embodiment of the present invention will be described below with reference to the accompanying drawings.

図１は、本実施例１におけるリソースの使用量を推定する単位であるテスト１５０を示すブロック図である。本実施例１におけるテスト１５０は、継続的に開発するソフトウェア（ソースコード）をテストするために、同一の目的で更新されてきた一連のテストコード１５１−１〜１５１−３を表す。ただし、「テスト１５０」ではなく符号の無い「テスト」もしくは「ソフトウェアテスト」と表記される場合は情報の単位ではなく、ソフトウェアの評価手法としてのテストを指す。   FIG. 1 is a block diagram showing a test 150 that is a unit for estimating the resource usage amount in the first embodiment. The test 150 in the first embodiment represents a series of test codes 151-1 to 151-3 that have been updated for the same purpose in order to test software (source code) that is continuously developed. However, when a “test” or a “software test” without a sign is described instead of the “test 150”, it does not mean a unit of information but a test as a software evaluation method.

テストコード１５１−１〜１５１−３はソフトウェアを評価するための処理、およびビルドやテスト起動等のテストに必要な一連の処理を表す文字列の羅列で、１つ以上のファイルに記述される。以下の説明では、テストコードの全般を示す場合には「−」以降を省略した符号「１５１」を使用する。他の構成要素の符号についても同様である。   The test codes 151-1 to 151-3 are a string of character strings representing a series of processes required for a software evaluation process and a test such as build and test start, and are described in one or more files. In the following description, reference numeral "151", which omits "-" and thereafter, is used to indicate the general test code. The same applies to the reference numerals of other components.

ソフトウェアの開発に応じてテストコード１５１−１がテストコード１５１−２〜１５１−３へ順次変化したとしても、それらは同一のテスト１５０とみなす。図５にて後述するテストＩＤ（識別子）７４は、テスト１５０を一意に定める識別子を表す。   Even if the test code 151-1 sequentially changes to the test codes 151-2 to 151-3 in accordance with the development of software, they are regarded as the same test 150. A test ID (identifier) 74 described later in FIG. 5 represents an identifier that uniquely defines the test 150.

本実施例１ではテスト１５０を計算クラスタ３０で自動的に実行するための設定ファイル（Jenkinsfileなど）や、インスタンス構成を定義したファイル（docker-compose.yml等）もテストコード１５１として扱う。   In the first embodiment, a setting file (Jenkins file etc.) for automatically executing the test 150 in the calculation cluster 30 and a file (docker-compose.yml etc.) defining the instance configuration are also handled as the test code 151.

＜システムの全体構成＞
図２は、リソース推定装置２を含むＣＩ（Continuous Integration：継続的インテグレーション）システム１の機能要素の一例を示すブロック図である。本図を用いて、ＣＩシステム１の各機能要素の役割および、リソース推定装置２との関係を示す。<Overall system configuration>
FIG. 2 is a block diagram showing an example of functional elements of a CI (Continuous Integration) system 1 including the resource estimation device 2. The role of each functional element of the CI system 1 and the relationship with the resource estimation device 2 are shown using this figure.

ＣＩシステム１はＳＣＭサーバ１０とＣＩサーバ２０とリソース推定装置２と計算クラスタ３０とが通信ネットワークで接続された計算機システムである。ＳＣＭサーバ１０と、ＣＩサーバ２０と、リソース推定装置２と、計算クラスタ３０は、１台以上のコンピュータ等のハードウェアもしくは、１個以上の仮想マシンやコンテナ等のソフトウェアで構成され、通信ネットワークを介して相互に通信を行う。   The CI system 1 is a computer system in which an SCM server 10, a CI server 20, a resource estimation device 2, and a calculation cluster 30 are connected by a communication network. The SCM server 10, the CI server 20, the resource estimation device 2, and the calculation cluster 30 are configured by hardware such as one or more computers or software such as one or more virtual machines and containers, and form a communication network. Communicate with each other via.

ＳＣＭサーバ１０は、リポジトリ１１やブランチ１２の単位でユーザ端末５０で生成したコード群４０を管理する。ユーザ端末５０がＳＣＭサーバ１０のコード群４０を更新すると、ＳＣＭサーバ１０は、ＣＩサーバ２０に対して更新されたコード群４０およびコードメタ情報４１を送信する。   The SCM server 10 manages the code group 40 generated by the user terminal 50 in units of the repository 11 and the branch 12. When the user terminal 50 updates the code group 40 of the SCM server 10, the SCM server 10 sends the updated code group 40 and the code meta information 41 to the CI server 20.

コード群４０は、ユーザ端末５０が生成したテストコード１５１やソースコードを含む。コードメタ情報４１は、コード群４０に付随する情報であり、コード群４０に含まれるテストコード１５１やソースコードを特定するためのリポジトリ１１やブランチ１２のＩＤ等を含む。   The code group 40 includes the test code 151 and the source code generated by the user terminal 50. The code meta information 41 is information associated with the code group 40, and includes the test code 151 included in the code group 40, the repository 11 for identifying the source code, the ID of the branch 12, and the like.

ＣＩサーバ２０は、ユーザ端末５０からのリクエストやＳＣＭサーバ１０のリポジトリ１１の更新に応じて、ソフトウェアテストを計算クラスタ３０に実行させる。ＣＩサーバ２０は、ＳＣＭ連携機能２１と、リソース推定連携機能２２と、計算クラスタ連携機能２３と、ジョブ情報２４を有する。   The CI server 20 causes the calculation cluster 30 to execute a software test in response to a request from the user terminal 50 or an update of the repository 11 of the SCM server 10. The CI server 20 has an SCM cooperation function 21, a resource estimation cooperation function 22, a calculation cluster cooperation function 23, and job information 24.

ＳＣＭ連携機能２１は、ＳＣＭサーバ１０からコード群４０およびコードメタ情報４１を受信し、ジョブ情報２４を参照してコードメタ情報４１に対応するジョブメタ情報４２を生成する機能を有する。   The SCM cooperation function 21 has a function of receiving the code group 40 and the code meta information 41 from the SCM server 10 and generating the job meta information 42 corresponding to the code meta information 41 by referring to the job information 24.

リソース推定連携機能２２は、リソース推定装置２にコードメタ情報４１と、ジョブメタ情報４２を通知して、テスト１５０に割り当てるリソース量の推定を要求する。なお、テスト１５０は、ジョブメタ情報４２に含まれるジョブの識別子と、コードメタ情報４１に含まれるテストコード１５１の識別子やソースコードの識別子を基にリソース推定装置２によって特定される。   The resource estimation cooperation function 22 notifies the resource estimation device 2 of the code meta information 41 and the job meta information 42, and requests the resource estimation device 2 to estimate the amount of resources allocated to the test 150. The test 150 is specified by the resource estimation device 2 based on the job identifier included in the job meta information 42 and the identifier of the test code 151 or the source code included in the code meta information 41.

リソース推定連携機能２２は、リソース推定装置２からリソース量の推定要求に対するリソース割当情報４３を受信すると、テスト１５０を実行するためのインスタンス３４に割り当てるリソースを決定する他、テスト１５０の実行後にログ情報４４をリソース推定装置２に通知する機能を有する。なお、リソースとは、計算クラスタ３０内のホスト３３のプロセッサの割当量やメモリの容量、ディスクサイズ、ネットワーク帯域等のコンピュータリソースを指す。   When the resource estimation cooperation function 22 receives the resource allocation information 43 for the resource amount estimation request from the resource estimation device 2, the resource estimation cooperation function 22 determines the resources to be allocated to the instance 34 for executing the test 150, and the log information after the execution of the test 150. It has a function of notifying 44 to the resource estimation device 2. The resource refers to a computer resource such as a processor allocation amount of the host 33 in the calculation cluster 30, a memory capacity, a disk size, and a network band.

計算クラスタ連携機能２３は、計算クラスタ３０に対し、インスタンス３４の生成（リソース要求）や、インスタンス３４上でのテスト１５０の実行（テスト１５０の実行要求）や、インスタンス３４の削除を要求する。ジョブ情報２４は、ＳＣＭサーバ１０から受信したコードメタ情報４１に対応するジョブメタ情報４２を管理する。   The calculation cluster cooperation function 23 requests the calculation cluster 30 to generate the instance 34 (resource request), execute the test 150 on the instance 34 (execution request of the test 150), and delete the instance 34. The job information 24 manages the job meta information 42 corresponding to the code meta information 41 received from the SCM server 10.

ジョブメタ情報４２は、コード群４０に対応するジョブＩＤを有する。また、ＣＩサーバ２０の機能によっては、ジョブメタ情報４２内にＳＣＭサーバ１０内におけるコード群４０のリポジトリ１１やブランチ１２のＩＤを含む場合がある。この場合はジョブメタ情報４２をコードメタ情報４１の代替として用いることができる。なお、ジョブＩＤは、例えばＪｅｎｋｉｎｓ（登録商標）におけるジョブ名やＣｏｎｃｏｕｒｓｅＣＩ（登録商標）におけるパイプライン名やグループ名であり、ＣＩサーバ２０で生成することができる。   The job meta information 42 has a job ID corresponding to the code group 40. Further, depending on the function of the CI server 20, the job meta information 42 may include the ID of the repository 11 of the code group 40 or the branch 12 in the SCM server 10. In this case, the job meta information 42 can be used as a substitute for the code meta information 41. Note that the job ID is, for example, a job name in Jenkins (registered trademark) or a pipeline name or group name in Concourse CI (registered trademark), and can be generated by the CI server 20.

ログ情報４４は、テスト１５０の成否（実行結果）やテスト１５０の開始時刻（実行時刻８５）や、計算クラスタ３０のホスト３３に生成したインスタンス３４のＩＤや、インスタンス３４に割り当てたリソース量の値等を有する。なお、インスタンス３４のＩＤは、計算クラスタ管理装置３１等で生成されたＩＤを用いることができる。リソース推定装置２は、ジョブメタ情報４２とログ情報４４から、テスト１５０を実行したインスタンス３４のＩＤと、コード群４０に対応するジョブＩＤとの対応関係を特定することができる。   The log information 44 is the success or failure of the test 150 (execution result), the start time of the test 150 (execution time 85), the ID of the instance 34 created in the host 33 of the computing cluster 30, and the value of the resource amount allocated to the instance 34. And so on. As the ID of the instance 34, the ID generated by the calculation cluster management device 31 or the like can be used. The resource estimation device 2 can specify the correspondence relationship between the ID of the instance 34 that executed the test 150 and the job ID corresponding to the code group 40 from the job meta information 42 and the log information 44.

また、ログ情報４４には、ＣＩサーバ２０によってはインスタンス３４が消費したリソース量の情報を有する場合もある。リソース割当情報４３は、テスト１５０を実行するために計算クラスタ３０でインスタンス３４に割り当てるホスト３３のリソース量を指定する情報を有する。   In addition, the log information 44 may include information on the amount of resources consumed by the instance 34 depending on the CI server 20. The resource allocation information 43 has information that specifies the resource amount of the host 33 allocated to the instance 34 in the calculation cluster 30 to execute the test 150.

計算クラスタ３０は、テスト１５０を実行する環境であり、例えばＫｕｂｅｒｎｅｔｅｓ（登録商標）やＯｐｅｎＳｔａｃｋ（登録商標）等によって構成される。計算クラスタ３０は計算クラスタ管理装置３１とリソース監視装置３２、および１つ以上のホスト３３−１〜３３−ｎからなる。   The calculation cluster 30 is an environment for executing the test 150, and is configured by, for example, Kubernetes (registered trademark), OpenStack (registered trademark), or the like. The calculation cluster 30 includes a calculation cluster management device 31, a resource monitoring device 32, and one or more hosts 33-1 to 33-n.

計算クラスタ管理装置３１は、ＣＩサーバ２０からのリクエストに応じて、ホスト３３上にテスト１５０を実行するためのインスタンス３４を生成する。リソース監視装置３２はインスタンス３４のリソース消費量を収集および保持する。なお、リソース監視装置３２が保持するリソース消費量の情報は、リソース消費結果４５としてリソース推定装置２が取得することができる。ホスト３３はインスタンス３４を稼働させる。ホスト３３は物理マシンや仮想マシンにより構築される。インスタンス３４はテスト１５０を実行するため、ホスト３３上に構築された仮想マシンやコンテナである。   The computing cluster management device 31 creates an instance 34 for executing the test 150 on the host 33 in response to a request from the CI server 20. The resource monitoring device 32 collects and holds the resource consumption of the instance 34. The information on the resource consumption amount held by the resource monitoring device 32 can be acquired by the resource estimation device 2 as the resource consumption result 45. The host 33 runs the instance 34. The host 33 is constructed by a physical machine or a virtual machine. The instance 34 is a virtual machine or a container built on the host 33 to execute the test 150.

＜論理構成及び物理構成＞
図３はリソース推定装置２の機能要素の一例を示すブロック図である。リソース推定装置２はテストＩＤ算出部３と結果取得部４とリソース推定部５と履歴情報６とアルゴリズム情報７からなる。<Logical configuration and physical configuration>
FIG. 3 is a block diagram showing an example of functional elements of the resource estimation device 2. The resource estimation device 2 includes a test ID calculation unit 3, a result acquisition unit 4, a resource estimation unit 5, history information 6, and algorithm information 7.

テストＩＤ算出部３は、コードメタ情報４１およびジョブメタ情報４２および、図５Ａに示すテストＩＤ管理テーブル７０を参照してテスト１５０ごとに一意となるテストＩＤ７４を算出し、結果取得部４およびリソース推定部５に通知する。本処理は図６のステップＰ３にて詳述する。   The test ID calculation unit 3 refers to the code meta information 41, the job meta information 42, and the test ID management table 70 illustrated in FIG. 5A to calculate a unique test ID 74 for each test 150, and the result acquisition unit 4 and the resource estimation unit. Notify 5. This processing will be described in detail in step P3 of FIG.

結果取得部４は、リソース監視装置３２から取得したリソース消費結果４５と、ＣＩサーバ２０から取得したログ情報４４と、テストＩＤ算出部３から取得したテストＩＤ７４に基づき、テストＩＤ７４ごとのインスタンス３４の消費リソース量を算出し、算出結果の値を履歴情報６に格納する。本処理は図６のステップＰ１０にて詳述する。   Based on the resource consumption result 45 acquired from the resource monitoring device 32, the log information 44 acquired from the CI server 20, and the test ID 74 acquired from the test ID calculation unit 3, the result acquisition unit 4 determines the instance 34 of each test ID 74. The consumption resource amount is calculated, and the value of the calculation result is stored in the history information 6. This processing will be described in detail in step P10 of FIG.

履歴情報６はテストＩＤ７４ごとにインスタンス３４に割り当てたリソース量の情報を保持する。履歴情報６は図５Ａ、図５Ｂにて詳述する。   The history information 6 holds information on the amount of resources allocated to the instance 34 for each test ID 74. The history information 6 will be described in detail with reference to FIGS. 5A and 5B.

リソース推定部５は、テストＩＤ算出部３から取得したテストＩＤ７４に基づいて履歴情報６からテストＩＤに関連するリソース情報８２（図５にて詳述）を取得する。そして、リソース推定部５は、アルゴリズム情報７からユーザ端末５０が選択したアルゴリズムを取得して、当該アルゴリズムを用いて、テストＩＤ７４で指定されたテスト１５０を実行するために必要なインスタンス３４のリソース量を算出する。本処理は図６のステップＰ５にて詳述する。   The resource estimation unit 5 acquires the resource information 82 (described in detail in FIG. 5) related to the test ID from the history information 6 based on the test ID 74 acquired from the test ID calculation unit 3. Then, the resource estimation unit 5 acquires the algorithm selected by the user terminal 50 from the algorithm information 7 and uses the algorithm to execute the resource amount of the instance 34 required to execute the test 150 specified by the test ID 74. To calculate. This processing will be described in detail in step P5 of FIG.

アルゴリズム情報７は、リソース量を推定するための計算処理を実行するためのプログラムを１つ以上保持する。このプログラムを本実施例１ではアルゴリズムと呼称する。アルゴリズムは、リソース情報８２に基づいてインスタンス３４へ割り当てるリソース量を算出する所定の処理であり、例えば回帰分析や、標準偏差を考慮した算術平均である。   The algorithm information 7 holds one or more programs for executing calculation processing for estimating the resource amount. This program is called an algorithm in the first embodiment. The algorithm is a predetermined process for calculating the amount of resources to be allocated to the instance 34 based on the resource information 82, and is, for example, regression analysis or arithmetic mean in consideration of standard deviation.

また、各アルゴリズムは、算出した割当リソース量に対し、ユーザ端末５０のユーザが設定した任意の余裕（例えばアルゴリズムの算出値より１０％多いリソース量を割当リソース量とする等）を設けることができる。なお、リソース量を推定するアルゴリズム情報７については、上記の他に公知または周知の技術を適用することができる。   Further, each algorithm can be provided with an arbitrary margin set by the user of the user terminal 50 with respect to the calculated allocated resource amount (for example, the allocated resource amount is 10% larger than the calculated value of the algorithm). .. For the algorithm information 7 for estimating the resource amount, a known or well-known technique other than the above can be applied.

図４は、リソース推定装置２のハードウェア構成の一例を示すブロック図である。リソース推定装置２は、入出力デバイス６２と、プロセッサ６３と、外部記憶デバイス６４と、主記憶デバイス６５と、通信制御デバイス６１を含んで構成される。これらは、内部バス６６を介して相互に接続される。   FIG. 4 is a block diagram showing an example of the hardware configuration of the resource estimation device 2. The resource estimation device 2 includes an input / output device 62, a processor 63, an external storage device 64, a main storage device 65, and a communication control device 61. These are connected to each other via an internal bus 66.

入出力デバイス６２は、ユーザ（または管理者）が各種操作入力を行うためのキーボードやマウス等の入力デバイスと、各種情報を表示するための液晶ディスプレイやタッチパネルのような出力デバイスである。   The input / output device 62 is an input device such as a keyboard or a mouse for a user (or an administrator) to perform various operation inputs, and an output device such as a liquid crystal display or a touch panel for displaying various information.

プロセッサ６３は、リソース推定装置２の演算処理を行うハードウェアである。また、外部記憶デバイス６４は、大容量の記憶容量を有する記憶デバイスであり、たとえばハードディスク装置やＳＳＤ（Solid State Drive）である。外部記憶デバイス６４は、図２で示した履歴情報６およびアルゴリズム情報７を保持するほか、主記憶デバイス６５に呼び出される各種プログラムの実行ファイルを保持する。   The processor 63 is hardware that performs arithmetic processing of the resource estimation device 2. The external storage device 64 is a storage device having a large storage capacity, and is, for example, a hard disk device or an SSD (Solid State Drive). The external storage device 64 holds the history information 6 and the algorithm information 7 shown in FIG. 2, and also holds execution files of various programs called by the main storage device 65.

主記憶デバイス６５は、例えば半導体メモリから構成され、各種プログラムやテーブルから呼び出されたデータを一時的に保持する。主記憶デバイス６５は、図２で示したテストＩＤ算出部３と、結果取得部４と、リソース推定部５のプログラム群を含む。また、各種テーブルへのアクセスを高速にするため、外部記憶デバイス６４の代わりに、主記憶デバイス６５に履歴情報６やアルゴリズム情報７を保持しても良い。外部記憶デバイス６４および主記憶デバイス６５は、プロセッサ６３からアクセスできる。   The main storage device 65 is composed of, for example, a semiconductor memory, and temporarily holds data called from various programs and tables. The main storage device 65 includes the test ID calculation unit 3, the result acquisition unit 4, and the program group of the resource estimation unit 5 shown in FIG. Further, in order to speed up access to various tables, the history information 6 and the algorithm information 7 may be held in the main storage device 65 instead of the external storage device 64. The external storage device 64 and the main storage device 65 can be accessed from the processor 63.

なお、本実施例ではテストＩＤ算出部３と、結果取得部４と、リソース推定部５をプログラムとして説明するが、これらはハードウェアによって同等の機能が構成されるとしてもよいし、ソフトウェアとハードウェアによって構成されていてもよい。   In the present embodiment, the test ID calculation unit 3, the result acquisition unit 4, and the resource estimation unit 5 are described as programs, but these may have the same function by hardware, or software and hardware. It may be configured by ware.

通信制御デバイス６１は、外部との通信を制御する機能を有するハードウェアであり、通信ネットワーク６７を介してリソース推定装置２をＣＩシステム１に接続する。   The communication control device 61 is hardware having a function of controlling communication with the outside, and connects the resource estimation device 2 to the CI system 1 via the communication network 67.

プロセッサ６３は、各機能部のプログラムに従って処理することによって、所定の機能を提供する機能部として稼働する。例えば、プロセッサ６３は、テストＩＤ算出プログラムに従って処理することでテストＩＤ算出部３として機能する。他のプログラムについても同様である。さらに、プロセッサ６３は、各プログラムが実行する複数の処理のそれぞれの機能を提供する機能部としても稼働する。計算機及び計算機システムは、これらの機能部を含む装置及びシステムである。   The processor 63 operates as a functional unit that provides a predetermined function by processing according to the program of each functional unit. For example, the processor 63 functions as the test ID calculation unit 3 by processing according to the test ID calculation program. The same applies to other programs. Further, the processor 63 also operates as a functional unit that provides each function of a plurality of processes executed by each program. The computer and the computer system are devices and systems including these functional units.

リソース推定装置２の各機能を実現するプログラム、テーブル等の情報は、外部記憶デバイス６４や不揮発性半導体メモリ、ハードディスクドライブ、ＳＳＤ（Ｓｏｌｉｄ Ｓｔａｔｅ Ｄｒｉｖｅ）等の記憶デバイス、または、ＩＣカード、ＳＤカード、ＤＶＤ等の計算機読み取り可能な非一時的データ記憶媒体に格納することができる。   Information such as a program for realizing each function of the resource estimation device 2 and a table is stored in an external storage device 64, a nonvolatile semiconductor memory, a hard disk drive, a storage device such as SSD (Solid State Drive), or an IC card, an SD card, It can be stored on a computer-readable non-transitory data storage medium such as a DVD.

＜テーブル＞
図５Ａは履歴情報６に格納されるテストＩＤ管理テーブル７０の一例を示す図である。図５Ｂは履歴情報６に格納される履歴管理テーブル８０の一例を示す図である。テストＩＤ管理テーブル７０は、コードメタ情報４１とジョブメタ情報４２からテストＩＤ７４を算出するための情報を保持するテーブルである。<Table>
FIG. 5A is a diagram showing an example of the test ID management table 70 stored in the history information 6. FIG. 5B is a diagram showing an example of the history management table 80 stored in the history information 6. The test ID management table 70 is a table that holds information for calculating the test ID 74 from the code meta information 41 and the job meta information 42.

テストＩＤ管理テーブル７０は、リポジトリＩＤフィールド７１と、ブランチＩＤフィールド７２と、ジョブＩＤフィールド７３と、テストＩＤフィールド７４を一つのレコードに含む。各レコードはテスト１５０ごとに一意となるテストＩＤ７４に対応している。   The test ID management table 70 includes a repository ID field 71, a branch ID field 72, a job ID field 73, and a test ID field 74 in one record. Each record corresponds to a test ID 74 that is unique for each test 150.

リポジトリＩＤ７１は、対象となるリポジトリ１１の識別子を格納する記憶領域である。リポジトリＩＤ７１は、ＳＣＭサーバ１０においてコード群４０が管理されているリポジトリ１１を一意に特定する識別情報であり、ＳＣＭサーバ１０ごとに一意となる値である。   The repository ID 71 is a storage area that stores the identifier of the target repository 11. The repository ID 71 is identification information that uniquely identifies the repository 11 in which the code group 40 is managed in the SCM server 10, and is a value that is unique for each SCM server 10.

ブランチＩＤ７２は、対象となるブランチ１２の識別子を格納する記憶領域である。ブランチＩＤ７２は、ＳＣＭサーバ１０においてコード群４０が管理されているリポジトリ１１内のブランチ１２を一意に特定する識別情報であり、リポジトリ１１ごとに一意となる値である。   The branch ID 72 is a storage area that stores the identifier of the target branch 12. The branch ID 72 is identification information that uniquely identifies the branch 12 in the repository 11 in which the code group 40 is managed in the SCM server 10, and is a value that is unique for each repository 11.

ジョブＩＤ７３は、対象となるジョブの識別子を格納する記憶領域である。ジョブＩＤ７３は、ＣＩサーバ２０においてテストを実行するジョブを一意に特定する識別情報である。なお、リポジトリ１１とジョブとの対応関係は、１つのリポジトリ１１に対し、複数のジョブが存在する場合もあれば、複数のリポジトリが１つのジョブに対応する場合もある。ジョブＩＤ７３はＣＩサーバ２０ごとに一意となる値である。   The job ID 73 is a storage area that stores the identifier of the target job. The job ID 73 is identification information that uniquely identifies a job that executes a test in the CI server 20. As for the correspondence relationship between the repository 11 and the jobs, there may be a plurality of jobs for one repository 11 or a plurality of repositories may correspond to one job. The job ID 73 is a unique value for each CI server 20.

テストＩＤ７４は、対象となるテスト１５０の識別子を格納する記憶領域である。テストＩＤ７４は、テスト１５０ごとに一意となる値であり、リポジトリＩＤ７１と、ブランチＩＤ７２と、ジョブＩＤ７３を基にユーザ端末５０が定めた算出方法を用いて算出される。算出方法は図６のステップＰ４にて詳述する。テストＩＤ７４はリソース推定装置２ごとに一意となる値である。   The test ID 74 is a storage area that stores the identifier of the target test 150. The test ID 74 is a unique value for each test 150, and is calculated using a calculation method determined by the user terminal 50 based on the repository ID 71, the branch ID 72, and the job ID 73. The calculation method will be described in detail in step P4 of FIG. The test ID 74 is a unique value for each resource estimation device 2.

図５Ｂの履歴管理テーブル８０は、各テスト１５０と、テスト１５０の実行時に割り当てたリソース情報８２とを対応付けるテーブルである。   The history management table 80 in FIG. 5B is a table in which each test 150 is associated with the resource information 82 assigned when the test 150 is executed.

履歴管理テーブル８０は、テストＩＤ８１と、リソース情報８２を有する。更にリソース情報８２は、割当リソース８３と、消費リソース８４と、実行時刻８５を一つのレコードに含む。各レコードはテストＩＤ８１で指定されたテスト１５０が実行されたときのリソース情報８２を表す。ＣＩシステム１では、同一のテスト１５０が複数回実行されうるため、同一のテストＩＤ８１のレコードが複数回出現しうる。   The history management table 80 has a test ID 81 and resource information 82. Further, the resource information 82 includes the allocation resource 83, the consumption resource 84, and the execution time 85 in one record. Each record represents the resource information 82 when the test 150 designated by the test ID 81 is executed. In the CI system 1, the same test 150 can be executed a plurality of times, so a record with the same test ID 81 can appear a plurality of times.

テストＩＤ８１は、対象となるテスト１５０の識別子を格納する記憶領域である。テストＩＤ８１は、テスト１５０ごとに一意に割り振られたＩＤであり、図５ＡのテストＩＤ管理テーブル７０に登録されたテストＩＤ７４と同一である。   The test ID 81 is a storage area that stores the identifier of the target test 150. The test ID 81 is an ID uniquely assigned to each test 150, and is the same as the test ID 74 registered in the test ID management table 70 of FIG. 5A.

割当リソース８３は、対象となる割当リソース８３を格納する記憶領域である。割当リソース８３は、ＣＩサーバ２０がテスト実行時に計算クラスタ３０のインスタンス３４へ割り当てたリソース量である。   The allocation resource 83 is a storage area that stores the target allocation resource 83. The allocated resource 83 is the amount of resource that the CI server 20 has allocated to the instance 34 of the computing cluster 30 during the test execution.

消費リソース８４は、テスト１５０で実際に消費したリソース量を格納する記憶領域である。消費リソース８４は、テスト実行時に当該テスト１５０のインスタンス３４が実際に消費したリソース量である。なお、割当リソース８３および消費リソース８４は、リソース量として仮想ＣＰＵのコア数やメモリ量、ディスク量、ネットワーク帯域等、リソースの種類ごとにそれぞれ値を保持することができる。   The consumed resource 84 is a storage area for storing the amount of resource actually consumed in the test 150. The consumed resource 84 is the amount of resource actually consumed by the instance 34 of the test 150 when the test is executed. The allocated resource 83 and the consumed resource 84 can each hold a value as the resource amount for each type of resource such as the number of cores of the virtual CPU, the memory amount, the disk amount, and the network band.

実行時刻８５は、対象となる実行時刻８５を保持する記憶領域である。実行時刻８５は、テスト実行開始時の時刻情報である。   The execution time 85 is a storage area that holds the target execution time 85. The execution time 85 is time information when the test execution is started.

なお、本実施例１では各種情報をテーブルとして説明をしているが、テーブル以外（例えばリストや連想配列）によって構成されていてもよい。   Although various types of information are described as tables in the first embodiment, they may be configured by other than tables (for example, lists or associative arrays).

＜シーケンス図＞
図６はリソース推定装置２を含むＣＩシステム１の処理の例を示すシーケンス図である。本シーケンス図を用いて、ユーザ端末５０がＳＣＭサーバ１０のリポジトリ１１のコード群４０を更新してから、ＣＩサーバ２０が計算クラスタ３０にテスト１５０を実行させて、テスト１５０の実行結果をユーザ端末５０に通知するまでの処理を示す。<Sequence diagram>
FIG. 6 is a sequence diagram showing an example of processing of the CI system 1 including the resource estimation device 2. Using this sequence diagram, after the user terminal 50 updates the code group 40 of the repository 11 of the SCM server 10, the CI server 20 causes the calculation cluster 30 to execute the test 150, and the execution result of the test 150 is displayed as the user terminal. The processing up to the notification to 50 is shown.

以下、具体的な処理の手順を示す。まずユーザ端末５０が、ＳＣＭサーバ１０のリポジトリ１１もしくはリポジトリ１１内の特定ブランチ１２にて管理されているコード群４０を更新する（Ｐ１）。ＳＣＭサーバ１０は、コード群４０が更新されると、ＣＩサーバ２０にコード群４０および、コードメタ情報４１を送信する（Ｐ２）。   The specific processing procedure will be described below. First, the user terminal 50 updates the code group 40 managed by the repository 11 of the SCM server 10 or the specific branch 12 in the repository 11 (P1). When the code group 40 is updated, the SCM server 10 transmits the code group 40 and the code meta information 41 to the CI server 20 (P2).

次に、ＣＩサーバ２０は、コードメタ情報４１およびジョブメタ情報４２からなるメタ情報群をリソース推定装置２へ送信する（Ｐ３）。なお、ジョブメタ情報４２に含まれるジョブＩＤは、コードメタ情報４１に含まれるリポジトリＩＤ７１やブランチＩＤ７２をもとにＣＩサーバ２０内のジョブ情報２４を参照することにより取得される。   Next, the CI server 20 transmits a meta information group including the code meta information 41 and the job meta information 42 to the resource estimation device 2 (P3). The job ID included in the job meta information 42 is acquired by referring to the job information 24 in the CI server 20 based on the repository ID 71 and the branch ID 72 included in the code meta information 41.

その後、リソース推定装置２は、テストＩＤ算出部３にて、テスト１５０に対応するテストＩＤを算出する（Ｐ４）。これは例えば、リソース推定装置２は図５Aの履歴管理テーブル８０を参照し、送信されたコードメタ情報４１に含まれるリポジトリＩＤ７１と、ブランチＩＤ７２およびジョブメタ情報４２に含まれるジョブＩＤ７３の値が全て一致するレコードのテストＩＤ７４を取得する。一方、該当するレコードが無い場合、リソース推定装置２が、類似したテスト１５０を参考にテストＩＤ７４を生成して、新規にレコードを登録してもよい。   After that, in the resource estimation device 2, the test ID calculation unit 3 calculates the test ID corresponding to the test 150 (P4). For example, the resource estimation device 2 refers to the history management table 80 of FIG. 5A, and the values of the repository ID 71 included in the transmitted code meta information 41 and the values of the job ID 73 included in the branch ID 72 and the job meta information 42 all match. The test ID 74 of the record is acquired. On the other hand, when there is no corresponding record, the resource estimation device 2 may generate a test ID 74 by referring to a similar test 150 and newly register a record.

類似するテスト１５０を参考にするとは、例えば、リソース推定装置２が予め決められたＩＤもしくはＩＤの組（例えばリポジトリＩＤ７１とブランチＩＤ７２）が同一のレコードを検索する。そして、リソース推定装置２は、当該テストＩＤ７４の算出規則を参考にして、自身のテストＩＤ７４を算出することなどで行われる（例えば、検索したレコードのテストＩＤ７４がリポジトリＩＤ７１とブランチＩＤ７２の組み合わせの場合、自身のテストＩＤ７４もリポジトリＩＤ７１とブランチＩＤ７２の組とするなど）。   To refer to the similar test 150, for example, the resource estimation device 2 searches for a record in which a predetermined ID or a set of IDs (for example, the repository ID 71 and the branch ID 72) are the same. Then, the resource estimation device 2 calculates the test ID 74 of itself by referring to the calculation rule of the test ID 74 (for example, when the test ID 74 of the retrieved record is a combination of the repository ID 71 and the branch ID 72). , Its own test ID 74 is also a set of repository ID 71 and branch ID 72).

これにより、ＳＣＭサーバ１０において、リポジトリ１１の配下で新規にブランチ１２を生成した場合などでは、履歴情報６に対象となるテストＩＤ７４のリソース情報が無い場合でも、リポジトリＩＤ７１とブランチＩＤ７２が同一のレコードのテストＩＤ７４から履歴管理テーブル８０のリソース情報８２を代用することで、リソースを推定することが可能となる。   With this, in the SCM server 10, when a new branch 12 is created under the repository 11, for example, even if the history information 6 does not have the resource information of the target test ID 74, the record having the same repository ID 71 and branch ID 72 is used. The resource can be estimated by substituting the resource information 82 of the history management table 80 from the test ID 74 of 1.

更に、類似するテスト１５０の検索結果が無い場合、リソース推定装置２は、予め決められたＩＤもしくはＩＤの組み合わせ（例えばリポジトリＩＤ７１とブランチＩＤ７２の組み合わせ）をテストＩＤ７４とし、リポジトリＩＤ７１と、ブランチＩＤ７２と、ジョブＩＤ７３と、テストＩＤ７４とを生成して新規のレコードとして履歴情報６のテストＩＤ管理テーブル７０に登録する。   Furthermore, when there is no search result of the similar test 150, the resource estimation device 2 sets a predetermined ID or a combination of IDs (for example, a combination of the repository ID 71 and the branch ID 72) as the test ID 74, and the repository ID 71 and the branch ID 72. , The job ID 73 and the test ID 74 are generated and registered in the test ID management table 70 of the history information 6 as a new record.

その後、リソース推定装置２はリソース推定部５にて、履歴管理テーブル８０から当該テストＩＤ７４を含む全てのレコードからリソース情報８２を取得し、アルゴリズム情報７に含まれる１つ以上のアルゴリズムから、ユーザ端末５０が指定したアルゴリズムを選択してテスト１５０のインスタンス３４に割り当てるリソース量を推定する（Ｐ５）。   After that, the resource estimation device 2 causes the resource estimation unit 5 to acquire the resource information 82 from all the records including the test ID 74 from the history management table 80, and from the one or more algorithms included in the algorithm information 7, to the user terminal. The algorithm designated by 50 is selected to estimate the resource amount allocated to the instance 34 of the test 150 (P5).

例えば、ユーザ端末５０がアルゴリズムとして算術平均を指定した場合、リソース推定装置２は、取得したリソース情報のうち、履歴管理テーブル８０の消費リソース８４に含まれるリソース量の値の算術平均を、インスタンス３４に割り当てるリソース量として推定する。   For example, when the user terminal 50 specifies the arithmetic average as the algorithm, the resource estimation device 2 calculates the arithmetic average of the resource amount values included in the consumed resources 84 of the history management table 80 from the acquired resource information as the instance 34. It is estimated as the amount of resources allocated to.

履歴管理テーブル８０のテストＩＤ８１に、当該テストＩＤが含まれない場合は、リソース推定装置２は、予め決められた処理で類似するテストＩＤを算出し、当該テストＩＤ８１に対応するリソース情報８２を用いてリソース量を推定する。   When the test ID 81 of the history management table 80 does not include the test ID, the resource estimation device 2 calculates a similar test ID by a predetermined process and uses the resource information 82 corresponding to the test ID 81. To estimate the resource amount.

予め決められた処理とは、例えば、テストＩＤ７４がリポジトリＩＤ７１とブランチＩＤ７２の組で表されている場合、リポジトリＩＤ７１が同一でブランチＩＤ７２が「ｍａｓｔｅｒ」のテストＩＤ７４を当該テストＩＤの代替として利用する等の処理である。これは、ソフトウェア開発において、新規にブランチ１２を生成する場合、「ｍａｓｔｅｒ」ブランチから派生させることを利用している。なお、類似するテストＩＤ７４が無い場合、リソース推定装置２は、予め定められたリソース量を推定値として算出する。   The predetermined process is, for example, when the test ID 74 is represented by a set of the repository ID 71 and the branch ID 72, the test ID 74 having the same repository ID 71 and the branch ID 72 of "master" is used as a substitute for the test ID. And so on. In software development, when a branch 12 is newly generated, it is derived from the “master” branch. When there is no similar test ID 74, the resource estimation device 2 calculates a predetermined resource amount as an estimated value.

その後、リソース推定装置２は推定したリソース量をリソース割当情報４３としてＣＩサーバ２０に通知する（Ｐ６）。   After that, the resource estimation device 2 notifies the CI server 20 of the estimated resource amount as the resource allocation information 43 (P6).

その後、ＣＩサーバ２０はリソース割当情報４３で指定されたリソース量が割り当てられたインスタンス３４を用いてテスト１５０のソフトウェアテストを計算クラスタ３０に実行させる（Ｐ７）。具体的には、ＣＩサーバ２０が計算クラスタ管理装置３１に対し、リソース割当情報４３で指定されたリソース量が割り当てられたインスタンス３４の生成を要求する（Ｐ７１）。   After that, the CI server 20 causes the computing cluster 30 to execute the software test of the test 150 by using the instance 34 to which the resource amount specified by the resource allocation information 43 is allocated (P7). Specifically, the CI server 20 requests the calculation cluster management device 31 to generate the instance 34 to which the resource amount specified by the resource allocation information 43 is allocated (P71).

計算クラスタ管理装置３１は、ホスト３３を１つ選択し、当該ホスト３３にリソース割当情報４３で指定されたリソース量のインスタンス３４を生成させる（Ｐ７２）。その後、ＣＩサーバ２０は生成されたインスタンス３４に、ＳＣＭサーバ１０から受け付けたコード群４０を送信して、インスタンス３４上でソフトウェアテストを実行させ（Ｐ７３）、ソフトウェアテストの実行結果を取得する（Ｐ７４）。ソフトウェアテストが終了すると、ＣＩサーバ２０は、計算クラスタ管理装置３１に対して当該ソフトウェアテストに対応するインスタンス３４の削除を要求する（Ｐ７５）。   The computing cluster management device 31 selects one host 33 and causes the host 33 to generate an instance 34 of the resource amount designated by the resource allocation information 43 (P72). After that, the CI server 20 transmits the code group 40 accepted from the SCM server 10 to the generated instance 34, causes the instance 34 to execute the software test (P73), and acquires the execution result of the software test (P74). ). When the software test ends, the CI server 20 requests the computing cluster management device 31 to delete the instance 34 corresponding to the software test (P75).

計算クラスタ管理装置３１は、ホスト３３に指定したインスタンス３４を削除させる（Ｐ７６）。なお、リソース監視装置３２は、常時、計算クラスタ３０上のインスタンス３４が消費したリソースの情報を収集している（Ｐ７７）。   The computing cluster management device 31 causes the host 33 to delete the designated instance 34 (P76). The resource monitoring device 32 constantly collects information on resources consumed by the instance 34 on the computing cluster 30 (P77).

ソフトウェアテストの終了後、ＣＩサーバ２０は、実行したテスト１５０のコードメタ情報４１と、ジョブメタ情報４２と、ログ情報４４を、リソース推定装置２に送信する（Ｐ８）。なお、ログ情報４４には、ソフトウェアテストの成否や、ソフトウェアテストの開始時刻、生成したインスタンス３４のＩＤ、インスタンス３４に割り当てたリソース量の値等が含まれる。また、ＣＩサーバ２０の機能によっては、インスタンス３４が消費したリソース量の値が含まれる場合もある。   After the software test is completed, the CI server 20 sends the code meta information 41, the job meta information 42, and the log information 44 of the executed test 150 to the resource estimation device 2 (P8). The log information 44 includes the success or failure of the software test, the start time of the software test, the ID of the generated instance 34, the value of the resource amount allocated to the instance 34, and the like. Further, depending on the function of the CI server 20, the value of the resource amount consumed by the instance 34 may be included.

その後、リソース推定装置２は、リソース監視装置３２からインスタンスＩＤとリソース消費結果４５（テスト１５０のソフトウェアテストで実際に消費したリソース量）を取得する（Ｐ９）。なお、リソース消費結果４５は、ソフトウェアテストを実行した際にインスタンス３４が使用したリソース量の最大値もしくは平均値等の予め設定された値をリソースの種類ごと（例えばプロセッサ、メモリ等）に記録した情報を有する。ただし、リソース量の値の算出方法（最大値や平均値）はリソース推定装置２内で統一されているものとする。なお、この処理はログ情報４４内にインスタンス３４が消費したリソース量の値が含まれている場合は省略して良い。   After that, the resource estimation device 2 acquires the instance ID and the resource consumption result 45 (the resource amount actually consumed in the software test of the test 150) from the resource monitoring device 32 (P9). As the resource consumption result 45, a preset value such as a maximum value or an average value of the resource amount used by the instance 34 when executing the software test is recorded for each resource type (for example, processor, memory, etc.). Have information. However, the method of calculating the value of the resource amount (maximum value or average value) is unified within the resource estimation device 2. Note that this process may be omitted when the log information 44 includes the value of the resource amount consumed by the instance 34.

その後、リソース推定装置２は、ソフトウェアテストの結果を履歴情報６に格納する（Ｐ１０）。具体的には、まず、リソース推定装置２はテストＩＤ算出部３において、ステップＰ４と同様の処理によりコードメタ情報４１およびジョブメタ情報４２からテストＩＤを算出する。次に、リソース推定装置２は、結果取得部４において、ログ情報４４から割当リソース８３と実行時刻８５を取得し、リソース消費結果４５から消費リソース８４を取得する。そして、リソース推定装置２の結果取得部４は、算出したテストＩＤのエントリを履歴管理テーブル８０に追加して、上記取得した割当リソース８３と実行時刻８５及び消費リソース８４を格納する。   After that, the resource estimation device 2 stores the result of the software test in the history information 6 (P10). Specifically, first, in the resource estimation device 2, the test ID calculation unit 3 calculates the test ID from the code meta information 41 and the job meta information 42 by the same processing as in step P4. Next, in the resource estimation device 2, the result acquisition unit 4 acquires the allocation resource 83 and the execution time 85 from the log information 44, and acquires the consumption resource 84 from the resource consumption result 45. Then, the result acquisition unit 4 of the resource estimation device 2 adds the entry of the calculated test ID to the history management table 80, and stores the acquired allocation resource 83, execution time 85, and consumption resource 84.

ただし、ログ情報４４に消費リソースの情報が含まれる場合、消費リソース８４の値をログ情報４４から取得しても良い。なお、消費リソース８４の値がパーセント等の割合表記の場合は、割り当てたリソース量とパーセントの値の積を消費リソースの値にする等の処理により、リソースの値となるよう変換する。例えば、仮想ＣＰＵを１コア割り当てたとき、リソース消費結果のＣＰＵの値が３０％のときは、仮想ＣＰＵの消費リソースは０．３コアのように変換する。   However, when the log information 44 includes information on the consumed resource, the value of the consumed resource 84 may be acquired from the log information 44. When the value of the consumed resource 84 is expressed as a percentage such as a percentage, it is converted to the value of the resource by processing such as setting the product of the allocated resource amount and the value of the percentage to the value of the consumed resource. For example, when one core is assigned to the virtual CPU and the value of the CPU in the resource consumption result is 30%, the consumption resource of the virtual CPU is converted to 0.3 core.

その後、リソース推定装置２は、消費リソース８４の値と所定の閾値とを比較して、消費リソース８４がインスタンス３４に予め定められたリソース量の最大値に近いか否かを判定し、最大値に近い場合はユーザ端末５０に負荷が過大となったという通知を出力する（Ｐ１１）。これにより、テスト１５０の負荷が大きく、テスト１５０の実行速度が落ちている可能性があることをユーザ端末５０へ通知することができる。なお、リソース推定装置２は、消費リソース８４の値が所定の閾値を超えていれば、ホスト３３で消費したリソース量が所定の最大値に近い負荷が過大な状態と判定することができる。   After that, the resource estimation device 2 compares the value of the consumed resource 84 with a predetermined threshold value, determines whether the consumed resource 84 is close to the maximum value of the resource amount predetermined in the instance 34, and determines the maximum value. If it is close to, a notification that the load has become excessive is output to the user terminal 50 (P11). As a result, it is possible to notify the user terminal 50 that the load of the test 150 is heavy and the execution speed of the test 150 may be reduced. If the value of the consumed resource 84 exceeds the predetermined threshold value, the resource estimation device 2 can determine that the load in which the resource amount consumed by the host 33 is close to the predetermined maximum value is excessive.

最後に、ＣＩサーバ２０は、テスト１５０の成否をユーザ端末５０およびＳＣＭサーバ１０に通知する（Ｐ１２）。   Finally, the CI server 20 notifies the user terminal 50 and the SCM server 10 of the success or failure of the test 150 (P12).

以上の処理により、ＣＩサーバ２０が計算クラスタ３０にテスト１５０を実行させる際には、リソース推定装置２を用いてテスト１５０を実行するインスタンス３４に割り当てるホスト３３のリソース量を、過去のテストの履歴情報に基づいて推定する。テストの大部分が前回のテストと同一の処理という点に着目し、過去に割り当てたリソースの履歴情報に基づいて、今回のテスト１５０に必要なリソース量を推定することにより、割り当てるリソースが過剰になるのを抑制し、割り当てるリソース量を低減することができる。   With the above processing, when the CI server 20 causes the computing cluster 30 to execute the test 150, the resource amount of the host 33 allocated to the instance 34 that executes the test 150 using the resource estimation device 2 is set as the past test history. Estimate based on information. Focusing on the fact that most of the tests are the same processing as the previous test, by estimating the amount of resources required for this test 150 based on the historical information of the resources allocated in the past, the resources to be allocated will be excessive. It is possible to reduce the amount of resources to be allocated and reduce the amount of resources to be allocated.

＜画面表示例＞
図７はリソース推定装置２がユーザ端末５０もしくはＣＩサービスの管理者に提示する表示画面の一例を示す図である。この表示画面１００では、テストＩＤごとに使用するアルゴリズム等のパラメータ設定ができる他、リソース削減効果を表示できる。表示画面１００はテストＩＤ選択領域１０１と、設定表示領域１０２と、リソース削減効果表示領域１０３と、履歴情報表示領域１０４を有する。なお、テストＩＤ選択領域１０１以外の表示領域は、必ずしも同一画面上に表示する必要はなく、それぞれ独立した画面として表示しても良い。<Screen display example>
FIG. 7 is a diagram showing an example of a display screen presented by the resource estimation device 2 to the user terminal 50 or the CI service manager. On this display screen 100, parameters such as an algorithm used for each test ID can be set and the resource reduction effect can be displayed. The display screen 100 has a test ID selection area 101, a setting display area 102, a resource reduction effect display area 103, and a history information display area 104. The display areas other than the test ID selection area 101 do not necessarily have to be displayed on the same screen, and may be displayed as independent screens.

テストＩＤ選択領域１０１において、ユーザ端末５０もしくはＣＩサービスの管理者はテストＩＤを選択する。設定表示領域１０２と、リソース削減効果表示領域１０３と、履歴情報表示領域１０４は、本領域にて選択したテストＩＤに関する情報が表示される。   In the test ID selection area 101, the user terminal 50 or the CI service administrator selects a test ID. Information related to the test ID selected in this area is displayed in the setting display area 102, the resource reduction effect display area 103, and the history information display area 104.

設定表示領域１０２は、選択されたテストＩＤに設定されたパラメータが表示され、ユーザ端末５０もしくはＣＩサービスの管理者は本領域のプルダウンメニュー等からパラメータを確認、もしくは変更できる。選択可能なパラメータとしては、テストＩＤの設定方法や、リソースを推定するアルゴリズムや、参照する履歴数（履歴管理テーブル８０のレコード数）や、リソースの推定結果を補正するマージン等を有する。   In the setting display area 102, the parameter set for the selected test ID is displayed, and the user terminal 50 or the CI service administrator can confirm or change the parameter from the pull-down menu of this area. The selectable parameters include a test ID setting method, an algorithm for estimating a resource, the number of histories to be referred (the number of records in the history management table 80), a margin for correcting the estimation result of the resource, and the like.

マージンは、テスト１５０に割り当てるリソース消費として推定した値に対し、ＧＵＩやＡＰＩ、設定ファイルにより設定された所定の余裕を付加すけることで、推定した値と実際に消費される値とのズレによるリソース不足を抑制することができる。   The margin is a resource due to a difference between the estimated value and the value actually consumed by adding a predetermined margin set by the GUI, API, and setting file to the value estimated as the resource consumption allocated to the test 150. The shortage can be suppressed.

テストＩＤの設定方法は、リポジトリＩＤ７１、ブランチＩＤ７２、ジョブＩＤ７３の中からどのような組み合わせをテストＩＤ７４として設定するかを決めるためのパラメータである。テストＩＤ設定方法が変更された場合、リソース推定装置２は履歴情報６内のテストＩＤ管理テーブル７０および履歴管理テーブル８０のテストＩＤ７４の値を更新する。また、参照履歴数とは、リソース推定の際に、過去何個の履歴情報を参照するかを設定する値である。   The test ID setting method is a parameter for determining what combination of the repository ID 71, the branch ID 72, and the job ID 73 is set as the test ID 74. When the test ID setting method is changed, the resource estimation device 2 updates the value of the test ID 74 in the test ID management table 70 and the history management table 80 in the history information 6. The reference history number is a value that sets how many past history information items are referred to when estimating the resource.

なお、テストＩＤ設定方法の更新において、複数のテストＩＤ７４が１つに統合される場合は、予め定められた手順でテストＩＤ７４およびその履歴情報を更新する。例えば、元々テストＩＤ７４として、リポジトリＩＤ７１とブランチＩＤ７２を組み合わせた値を使用しており、本設定画面により、リポジトリＩＤ７１のみをテストＩＤ７４に使用するよう変更した場合、リソース推定装置２は、テストＩＤ管理テーブル７０内のうち、当該リポジトリＩＤを有する全てのレコードのテストＩＤ７４をリポジトリＩＤ７１の値に変更し、履歴管理テーブル８０から、当該リポジトリＩＤ７１を含んだテストＩＤ７４を有する全てのレコードを、リポジトリＩＤ７１をテストＩＤとする新規のレコードとして統合する等の処理を行う。   When a plurality of test IDs 74 are integrated into one when updating the test ID setting method, the test ID 74 and its history information are updated according to a predetermined procedure. For example, when a value obtained by combining the repository ID 71 and the branch ID 72 is originally used as the test ID 74, and when the setting is changed so that only the repository ID 71 is used for the test ID 74 on the setting screen, the resource estimation device 2 uses the test ID management. In the table 70, the test IDs 74 of all the records having the repository ID are changed to the value of the repository ID 71, and all the records having the test ID 74 including the repository ID 71 are changed to the repository ID 71 from the history management table 80. Processing such as integration as a new record as a test ID is performed.

リソース削減効果表示領域１０３は、リソース推定装置２により、削減されたリソースの量および割合を表示する領域である。ここに表示する値は、例えばデフォルトで割り当てられるリソース量から実際に割り当てたリソース量の値を差し引いた値の平均値等である。   The resource reduction effect display area 103 is an area for displaying the amount and ratio of resources reduced by the resource estimation device 2. The value displayed here is, for example, an average value of values obtained by subtracting the value of the resource amount actually allocated from the resource amount allocated by default.

履歴情報表示領域１０４は、各リソースの割当量および実際の消費量の時系列的な推移を表示する領域である。本領域は例えば、縦軸をリソース量、横軸を時刻とする面グラフで表される。グラフは各リソースの値ごとに生成される。グラフには、例えば、デフォルトで割り当てられるリソース量を示すデフォルト割当量１０５や各テストに割り当てたリソース量の推移を示すリソース割当グラフ１０６や、各テストで実際に消費されたリソース量の推移を示すリソース消費グラフ１０７を有する。   The history information display area 104 is an area for displaying a time-series transition of the allocation amount of each resource and the actual consumption amount. This area is represented by, for example, an area graph in which the vertical axis represents the resource amount and the horizontal axis represents time. The graph is generated for each resource value. In the graph, for example, a default allocation amount 105 indicating the amount of resources allocated by default, a resource allocation graph 106 indicating a transition of the resource amount allocated to each test, and a transition of the resource amount actually consumed in each test are shown. It has a resource consumption graph 107.

なお、パラメータ設定の方法は、表示画面からの設定に限定されるものではなく、例えばＡＰＩ（Application Programming Interface）や設定ファイルを用いても良い。   The parameter setting method is not limited to the setting on the display screen, and for example, an API (Application Programming Interface) or a setting file may be used.

以上の処理により、実施例１において、リソース推定装置２は各テストに必要なリソース量を推定することにより、テストに合わせて割当リソースを変更し、テストの実行時のリソース消費量を削減できるようになる。   With the above processing, in the first embodiment, the resource estimation device 2 estimates the amount of resources required for each test, so that the allocated resources can be changed according to the test and the resource consumption amount at the time of executing the test can be reduced. become.

以上説明したように、リソース推定装置２は、ＣＩサーバ２０から受信したテスト１５０を特定する情報（コードメタ情報４１とジョブメタ情報４２）からテストＩＤ７４を生成し、テストＩＤ７４に一致する履歴管理テーブル８０のレコードから、当該テスト１５０の過去の実行時に消費したリソース量（消費リソース８４）を取得する。   As described above, the resource estimation device 2 generates the test ID 74 from the information (code meta information 41 and job meta information 42) that identifies the test 150 received from the CI server 20, and stores the test ID 74 in the history management table 80 that matches the test ID 74. The resource amount (consumed resource 84) consumed during the past execution of the test 150 is acquired from the record.

そして、リソース推定装置２は、過去のリソース消費量（消費リソース８４）に基づいて、今回のテスト１５０に割り当てるリソース量を推定し、推定したリソース量をリソース割当情報４３としてＣＩサーバ２０へ通知する。   Then, the resource estimation device 2 estimates the resource amount to be allocated to the present test 150 based on the past resource consumption amount (consumed resource 84), and notifies the CI server 20 of the estimated resource amount as the resource allocation information 43. ..

ＣＩサーバ２０は、リソース割当情報４３で計算クラスタ３０にリソースを要求して、ホスト３３にインスタンス３４を生成させる。これにより、ホスト３３には、リソース推定装置２が過去のリソース消費量の実績に基づいて推定したリソース量を割り当てたインスタンス３４が生成される。   The CI server 20 requests a resource from the calculation cluster 30 using the resource allocation information 43 and causes the host 33 to generate the instance 34. As a result, the instance 34 to which the resource amount estimated by the resource estimation device 2 based on the past record of the resource consumption amount is allocated is generated in the host 33.

そして、ＣＩサーバ２０は、計算クラスタ３０にテストコード１５１とソースコード等を送信して、当該インスタンス３４でテスト１５０を実行させる。テスト１５０が終了すると、ＣＩサーバ２０はテスト１５０の結果をホスト３３から受信し、リソース推定装置２に、コードメタ情報４１と、ジョブメタ情報４２と、ログ情報４４（割当リソース８３と実行時刻８５を含む）を送信する。リソース推定装置２は、リソース監視装置３２からインスタンスＩＤとリソース消費結果４５（実際の消費リソース８４）を受信する。   Then, the CI server 20 sends the test code 151, the source code, and the like to the calculation cluster 30, and causes the instance 34 to execute the test 150. When the test 150 ends, the CI server 20 receives the result of the test 150 from the host 33, and the resource estimation apparatus 2 includes the code meta information 41, the job meta information 42, and the log information 44 (including the allocated resource 83 and the execution time 85). ) Is sent. The resource estimation device 2 receives the instance ID and the resource consumption result 45 (actual consumption resource 84) from the resource monitoring device 32.

そして、リソース推定装置２は、コードメタ情報４１とジョブメタ情報４２に対応するテストＩＤのエントリを履歴管理テーブル８０に追加して、上記取得した割当リソース８３と実行時刻８５及び消費リソース８４を格納する。これにより、テストＩＤ毎に、過去のテスト１５０で実際に消費したリソース量が消費リソース８４として蓄積され、次回のリソース量の推定に用いられる。これにより、リソース推定装置２が、各テスト１５０に必要なリソース量を過去の実績から推定することにより、テスト１５０に割り当てる計算機リソースの量を変更することが可能となって、テストの実行時のリソース消費量を削減できる。   Then, the resource estimation device 2 adds the entry of the test ID corresponding to the code meta information 41 and the job meta information 42 to the history management table 80, and stores the acquired allocation resource 83, execution time 85, and consumption resource 84. As a result, the resource amount actually consumed in the past test 150 is accumulated as the consumed resource 84 for each test ID and is used for the next estimation of the resource amount. As a result, the resource estimation device 2 can change the amount of computer resources allocated to the test 150 by estimating the amount of resource required for each test 150 from the past performance, and it is possible to change the amount of computer resources allocated to the test 150. Resource consumption can be reduced.

なお、上記実施例１では、リソース推定装置２がリソース監視装置３２からリソース消費結果４５を受信する例を示したが、リソース推定装置２がＣＩサーバ２０を介してリソース監視装置３２からリソース消費結果４５を受信するようにしても良い。   In the first embodiment, the resource estimation device 2 receives the resource consumption result 45 from the resource monitoring device 32. However, the resource estimation device 2 receives the resource consumption result 45 from the resource monitoring device 32 via the CI server 20. 45 may be received.

実施例２として、複数のインスタンス３４を生成するテスト１５０に対し、各インスタンス３４の消費リソース量を推定する際のリソース推定装置２の処理を示す。ただし、実施例１と同一の処理または構成についての説明は省略する。   As a second embodiment, a process of the resource estimation device 2 when estimating the resource consumption amount of each instance 34 for a test 150 that generates a plurality of instances 34 will be described. However, description of the same processing or configuration as in the first embodiment will be omitted.

１回のテスト１５０で複数のインスタンス３４が生成される場合、テスト１５０内のインスタンス３４毎に消費するリソース量を推定し、テスト１５０実行時にインスタンス３４毎に消費したリソース量の履歴の取得を行う必要がある。本実施例２では、テストコード１５１やテストコード１５１が含む設定情報、およびＣＩサーバ２０のログ情報４４に基づき、インスタンス３４とリソース量を対応付ける。   When multiple instances 34 are generated in one test 150, the resource amount consumed for each instance 34 in the test 150 is estimated, and the history of the resource amount consumed for each instance 34 is acquired when the test 150 is executed. There is a need. In the second embodiment, the instance 34 is associated with the resource amount based on the test code 151, the setting information included in the test code 151, and the log information 44 of the CI server 20.

このため、リソース推定装置２はリソースの推定時や、リソース消費結果４５の取得時において、実施例１で取得したコードメタ情報４１やジョブメタ情報４２、ログ情報４４、リソース消費結果４５に加え、コード群４０もＣＩサーバ２０から取得する。   Therefore, the resource estimating device 2 adds the code group in addition to the code meta information 41, the job meta information 42, the log information 44, the resource consumption result 45 acquired in the first embodiment when estimating the resource and acquiring the resource consumption result 45. 40 is also acquired from the CI server 20.

＜テーブル＞
図８は実施例２における履歴情報６に格納される履歴管理テーブル８０Ａのテーブル構成例を示す図である。なお、テストＩＤ管理テーブル７０の構成例は実施例１と同一のため省略する。本実施例２の履歴管理テーブル８０Ａは、前記実施例１の履歴管理テーブル８０にインスタンス名２１１のフィールドを追加した点が相違する。<Table>
FIG. 8 is a diagram showing a table configuration example of the history management table 80A stored in the history information 6 in the second embodiment. Note that the configuration example of the test ID management table 70 is the same as that of the first embodiment, and will be omitted. The history management table 80A of the second embodiment is different in that a field of the instance name 211 is added to the history management table 80 of the first embodiment.

履歴管理テーブル８０Ａは各テスト１５０で生成するインスタンス３４とそのリソース情報８２とを対応付けるテーブルであり、テストＩＤ８１とインスタンス名２１１とリソース情報８２を一つのレコードに含む。リソース情報８２は割当リソース８３と、消費リソース８４と、実行時刻８５を有する。各レコードは、テストＩＤ８１で指定されたテスト１５０が生成する個々のインスタンス３４が実行されたときのリソース情報８２を保持する。このため、同一のテストＩＤ８１およびインスタンス名２１１が複数のレコードに出現しうる。テストＩＤ８１およびリソース情報８２は実施例１と同様なため省略する。   The history management table 80A is a table that associates the instance 34 generated in each test 150 with its resource information 82, and includes a test ID 81, an instance name 211, and resource information 82 in one record. The resource information 82 has an allocated resource 83, a consumed resource 84, and an execution time 85. Each record holds the resource information 82 when the individual instance 34 generated by the test 150 specified by the test ID 81 is executed. Therefore, the same test ID 81 and instance name 211 can appear in multiple records. The test ID 81 and the resource information 82 are the same as those in the first embodiment, and will be omitted.

インスタンス名２１１は、対象となるインスタンス３４の名称を格納する記憶領域である。インスタンス名２１１は、テスト１５０で生成する個々のインスタンス３４のテストコード１５１内における名称であり、テストコード１５１やテストコード１５１が含む設定情報を基に算出される。算出方法は図９のステップＰ１４にて詳述する。インスタンス名２１１はテストＩＤ８１ごとに一意である。   The instance name 211 is a storage area that stores the name of the target instance 34. The instance name 211 is the name in the test code 151 of each instance 34 generated in the test 150, and is calculated based on the test code 151 and the setting information included in the test code 151. The calculation method will be described in detail in step P14 of FIG. The instance name 211 is unique for each test ID 81.

＜シーケンス図＞
図９は、実施例２においてリソース推定装置２を含むＣＩシステム１で行われる処理の一例を示すシーケンス図である。本シーケンス図において、ユーザ端末５０がＳＣＭサーバ１０のリポジトリ１１のコード群４０を更新してから、計算クラスタ３０にテスト１５０を実行させて、テスト１５０の実行結果をユーザ端末５０に通知するまでの処理を示す。図９において、点線で表されたシーケンスは実施例１の図６と同一の処理であるため、これらの説明は省略するか、関連箇所のみ簡素に説明する。<Sequence diagram>
FIG. 9 is a sequence diagram illustrating an example of processing performed by the CI system 1 including the resource estimation device 2 according to the second embodiment. In this sequence diagram, from the time when the user terminal 50 updates the code group 40 of the repository 11 of the SCM server 10 until the calculation cluster 30 executes the test 150 and the execution result of the test 150 is notified to the user terminal 50. Indicates processing. In FIG. 9, the sequence represented by the dotted line is the same process as that of FIG. 6 of the first embodiment, and therefore the description thereof will be omitted or only the relevant portion will be briefly described.

ＳＣＭサーバ１０がＣＩサーバ２０に対して、コード群４０およびコードメタ情報４１送信した後（Ｐ２）、ＣＩサーバ２０は、コードメタ情報４１と、ジョブメタ情報４２と、コード群４０をリソース推定装置２へ送信する（Ｐ２００）。   After the SCM server 10 transmits the code group 40 and the code meta information 41 to the CI server 20 (P2), the CI server 20 transmits the code meta information 41, the job meta information 42, and the code group 40 to the resource estimation device 2. (P200).

その後、リソース推定装置２はテストＩＤ算出部３にて、テスト１５０に対応するテストＩＤを算出する（Ｐ４）。   Then, the resource estimation device 2 causes the test ID calculation unit 3 to calculate the test ID corresponding to the test 150 (P4).

その後、リソース推定装置２はリソース推定部５にて、当該テストＩＤで生成する個々のインスタンス３４に割り当てるリソース量を推定する（Ｐ２０１）。具体的には、リソース推定装置２は、コード群４０に含まれるテストコード１５１やテストコード１５１に付随する設定情報からインスタンス名２１１を選択する。次に、リソース推定装置２は、履歴管理テーブル８０Ａから当該テストＩＤに関係するレコードのうち、選択されたインスタンス名２１１のリソース情報８２をインスタンス名２１１ごとに取得する。   After that, the resource estimation device 2 estimates the resource amount to be allocated to each instance 34 generated by the test ID by the resource estimation unit 5 (P201). Specifically, the resource estimation device 2 selects the instance name 211 from the test code 151 included in the code group 40 and the setting information attached to the test code 151. Next, the resource estimation device 2 acquires, from the history management table 80A, the resource information 82 of the selected instance name 211 among the records related to the test ID for each instance name 211.

そして、リソース推定装置２は、アルゴリズム情報７が含む１つ以上のアルゴリズムの中から、ユーザ端末５０が選択したアルゴリズムを用いて、インスタンス３４ごとに割り当てるリソース量を推定する。なお、履歴管理テーブル８０Ａに当該テストＩＤが無い場合は実施例１と同様に予め定められた手法で、類似するテストＩＤを参照するか、もしくは予め定められたリソース量を推定値として算出する。   Then, the resource estimation device 2 estimates the amount of resources to be allocated to each instance 34 using the algorithm selected by the user terminal 50 from the one or more algorithms included in the algorithm information 7. If the test ID does not exist in the history management table 80A, similar test IDs are referred to or a predetermined resource amount is calculated as an estimated value by a predetermined method as in the first embodiment.

コード群４０に記載されたインスタンス名２１１が履歴管理テーブル８０Ａに無い場合も、前述のテストＩＤがない場合と同様であり、リソース推定装置２は、予め定められた手法で類似するテストＩＤ７４を検出し、検出されたテストＩＤ７４に同一のインスタンス名２１１があるか否かを判定し、同一のインスタンス名２１１が存在する場合はその値を参照する。同一のインスタンス名２１１が無い場合、リソース推定装置２は、予め定められたリソース量を当該インスタンス名２１１の割当リソース量として算出する。   Even when the instance name 211 described in the code group 40 does not exist in the history management table 80A, it is the same as when there is no test ID described above, and the resource estimation device 2 detects a similar test ID 74 by a predetermined method. Then, it is determined whether or not the detected test ID 74 has the same instance name 211, and if the same instance name 211 exists, the value is referenced. When there is no same instance name 211, the resource estimation device 2 calculates a predetermined resource amount as the allocated resource amount of the instance name 211.

その後、リソース推定装置２は、インスタンス名２１１ごとのリソース割当量をリソース割当情報４３としてＣＩサーバ２０に送信する（Ｐ２０２）。その後、ＣＩサーバ２０は、リソース割当情報４３で指定されたリソース量を各インスタンス３４に割り当て、テスト１５０のソフトウェアテストを実行させる（Ｐ７）。ソフトウェアテストの実行処理は前記実施例１の図６と同様である。   After that, the resource estimation device 2 transmits the resource allocation amount for each instance name 211 as the resource allocation information 43 to the CI server 20 (P202). After that, the CI server 20 allocates the resource amount specified by the resource allocation information 43 to each instance 34, and executes the software test of the test 150 (P7). The execution process of the software test is the same as that shown in FIG. 6 of the first embodiment.

ソフトウェアテストの終了後、ＣＩサーバ２０は実行したテスト１５０のコードメタ情報４１と、ジョブメタ情報４２とログ情報４４をリソース推定装置２に送信する（Ｐ８）。ログ情報４４には、図２で示したように、テスト１５０の成否やテスト１５０の開始時刻、生成したインスタンス３４のＩＤ、各インスタンス３４に割り当てたリソース量の値、インスタンス名２１１とインスタンスＩＤとの対応関係等が含まれる。   After the software test ends, the CI server 20 transmits the code meta information 41, the job meta information 42, and the log information 44 of the executed test 150 to the resource estimation device 2 (P8). In the log information 44, as shown in FIG. 2, the success or failure of the test 150, the start time of the test 150, the ID of the generated instance 34, the value of the resource amount allocated to each instance 34, the instance name 211 and the instance ID. Correspondence relations, etc. are included.

なお、ＣＩサーバ２０の機能によっては、インスタンス３４が消費したリソース量の値が含まれる場合もある。   The value of the resource amount consumed by the instance 34 may be included depending on the function of the CI server 20.

その後、リソース推定装置２は、ログ情報４４に含まれる複数のインスタンスＩＤのリソース消費結果４５をリソース監視装置３２からそれぞれ取得する（Ｐ２０３）。リソース消費結果４５は、インスタンス３４ごとに使用したリソース量の最大値もしくは平均値をリソースごと（例えばＣＰＵ、メモリ等）に記録したものである。ただし、リソース量の値が最大値か平均値かはリソース推定装置２内で統一するものとする。また、この処理はログ情報４４内にインスタンス３４が消費したリソース量の値が含まれている場合は省略して良い。   After that, the resource estimation device 2 respectively acquires the resource consumption results 45 of the plurality of instance IDs included in the log information 44 from the resource monitoring device 32 (P203). The resource consumption result 45 is a record of the maximum value or the average value of the resource amount used for each instance 34 for each resource (for example, CPU, memory, etc.). However, whether the value of the resource amount is the maximum value or the average value is unified in the resource estimation device 2. This process may be omitted when the log information 44 includes the value of the resource amount consumed by the instance 34.

その後、リソース推定装置２は、テスト１５０の結果を履歴情報６に格納する（Ｐ２０４）。具体的には、まず、リソース推定装置２はテストＩＤ算出部３において、上記ステップＰ４と同様の処理によりコードメタ情報４１およびジョブメタ情報４２からテストＩＤを算出する。   After that, the resource estimation device 2 stores the result of the test 150 in the history information 6 (P204). Specifically, first, in the resource estimation device 2, the test ID calculation unit 3 calculates the test ID from the code meta information 41 and the job meta information 42 by the same processing as in step P4.

次にリソース推定装置２の結果取得部４が、ログ情報４４からソフトウェアテストの実行時刻８５と、インスタンス名２１１とインスタンスＩＤとの対応関係と、インスタンスＩＤごとの割当リソース８３を取得し、リソース消費結果４５からインスタンスＩＤごとの消費リソース８４を取得する。そして、リソース推定装置２は、算出したテストＩＤと共に、個々のインスタンス３４の割当リソース８３と、消費リソース８４と、実行時刻８５をインスタンス名と対応付けながら履歴管理テーブル８０に格納する。ここで、ログ情報４４に消費リソースの情報が含まれる場合は、消費リソース８４の値をログ情報４４から取得しても良い。以降の処理は実施例１と同一のため説明を省略する。   Next, the result acquisition unit 4 of the resource estimation device 2 acquires the execution time 85 of the software test, the correspondence relationship between the instance name 211 and the instance ID, and the allocated resource 83 for each instance ID from the log information 44, and the resource consumption The consumption resource 84 for each instance ID is acquired from the result 45. Then, the resource estimation device 2 stores the calculated test ID in the history management table 80 while associating the allocated resource 83, the consumed resource 84, and the execution time 85 of each instance 34 with the instance name. Here, when the log information 44 includes information on the consumed resource, the value of the consumed resource 84 may be acquired from the log information 44. Since the subsequent processing is the same as that of the first embodiment, the description will be omitted.

以上の処理により、実施例２において、複数のインスタンス３４を生成するテスト１５０についても、リソース推定装置２は各インスタンス３４のリソース量を推定することが可能となる。   Through the above processing, in the second embodiment, the resource estimation device 2 can estimate the resource amount of each instance 34 even for the test 150 that generates a plurality of instances 34.

図１０は、本発明の実施例３を示し、ＣＩサーバ２０と計算クラスタ３０の構成の一例を示すブロック図である。前記実施例１では、ＣＩサーバ２０とリソース推定装置２を独立した計算機で構成した例を示したが、本実施例３は、ＣＩサーバの機能とリソース推定装置を統合したＣＩサーバ２００とした例を示す。   FIG. 10 shows a third embodiment of the present invention and is a block diagram showing an example of the configuration of the CI server 20 and the calculation cluster 30. In the first embodiment, an example in which the CI server 20 and the resource estimation device 2 are configured by independent computers has been shown, but in the third embodiment, an example of the CI server 200 in which the function of the CI server and the resource estimation device are integrated. Indicates.

また、上記実施例１では、計算クラスタ３０内で、計算クラスタ管理装置３１とリソース監視装置３２を独立した計算機で構成した例を示したが、本実施例３では、ひとつの管理計算機３００に統合した例を示す。   Further, in the above-described first embodiment, an example in which the calculation cluster management device 31 and the resource monitoring device 32 are configured by independent computers in the calculation cluster 30 is shown, but in the third embodiment, they are integrated into one management computer 300. Here is an example.

ＣＩサーバ２００は、ＣＩサービス部２０Ａとリソース推定部２Ａを含む。リソース推定部２Ａは、前記実施例１のリソース推定装置２と同様に機能し、リソース割当情報４３をリソース推定連携機能２２に出力する。ＣＩサービス部２０Ａは、前記実施例１のＣＩサーバ２０と同様に機能し、計算クラスタ３０で実行するソフトウェアテストを管理する。本実施例３のように、ＣＩサーバ２０とリソース推定装置２をひとつの計算機に統合することができる。   The CI server 200 includes a CI service unit 20A and a resource estimation unit 2A. The resource estimation unit 2A functions similarly to the resource estimation device 2 of the first embodiment, and outputs the resource allocation information 43 to the resource estimation cooperation function 22. The CI service unit 20A functions in the same manner as the CI server 20 of the first embodiment, and manages software tests executed by the computing cluster 30. As in the third embodiment, the CI server 20 and the resource estimation device 2 can be integrated into one computer.

また、計算クラスタ３０では、管理計算機３００が、計算クラスタ管理部３１Ａと、リソース監視部３２Ａを有する。計算クラスタ管理部３１Ａは前記実施例１の計算クラスタ管理装置３１と同様に機能する。また、リソース監視部３２Ａは、前記実施例１のリソース監視装置３２と同様に機能する。   Further, in the calculation cluster 30, the management computer 300 has a calculation cluster management unit 31A and a resource monitoring unit 32A. The calculation cluster management unit 31A functions similarly to the calculation cluster management apparatus 31 of the first embodiment. The resource monitoring unit 32A functions similarly to the resource monitoring device 32 of the first embodiment.

本実施例３のように、計算クラスタ３０においても計算クラスタ管理部とリソース監視部をひとつの管理計算機３００に統合することができる。   As in the third embodiment, even in the calculation cluster 30, the calculation cluster management unit and the resource monitoring unit can be integrated into one management computer 300.

＜まとめ＞
なお、本発明は上記した実施例に限定されるものではなく、様々な変形例が含まれる。例えば、上記した実施例は本発明を分かりやすく説明するために詳細に記載したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、ある実施例の構成の一部を他の実施例の構成に置き換えることが可能であり、また、ある実施例の構成に他の実施例の構成を加えることも可能である。また、各実施例の構成の一部について、他の構成の追加、削除、又は置換のいずれもが、単独で、又は組み合わせても適用可能である。<Summary>
It should be noted that the present invention is not limited to the above-described embodiments, but includes various modifications. For example, the above-described embodiments are described in detail in order to explain the present invention in an easy-to-understand manner, and are not necessarily limited to those having all the configurations described. Further, a part of the configuration of a certain embodiment can be replaced with the configuration of another embodiment, and the configuration of another embodiment can be added to the configuration of a certain embodiment. Further, with respect to a part of the configuration of each embodiment, any of addition, deletion, or replacement of other configurations can be applied alone or in combination.

また、上記の各構成、機能、処理部、及び処理手段等は、それらの一部又は全部を、例えば集積回路で設計する等によりハードウェアで実現してもよい。また、上記の各構成、及び機能等は、プロセッサがそれぞれの機能を実現するプログラムを解釈し、実行することによりソフトウェアで実現してもよい。各機能を実現するプログラム、テーブル、ファイル等の情報は、メモリや、ハードディスク、ＳＳＤ（Solid State Drive）等の記録装置、または、ＩＣカード、ＳＤカード、ＤＶＤ等の記録媒体に置くことができる。   Further, each of the above-described configurations, functions, processing units, processing means, and the like may be realized in hardware by designing a part or all of them with, for example, an integrated circuit. Further, the above-described respective configurations, functions and the like may be realized by software by the processor interpreting and executing a program for realizing each function. Information such as a program, a table, and a file that realizes each function can be stored in a memory, a recording device such as a hard disk and an SSD (Solid State Drive), or a recording medium such as an IC card, an SD card, and a DVD.

また、制御線や情報線は説明上必要と考えられるものを示しており、製品上必ずしも全ての制御線や情報線を示しているとは限らない。実際には殆ど全ての構成が相互に接続されていると考えてもよい。   Further, the control lines and information lines are shown as being considered necessary for explanation, and not all the control lines and information lines in the product are necessarily shown. In practice, it may be considered that almost all configurations are connected to each other.

Claims (15)

プロセッサとメモリとを有し、ソフトウェアのテストを管理するＣＩサーバと、
プロセッサとメモリとを有する一つ以上の計算機を含み、前記ＣＩサーバからの要求に応じて前記ソフトウェアのテストを実行する計算クラスタと、を含む継続的インテグレーションシステムであって、
前記ＣＩサーバは、
前記テストを実行するソフトウェアを受け付けて、前記テストに割り当てるリソースを決定し、当該リソースを前記計算クラスタに通知して前記テストを実行させて、前記計算クラスタから実行結果を取得するＣＩサービス部と、
前記ＣＩサービス部からの要求に応じて、前記テストに割り当てるリソースを推定するリソース推定部と、を有し、
前記リソース推定部は、
前記テストごとに一意となるテストＩＤを割り当てるテストＩＤ算出部と、
前記テストＩＤごとに前記テストの実行中に消費したリソースの情報を取得する結果取得部と、
過去に実行した前記テストＩＤと前記取得したリソースの情報とを対応付けて格納する履歴情報と、
前記ＣＩサービス部からリソースの推定を要求されたときには、前記履歴情報に基づいて、前記テストＩＤごとにテストの実行に必要なリソースを推定し、推定結果をリソース割当情報として前記ＣＩサービス部に通知する推定部と、を含み、
前記ＣＩサービス部は、
前記テストに割り当てるリソースの推定要求をリソース推定部に送信し、前記リソース推定部から受け付けたリソースの推定結果を、前記テストに割り当てるリソースとして決定することを特徴とする継続的インテグレーションシステム。A CI server that has a processor and memory, and manages software testing;
What is claimed is: 1. A continuous integration system comprising: one or more computers having a processor and a memory; and a computing cluster that executes tests of the software in response to a request from the CI server.
The CI server is
A CI service unit that receives software for executing the test, determines a resource to be allocated to the test, notifies the calculation cluster of the resource, executes the test, and acquires an execution result from the calculation cluster;
A resource estimation unit that estimates resources to be allocated to the test in response to a request from the CI service unit,
The resource estimation unit is
A test ID calculation unit that assigns a unique test ID to each test,
A result acquisition unit that acquires information on resources consumed during the execution of the test for each test ID;
History information that stores the test ID executed in the past and the acquired resource information in association with each other;
When the resource estimation is requested from the CI service unit, the resource necessary for executing the test is estimated for each test ID based on the history information, and the estimation result is notified to the CI service unit as resource allocation information. And an estimation unit for
The CI service unit is
A continuous integration system, characterized in that a request for estimating a resource to be assigned to the test is transmitted to a resource estimating unit, and an estimation result of the resource received from the resource estimating unit is determined as a resource to be assigned to the test. 請求項１に記載の継続的インテグレーションシステムであって、
前記ＣＩサービス部は、
前記テストを実行するソフトウェアとして、テストコードとソースコードを特定する識別子を含むコードメタ情報を受け付けて、前記テストに対応するジョブＩＤを生成し、前記リソースの推定要求に前記コードメタ情報と前記ジョブＩＤを含めて前記リソース推定部へ送信し、
前記リソース推定部のテストＩＤ算出部は、
前記リソースの推定要求を受け付けて、前記コードメタ情報と前記ジョブＩＤから前記テストＩＤを算出することを特徴とする継続的インテグレーションシステム。The continuous integration system of claim 1, wherein:
The CI service unit is
As the software for executing the test, the code meta information including the test code and the identifier that identifies the source code is accepted, the job ID corresponding to the test is generated, and the code meta information and the job ID are included in the estimation request of the resource. And send it to the resource estimation unit,
The test ID calculation unit of the resource estimation unit,
A continuous integration system, which receives the estimation request of the resource and calculates the test ID from the code meta information and the job ID. 請求項２に記載の継続的インテグレーションシステムであって、
前記コードメタ情報は、前記テストコードとソースコードを格納するリポジトリＩＤとブランチＩＤを含み、
前記テストＩＤ算出部は、
前記リポジトリＩＤとブランチＩＤとジョブＩＤのうち少なくとも一つを用いて前記テストＩＤを算出することを特徴とする継続的インテグレーションシステム。The continuous integration system of claim 2, wherein:
The code meta information includes a repository ID and a branch ID that store the test code and the source code,
The test ID calculation unit is
A continuous integration system, wherein the test ID is calculated using at least one of the repository ID, the branch ID, and the job ID. 請求項３に記載の継続的インテグレーションシステムであって、
前記履歴情報は、
前記リポジトリＩＤとブランチＩＤとジョブＩＤとテストＩＤを含み、
前記推定部は、
前記履歴情報に前記テストＩＤと一致するリソースの情報が存在しない場合には、前記リポジトリＩＤとブランチＩＤが一致するテストＩＤのリソースの情報を代用することを特徴とする継続的インテグレーションシステム。The continuous integration system according to claim 3, wherein
The history information is
Including the repository ID, branch ID, job ID, and test ID,
The estimation unit is
A continuous integration system, characterized in that, when there is no resource information matching the test ID in the history information, the resource information of the test ID matching the repository ID and the branch ID is substituted. 請求項１に記載の継続的インテグレーションシステムであって、
前記リソース推定部は、
前記リソースを推定するためのアルゴリズムを複数格納したアルゴリズム情報を有し、
前記ＣＩサービス部は、
前記テストを実行するソフトウェアと、推定するアルゴリズムを受け付けて、前記テストに割り当てるリソースの推定要求に前記アルゴリズムを含めて前記リソース推定部に送信し、
前記リソース推定部は、
前記アルゴリズムを受け付けて、前記推定部が、当該アルゴリズムを用いて前記リソースを推定することを特徴とする継続的インテグレーションシステム。The continuous integration system of claim 1, wherein:
The resource estimation unit is
Having algorithm information storing a plurality of algorithms for estimating the resource,
The CI service unit is
Software for executing the test and an algorithm for estimating are accepted, and the estimation request of resources to be assigned to the test is transmitted to the resource estimating unit including the algorithm,
The resource estimation unit is
The continuous integration system, wherein the estimating unit receives the algorithm and estimates the resource using the algorithm. 請求項１に記載の継続的インテグレーションシステムであって、
前記ＣＩサービス部は、
前記テストを実行するソフトウェアと推定するリソースのマージンを受け付けて、前記テストに割り当てるリソースの推定要求に前記マージンを含めて前記リソース推定部に送信し、
前記リソース推定部は、
前記マージンを受け付けて、前記推定部が、当該マージンを加えて前記リソースを推定することを特徴とする継続的インテグレーションシステム。The continuous integration system of claim 1, wherein:
The CI service unit is
Accepting the margin of the resource to be estimated as software for executing the test, including the margin in the estimation request of the resource to be allocated to the test, and transmitting to the resource estimation unit,
The resource estimation unit is
The continuous integration system, wherein the estimating unit receives the margin and estimates the resource by adding the margin. 請求項１に記載の継続的インテグレーションシステムであって、
前記結果取得部は、
前記取得したリソースの情報から消費したリソース量を選択し、当該リソース量が所定の閾値を超えていれば、前記テストの負荷が過大となったことを示す通知を出力することを特徴とする継続的インテグレーションシステム。The continuous integration system of claim 1, wherein:
The result acquisition unit,
Continuation characterized by selecting the consumed resource amount from the acquired resource information and outputting a notification indicating that the load of the test becomes excessive if the resource amount exceeds a predetermined threshold value Integration system. 請求項１に記載の継続的インテグレーションシステムであって、
前記履歴情報は、
前記テストを実行するインスタンス名を含み、前記テストＩＤと１以上のインスタンス名とリソースの情報とを対応付けて格納し、
前記推定部は、
前記テストＩＤ内のインスタンス名ごとに前記テストの実行に必要なリソースを推定することを特徴とする継続的インテグレーションシステム。The continuous integration system of claim 1, wherein:
The history information is
Including the instance name for executing the test, the test ID, one or more instance names, and resource information are stored in association with each other,
The estimation unit is
A continuous integration system, which estimates a resource required to execute the test for each instance name in the test ID. 請求項１に記載の継続的インテグレーションシステムであって、
前記履歴情報は、
前記テストを実行する際に割り当てたリソースの情報を含み、
前記リソース推定部は、
前記テストＩＤ毎に、前記テストの実行中に消費したリソースの情報と割り当てたリソースの情報を時系列的に表示する画面を生成することを特徴とする継続的インテグレーションシステム。The continuous integration system of claim 1, wherein:
The history information is
Contains information on the resources allocated when running the test,
The resource estimation unit is
A continuous integration system, wherein a screen for displaying information on resources consumed during the execution of the test and information on allocated resources for each of the test IDs in time series is generated. プロセッサとメモリとを有し、ソフトウェアのテストを管理するＣＩサーバが、プロセッサとメモリとを有する一つ以上の計算機を含む計算クラスタに前記ソフトウェアのテストを実行させる際に前記計算機のリソースを制御するリソース制御方法であって。する計算クラスタと、を含むリソース制御方法であって、
前記ＣＩサーバのＣＩサービス部が、前記テストを実行するソフトウェアを受け付ける第１のステップと、
ＣＩサービス部が、前記テストに割り当てるリソースの推定要求を前記ＣＩサーバのリソース推定部に送信する第２のステップと、
前記リソース推定部が、前記テストに割り当てるリソースの推定要求を受け付けて、前記テストごとに一意となるテストＩＤを割り当てる第３のステップと、
前記リソース推定部が、過去に実行した前記テストＩＤと、テストの実行中に消費したリソースの情報とを対応付けて格納する履歴情報に基づいて、前記テストＩＤごとにテストの実行に必要なリソースを推定し、当該推定結果をリソース割当情報として前記ＣＩサービス部に通知する第４のステップと、
前記ＣＩサービス部が、前記リソース割当情報を受け付けて当該リソース割当情報を前記計算クラスタに通知して前記テストを実行させる第５のステップと、
前記ＣＩサービス部が、前記計算クラスタから前記テストの実行結果を取得する第６のステップと、
前記リソース推定部が、前記テストの実行中に消費したリソースの情報を取得して、前記履歴情報に格納する第７のステップと、
を含むことを特報とするリソース制御方法。A CI server, which has a processor and a memory and manages a software test, controls a resource of the computer when a computer cluster including one or more computers having a processor and a memory executes the software test. Resource control method. And a resource control method including:
A first step in which the CI service unit of the CI server receives software for executing the test;
A second step in which the CI service unit transmits an estimation request of resources to be allocated to the test to the resource estimation unit of the CI server;
A third step in which the resource estimation unit receives an estimation request for a resource to be assigned to the test and assigns a unique test ID to each test;
Based on history information in which the resource estimation unit stores the test ID executed in the past and the information of the resource consumed during the execution of the test in association with each other, the resource required for executing the test for each test ID. And a fourth step of notifying the CI service unit of the estimation result as resource allocation information,
A fifth step in which the CI service unit receives the resource allocation information, notifies the calculation cluster of the resource allocation information, and causes the test to be executed;
A sixth step in which the CI service unit acquires the execution result of the test from the calculation cluster;
A seventh step in which the resource estimation unit acquires information on resources consumed during the execution of the test and stores the acquired information in the history information;
A resource control method which is characterized by including. 請求項１０に記載のリソース制御方法であって、
前記第１のステップは、
前記テストを実行するソフトウェアとして、テストコードとソースコードを特定する識別子を含むコードメタ情報を受け付けて、前記テストに対応するジョブＩＤを生成し、
前記第２のステップは、
前記リソースの推定要求に前記コードメタ情報と前記ジョブＩＤを含めて前記リソース推定部へ送信し、
前記第３のステップは、
前記コードメタ情報と前記ジョブＩＤから前記テストＩＤを算出することを特徴とするリソース制御方法。The resource control method according to claim 10, wherein
The first step is
As the software that executes the test, the code meta information including the test code and the identifier that identifies the source code is accepted, and the job ID corresponding to the test is generated.
The second step is
The code estimation information and the job ID are included in the resource estimation request and transmitted to the resource estimation unit,
The third step is
A resource control method, wherein the test ID is calculated from the code meta information and the job ID. 請求項１１に記載のリソース制御方法であって、
前記コードメタ情報は、前記テストコードとソースコードを格納するリポジトリＩＤとブランチＩＤを含み、
前記第３のステップは、
前記リポジトリＩＤとブランチＩＤとジョブＩＤのうち少なくとも一つを用いて前記テストＩＤを算出することを特徴とするリソース制御方法。The resource control method according to claim 11,
The code meta information includes a repository ID and a branch ID that store the test code and the source code,
The third step is
A resource control method, wherein the test ID is calculated using at least one of the repository ID, the branch ID, and the job ID. 請求項１２に記載のリソース制御方法であって、
前記履歴情報は、
前記リポジトリＩＤとブランチＩＤとジョブＩＤとテストＩＤを含み、
前記第４のステップは、
前記履歴情報に前記テストＩＤと一致するリソースの情報が存在しない場合には、前記リポジトリＩＤとブランチＩＤが一致するテストＩＤのリソースの情報を代用することを特徴とするリソース制御方法。The resource control method according to claim 12,
The history information is
Including the repository ID, branch ID, job ID, and test ID,
The fourth step is
A resource control method, characterized in that, when there is no resource information matching the test ID in the history information, the resource information of the test ID matching the repository ID and the branch ID is substituted. 請求項１０に記載のリソース制御方法であって、
前記第１のステップは、
前記テストを実行するソフトウェアと、推定するアルゴリズムを受け付け、
前記第２のステップは、
前記テストに割り当てるリソースの推定要求に前記アルゴリズムを含めて前記リソース推定部に送信し、
前記第４のステップは、
前記アルゴリズムを受け付けて、前記リソースを推定するために予め設定された複数のアルゴリズムを格納したアルゴリズム情報から前記受け付けたアルゴリズムを選択し、当該アルゴリズムを用いて前記リソースを推定することを特徴とするリソース制御方法。The resource control method according to claim 10, wherein
The first step is
Accept the software to perform the test and the algorithm to estimate,
The second step is
Sending to the resource estimation unit including the algorithm in the estimation request of the resource to be allocated to the test,
The fourth step is
A resource characterized by accepting the algorithm and selecting the accepted algorithm from algorithm information storing a plurality of preset algorithms for estimating the resource, and estimating the resource using the algorithm Control method. 請求項１０に記載のリソース制御方法であって、
前記第１のステップは、
前記テストを実行するソフトウェアと、推定するリソースのマージンを受け付けて、
前記第２のステップは、
前記テストに割り当てるリソースの推定要求に前記マージンを含めて前記リソース推定部に送信し、
前記第４のステップは、
前記マージンを受け付けて、当該マージンを加えて前記リソースを推定することを特徴とするリソース制御方法。The resource control method according to claim 10, wherein
The first step is
Accept the software to perform the test and the estimated resource margin,
The second step is
The estimation request of the resource to be allocated to the test is transmitted to the resource estimation unit including the margin,
The fourth step is
A resource control method comprising receiving the margin and estimating the resource by adding the margin.
JP2018557492A 2016-12-22 2016-12-22 Continuous integration system and resource control method Active JP6692454B2 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2016/088459 WO2018116460A1 (en) 2016-12-22 2016-12-22 Continuous integration system and resource control method

Publications (2)

Publication Number Publication Date
JPWO2018116460A1 JPWO2018116460A1 (en) 2019-06-24
JP6692454B2 true JP6692454B2 (en) 2020-05-13

Family

ID=62627293

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2018557492A Active JP6692454B2 (en) 2016-12-22 2016-12-22 Continuous integration system and resource control method

Country Status (2)

Country Link
JP (1) JP6692454B2 (en)
WO (1) WO2018116460A1 (en)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112653937B (en) * 2019-10-10 2023-07-28 中盈优创资讯科技有限公司 Optical network access equipment management method and device
CN112148462B (en) * 2020-10-20 2023-03-28 上海新炬网络信息技术股份有限公司 Jenkins-based CICD process processing method
CN113296945A (en) * 2021-05-20 2021-08-24 山东云海国创云计算装备产业创新中心有限公司 Continuous integration method, system, equipment and computer readable storage medium

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP5213671B2 (en) * 2008-12-03 2013-06-19 株式会社日立ソリューションズ Test case selection method and selection system
CN104246740A (en) * 2012-06-08 2014-12-24 惠普发展公司，有限责任合伙企业 Test and management for cloud applications

Also Published As

Publication number Publication date
WO2018116460A1 (en) 2018-06-28
JPWO2018116460A1 (en) 2019-06-24

Similar Documents

Publication Publication Date Title
US10635664B2 (en) Map-reduce job virtualization
JP5476485B2 (en) Service reservation management method, virtual computer system, and storage medium
US10585691B2 (en) Distribution system, computer, and arrangement method for virtual machine
US8782635B2 (en) Reconfiguration of computer system to allow application installation
US10305815B2 (en) System and method for distributed resource management
US8782235B2 (en) Resource migration system and resource migration method
US20180267879A1 (en) Management computer, performance monitoring method, and computer system
US11467874B2 (en) System and method for resource management
JP5609730B2 (en) Information processing program and method, and transfer processing apparatus
US20160352821A1 (en) Method and system for allocating resources for virtual hosts
JP6692454B2 (en) Continuous integration system and resource control method
US10754368B1 (en) Method and system for load balancing backup resources
JP5740338B2 (en) Virtual environment operation support system
US11327788B2 (en) Methods for scheduling multiple batches of concurrent jobs
JP2011192049A (en) Virtual machine system, automatic migration method, and automatic migration program
CN108228272B (en) WEB container generation processing method, equipment and server
US11379145B2 (en) Systems and methods for selecting devices for backup and restore operations for virtual machines
JP2023114001A (en) Operation management device and method
US20220292001A1 (en) Predictive optimal queue length management for backup sessions using distributed proxies
US20220253361A1 (en) Systems and methods for selecting optimal proxy devices for backup and restore operations for virtual machines
US8015207B2 (en) Method and apparatus for unstructured data mining and distributed processing
JP6568232B2 (en) Computer system and device management method
Srikrishnan et al. A log data analytics based scheduling in open source cloud software
WO2018225389A1 (en) Computer system and data analysis method
WO2017130390A1 (en) Computer system and method for monitoring distributed data processing

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20190212

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20200324

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20200414

R150 Certificate of patent or registration of utility model

Ref document number: 6692454

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150