WO2020161994A1 - 依存関係検出装置および依存関係検出方法 - Google Patents

依存関係検出装置および依存関係検出方法 Download PDF

Info

Publication number
WO2020161994A1
WO2020161994A1 PCT/JP2019/045987 JP2019045987W WO2020161994A1 WO 2020161994 A1 WO2020161994 A1 WO 2020161994A1 JP 2019045987 W JP2019045987 W JP 2019045987W WO 2020161994 A1 WO2020161994 A1 WO 2020161994A1
Authority
WO
WIPO (PCT)
Prior art keywords
reinforcement learning
state
template
learning task
dependency
Prior art date
Application number
PCT/JP2019/045987
Other languages
English (en)
French (fr)
Inventor
学 中野谷
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to US17/428,173 priority Critical patent/US20220092476A1/en
Priority to JP2020570381A priority patent/JP7215501B2/ja
Publication of WO2020161994A1 publication Critical patent/WO2020161994A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/60—Software deployment
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/445—Program loading or initiating
    • G06F9/44505—Configuring for program initiating, e.g. using registry, configuration files
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning

Definitions

  • the present invention relates to a dependency detecting apparatus and a dependency detecting method, and more particularly to a dependency detecting apparatus and a dependency detecting method used in the construction, deployment, or automation of the deployment of an information system.
  • the construction work of IT (Information Technology) system consisting of servers and communication network equipment is mainly composed of three procedures: design, implementation of deployment (deployment) work, and execution of deployment.
  • the design procedure includes, for example, embodying the constituent elements, determining the relationship between the constituent elements, and examining the setting items in each constituent element.
  • the above construction work is executed, for example, by an engineer manually performing each procedure.
  • a tool for automatically performing the second procedure and the third procedure related to deployment (hereinafter, referred to as an automation tool) is also often used in the construction work.
  • the automation tool described in Non-Patent Document 1 and the automation tool described in Non-Patent Document 2 are target IT systems when the state of the IT system desired by the user is declaratively described. Change the state of to the state desired by the user.
  • the automation tool described in Non-Patent Document 1 and the automation tool described in Non-Patent Document 2 do not make the user of the automation tool aware of the concrete change work.
  • IT system administrators can automate many tasks related to deployment.
  • Each of the above automation tools defines a notation based on its own grammar so that the IT system configuration can be described.
  • the user of the automation tool describes the desired IT system state according to the defined notation.
  • each of the above automation tools provides a reusable template for describing the configuration for each configuration target such as middleware and specific network equipment.
  • the template includes the operation required to set the target configuration and the definition of the operation parameter.
  • the operations required to set the target configuration are, for example, rewriting the setting file, inputting commands from the command line interface, and executing various application programming interfaces (API).
  • API application programming interfaces
  • the parameters mainly represent the values written in the setting file, the arguments when the command is input or the API is executed, and the state after the operation of the operation target.
  • the user of the automated tool can more easily express the desired state of the IT system by designating only the values of the parameters that are uniquely designated in the template.
  • the template structure provided by many automation tools is a structure that allows recursive calls. That is, the user of the automation tool can generate a new template by combining a plurality of templates.
  • automation tool users can use the automation tool to collectively define the IT system configuration in which multiple middleware and communication network devices are combined, and even execute deployment.
  • the user of the automation tool is required to manually generate a template in which the configuration used by the automation tool is described.
  • multiple operations required to set the target configuration are defined in the template used by the automation tool.
  • the operation “rewriting the setting file” is an operation performed for the purpose of changing the software settings. However, in order to reflect the change in the setting, it is also required to execute the operation “service start” according to the specifications of the operation of the software described above.
  • the relationship that exists between the two operations and that is required to be executed in association with each other is required to be executed in conjunction with the target operation in the template provided by the automation tool. It is expressed as a dependency defined between a parameter related to the state of another operation.
  • the combination of operations to be verified can easily be exponential Increase. That is, it is difficult to perform sufficient verification on a model of a predetermined scale or more.
  • an object of the present invention is to provide a dependency relationship detection device and a dependency relationship detection method that can easily detect the dependency relationship in a template having a relatively large scale, which solves the above-mentioned problems.
  • the operation to the construction target system defined in the template used by the automation tool for automatically deploying the construction target system and the state of the constituent elements of the construction target system are defined respectively. It is characterized by comprising an executing means for executing a reinforcement learning task for learning a deployment procedure based on a state of a component after an operation is executed by using the defined reinforcement learning task definition.
  • the operation to the construction target system defined in the template used by the automation tool for automatically deploying the construction target system and the state of the constituent elements of the construction target system are respectively defined. It is characterized by executing the reinforcement learning task which learns the procedure of the deployment which assumes the state of the component after the operation is executed, using the defined reinforcement learning task definition.
  • a computer-readable recording medium in which the dependency detection program according to the present invention is recorded is a system to be constructed defined by a template used by an automated tool for automatically deploying the system to be constructed when it is executed by a computer. Reinforcement learning that learns the procedure of deployment assuming the state of the component after the operation is executed by using the reinforcement learning task definition in which the operation to the Store a dependency detection program that executes a task.
  • 6 is a flowchart showing the operation of reinforcement learning processing by the reinforcement learning execution unit 130 of the first embodiment. It is a block diagram which shows the structural example of 2nd Embodiment of the dependency relationship detection apparatus by this invention. 9 is a flowchart showing the operation of an analysis result output process by the dependency relationship detection apparatus 101 of the second exemplary embodiment. It is explanatory drawing which shows the hardware structural example of the dependency relationship detection apparatus by this invention. It is a block diagram which shows the outline of the dependency detection apparatus by this invention.
  • FIG. 1 is a block diagram showing a configuration example of a first embodiment of a dependency relationship detecting apparatus according to the present invention.
  • the dependency detection apparatus of the present embodiment executes a task of performing reinforcement learning using a template to be verified (hereinafter referred to as reinforcement learning task).
  • reinforcement learning task a task of performing reinforcement learning using a template to be verified.
  • the process of selecting and executing combinations is performed in the search process.
  • the dependency relationship detecting apparatus can confirm whether the dependency relationships defined in the template are sufficient or insufficient.
  • the state information of the environment is used instead of the feature amount data of normal machine learning, and the value that is observed from the environment such as reward or the value given from the environment is used instead of the label data.
  • the dependency relationship detection apparatus 100 includes a reinforcement learning task definition input unit 110, a template correspondence relation input unit 120, a reinforcement learning execution unit 130, a result log analysis unit 140, and an analysis. And a result output unit 150.
  • the reinforcement learning task definition is input to the reinforcement learning task definition input unit 110.
  • the model correspondence input unit 120 receives the model correspondence.
  • the dependency relationship detection apparatus 100 is communicatively connected to the verification environment 200.
  • the reinforcement learning execution unit 130 executes a reinforcement learning task in the verification environment 200. After the reinforcement learning task is executed, the analysis result output unit 150 outputs the analysis result.
  • the user inputs a reinforcement learning task definition indicating a reinforcement learning task executed for learning the IT system deployment procedure, for example, to the reinforcement learning task definition input unit 110.
  • the user inputs a template correspondence relationship indicating a correspondence relationship between the template provided by the verification target automation tool and the states and actions defined in the reinforcement learning task definition to the template correspondence relationship input unit 120.
  • FIG. 2 is an explanatory diagram showing an example of a reinforcement learning task definition.
  • the reinforcement learning task definition shown in Fig. 2 is a definition example of the reinforcement learning task for learning the upgrade procedure of OpenStack, which is open source cloud infrastructure software.
  • FIG. 3 is an explanatory diagram showing an example of a template correspondence relationship.
  • the template correspondence shown in FIG. 3 corresponds to the reinforcement learning task definition shown in FIG.
  • the behavior indicated by the behavior definition described in the reinforcement learning task definition shown in FIG. 2 is characterized in that it is executed using the template provided by the automated tool to be verified.
  • the action indicated by the action definition corresponds to the operation defined in the template described above.
  • the first line “Keystone package [upgrade/downgrade]” of the action definition shown in Fig. 2 indicates the operation to update and downgrade the software of Keystone, which is a subcomponent of OpenStack.
  • Linux registered trademark
  • OS Operating System
  • APT Advanced Packaging Tool
  • YUM Yellow Dog Updater Modified
  • the action indicated by the action definition of this embodiment is executed by using the template provided by the automation tool. That is, the template provided by the automated tool to be verified is used when the action defined in the reinforcement learning task definition shown in FIG. 2 is executed.
  • each state definition described in the reinforcement learning task definition shown in FIG. 2 corresponds to each element that characterizes the state.
  • the state space over the entire system to be learned is defined by the direct product of each element.
  • the first line of the state definition shown in Fig. 2 shows the state element that represents the version of the Keystone package software.
  • the states that the state element indicated by the first line of the state definition can take are defined as three types, queens, rocky, and other.
  • the reinforcement learning task definition of the present embodiment has a state definition of a state in which a change is expected as a result of execution of one or more actions for each defined action.
  • the search algorithm, learning algorithm, and reward function described in the reinforcement learning task definition shown in FIG. 2 are all used when the reinforcement learning task is executed.
  • the underlined state shown in Fig. 3 is the state intended as the transition destination after the action.
  • the correspondence at the bottom of FIG. 3 indicates that the version of the Nova database is intended to transition to rocky when the action called NovaDB migration is executed.
  • the uppermost correspondence and the second correspondence also include the state intended as the transition destination after the action.
  • the input reinforcement learning task definition is input from the reinforcement learning task definition input unit 110 to the reinforcement learning execution unit 130.
  • the reinforcement learning execution unit 130 executes the reinforcement learning task using the input reinforcement learning task definition.
  • the IT system targeted for reinforcement learning is built in the verification environment 200.
  • the reinforcement learning execution unit 130 uses the template provided by the automation tool on the verification environment 200 to execute the action indicated by the input reinforcement learning task definition.
  • the reinforcement learning execution unit 130 acquires the state of the IT system after the action is executed.
  • the reinforcement learning execution unit 130 performs processing required when a general reinforcement learning task is executed, such as calculation of reward based on the acquired state and reward function.
  • FIG. 4 is an explanatory diagram showing an example of a result log acquired by the reinforcement learning execution unit 130 executing the reinforcement learning task.
  • the obtained result log is the log data of the search that occurred in learning the procedure in which the automated tool was used.
  • Each result log shown in FIG. 4 shows the state before the action is executed, the content of the action, and the state after the action is executed.
  • the states shown in FIG. 4 are represented by the abbreviations (names in parentheses) shown in FIG.
  • the first result log from the top shows that the state of the Keystone package version changed from queens to rocky due to the action called the Keystone package upgrade.
  • the reinforcement learning execution unit 130 inputs the obtained result log to the result log analysis unit 140.
  • the result log analysis unit 140 analyzes the result log based on the content indicated by the template correspondence relationship input from the template correspondence relationship input unit 120.
  • the result log analysis unit 140 compares the correspondence between the action and the state indicated by the template correspondence and the correspondence between the action indicated by the result log and the state changed after the action. After the comparison, the result log analysis unit 140 predicts the conditions under which the intended state change occurs after each action, also taking into consideration the state of the entire IT system.
  • FIG. 5 is an explanatory diagram showing an example of the analysis result acquired by the result log analysis unit 140 from the result log.
  • the analysis result shown in FIG. 5 corresponds to the contents of the fifth result log from the top shown in FIG.
  • result log analysis unit 140 may use the result of statistical determination based on the information of the result log in which the result of performing the same action a plurality of times is recorded as the analysis result.
  • Statistically determined analysis results may indicate the existence of behavior-dependent states other than those defined in the reinforcement learning task definition.
  • a dependency relationship that requires the execution of an action (operation) that is not defined in the reinforcement learning task definition such as "execute nova flavor db migration" shown in Fig. 5, may be found. That is, a state in which an action depends on a state other than the state defined in the reinforcement learning task definition is a condition for making the action successful.
  • the result log analysis unit 140 may analyze the condition regarding the entire state space defined in the reinforcement learning task definition by statistically processing the result log of the reinforcement learning task when a specific action is executed. ..
  • the analysis target condition is a condition for changing the state associated with the template correspondence. After the analysis, the result log analysis unit 140 presents the dependency relationship regarding the state for the specific action to be successful.
  • FIG. 6 is an explanatory diagram showing another example of the analysis result acquired by the result log analysis unit 140 from the result log.
  • the analysis result shown in FIG. 6 corresponds to the contents of the second result log from the top and the contents of the third result log from the top shown in FIG.
  • the result log analysis unit 140 determines whether or not the intended state change (sv:stopped ⁇ sv:started) occurs after the action “Nova service start” is executed in advance of au. It is analyzed that it depends on the state. Specifically, if the pre-state of au is 5000, the intended state change occurs. Also, if the au pre-status is 35357, the intended status change does not occur.
  • the result log analysis unit 140 detects the dependency relationship that the behavior “Nova service start” depends on the state “keystone authentication port is 5000”.
  • the result log analysis unit 140 summarizes the analysis results shown in FIGS. 5 and 6 for each action.
  • the result log analysis unit 140 inputs the analysis results summarized for each action to the analysis result output unit 150.
  • the analysis result output unit 150 outputs the input content as a final analysis result.
  • the analysis result output by the analysis result output unit 150 is the analysis result presented to the user by the dependency relationship detecting apparatus 100.
  • FIG. 7 is a flowchart showing the operation of the analysis result output process by the dependency relationship detecting apparatus 100 of the first embodiment.
  • the user inputs the reinforcement learning task definition into the reinforcement learning task definition input unit 110 (step S110).
  • the reinforcement learning task definition input unit 110 inputs the input reinforcement learning task definition to the reinforcement learning executing unit 130.
  • the reinforcement learning execution unit 130 executes reinforcement learning processing for performing a reinforcement learning task based on the input reinforcement learning task definition (step S120). After executing the reinforcement learning process, the reinforcement learning execution unit 130 acquires a result log (step S130). Next, the reinforcement learning execution unit 130 inputs the acquired result log into the result log analysis unit 140.
  • the user inputs the template correspondence relationship into the template correspondence relationship input unit 120 (step S140).
  • the template correspondence input unit 120 inputs the input template correspondence to the result log analysis unit 140.
  • the result log analysis unit 140 analyzes the input result log using the input template correspondence (step S150). Next, the result log analysis unit 140 collects the analysis results for each action and inputs the summarized contents to the analysis result output unit 150.
  • the analysis result output unit 150 outputs the input content as a final analysis result (step S160). After outputting the analysis result, the dependency relationship detection apparatus 100 ends the analysis result output process.
  • FIG. 8 is a flowchart showing the operation of the reinforcement learning process by the reinforcement learning execution unit 130 of the first embodiment.
  • the reinforcement learning execution unit 130 first initializes the verification environment 200 (step S121).
  • the reinforcement learning execution unit 130 determines the action to be executed according to the search algorithm specified in the reinforcement learning task definition (step S122).
  • the reinforcement learning execution unit 130 executes the action determined in step S122 in the verification environment 200 using the template provided by the automation tool (step S123).
  • the reinforcement learning execution unit 130 confirms the state of the IT system built in the verification environment 200 after the action is executed (step S124).
  • the reinforcement learning execution unit 130 calculates the reward using the reward function specified in the reinforcement learning task definition (step S125).
  • the reinforcement learning execution unit 130 learns according to the learning algorithm specified in the reinforcement learning task definition based on the action determined in step S122, the state confirmed in step S124, and the reward calculated in step S125.
  • the process is executed (step S126).
  • step S126 learning processing of the IT system deployment procedure is executed, for example.
  • the learned deployment procedure is based on the state of the IT system constructed in the verification environment 200 after the action is executed.
  • the reinforcement learning execution unit 130 records each processing result of steps S122 to S126 in the result log. That is, the reinforcement learning execution unit 130 updates the result log (step S127).
  • the reinforcement learning execution unit 130 confirms whether or not the current state of the IT system confirmed in step S124 corresponds to the end state (step S128).
  • the end state is defined for each reinforcement learning task. The end state is usually described in the reinforcement learning task definition.
  • the reinforcement learning execution unit 130 ends the reinforcement learning process.
  • the reinforcement learning execution unit 130 returns to step S122 and continuously executes the reinforcement learning processing.
  • the reinforcement learning execution unit 130 normally performs the reinforcement learning process by repeating the entire process shown in FIG. 8 a plurality of times.
  • the learning log obtained by repeating the entire process a plurality of times is log data in which learning logs of each time called an episode are combined.
  • the dependency relationship detection apparatus 100 manually determines the dependency relationship between the system state and the operation, which is defined in the template used in the IT system deployment by the automation tool and is difficult to verify sufficiently. Provide a function to verify without intervention.
  • the dependency relationship detecting apparatus 100 executes a reinforcement learning task for learning a change procedure of an IT system by using a template provided by an automation tool that is a dependency verification target.
  • the reinforcement learning execution unit 130 that executes the reinforcement learning task executes the operation defined in the template under various conditions during learning.
  • the reinforcement learning execution unit 130 records the result of the operation executed in the result log.
  • the result log shows the verification result for the operation under the practical situation selected from the many possible operations to be verified regarding the template provided by the automated tool to be verified.
  • the dependency relationship detecting apparatus 100 of the present embodiment not only the definition in the general reinforcement learning task but also a template showing a correspondence relationship between a template, a state, and an action. Correspondence is also specified.
  • Definitions in a general reinforcement learning task are, for example, a state definition, an action definition, a learning algorithm definition, a search method definition, and a reward function definition.
  • the result log analysis unit 140 is defined in the template by analyzing whether or not the intended operation makes a transition to an expected state based on the information indicating the template correspondence and the result log. Make sure that there is no excess or deficiency of the dependencies. Next, the analysis result output unit 150 presents the confirmed result to the user.
  • the user of the dependency relationship detection apparatus 100 can detect the dependency relationship of the operation defined in the template without manually determining, executing, and evaluating the template verification content provided by the automation tool. ..
  • FIG. 9 is a block diagram showing a configuration example of the second embodiment of the dependency relationship detecting apparatus according to the present invention.
  • the dependency relationship detection apparatus 101 includes a reinforcement learning task definition input unit 110, a reinforcement learning execution unit 130, a result log analysis unit 140, an analysis result output unit 150, and a template correspondence. And a relationship generation unit 160.
  • the dependency relationship detecting apparatus 101 of the present exemplary embodiment includes a template correspondence generating section 160 instead of the template correspondence input section 120.
  • the configuration of the dependency relationship detecting apparatus 101 of this embodiment other than the template correspondence generating unit 160 is the same as the configuration of the dependency relationship detecting apparatus 100 of the first embodiment.
  • a template correspondence relationship is externally input to the dependency relationship detection apparatus 100 of the first embodiment.
  • the model correspondence generating unit 160 generates a model correspondence based on the reinforcement learning task definition input from the reinforcement learning task definition input unit 110.
  • the model correspondence generating unit 160 generates a model correspondence according to a rule defined in advance based on the action, the state, and the name of the model.
  • the content of the reinforcement learning task definition of the present embodiment is required to be the content to which the rule used by the template correspondence generation unit 160 can be applied.
  • FIG. 10 is a flowchart showing the operation of the analysis result output processing by the dependency relationship detecting apparatus 101 of the second embodiment.
  • the user inputs the reinforcement learning task definition into the reinforcement learning task definition input unit 110 (step S210).
  • the reinforcement learning task definition input unit 110 inputs the input reinforcement learning task definition to the reinforcement learning executing unit 130 and the template correspondence generating unit 160.
  • the template correspondence generating unit 160 generates a template correspondence based on the input reinforcement learning task definition (step S240).
  • the template correspondence generating unit 160 inputs the generated template correspondence to the result log analyzing unit 140.
  • step S220 to step S230 is similar to each process of step S120 to step S130 shown in FIG. Further, each processing of step S250 to step S260 is similar to each processing of step S150 to step S160 shown in FIG.
  • FIG. 11 is an explanatory diagram showing a hardware configuration example of the dependency relationship detecting apparatus according to the present invention.
  • the dependency detection apparatus shown in FIG. 11 includes a CPU (Central Processing Unit) 11, a main storage unit 12, a communication unit 13, and an auxiliary storage unit 14. Further, it is provided with an input unit 15 for the user to operate, and an output unit 16 for presenting the process result or the progress of the process content to the user.
  • a CPU Central Processing Unit
  • the dependency detection apparatus is realized by software by the CPU 11 shown in FIG. 11 executing a program that provides the function of each component.
  • each function is realized by software by the CPU 11 loading the program stored in the auxiliary storage unit 14 into the main storage unit 12 and executing the program to control the operation of the dependency detecting apparatus.
  • dependency detection apparatus shown in FIG. 11 may include a DSP (Digital Signal Processor) instead of the CPU 11.
  • the dependency detection apparatus shown in FIG. 11 may include the CPU 11 and the DSP together.
  • the main storage unit 12 is used as a work area for data and a temporary save area for data.
  • the main storage unit 12 is, for example, a RAM (Random Access Memory).
  • the communication unit 13 has a function of inputting and outputting data to and from peripheral devices via a wired network or a wireless network (information communication network).
  • the auxiliary storage unit 14 is a non-transitory tangible storage medium.
  • non-temporary tangible storage media include magnetic disks, magneto-optical disks, CD-ROMs (Compact Disk Read Only Memory), DVD-ROMs (Digital Versatile Disk Read Only Memory), and semiconductor memories.
  • the input unit 15 has a function of inputting data and processing instructions.
  • the input unit 15 is an input device such as a keyboard or a mouse.
  • the reinforcement learning task definition input unit 110 and the template correspondence relationship input unit 120 are realized by the input unit 15.
  • the output unit 16 has a function of outputting data.
  • the output unit 16 is a display device such as a liquid crystal display device or a printing device such as a printer.
  • the analysis result output unit 150 is realized by the output unit 16.
  • each component is connected to the system bus 17.
  • the auxiliary storage unit 14 realizes the reinforcement learning task definition input unit 110, the template correspondence relationship input unit 120, the reinforcement learning execution unit 130, the result log analysis unit 140, and the analysis result output unit 150 in the first embodiment, for example. It stores the program for.
  • auxiliary storage unit 14 stores, for example, a program for realizing the reinforcement learning task definition input unit 110, the reinforcement learning execution unit 130, the result log analysis unit 140, and the template correspondence generation unit 160 in the second embodiment. I remember.
  • the dependency detection device may be realized by hardware.
  • the dependency detection apparatus 100 may be internally provided with a circuit including a hardware component such as an LSI (Large Scale Integration) that realizes the function illustrated in FIG. 1.
  • LSI Large Scale Integration
  • constituent elements may be realized by a general-purpose circuit or a dedicated circuit, a processor, or a combination thereof. These may be configured by a single chip (for example, the above LSI) or may be configured by a plurality of chips connected via a bus. Some or all of the constituent elements may be realized by a combination of the above-described circuits and the like and a program.
  • the plurality of information processing devices, circuits, etc. may be centrally arranged or distributed.
  • the information processing device, the circuit, and the like may be realized as a form in which a client and server system, a cloud computing system, and the like are connected to each other via a communication network.
  • FIG. 12 is a block diagram showing an outline of the dependency relationship detecting apparatus according to the present invention.
  • the operation to the construction target system defined in the template used by the automation tool for automatically deploying the construction target system and the state of the constituent elements of the construction target system are respectively performed.
  • Execution means 21 for example, the reinforcement learning execution unit 130
  • executes the reinforcement learning task that learns the procedure of deployment assuming the state of the component after the operation is executed using the defined reinforcement learning task definition. Equipped with.
  • the dependency relationship detection device can easily detect the dependency relationship in a relatively large model.
  • the dependency relationship detection apparatus 20 executes the operation, and the correspondence information indicating the correspondence relationship between the template, the operation defined in the template, and the state in which the component is predicted to be transited by the operation. Based on the state of the previous component and the execution result of the reinforcement learning task that shows the state of the component after the operation is executed, there are conditions for the operation to be executed by the automation tool using the template.
  • An analysis unit for example, the result log analysis unit 140 that analyzes whether or not it may be provided.
  • the correspondence information is information that associates an action (operation) in the reinforcement learning task definition with a state that changes after the action is executed.
  • it also has information that specifies a template used in an automated tool that is a means required to execute an action.
  • the dependency relationship detection device can easily detect the dependency relationship using the template correspondence relationship.
  • the analysis means may present, as operation dependency, a condition for establishing an operation acquired by statistically analyzing a plurality of execution results of the reinforcement learning task.
  • the dependency relationship detecting device can present the specific content of the dependency relationship.
  • the operation dependency may be the relationship between the operation and the state of the component.
  • the dependency detection device can present the state of the constituent elements for the operation to be established.
  • the dependency relationship detection apparatus 20 may include a generation unit (for example, a template correspondence relationship generation unit 160) that generates correspondence relationship information based on the reinforcement learning task definition.
  • the generating unit may generate the correspondence information by interpreting the reinforcement learning task definition according to a predetermined rule regarding characteristics such as the name of the state definition and the action definition.
  • the dependency detector can save the user the trouble.
  • the execution means 21 may search for an operation to be executed before learning the deployment procedure according to a search algorithm.
  • the dependency detection device can cover the operations defined in the template.
  • Dependency detection comprising: a reinforcement learning task definition executing means for executing a reinforcement learning task for learning a procedure of the deployment based on a state of the component after the operation is executed. apparatus.
  • Supplementary note 5 The dependency relationship detection apparatus according to any one of Supplementary notes 2 to 4, including a generating unit that generates correspondence relationship information based on the reinforcement learning task definition.
  • the present invention is preferably applied to a system automatic change tool that automatically changes an IT system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Medical Informatics (AREA)
  • Data Mining & Analysis (AREA)
  • Computing Systems (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Mathematical Physics (AREA)
  • Artificial Intelligence (AREA)
  • Debugging And Monitoring (AREA)
  • Stored Programmes (AREA)

Abstract

依存関係検出装置２０は、構築対象システムの配備を自動で行う自動化ツールが配備で使用するひな型に定義される構築対象システムへの操作と、構築対象システムの構成要素の状態とがそれぞれ定義された強化学習タスク定義を用いて、操作が実行された後の構成要素の状態を前提とする配備の手順を学習する強化学習タスクを実行する実行手段２１を備える。

Description

依存関係検出装置および依存関係検出方法
　本発明は、依存関係検出装置および依存関係検出方法に関し、特に情報システムの構築、デプロイ、または配備の自動化で使用される依存関係検出装置および依存関係検出方法に関する。
　サーバや通信ネットワーク機器等で構成されるIT(Information Technology)システムの構築作業は、設計、配備（デプロイ）作業の具体化、デプロイの実行の３つの手続きで主に構成される。設計の手続きには、例えば構成要素の具体化、構成要素間の関係性の決定、各構成要素内の設定項目の検討が含まれる。
　上記の構築作業は、例えば技術者が各手続きをそれぞれ手動で行うことによって実行される。しかし、デプロイに関する２つ目の手続きと３つ目の手続きを自動で行うツール（以下、自動化ツールと呼ぶ。）も、構築作業において多く使用されている。
　例えば、非特許文献１に記載されている自動化ツール、および非特許文献２に記載されている自動化ツールは、利用者が所望するITシステムの状態が宣言的に記述されると、対象のITシステムの状態を利用者が所望する状態に変更する。
　ITシステムの状態を変更する際、非特許文献１に記載されている自動化ツール、および非特許文献２に記載されている自動化ツールは、自動化ツールの利用者に具体的な変更作業を意識させない。自動化ツールを活用することによって、ITシステムの管理者は、デプロイに係る多くの作業を自動化できる。
　上記の各自動化ツールは、ITシステムの構成が記述可能なように、独自の文法に基づいた記法をそれぞれ定義している。自動化ツールの利用者は、所望するITシステムの状態を、定義されている記法に従って記述する。
　また、上記の各自動化ツールは、ミドルウェアや特定のネットワーク機器等、構成を設定する対象ごとに、構成を記述するための再利用可能なひな型をそれぞれ提供している。
　例えば、ひな型には、対象の構成を設定するために求められる操作と、操作のパラメータの定義が含まれる。対象の構成を設定するために求められる操作は、例えば設定ファイルの書き換え、コマンドラインインタフェースからのコマンドの投入、各種アプリケーションプログラミングインタフェース(Application Programming Interface:API) の実行である。
　また、パラメータは、主に設定ファイルに書き込まれる値、コマンド投入時やAPI 実行時の引数、および操作対象の操作後の状態を表す。自動化ツールの利用者は、独自に指定するパラメータの値のみをひな型に指定することによって、ITシステムの所望の状態をより簡便に表現できる。
　また、多くの自動化ツールが提供するひな型の構造は、再帰呼び出しを許す構造である。すなわち、自動化ツールの利用者は、複数のひな型を組み合わせることによって、新たなひな型を生成できる。
　上記の理由により、自動化ツールの利用者は、自動化ツールを用いて複数のミドルウェアや通信ネットワーク機器等が組み合わせられたITシステムの構成を一括で定義し、かつデプロイまで実行できる。なお、自動化ツールの利用者には、自動化ツールで利用される構成が記述されたひな型を原則手動で生成することが求められる。
"Puppet"、[online]、Puppet、[ 平成31年1 月24日検索] 、インターネット<https://puppet.com/> "Ansible" 、[online]、Red Hat 、[ 平成31年1 月24日検索] 、インターネット<https://www.ansible.com/>
　上述したように、自動化ツールで利用されるひな型には、対象の構成の設定に求められる複数の操作が定義される。定義される複数の操作の間には、各操作が相手に与える影響や依存関係が存在する場合がある。すなわち、自動化ツールの利用者には、複数の操作の間に存在する影響や依存関係をよく検討し、重要な影響や依存関係をひな型に記述することも求められる場合がある。
　例えば、テキストファイルを設定ファイルとして有し、サービス起動時に設定ファイルを読み込むことによって設定ファイル内の記述内容に沿った動作を実現するソフトウェアを設定および制御する自動化ツールを考える。
　上記の自動化ツールが提供するひな型には、操作「設定ファイルの書き換え」、操作「サービス起動」という２つの操作が定義される。操作「設定ファイルの書き換え」は、ソフトウェアの設定を変更することを目的に行われる操作である。しかし、設定の変更が反映されるためには、上述したソフトウェアの動作の仕様上、操作「サービス起動」の実行も求められる。
　上記のような、２つの操作の間に存在する連動して実行されることが求められる関係性は、自動化ツールが提供するひな型において、対象の操作と、連動して実行されることが求められる別の操作の状態に関するパラメータとの間に定義される依存関係として表現される。
　上記の例であれば、自動化ツールが提供するひな型において、操作「設定ファイルの書き換え」に、操作「サービス起動」の状態に関するパラメータ「再起動」への依存関係が定義される。
　依存関係の定義に過不足があると、ひな型にパラメータが適切に設定されても、構成が正しく設定されない恐れがある。よって、ひな型を生成する自動化ツールの開発者やITシステムの開発者および運用者は、複数の操作間の関係性をよく確認したり、テストを行ったりして依存関係をひな型に定義している。以下、上記の複数の操作間の関係性に対する作業を、検証と呼ぶ。
　しかし、単一のひな型への操作の追加による操作数の増加やひな型が再帰的に定義されることによる操作数の増加等が原因で、検証の対象になる操作の組み合わせは、容易に指数関数的に増加する。すなわち、所定の規模以上のひな型に対して十分な検証を行うことは困難である。
　そこで、本発明は、上述した課題を解決する、規模の比較的大きなひな型における依存関係を容易に検出できる依存関係検出装置および依存関係検出方法を提供することを目的とする。
　本発明による依存関係検出装置は、構築対象システムの配備を自動で行う自動化ツールが配備で使用するひな型に定義される構築対象システムへの操作と、構築対象システムの構成要素の状態とがそれぞれ定義された強化学習タスク定義を用いて、操作が実行された後の構成要素の状態を前提とする配備の手順を学習する強化学習タスクを実行する実行手段を備えることを特徴とする。
　本発明による依存関係検出方法は、構築対象システムの配備を自動で行う自動化ツールが配備で使用するひな型に定義される構築対象システムへの操作と、構築対象システムの構成要素の状態とがそれぞれ定義された強化学習タスク定義を用いて、操作が実行された後の構成要素の状態を前提とする配備の手順を学習する強化学習タスクを実行することを特徴とする。
　本発明による依存関係検出プログラムを記録したコンピュータ読み取り可能な記録媒体は、コンピュータで実行されるときに、構築対象システムの配備を自動で行う自動化ツールが配備で使用するひな型に定義される構築対象システムへの操作と、構築対象システムの構成要素の状態とがそれぞれ定義された強化学習タスク定義を用いて、操作が実行された後の構成要素の状態を前提とする配備の手順を学習する強化学習タスクを実行する依存関係検出プログラムを記憶する。
　本発明によれば、規模の比較的大きなひな型における依存関係を容易に検出できる。
本発明による依存関係検出装置の第１の実施形態の構成例を示すブロック図である。 強化学習タスク定義の例を示す説明図である。 ひな型対応関係の例を示す説明図である。 強化学習実行部１３０が強化学習タスクを実行することによって取得する結果ログの例を示す説明図である。 結果ログ分析部１４０が結果ログから取得した分析結果の例を示す説明図である。 結果ログ分析部１４０が結果ログから取得した分析結果の他の例を示す説明図である。 第１の実施形態の依存関係検出装置１００による分析結果出力処理の動作を示すフローチャートである。 第１の実施形態の強化学習実行部１３０による強化学習処理の動作を示すフローチャートである。 本発明による依存関係検出装置の第２の実施形態の構成例を示すブロック図である。 第２の実施形態の依存関係検出装置１０１による分析結果出力処理の動作を示すフローチャートである。 本発明による依存関係検出装置のハードウェア構成例を示す説明図である。 本発明による依存関係検出装置の概要を示すブロック図である。
＝＝第１の実施の形態＝＝
［構成の説明］
　以下、本発明の実施形態を、図面を参照して説明する。図１は、本発明による依存関係検出装置の第１の実施形態の構成例を示すブロック図である。
　上述したように、ITシステムの配備を自動化する自動化ツールが用いられる自動配備用に生成されるひな型に記述される操作と、操作が実行可能な状態との依存関係を正しく検証および記述することには、多くの手間を要する。特に、規模の比較的大きなひな型の場合、より多くの手間を要する。
　本実施形態の依存関係検出装置は、検証対象のひな型を使用して強化学習を行うというタスク（以下、強化学習タスクと呼ぶ。）を実行する。事前に入力された状態遷移と状態との対応情報を用いて強化学習タスクで得られるログ情報を分析することによって、依存関係検出装置は、ひな型に定義された依存関係の過不足が無いか確認する。
　配備を自動で行う自動化ツールが提供するひな型に定義された依存関係を効率的に検証するためには、膨大なテストパターンの組み合わせから適当な組み合わせを選択し、選択された組み合わせを実行した後に評価することが求められる。
　組み合わせを選択し実行するという過程が、強化学習では探索プロセスで行われる。探索プロセスのログ情報を分析することによって、依存関係検出装置は、ひな型に定義された依存関係に過不足が無いか確認できる。
　また、強化学習が行われると、環境の状態に応じて最適な制御が異なる制御タスクの学習が、通常の機械学習（教師あり学習）で使用される学習データが事前に準備されなくても実行可能になる。
　なお、強化学習では、通常の機械学習の特徴量データに代えて環境の状態情報、ラベルデータに代えて報酬という環境から観測される値、または環境から与えられる値がそれぞれ利用される。
　図１に示すように、本実施形態の依存関係検出装置１００は、強化学習タスク定義入力部１１０と、ひな型対応関係入力部１２０と、強化学習実行部１３０と、結果ログ分析部１４０と、分析結果出力部１５０とを備える。
　また、図１に示すように、強化学習タスク定義入力部１１０には、強化学習タスク定義が入力される。また、ひな型対応関係入力部１２０には、ひな型対応関係が入力される。
　また、図１に示すように、依存関係検出装置１００は、検証環境２００と通信可能に接続されている。強化学習実行部１３０は、検証環境２００で強化学習タスクを実行する。強化学習タスクが実行された後、分析結果出力部１５０は、分析結果を出力する。
　利用者は、例えばITシステムのデプロイ手順が学習されるために実行される強化学習タスクを示す強化学習タスク定義を、強化学習タスク定義入力部１１０に入力する。また、利用者は、検証対象の自動化ツールが提供するひな型と強化学習タスク定義に定義された状態および行動との対応関係を示すひな型対応関係を、ひな型対応関係入力部１２０に入力する。
　図２は、強化学習タスク定義の例を示す説明図である。図２に示す強化学習タスク定義は、オープンソースのクラウド基盤ソフトウェアであるOpenStack のアップグレード手順を学習するための強化学習タスクの定義例である。
　また、図３は、ひな型対応関係の例を示す説明図である。図３に示すひな型対応関係は、図２に示す強化学習タスク定義に対応する。
　図２に示す強化学習タスク定義に記載された行動定義が示す行動は、検証対象の自動化ツールが提供するひな型が使用されて実行されることを特徴とする。なお、行動定義が示す行動は、上述したひな型に定義される操作に相当する。
　例えば、図２に示す行動定義の１行目「Keystoneパッケージ[upgrade/downgrade] 」は、OpenStack のサブコンポーネントであるKeystoneのソフトウェアのアップデートおよびダウングレードを行う操作を示す。
　なお、Keystoneのソフトウェアのアップデートおよびダウングレードは、例えばAPT(Advanced Packaging Tool)やYUM(Yellowdog Updater Modified) 等のLinux （登録商標）系OS(Operating System)のパッケージ管理システムを用いて行われる。
　本実施形態の行動定義が示す行動は、自動化ツールが提供するひな型が使用されて実行される。すなわち、検証対象の自動化ツールが提供するひな型は、図２に示す強化学習タスク定義に定義される行動が実行される際に利用される。
　また、図２に示す強化学習タスク定義に記載された各状態定義は、状態を特徴付ける要素にそれぞれ対応している。学習対象のシステム全体に渡る状態空間は、各要素の直積で定義される。
　例えば、図２に示す状態定義の１行目は、Keystoneのパッケージソフトウェアのバージョンを表す状態要素を示す。また、状態定義の１行目が示す状態要素が取り得る状態は、queens,rocky,otherの３種類であると定義されている。本実施形態の強化学習タスク定義は、定義される各行動に対して１つ以上の行動が実行された結果、変更が想定される状態の状態定義を有する。
　また、図２に示す強化学習タスク定義に記載された探索アルゴリズム、学習アルゴリズム、および報酬関数は、いずれも強化学習タスクが実行される時に使用される。
　図３に示すひな型対応関係では、図２に示す強化学習タスク定義に定義された行動と状態との対応関係に加えて、各行動が実行される際に使用されるひな型も指定される。
　例えば、図３に示す最上段の対応関係は、Keystoneパッケージのアップグレードおよびダウングレードという行動がパッケージのバージョン(keystone package version)の状態を変更し、かつひな型「Keystone package」が使用されて実行されることを示す。
　なお、図３に示す下線付きの状態は、行動後の遷移先として意図される状態である。例えば、図３に示す最下段の対応関係は、NovaDBマイグレーションという行動が実行されると、Novaデータベースのバージョンがrocky に遷移することが意図されていることを示す。
　なお、下線は付されていないが、最上段の対応関係、および２段目の対応関係も、行動後の遷移先として意図される状態を含む。
　入力された強化学習タスク定義は、強化学習タスク定義入力部１１０から強化学習実行部１３０に入力される。強化学習実行部１３０は、入力された強化学習タスク定義を用いて強化学習タスクを実行する。
　本実施形態において、強化学習の対象のITシステムは、検証環境２００に構築されている。強化学習実行部１３０は、検証環境２００上で自動化ツールが提供するひな型を用いて、入力された強化学習タスク定義が示す行動を実行する。
　さらに、強化学習実行部１３０は、行動が実行された後のITシステムの状態を取得する。強化学習実行部１３０は、取得された状態や報酬関数に基づいた報酬の計算等、一般的な強化学習タスクが実行される時に求められる処理を行う。
　図４は、強化学習実行部１３０が強化学習タスクを実行することによって取得する結果ログの例を示す説明図である。取得された結果ログは、自動化ツールが使用された手順の学習で発生した探索のログデータである。
　図４に示す各結果ログは、行動の実行前の状態と、行動の内容と、行動の実行後の状態とを示す。なお、図４に示す各状態は、図３に示す略称（括弧内の名称）で表されている。
　例えば、上から１つ目の結果ログは、Keystoneのパッケージアップグレードという行動が実行されたことによって、Keystoneのパッケージバージョンの状態が、queensからrocky へ変化したことを示す。
　強化学習タスクを終了した後、強化学習実行部１３０は、取得された結果ログを結果ログ分析部１４０に入力する。結果ログ分析部１４０は、ひな型対応関係入力部１２０から入力されたひな型対応関係が示す内容を基に、結果ログを分析する。
　結果ログ分析部１４０は、分析処理において、ひな型対応関係が示す行動と状態との対応関係と、結果ログが示す行動と行動後に変化した状態との対応関係を比較する。比較した後、結果ログ分析部１４０は、各行動に関して行動後に意図された状態変化が発生する条件を、ITシステム全体の状態も踏まえて予測する。
　図５は、結果ログ分析部１４０が結果ログから取得した分析結果の例を示す説明図である。図５に示す分析結果は、図４に示す上から５つ目の結果ログの内容に対応している。
　図５に示す事後状態には、dbの状態がrocky ではなくqueens（図４に示す「362 」）のままであることが記載されている。よって、事前状態に関わらず行動「Nova database migration 」が実行されても意図された状態変化が発生していないため、結果ログ分析部１４０は、図５に示すように未知の依存関係が存在すると分析している。
　なお、結果ログ分析部１４０は、複数回同様の行動が実行された結果が記録された結果ログの情報を基に統計的に判断した結果を分析結果としてもよい。統計的に判断された分析結果は、強化学習タスク定義に定義された状態以外に行動が依存している状態の存在を示唆する可能性がある。
　例えば、図５に示す「nova flavor db migrationの実行」等、強化学習タスク定義に定義されていない行動（操作）の実行を要するという依存関係が判明する場合がある。すなわち、強化学習タスク定義に定義された状態以外に行動が依存している状態が、行動を成功させるための条件である。
　また、結果ログ分析部１４０は、特定の行動が実行された際、強化学習タスク定義に定義された状態空間全体に関する条件を、強化学習タスクの結果ログを統計処理することによって分析してもよい。分析対象の条件は、ひな型対応関係で対応付けられた状態が変化するための条件である。分析した後、結果ログ分析部１４０は、特定の行動が成功するための状態に関する依存関係を提示する。
　図６は、結果ログ分析部１４０が結果ログから取得した分析結果の他の例を示す説明図である。図６に示す分析結果は、図４に示す上から２つ目の結果ログの内容と、上から３つ目の結果ログの内容に対応している。
　図６に示すように、結果ログ分析部１４０は、行動「Nova service start」が実行された後に意図された状態変化（sv:stopped→sv:started）が発生するか否かは、auの事前状態に依存すると分析している。具体的には、auの事前状態が5000であれば、意図された状態変化が発生する。また、auの事前状態が35357 であれば、意図された状態変化が発生しない。
　よって、結果ログ分析部１４０は、行動「Nova service start」が状態「keystone認証ポートが5000番」に依存しているという依存関係を検出する。結果ログ分析部１４０は、図５および図６に示す分析結果を行動ごとにまとめる。
　結果ログ分析部１４０は、行動ごとにまとめられた分析結果を分析結果出力部１５０に入力する。分析結果出力部１５０は、入力された内容を最終的な分析結果として出力する。分析結果出力部１５０が出力する分析結果が、依存関係検出装置１００が利用者に提示する分析結果である。
［動作の説明］
　以下、本実施形態の依存関係検出装置１００の動作を図７～図８を参照して説明する。
　最初に、本実施形態の依存関係検出装置１００の分析結果を出力する動作を図７を参照して説明する。図７は、第１の実施形態の依存関係検出装置１００による分析結果出力処理の動作を示すフローチャートである。
　最初に、利用者は、強化学習タスク定義を強化学習タスク定義入力部１１０に入力する（ステップS110）。強化学習タスク定義入力部１１０は、入力された強化学習タスク定義を強化学習実行部１３０に入力する。
　次いで、強化学習実行部１３０は、入力された強化学習タスク定義を基に強化学習タスクを行う強化学習処理を実行する（ステップS120）。強化学習処理を実行した後、強化学習実行部１３０は、結果ログを取得する（ステップS130）。次いで、強化学習実行部１３０は、取得された結果ログを結果ログ分析部１４０に入力する。
　また、利用者は、ひな型対応関係をひな型対応関係入力部１２０に入力する（ステップS140）。次いで、ひな型対応関係入力部１２０は、入力されたひな型対応関係を結果ログ分析部１４０に入力する。
　次いで、結果ログ分析部１４０は、入力されたひな型対応関係を用いて、入力された結果ログを分析する（ステップS150）。次いで、結果ログ分析部１４０は、分析結果を行動ごとにまとめ、まとめられた内容を分析結果出力部１５０に入力する。
　次いで、分析結果出力部１５０は、入力された内容を最終的な分析結果として出力する（ステップS160）。分析結果を出力した後、依存関係検出装置１００は、分析結果出力処理を終了する。
　次に、図７に示す分析結果出力処理を構成するステップS120の強化学習処理を図８を参照して説明する。図８は、第１の実施形態の強化学習実行部１３０による強化学習処理の動作を示すフローチャートである。
　強化学習処理が開始されると、強化学習実行部１３０は、最初に検証環境２００を初期化する（ステップS121）。
　次いで、強化学習実行部１３０は、強化学習タスク定義に指定されている探索アルゴリズムに従って実行対象の行動を決定する（ステップS122）
　次いで、強化学習実行部１３０は、自動化ツールが提供するひな型を用いて、ステップS122で決定された行動を検証環境２００で実行する（ステップS123）。
　次いで、強化学習実行部１３０は、行動が実行された後の検証環境２００に構築されたITシステムの状態を確認する（ステップS124）。次いで、強化学習実行部１３０は、強化学習タスク定義に指定されている報酬関数を用いて報酬を計算する（ステップS125）。
　次いで、強化学習実行部１３０は、ステップS122で決定された行動、ステップS124で確認された状態、およびステップS125で計算された報酬を基に、強化学習タスク定義に指定されている学習アルゴリズムに従って学習処理を実行する（ステップS126）。
　ステップS126では、例えばITシステムの配備（デプロイ）の手順の学習処理が実行される。学習される配備の手順は、行動が実行された後の検証環境２００に構築されたITシステムの状態を前提とする手順である。
　次いで、強化学習実行部１３０は、ステップS122～ステップS126の各処理結果を結果ログに記録する。すなわち、強化学習実行部１３０は、結果ログを更新する（ステップS127）。
　次いで、強化学習実行部１３０は、ステップS124で確認された現在のITシステムの状態が終了状態に該当するか否かを確認する（ステップS128）。なお、終了状態は、強化学習タスクごとに定義される。終了状態は、通常強化学習タスク定義に記述される。
　現在のITシステムの状態が終了状態であれば（ステップS128におけるYes ）、強化学習実行部１３０は、強化学習処理を終了する。
　現在のITシステムの状態が終了状態でなければ（ステップS128におけるNo）、強化学習実行部１３０は、ステップS122へ戻り強化学習処理を継続して実行する。
　強化学習実行部１３０は、通常図８に示す処理全体をさらに複数回繰り返すことによって強化学習処理を行う。処理全体が複数回繰り返されて取得される学習ログは、エピソードと呼ばれる各回の学習ログが結合されたログデータである。
［第１の実施形態の効果］
　本実施形態の依存関係検出装置１００は、自動化ツールによるITシステムのデプロイで使用されるひな型に定義される、十分な検証が困難であるシステムの状態と操作との間の依存関係を、人手を介さずに検証する機能を提供する。
　具体的には、本実施形態の依存関係検出装置１００は、依存関係の検証対象の自動化ツールが提供するひな型を使用して、ITシステムの変更手順を学習する強化学習タスクを実行する。強化学習タスクを実行する強化学習実行部１３０は、学習中に様々な条件下でひな型に定義された操作を実行する。
　次いで、強化学習実行部１３０は、操作が実行された結果を結果ログに記録する。結果ログは、検証対象の自動化ツールが提供するひな型に関して考えられる多くの検証対象の操作の中から選択された、実践的な状況下での操作に対する検証結果を示す。
　なお、強化学習タスクが実行される際、本実施形態の依存関係検出装置１００では、事前に一般的な強化学習タスクにおける定義だけでなく、ひな型と、状態と、行動との対応関係を示すひな型対応関係も指定される。一般的な強化学習タスクにおける定義は、例えば状態定義、行動定義、学習アルゴリズムの定義、探索方法の定義、および報酬関数の定義である。
　結果ログ分析部１４０は、ひな型対応関係を示す情報と結果ログとを基に意図された操作が任意の状態を予想通りの状態へ遷移させているか否かを分析することによって、ひな型に定義された依存関係の過不足が無いか確認する。次いで、分析結果出力部１５０は、確認された結果を利用者に提示する。
　よって、本実施形態の依存関係検出装置１００の利用者は、自動化ツールが提供するひな型の検証内容を手動で決定、実行、および評価することなく、ひな型に定義される操作の依存関係を検出できる。
＝＝第２の実施の形態＝＝
［構成の説明］
　次に、本発明による依存関係検出装置の第２の実施形態を、図面を参照して説明する。図９は、本発明による依存関係検出装置の第２の実施形態の構成例を示すブロック図である。
　図９に示すように、本実施形態の依存関係検出装置１０１は、強化学習タスク定義入力部１１０と、強化学習実行部１３０と、結果ログ分析部１４０と、分析結果出力部１５０と、ひな型対応関係生成部１６０とを備える。
　第１の実施形態の依存関係検出装置１００と異なり、本実施形態の依存関係検出装置１０１は、ひな型対応関係入力部１２０の代わりにひな型対応関係生成部１６０を備える。ひな型対応関係生成部１６０以外の本実施形態の依存関係検出装置１０１の構成は、第１の実施形態の依存関係検出装置１００の構成と同様である。
　図１に示すように、第１の実施形態の依存関係検出装置１００にはひな型対応関係が外部から入力される。本実施形態では、ひな型対応関係生成部１６０が強化学習タスク定義入力部１１０から入力された強化学習タスク定義を基にひな型対応関係を生成する。
　ひな型対応関係生成部１６０は、行動、状態、およびひな型の名称を基に事前に定義されたルールに従ってひな型対応関係を生成する。本実施形態の強化学習タスク定義の内容は、ひな型対応関係生成部１６０が用いるルールが適用可能な内容であることが求められる。
［動作の説明］
　以下、本実施形態の依存関係検出装置１０１の分析結果を出力する動作を図１０を参照して説明する。図１０は、第２の実施形態の依存関係検出装置１０１による分析結果出力処理の動作を示すフローチャートである。
　最初に、利用者は、強化学習タスク定義を強化学習タスク定義入力部１１０に入力する（ステップS210）。次いで、強化学習タスク定義入力部１１０は、入力された強化学習タスク定義を強化学習実行部１３０とひな型対応関係生成部１６０に入力する。
　次いで、ひな型対応関係生成部１６０は、入力された強化学習タスク定義を基にひな型対応関係を生成する（ステップS240）。次いで、ひな型対応関係生成部１６０は、生成されたひな型対応関係を結果ログ分析部１４０に入力する。
　ステップS220～ステップS230の各処理は、図７に示すステップS120～ステップS130の各処理とそれぞれ同様である。また、ステップS250～ステップS260の各処理は、図７に示すステップS150～ステップS160の各処理とそれぞれ同様である。
［第２の実施形態の効果］
　ひな型対応関係の生成ルールを理解した利用者は、本実施形態の依存関係検出装置１０１に第１の実施形態よりも簡素な内容を入力するだけで、依存関係の分析結果を得ることができる。
　以下、各実施形態の依存関係検出装置のハードウェア構成の具体例を説明する。図１１は、本発明による依存関係検出装置のハードウェア構成例を示す説明図である。
　図１１に示す依存関係検出装置は、ＣＰＵ（Central Processing Unit ）１１と、主記憶部１２と、通信部１３と、補助記憶部１４とを備える。また、ユーザが操作するための入力部１５や、ユーザに処理結果または処理内容の経過を提示するための出力部１６を備える。
　依存関係検出装置は、図１１に示すＣＰＵ１１が各構成要素が有する機能を提供するプログラムを実行することによって、ソフトウェアにより実現される。
　すなわち、ＣＰＵ１１が補助記憶部１４に格納されているプログラムを、主記憶部１２にロードして実行し、依存関係検出装置の動作を制御することによって、各機能がソフトウェアにより実現される。
　なお、図１１に示す依存関係検出装置は、ＣＰＵ１１の代わりにＤＳＰ（Digital Signal Processor）を備えてもよい。または、図１１に示す依存関係検出装置は、ＣＰＵ１１とＤＳＰとを併せて備えてもよい。
　主記憶部１２は、データの作業領域やデータの一時退避領域として用いられる。主記憶部１２は、例えばＲＡＭ（Random Access Memory）である。
　通信部１３は、有線のネットワークまたは無線のネットワーク（情報通信ネットワーク）を介して、周辺機器との間でデータを入力および出力する機能を有する。
　補助記憶部１４は、一時的でない有形の記憶媒体である。一時的でない有形の記憶媒体として、例えば磁気ディスク、光磁気ディスク、ＣＤ－ＲＯＭ（Compact Disk Read Only Memory ）、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory ）、半導体メモリが挙げられる。
　入力部１５は、データや処理命令を入力する機能を有する。入力部１５は、例えばキーボードやマウス等の入力デバイスである。強化学習タスク定義入力部１１０、およびひな型対応関係入力部１２０は、入力部１５で実現される。
　出力部１６は、データを出力する機能を有する。出力部１６は、例えば液晶ディスプレイ装置等の表示装置、またはプリンタ等の印刷装置である。分析結果出力部１５０は、出力部１６で実現される。
　また、図１１に示すように、依存関係検出装置において、各構成要素は、システムバス１７に接続されている。
　補助記憶部１４は、例えば第１の実施形態において、強化学習タスク定義入力部１１０、ひな型対応関係入力部１２０、強化学習実行部１３０、結果ログ分析部１４０、および分析結果出力部１５０を実現するためのプログラムを記憶している。
　また、補助記憶部１４は、例えば第２の実施形態において、強化学習タスク定義入力部１１０、強化学習実行部１３０、結果ログ分析部１４０、およびひな型対応関係生成部１６０を実現するためのプログラムを記憶している。
　なお、依存関係検出装置は、ハードウェアにより実現されてもよい。例えば、依存関係検出装置１００は、内部に図１に示すような機能を実現するＬＳＩ（Large Scale Integration ）等のハードウェア部品が含まれる回路が実装されてもよい。
　また、各構成要素の一部または全部は、汎用の回路（circuitry ）または専用の回路、プロセッサ等やこれらの組み合わせによって実現されてもよい。これらは、単一のチップ（例えば、上記のＬＳＩ）によって構成されてもよいし、バスを介して接続される複数のチップによって構成されてもよい。各構成要素の一部または全部は、上述した回路等とプログラムとの組み合わせによって実現されてもよい。
　各構成要素の一部または全部が複数の情報処理装置や回路等により実現される場合には、複数の情報処理装置や回路等は集中配置されてもよいし、分散配置されてもよい。例えば、情報処理装置や回路等は、クライアントアンドサーバシステム、クラウドコンピューティングシステム等、各々が通信ネットワークを介して接続される形態として実現されてもよい。
　次に、本発明の概要を説明する。図１２は、本発明による依存関係検出装置の概要を示すブロック図である。本発明による依存関係検出装置２０は、構築対象システムの配備を自動で行う自動化ツールが配備で使用するひな型に定義される構築対象システムへの操作と、構築対象システムの構成要素の状態とがそれぞれ定義された強化学習タスク定義を用いて、操作が実行された後の構成要素の状態を前提とする配備の手順を学習する強化学習タスクを実行する実行手段２１（例えば、強化学習実行部１３０）を備える。
　そのような構成により、依存関係検出装置は、規模の比較的大きなひな型における依存関係を容易に検出できる。
　また、依存関係検出装置２０は、ひな型と、ひな型に定義される操作と、操作により構成要素が遷移させられることが予測される状態との対応関係を示す対応関係情報と、操作が実行される前の構成要素の状態および操作が実行された後の構成要素の状態を示す強化学習タスクの実行結果とを基に、自動化ツールがひな型を用いて実行する操作が成立するための条件が存在するか否かを分析する分析手段（例えば、結果ログ分析部１４０）を備えてもよい。
　対応関係情報は、強化学習タスク定義内の行動（操作）と、行動が実行された後に変化する状態とを対応付ける情報である。また、行動の実行に要する手段である自動化ツールで使用されるひな型を特定する情報も有する。
　そのような構成により、依存関係検出装置は、ひな型対応関係を用いて依存関係を容易に検出できる。
　また、分析手段は、強化学習タスクの複数の実行結果を統計的に分析することによって取得された操作が成立するための条件を操作の依存関係として提示してもよい。
　そのような構成により、依存関係検出装置は、依存関係の具体的な内容を提示できる。
　また、操作の依存関係は、操作と構成要素の状態との関係でもよい。
　そのような構成により、依存関係検出装置は、操作が成立するための構成要素の状態を提示できる。
　また、依存関係検出装置２０は、強化学習タスク定義を基に対応関係情報を生成する生成手段（例えば、ひな型対応関係生成部１６０）を備えてもよい。生成手段は、状態定義や行動定義の名称等の特徴に関する所定のルールで強化学習タスク定義を解釈することによって対応関係情報を生成してもよい。
　そのような構成により、依存関係検出装置は、利用者の手間を省くことができる。
　また、実行手段２１は、配備の手順を学習する前に実行される操作を探索アルゴリズムに従って探索してもよい。
　そのような構成により、依存関係検出装置は、ひな型に定義された操作を網羅できる。
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１９年２月６日に出願された日本特許出願２０１９－０１９３７７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　また、上記の実施形態の一部又は全部は、以下の付記のようにも記載されうるが、以下に限られない。
　（付記１）構築対象システムの配備を自動で行う自動化ツールが前記配備で使用するひな型に定義される前記構築対象システムへの操作と、前記構築対象システムの構成要素の状態とがそれぞれ定義された強化学習タスク定義を用いて、前記操作が実行された後の前記構成要素の状態を前提とする前記配備の手順を学習する強化学習タスクを実行する実行手段を備えることを特徴とする依存関係検出装置。
　（付記２）ひな型と、前記ひな型に定義される操作と、前記操作により構成要素が遷移させられることが予測される状態との対応関係を示す対応関係情報と、前記操作が実行される前の前記構成要素の状態および前記操作が実行された後の前記構成要素の状態を示す強化学習タスクの実行結果とを基に、前記自動化ツールが前記ひな型を用いて実行する前記操作が成立するための条件が存在するか否かを分析する分析手段を備える付記１記載の依存関係検出装置。
　（付記３）前記分析手段は、強化学習タスクの複数の実行結果を統計的に分析することによって取得された操作が成立するための条件を前記操作の依存関係として提示する付記２記載の依存関係検出装置。
　（付記４）操作の依存関係は、前記操作と構成要素の状態との関係である付記３記載の依存関係検出装置。
　（付記５）強化学習タスク定義を基に対応関係情報を生成する生成手段を備える付記２から付記４のうちのいずれかに記載の依存関係検出装置。
（付記６）前記生成手段は、状態定義の名称の特徴または行動定義の名称の特徴のいずれかに関する所定のルールで強化学習タスク定義を解釈することによって対応関係情報を生成する付記５記載の依存関係検出装置。
（付記７）前記実行手段は、配備の手順を学習する前に実行される操作を探索アルゴリズムに従って探索する付記１から付記６のうちのいずれかに記載の依存関係検出装置。
　（付記８）構築対象システムの配備を自動で行う自動化ツールが前記配備で使用するひな型に定義される前記構築対象システムへの操作と、前記構築対象システムの構成要素の状態とがそれぞれ定義された強化学習タスク定義を用いて、前記操作が実行された後の前記構成要素の状態を前提とする前記配備の手順を学習する強化学習タスクを実行することを特徴とする依存関係検出方法。
　（付記９）ひな型と、前記ひな型に定義される操作と、前記操作により構成要素が遷移させられることが予測される状態との対応関係を示す対応関係情報と、前記操作が実行される前の前記構成要素の状態および前記操作が実行された後の前記構成要素の状態を示す強化学習タスクの実行結果とを基に、前記自動化ツールが前記ひな型を用いて実行する前記操作が成立するための条件が存在するか否かを分析する付記８記載の依存関係検出方法。
　（付記１０）コンピュータで実行されるときに、構築対象システムの配備を自動で行う自動化ツールが前記配備で使用するひな型に定義される前記構築対象システムへの操作と、前記構築対象システムの構成要素の状態とがそれぞれ定義された強化学習タスク定義を用いて、前記操作が実行された後の前記構成要素の状態を前提とする前記配備の手順を学習する強化学習タスクを実行する依存関係検出プログラムを記録したコンピュータ読み取り可能な記録媒体。
　（付記１１）コンピュータで実行されるときに、ひな型と、前記ひな型に定義される操作と、前記操作により構成要素が遷移させられることが予測される状態との対応関係を示す対応関係情報と、前記操作が実行される前の前記構成要素の状態および前記操作が実行された後の前記構成要素の状態を示す強化学習タスクの実行結果とを基に、前記自動化ツールが前記ひな型を用いて実行する前記操作が成立するための条件が存在するか否かを分析する分析処理を実行する付記１０記載の依存関係検出プログラム。
産業上の利用の可能性
　本発明は、ITシステムを自動で変更するシステム自動変更ツールに好適に適用される。
１１　ＣＰＵ
１２　主記憶部
１３　通信部
１４　補助記憶部
１５　入力部
１６　出力部
１７　システムバス
２０、１００、１０１　依存関係検出装置
２１　実行手段
１１０　強化学習タスク定義入力部
１２０　ひな型対応関係入力部
１３０　強化学習実行部
１４０　結果ログ分析部
１５０　分析結果出力部
１６０　ひな型対応関係生成部
２００　検証環境

Claims (11)

  1. 　構築対象システムの配備を自動で行う自動化ツールが前記配備で使用するひな型に定義される前記構築対象システムへの操作と、前記構築対象システムの構成要素の状態とがそれぞれ定義された強化学習タスク定義を用いて、前記操作が実行された後の前記構成要素の状態を前提とする前記配備の手順を学習する強化学習タスクを実行する実行手段を備える
    　ことを特徴とする依存関係検出装置。
  2. 　ひな型と、前記ひな型に定義される操作と、前記操作により構成要素が遷移させられることが予測される状態との対応関係を示す対応関係情報と、前記操作が実行される前の前記構成要素の状態および前記操作が実行された後の前記構成要素の状態を示す強化学習タスクの実行結果とを基に、前記自動化ツールが前記ひな型を用いて実行する前記操作が成立するための条件が存在するか否かを分析する分析手段を備える
    　請求項１記載の依存関係検出装置。
  3. 　前記分析手段は、強化学習タスクの複数の実行結果を統計的に分析することによって取得された操作が成立するための条件を前記操作の依存関係として提示する
    　請求項２記載の依存関係検出装置。
  4. 　操作の依存関係は、前記操作と構成要素の状態との関係である
    　請求項３記載の依存関係検出装置。
  5. 　強化学習タスク定義を基に対応関係情報を生成する生成手段を備える
    　請求項２から請求項４のうちのいずれか１項に記載の依存関係検出装置。
  6. 前記生成手段は、状態定義の名称の特徴または行動定義の名称の特徴のいずれかに関する所定のルールで強化学習タスク定義を解釈することによって対応関係情報を生成する
    　請求項５記載の依存関係検出装置。
  7. 前記実行手段は、配備の手順を学習する前に実行される操作を探索アルゴリズムに従って探索する
    　請求項１から請求項６のうちのいずれか１項に記載の依存関係検出装置。
  8. 　構築対象システムの配備を自動で行う自動化ツールが前記配備で使用するひな型に定義される前記構築対象システムへの操作と、前記構築対象システムの構成要素の状態とがそれぞれ定義された強化学習タスク定義を用いて、前記操作が実行された後の前記構成要素の状態を前提とする前記配備の手順を学習する強化学習タスクを実行する
    　ことを特徴とする依存関係検出方法。
  9. 　ひな型と、前記ひな型に定義される操作と、前記操作により構成要素が遷移させられることが予測される状態との対応関係を示す対応関係情報と、前記操作が実行される前の前記構成要素の状態および前記操作が実行された後の前記構成要素の状態を示す強化学習タスクの実行結果とを基に、前記自動化ツールが前記ひな型を用いて実行する前記操作が成立するための条件が存在するか否かを分析する
    　請求項８記載の依存関係検出方法。
  10. 　コンピュータで実行されるときに、
    　構築対象システムの配備を自動で行う自動化ツールが前記配備で使用するひな型に定義される前記構築対象システムへの操作と、前記構築対象システムの構成要素の状態とがそれぞれ定義された強化学習タスク定義を用いて、前記操作が実行された後の前記構成要素の状態を前提とする前記配備の手順を学習する強化学習タスクを実行する
    　依存関係検出プログラム
    　を記録したコンピュータ読み取り可能な記録媒体。
  11. 　コンピュータで実行されるときに、
    　ひな型と、前記ひな型に定義される操作と、前記操作により構成要素が遷移させられることが予測される状態との対応関係を示す対応関係情報と、前記操作が実行される前の前記構成要素の状態および前記操作が実行された後の前記構成要素の状態を示す強化学習タスクの実行結果とを基に、前記自動化ツールが前記ひな型を用いて実行する前記操作が成立するための条件が存在するか否かを分析する分析処理を実行する
    　請求項１０記載の依存関係検出プログラム。
PCT/JP2019/045987 2019-02-06 2019-11-25 依存関係検出装置および依存関係検出方法 WO2020161994A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/428,173 US20220092476A1 (en) 2019-02-06 2019-11-25 Dependence relationship detection device and dependence relationship detection method
JP2020570381A JP7215501B2 (ja) 2019-02-06 2019-11-25 依存関係検出装置および依存関係検出方法

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019019377 2019-02-06
JP2019-019377 2019-02-06

Publications (1)

Publication Number Publication Date
WO2020161994A1 true WO2020161994A1 (ja) 2020-08-13

Family

ID=71948102

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/045987 WO2020161994A1 (ja) 2019-02-06 2019-11-25 依存関係検出装置および依存関係検出方法

Country Status (3)

Country Link
US (1) US20220092476A1 (ja)
JP (1) JP7215501B2 (ja)
WO (1) WO2020161994A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102507253B1 (ko) * 2022-09-01 2023-03-08 주식회사 애자일소다 사용자 데이터 기반의 물체 위치 최적화를 위한 강화학습 장치

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10901731B2 (en) * 2018-05-11 2021-01-26 Jpmorgan Chase Bank, N.A. Software development workbench

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018083977A1 (ja) * 2016-11-01 2018-05-11 日本電気株式会社 システム構築支援装置、方法およびプログラム

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018083977A1 (ja) * 2016-11-01 2018-05-11 日本電気株式会社 システム構築支援装置、方法およびプログラム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
NAKANOYA, MANABU: "Reinforcement learning based automated process generation for virtual network update", IEICE TECHNICAL REPORT, vol. 117, no. 305, 9 November 2017 (2017-11-09), pages 63 - 68 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102507253B1 (ko) * 2022-09-01 2023-03-08 주식회사 애자일소다 사용자 데이터 기반의 물체 위치 최적화를 위한 강화학습 장치

Also Published As

Publication number Publication date
JP7215501B2 (ja) 2023-01-31
JPWO2020161994A1 (ja) 2021-12-23
US20220092476A1 (en) 2022-03-24

Similar Documents

Publication Publication Date Title
US10438132B2 (en) Machine for development and deployment of analytical models
EP3182280B1 (en) Machine for development of analytical models
JP4961123B2 (ja) 自動化されたテストケース実行に関して疎結合された自動化されたテストケース検証
US9037595B2 (en) Creating graphical models representing control flow of a program manipulating data resources
US20230137131A1 (en) Computing system for training, deploying, executing, and updating machine learning models
JP6835972B2 (ja) データ統合ワークフローエディタ中に構築されたテストケース生成器
US7536678B2 (en) System and method for determining the possibility of adverse effect arising from a code change in a computer program
US20140365990A1 (en) Software evaluation device and method
WO2020161994A1 (ja) 依存関係検出装置および依存関係検出方法
CN108701057B (zh) 用于供应部署管道的计算机可读存储介质、系统和方法
CN112162931A (zh) 提测方法、系统、电子设备及存储介质
JP2009169828A (ja) テストケース生成装置及びテストケース生成プログラム
US20220318129A1 (en) Automated code checking
US20230141619A1 (en) Generation device, method of generation, and computer program product
US9317273B2 (en) Information processing apparatus and information processing method
US20090094583A1 (en) System and method for testing computer programs
JP2007226526A (ja) 情報処理装置、情報処理方法、プログラム及び記憶媒体
JP2021117666A (ja) コード検査ツール、コード検査方法
KR102519639B1 (ko) 코드 점검 인터페이스 제공 방법, 그리고 이를 구현하기 위한 장치
JP2020144509A (ja) 自動コード生成方法、及び自動コード生成プログラム
CN116149707B (zh) 分布式系统的升级风险检测和规避方法及装置
TWI710896B (zh) 整合雲端系統的方法及雲端系統
JP7309099B2 (ja) 等価性検査システムおよび等価性検査プログラム
US20240061765A1 (en) Distributed debugging environment for a continuous integration pipeline
JP7328922B2 (ja) 設定装置、設定方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19914233

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020570381

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 19914233

Country of ref document: EP

Kind code of ref document: A1