WO2021140542A1 - 機械学習装置、デザインレビュー検証装置、機械学習方法 - Google Patents

機械学習装置、デザインレビュー検証装置、機械学習方法 Download PDF

Info

Publication number
WO2021140542A1
WO2021140542A1 PCT/JP2020/000064 JP2020000064W WO2021140542A1 WO 2021140542 A1 WO2021140542 A1 WO 2021140542A1 JP 2020000064 W JP2020000064 W JP 2020000064W WO 2021140542 A1 WO2021140542 A1 WO 2021140542A1
Authority
WO
WIPO (PCT)
Prior art keywords
verification
information
design review
machine learning
learning
Prior art date
Application number
PCT/JP2020/000064
Other languages
English (en)
French (fr)
Inventor
一平 西本
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to JP2021569611A priority Critical patent/JP7204012B2/ja
Priority to PCT/JP2020/000064 priority patent/WO2021140542A1/ja
Publication of WO2021140542A1 publication Critical patent/WO2021140542A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00—Administration; Management
    • G06Q10/06—Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling

Definitions

  • This disclosure relates to a machine learning device, a design review verification device, and a machine learning method.
  • design documents, source code, test report, etc. are created as deliverables.
  • a design review verifies whether or not many deliverables of each process are correctly created by the developer.
  • design review various methods such as inspection, walk-through, team review, round-robin review, pass-around, peer review, etc. are used. In these design reviews, it is often verified by a meeting method by a plurality of people including experts whether or not the verification criteria set for each deliverable are satisfied. For this reason, in design reviews, the cumulative work time is usually long. Therefore, various techniques have been proposed for design review (for example, Patent Document 1 and Patent Document 2).
  • Automotive SPICE registered trademark
  • developers carry out activities to ensure bidirectional traceability by linking the contents of change requests to multiple components, review the feasibility of change requests, and ensure the consistency of multiple components. It is required to carry out activities. Ensuring consistency is confirmed by experts according to verification criteria.
  • the confirmation method by an expert often depends on the skill of the expert. In order to confirm in a limited time, the importance of the change should be set, but this also depends on the skill of the expert. Also, it is difficult to review all the components associated by bidirectional traceability within a limited time.
  • the present disclosure has been made in view of the above-mentioned problems, and provides a technique capable of improving the accuracy of the achievement status such as the achievement level in the verification results of a plurality of constituent items.
  • the purpose is a technique capable of improving the accuracy of the achievement status such as the achievement level in the verification results of a plurality of constituent items.
  • the machine learning device includes verification standard information indicating verification criteria of a plurality of components subject to design review of software development, and two or more configurations of the plurality of components that are traceably associated with each other.
  • An acquisition unit that acquires a state variable including a functional element derived from an item and verification result information indicating the verification results of the plurality of constituent items, and an acquisition unit that extracts and acquires from the verification result information based on the verification reference information.
  • a learning unit for learning the achievement status in the verification results of the plurality of constituent items is provided based on the determination data and the data set associated with the state variable.
  • the achievement status in the verification results of a plurality of constituent items is learned based on the data set in which the judgment data and the state variables are associated with each other. With such a configuration, it is possible to improve the accuracy of the achievement status in the verification results of a plurality of constituent items.
  • FIG. It is a block diagram which shows an example of the structure of the design review achievement situation prediction apparatus which concerns on Embodiment 1.
  • FIG. It is a flowchart which shows an example of the learning process of the design review achievement situation prediction apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows an example of the state variable which concerns on Embodiment 1.
  • FIG. It is a figure for demonstrating learning of the design review achievement situation prediction apparatus which concerns on Embodiment 1.
  • FIG. It is a figure for demonstrating learning of the design review achievement situation prediction apparatus which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows an example of the structure of the design review achievement situation prediction apparatus which concerns on Embodiment 1.
  • FIG. It is a figure which shows an example of the design review minutes information which concerns on Embodiment 1.
  • FIG. It is a figure which shows an example of the design review achievement status information which concerns on Embodiment 1.
  • FIG. It is a block diagram which shows the hardware structure of the machine learning apparatus which concerns on other modification. It is a block diagram which shows the hardware structure of the machine learning apparatus which concerns on other modification.
  • FIG. 1 is a block diagram showing an example of the configuration of a design review achievement status prediction device (system) which is a design review verification device according to the first embodiment.
  • FIG. 1 mainly illustrates the configuration of the design review achievement status prediction device related to learning.
  • the design review achievement status prediction device of FIG. 1 includes a management system component registration terminal 101, a technical component registration terminal 201, a traceability registration terminal 301, and a machine learning device 401 having a machine learning function.
  • the technical component registration terminal 201 is abbreviated as, for example, the requirement information unit 202, the design information unit 203, the program information unit 204, and the test information unit 205 (hereinafter, when these are not distinguished, they are abbreviated as "information units 202 to 205". May also include).
  • the technical component registration terminal 201 may include at least one of the information units 202 to 205.
  • the technical component registration terminals 201, and eventually the information units 202 to 205, include component information 206 including a plurality of components that are subject to design review of software development, and verification result information indicating verification results of the plurality of components. 207 is registered.
  • component information 206 including a plurality of components that are subject to design review of software development, and verification result information indicating verification results of the plurality of components.
  • 207 is registered.
  • the constituent items for example, deliverables such as design documents, source codes, and test reports are used.
  • trace information that associates two or more constituent items in a traceable manner among the plurality of constituent items is attached to the constituent item information 206. This trace information defines functional elements derived from two or more traceable components of the plurality of components.
  • the management system component registration terminal 101 includes, for example, the development plan information unit 102. Verification standard information 103 indicating verification criteria for a plurality of constituent items is registered in the management system component registration terminal 101 and eventually the development plan information unit 102.
  • the traceability registration terminal 301 includes, for example, the traceability information unit 302.
  • the traceability information 303 and the importance information 304 are registered in the traceability registration terminal 301 and eventually the traceability information unit 302. Trace information 303 is attached with trace information as in the case of component information 206.
  • the importance information 304 includes the importance of the functional element.
  • the machine learning device 401 includes, for example, a verification standard extraction unit 402, a verification result extraction unit 403, a functional element extraction unit 404, and a learning unit 405.
  • the verification standard extraction unit 402, the verification result extraction unit 403, and the functional element extraction unit 404 function as acquisition units.
  • This acquisition unit acquires the verification reference information 103, the state variable including the functional element defined by the trace information, and the verification result information 207.
  • the learning unit 405 creates a data set in which the determination data extracted from the verification result information 207 based on the verification reference information 103 and the state variables are associated (combined) with each other. Then, the learning unit 405 learns the achievement status in the verification results of the plurality of constituent items that are the targets of the design review (hereinafter, may be referred to only as “achievement status”) based on the created data set.
  • the design review achievement status prediction device is configured so that the learning results of the learning unit 405 can be utilized. Specifically, the design review achievement status prediction device predicts (creates) achievement status prediction information 407 indicating the achievement status of the current state variable based on the current state variable and the learning result of the learning unit 405. It is configured in.
  • This achievement status prediction information 407 represents the status of completeness of the verification results of the design review.
  • the achievement status prediction information 407 according to the first embodiment is information indicating the degree of achievement of the design review of the verification results of the respective information units 202 to 205 with respect to the current state variable, or the verification results of the respective information units 202 to 205. Includes pass / fail information.
  • the degree of achievement of design review includes the degree of numerical achievement and the degree of qualitative achievement.
  • the numerical achievement degree is, for example, the ratio between the achievement value and the target value.
  • the qualitative degree of achievement is, for example, the ratio of the number of achieved items to the total number of target items. Either the maximum value or the minimum value of the design review achievement may be limited. Further, the degree of achievement of the design review may be a continuous quantity or a discrete quantity.
  • the information indicating the pass / fail of the verification results of the respective information units 202 to 205 may be a construction method indicating whether or not the verification results are in a normal state.
  • design review achievement status prediction device for learning to predict achievement status prediction information 407 for each information unit 202 to 205 of the technical component registration terminal 201 will be described.
  • the design review achievement status prediction device according to the first embodiment can be applied to any other technical component registration terminal similar to the technical component registration terminal 201. ..
  • the management system component registration terminal 101 and eventually the development plan information unit 102, is provided with, for example, a project development plan including a development system and a skill map, a configuration management plan, a problem-solving management plan, and a change request management plan.
  • the verification plan including the verification standard information 103 are registered.
  • the verification reference information 103 is included in the document information of the management system constituent items, and the technical system configuration for verifying the plurality of components registered in the technical system component registration terminal 201. Includes item verification criteria.
  • the component item information 206 and the verification result information 207 are registered in the technical component registration terminal 201, and by extension, the information units 202 to 205.
  • the component item information 206 includes the requirement specifications presented by the customer and the deliverables created in each process of software development.
  • the software development process includes, for example, system design, software design, detailed software design, program production, unit test, software test, system test, and the like.
  • the deliverable includes, for example, a design document, a source code, a test specification, a test report, and the like, and is used as a plurality of constituent items.
  • a plurality of trace identifiers are assigned to each of the plurality of constituent items.
  • the plurality of trace IDs include a requirement ID assigned to a requirement specification, a design ID assigned to a design document, a program ID assigned to a program, a test ID assigned to a test specification and a test report, and the like.
  • Each trace ID makes it possible to identify the component to which each trace ID is assigned.
  • Trace information is attached to each of the multiple trace IDs.
  • the trace information is information for associating the constituent items with each other so that the trace can be performed between the constituent items to which the trace ID attached with the trace information is assigned.
  • the verification result information 207 shows the verification results of a plurality of constituent items.
  • the verification result information 207 is included in the document information of the technical component.
  • ⁇ Traceability registration terminal 301> The traceability information 303 and the importance information 304 are registered in the traceability registration terminal 301 and eventually the traceability information unit 302.
  • Traceability information 303 includes a plurality of trace IDs. Trace information is attached to the plurality of trace IDs of the traceability information 303 in the same manner as the plurality of trace IDs of the component information 206.
  • the trace information of the traceability information 303 is a component item and another component item so that the trace information can be traced between the component items of each information unit 202 to 205 and other component items created by the development process or the like. Information that associates with.
  • the component item and the other component items are used as two or more component items from which the functional elements are derived based on the trace information of the traceability information 303. It is desirable that the other constituent items include the constituent items of at least one process upstream and downstream of the constituent items of the respective information units 202 to 205, but they may not be included. Further, the traceability information 303 may include a trace ID to which the trace information is not attached.
  • the importance information 304 includes the importance of the trace.
  • the importance of the trace for example, the number of trace changes or the number of lines of code is used.
  • the importance of the trace tends to be the same as the number of trace changes and the number of code lines, and can be treated in substantially the same way.
  • the verification standard extraction unit 402 extracts the verification standard information 103 from the management system component registration terminal 101.
  • the verification standard extraction unit 402 may accept the insufficient verification standard information 103 by manual registration. Further, the verification standard extraction unit 402 may acquire the verification standard information 103 when the network connection between the machine learning device 401 and the management system component registration terminal 101 (terminal) is started.
  • the verification result extraction unit 403 extracts the verification result information 207 from the information units 202 to 205 of the technical component registration terminal 201 based on the verification standard information 103 extracted by the verification standard extraction unit 402. In this way, the verification result extraction unit 403 acquires the determination data by extracting the verification result information 207 based on the verification reference information 103.
  • the determination data is, for example, the verification result information of the constituent items of the verification result information 207, which is the target of the verification criteria of the verification reference information 103.
  • the functional element extraction unit 404 extracts the component item information 206 of the technical component registration terminal 201 and the traceability information 303 of the traceability registration terminal 301. Then, the functional element extraction unit 404 extracts two or more components traceably associated with the trace information associated with the component information 206 and the traceability information 303, and extracts the two or more components from the two or more components. Extract the derived functional elements. Then, the functional element extraction unit 404 generates a state variable including the extracted functional element. When the functional element extraction unit 404 is configured to extract the importance of the functional element from the importance of the trace of the importance information 304 as in the first embodiment, the functional element extraction unit 404 , Generates a state variable containing the functional element and the importance of the functional element.
  • the verification result extraction unit 403 outputs the determination data to the learning unit 405, and the functional element extraction unit 404 outputs the state variable to the learning unit 405.
  • the functional element extraction unit 404 may output a state variable including some functional elements to the learning unit 405 instead of a state variable including all the functional elements that can be generated by the functional element extraction unit 404, or the functional element. Another state variable generated by other than the extraction unit 404 may also be output to the learning unit 405.
  • the learning unit 405 creates a data set in which the determination data output from the verification result extraction unit 403 and the state variables output from the functional element extraction unit 404 are associated with each other.
  • the learning unit 405 acquires a prediction model (learning result) by learning the achievement status based on the created data set.
  • the design review achievement status prediction device for example, the current state variables (current functional elements) related to the changes due to traceability and the learning unit 405 are learned. Based on the result, the achievement status prediction information 407 is predicted. With such a configuration, it is possible to improve the accuracy of the achievement status such as the achievement level of the design review.
  • FIG. 2 is a flowchart showing an example of the learning process of the machine learning device 401 according to the first embodiment.
  • the functional element extraction unit 404 generates a state variable including the functional element and the importance of the functional element.
  • the functional element referred to here is a functional element derived from a component item that is the subject of a design review, and is, for example, a modified functional element.
  • step S2 the verification standard extraction unit 402 extracts the verification standard information 103 of the constituent items that are the targets of the design review, and the verification result extraction unit 403 extracts the verification result information 207 based on the verification standard information 103. By doing so, the judgment data is acquired.
  • step S3 the learning unit 405 learns the achievement status based on the data set in which the state variable generated in step S1 and the determination data acquired in step S2 are associated with each other, and acquires a prediction model (learning result). To do.
  • FIG. 3 is a diagram showing an example of state variables of a data set.
  • the state variables in FIG. 3 include a functional element 21, a development process 22, a trace ID 23, and a functional element importance 24.
  • the learning unit 405 predicts the achievement status of the functional element similar to the functional element 21 by learning the achievement status based on the data set in which the determination data and the state variable as shown in FIG. 3 are associated with each other.
  • steps S1 to S3 are repeatedly executed, for example, until the learning unit 405 sufficiently learns the achievement status. At this time, it is preferable that the learning unit 405 executes all the operation patterns obtained when the functional elements of the constituent items to be the target of the design review are changed a plurality of times.
  • FIG. 4 is a diagram showing an example of an operation pattern showing the number of changes in functional elements and the number of indications.
  • the operation pattern 11a represents a problem that is converging
  • the operation pattern 11b represents a problem that is difficult to converge.
  • the operation patterns 11a and 11b correspond to the design review quality index. It is preferable that the learning unit 405 performs machine learning based on such a design review quality index. As a result, it is possible to promote learning in which the conditions of achievement status are met.
  • the learning unit 405 performs machine learning for a task of intermediate behavior between motion patterns 11a and 11b, and machine learning for a task of irregular change that cannot be said to be an intermediate behavior. It is preferable that there is no such thing. That is, the learning unit 405 performs machine learning by excluding data that is significantly different from the general tendency that appears in the fluctuation of the design review quality index and data that has a strong dispersion tendency that is not expected to be used as the design review quality index. Is preferable. As a result, the learning of the achievement status can be limited to the characteristic operation, so that the data size can be suppressed.
  • FIG. 5 is a diagram showing a configuration example of a neural network.
  • the learning unit 405 may learn the achievement status according to, for example, a neural network model.
  • the neural network has an input layer containing one neuron x1, x2, x3, ..., Xl and an intermediate including m neurons y1, y2, y3, ..., Ym. It includes a layer (hidden layer) and an output layer containing n neurons z1, z2, z3, ..., Zn.
  • a general-purpose computer or processor may be used for the learning unit 405 that realizes the neural network, as will be described later, but when a large-scale PC cluster or the like is applied, it is possible to perform processing at a higher speed. Is.
  • the neural network learns the achievement status of the information units 202 to 205 related to the achievement status of the verification result of the technical component registration terminal 201.
  • the neural network uses so-called “supervised learning” according to the data set in which the judgment data acquired by the verification result extraction unit 403 and the state variable generated by the functional element extraction unit 404 are associated with each other, and the data set and the achievement status. Learn the relationship (relationship) with. That is, the neural network learns the achievement status of the information units 202 to 205.
  • supervised learning a large number of sets of input data and results (labels, output data) are given to the learning unit 405 to learn the features existing between them and estimate the results from the input data. It is a model. That is, "supervised learning” is learning that inductively acquires the relationship (relationship) between the input data and the result.
  • the learning performed by neural networks is not limited to "supervised learning.”
  • the neural network stores only the judgment data without abnormal verification results, that is, the judgment data data sets in which the verification results of the information units 202 to 205 of the technical component registration terminal 201 normally satisfy the verification criteria. You may. Then, the neural network may learn the achievement status of the information units 202 to 205 by performing so-called "unsupervised learning" on the data set.
  • unsupervised learning means that a large amount of input data is given to the learning unit 405 without giving teacher output data corresponding to the input data, and the input data is compressed, classified, shaped, etc. This is a method for learning how the input data is distributed.
  • “unsupervised learning” for example, clustering that divides the features existing in the data set into similar people is used. In such "unsupervised learning”, it is possible to predict the output by setting some criteria for the result of clustering or the like and allocating the output so as to optimize the criteria.
  • Unsupervised learning is considered to be effective, for example, when the achievement status of the verification results of the information units 202 to 205 of the technical component registration terminal 201 is extremely high.
  • the learning performed by the neural network may be so-called “semi-supervised learning", which targets an intermediate problem setting between “unsupervised learning” and “supervised learning”.
  • this "semi-supervised learning” a set of input data and output data is given to the learning unit 405 for some data, and only input data is given to the learning unit 405 for other data.
  • the prediction model can be obtained by learning the achievement status according to the actual operation status.
  • the achievement status is higher than the achievement status predicted based on the judgment data alone. With accuracy, it is possible to predict the achievement status.
  • the machine learning device 401 outputs the achievement status as the achievement status prediction information 407 from the output layer in response to the input of the determination data (verification result) to the input layer of the data set. Predicts the achievement status prediction information 407.
  • FIG. 6 is a block diagram showing an example of the configuration of the design review achievement status prediction device according to the first embodiment.
  • FIG. 6 mainly illustrates the configuration of the design review achievement status prediction device regarding the utilization of the learning result.
  • the design review achievement status prediction device of FIG. 6 includes a design review analysis device 601 and a verification result display device 801 which is a display device.
  • the machine learning device 401 includes a verification result output unit 406.
  • the design review analyzer 601 includes a voice analysis unit 602, and the voice analysis unit 602 analyzes the voice collected by the sound collection unit 702 of the design review conference 701 and converts the voice into characters. Information 603 is created.
  • FIG. 7 is a diagram showing an example of design review minutes information 603.
  • Design review minutes information 603 corresponds to the current state variable containing the current functional elements derived from the current component (new component).
  • the design review analyzer 601 is configured to be able to acquire the design review minutes information 603 (current state variable) in real time.
  • the design review analyzer 601 outputs the acquired design review minutes information 603 (current state variable) to the verification result output unit 406 of the machine learning device 401.
  • the verification result output unit 406 obtains the design review achievement status information 408 based on the design review minutes information 603 (current state variable) and the learning result of the learning unit 405 (FIG. 1).
  • FIG. 8 is a diagram showing an example of design review achievement status information 408.
  • the design review achievement status information 408 corresponds to the achievement status prediction information 407 (FIG. 1) for the design review minutes information 603 (current state variable).
  • the design review achievement status information 408 includes the design review minutes 31, the development process 32, the trace ID 33, the importance level 34 of the functional element, the design review achievement level 35 which is the achievement status, and the reason. 36 is included.
  • the design review achievement status information 408 including the importance level 34 of the current functional element is generated as shown in FIG.
  • the verification result output unit 406 can quantitatively predict the design review achievement level 35 by setting a ratio to the achievement status of the current state variable (current functional element) according to the importance.
  • a method of dividing the product of individual importance and individual achievement by the total importance is used as in the following equation (1).
  • the following equation (2) is an equation obtained by applying the result of FIG. 8 to the equation (1).
  • the threshold value of the degree of achievement of the design review that is appropriate as the verification result of the design review is derived from, for example, the number of failures that occur in the lower process, or the failure recovery cost and the failure recovery period.
  • the verification result display device 801 includes a verification result display unit 802, and the verification result display unit 802 displays the design review achievement status information 408 obtained by the verification result output unit 406.
  • the person at the design review meeting 701 can confirm the achievement status in real time by viewing the display of the design review achievement status information 408 based on the learning result of the achievement status.
  • the learning of the learning unit 405 is not limited to the above learning.
  • the elapsed time from the acquisition of the determination data by the verification result extraction unit 403 until the verification result of the verification result information 207 used for the determination data achieves the verification standard of the verification reference information 103.
  • the determination data may be weighted based on the length.
  • the learning unit 405 may learn the achievement status based on the weighted determination data.
  • the shorter the elapsed time from the acquisition of the determination data until the verification result of the determination data satisfies the verification criteria the closer the design review tends to be completed. Therefore, if the determination data is weighted so that the achievement status associated with the data set of the determination data having a short elapsed time is high, the above-mentioned achievement status can be effectively learned.
  • the achievement status is learned according to the data set created by performing the above-described processing from the verification result information 207 of one technical component registration terminal 201, but the present invention is not limited to this.
  • the learning unit 405 may learn the achievement status according to the data set created by performing the above-described processing from each of the verification result information 207 of the plurality of technical component registration terminals 201. Further, the learning unit 405 may learn the achievement status by using the verification result information 207 collected by the plurality of technical component registration terminals 201 operating at the same development site. Alternatively, the learning unit 405 may learn the achievement status by using the verification result information 207 collected by the plurality of technical component registration terminals 201 that operate independently at different development sites. Further, the technical component registration terminal 201 that collects the verification result information 207 may be added to the learning target in the middle, or conversely, it may be removed from the learning target.
  • first example there is a method of sharing so that the neural network models are the same.
  • this method for example, there is a method in which a weighting coefficient is set for each network and the difference between the technical component registration terminals 201 is reflected in the transmission of the communication means.
  • a weighting coefficient is set for each network and the difference between the technical component registration terminals 201 is reflected in the transmission of the communication means.
  • a third example is to prepare a database, access it, and load a more valid neural network model to share the state (make it a similar model).
  • the learning result of the learning unit 405 can be shared by a plurality of design review meetings.
  • three examples have been described as a method for performing verification result information 207 of a plurality of technical component registration terminals 201, but methods other than the three examples may be applied.
  • the data set used for learning of the learning unit 405 may include a current data set in which the current state variable is associated with the verification result of the component of the current state variable. That is, the learning unit 405 may relearn the achievement status based on the current data set in which the current state variable is associated with the verification result of the component of the current state variable.
  • the management system component registration terminal 101, the technical component registration terminal 201, and the traceability registration terminal 301 do not have to be configured for each terminal.
  • any two or all of the management system component registration terminal 101, the technical component registration terminal 201, and the traceability registration terminal 301 may be configured by one terminal.
  • the machine learning device 401 may be a digital computer connected to the traceability registration terminal 301 via a network and separate from the technical component registration terminal 201.
  • the machine learning device 401 may be provided in any of the management system component registration terminal 101, the technical component registration terminal 201, and the traceability registration terminal 301.
  • machine learning may be executed by using the processor of the traceability registration terminal 301.
  • the machine learning device 401 may be provided in the cloud server.
  • the above-mentioned acquisition unit (verification standard extraction unit 402, verification result extraction unit 403, functional element extraction unit 404), learning unit 405, and verification result output unit 406 are hereinafter referred to as "acquisition unit and the like".
  • the verification reference extraction unit 402 and the like are realized by the processing circuit 81 shown in FIG. That is, the processing circuit 81 is derived from the verification standard information indicating the verification criteria of the plurality of components subject to the design review of software development, and two or more components that are traceably associated with the plurality of components.
  • the acquisition unit that acquires the state variables that include the functional elements and the verification result information that indicates the verification results of a plurality of components, the judgment data that is extracted from the verification result information based on the verification standard information, and the status.
  • a learning unit 405 for learning the achievement status in the verification results of a plurality of constituent items based on the data set associated with the variable is provided.
  • Dedicated hardware may be applied to the processing circuit 81, or a processor that executes a program stored in the memory may be applied. Examples of the processor include a central processing unit, a processing unit, an arithmetic unit, a microprocessor, a microcomputer, a DSP (Digital Signal Processor), and the like.
  • the processing circuit 81 may be, for example, a single circuit, a composite circuit, a programmed processor, a parallel programmed processor, an ASIC (Application Specific Integrated Circuit), or an FPGA (Field Programmable Gate). Array), or a combination of these.
  • Each of the functions of each part such as the acquisition part may be realized by a circuit in which the processing circuits are dispersed, or the functions of each part may be collectively realized by one processing circuit.
  • the processing circuit 81 When the processing circuit 81 is a processor, the functions of the acquisition unit and the like are realized by combining with software and the like.
  • the software and the like correspond to, for example, software, firmware, or software and firmware.
  • Software and the like are described as programs and stored in memory.
  • the processor 82 applied to the processing circuit 81 realizes the functions of each part by reading and executing the program stored in the memory 83. That is, when the machine learning device 401 is executed by the processing circuit 81, the acquisition unit receives verification standard information indicating verification criteria of a plurality of components that are the targets of a design review of software development, and verification standard information of the plurality of components.
  • a step of acquiring a state variable including functional elements derived from two or more components associated with traceability and verification result information indicating verification results of a plurality of components, and a learning unit 405 are used as verification criteria.
  • a memory 83 for storing a program to be executed is provided. In other words, it can be said that this program causes the computer to execute the procedure or method of the acquisition unit or the like.
  • the memory 83 is a non-volatile or non-volatile memory such as a RAM (RandomAccessMemory), a ROM (ReadOnlyMemory), a flash memory, an EPROM (ErasableProgrammableReadOnlyMemory), or an EEPROM (ElectricallyErasableProgrammableReadOnlyMemory). Volatile semiconductor memory, HDD (Hard Disk Drive), magnetic disk, flexible disk, optical disk, compact disk, mini disk, DVD (Digital Versatile Disc), its drive device, etc., or any storage medium that will be used in the future. You may.
  • RAM RandomAccessMemory
  • ROM ReadOnlyMemory
  • flash memory an EPROM (ErasableProgrammableReadOnlyMemory), or an EEPROM (ElectricallyErasableProgrammableReadOnlyMemory).
  • Volatile semiconductor memory Volatile semiconductor memory, HDD (Hard Disk Drive), magnetic disk, flexible disk, optical disk,
  • each function of the acquisition unit, etc. is realized by either hardware or software.
  • the present invention is not limited to this, and a configuration may be configured in which a part of the acquisition unit or the like is realized by dedicated hardware and another part is realized by software or the like.
  • the function is realized by a processing circuit 81 as dedicated hardware, an interface, a receiver, and the like, and for other parts, the processing circuit 81 as a processor 82 reads and executes a program stored in the memory 83. It is possible to realize the function by doing so.
  • the processing circuit 81 can realize each of the above-mentioned functions by hardware, software, or a combination thereof.
  • 101 management system component registration terminal 103 verification standard information, 201 technical component registration terminal, 207 verification result information, 301 traceability registration terminal, 303 traceability information, 304 importance information, 401 machine learning device, 402 verification standard extraction unit , 403 Verification result extraction unit, 404 Functional element extraction unit, 405 Learning unit, 601 Design review analyzer, 603 Design review minutes information.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

複数の構成品目の検証結果における達成状況の正確性を高めることが可能な技術を提供することを目的とする。ソフトウェア開発のデザインレビューの対象である複数の構成品目の検証基準を示す検証基準情報と、複数の構成品目のうち、トレース可能に関連付けられた２以上の構成品目から導き出される機能要素を含む状態変数と、検証結果情報とを取得し、検証基準情報に基づいて検証結果情報から抽出して取得される判定データと、状態変数とを関連付けたデータセットに基づいて、複数の構成品目の検証結果における達成状況を学習する。

Description

機械学習装置、デザインレビュー検証装置、機械学習方法
　本開示は、機械学習装置、デザインレビュー検証装置、機械学習方法に関する。
　ソフトウェア開発の各工程においては、設計書、ソースコード、試験成績書等が成果物として作成される。ソフトウェア開発では、各工程の多数の成果物が正しく作成されているか否かが、デザインレビューによって開発者により検証される。
　デザインレビューでは、インスペクション、ウォークスルー、チームレビュー、ラウンドロビンレビュー、パスアラウンド、ピアレビュー等の様々な方式が用いられる。これらのデザインレビューでは、各成果物で設定されている検証基準を満たしているか否かが、有識者を含む複数人による会議方式で検証されることが多い。このため、デザインレビューでは、通常、累積作業時間が長くなる。そこで、デザインレビューに関して様々な技術が提案されている（例えば特許文献１及び特許文献２）。
特開２０１８－５８０２号公報 特開２０１７－１８８０３０号公報
　ところで、Ａｕｔｏｍｏｔｉｖｅ　ＳＰＩＣＥ（登録商標）は、車両システム開発向けのプロセス改善のための規格である。Ａｕｔｏｍｏｔｉｖｅ　ＳＰＩＣＥでは、開発者が、複数の構成品目に変更依頼の内容を結び付けて双方向トレーサビリティを確保する活動を行い、変更依頼の実現可能性をレビューして複数の構成品目の一貫性を確保する活動を行うことが求められる。一貫性の確保は、検証基準に従って、有識者によって確認される。しかしながら、有識者による確認方法は、有識者のスキルに依存する要素が多い。なお、限られた時間で確認するためには変更点の重要度を設定すればよいが、これもまた有識者のスキルに依存している。また、双方向トレーサビリティによって関連付けられた構成品目を限られた時間内で全てレビューすることは困難である。
　さらに、近年、ソフトウェア開発の複雑化や高度化に伴って、障害につながる要因も複雑化しているため、双方向トレーサビリティを活用して、かつ有識者によるデザインレビューを実施しても構成品目の検証結果における達成度の予知も難しくなってきている。すなわち、スキルを有する一部の有識者が、一定の検証基準に従って達成度を予知する方法であっても、実際の状況に適切に対応できず、対応できたとしても正確性を欠くようになってきている。特に、車両などに用いられるソフトウェアを開発するためのデザインレビューでは、過去の開発情報に基づいて継続的に仕様をアップグレードするため、上記の問題が顕在化している。
　そこで、本開示は、上記のような問題点を鑑みてなされたものであり、複数の構成品目の検証結果における達成度などの達成状況の正確性を高めることが可能な技術を提供することを目的とする。
　本開示に係る機械学習装置は、ソフトウェア開発のデザインレビューの対象である複数の構成品目の検証基準を示す検証基準情報と、前記複数の構成品目のうち、トレース可能に関連付けられた２以上の構成品目から導き出される機能要素を含む状態変数と、前記複数の構成品目の検証結果を示す検証結果情報とを取得する取得部と、前記検証基準情報に基づいて前記検証結果情報から抽出して取得される判定データと、前記状態変数とを関連付けたデータセットに基づいて、前記複数の構成品目の検証結果における達成状況を学習する学習部とを備える。
　本開示によれば、判定データと状態変数とを関連付けたデータセットに基づいて、複数の構成品目の検証結果における達成状況を学習する。このような構成によれば、複数の構成品目の検証結果における達成状況の正確性を高めることができる。
　本開示の目的、特徴、態様及び利点は、以下の詳細な説明と添付図面とによって、より明白となる。
実施の形態１に係るデザインレビュー達成状況予知装置の構成の一例を示すブロック図である。 実施の形態１に係るデザインレビュー達成状況予知装置の学習処理の一例を示すフローチャートである。 実施の形態１に係る状態変数の一例を示す図である。 実施の形態１に係るデザインレビュー達成状況予知装置の学習を説明するための図である。 実施の形態１に係るデザインレビュー達成状況予知装置の学習を説明するための図である。 実施の形態１に係るデザインレビュー達成状況予知装置の構成の一例を示すブロック図である。 実施の形態１に係るデザインレビュー議事録情報の一例を示す図である。 実施の形態１に係るデザインレビュー達成状況情報の一例を示す図である。 その他の変形例に係る機械学習装置のハードウェア構成を示すブロック図である。 その他の変形例に係る機械学習装置のハードウェア構成を示すブロック図である。
　＜実施の形態１＞
　＜学習に関する構成＞
　図１は、本実施の形態１に係るデザインレビュー検証装置であるデザインレビュー達成状況予知装置（システム）の構成の一例を示すブロック図である。この図１には、デザインレビュー達成状況予知装置のうち学習に関する構成が主に図示されている。図１のデザインレビュー達成状況予知装置は、管理系構成品目登録端末１０１と、技術系構成品目登録端末２０１と、トレーサビリティ登録端末３０１と、機械学習機能を有する機械学習装置４０１とを備える。
　まず、デザインレビュー達成状況予知装置の概要について説明する。技術系構成品目登録端末２０１は、例えば、要件情報部２０２、設計情報部２０３、プログラム情報部２０４及び試験情報部２０５（以下、これらを区別しない場合には「情報部２０２～２０５」と略記することもある）を含む。なお、技術系構成品目登録端末２０１は、情報部２０２～２０５の少なくともいずれか１つを含んでいればよい。
　技術系構成品目登録端末２０１、ひいては情報部２０２～２０５には、ソフトウェア開発のデザインレビューの対象である複数の構成品目を含む構成品目情報２０６と、複数の構成品目の検証結果を示す検証結果情報２０７とが登録されている。構成品目には、例えば設計書、ソースコード、試験成績書等の成果物が用いられる。ここで、複数の構成品目のうち、２以上の構成品目をトレース可能に関連付けるトレース情報が、構成品目情報２０６に付随されている。このトレース情報により、複数の構成品目のうち、トレース可能に関連付けられた２以上の構成品目から導き出される機能要素が規定される。
　管理系構成品目登録端末１０１は、例えば、開発計画情報部１０２を含む。管理系構成品目登録端末１０１、ひいては開発計画情報部１０２には、複数の構成品目の検証基準を示す検証基準情報１０３が登録されている。
　トレーサビリティ登録端末３０１は、例えば、トレーサビリティ情報部３０２を含む。トレーサビリティ登録端末３０１、ひいてはトレーサビリティ情報部３０２には、トレーサビリティ情報３０３と重要度情報３０４とが登録されている。トレーサビリティ情報３０３には、構成品目情報２０６と同様にトレース情報が付随されている。重要度情報３０４は、機能要素の重要度を含んでいる。
　機械学習装置４０１は、例えば、検証基準抽出部４０２と、検証結果抽出部４０３と、機能要素抽出部４０４と、学習部４０５とを含む。
　検証基準抽出部４０２、検証結果抽出部４０３及び機能要素抽出部４０４は、取得部として機能する。この取得部は、検証基準情報１０３と、トレース情報で規定される機能要素を含む状態変数と、検証結果情報２０７とを取得する。
　学習部４０５は、検証基準情報１０３に基づいて検証結果情報２０７から抽出して取得される判定データと、状態変数とを互いに関連付けた（組み合わせた）データセットを作成する。そして、学習部４０５は、作成されたデータセットに基づいて、デザインレビューの対象である複数の構成品目の検証結果における達成状況（以下「達成状況」とのみ記すこともある）を学習する。
　詳細については、「学習結果の活用に関する構成」で説明するが、本実施の形態１に係るデザインレビュー達成状況予知装置は、学習部４０５の学習結果を活用可能に構成されている。具体的には、デザインレビュー達成状況予知装置は、現在の状態変数と学習部４０５の学習結果とに基づいて、現在の状態変数の達成状況を示す達成状況予知情報４０７を予知（作成）するように構成されている。
　この達成状況予知情報４０７は、デザインレビューの検証結果の網羅性の状況を表している。本実施の形態１に係る達成状況予知情報４０７は、現在の状態変数に関して、各情報部２０２～２０５の検証結果のデザインレビュー達成度を表す情報、または、各情報部２０２～２０５の検証結果の合否を表す情報を含む。
　デザインレビュー達成度としては、数値的な達成度合と定性的な達成度合とがある。数値的な達成度合は、例えば、達成値と目標値との割合である。定性的な達成度合は、例えば、達成済み項目数と全目標項目数との割合である。なお、デザインレビュー達成度の最大値及び最小値のいずれか一方は制限されてもよい。また、デザインレビュー達成度は、連続量であっても離散量であってもよい。
　各情報部２０２～２０５の検証結果の合否を表す情報としては、検証結果が正常な状態であるか否かを表す工法であってもよい。
　以下、技術系構成品目登録端末２０１の各情報部２０２～２０５について達成状況予知情報４０７を予知するための学習を行うデザインレビュー達成状況予知装置について説明する。しかしながら、技術系構成品目登録端末２０１と同様の他の任意の技術系構成品目登録端末に対しても、本実施の形態１に係るデザインレビュー達成状況予知装置を適用することができるのは言うまでもない。
　次に、デザインレビュー達成状況予知装置の各構成要素について詳細に説明する。
　＜管理系構成品目登録端末１０１＞
　管理系構成品目登録端末１０１、ひいては開発計画情報部１０２には、例えば、開発体制及びスキルマップを含むプロジェクト開発計画書と、構成管理計画書と、問題解決管理計画書と、変更依頼管理計画書と、検証基準情報１０３とを含む検証計画書が登録されている。このように本実施の形態１では、検証基準情報１０３は、管理系構成品目のドキュメント情報に含まれ、技術系構成品目登録端末２０１に登録された複数の構成品目を検証するための技術系構成品目の検証基準を含んでいる。
　＜技術系構成品目登録端末２０１＞
　技術系構成品目登録端末２０１、ひいては情報部２０２～２０５には、構成品目情報２０６と、検証結果情報２０７とが登録されている。
　構成品目情報２０６は、顧客から提示された要求仕様書、及び、ソフトウェア開発の各工程において作成された成果物等を含む。ソフトウェア開発の工程は、例えば、システム設計、ソフトウェア設計、ソフトウェア詳細設計、プログラム制作、単体試験、ソフトウェア試験、及び、システム試験等を含む。成果物は、例えば、設計書、ソースコード、試験仕様書、試験報告書等を含み、複数の構成品目として用いられる。
　複数の構成品目のそれぞれには複数のトレース識別子（以下「トレースＩＤ」と記すこともある）が付与される。複数のトレースＩＤは、要求仕様書に付与された要求ＩＤ、設計書に付与された設計ＩＤ、プログラムに付与されたプログラムＩＤ、試験仕様書及び試験報告書に付与された試験ＩＤ等を含む。各トレースＩＤにより、各トレースＩＤが付与された構成品目を識別することが可能となる。
　複数のトレースＩＤにはトレース情報がそれぞれ付随する。トレース情報は、トレース情報が付随するトレースＩＤが付与された構成品目同士の間でトレースを行うことができるように、構成品目同士を関連付ける情報である。
　検証結果情報２０７は、複数の構成品目の検証結果を示す。本実施の形態１では、検証結果情報２０７は、技術系構成品目のドキュメント情報に含まれている。
　＜トレーサビリティ登録端末３０１＞
　トレーサビリティ登録端末３０１、ひいてはトレーサビリティ情報部３０２には、トレーサビリティ情報３０３と重要度情報３０４とが登録されている。
　トレーサビリティ情報３０３は、複数のトレースＩＤを含む。トレーサビリティ情報３０３の複数のトレースＩＤには、構成品目情報２０６の複数のトレースＩＤと同様にトレース情報が付随されている。トレーサビリティ情報３０３のトレース情報は、各情報部２０２～２０５の構成品目と、開発工程などによって作成される他の構成品目との間でトレースを行うことができるように、構成品目と他の構成品目とを関連付ける情報である。
　本実施の形態１では、トレーサビリティ情報３０３のトレース情報により、構成品目と他の構成品目とが、機能要素を導き出す２以上の構成品目として用いられる。なお、他の構成品目は、各情報部２０２～２０５の構成品目の上流及び下流の少なくとも一方の工程の構成品目を含むことが望ましいが、含まなくてもよい。また、トレーサビリティ情報３０３は、トレース情報が付随しないトレースＩＤを含んでいてもよい。
　重要度情報３０４は、トレースの重要度を含む。トレースの重要度には、例えば、トレースの変更回数、または、コードのライン数が用いられる。なお、トレースの重要度は、トレースの変更回数及びコードのライン数と同じ傾向があり、これらと実質的に同じように扱うことができる。
　＜機械学習装置４０１＞
　検証基準抽出部４０２は、管理系構成品目登録端末１０１から検証基準情報１０３を抽出する。検証基準抽出部４０２は、検証基準情報１０３に不足がある場合には、不足している検証基準情報１０３を手動登録で受け付けてもよい。また、検証基準抽出部４０２は、機械学習装置４０１と管理系構成品目登録端末１０１（端末）との間のネットワークの接続が開始されるときに、検証基準情報１０３を取得してもよい。
　検証結果抽出部４０３は、検証基準抽出部４０２で抽出した検証基準情報１０３に基づいて、技術系構成品目登録端末２０１の情報部２０２～２０５から、検証結果情報２０７を抽出する。このように、検証結果抽出部４０３は、検証基準情報１０３に基づいて検証結果情報２０７を抽出することによって判定データを取得する。判定データは、例えば、検証結果情報２０７のうち、検証基準情報１０３の検証基準で対象となっている構成品目の検証結果情報である。
　機能要素抽出部４０４は、技術系構成品目登録端末２０１の構成品目情報２０６と、トレーサビリティ登録端末３０１のトレーサビリティ情報３０３とを抽出する。そして、機能要素抽出部４０４は、構成品目情報２０６及びトレーサビリティ情報３０３に基づいて、それらに付随するトレース情報によってトレース可能に関連付けられた２以上の構成品目を抽出し、当該２以上の構成品目から導き出される機能要素を抽出する。それから、機能要素抽出部４０４は、抽出した機能要素を含む状態変数を生成する。なお本実施の形態１のように、機能要素抽出部４０４が、重要度情報３０４のトレースの重要度から、機能要素の重要度を抽出するように構成されている場合、機能要素抽出部４０４は、機能要素と、当該機能要素の重要度とを含む状態変数を生成する。
　検証結果抽出部４０３は判定データを学習部４０５に出力し、機能要素抽出部４０４は状態変数を学習部４０５に出力する。機能要素抽出部４０４は、機能要素抽出部４０４で生成可能な全ての機能要素を含む状態変数ではなく、一部の機能要素を含む状態変数を学習部４０５に出力してもよいし、機能要素抽出部４０４以外で生成された別の状態変数も学習部４０５に出力してもよい。
　学習部４０５は、検証結果抽出部４０３から出力された判定データと、機能要素抽出部４０４から出力された状態変数とを互いに関連付けたデータセットを作成する。学習部４０５は、作成したデータセットに基づいて達成状況を学習することにより、予知モデル（学習結果）を獲得する。
　ここで一般的に、デザインレビューでは、例えば、複数の変更点が発生した構成品目、及び、当該構成品目と関係する他の構成品目の検証基準を全て検証する作業は膨大である。このため、有識者のスキルであっても、変更点に関わる全ての構成品目を限られた時間内で網羅的に検証することは困難である。
　これに対して後述するように、本実施の形態１に係るデザインレビュー達成状況予知装置は、例えば、トレーサビリティによって変更点に関係する現在の状態変数（現在の機能要素）と、学習部４０５の学習結果とに基づいて、達成状況予知情報４０７を予知する。このような構成によれば、デザインレビュー達成度などの達成状況の正確性を高めることができる。
　＜動作＞
　図２は、本実施の形態１に係る機械学習装置４０１の学習処理の一例を示すフローチャートである。
　まずステップＳ１にて、機能要素抽出部４０４は、機能要素と、当該機能要素の重要度とを含む状態変数を生成する。ここでいう機能要素は、デザインレビューの対象である構成品目から導き出される機能要素であり、例えば、変更された機能要素である。
　ステップＳ２にて、検証基準抽出部４０２は、デザインレビューの対象である構成品目の検証基準情報１０３を抽出し、検証結果抽出部４０３は、当該検証基準情報１０３に基づいて検証結果情報２０７を抽出することによって判定データを取得する。
　ステップＳ３にて、学習部４０５は、ステップＳ１で生成した状態変数と、ステップＳ２で取得した判定データとを互いに関連付けたデータセットに基づいて達成状況を学習し、予知モデル（学習結果）を獲得する。
　図３は、データセットの状態変数の一例を示す図である。図３の状態変数は、機能要素２１と、開発工程２２と、トレースＩＤ２３と、機能要素の重要度２４とを含む。学習部４０５は、判定データと、図３のような状態変数とを関連付けたデータセットに基づいて達成状況を学習することにより、機能要素２１に類似する機能要素について達成状況を予知する。
　＜学習＞
　ステップＳ１～ステップＳ３の処理は、例えば、学習部４０５が達成状況を十分に学習するまで繰り返し実行される。この際、学習部４０５は、デザインレビューの対象である構成品目の機能要素が複数回変更されたときに得られる全ての動作パターンを実行することが好ましい。
　図４は、機能要素の変更回数と指摘件数とを示す動作パターンの例を示す図である。動作パターン１１ａは収束しつつある課題を表し、動作パターン１１ｂはなかなか収束しない課題を表している。
　動作パターン１１ａ，１１ｂは、デザインレビュー品質指標に相当する。学習部４０５は、このようなデザインレビュー品質指標に基づいて機械学習を行うことが好ましい。これにより、達成状況の条件を揃えた学習を促進することができる。
　また、学習部４０５は、例えば動作パターン１１ａ，１１ｂの間の中間的な振舞いの課題については機械学習を行い、中間的な振舞いとは言えない不規則な変化をする課題については機械学習を行わないことが好ましい。つまり、学習部４０５は、デザインレビュー品質指標の変動に表れる一般的な傾向と大きく異なるデータ、及び、デザインレビュー品質指標として用いることを予期しない分散傾向の激しいデータを除外して機械学習を行うことが好ましい。これにより、達成状況の学習を特徴ある動作に限定することができるので、データサイズを抑えることができる。
　図５は、ニューラルネットワークの構成例を示す図である。学習部４０５は、例えば、ニューラルネットワークモデルに従って、達成状況を学習してもよい。図５に示されるように、ニューラルネットワークは１個のニューロンｘ１、ｘ２、ｘ３、・・・、ｘｌを含む入力層と、ｍ個のニューロンｙ１、ｙ２、ｙ３、・・・、ｙｍを含む中間層（隠れ層）と、ｎ個のニューロンｚ１、ｚ２、ｚ３、・・・、ｚｎを含む出力層とを含む。なお図５では、中間層は、１層のみ示されているが、２層以上の中間層が設けられてもよい。また、ニューラルネットワークを実現する学習部４０５には、後述するように汎用の計算機またはプロセッサなどが用いられてもよいが、大規模ＰＣクラスター等が適用されると、より高速に処理することが可能である。
　ニューラルネットワークは、技術系構成品目登録端末２０１の検証結果の達成状況に関係付けられる情報部２０２～２０５の達成状況を学習する。ニューラルネットワークは、検証結果抽出部４０３で取得された判定データと、機能要素抽出部４０４で生成された状態変数とを互いに関連付けたデータセットに従って、いわゆる「教師あり学習」により、データセットと達成状況との関連性（関係性）を学習する。すなわち、ニューラルネットワークは、情報部２０２～２０５の達成状況を学習する。なお「教師あり学習」は、入力データと結果（ラベル、出力データ）との組を大量に学習部４０５に与えることで、それらの間に存在する特徴を学習し、入力データから結果を推定するモデルである。すなわち、「教師あり学習」とは、入力データと結果との関連性（関係性）を帰納的に獲得する学習である。
　なお、ニューラルネットワークが行う学習は、「教師あり学習」に限ったものではない。例えば、ニューラルネットワークは、異常な検証結果がない判定データ、すなわち、技術系構成品目登録端末２０１の情報部２０２～２０５の検証結果が正常に検証基準を満たしている判定データのデータセットのみを蓄積してもよい。そして、ニューラルネットワークは、いわゆる「教師なし学習」を当該データセットに行うことによって、情報部２０２～２０５の達成状況を学習してもよい。
　ここで、「教師なし学習」とは、入力データに対応する教師出力データを与えずに、入力データのみを大量に学習部４０５に与え、入力データに圧縮・分類・整形等を行うことによって、入力データがどのような分布をしているかを学習する手法である。「教師なし学習」では、例えば、データセットに存在する特徴を似た者同士に分けるクラスタリング等が用いられる。そのような「教師なし学習」では、クラスタリング等の結果に対して何らかの基準を設けて、当該基準を最適にするような出力の割り当てを行うことで、出力の予測を実現することができる。
　「教師なし学習」は、例えば、技術系構成品目登録端末２０１の情報部２０２～２０５の検証結果の達成状況が極めて高い場合に有効であると考えられる。なお、ニューラルネットワークが行う学習は、「教師なし学習」と「教師あり学習」との中間的な問題設定を対象とする、いわゆる「半教師あり学習」であってもよい。この「半教師あり学習」では、一部のデータについては入力データと出力データとの組が学習部４０５に与えられ、それ以外のデータについては入力データのみが学習部４０５に与えられる。
　以上のような、検証結果に係る機械学習装置及び機械学習方法によれば、実際の運用状況に応じた達成状況の学習を行うことで、予知モデルを獲得することができる。これにより、検証結果の達成につながる要因が複雑であっても、または、達成状況を予知するための事前の設定が困難であっても、判定データのみに基づいて予知される達成状況よりも高い精度で、達成状況の予知が可能になる。
　なお、次に説明するように、機械学習装置４０１は、判定データ（検証結果）のデータセットの入力層への入力に応答して、出力層から達成状況を達成状況予知情報４０７として出力することにより、達成状況予知情報４０７を予知する。
　＜学習結果の活用に関する構成＞
　図６は、本実施の形態１に係るデザインレビュー達成状況予知装置の構成の一例を示すブロック図である。この図６には、デザインレビュー達成状況予知装置のうち学習結果の活用に関する構成が主に図示されている。図６のデザインレビュー達成状況予知装置は、図１の構成に加えて、デザインレビュー分析装置６０１と、表示装置である検証結果表示装置８０１とを備える。なお、機械学習装置４０１は、検証結果出力部４０６を含んでいる。
　デザインレビュー分析装置６０１は音声解析部６０２を含み、この音声解析部６０２は、デザインレビュー会議７０１の集音部７０２で集音された音声を解析して、当該音声を文字化したデザインレビュー議事録情報６０３を作成する。
　図７は、デザインレビュー議事録情報６０３の一例を示す図である。デザインレビュー議事録情報６０３は、現在の構成品目（新たな構成品目）から導き出される現在の機能要素を含む現在の状態変数に相当する。本実施の形態１では、デザインレビュー分析装置６０１は、デザインレビュー議事録情報６０３（現在の状態変数）をリアルタイムで取得することが可能に構成されている。デザインレビュー分析装置６０１は、取得したデザインレビュー議事録情報６０３（現在の状態変数）を、機械学習装置４０１の検証結果出力部４０６に出力する。
　検証結果出力部４０６は、デザインレビュー議事録情報６０３（現在の状態変数）と、学習部４０５（図１）の学習結果とに基づいて、デザインレビュー達成状況情報４０８を求める。
　図８は、デザインレビュー達成状況情報４０８の一例を示す図である。デザインレビュー達成状況情報４０８は、デザインレビュー議事録情報６０３（現在の状態変数）についての達成状況予知情報４０７（図１）に相当する。図８の例では、デザインレビュー達成状況情報４０８は、デザインレビュー議事録３１と、開発工程３２と、トレースＩＤ３３と、機能要素の重要度３４と、達成状況であるデザインレビュー達成度３５と、理由３６を含む。
　図３の状態変数の機能要素と、図７のデザインレビュー議事録情報６０３とはほぼ同じである。このため図８の例では、デザインレビュー達成状況情報４０８として、デザインレビューの対象構成品目の同位構成品目の機能要素であるデザインレビュー議事録３１が導き出され、上位構成品目である開発工程３２及びトレースＩＤ３３が導き出されている。一方、同位構成品目との関係から、デザインレビュー達成度３５には１００％でないものが存在している。
　なお図３のように、状態変数が機能要素の重要度２４を含む場合には、図８のように、現在の機能要素の重要度３４を含むデザインレビュー達成状況情報４０８が生成される。検証結果出力部４０６は、現在の状態変数（現在の機能要素）の達成状況に重要度で割合を設定することにより、デザインレビュー達成度３５を定量的に予知することができる。この方法としては、例えば、次式（１）のように個別の重要度と個別の達成度との積を全体の重要度で割る方法が用いられる。なお、次式（２）は、図８の結果を式（１）に適用した式である。デザインレビューの検証結果として妥当なデザインレビュー達成度の閾値は、例えば、下位工程で発生する障害発生件数、または、障害回収コスト及び障害回収期間から導き出される。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
　検証結果表示装置８０１は検証結果表示部８０２を含み、この検証結果表示部８０２は、検証結果出力部４０６で求められたデザインレビュー達成状況情報４０８を表示する。デザインレビュー会議７０１の人は、達成状況の学習結果に基づくデザインレビュー達成状況情報４０８の表示を見ることで、達成状況をリアルタイムに確認することができる。
　＜実施の形態１のまとめ＞
　以上のような本実施の形態１に係るデザインレビュー検証装置によれば、検証基準情報に基づいて検証結果情報から抽出して取得される判定データと、状態変数とを関連付けたデータセットに基づいて、複数の構成品目の検証結果における達成状況を学習する。このような構成によれば、デザインレビュー達成度などの達成状況の正確性を高めることができる。
　＜変形例１＞
　学習部４０５の学習は、上記の学習に限ったものではない。例えば、学習部４０５は、検証結果抽出部４０３で判定データが取得されてから、当該判定データに用いられる検証結果情報２０７の検証結果が検証基準情報１０３の検証基準を達成するまでの経過時間の長さに基づいて当該判定データに重み付けしてもよい。そして、学習部４０５は、重み付けされた判定データに基づいて達成状況を学習してもよい。一般的に、判定データが取得されてから、当該判定データの検証結果が検証基準を満たすまでの経過時間が短ければ短いほど、デザインレビューの完結が近い傾向がある。したがって、上記経過時間が短い判定データのデータセットと関連する達成状況が高くなるように、判定データを重み付けすれば、上述した達成状況の学習を効果的に行うことができる。
　＜変形例２＞
　実施の形態１では、１つの技術系構成品目登録端末２０１の検証結果情報２０７から上述した処理を行うことによって作成されるデータセットに従って達成状況を学習したが、これに限ったものではない。
　例えば、学習部４０５は、複数の技術系構成品目登録端末２０１の検証結果情報２０７のそれぞれから上述した処理を行うことによって作成されるデータセットに従って達成状況を学習してもよい。また、学習部４０５は、同一の開発現場で稼働する複数の技術系構成品目登録端末２０１で収集される検証結果情報２０７を用いて達成状況を学習してもよい。または、学習部４０５は、異なる開発現場で独立して稼働する複数の技術系構成品目登録端末２０１で収集される検証結果情報２０７を用いて達成状況を学習してもよい。さらに検証結果情報２０７を収集する技術系構成品目登録端末２０１を途中で学習対象に追加してもよいし、逆に学習対象から除去してもよい。
　以下、複数の技術系構成品目登録端末２０１で検証結果情報２０７を共有（共用）する方法として、３つの例を説明する。
　まず、第１の例としては、ニューラルネットワークのモデルが同じになるように共有する方法がある。この方法には、例えば、各ネットワークに重み係数を設定して、各技術系構成品目登録端末２０１間の差分を、通信手段の送信に反映させる方法がある。第２の例としては、ニューラルネットワークの入力と出力との学習結果を共有することにより、機械学習の重み等を共有する方法がある。第３の例としては、あるデータベースを用意し、それにアクセスしてより妥当なニューラルネットワークのモデルをロードすることで状態を共有する（同じようなモデルとする）方法がある。
　以上のような構成によれば、学習部４０５の学習結果を、複数のデザインレビュー会議で共用することが可能となる。なお以上では、複数の技術系構成品目登録端末２０１の検証結果情報２０７する方法として、３つの例を説明したが、３つの例以外の方法が適用されてもよい。
　＜変形例３＞
　学習部４０５の学習に用いられるデータセットは、現在の状態変数と、現在の状態変数の構成品目の検証結果とを関連付けた現在のデータセットを含んでもよい。つまり、学習部４０５は、現在の状態変数と、現在の状態変数の構成品目の検証結果とを関連付けた現在のデータセットに基づいて、達成状況を再学習してもよい。
　＜変形例４＞
　管理系構成品目登録端末１０１、技術系構成品目登録端末２０１及びトレーサビリティ登録端末３０１は、１つの端末ごとに構成されなくてもよい。例えば、管理系構成品目登録端末１０１、技術系構成品目登録端末２０１及びトレーサビリティ登録端末３０１のいずれか２つまたは全てが、１つの端末によって構成されてもよい。
　また例えば、機械学習装置４０１は、ネットワークを介してトレーサビリティ登録端末３０１に接続された、技術系構成品目登録端末２０１とは別個のデジタルコンピュータであってもよい。
　また例えば、機械学習装置４０１は、管理系構成品目登録端末１０１、技術系構成品目登録端末２０１及びトレーサビリティ登録端末３０１のいずれかに設けられていてもよい。機械学習装置４０１がトレーサビリティ登録端末３０１に内蔵されている場合には、トレーサビリティ登録端末３０１のプロセッサを利用して機械学習を実行してもよい。また例えば、機械学習装置４０１は、クラウドサーバに設けられてもよい。
　＜その他の変形例＞
　上述した取得部（検証基準抽出部４０２、検証結果抽出部４０３、機能要素抽出部４０４）、学習部４０５、及び、検証結果出力部４０６を、以下「取得部等」と記す。検証基準抽出部４０２等は、図９に示す処理回路８１により実現される。すなわち、処理回路８１は、ソフトウェア開発のデザインレビューの対象である複数の構成品目の検証基準を示す検証基準情報と、複数の構成品目のうち、トレース可能に関連付けられた２以上の構成品目から導き出される機能要素を含む状態変数と、複数の構成品目の検証結果を示す検証結果情報とを取得する取得部と、検証基準情報に基づいて検証結果情報から抽出して取得される判定データと、状態変数とを関連付けたデータセットに基づいて、複数の構成品目の検証結果における達成状況を学習する学習部４０５と、を備える。処理回路８１には、専用のハードウェアが適用されてもよいし、メモリに格納されるプログラムを実行するプロセッサが適用されてもよい。プロセッサには、例えば、中央処理装置、処理装置、演算装置、マイクロプロセッサ、マイクロコンピュータ、ＤＳＰ（Digital Signal Processor）などが該当する。
　処理回路８１が専用のハードウェアである場合、処理回路８１は、例えば、単一回路、複合回路、プログラム化したプロセッサ、並列プログラム化したプロセッサ、ＡＳＩＣ（Application Specific Integrated Circuit）、ＦＰＧＡ（Field Programmable Gate Array）、またはこれらを組み合わせたものが該当する。取得部等の各部の機能それぞれは、処理回路を分散させた回路で実現されてもよいし、各部の機能をまとめて一つの処理回路で実現されてもよい。
　処理回路８１がプロセッサである場合、取得部等の機能は、ソフトウェア等との組み合わせにより実現される。なお、ソフトウェア等には、例えば、ソフトウェア、ファームウェア、または、ソフトウェア及びファームウェアが該当する。ソフトウェア等はプログラムとして記述され、メモリに格納される。図１０に示すように、処理回路８１に適用されるプロセッサ８２は、メモリ８３に記憶されたプログラムを読み出して実行することにより、各部の機能を実現する。すなわち、機械学習装置４０１は、処理回路８１により実行されるときに、取得部が、ソフトウェア開発のデザインレビューの対象である複数の構成品目の検証基準を示す検証基準情報と、複数の構成品目のうち、トレース可能に関連付けられた２以上の構成品目から導き出される機能要素を含む状態変数と、複数の構成品目の検証結果を示す検証結果情報とを取得するステップと、学習部４０５が、検証基準情報に基づいて検証結果情報から抽出して取得される判定データと、状態変数とを関連付けたデータセットに基づいて、複数の構成品目の検証結果における達成状況を学習するステップと、が結果的に実行されることになるプログラムを格納するためのメモリ８３を備える。換言すれば、このプログラムは、取得部等の手順や方法をコンピュータに実行させるものであるとも言える。ここで、メモリ８３は、例えば、ＲＡＭ（Random Access Memory）、ＲＯＭ（Read Only Memory）、フラッシュメモリ、ＥＰＲＯＭ（Erasable Programmable Read Only Memory）、ＥＥＰＲＯＭ（Electrically Erasable Programmable Read Only Memory）などの、不揮発性または揮発性の半導体メモリ、ＨＤＤ（Hard Disk Drive）、磁気ディスク、フレキシブルディスク、光ディスク、コンパクトディスク、ミニディスク、ＤＶＤ（Digital Versatile Disc）、そのドライブ装置等、または、今後使用されるあらゆる記憶媒体であってもよい。
　以上、取得部等の各機能が、ハードウェア及びソフトウェア等のいずれか一方で実現される構成について説明した。しかしこれに限ったものではなく、取得部等の一部を専用のハードウェアで実現し、別の一部をソフトウェア等で実現する構成であってもよい。例えば、取得部については専用のハードウェアとしての処理回路８１、インターフェース及びレシーバなどでその機能を実現し、それ以外についてはプロセッサ８２としての処理回路８１がメモリ８３に格納されたプログラムを読み出して実行することによってその機能を実現することが可能である。
　以上のように、処理回路８１は、ハードウェア、ソフトウェア等、またはこれらの組み合わせによって、上述の各機能を実現することができる。
　なお、実施の形態を適宜、変形、省略することが可能である。
　上記した説明は、すべての態様において、例示であって、本開示がそれに限定されるものではない。例示されていない無数の変形例が、本開示の範囲から外れることなく想定され得るものと解される。
　１０１　管理系構成品目登録端末、１０３　検証基準情報、２０１　技術系構成品目登録端末、２０７　検証結果情報、３０１　トレーサビリティ登録端末、３０３　トレーサビリティ情報、３０４　重要度情報、４０１　機械学習装置、４０２　検証基準抽出部、４０３　検証結果抽出部、４０４　機能要素抽出部、４０５　学習部、６０１　デザインレビュー分析装置、６０３　デザインレビュー議事録情報。

Claims (13)

  1. 　ソフトウェア開発のデザインレビューの対象である複数の構成品目の検証基準を示す検証基準情報と、前記複数の構成品目のうち、トレース可能に関連付けられた２以上の構成品目から導き出される機能要素を含む状態変数と、前記複数の構成品目の検証結果を示す検証結果情報とを取得する取得部と、
    　前記検証基準情報に基づいて前記検証結果情報から抽出して取得される判定データと、前記状態変数とを関連付けたデータセットに基づいて、前記複数の構成品目の検証結果における達成状況を学習する学習部と
    を備える、機械学習装置。
  2. 　請求項１に記載の機械学習装置であって、
    　前記検証基準情報は、管理系構成品目のドキュメント情報に含まれ、技術系構成品目の検証基準を含む、機械学習装置。
  3. 　請求項１または請求項２に記載の機械学習装置であって、
    　前記機能要素を導き出す前記２以上の構成品目は、前記構成品目と他の構成品目とを含み、
    　前記状態変数は、前記機能要素の重要度をさらに含む、機械学習装置。
  4. 　請求項１から請求項３のうちのいずれか１項に記載の機械学習装置であって、
    　前記検証結果情報は、技術系構成品目のドキュメント情報に含まれる、機械学習装置。
  5. 　請求項１から請求項４のうちのいずれか１項に記載の機械学習装置であって、
    　前記学習部は、
    　前記判定データが取得されてから、当該判定データに用いられる前記検証結果情報の検証結果が前記検証基準情報の検証基準を達成するまでの経過時間の長さに基づいて当該判定データに重み付けし、重み付けされた前記判定データに基づいて前記達成状況を学習する、機械学習装置。
  6. 　請求項１から請求項５のうちのいずれか１項に記載の機械学習装置であって、
    　前記取得部は、
    　前記機械学習装置と端末との間のネットワークの接続が開始されるときに、前記検証基準情報を取得する、機械学習装置。
  7. 　請求項１から請求項６のうちのいずれか１項に記載の機械学習装置と、
    　現在の前記状態変数と前記学習部の学習結果とに基づいて求められた、現在の前記状態変数の前記達成状況を表示する表示装置と
    を備える、デザインレビュー検証装置。
  8. 　請求項７に記載のデザインレビュー検証装置であって、
    　前記データセットは、
    　現在の前記状態変数と、現在の前記状態変数の前記構成品目の検証結果とを関連付けた現在のデータセットを含む、デザインレビュー検証装置。
  9. 　請求項７または請求項８に記載のデザインレビュー検証装置であって、
    　前記機械学習装置がクラウドサーバに設けられている、デザインレビュー検証装置。
  10. 　請求項７または請求項８に記載のデザインレビュー検証装置であって、
    　前記機械学習装置が端末に設けられている、デザインレビュー検証装置。
  11. 　請求項７から請求項１０のうちのいずれか１項に記載のデザインレビュー検証装置であって、
    　前記学習部の前記学習結果は、複数のデザインレビュー会議で共用される、デザインレビュー検証装置。
  12. 　請求項７から請求項１１のうちのいずれか１項に記載のデザインレビュー検証装置であって、
    　現在の前記状態変数を取得するデザインレビュー分析装置をさらに備える、デザインレビュー検証装置。
  13. 　取得部が、ソフトウェア開発のデザインレビューの対象である複数の構成品目の検証基準を示す検証基準情報と、前記複数の構成品目のうち、トレース可能に関連付けられた２以上の構成品目から導き出される機能要素を含む状態変数と、前記複数の構成品目の検証結果を示す検証結果情報とを取得し、
    　学習部が、前記検証基準情報に基づいて前記検証結果情報から抽出して取得される判定データと、前記状態変数とを関連付けたデータセットに基づいて、前記複数の構成品目の検証結果における達成状況を学習する、機械学習方法。
PCT/JP2020/000064 2020-01-06 2020-01-06 機械学習装置、デザインレビュー検証装置、機械学習方法 WO2021140542A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2021569611A JP7204012B2 (ja) 2020-01-06 2020-01-06 機械学習装置、デザインレビュー検証装置、機械学習方法
PCT/JP2020/000064 WO2021140542A1 (ja) 2020-01-06 2020-01-06 機械学習装置、デザインレビュー検証装置、機械学習方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2020/000064 WO2021140542A1 (ja) 2020-01-06 2020-01-06 機械学習装置、デザインレビュー検証装置、機械学習方法

Publications (1)

Publication Number Publication Date
WO2021140542A1 true WO2021140542A1 (ja) 2021-07-15

Family

ID=76787958

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/000064 WO2021140542A1 (ja) 2020-01-06 2020-01-06 機械学習装置、デザインレビュー検証装置、機械学習方法

Country Status (2)

Country Link
JP (1) JP7204012B2 (ja)
WO (1) WO2021140542A1 (ja)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005326953A (ja) * 2004-05-12 2005-11-24 Nec Corp ソフトウェア品質評価システム及び方法並びにソフトウェア品質評価用プログラム
JP2010073040A (ja) * 2008-09-19 2010-04-02 Supreme System Consulting Corp 超過コスト算出プログラム
JP2011145996A (ja) * 2010-01-18 2011-07-28 Fujitsu Ltd レビューワ評価装置、レビューワ評価方法、及びプログラム
JP2019028871A (ja) * 2017-08-02 2019-02-21 Tis株式会社 プロジェクト管理支援装置、プロジェクト管理支援方法およびプログラム
JP2019159444A (ja) * 2018-03-08 2019-09-19 三菱電機株式会社 プロジェクト品質評価装置及びプロジェクト品質評価方法

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11720804B2 (en) 2018-01-21 2023-08-08 Microsoft Technology Licensing, Llc. Data-driven automatic code review

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005326953A (ja) * 2004-05-12 2005-11-24 Nec Corp ソフトウェア品質評価システム及び方法並びにソフトウェア品質評価用プログラム
JP2010073040A (ja) * 2008-09-19 2010-04-02 Supreme System Consulting Corp 超過コスト算出プログラム
JP2011145996A (ja) * 2010-01-18 2011-07-28 Fujitsu Ltd レビューワ評価装置、レビューワ評価方法、及びプログラム
JP2019028871A (ja) * 2017-08-02 2019-02-21 Tis株式会社 プロジェクト管理支援装置、プロジェクト管理支援方法およびプログラム
JP2019159444A (ja) * 2018-03-08 2019-09-19 三菱電機株式会社 プロジェクト品質評価装置及びプロジェクト品質評価方法

Also Published As

Publication number Publication date
JP7204012B2 (ja) 2023-01-13
JPWO2021140542A1 (ja) 2021-07-15

Similar Documents

Publication Publication Date Title
Negri et al. Field-synchronized digital twin framework for production scheduling with uncertainty
US10990901B2 (en) Training, validating, and monitoring artificial intelligence and machine learning models
US20200364387A1 (en) Operations and maintenance system and method employing digital twins
JP7167009B2 (ja) 自動車保証の不正の予測のためのシステム及び方法
EP3483797A1 (en) Training, validating, and monitoring artificial intelligence and machine learning models
US11531901B2 (en) Imaging modality smart find maintenance systems and methods
Lehtinen et al. Perceived causes of software project failures–An analysis of their relationships
Bihani et al. A comparative study of data analysis techniques
Tripathi et al. Naive Bayes classification model for the student performance prediction
US12066918B2 (en) System to track and measure machine learning model efficacy
CN113196315A (zh) 成像模态保养维护包系统和方法
JP2018147280A (ja) データ分析装置及びデータ分析方法
CN115836283A (zh) 制造过程决策支持的模型保真度监测和重新生成
WO2021140542A1 (ja) 機械学習装置、デザインレビュー検証装置、機械学習方法
CN115546218B (zh) 置信度阈值确定方法和装置、电子设备和存储介质
Loper The modeling and simulation life cycle process
JP7499965B2 (ja) 機械学習装置、深刻度予知装置、機械学習方法、および深刻度予知方法
CN115812195A (zh) 计算开发过程中的开发者时间
Singer Methods for change management in automotive release processes
US20210256458A1 (en) Commodity fulfillment
KR102692244B1 (ko) 차량 정비 서비스 제공 방법 및 시스템
WO2023145158A1 (ja) 機械学習装置、ｗｂｓ作成装置、機械学習方法
Arrieta et al. Towards mutation testing of configurable Simulink models: A product line engineering perspective
Oleshchenko Machine Learning Algorithms Comparison for Software Testing Errors Classification Automation
Grossmann et al. Testing ML-based Systems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20912123

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2021569611

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20912123

Country of ref document: EP

Kind code of ref document: A1