WO2017009888A1 - プロジェクトリスク管理システムおよびプロジェクトリスク管理方法 - Google Patents

プロジェクトリスク管理システムおよびプロジェクトリスク管理方法 Download PDF

Info

Publication number
WO2017009888A1
WO2017009888A1 PCT/JP2015/069855 JP2015069855W WO2017009888A1 WO 2017009888 A1 WO2017009888 A1 WO 2017009888A1 JP 2015069855 W JP2015069855 W JP 2015069855W WO 2017009888 A1 WO2017009888 A1 WO 2017009888A1
Authority
WO
WIPO (PCT)
Prior art keywords
project
risk
item
unit
management system
Prior art date
Application number
PCT/JP2015/069855
Other languages
English (en)
French (fr)
Inventor
賢吾 太田
裕喜 室井
太士 森田
孝明 小林
Original Assignee
株式会社野村総合研究所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社野村総合研究所 filed Critical 株式会社野村総合研究所
Priority to PCT/JP2015/069855 priority Critical patent/WO2017009888A1/ja
Publication of WO2017009888A1 publication Critical patent/WO2017009888A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06QINFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q10/00Administration; Management
    • G06Q10/06Resources, workflows, human or project management; Enterprise or organisation planning; Enterprise or organisation modelling

Definitions

  • the present invention relates to a project management technique, and more particularly to a technique that is effective when applied to a project risk management system and a project risk management method for quantitatively evaluating a risk that can be realized in the future.
  • project management for managing the quality, cost, delivery date, etc. of deliverables is performed by grasping the results and progress of the plan.
  • a risk management for example, based on information such as the difference between the actual results and the plan, project failures such as delivery time and cost deviation at the time of system release, possibility of failure after release, etc.
  • a method for predicting and judging the possibility that the risk will become apparent at an early stage is being studied.
  • Patent Document 1 extracts a lagging index ID for a specified lagging index based on a project progress management table, Based on the risk management table, the risk ID associated with the target lagging index ID is extracted, the index value and the leading index coefficient associated with the target risk ID are extracted from the preceding index table, and based on these A technique for quickly analyzing the risk of a project by calculating the degree of risk of a lag indicator to be evaluated is described.
  • risk can be evaluated for a plurality of items / indicators, but each of these items is managed independently. For example, a threshold value or the like is individually set for each item, and if there is an item exceeding the threshold value, it is determined that the risk of the project is high, and a warning or the like is given.
  • a threshold value or the like is individually set for each item, and if there is an item exceeding the threshold value, it is determined that the risk of the project is high, and a warning or the like is given.
  • the impact of the correlation between multiple items on the risk of the project is not considered, and this point depends on “intuition” by those who have experience and insight such as project manager (PM). Many.
  • a method for considering a plurality of items for example, a method may be used in which risk is quantitatively evaluated by adding up weights based on predetermined conditions for scores for each item and the like. .
  • risk is quantitatively evaluated by adding up weights based on predetermined conditions for scores for each item and the like.
  • the logical basis of the weighting method is poor, and it is difficult to ensure accuracy.
  • an object of the present invention is to provide a project risk management system that can quantitatively grasp and predict the possibility (predictive) of future risks in a project, such as at the start of a project or during a period, and To provide a project risk management method.
  • the project risk management system is based on the value of a predetermined risk item acquired in the evaluation target project before completion, and reveals risks after the completion of the evaluation target project.
  • This is a project risk management system that quantifies the possibility and uses the MT (Mahalanobis Taguchi) method as a unit space for the set of risk item values in past successful projects.
  • a predictor model generating unit that generates a predictor model for obtaining the Mahalanobis distance as a Mahalanobis distance
  • a risk calculating unit that calculates the Mahalanobis distance from the unit space of the evaluation target project based on the predictor model and uses the predictor model as the predictor And.
  • the possibility (predictor) that a future risk may be manifested in a project can be quantitatively grasped and predicted at an early stage such as at the start or during the project. It becomes possible.
  • each item is managed independently while targeting a plurality of items / indicators in a project. For example, a threshold is set individually for each item, and an item that exceeds the threshold If there is a warning, it is judged that the project risk is high and a warning is given.
  • risk in a project refers to an uncertain event / state in the project.
  • risk is an uncertain and uncertain factor of anxiety such as “may delay delivery” or “may cause failure” and “risk management” to manage this. . If these risks actually occur and become manifest, they will have a negative (or positive) impact on the project objectives and goals.
  • the event that has already occurred is not “risk” but “realization of risk”, and this is treated as “issue” at the present time.
  • the status of “realization of risk” at the completion of the project (or after completion) is the main factor in determining the success or failure of the project.
  • FIG. 5 is a diagram showing an outline of an example of a project risk evaluation method in the prior art.
  • the risk item is an index that can be an element / factor affecting the success / failure of the project, in other words, an index that is considered to have an effect on the realization of risk.
  • most of the items listed as risk items are individually set and managed independently. Specifically, for example, a threshold is set for each item individually, and whether or not the threshold is exceeded is monitored individually, and attention and warning are issued when there is an excess item. It was.
  • the situation of each project is plotted with a circle on a two-dimensional coordinate space with “item 1” and “item 2” as axes.
  • upper and lower threshold values provided for each axis, and the distribution status and average value of the values of each axis are also shown.
  • the evaluation since the evaluation is based on two risk items, it is displayed as a two-dimensional coordinate space. However, three or more risk items may be used. The same idea can be taken depending on the space.
  • a predetermined weight is added to the value / score of each item and added together, and this is used as a comprehensive indicator for quantitative evaluation.
  • a predetermined weight is added to the value / score of each item and added together, and this is used as a comprehensive indicator for quantitative evaluation.
  • the project risk management system solves the above-mentioned problems by applying the MT (Mahalanobis Taguchi) method mainly used in quality engineering in the manufacturing industry.
  • MT Mohalanobis Taguchi
  • multiple “success” projects are identified instead of “failure” projects, data on multiple items indicating these characteristics are collected, and the correlation / correlation structure between each item is assumed to be the model structure that the project should originally be. Define.
  • MD distance of Mahalanobis
  • FIG. 2 is a diagram showing an outline of an example of a project risk evaluation method in the present embodiment.
  • risk is managed based on the values of two risk items “item 1” and “item 2” is shown.
  • Item 1 “item 2”
  • the situation of each project is plotted on a two-dimensional coordinate space with the axis as the axis.
  • the evaluation according to the example of FIG. 2 can obtain an evaluation result more suitable for the actual situation.
  • the number of risk items is not limited to two, and MD may be calculated using a three-dimensional or higher coordinate space using three or more risk items.
  • FIG. 3 is a diagram showing an outline of an example of a project risk prediction range in the present embodiment.
  • Q Quality
  • C Cost
  • D Delivery
  • the present invention is not limited to the risk manifestation at the time of project completion (and after the project completion), but may be a quantification of risk manifestation in a specific phase during the project period. For example, a sign that risks become apparent in the development phase during the project period may be quantified based on data at the time of project planning.
  • FIG. 1 is a diagram showing an outline of a configuration example of a project risk management system according to an embodiment of the present invention.
  • the project risk management system 10 includes, for example, a server system including a server device and a virtual server constructed on a cloud computing service.
  • a user terminal 40 that is an information processing terminal such as a PC (Personal Computer) to be used is connected as a client.
  • the configuration is not limited to such a client / server type, and may be a stand-alone configuration such as a PC.
  • the project risk management system 10 includes, for example, a data acquisition unit 11, a successful project selection unit 12, and an item selection unit 13 that are implemented as software running on middleware such as an OS (Operating System) or a DBMS (DataBase Management System) (not shown).
  • middleware such as an OS (Operating System) or a DBMS (DataBase Management System) (not shown).
  • Each of these units may be implemented as one or more application programs, or may be implemented as a macro program or script that runs on spreadsheet software.
  • the project risk management system 10 includes accumulated project information 22 implemented by a database, a file, etc., success criteria 23, successful project information 24, item candidates 25, selection items 26, evaluation project information 27, predictive model 28, and the like. Each data store.
  • the data acquisition unit 11 takes in the project information 21 that is the past information of a plurality of past projects as basic data for creating the predictive model 28, and performs processing such as format conversion. And has a function of recording / accumulating in the accumulation project information 22.
  • the successful project selection unit 12 selects a “success” project from among the projects recorded in the accumulated project information 22 based on the contents of the success criterion 23 set in advance by the user, that is, the unit in the example of FIG. It has a function of selecting a project group constituting a space and recording it as successful project information 24.
  • the successful project information 24 may hold only an ID or a number for identifying the target project, and the data relating to the contents may refer to the stored project information 22.
  • the item selection unit 13 automatically selects items to be risk items (explanatory variables) based on the contents of the item candidates 25 set in advance by the user and the contents of the successful project information 24 (and the accumulated project information 22). It has a function of selecting and outputting as a selection item 26.
  • the predictive model generation unit 14 is originally a “successful” project that considers the correlation of each item using the MT method based on the project data recorded in the successful project information 24 and the contents of the selection item 26. It has a function of generating a model of a power structure (unit space) as the predictive model 28.
  • the project information acquisition unit 15 has a function of, for example, capturing necessary performance information about a project whose risk is to be evaluated based on an instruction from the user, and recording it as evaluation project information 27.
  • necessary performance information for example, when performing future risk assessment at the time of project planning using the project risk management system 10, as performance information at the time of planning the target project, It is necessary to include at least data on each risk item.
  • the risk calculation unit 16 calculates a sign that a risk in the future, such as when the project is completed (after completion), for a project to be evaluated recorded in the evaluation project information 27, based on the sign model 28, and the like. It has a function of determining whether or not the dangerous situation exceeds the threshold. Specifically, the MT method is used to calculate the deviation from the characteristics of the “success” project group as the MD from the center of the unit space consisting of the “success” project group. It is determined whether or not a predetermined threshold is exceeded.
  • FIG. 4 is a diagram showing an overview of the flow of the risk calculation process for the project and an example of the processing content in the present embodiment.
  • the data acquisition unit 11 of the project risk management system 10 captures and processes the project information 21 serving as basic data and records it in the accumulated project information 22 (S01).
  • the number of projects included in the project information 21 is as large as possible while considering the processing capability of the system.
  • success criteria 23 are set (S02).
  • the actual state of the risk of the project is evaluated from the viewpoint of Q, C, and D.
  • Q Quality of Service
  • D a method of scoring by weighting the number of failures occurring in one month after the actual operation of the system according to the importance of the failure can be considered.
  • C Cost: cost
  • D Delivery: a method of scoring based on the degree of divergence of the actual project period at the completion of the project with respect to the estimated project period at the time of project planning
  • the score in each project is normalized (eg, converted to a value of average: zero, standard deviation: 1), and the largest (bad) value among Q, C, and D Is the evaluation value of the actual state of risk of the target project. Then, for example, a project in which the evaluation value is equal to or less than a predetermined threshold or a project in which a predetermined number is extracted in order from the smallest value is determined as a successful project.
  • the above criteria are set by the user, and are registered in advance in the project risk management system 10 as the success criteria 23.
  • each of Q, C, and D may be scored by combining a plurality of evaluation methods instead of one type of evaluation method.
  • the evaluation method is considered to be able to properly grasp the successful project (or risk of project failure), including the viewpoint of labor management such as the health status of project members. May be set.
  • the success criterion 23 can be improved in accuracy by appropriately modifying the content by trial and error.
  • the successful project selection unit 12 performs an evaluation according to the above-described success criterion 23, automatically selects a successful project, and records it as successful project information 24 (S03). ).
  • the selected successful project forms a unit space in the MT method. On the right side of FIG. 4, an example of the unit space is shown in tabular form. In step S03, “PJT1” to “PJT3” and the like are selected as successful projects.
  • candidate items to be used as risk items for estimating the actual state of risk are selected from the data items maintained and acquired in the successful project information 24 (and accumulated project information 22) (S04).
  • item candidates are selected and set by the user and registered in advance in the project risk management system 10 as item candidates 25. It is desirable to select candidate items so that there is less bias with respect to risk type and classification.
  • the item selection unit 13 automatically selects a predetermined number (n) of items as items to be evaluated from the items included in the item candidate 25 and records them as selection items 26 (S05). . Therefore, n or more risk item candidates need to be preset in the item candidate 25.
  • Each item selected by the item selection unit 13 and included in the selection item 26 is also an element of the unit space formed by the successful project. In the example of the unit space on the right side of FIG. 4, it is shown in step S05 that “item 1” to “item n” are selected as risk items.
  • the selection item 26 of a plurality of patterns including combinations of different items is actually used by using a model obtained by the processing described later.
  • the result of evaluating the past project is evaluated and verified by comparing with the result of the project, and a suitable selection item 26 is selected.
  • a suitable selection item 26 is obtained by a technique such as evaluating the S / N ratio of the evaluation result for each pattern selection item 26 by an experimental design method.
  • the predictive model generation unit 14 constructs a predictive model 28 for estimating the actual state of risk (S06). Specifically, as shown on the right side of FIG. 4, a correlation matrix (Y) is created by calculating a correlation coefficient for each item (“item 1”, “item 2”... “Item n”) in the unit space. The inverse matrix (Y ⁇ 1 ) is obtained. Then, the predictive model 28 is obtained by inputting this into a model calculation formula for obtaining the MD for the project to be evaluated.
  • the risk calculation unit 16 determines the risk manifestation status based on the evaluation target project data recorded in the evaluation project information 27 separately acquired in advance by the project information acquisition unit 15 and the predictive model 28.
  • a sign is calculated (S07). That is, as shown on the right side of FIG. 4, a matrix (A) composed of data corresponding to each item of the selection items 26 for the project to be evaluated is input to the calculation formula of the predictive model 28, and MD (A) Is calculated.
  • MD (A) Is calculated.
  • the MT method is applied to identify a plurality of “success” projects instead of “failure” projects, and the features A correlation between a plurality of items indicating the is defined as a model structure that the project should originally have. Then, by measuring the “distance of Mahalanobis” from the model structure of the “success” project for the project to be evaluated, the predictive model 28 for quantifying the risk as the deviation from “success” is configured.
  • the predictive model 28 for evaluating risk uses a correlation matrix in a unit space consisting of successful projects, and the risk calculation is only matrix calculation. Can be obtained.
  • the predictive model 28 uses the distance from the unit space consisting of “success” projects, the predictive model 28 with high accuracy can be constructed even when the data of the “failed” project is small.
  • the present invention made by the present inventor has been specifically described based on the embodiments.
  • the present invention is not limited to the above-described embodiments, and various modifications can be made without departing from the scope of the invention. Needless to say.
  • the above-described embodiment has been described in detail for easy understanding of the present invention, and is not necessarily limited to the one having all the configurations described.
  • the present invention can be used for a project risk management system and a project risk management method for quantitatively evaluating risks that can be realized in the future.

Landscapes

  • Engineering & Computer Science (AREA)
  • Business, Economics & Management (AREA)
  • Human Resources & Organizations (AREA)
  • Strategic Management (AREA)
  • Economics (AREA)
  • Entrepreneurship & Innovation (AREA)
  • Educational Administration (AREA)
  • Game Theory and Decision Science (AREA)
  • Development Economics (AREA)
  • Marketing (AREA)
  • Operations Research (AREA)
  • Quality & Reliability (AREA)
  • Tourism & Hospitality (AREA)
  • Physics & Mathematics (AREA)
  • General Business, Economics & Management (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)

Abstract

プロジェクトにおいて将来リスクが顕在化する予兆を、プロジェクトの開始時や期間中などの早期に定量的に把握・予測することを可能とする。代表的な実施の形態によれば、完了前の評価対象プロジェクトにおいて取得された所定のリスク項目の値に基づいて、評価対象プロジェクトの完了時以降におけるリスクの顕在化の可能性を定量化して予兆とするプロジェクトリスク管理システムであって、MT法により、過去の複数の成功プロジェクトにおけるリスク項目の値の集合を単位空間とし、単位空間からの乖離をマハラノビスの距離として求めるための予兆モデルを生成する予兆モデル生成部と、予兆モデルに基づいて、評価対象プロジェクトの単位空間からのマハラノビスの距離を算出して予兆とするリスク算出部とを有する。

Description

プロジェクトリスク管理システムおよびプロジェクトリスク管理方法
 本発明は、プロジェクトの管理技術に関し、特に、将来顕在化し得るリスクを定量的に評価するプロジェクトリスク管理システムおよびプロジェクトリスク管理方法に適用して有効な技術に関するものである。
 例えば、情報処理システムの開発等のプロジェクトでは、計画に対する実績や進捗等を把握することで、成果物の品質や、コスト、納期等を管理するプロジェクト管理が行われる。その中で、リスク管理として、例えば、現状の実績と計画との乖離状況等の情報に基づいて、システムのリリース時における納期やコストのズレ、リリース後の障害発生の可能性などといったプロジェクトの失敗のリスクが顕在化する可能性を早い段階で予測・判定するための手法等が検討されている。
 プロジェクトのリスク管理に関連する技術として、例えば、特許第4714130号公報(特許文献1)には、指定された評価対象となる遅行指標について、プロジェクト進捗管理テーブルに基づいて遅行指標IDを抽出し、リスク管理テーブルに基づいて対象の遅行指標IDに対応付けられたリスクIDを抽出し、先行指標テーブルから対象のリスクIDに対応付けられた指標値と先行指標係数とを抽出し、これらに基づいて評価対象となる遅行指標におけるリスク度を算出することで、速やかにプロジェクトのリスクを解析する技術が記載されている。
特許第4714130号公報
 特許文献1に記載された技術等を含む従来技術では、一般的に、複数の項目・指標を対象としてリスクを評価することができるが、これらの各項目は独立して管理される。例えば、項目毎に個別に閾値等が設定され、閾値を越えた項目がある場合にプロジェクトのリスクが高いと判断して警告等を行う。ここでは複数の項目間の相関関係がプロジェクトのリスクに与える影響については考慮されておらず、この点はプロジェクトマネージャ(PM)等の経験・見識を有する者による「勘」に頼っている部分が多い。
 複数の項目について考慮する手法として、例えば、項目毎のスコア等に対して所定の条件に基づいて重み付けを行った上で合算することでリスクを定量的に評価するという手法がとられる場合もある。しかしながら、重み付けの手法に論理的な根拠が乏しい場合も多く、精度を確保することは困難である。
 一方、例えば、過去の多数のプロジェクトの実績データに基づいて、失敗するプロジェクトについて定量的に評価・予測することができるモデルを作成し、このモデルに現状の数値を適用してリスクを判断するという手法も検討される。しかしながら、通常は、失敗したプロジェクトの数は成功した(失敗しなかった)プロジェクトに比べて非常に少なく、十分な数のサンプルが得られないことから、モデルの精度を向上させることが難しいという課題も有する。
 そこで本発明の目的は、プロジェクトにおいて将来リスクが顕在化する可能性(予兆)を、プロジェクトの開始時や期間中などの早期に定量的に把握・予測することを可能とするプロジェクトリスク管理システムおよびプロジェクトリスク管理方法を提供することにある。
 本発明の前記ならびにその他の目的と新規な特徴は、本明細書の記述および添付図面から明らかになるであろう。
 本願において開示される発明のうち、代表的なものの概要を簡単に説明すれば、以下のとおりである。
 本発明の代表的な実施の形態によるプロジェクトリスク管理システムは、完了前の評価対象プロジェクトにおいて取得された所定のリスク項目の値に基づいて、前記評価対象プロジェクトの完了時以降におけるリスクの顕在化の可能性を定量化して予兆とするプロジェクトリスク管理システムであって、MT(Mahalanobis Taguchi)法により、過去の複数の成功プロジェクトにおける前記リスク項目の値の集合を単位空間とし、前記単位空間からの乖離をマハラノビスの距離として求めるための予兆モデルを生成する予兆モデル生成部と、前記予兆モデルに基づいて、前記評価対象プロジェクトの前記単位空間からのマハラノビスの距離を算出して前記予兆とするリスク算出部と、を有するものである。
 本願において開示される発明のうち、代表的なものによって得られる効果を簡単に説明すれば以下のとおりである。
 すなわち、本発明の代表的な実施の形態によれば、プロジェクトにおいて将来リスクが顕在化する可能性(予兆)を、プロジェクトの開始時や期間中などの早期に定量的に把握・予測することが可能となる。
本発明の一実施の形態であるプロジェクトリスク管理システムの構成例について概要を示した図である。 本発明の一実施の形態におけるプロジェクトのリスク評価の手法の例について概要を示した図である。 本発明の一実施の形態におけるプロジェクトのリスクの予測範囲の例について概要を示した図である。 本発明の一実施の形態におけるプロジェクトのリスク算出処理の流れおよび処理内容の例について概要を示した図である。 従来技術におけるプロジェクトのリスク評価の手法の例について概要を示した図である。
 以下、本発明の実施の形態を図面に基づいて詳細に説明する。なお、実施の形態を説明するための全図において、同一部には原則として同一の符号を付し、その繰り返しの説明は省略する。一方で、ある図において符号を付して説明した部位について、他の図の説明の際に再度の図示はしないが同一の符号を付して言及する場合がある。また、以下においては、本発明の特徴を分かり易くするために、従来の技術と比較して説明する。
 <概要>
 上述したように、従来技術では一般的に、プロジェクトにおける複数の項目・指標を対象としつつ各項目は独立して管理され、例えば、項目毎に個別に閾値等が設定され、閾値を越えた項目がある場合にプロジェクトのリスクが高いと判断して警告等を行う。
 なお、以下の説明において、プロジェクトにおける「リスク(「プロジェクトリスク」と記載する場合もある)」とは、プロジェクトにおける不確実な事象・状態のことを指す。例えば、「納期遅延が起こるかもしれない」、「障害が起こるかもしれない」というような不確定・不確実な不安要素が「リスク」であり、これを管理することが「リスク管理」である。これらのリスクが実際に発生して顕在化すると、プロジェクトの目的や目標にマイナス(もしくはプラス)の影響を及ぼすことになる。既に起こってしまった事象は「リスク」ではなく「リスクの顕在化」であり、これは現時点での「課題」として扱われる。そして、プロジェクトの完了時(もしくは完了後)における「リスクの顕在化」の状況が、プロジェクトの成功・失敗を判断する上での主な要素となる。
 図5は、従来技術におけるプロジェクトのリスク評価の手法の例について概要を示した図である。ここでは、「項目1」、「項目2」の2つのリスク項目の値に基づいてリスクを管理する場合を示している。リスク項目とは、詳細は後述するが、プロジェクトの成功・失敗に影響を与える要素・要因となり得る指標、換言すれば、リスクの顕在化に対して影響を及ぼし得ると考えられる指標である。従来、リスク項目として挙げられる項目はそれぞれ個別に設定され独立して管理される場合がほとんどであった。具体的には、例えば各項目に対してそれぞれ個別に閾値が設けられ、閾値超過の有無は個別にモニタリングされ、超過した項目がある場合に注意や警告が発出されるという手法が主にとられていた。
 図5の例では、「項目1」、「項目2」を軸とした2次元の座標空間上に各プロジェクトの状況を○でプロットしたものを示している。また、各軸について設けられた上限・下限の閾値、および各軸の値の分布状況と平均値も併せて示している。なお、図5の例では、2つのリスク項目に基づく評価であるため2次元の座標空間として表示しているが、3つ以上のリスク項目を用いてもよく、その場合は3次元以上の座標空間により同様の考え方をとることができる。
 従来技術では、いずれか1つ以上のリスク項目において値が上限・下限いずれかの閾値を超えた場合に、リスクが高い危険な(異常な)プロジェクトであると判断することになる。図5の例では、「プロジェクトB」は「項目1」の値が上限の閾値を超えていることから「危険」と判断され、「プロジェクトA」はいずれの閾値も超えていないことから「正常(もしくは優良)」と判断される。すなわち、「プロジェクトB」の方が、「プロジェクトA」よりも、両項目がそれぞれ平均値である点(すなわち、「平均的」なプロジェクト)からの距離が離れているため危険な状態であると判断される。
 しかしながら、「項目1」と「項目2」の相関関係によっては必ずしもそのように評価できない場合がある。例えば、「項目1」が具体的には「プロジェクトメンバーの残業時間」であり、「項目2」が具体的には「プロジェクトマネージャの残業時間」であるとした場合、これらの項目間には通常は高い相関関係があるとも考えられ、プロジェクトマネージャの残業時間の増加に伴い、プロジェクトメンバーの残業時間も増加する傾向となるのは通常の事態であるとも言い得る。この場合、「項目2」の「プロジェクトマネージャの残業時間」が同程度に大きい「プロジェクトA」と「プロジェクトB」について、「項目1」の「プロジェクトメンバーの残業時間」も大きい値となっている「プロジェクトB」よりも、「プロジェクトマネージャの残業時間」が大きいにも関わらず「プロジェクトメンバーの残業時間」が小さい「プロジェクトA」の方がより異常・危険な状態であると評価される場合もあり得る。
 この点、図5に示したような従来技術での評価手法では、上記のようにリスク項目間に相関関係があると考えられる場合に、その傾向を考慮した上でリスクを定量的に評価することができない、という課題を有する。同様に、例えば、「プロジェクトA」は「項目2」のみ上限の閾値を上回っており、一方で「プロジェクトB」は「項目1」のみ上限の閾値を上回っている、という状況の場合に、「プロジェクトA」と「プロジェクトB」のいずれが危険であるか(対応の優先度が高いか)を比較して判断することが困難である、という課題も有する。
 これに対し、複数のリスク項目を独立して個別に管理するのではなく、例えば、各項目の値・スコア等に対して所定の重み付けを行って合算し、これを総合指標として定量的な評価の対象とする手法も検討されているが、上述したように、重み付けの手法に論理的な根拠が乏しい場合も多く、評価の精度を確保することが困難である、という課題を有する。
 複数の項目や指標に基づく定量的な評価を行う際に、重回帰分析等の公知の多変量解析技術が用いられることがあり、プロジェクトのリスク管理においてもこのような従来の多変量解析等の手法を適用することが考えられる。しかしながら、通常、プロジェクトは成功するものの方が圧倒的に多く、明らかに「失敗」と評価できるプロジェクトの数はそうでないものと比較して非常に少ない。したがって、多変量解析における目的変数の基礎となる「失敗」プロジェクトのデータが不足することで、精度の高い定量化モデルを作ることができない、という課題も有する。
 そこで、本発明の一実施の形態であるプロジェクトリスク管理システムは、主に製造業における品質工学で用いられているMT(Mahalanobis Taguchi)法を応用することで、上記の課題の解決を図る。すなわち、「失敗」プロジェクトではなく、複数の「成功」プロジェクトを特定し、これらの特徴を示す複数の項目のデータを集め、各項目間の相関関係・相関構造をプロジェクトが本来あるべきモデル構造として定義する。そして、評価対象となるプロジェクトについても同様の項目のデータを取得し、「成功」プロジェクトのモデル構造からの「マハラノビスの距離(以下では「MD」と記載する場合がある)」を測ることで、「成功」からの乖離としての「異常」や「危険」を定量的に可視化する。MDは、項目や変数間の相関性も考慮した多次元空間における距離に相当するものである。
 図2は、本実施の形態におけるプロジェクトのリスク評価の手法の例について概要を示した図である。ここでは、図5の示した従来技術と同様に、「項目1」、「項目2」の2つのリスク項目の値に基づいてリスクを管理する場合を示し、「項目1」、「項目2」を軸とした2次元の座標空間上に各プロジェクトの状況をプロットしたものを示している。
 MT法を用いる場合、まず、「成功」したと明らかに評価できるプロジェクト(優良なプロジェクト)のデータを集める。図2の例では、●で示されるものが「成功」したプロジェクトであるとする。そして、各「成功」プロジェクトにおける「項目1」と「項目2」の相関関係を測定し、これに基づいて楕円形で示される閾値を設定する。図2の例において、最も内側の網掛けの付された楕円は、「MD=1」である単位空間(基準となるデータ群)を示している。すなわち、図2の例では、「MD=1」を閾値として、「MD≦1」の領域に存在するプロジェクトが「成功」プロジェクトと評価される。そして、その外側の実線の楕円は、「MD=2」を閾値として、「MD≦2」の領域に存在するプロジェクトは「正常」なプロジェクトであり、「MD>2」の領域に存在するプロジェクトは「危険」なプロジェクトと評価することを示している。
 図2の例では、「プロジェクトA」は「MD>2」の領域に存在することから、「危険」なプロジェクトであると評価され、「プロジェクトB」は「MD≦2」の領域に存在することから「正常」なプロジェクトであると評価される。すなわち、図5に示した従来技術による評価とは逆の評価となる。そして、図2の例による評価の方が、より実態に即した評価結果を得ることができる。なお、本実施の形態においても、リスク項目は2つに限らず、3つ以上のリスク項目を用いて3次元以上の座標空間によりMDを算出するようにしてもよい。
 図3は、本実施の形態におけるプロジェクトのリスクの予測範囲の例について概要を示した図である。本実施の形態では、「成功」プロジェクトを判断する指標となる項目として、一般的にプロジェクトにおけるリスク管理・分析において使用される大項目のうち、いわゆるQ(Quality:品質)、C(Cost:コスト)、D(Delivery:納期)を対象とする。そして、プロジェクト期間中の各フェーズにおいて、Q、C、Dに関連するリスク項目に係るデータ(図中の「潜在リスク指標」)を入力として、MT法を利用して作成された予兆モデルに基づいて、プロジェクト完了時(および完了後)におけるQ、C、Dに係るリスクの顕在化状況(予兆)を定量化する。
 例えば、プロジェクト計画時のデータに基づいてプロジェクト完了時のリスク顕在化状況を予測することができる。同様に、プロジェクト期間中の設計、開発、テスト等のフェーズ毎のリスク項目に係るデータを入力としてプロジェクト完了時のリスク顕在化の予兆を定量化することができる。また、プロジェクト完了時(および完了後)のリスクの顕在化を対象とするものに限らず、プロジェクト期間中の特定のフェーズでのリスクの顕在化の予兆を定量化するものであってもよい。例えば、プロジェクト計画時のデータに基づいてプロジェクト期間中の開発フェーズにおいてリスクが顕在化する予兆を定量化するものであってもよい。
 <システム構成>
 図1は、本発明の一実施の形態であるプロジェクトリスク管理システムの構成例について概要を示した図である。プロジェクトリスク管理システム10は、例えば、サーバ機器やクラウドコンピューティングサービス上に構築された仮想サーバ等により構成されたサーバシステムからなり、インターネットやLAN(Local Area Network)等のネットワーク30を介してユーザが使用するPC(Personal Computer)等の情報処理端末であるユーザ端末40がクライアントとして接続される構成を有する。このようなクライアント/サーバ型の構成に限らず、PC等によるスタンドアロンの構成としてもよい。
 プロジェクトリスク管理システム10は、例えば、図示しないOS(Operating System)やDBMS(DataBase Management System)などのミドルウェア上で稼働するソフトウェアとして実装されるデータ取得部11、成功プロジェクト選定部12、項目選定部13、予兆モデル生成部14、プロジェクト情報取得部15、およびリスク算出部16などの各部を有する。これら各部は、1つ以上のアプリケーションプログラムとして実装されてもよいし、表計算ソフトウェア上で稼働するマクロプログラムやスクリプト等として実装されてもよい。
 また、プロジェクトリスク管理システム10は、データベースやファイル等により実装される蓄積プロジェクト情報22、成功判定基準23、成功プロジェクト情報24、項目候補25、選定項目26、評価プロジェクト情報27、および予兆モデル28などの各データストアを有する。
 データ取得部11は、例えば、ユーザからの指示に基づいて、予兆モデル28を作成するための基礎データとなる過去の複数のプロジェクトの実績情報であるプロジェクト情報21を取り込んで、フォーマット変換等の加工を行い、蓄積プロジェクト情報22に記録・蓄積する機能を有する。成功プロジェクト選定部12は、予めユーザにより設定された成功判定基準23の内容に基づいて、蓄積プロジェクト情報22に記録されたプロジェクトの中から「成功」プロジェクト、すなわち、上述の図2の例における単位空間を構成するプロジェクト群を選定して、成功プロジェクト情報24として記録する機能を有する。なお、成功プロジェクト情報24には、対象のプロジェクトを特定するIDや番号等のみを保持し、内容に係るデータは蓄積プロジェクト情報22を参照するようにしてもよい。
 項目選定部13は、予めユーザにより設定された項目候補25の内容と、成功プロジェクト情報24(および蓄積プロジェクト情報22)の内容とに基づいて、リスク項目(説明変数)とする項目を自動的に選定し、選定項目26として出力する機能を有する。予兆モデル生成部14は、成功プロジェクト情報24に記録されたプロジェクトのデータと、選定項目26の内容に基づいて、MT法を利用して各項目の相関関係を考慮した「成功」プロジェクトの本来あるべき構造(単位空間)のモデルを予兆モデル28として生成する機能を有する。
 プロジェクト情報取得部15は、例えば、ユーザからの指示に基づいて、リスクを評価する対象のプロジェクトについての必要な実績情報を取り込んで、評価プロジェクト情報27として記録する機能を有する。必要な実績情報としては、例えば、当該プロジェクトリスク管理システム10を利用してプロジェクトの計画時点での将来のリスク評価を行う場合には、対象プロジェクトの計画時点での実績情報として、選定項目26の各リスク項目に係るデータが少なくとも含まれている必要がある。
 リスク算出部16は、評価プロジェクト情報27に記録された評価対象のプロジェクトについて、予兆モデル28に基づいてプロジェクト完了時(完了後)等の将来におけるリスクが顕在化する予兆を算出して、所定の閾値を超える危険な状況であるか否かを判定する機能を有する。具体的には、MT法を用いて、評価対象のプロジェクトについて、「成功」プロジェクト群が有する特徴からの乖離を、「成功」プロジェクト群からなる単位空間の中心からのMDとして算出し、MDが所定の閾値を超えているか否かを判定する。
 <処理の流れ>
 図4は、本実施の形態におけるプロジェクトのリスク算出処理の流れおよび処理内容の例について概要を示した図である。まず、事前準備として、プロジェクトリスク管理システム10のデータ取得部11により、基礎データとなるプロジェクト情報21を取り込んで加工し、蓄積プロジェクト情報22に記録する(S01)。成功プロジェクトのデータを数多く得て精度の高い予兆モデル28を作成するためにも、プロジェクト情報21に含まれるプロジェクトの数は、システムの処理能力等を考慮しつつ可能な限り多い方が望ましい。
 次に、蓄積プロジェクト情報22に記録された各プロジェクトに対する成功プロジェクトの判定基準を検討し、成功判定基準23を設定する(S02)。本実施の形態では、上述したように、Q、C、Dの観点からプロジェクトのリスクの顕在化状況を評価するものとする。具体的には、例えば、Q(Quality:品質)については、システムの本番稼働後1ヶ月間における障害の発生件数を、障害の重要度に応じて重み付けしてスコアリングするという手法が考えられる。
 また、C(Cost:コスト)については、プロジェクト計画時の見積もり工数に対する、プロジェクト完了時の実績工数の乖離度に基づいてスコアリングするという手法が考えられる。また、D(Delivery:納期)についても、プロジェクト計画時の見積もりプロジェクト期間に対する、プロジェクト完了時の実績プロジェクト期間の乖離度に基づいてスコアリングするという手法が考えられる。
 Q、C、Dのそれぞれについて、各プロジェクトでのスコアを正規化し(例えば、平均:ゼロ、標準偏差:1の値に変換する)、Q、C、Dのうち最も値が大きい(悪い)ものを対象プロジェクトのリスクの顕在化状況の評価値とする。そして、例えば、この評価値が所定の閾値以下のプロジェクト、もしくは、値が小さいものから順に所定の数だけ抽出したプロジェクトを成功プロジェクトとして判定するものとする。上記の判定基準はユーザにより設定され、成功判定基準23としてプロジェクトリスク管理システム10に予め登録されているものとする。
 なお、上記の評価方法や評価に用いる指標、観点等はあくまで一例であり、他の評価方法や指標等を適宜用いてもよいことは当然である。例えば、Q、C、Dのそれぞれについて、1種類の評価手法ではなく複数の評価手法を組み合わせてスコアリングするようにしてもよい。また、Q、C、Dの観点以外に、プロジェクトメンバーの健康状態等の労務管理の観点を含めるなど、成功プロジェクト(もしくはプロジェクトの失敗のリスク)を適切に把握することができると考えられる評価方法を設定してもよい。成功判定基準23は、試行錯誤等により内容を適宜修正して精度を向上させていくことができる。
 その後、蓄積プロジェクト情報22に記録された各プロジェクトについて、成功プロジェクト選定部12が上記の成功判定基準23に従って評価を行い、成功プロジェクトを自動的に選定して、成功プロジェクト情報24として記録する(S03)。選定された成功プロジェクトは、MT法における単位空間を形成する。図4の右側には単位空間の例を表形式で示しており、ステップS03では、成功プロジェクトとして「PJT1」~「PJT3」などが選定されたことを示している。
 次に、成功プロジェクト情報24(および蓄積プロジェクト情報22)において整備・取得されているデータ項目から、リスクの顕在化状況を推測するためのリスク項目として用いる項目の候補を選定する(S04)。本実施の形態では、項目の候補はユーザにより選定・設定され、項目候補25としてプロジェクトリスク管理システム10に予め登録されているものとする。候補とする項目がリスクの種別や分類に対して偏りが少なくなるように選定しておくのが望ましい。
 その後、項目候補25に含まれる項目の中から、項目選定部13が所定の数(n個)の項目を評価対象のリスク項目として自動的に選定して、選定項目26として記録する(S05)。よって、項目候補25にはn個以上のリスク項目の候補が予め設定されている必要があることになる。項目選定部13により選定されて選定項目26に含まれる各項目も、成功プロジェクトにより形成される単位空間の要素となる。図4の右側の単位空間の例において、ステップS05では、リスク項目として「項目1」~「項目n」が選定されたことを示している。
 選定項目26の選定にあたっては、最終的な予兆モデル28の精度が高くなるよう、例えば、異なる項目の組み合わせを含む複数パターンの選定項目26について、後述する処理により得られたモデルを用いて、実際に過去のプロジェクトを評価してみた結果を、当該プロジェクトの実績と比較して評価・検証し、好適な選定項目26を選択する。具体的には、例えば、実験計画法により、各パターンの選定項目26に対する評価結果のS/N比を評価する等の手法により好適な選定項目26を得る。これにより、モデルの精度を高めつつ、項目選定におけるユーザの恣意を排除することができる。
 その後、以上の処理により得られた単位空間に基づいて、予兆モデル生成部14がリスクの顕在化状況を推測するための予兆モデル28を構築する(S06)。具体的には、図4の右側に示すように、単位空間の各項目(「項目1」、「項目2」…「項目n」)についての相関係数を求めて相関行列(Y)を作成し、その逆行列(Y-1)を得る。そして、これを評価対象プロジェクトについてのMDを求めるモデル計算式に投入することで予兆モデル28を得る。
 そして、リスク算出部16が、プロジェクト情報取得部15により別途予め取得されている評価プロジェクト情報27に記録された評価対象のプロジェクトのデータと、予兆モデル28とに基づいて、リスクの顕在化状況の予兆を算出する(S07)。すなわち、図4の右側に示すように、予兆モデル28の計算式に対して、評価対象プロジェクトについての選定項目26の各項目に対応するデータからなる行列(A)を投入し、MD(A)を算出する。これによりリスクの顕在化状況の予兆を定量的に把握することができ、例えば、算出されたMD(A)を図2の例に示したように所定の閾値と評価することで、リスク管理の観点からプロジェクトが「危険」か「正常」か、を判定することができる。
 以上に説明したように、本発明の一実施の形態であるプロジェクトリスク管理システム10によれば、MT法を応用し、「失敗」プロジェクトではなく複数の「成功」プロジェクトを特定し、これらの特徴を示す複数の項目間の相関関係をプロジェクトが本来あるべきモデル構造として定義する。そして、評価対象となるプロジェクトについての「成功」プロジェクトのモデル構造からの「マハラノビスの距離」を測ることで、「成功」からの乖離としてのリスクを定量化する予兆モデル28を構成する。
 これにより、評価対象となる複数の異なるプロジェクトについても、「マハラノビスの距離」という一つの指標により容易に横比較することが可能となる。また、リスクを評価する予兆モデル28は、成功プロジェクトからなる単位空間における相関行列を用いたものであり、リスクの計算は行列計算のみとなるため、ユーザの恣意が排除された論理的な評価値を得ることができる。
 また、成功プロジェクトにおける複数の項目間の相関関係を予兆モデル28に取り込むことで、単一の項目の値だけでは異常値であると判断できない場合でも、複数の項目の組み合わせの傾向が異常な場合を検知することができる。また、「成功」プロジェクトからなる単位空間からの距離を用いたモデルであるため、「失敗」したプロジェクトのデータが少ない場合でも高い精度の予兆モデル28を構築することができる。
 以上、本発明者によってなされた発明を実施の形態に基づき具体的に説明したが、本発明は上記の実施の形態に限定されるものではなく、その要旨を逸脱しない範囲で種々変更可能であることはいうまでもない。例えば、上記の実施の形態は本発明を分かりやすく説明するために詳細に説明したものであり、必ずしも説明した全ての構成を備えるものに限定されるものではない。また、上記の実施の形態の構成の一部について、他の構成の追加・削除・置換をすることが可能である。
 本発明は、将来顕在化し得るリスクを定量的に評価するプロジェクトリスク管理システムおよびプロジェクトリスク管理方法に利用可能である。
10…プロジェクトリスク管理システム、11…データ取得部、12…成功プロジェクト選定部、13…項目選定部、14…予兆モデル生成部、15…プロジェクト情報取得部、16…リスク算出部、
21…プロジェクト情報、22…蓄積プロジェクト情報、23…成功判定基準、24…成功プロジェクト情報、25…項目候補、26…選定項目、27…評価プロジェクト情報、28…予兆モデル、
30…ネットワーク、
40…ユーザ端末

Claims (4)

  1.  完了前の評価対象プロジェクトにおいて取得された所定のリスク項目の値に基づいて、前記評価対象プロジェクトの完了時以降におけるリスクの顕在化の可能性を定量化して予兆とするプロジェクトリスク管理システムであって、
     MT(Mahalanobis Taguchi)法により、過去の複数の成功プロジェクトにおける前記リスク項目の値の集合を単位空間とし、前記単位空間からの乖離をマハラノビスの距離として求めるための予兆モデルを生成する予兆モデル生成部と、
     前記予兆モデルに基づいて、前記評価対象プロジェクトの前記単位空間からのマハラノビスの距離を算出して前記予兆とするリスク算出部と、を有する、プロジェクトリスク管理システム。
  2.  請求項1に記載のプロジェクトリスク管理システムにおいて、
     さらに、過去の複数のプロジェクトの実績情報から、予め設定された判定基準に基づいて、完了時以降におけるリスクの顕在化の状況が低いものから順に所定の数だけ前記成功プロジェクトとして抽出する成功プロジェクト選定部を有する、プロジェクトリスク管理システム。
  3.  請求項1に記載のプロジェクトリスク管理システムにおいて、
     さらに、予め設定された前記リスク項目の候補の中から、複数の前記成功プロジェクトからなる前記単位空間を生成する際に用いる前記リスク項目を選定する項目選定部を有し、
     前記項目選定部は、前記リスク項目の候補に含まれる前記各リスク項目の組み合わせ毎に、前記組み合わせに係る前記リスク項目を用いて前記予兆モデル生成部および前記リスク算出部によって算出した過去の特定のプロジェクトに係る前記予兆と、前記過去の特定のプロジェクトの実績情報とを比較することで、前記単位空間を生成する際に用いる前記リスク項目の組み合わせを選定する、プロジェクトリスク管理システム。
  4.  コンピュータシステムが、完了前の評価対象プロジェクトにおいて取得された所定のリスク項目の値に基づいて、前記評価対象プロジェクトの完了時以降におけるリスクの顕在化の可能性を定量化して予兆とするプロジェクトリスク管理方法であって、
     MT法により、過去の複数の成功プロジェクトにおける前記リスク項目の値の集合を単位空間とし、前記単位空間からの乖離をマハラノビスの距離として求めるための予兆モデルを生成するステップと、
     前記予兆モデルに基づいて、前記評価対象プロジェクトの前記単位空間からのマハラノビスの距離を算出して前記予兆とするステップと、を有する、プロジェクトリスク管理方法。
PCT/JP2015/069855 2015-07-10 2015-07-10 プロジェクトリスク管理システムおよびプロジェクトリスク管理方法 WO2017009888A1 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/069855 WO2017009888A1 (ja) 2015-07-10 2015-07-10 プロジェクトリスク管理システムおよびプロジェクトリスク管理方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/069855 WO2017009888A1 (ja) 2015-07-10 2015-07-10 プロジェクトリスク管理システムおよびプロジェクトリスク管理方法

Publications (1)

Publication Number Publication Date
WO2017009888A1 true WO2017009888A1 (ja) 2017-01-19

Family

ID=57757949

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/069855 WO2017009888A1 (ja) 2015-07-10 2015-07-10 プロジェクトリスク管理システムおよびプロジェクトリスク管理方法

Country Status (1)

Country Link
WO (1) WO2017009888A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110399302A (zh) * 2019-07-26 2019-11-01 中国工商银行股份有限公司 软件测试项目的风险识别方法、装置、电子设备和介质
JP2020160852A (ja) * 2019-03-27 2020-10-01 株式会社toor 状態判定装置及び状態判定方法
WO2020225861A1 (ja) * 2019-05-07 2020-11-12 株式会社マネジメントソリューションズ プロジェクト管理システム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
JUN'ICHIRO SHIBATA: "Influence of Imbalance Data toward Cost Overrun Project Prediction", IPSJ SIG NOTES HEISEI 21 NENDO 6, 15 April 2010 (2010-04-15), pages 1 - 6, XP055348086 *

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020160852A (ja) * 2019-03-27 2020-10-01 株式会社toor 状態判定装置及び状態判定方法
JP7343137B2 (ja) 2019-03-27 2023-09-12 株式会社toor 状態判定装置及び状態判定方法
WO2020225861A1 (ja) * 2019-05-07 2020-11-12 株式会社マネジメントソリューションズ プロジェクト管理システム
JPWO2020225861A1 (ja) * 2019-05-07 2021-05-20 株式会社マネジメントソリューションズ プロジェクト管理システム
CN110399302A (zh) * 2019-07-26 2019-11-01 中国工商银行股份有限公司 软件测试项目的风险识别方法、装置、电子设备和介质

Similar Documents

Publication Publication Date Title
Arisholm et al. A systematic and comprehensive investigation of methods to build and evaluate fault prediction models
US9268674B1 (en) System, method, and computer program for monitoring testing progress of a software testing project utilizing a data warehouse architecture
US20060282276A1 (en) Method and system for determining effectiveness of a compliance program
CN102257520A (zh) 应用的性能分析
JP5373870B2 (ja) 予測装置、予測方法、及び、プログラム
JP6315528B1 (ja) 異常検知モデル構築装置、異常検知モデル構築方法及びプログラム
JP6193287B2 (ja) 異常検出装置、異常検出方法及びネットワーク異常検出システム
WO2017009888A1 (ja) プロジェクトリスク管理システムおよびプロジェクトリスク管理方法
Cinque et al. On the impact of debugging on software reliability growth analysis: a case study
Goetz et al. Robustness evaluation of product concepts based on function structures
EP2940585A1 (en) Response method creation program, response method creation method, and information processing device
Zhai et al. Analysis of time-to-failure data with Weibull model in product life cycle management
Erdoğan et al. More effective sprint retrospective with statistical analysis
JP2019175273A (ja) 品質評価方法および品質評価装置
CN115114124A (zh) 主机风险的评估方法及评估装置
CN116909712A (zh) 基于机器学习的智能任务调度系统及其方法
Hani et al. Support vector regression for service level agreement violation prediction
Ramler et al. Requirements for integrating defect prediction and risk-based testing
Chamoli et al. Analysing software metrics for accurate dynamic defect prediction models
KR20170018794A (ko) 부분 고장 데이터를 이용한 소프트웨어 신뢰도 평가모델 선택 시스템 및 방법
JP2009301341A (ja) サービシステム、サービスシステム管理方法、及びプログラム
JP6778032B2 (ja) 業務プロセス評価方法および装置
Yi et al. Impacts of networking effects on software reliability growth processes: a multi‐attribute utility theory approach
KR101641830B1 (ko) Bim 기반 설계 업무환경의 지식정보 활용수준 측정 체계
Li et al. Multi-criteria performance management methodology for decision support in industrial project selection problems

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15898204

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

NENP Non-entry into the national phase

Ref country code: JP

122 Ep: pct application non-entry in european phase

Ref document number: 15898204

Country of ref document: EP

Kind code of ref document: A1