JPH0830493A - Reliability evaluation system for software - Google Patents
Reliability evaluation system for softwareInfo
- Publication number
- JPH0830493A JPH0830493A JP6168163A JP16816394A JPH0830493A JP H0830493 A JPH0830493 A JP H0830493A JP 6168163 A JP6168163 A JP 6168163A JP 16816394 A JP16816394 A JP 16816394A JP H0830493 A JPH0830493 A JP H0830493A
- Authority
- JP
- Japan
- Prior art keywords
- reliability
- software
- estimation model
- program
- model
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Landscapes
- Debugging And Monitoring (AREA)
Abstract
Description
【０００１】[0001]
【産業上の利用分野】本発明は、ソフトウエアの品質評
価に関し、信頼度推定モデルによりソフトウエア信頼度
を推定する方式を採用したソフトウエアの信頼性評価シ
ステムに関する。BACKGROUND OF THE INVENTION 1. Field of the Invention The present invention relates to software quality evaluation, and more particularly to a software reliability evaluation system adopting a method of estimating software reliability by a reliability estimation model.
【０００２】[0002]
【従来の技術】従来、コンピュータシステムでは、シス
テムの構成要素としてソフトウエアは、システムの性能
と信頼性に与える影響が大きい重要な要素である。特
に、システムの信頼性を左右するソフトウエアの品質を
保証するために、ソフトウエアの品質評価に関する技術
について、各種の方式が開発、研究されている。2. Description of the Related Art Conventionally, in a computer system, software as a constituent element of the system is an important element having a great influence on the performance and reliability of the system. In particular, in order to guarantee the quality of software that influences the reliability of the system, various methods have been developed and studied for the technology relating to software quality evaluation.
【０００３】この技術の中で、ソフトウエア信頼度を推
定するための信頼性評価システムが開発されている。ソ
フトウエア信頼度とは、所定の環境と期間中にソフトウ
エア故障を引き起こすことなく、正常に動作する確率で
ある。In this technology, a reliability evaluation system for estimating software reliability has been developed. Software reliability is the probability of normal operation without causing software failure during a given environment and period.
【０００４】ソフトウエア信頼度を推定する技術として
は、ソフトウエア信頼度成長モデルやソフトウエア複雑
性モデル等が周知である（例えば参考文献として、情報
処理学会誌の情報処理，ＶＯＬ．３２，ＮＯ．１１，１
９９１年の第１１８９頁−第１２００頁がある）。As a technique for estimating the software reliability, a software reliability growth model, a software complexity model, etc. are well known (for example, as a reference, Information Processing of IPSJ, VOL.32, NO. .11, 1
991, pages 1189-1200).
【０００５】ソフトウエア信頼度成長モデルは、特にソ
フトウエア開発のテスト工程におけるソフトウエアエラ
ー（以下、不具合と称する）の検出過程をモデル化した
ものである。このモデルは、テスト時間の経過に連れて
ソフトウエアの内部に潜在する不具合が、所定の数理モ
デル（狭義の信頼度推定モデル）に従って発見されるこ
とを想定し、その結果としてソフトウエアの信頼度が増
加し、ソフトウエア故障の発生時間間隔が長くなること
が特徴である。一方、ソフトウエア複雑性モデルは、ソ
フトウエア・システムの複雑性や開発プロセスの複雑性
に基づいて、ソフトウエアの内在する不具合や故障の数
を推定するものである。The software reliability growth model is a model of a process of detecting a software error (hereinafter, referred to as a defect) particularly in a test process of software development. This model assumes that defects that are latent in the software will be discovered according to a predetermined mathematical model (a reliability estimation model in a narrow sense) as the test time passes, and as a result, the software reliability will be reduced. Is increased, and the time interval of occurrence of software failure is lengthened. On the other hand, the software complexity model estimates the number of defects and failures inherent in the software based on the complexity of the software system and the complexity of the development process.
【０００６】このようなソフトウエア信頼度を推定する
技術として、ソフトウエア信頼度成長モデルは、テスト
工程の進捗状況やソフトウエア開発の結果を定量的に把
握することが可能であるため有用である。しかしなが
ら、利用する信頼度推定モデルは多岐にわたり、それぞ
れ開発環境やシステムの特徴に依存している。このた
め、複数種類の信頼度推定モデルを選択して、各モデル
の推定結果に基づいてソフトウエア信頼度を推定するこ
とがなされる。As a technique for estimating such software reliability, the software reliability growth model is useful because it is possible to quantitatively grasp the progress of the test process and the result of software development. . However, there are various reliability estimation models to be used, and they depend on the characteristics of the development environment and the system. Therefore, a plurality of types of reliability estimation models are selected and the software reliability is estimated based on the estimation result of each model.
【０００７】[0007]
【発明が解決しようとする課題】従来のソフトウエア信
頼度を推定する技術として、複数種類の信頼度推定モデ
ルを利用するソフトウエア信頼度成長モデル方式が有用
である。しかしながら、複数種類の信頼度推定モデルか
ら最適なモデルを選択すること、即ち、各モデルの推定
結果を正しく評価することは困難である。このため、信
頼度推定モデルの選択を誤ると、評価結果の信頼度の低
下を招く問題がある。As a conventional technique for estimating software reliability, a software reliability growth model method utilizing a plurality of types of reliability estimation models is useful. However, it is difficult to select an optimal model from a plurality of types of reliability estimation models, that is, to correctly evaluate the estimation result of each model. Therefore, if the reliability estimation model is selected incorrectly, there is a problem that the reliability of the evaluation result is lowered.
【０００８】本発明の目的は、複数種類の信頼度推定モ
デルを利用する方式のソフトウエアの信頼性評価システ
ムにおいて、最適な信頼度推定モデルを選択できるよう
にして、評価結果の信頼度の向上を図ることにある。An object of the present invention is to improve the reliability of evaluation results by making it possible to select an optimum reliability estimation model in a software reliability evaluation system that uses a plurality of types of reliability estimation models. Is to try.
【０００９】[0009]
【課題を解決するための手段】本発明は、特にソフトウ
エア開発におけるテスト工程時に、テスト処理により得
られる不具合発見数データを利用して、複数種類の信頼
度推定モデルによりテスト対象のプログラムに内在する
潜在不具合数を推定する方式のソフトウエアの信頼性評
価システムである。本システムは、各信頼度推定モデル
毎の潜在不具合数を推定する推定手段、例えばファジィ
（ｆｕｚｚｙ）推論方式の評価ルールを使用して各信頼
度推定モデルの信頼度を算出する算出手段および各信頼
度推定モデルから最適モデルを選出する選出手段を有す
る。The present invention is inherent in a program to be tested by a plurality of types of reliability estimation models by utilizing the data of the number of found defects obtained by the test process, especially at the test process in software development. This is a software reliability evaluation system that estimates the number of potential defects. The present system includes an estimating means for estimating the number of latent defects for each reliability estimation model, for example, a calculating means for calculating the reliability of each reliability estimation model using an evaluation rule of a fuzzy inference method and each reliability. It has a selection means for selecting the optimum model from the degree estimation model.
【００１０】[0010]
【作用】本発明では、推定手段はテスト処理により得ら
れる不具合発見数データに基づいて、各信頼度推定モデ
ル毎の潜在不具合数を推定する。算出手段は、テスト工
程でのテスト項目を含む所定の評価項目を用いて、例え
ばファジィ推論方式の評価ルールにより各信頼度推定モ
デル毎に推定された潜在不具合数を評価し、各信頼度推
定モデルの信頼度を算出する。選出手段は、算出された
信頼度の中で最大値を示す信頼度推定モデルを最適モデ
ルとして選出する。In the present invention, the estimating means estimates the number of latent defects for each reliability estimation model based on the number of discovered defects data obtained by the test processing. The calculation means evaluates the number of potential defects estimated for each reliability estimation model by using a predetermined evaluation item including a test item in the test process, for example, by a fuzzy inference method evaluation rule, and calculates each reliability estimation model. Calculate the reliability of. The selecting means selects the reliability estimation model showing the maximum value among the calculated reliability as the optimum model.
【００１１】[0011]
【実施例】以下、図面を参照して本発明の実施例につい
て説明する。図１は同実施例に係わるソフトウエアの信
頼性評価システムの構成を説明するための機能ブロック
図、図２と図３は同実施例の動作を説明するためのフロ
ーチャート、図４と図５は同実施例の動作を説明するた
めの概念図である。 （システム構成）本システムは、図１に示すように、ソ
フトウエア・テスト処理部１、不具合数予測処理部２、
プログラム成熟度算出部３、評価処理部４、最適モデル
選出部５およびテスト継続判断部６からなる。Embodiments of the present invention will be described below with reference to the drawings. FIG. 1 is a functional block diagram for explaining the configuration of the software reliability evaluation system according to the same embodiment, FIGS. 2 and 3 are flowcharts for explaining the operation of the same embodiment, and FIGS. It is a conceptual diagram for demonstrating operation | movement of the Example. (System Configuration) As shown in FIG. 1, this system includes a software test processing unit 1, a defect number prediction processing unit 2,
The program maturity calculation unit 3, the evaluation processing unit 4, the optimum model selection unit 5, and the test continuation determination unit 6 are included.
【００１２】ソフトウエア・テスト処理部１は、テスト
対象のプログラムに対して従来のソフトウエアエラー
（不具合）を発見・修正・除去するためのテスト工程を
実行し、ソフトウエアの信頼性評価に必要な各種情報を
生成する。各種情報には、不具合発見数（エラー数）、
テスト時間、ソフトウエア故障発生回数、テスト網羅度
等の情報が含まれている。The software test processing unit 1 executes a conventional test process for finding, correcting, and removing a software error (defect) in a program to be tested, and is necessary for software reliability evaluation. Generate various information. Various information includes the number of detected defects (number of errors),
It includes information such as test time, the number of software failures, and test coverage.
【００１３】不具合数予測処理部２は、ソフトウエア・
テスト処理部１により得られた不具合発見数データに基
づいて、予め用意された複数種類の信頼度推定モデル毎
に、テスト対象のプログラムに内在する潜在不具合数
（総数）の推定を実行する。複数種類の信頼度推定モデ
ルとは、ソフトウエア信頼度成長モデル方式に利用され
る数理的な予測モデルであり、例えば指数モデル、ロジ
スティックモデル、ゴンペルツモデル、遅延Ｓ字型モデ
ル、ＨＧＤＭモデル、習字Ｓ字モデル等である。The defect number prediction processing unit 2 is a software
The number of latent defects (total number) inherent in the program to be tested is estimated for each of a plurality of types of reliability estimation models prepared in advance, based on the number of discovered defects data obtained by the test processing unit 1. The plural types of reliability estimation models are mathematical prediction models used in the software reliability growth model method, and include, for example, an exponential model, a logistic model, a Gompertz model, a delayed S-shaped model, an HGDM model, and a calligraphy S. Character models.
【００１４】プログラム成熟度算出部３は、不具合数予
測処理部２により推定された各信頼度推定モデル毎の潜
在不具合数に基づいて、テスト対象のプログラムの成熟
度（以下ＲＥＬと称する）を算出する。ここで、ＲＥＬ
は、「（既発見不具合数）÷（各信頼度推定モデル毎の
潜在不具合総推定数）」と定義する。The program maturity calculator 3 calculates the maturity (hereinafter referred to as REL) of the program to be tested based on the number of latent defects for each reliability estimation model estimated by the defect number prediction processor 2. To do. Where REL
Is defined as “(the number of defects already found) ÷ (the total estimated number of latent defects for each reliability estimation model)”.
【００１５】評価処理部４は、所定の評価項目（後述す
る）を用いて、例えばファジィ（ｆｕｚｚｙ）推論方式
による評価ルール（ファジィルール）によりプログラム
成熟度算出部３により算出されたＲＥＬを評価し、各信
頼度推定モデルの信頼度を算出する。The evaluation processing unit 4 evaluates the REL calculated by the program maturity calculation unit 3 using a predetermined evaluation item (described later), for example, an evaluation rule (fuzzy rule) based on a fuzzy inference method. , The reliability of each reliability estimation model is calculated.
【００１６】最適モデル選出部５は、算出された各信頼
度推定モデルの信頼度に基づいて、その信頼度の中で最
大値を示す信頼度推定モデルを最適モデルとして選出す
る。テスト継続判断部６は、選出された信頼度推定モデ
ルの推定結果に基づいて、前記のテスト工程の継続を判
断する。 （概略的動作）前記のシステム構成において、本発明の
特徴に関係する概略的動作を図２のフローチャートを参
照して説明する。本発明の特徴は、図２の点線で示すス
テップＳ２−Ｓ４までの処理であり、不具合数予測処理
部２、プログラム成熟度算出部３、評価処理部４、最適
モデル選出部５の各動作に相当する。Based on the calculated reliability of each reliability estimation model, the optimum model selection unit 5 selects the reliability estimation model showing the maximum value among the reliability as an optimum model. The test continuation determination unit 6 determines continuation of the test process based on the estimation result of the selected reliability estimation model. (Schematic Operation) In the system configuration described above, a schematic operation related to the features of the present invention will be described with reference to the flowchart of FIG. The feature of the present invention is the processing up to steps S2 to S4 shown by the dotted line in FIG. 2, and is performed in each operation of the defect number prediction processing unit 2, the program maturity calculation unit 3, the evaluation processing unit 4, and the optimum model selection unit 5. Equivalent to.
【００１７】即ち、ステップＳ２では、不具合数予測処
理部２は、ステップＳ１に示すテスト工程が所定の過程
まで進捗した時点で、テスト工程により得られた時系列
上の不具合発見数データに基づいて、テスト対象のプロ
グラムに内在する潜在不具合数（総数）の推定を実行す
る。ここで、前記のように予め用意された数理的な予測
モデルである複数種類の信頼度推定モデルを使用して、
プログラムの潜在不具合数（欠陥や誤りを含む）をテス
ト時間毎に算出する。この算出されたデータに基づい
て、以後のテスト工程の進捗による不具合検出過程で、
潜在すると想定される潜在不具合の総数を推定する。こ
れにより、各信頼度推定モデル毎の潜在不具合総数を求
める。さらに、プログラム成熟度算出部３は前記のＲＥ
Ｌを各信頼度推定モデル毎に算出する。That is, at step S2, the defect number prediction processing section 2 determines, based on the time-series defect detection number data obtained by the test process, when the test process shown at step S1 has progressed to a predetermined process. , Estimate the number of latent defects (total number) inherent in the program under test. Here, using a plurality of types of reliability estimation models that are mathematical prediction models prepared in advance as described above,
Calculate the number of latent defects in the program (including defects and errors) at each test time. Based on this calculated data, in the defect detection process due to the progress of the subsequent test process,
Estimate the total number of latent defects assumed to be latent. In this way, the total number of latent defects for each reliability estimation model is obtained. Furthermore, the program maturity calculator 3 uses the above-mentioned RE.
L is calculated for each reliability estimation model.
【００１８】次に、ステップＳ３では、評価処理部４と
最適モデル選出部５は、推定された各信頼度推定モデル
毎の潜在不具合総数の評価、同実施例ではＲＥＬの評価
を実行して、各信頼度推定モデルから最適モデルを選出
する。Next, in step S3, the evaluation processing unit 4 and the optimum model selection unit 5 execute the evaluation of the total number of latent defects for each estimated reliability estimation model, that is, the evaluation of REL in the embodiment, The optimum model is selected from each reliability estimation model.
【００１９】ここで、評価処理部４が用いる所定の評価
項目とは、例えばソフトウエア開発の熟練管理者による
評価基準を基にして選出した項目であり、プログラム規
模当たりのテスト時間（以下ＴＰＳと称する）、単位テ
スト時間当たりの不具合検出件数、プログラム規模当た
りのテスト項目数、テスト網羅度、予定テスト項目消化
率、およびテスト期間消化率等の各項目である。ＴＰＳ
の定義は「テスト時間÷プログラムサイズ」である。ま
た、不具合検出件数の定義は「不具合検出件数÷テスト
時間」であり、テスト項目数の定義は「テスト項目数÷
プログラムサイズ」であり、テスト網羅度の定義は「通
過プログラムコード量÷総プログラムコード量」であ
り、予定テスト項目消化率の定義は「テスト消化項目数
÷予定テスト項目数」である。Here, the predetermined evaluation item used by the evaluation processing unit 4 is, for example, an item selected based on an evaluation standard by a skilled manager of software development, and a test time per program scale (hereinafter referred to as TPS). ), The number of detected defects per unit test time, the number of test items per program scale, the test coverage, the planned test item consumption rate, and the test period consumption rate. TPS
Is defined as "test time / program size". The definition of the number of detected defects is "the number of detected defects / test time", and the definition of the number of test items is "the number of test items ÷
“Program size”, the definition of test coverage is “passed program code amount / total program code amount”, and the definition of planned test item digestion rate is “test digested item number / planned test item number”.
【００２０】さらに、ステップＳ４は、最適モデル選出
部５により選出された最適の信頼度推定モデルによる推
定結果（予測結果）を出力する処理である。この推定結
果により、テスト継続判断部６がテスト工程の継続を判
断する（ステップＳ５）。 （最適モデルの選出動作）前述の概略的動作において、
評価処理部４と最適モデル選出部５の具体的動作につい
て、図３のフローチャート、図４および図５を参照して
説明する。Further, step S4 is a process of outputting the estimation result (prediction result) by the optimum reliability estimation model selected by the optimum model selection unit 5. Based on this estimation result, the test continuation determination unit 6 determines continuation of the test process (step S5). (Optimum model selection operation) In the above-described schematic operation,
Specific operations of the evaluation processing unit 4 and the optimum model selection unit 5 will be described with reference to the flowchart of FIG. 3, and FIGS. 4 and 5.
【００２１】まず、図３のステップＳ１０は、不具合数
予測処理部２による処理であり、前記のように各信頼度
推定モデル毎の潜在不具合総数を推定する。さらに、ス
テップＳ１１は、プログラム成熟度算出部３により、前
記のＲＥＬを各信頼度推定モデル毎に算出する処理であ
る。First, step S10 of FIG. 3 is a process by the defect number prediction processing unit 2, and estimates the total number of latent defects for each reliability estimation model as described above. Further, step S11 is a process in which the program maturity calculator 3 calculates the REL for each reliability estimation model.
【００２２】次に、ステップＳ１２とステップＳ１３は
評価処理部４による処理である。まず、評価処理部４
は、前記のような所定の評価項目の各値を用いて、ファ
ジィ推論方式による評価ルール（ファジィルール）によ
りプログラム成熟度算出部３により算出されたＲＥＬを
評価する（ステップＳ１２）。Next, steps S12 and S13 are processing by the evaluation processing section 4. First, the evaluation processing unit 4
Evaluates the REL calculated by the program maturity calculator 3 by the fuzzy inference evaluation rule (fuzzy rule) using the values of the predetermined evaluation items as described above (step S12).
【００２３】ファジィルールとは、ｉｆ−ｔｈｅｎ形式
の制御規則で記述される。このファジィ制御規則におい
て、「ｉｆ」部分を前件部、「ｔｈｅｎ」部分を後件部
と称する。同実施例では、評価ルールの前件部としてＲ
ＥＬと評価項目を組み合わせたものを使用し、後件部に
は各信頼度推定モデルの信頼度（確信度）を記述する。
具体例としては、次のような表現形式となる。例えば
「もし、ＲＥＬが不十分かつＴＰＳが普通ならば、信頼
度は少々高い」や「もし、ＲＥＬが十分かつＴＰＳが高
いならば、信頼度はかなり高い」のような記述となる。The fuzzy rules are described by if-then type control rules. In this fuzzy control rule, the "if" part is called the antecedent part and the "then" part is called the consequent part. In this example, R is used as the antecedent part of the evaluation rule.
A combination of EL and evaluation items is used, and the consequent part describes the reliability (confidence) of each reliability estimation model.
As a specific example, the expression format is as follows. For example, "if REL is insufficient and TPS is normal, the reliability is a little high" or "if REL is sufficient and TPS is high, the reliability is quite high".
【００２４】ここで、ＲＥＬに関するメンバーシップ関
数（ファジィ特性関数）は、図４（Ａ）に示すように表
現される。同図（Ａ）において、「Ｚ」は未完成、
「Ｌ」は不十分、「Ｇ」は完成を意味する。ＴＰＳに関
するメンバーシップ関数は、同図（Ｂ）に示すように表
現される。同図（Ｂ）において、「ＮＢ」は非常に少な
い、「ＮＳ」は少ない、「ＺＲ」は普通、「ＰＳ」は多
い、「ＰＢ」は非常に多いを意味する。また、後件部で
ある信頼度のメンバーシップ関数は、同図（Ｃ）に示す
ように表現される。Here, the membership function (fuzzy characteristic function) relating to REL is expressed as shown in FIG. 4 (A). In the figure (A), "Z" is incomplete,
"L" means insufficient, "G" means completion. The membership function regarding TPS is expressed as shown in FIG. In FIG. 3B, "NB" means very few, "NS" is few, "ZR" is usually, "PS" is many, and "PB" is very many. Further, the membership function of the reliability, which is the consequent part, is expressed as shown in FIG.
【００２５】評価項目としてＴＰＳを選択した場合に
は、図４（Ｄ）に示すようなルールの組み合わせを得る
ことができる。このルールは、経験則を基にして作成さ
れる。この際、合成方法としてｍｉｎ−ｍａｘ演算を行
なう。このようなルールを各評価項目数分を作成し、そ
れぞれの評価結果を合成して後件部の出力を合成する。
そこで得られた図形の重心値を求めることにより、各信
頼度推定モデルの信頼度を算出することになる。When TPS is selected as the evaluation item, a combination of rules as shown in FIG. 4D can be obtained. This rule is created based on a rule of thumb. At this time, a min-max operation is performed as a combining method. Such rules are created for each evaluation item, and the respective evaluation results are combined to combine the output of the consequent part.
The reliability of each reliability estimation model is calculated by obtaining the barycentric value of the obtained figure.
【００２６】図５を参照して、実際の値を使用した具体
例について説明する。いま仮に、既発見不具合数が「５
５」で、ある信頼度推定モデルの潜在不具合総推定数が
「１００」の場合に、ＲＥＬは前記の定義（５５÷１０
０）により、「０．５５」となる。このとき、ＲＥＬに
関するメンバーシップ関数は、図５（Ａ）に示すように
表現されて、Ｚは「０．０」、Ｌは「０．９」、Ｇは
「０．１」となる。A specific example using an actual value will be described with reference to FIG. Now, suppose that the number of found defects is "5.
5 ”and the total estimated number of latent defects in a certain reliability estimation model is“ 100 ”, REL is defined as above (55/10).
0) gives "0.55". At this time, the membership function relating to REL is expressed as shown in FIG. 5A, Z is “0.0”, L is “0.9”, and G is “0.1”.
【００２７】次に、例えばＴＰＳが「０．０１６」と仮
定すると、ＴＰＳに関するメンバーシップ関数は、図５
（Ｂ）に示すように表現されて、ＮＢ，ＮＳ，ＺＲはい
ずれも「０．０」、ＰＳは「０．８」、ＰＢは「０．
２」となる。このとき、ルールの組み合わせ（マトリク
ス）は、図５（Ｃ）に示すようになり、有効な出力とし
て得られるのはハッチングで示す部分である。これは、
ｍｉｎ−ｍａｘ演算を実行する結果、ＲＥＬとＴＰＳの
いずれか一方が「０」の場合には、出力は「０」となる
ためである。そして、メンバーシップ関数の出力合成図
は、図５（Ｄ）に示すようになり、ハッチングで示す部
分が有効な値となる。この出力合成図から重心を求め
て、その値を該当する信頼度推定モデルの信頼度として
算出する。Next, assuming that TPS is "0.016", for example, the membership function for TPS is shown in FIG.
Expressed as shown in (B), NB, NS, and ZR are all "0.0", PS is "0.8", and PB is "0.
2 ”. At this time, the rule combination (matrix) is as shown in FIG. 5C, and what is obtained as an effective output is the hatched portion. this is,
This is because, as a result of executing the min-max calculation, when either REL or TPS is "0", the output becomes "0". Then, the output composite diagram of the membership function is as shown in FIG. 5D, and the hatched portion has an effective value. The center of gravity is obtained from this output composite diagram, and the value is calculated as the reliability of the corresponding reliability estimation model.
【００２８】このようにして、評価処理部４により各信
頼度推定モデル毎の信頼度を算出し、最適モデル選出部
５の処理に移行する。最適モデル選出部５は、ステップ
Ｓ１４に示すように、算出された信頼度の中で最大値を
検出し、この最大値に対応する信頼度推定モデルを最適
モデルとして選出する。したがって、ソフトウエア・テ
スト処理部１では、選出された最適モデル（数理的な予
測モデルの中から選出されたモデル）による推定結果
（潜在不具合総数）の信頼性が高いと判定し、この推定
結果に基づいたテスト工程が実行されることになる。In this way, the reliability of each reliability estimation model is calculated by the evaluation processing unit 4, and the process of the optimum model selection unit 5 is performed. As shown in step S14, the optimum model selection unit 5 detects the maximum value in the calculated reliability and selects the reliability estimation model corresponding to this maximum value as the optimum model. Therefore, the software test processing unit 1 determines that the estimation result (total number of latent defects) by the selected optimum model (the model selected from the mathematical prediction models) is highly reliable, and the estimation result The test process based on is executed.
【００２９】[0029]
【発明の効果】以上詳述したように本発明によれば、複
数種類の信頼度推定モデルを利用する方式のソフトウエ
アの信頼性評価システムにおいて、各信頼度推定モデル
によりプログラムの潜在不具合数を推定した推定結果に
基づいて、各信頼度推定モデルの信頼度を評価すること
により、信頼度の高い最適な信頼度推定モデルを選択す
ることができる。したがって、選択した最適な信頼度推
定モデルの推定結果を利用することにより、結果的にソ
フトウエアの評価結果の信頼度を高めることが可能とな
る。As described above in detail, according to the present invention, in a software reliability evaluation system of a system using a plurality of types of reliability estimation models, the number of latent defects of a program is determined by each reliability estimation model. By evaluating the reliability of each reliability estimation model based on the estimated estimation result, the optimum reliability estimation model with high reliability can be selected. Therefore, by using the estimation result of the selected optimum reliability estimation model, the reliability of the software evaluation result can be increased as a result.
【図面の簡単な説明】[Brief description of drawings]
【図１】本発明の実施例に係わるソフトウエアの信頼性
評価システムの構成を説明するための機能ブロック図。FIG. 1 is a functional block diagram for explaining the configuration of a software reliability evaluation system according to an embodiment of the present invention.
【図２】同実施例の動作を説明するためのフローチャー
ト。FIG. 2 is a flowchart for explaining the operation of the embodiment.
【図３】同実施例の動作を説明するためのフローチャー
ト。FIG. 3 is a flowchart for explaining the operation of the embodiment.
【図４】同実施例の動作を説明するための概念図。FIG. 4 is a conceptual diagram for explaining the operation of the embodiment.
【図５】同実施例の動作を説明するための概念図。FIG. 5 is a conceptual diagram for explaining the operation of the embodiment.
１…ソフトウエア・テスト処理部、２…不具合数予測処
理部、３…プログラム成熟度算出部、４…評価処理部、
５…最適モデル選出部、６…テスト継続判断部。1 ... Software test processing unit, 2 ... Defect number prediction processing unit, 3 ... Program maturity calculation unit, 4 ... Evaluation processing unit,
5 ... Optimal model selection unit, 6 ... Test continuation determination unit.
Claims (3)
象のプログラムの信頼性を推定するソフトウエアの信頼
性評価システムにおいて、 複数種類の前記信頼度推定モデルにより前記プログラム
の潜在不具合数を予測する処理を実行し、前記各信頼度
推定モデル毎の前記潜在不具合数を推定する推定手段
と、 所定の評価項目を用いて、予め用意された評価ルールに
より前記各信頼度推定モデル毎に推定された前記潜在不
具合数を評価し、前記各信頼度推定モデルの信頼度を算
出する算出手段と、 この算出手段により算出された前記各信頼度に基づい
て、前記各信頼度推定モデルから最適モデルを選出する
選出手段とを具備したことを特徴とするソフトウエアの
信頼性評価システム。1. A software reliability evaluation system for estimating the reliability of a program to be tested by a predetermined reliability estimation model, the process of predicting the number of latent defects of the program by a plurality of types of reliability estimation models. And estimating means for estimating the number of latent defects for each reliability estimation model, and using a predetermined evaluation item, the reliability estimated for each reliability estimation model according to a prepared evaluation rule. A calculation unit that evaluates the number of latent defects and calculates the reliability of each reliability estimation model, and selects an optimum model from each reliability estimation model based on each reliability calculated by this calculation unit A software reliability evaluation system comprising selection means.
象のプログラムの信頼性を推定するソフトウエアの信頼
性評価システムにおいて、 前記プログラムに対して所定のテスト処理を実行したと
きに、ソフトウエアの不具合発見数データを求めるテス
ト処理手段と、 前記不具合発見数データに基づいて、複数種類の前記信
頼度推定モデルにより前記プログラムの潜在不具合数を
予測する処理を実行し、前記各信頼度推定モデル毎の前
記潜在不具合数を推定する推定手段と、 この推定手段により推定された前記各信頼度推定モデル
毎の前記潜在不具合数に基づいて、前記各信頼度推定モ
デルに対応する前記プログラムの成熟度を算出する成熟
度算出手段と、 所定の評価項目を用いて、予め用意された評価ルールに
より前記各信頼度推定モデル毎の前記プログラムの成熟
度を評価し、前記各信頼度推定モデルの信頼度を算出す
る算出手段と、 この算出手段により算出された前記各信頼度に基づい
て、最大の信頼度を示す前記信頼度推定モデルを最適モ
デルとして選出する選出手段とを具備したことを特徴と
するソフトウエアの信頼性評価システム。2. A software reliability evaluation system for estimating the reliability of a program to be tested by a predetermined reliability estimation model, wherein a software malfunction occurs when a predetermined test process is executed on the program. Test processing means for obtaining the number-of-discovery data, based on the number-of-discovery-discovery data, a process of predicting the number of latent defects of the program is executed by a plurality of types of reliability estimation models, Estimating means for estimating the number of latent defects, and based on the number of latent defects for each reliability estimation model estimated by this estimating means, calculating the maturity of the program corresponding to each reliability estimation model Each of the reliability estimation models according to the evaluation rule prepared in advance using the maturity calculation means for Calculating means for evaluating the maturity of the program and calculating the reliability of the reliability estimation model, and the reliability showing the maximum reliability based on the reliability calculated by the calculating means. A software reliability evaluation system, comprising: a selection unit that selects an estimation model as an optimum model.
テスト処理を実行したときに得られるソフトウエアの不
具合発見数データを用いて、所定の信頼度推定モデルに
より前記プログラムの信頼性を推定するソフトウエアの
信頼性評価システムにおいて、 前記不具合発見数データに基づいて、複数種類の前記信
頼度推定モデルにより前記プログラムの潜在不具合数を
予測する処理を実行し、前記各信頼度推定モデル毎の前
記潜在不具合数を推定するステップと、 推定された前記各信頼度推定モデル毎の前記潜在不具合
数に基づいて、前記各信頼度推定モデルに対応する前記
プログラムの成熟度を算出するステップと、 所定の評価項目を用いて、予め用意された評価ルールに
より前記各信頼度推定モデル毎の前記プログラムの成熟
度を評価し、前記各信頼度推定モデルの信頼度を算出す
るステップと、 算出された前記各信頼度に基づいて、最大の信頼度を示
す前記信頼度推定モデルを最適モデルとして選出するス
テップとからなることを特徴とするソフトウエアの信頼
性評価方法。3. A software for estimating the reliability of the program by a predetermined reliability estimation model using data of the number of found defects of software obtained when a predetermined test process is executed for a program to be tested. In a software reliability evaluation system, a process of predicting the number of latent defects of the program is executed by the reliability estimation models of a plurality of types based on the defect discovery number data, and the latent of each reliability estimation model is executed. Estimating the number of defects, calculating the maturity of the program corresponding to each reliability estimation model based on the estimated number of latent defects for each reliability estimation model, and a predetermined evaluation Using items, evaluate the maturity of the program for each reliability estimation model according to a prepared evaluation rule, And a step of calculating the reliability of each of the reliability estimation models, and a step of selecting the reliability estimation model showing the maximum reliability as an optimum model based on the calculated reliability. Software reliability evaluation method.
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6168163A JPH0830493A (en) | 1994-07-20 | 1994-07-20 | Reliability evaluation system for software |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP6168163A JPH0830493A (en) | 1994-07-20 | 1994-07-20 | Reliability evaluation system for software |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| JPH0830493A true JPH0830493A (en) | 1996-02-02 |
Family
ID=15862980
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP6168163A Pending JPH0830493A (en) | 1994-07-20 | 1994-07-20 | Reliability evaluation system for software |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JPH0830493A (en) |
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7454316B2 (en) * | 2004-10-08 | 2008-11-18 | International Business Machines Corporation | Method and apparatus for monitoring and enhancing on-chip microprocessor reliability |
| JP2019194818A (en) * | 2018-05-02 | 2019-11-07 | 株式会社野村総合研究所 | Software trouble prediction device |
| KR20200107392A (en) | 2019-03-07 | 2020-09-16 | 남서울대학교 산학협력단 | A method of predicting software failure time based on nonlinear regression model and a computer readable medium thereof |
-
1994
- 1994-07-20 JP JP6168163A patent/JPH0830493A/en active Pending
Cited By (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US7454316B2 (en) * | 2004-10-08 | 2008-11-18 | International Business Machines Corporation | Method and apparatus for monitoring and enhancing on-chip microprocessor reliability |
| JP2019194818A (en) * | 2018-05-02 | 2019-11-07 | 株式会社野村総合研究所 | Software trouble prediction device |
| KR20200107392A (en) | 2019-03-07 | 2020-09-16 | 남서울대학교 산학협력단 | A method of predicting software failure time based on nonlinear regression model and a computer readable medium thereof |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US6311144B1 (en) | Method and apparatus for designing and analyzing information systems using multi-layer mathematical models | |
| US6249755B1 (en) | Apparatus and method for event correlation and problem reporting | |
| US7542877B2 (en) | Computer system and method for controlling computer system | |
| EP1117044B1 (en) | System model determination for failure detection and isolation in particular in computer systems | |
| US20220214957A1 (en) | Machine learning models applied to interaction data for facilitating modifications to online environments | |
| US10275548B1 (en) | Interactive diagnostic modeling evaluator | |
| WO2019203822A1 (en) | Methods and systems to determine and optimize reservoir simulator performance in a cloud computing environment | |
| JP2002202890A (en) | Authoring tool for bayesian network diagnosing system | |
| CN111769974B (en) | Cloud system fault diagnosis method | |
| CN112633461A (en) | Application assistance system and method, and computer-readable recording medium | |
| Haque et al. | Key issues in software reliability growth models | |
| Bharathi et al. | A machine learning approach for quantifying the design error propagation in safety critical software system | |
| US7840391B2 (en) | Model-diversity technique for improved proactive fault monitoring | |
| JPH0830493A (en) | Reliability evaluation system for software | |
| JP2007164346A (en) | Decision tree changing method, abnormality determination method, and program | |
| US20220261986A1 (en) | Diagnosis pattern generation method and computer | |
| CN112100628B (en) | Method and device for protecting safety of neural network model | |
| CN114528131A (en) | Reliability analysis method and fault-tolerant device for I/O interface of intelligent mobile system | |
| CN109886292B (en) | Abnormal reason diagnosis method based on abnormal association graph | |
| US20060074830A1 (en) | System, method for deploying computing infrastructure, and method for constructing linearized classifiers with partially observable hidden states | |
| Nguyen et al. | Prioritizing automated test cases of Web applications using reinforcement learning: an enhancement | |
| JP2715904B2 (en) | Computer system performance evaluation device | |
| EP4401016A1 (en) | Method for generating and training a system model, selecting a controller, system, computer-system | |
| CN117808597B (en) | Method and device for generating risk rule | |
| Garg et al. | A Method for Selecting a Model to Estimate Software Reliability at the Design Phase of Component-Based Real-Time System Development. |