JP3088697B2 - ソフトウェア品質評価システム - Google Patents
ソフトウェア品質評価システムInfo
- Publication number
- JP3088697B2 JP3088697B2 JP10025872A JP2587298A JP3088697B2 JP 3088697 B2 JP3088697 B2 JP 3088697B2 JP 10025872 A JP10025872 A JP 10025872A JP 2587298 A JP2587298 A JP 2587298A JP 3088697 B2 JP3088697 B2 JP 3088697B2
- Authority
- JP
- Japan
- Prior art keywords
- quality
- test
- quality evaluation
- unit
- evaluation
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Lifetime
Links
Landscapes
- Debugging And Monitoring (AREA)
- Stored Programmes (AREA)
Description
いて、ソフトウェアの品質評価を行うソフトウェアの品
質評価システム、特にソフトウェアの品質評価を統一的
に行うことができると共に、品質評価結果に対応する対
策案を提供することができるソフトウェア品質評価シス
テム。
関わりを持たずに生活していくことは不可能であり、コ
ンピュータに用いるソフトウェアの品質の確保は重要な
課題となっている。
般的に、以下のように行われる。先ず、仕様に基づいた
設計が行われる。次に、この設計に基づいてソフトウェ
アの生成(コーディング)が行われる。続いて、生成さ
れたソフトウェアに対して、テストが行われる。この
際、上記仕様及びソフトウェアの規模等を考慮してテス
ト項目が複数設定される。そして、設定された複数のテ
スト項目に基づいてテストが行われる。このテストの結
果に基づいて、ソフトウェアの品質評価が行われる。そ
して、この品質評価の後、品質が良好である場合、ソフ
トウェアは出荷される。一方、品質が不良である場合、
評価結果に対する不良原因や品質強化対策等を考える必
要がある。この対策として、コーディング、仕様の見直
し等がある。
品質評価のための定量的な判断基準もなく、ソフトウェ
アの品質評価を統一的に行える品質評価システムがなか
った。このため、統一的なソフトウェアの品質評価を行
うことができなかった。
定量的な判断基準を設定し、統一的なソフトウェアの品
質評価を行うことができる技術として以下のような技術
があった。即ち、特開平5−216651号公報及び特
開平5−282178号公報による技術である。
では、以下のようにソフトウェアの品質評価を行ってい
た。即ち、ソフトウェアの規模に対するテスト項目数の
比である試験密度と、前記ソフトウェアの規模に対する
上記テスト項目数のテストをソフトウェアに実行させた
ときに発生した誤り数の比である誤り検出率と、をソフ
トウェアの品質評価の指標として定義する。通常、妥当
な誤り数やテスト項目数はソフトウェアの規模に応じて
変化するので、上述したように、試験密度及び誤り検出
率をソフトウェアの品質評価の指標とする。
度の基準値に基づいて、3段階に分ける。同様に、誤り
検出率の区域も、所定の誤り検出率の基準値に基づい
て、3段階に分ける。そして、3段階に分けられた試験
密度の区域と、3段階に分けられた誤り検出率の区域
と、を組み合わせて、9つの区域が設定された品質評価
マトリックスを生成する。そして、この9つの区域に対
して、それぞれ、ソフトウェアの品質の良、不良を対応
させる。
て、その試験密度及び誤り検出率から、上記品質評価マ
トリックスの9つの区域のうち、どの区域に対応するか
判定する。そして、判定された区域における評価(良、
不良)により上記評価対象のソフトウェアの品質評価を
行う。
では、以下のようにソフトウェアの品質評価を行ってい
た。即ち、テストによりソフトウェアの実行された度合
を示す試験網羅度と、ソフトウェアの規模に対する誤り
数の比である誤り検出率と、をソフトウェアの品質評価
の指標として定義する。なお、ソフトウェアの実行され
た度合とは、所定のテストをソフトウェアに実行させた
とき、予め実行されると予測された所定の機能数(又は
分岐命令数等)に対して、実際に実行された機能数(又
は分岐命令数等)の割合を示したものである。
ぞれ、複数の誤り検出率の基準範囲を設定する。そし
て、評価対象のソフトウェアの試験網羅度及び誤り検出
率が算出された場合、算出された試験網羅度と対応する
誤り検出率の基準範囲内に、算出された誤り検出率が入
っている場合には、品質を良と評価し、入ってない場合
には、品質を不良と評価していた。
従来技術においては、以下に示す問題点があった。即
ち、特開平5−216651号公報及び特開平5−28
2178号公報による技術では、ソフトウェアの品質評
価として、良、不良の2段階で評価しているのみであっ
た。しかし、不良と評価した場合でも品質の程度には差
があるが、従来技術では、これらの品質の程度の差を考
慮した評価を行うことができなかった。即ち、ソフトウ
ェアの品質評価が十分でなかった。
て品質向上のための対策案を作業者に提供することがで
きなかった。このため、作業者は、上述した不十分な品
質評価に基づいて、迅速に対策案を考えなければならな
かった。この結果、作業者の経験、技量等により、実際
に行われる対策が異なってしまうことがある。
質評価を十分に行い、この十分に行われた品質評価に基
づいた対策案を迅速に作業者に提供することができない
という問題点があった。
めになされたものであり、その目的は、ソフトウェアの
品質評価を十分に行い、その品質評価に基づいた品質強
化対策案を迅速に提供できるソフトウェア品質評価シス
テムを提供することにある。
するために、本発明に係るソフトウェア品質評価システ
ムは、コンピュータに用いるソフトウェアの規模に対す
るテスト項目数の比である試験密度と、前記ソフトウェ
アの規模に対する前記テスト項目数のテストを前記ソフ
トウェアに実行させたときに発生した誤り数の比である
誤り検出率とで2次元的に表される品質状態に基づい
て、ソフトウェアの1次元的な品質評価を行う品質評価
手段と、予想される複数の品質評価結果に対応する複数
の対策案を予め生成する対策案生成手段と、前記品質評
価手段により評価された品質評価結果及びこれに対応す
る対策案を出力する出力手段と、を有するものである。
手段により評価された品質評価を再度評価する品質再評
価手段を有するものである。
によるソフトウェアの実行不足のため検出されていない
と予測できる残存誤り数を算出する方法を品質評価結果
毎に生成する残存誤り数算出方法生成手段と、品質評価
結果毎に追加試験方法を生成する追加試験方法生成手段
と、評価対象のソフトウェアに対して、前記品質評価手
段により評価された品質評価結果と対応する残存誤り数
算出方法及び追加試験方法を決定する再評価情報決定手
段と、この再評価情報決定手段により決定された残存誤
り数算出方法に従って、残存誤り数を算出する残存誤り
数算出手段と、前記残存誤り数算出手段により算出され
た残存誤り数と、前記再評価情報決定手段により決定さ
れた追加試験方法と、に基づいたテストを評価対象のソ
フトウェアに実行させた結果を考慮して、評価対象のソ
フトウェアの試験密度、誤り検出率を再算出する再算出
手段と、再算出された試験密度及び誤り検出率に基づい
て、評価対象のソフトウェアの品質を再決定する品質再
決定手段と、を有するものである。
適な実施の形態について説明する。
トウェア品質評価システム(以下、品質評価システムと
いう)の全体構成を示す図である。
に対するテスト項目数の比である試験密度と、ソフトウ
ェアの規模に対するテスト項目数のテストを実行させた
ときに発生した誤り数の比である誤り検出率と、に基づ
いてソフトウェアの品質評価を行う品質評価部1と、こ
の品質評価部1により評価されると予想される複数の品
質評価結果に対応する複数の対策案を予め生成する対策
案生成部2と、品質評価部1により評価された品質評価
結果や対策案生成部2により生成された対策案等を記憶
する記憶部3と、上記品質評価部1により評価された品
質評価結果及びこれに対応する対策案等を出力する出力
部4と、この出力部4により出力された各種データを紙
等に印刷して作業者に提供するプリンタ部5と、を有す
る。
操作により、ソフトウェアの品質評価に必要なデータ等
を入力する入力部6(例えばキーボード等)と、入力部
6による入力操作に必要な案内や各部での各処理の結果
等を表示する表示部7と、各部(入力部6、表示部7、
品質評価部1、対策案生成部2、記憶部3、出力部4、
プリンタ部5)を制御する制御部8と、を有する。
詳細に説明する。
上記試験密度に対する上記誤り検出率の比であるヒット
率と、についてそれぞれの基準値が設定された場合、こ
れらの基準値に基づいて、複数の試験密度、複数の誤り
検出率及び複数のヒット率と、ソフトウェアにおける複
数の品質状態と、がそれぞれ対応づけられた品質評価マ
トリックスを生成する品質評価マトリックス生成部10
を有する。
を示したものであり、試験密度及び誤り検出率から求め
られる。なお、ヒット率は、(誤り検出率)/(試験密
度)により算出される。
応する各品質評価を生成する品質評価生成部11と、試
験密度及び誤り検出率からヒット率を算出する算出部1
2と、評価対象のソフトウェアの試験密度、誤り検出率
及びヒット率から上記品質評価マトリックスに従って、
評価対象のソフトウェアの品質状態を決定し、上記品質
評価生成部11により予め生成された各品質評価のうち
上記品質状態に対応する品質評価を品質評価結果として
決定する品質決定部13と、を有する。
生成部11により生成された各品質評価にそれぞれ対応
する各対策案を生成する。
り決定された品質評価を出力する品質評価出力部14
と、品質評価結果と対応する対策案として、対策案生成
部2により生成された各対策案のうち、上記品質決定部
13により決定された品質評価と対応する対策案を出力
する対策案出力部15と、を有する。
て以下に説明する。品質評価システムの動作には、(2
−1)品質評価マトリックスの生成動作、このマトリッ
クスで設定された各品質状態に対応する各品質評価の生
成動作、各品質評価に対応する各対策案の生成動作と、
(2−2)(2−1)で生成した各データを用いて、評
価対象のソフトウェアの品質評価を行い、その品質評価
結果に対応する対策案を出力する動作と、がある。先
ず、(2−1)の動作について説明する。
評価マトリックスを生成する動作、各品質評価を生成す
る動作及び各対策案を生成する動作について図2に示す
フローチャート図を用いて説明する。
6により、品質評価マトリックスの生成を指示する旨を
入力する。この結果、入力部6はその旨を制御部8へ送
る。制御部8は、作業者に対して試験密度及び誤り検出
率の基準値をそれぞれ入力するように指示する旨を表示
部7に表示させる。
度の基準値及び誤り検出率の基準値を入力部6に入力す
る。なお、この試験密度の基準値及び誤り検出率の基準
値は、評価対象とするソフトウェアの規模、特性等から
決定される。そして、入力部6により入力された各基準
値を制御部8が受け取り、算出部12に送る。
験密度の基準値及び誤り検出率の基準値から、ヒット率
の基準値を算出する。この際、ヒット率の基準値は、
(誤り検出率の基準値)/(試験密度の基準値)により
算出する。そして、算出部12はヒット率の基準値を算
出した旨を制御部8へ伝える。制御部8は算出部12に
対して、試験密度の基準値、誤り検出率の基準値及びヒ
ット率の基準値(以下、これらの基準値を各基準値とい
う)を品質評価マトリックス生成部10へ送るように指
示する。この結果、算出部12は、各基準値を品質評価
マトリックス生成部10へ送る。
クス生成部10が、算出部12から送られた各基準値に
基づいて、品質評価マトリックスを生成する。
下、このステップS108における品質評価マトリック
スの生成方法について図面(図3〜図7)を用いて詳細
に説明する。
質評価マトリックス生成部10は、誤り検出率の基準値
に基づいて、図3に示すように、誤り検出率の区域を、
基準域以下、基準域、基準域以上の3段階に分ける。同
様に、品質評価マトリックス生成部10は、試験密度の
基準値に基づいて、図4に示すように、試験密度の区域
を基準域以下、基準域、基準域以上の3段階に分ける。
この結果、品質評価マトリックス生成部10は、図5に
示すように、3段階に分けられた誤り検出率の区域と、
3段階に分けられた試験密度の区域と、を組み合せて、
9つの区域(図5における区域Aから区域I)が設定さ
れたマトリックスを生成する。そして、品質評価マトリ
ックス生成部10は、図6に示すように、ヒット率の基
準値に基づいて、基準域内と基準域外とに分ける。これ
により、図5における区域A、区域E、区域Iがさらに
2つに分けられる。この結果、図7に示すように、誤り
検出率の区域と試験密度の区域とヒット率の区域との組
合せにより12個の区域(これらの区域をそれぞれを各
品質状態という)が設定された品質評価マトリックスが
生成される。
に設定したが、品質状態の数は12に限定されず、他の
値にしてもよい。また、試験密度の区域、誤り検出率の
区域、ヒット率の区域も上述の段階数に限定されない。
部10が、品質評価マトリックスを生成した後、品質評
価マトリックスを生成した旨を制御部8へ送る。制御部
8は、品質評価マトリックス生成部10に対して、生成
した品質評価マトリックスの各品質状態を品質評価生成
部11へ送るように指示する。
と、ステップS110では、品質評価生成部11が、各
品質状態に対応する各品質評価を生成する。
する様子を以下に詳細に説明する。即ち、各品質状態が
品質評価生成部11へ送られると、品質評価生成部11
が、先ず各品質状態に対応する各品質評価を示す情報
(各品質評価情報)を品質評価生成部11へ送るように
制御部8へ伝える。この結果、制御部8は作業者に対し
て各品質評価情報を入力するように指示する旨を表示部
7に表示させる。作業者が各品質評価情報を入力する
と、入力部6は各品質評価情報を制御部8へ送る。制御
部8から各品質評価情報が品質評価生成部11へ送られ
ると、品質評価生成部11は、各品質評価情報に基づい
て、各品質状態に対応する各品質評価を生成する。
110において生成される各品質評価について詳細に説
明する。品質評価として、詳細な品質評価(詳細品質評
価)と、例えば5段階(品質の良い方から◎、○、△、
△△、×)に分けたときの品質レベル評価と、が生成さ
れる。この品質レベルの段階については、仕様等により
種々に設定され、最大12段階まで設定できる。また、
詳細品質評価では、テストによるソフトウェアの実行不
足のため検出されていないと予測できる残存誤り数の定
性的な予測についても評価する。なお、以下の詳細品質
評価は概念的に示したものであり、実際のソフトウェア
製品に合わせてさらに詳細な品質評価を生成することが
好ましい。
基準域以下、ヒット率は基準域内であるが、試験密度が
基準域に達していないので、品質が確認できない。残存
誤り数が有るといえる。品質レベルとしては、△であ
る。
基準域以下であるが、ヒット率が基準域外であり、テス
ト規模及びソフトウェア規模に対して、誤り数が大きい
といえる。残存誤り数が有るといえる。品質レベルとし
ては、△△である。
にもかかわらず誤り検出率が基準域まで達しており、試
験密度を基準域にしたときは誤り検出率が大きくなると
予想できる。残存誤り数が多いといえる。品質レベルと
しては、△△である。
にもかかわらず誤り検出率が基準域以上であり、テスト
規模及びソフトウェア規模に対して、誤り数が非常に大
きいといえる。残存誤り数が非常に多いといえる。品質
レベルとしては×である。
誤り検出率は共に、基準域であるものの、ヒット率が基
準域外であり、テスト規模及びソフトウェア規模に対し
て、誤り数が若干大きいといえる。また、残存誤り数が
有るといえる。品質レベルとしては、△である。
準域であるが、誤り検出率が基準域以上であるので、テ
スト規模及びソフトウェア規模に対して、誤り数が大き
いといえる。また、残存誤り数が多いといえる。品質レ
ベルとしては、△△である。
準域以上であるが、誤り検出率も基準域以上であるの
で、テスト規模及びソフトウェア規模に対して、誤り数
が若干大きいといえる。残存誤り数が若干有るといえ
る。品質レベルとしては、△である。
準域であり、誤り検出率は基準域以下であるので、品質
良に近い状態といえる。品質レベルとしては、○であ
る。
誤り検出率は共に基準域であり、ヒット率は基準域内で
あるので、品質良に近い状態といえる。品質レベルとし
ては、○である。
10 詳細品質評価を以下のようにする。即ち、試験密度は基
準域以上であることに加えて、誤り検出率は基準域以下
であるので、品質が良いといえる。品質レベルとして
は、◎である。
11 詳細品質評価を以下のようにする。即ち、試験密度は基
準域以上であり、誤り検出率は基準域であり、品質良に
近い状態といえる。品質レベルとしては、○である。
12 詳細品質評価を以下のようにする。即ち、誤り検出率は
基準域以上であるが、試験密度は基準域以上であり、ヒ
ット率は基準域であるので、品質良に近い状態といえ
る。品質レベルとしては、○である。
様子を図8に示す。
(上述の品質評価1〜12)を生成した旨を制御部8へ
伝えると、制御部8は、品質評価生成部11に対して、
生成した各品質評価を対策案生成部2へ送るように指示
する。品質評価生成部11は、各品質評価を対策案生成
部2へ送る。
案生成部2に送られると、対策案生成部2は、ソフトウ
ェアの各品質評価(上述の品質評価1〜12)に対応す
る各対策案を生成する。各品質評価に対応する各対策案
を生成する様子を以下に詳細に説明する。
と、対策案生成部2は、対策案生成に必要な情報を対策
案生成部2に送る旨を示す指示を制御部8に伝える。制
御部8は、基本的な対策である基本対策情報を作業者に
入力させるように指示する旨を表示部7に表示させる。
この基本対策情報は、品質を強化するための品質強化対
策であり、例えば、誤りの原因の見直し、仕様の見直
し、テスト方法の見直し、レビューの実施等の対策案項
目である。これらの基本対策情報はソフトウェアの性質
にかかわらず、共通なものである。作業者が基本対策情
報を入力部6により入力すると、これらの基本対策情報
は、制御部8に保持される。
策情報を表示部7に表示させ、品質評価に対応する基本
対策情報を作業者に選択させるように指示する旨を表示
部7に表示させる。作業者が品質評価に対応する基本対
策情報を選択すると、制御部8は、基本対策情報に関し
て詳細に限定する情報である追加対策情報を入力するよ
うに指示する旨を表示部7に表示させる。この追加対策
情報は、ソフトウェアの性質、仕様の性質等により変化
する対策情報である。
る追加対策情報を入力部6により入力すると、制御部8
は、品質評価に対応する基本対策情報、追加対策情報を
対策案生成部2へ送る。対策案生成部2は、品質評価に
対応する基本対策情報、追加対策情報をまとめることに
より、対策案を生成する。上述の対策案生成動作を全て
の品質評価(品質評価1〜12)について行う。
りの原因の見直し、仕様の見直し、レビューの実施等)
が表示される。そして、表示部7には、例えば、品質評
価3に対応する基本対策情報を選択するように指示する
旨が表示される。作業者が例えば、誤り原因の見直しを
選択する(複数の基本対策情報を選択してもよい)と、
制御部8は、誤り原因の見直しに関する追加対策情報を
入力するように指示する旨を表示部7に表示させる。作
業者は例えば、コーディングの見直し、テストデータの
見直し、テスト環境設定の見直しについて、これらの具
体的内容を入力部6により入力する。この結果、制御部
8は、品質評価3に対応する基本対策情報、追加対策情
報を対策案生成部2へ送る。対策案生成部2は、対策案
を以下のように生成する。即ち、対策案生成部2は、誤
り原因の見直しを基本的な内容とし、その具体的内容が
コーディングの見直し、テストデータの見直し、テスト
環境設定の見直しとなるように、対策案を生成する。品
質評価3の対策案は、例えば、「誤り原因の見直しをす
る必要がある。主に見直しをする点は、コーディングの
見直し、テストデータの見直し、テスト環境設定の見直
しであり、コーディングの見直しの具体的方法は、.、
テストデータの見直しの具体的方法は、...、テスト
環境設定の見直しの具体的方法は...。」のような形
でまとめられる。そして、他の品質評価に対応する対策
案も同様にして生成される。例えば、品質評価4の場合
には、「レビューの実施を行う必要がある。レビューの
実施において、検討項目は、...であり、これらの検
討項目に対する具体的な検討方法は、....であ
る。」のような対策案が生成される。
質評価(上述の品質評価1〜12)にそれぞれ対応する
各対策案を生成する。そして、各対策案は、品質を強化
するための品質強化対策案となる。
した旨を制御部8へ伝えると、制御部8は、表示部7に
対して、品質評価マトリックス、各品質評価、各対策案
の生成が終了した旨を表示させる。そして、制御部8は
品質評価マトリックスを示すマトリックスデータ、各品
質評価をまとめた品質評価データ、各対策案をまとめた
対策案データをそれぞれ識別するマトリックスデータ
名、品質評価データ名、対策案データ名を入力するよう
に作業者に対して指示する旨を表示部7に表示させる。
力部6により、マトリックスデータ名、品質評価データ
名及び対策案データ名を入力する。
送られる。制御部8は、品質評価マトリックス生成部1
0、品質評価生成部11、対策案生成部2から、マトリ
ックスデータ、品質評価データ及び対策案データを取り
出す。
は、マトリックスデータ、品質評価データ、対策案デー
タを、それぞれ、マトリックスデータ名、品質評価デー
タ名、対策案データ名と対応づけて記憶部3に記憶させ
る。この際、マトリックスデータ名、品質評価データ
名、対策案データ名は、相互に対応づけられている。そ
して、各品質状態、各品質評価、各対策案がそれぞれ対
応づけられる。
質評価マトリックス、各品質評価及び各対策案を用い
て、評価対象のソフトウェアの品質評価を行い、その品
質評価結果及びその対策案を出力する動作について図
9、図10に示すフローチャート図を用いて説明する。
6により、テスト済みの評価対象のソフトウェアの品質
評価を行う旨を入力する。この結果、入力部6はその旨
を制御部8へ送り、制御部8は、作業者に対して試験密
度及び誤り検出率を入力するように指示する旨を表示部
7に表示させる。
従って、作業者は評価対象ソフトウェアの試験密度及び
誤り検出率を入力部6により入力する。また、これらの
試験密度及び誤り検出率と、算出されるヒット率と、か
らなる評価対象データを識別するための評価対象データ
名も入力する。入力部6により入力された試験密度及び
誤り検出率は、制御部8を介して、算出部12へ送られ
る。
験密度及び誤り検出率から、ヒット率を計算する。ヒッ
ト率を計算したら、算出部12はその旨を制御部8へ伝
える。
部7を制御して、ヒット率の計算が終了した旨を表示さ
せると共に、入力された試験密度及び誤り検出率と、算
出されたヒット率と、からなる評価対象データを評価対
象データ名と対応づけて記憶部3に記憶させる。
示により、表示部7は、評価対象データの生成を続ける
か否かについての判定を作業者に対して要求する旨を表
示する。評価対象データの生成を続ける場合、作業者
は、その旨を入力部6に入力することにより、再度ステ
ップS204、S206、S208の動作が各部により
行われる。一方、評価対象データの生成を続けない場合
は、作業者は、その旨を入力部6に入力することによ
り、ステップS212の動作が行われる。
者に対して評価対象ソフトウェアの品質評価に対応する
マトリックスデータのデータ名を入力するように作業者
に対して指示する旨を表示部7に表示させる。
より、マトリックスデータ名を入力する。この結果、制
御部8は、入力されたマトリックスデータ名に対応する
マトリックスデータを記憶部3から読み出して、品質決
定部13へ送る。また、同時に、制御部8は、マトリッ
クスデータ名と対応づけられた品質評価データ名の品質
評価データ(各品質評価1〜12)を記憶部3から読み
出して、品質決定部13へ送る。この際、制御部8はマ
トリックスデータ名を保持する。品質決定部13は、マ
トリックスデータを受け取った旨を制御部8へ送る。
3に記憶された1つの評価対象データを読み出し、読み
出した評価対象データを品質決定部13へ送る。なお、
既に読み出した評価対象データに対しては、再度読み出
しは行わない。
は、評価対象データ(評価対象のソフトウェアの試験密
度、誤り検出率及びヒット率)から、品質評価マトリッ
クスに従って、品質状態(各品質状態〈1〉〜〈12〉
のうちいずれか)を決定する。そして、品質決定部13
は、品質評価データの各品質評価(各品質評価1〜1
2)のうち、上記決定された品質状態(各品質状態
〈1〉〜〈12〉のうちいずれか)に対応する品質評価
(各品質評価1〜12のうちいずれか)を決定する。品
質決定部13は評価対象データの品質評価を終了した旨
を制御部8へ伝える。
しているマトリックスデータ名と対応する対策案データ
名の対策案データを記憶部3から読み出した後、読み出
した対策案データの各対策案のうち、品質決定部13に
より決定された品質評価(各品質評価1〜12のうちい
ずれか)と対応する対策案を決定する。
価出力部14を制御して品質決定部13により決定され
た品質評価(各品質評価1〜12のうちいずれか)を出
力させると共に、対策案出力部15を制御して上記品質
評価(各品質評価1〜12のうちいずれか)に対応する
対策案(各対策案のうちいずれか)を出力させる。制御
部8はこれらの出力結果を表示部7に表示させる。そし
て、制御部8は、上記品質評価及びその対策案をまとめ
た評価対策結果データを識別する評価対策結果データ名
を入力するように作業者に対して指示する旨を表示部7
に表示させる。
により、評価対策結果データ名を入力する。
対策結果データを評価対策結果データ名と対応づけて記
憶部3に記憶させる。
部3から読み出されていない評価対象データがあるか否
かを判定する。この際、読み出す評価対象データは、読
み出された品質評価マトリックスで評価可能な評価対象
データに限る。
データがある場合には、ステップS216以降の動作が
再度行われる。一方、全ての評価対象データが記憶部3
から読み出された場合には、ステップS230の動作が
行われる。
部3に記憶された全ての評価対策結果データを読み出
し、上記全ての評価対策結果データを印刷するようにプ
リンタ部5に指示する。
記全ての評価対策結果データを印刷する。この際、プリ
ンタ部5は、評価対策結果データを各評価対策結果デー
タ毎に印刷することも可能である。また、図11に示す
ように上記全ての評価対策結果データを表形式にまとめ
て印刷することもできる。
又は不良の2段階でしか評価できなかったが、本システ
ムでは、例えば、12段階の品質評価を行うことができ
る。そして、各品質評価に対して、品質レベルとして例
えば5段階(最大12段階)に分けることができる。例
えば、従来技術では、共に、不良と評価されていた品質
状態1であるソフトウェアa(品質レベル△)と品質状
態4であるソフトウェアb(品質レベル×)とでは、品
質レベルの差が2レベルあることがわかる。そして、本
システムでは、各品質評価に対応した各対策案が表示部
7及びプリンタ部5により出力される。
十分な品質評価を行うことができる。即ち、先ず、品質
評価マトリックス生成部10により、試験密度、誤り検
出率及びヒット率のそれぞれの基準値に基づいた品質評
価マトリックスが生成される。この品質評価マトリック
スにおいては、複数の試験密度の区域、複数の誤り検出
率の区域、複数のヒット率の区域の組合せに対して、そ
れぞれ、複数の品質状態(品質状態〈1〉〜〈12〉)
が対応づけられている。
質状態(品質状態〈1〉〜〈12〉)と対応する各品質
評価(品質評価1〜12)を生成する。そして、品質決
定部13は、評価対象のソフトウェアの試験密度、誤り
検出率、ヒット率から、上記品質評価マトリックスの各
品質状態(品質状態〈1〉〜〈12〉)のうち、評価対
象のソフトウェアの品質状態がどの品質状態に対応する
か決定する。そして、品質決定部13は、決定された品
質状態(品質状態〈1〉〜〈12〉のうちいずれか)
が、品質評価生成部11で生成された各品質評価(品質
評価1〜12)のうち、どの品質評価に対応するか決定
する。
ト率に基づいて、複数の品質状態を十分に多く設定し、
これに対応する複数の品質評価も十分に多く設定すれ
ば、ソフトウェアの品質の程度の差を詳細に考慮した十
分な品質評価を行うことができる。
十分な品質評価が行われた結果に対応する対策案を以下
のようにして生成、出力することができる。
質状態〈1〉〜〈12〉)に対応する各対策案を生成す
る。このため、品質決定部13により決定された品質評
価(品質評価1〜12のうちいずれか)に対応する対策
案は、対策案生成部2により予め生成されている。そし
て、品質評価出力部14により、決定された品質評価
(品質評価1〜12のうちいずれか)を出力することが
できると共に、対策案出力部15により、上記品質評価
結果(品質評価1〜12のうちいずれか)に対応する対
策案を出力することができる。この結果、十分な品質評
価に基づいた対策案を作業者に迅速に提供することがで
きるので、作業者の経験、技量等によらず、確実な対策
を迅速に行うことができる。
テムでは、テスト結果である試験密度に対して、試験網
羅度(テストカバレージ)を考慮して新たな試験密度を
生成している。
いて、所定数のテスト項目に基づいたテストを施すと、
ソフトウェア内の所定数の機能(分岐命令等)が実行さ
れると予想できる。
行したとき、エラーが発生し、実行できるはずであった
他の機能が実行できないままテストが終了してしまうこ
とがある。このため、所定数のテスト項目のテストを実
行しても、予想した所定数の機能が実行されていないと
き(試験網羅度が低いとき)は、試験密度から予想され
るテストが実際には行われないことになる。このような
場合には、試験密度を入力して品質評価を行っても正確
な品質評価を行っていないことになる。
いテストが行われる場合のことも考慮して、テスト結果
として、試験密度、誤り検出率と共に、試験網羅度も取
得し、この試験網羅度を試験密度に乗ずることで、真の
試験密度を算出する。
いて、実施の形態1である品質評価システムと異なる点
は以下に示す点である。
れた場合、この試験網羅度を評価対象のソフトウェアの
試験密度に乗じて新たな試験密度を算出すると共に、評
価対象のソフトウェアの誤り検出率と上記新たな試験密
度とから、ヒット率を算出する。
アの誤り検出率、上記新たな試験密度及び上記ヒット率
から、上記品質評価マトリックスに従って、評価対象の
ソフトウェアの品質状態を決定し、品質評価生成部11
により生成された各品質評価のうち、決定された品質状
態に対応する品質評価を決定する。
評価の生成動作及び各対策案の生成動作については、実
施の形態1において(2−1)に示した動作と同様であ
る。
網羅度を考慮して行い、品質評価結果及びこれに対応す
る対策案を出力する動作について図12に示すフローチ
ャート図を用いて説明する。
力操作により、テスト済みの評価対象のソフトウェアの
品質評価を行う旨を制御部8へ送る。この際、入力部6
による入力操作により、試験網羅度を考慮する旨を入力
する。この結果、制御部8は、作業者に対して試験密
度、誤り検出率及び試験網羅度を入力するように指示す
る旨を表示部7に表示させる。
従って、作業者は評価対象ソフトウェアの試験密度、誤
り検出率及び試験網羅度を入力部6により入力する。ま
た、作業者は、これらの試験密度及び誤り検出率と、算
出されるヒット率と、からなる評価対象データを識別す
るための評価対象データ名も入力する。入力部6により
入力された試験密度、誤り検出率及び試験網羅度は、制
御部8を介して、算出部12へ送られる。
密度に対して試験網羅度を乗じて新たな試験密度を算出
する。そして、算出部12は、この新たな試験密度及び
誤り検出率から、ヒット率を計算する。ヒット率が計算
されると、算出部12はその旨を制御部8へ伝える。
7に、ヒット率の計算が終了した旨を表示させると共
に、評価対象データを評価対象データ名と対応づけて記
憶部3に記憶させる。
示により、表示部7は、評価対象データの生成を続ける
か否かについての判定を作業者に対して要求する旨を表
示する。評価対象データの生成を続ける場合、作業者
は、その旨を入力部6に入力することにより、再度ステ
ップS304、S306、S308の動作が各部により
行われる。一方、評価対象データの生成を続けない場合
は、作業者は、その旨を入力部6に入力することによ
り、ステップS212の動作が行われる。
10に示したステップS212からステップS232ま
での工程と同一である。
度が85%のソフトウェアを評価する場合には、試験密
度に0.85を乗じた値を新たな試験密度とする。この
結果、試験の実施度合いを均一化することができるの
で、基本的構成例で示した品質評価マトリックスによる
品質評価を行うことができる。例えば、図13に示すよ
うに、試験網羅度を考慮しない場合には、X、Y、Zの
位置から、ソフトウェアの品質を判定することになる
が、試験網羅度を考慮することにより、矢印で示すよう
な位置からソフトウェアの品質を判定することになる。
と同様に試験網羅度を考慮しない試験密度から、ヒット
率を算出することも可能である。この場合には、ステッ
プS302において、基本的構成例のステップS202
と同様の入力操作を行えばよい。
スト結果である試験密度、試験網羅度から、新たな試験
密度を算出し、この新たな試験密度及びテスト結果であ
る誤り検出率からヒット率を算出する。そして、品質決
定部13は、これらの新たな試験密度、誤り検出率及び
ヒット率から、品質状態(品質状態〈1〉〜〈12〉の
うちいずれか)を決定して、これに対応する品質評価
(品質評価1〜12のうちいずれか)を決定する。この
ため、所定数のテスト項目のテストを実行して、予想し
た所定数の機能が実行されていない場合でも、試験密度
に試験網羅度を乗じることで、実際に実行した機能数に
対応した試験密度を算出できる。この結果、試験網羅度
の低いソフトウェアの品質評価を正確に行うことができ
る。
システムでは、評価対象のソフトウェアに対して、所定
数のテスト項目のテストを行わないで、テスト途中まで
の誤り数から、所定数のテスト項目のテストが終了した
ときの誤り数を予測し、この予測誤り数から算出された
予測誤り検出率を所定数のテスト項目のテストが終了し
たときの誤り検出率としている。
品質評価システムと異なる点は以下に示す点である。
ェアに対して施したテストの中間段階までのテスト進行
度に対する誤り数の関係から、誤り数の成長予測曲線を
算出し、この成長予測曲線に基づいて予測されたテスト
終了後の誤り数から予測誤り検出率を算出すると共に、
この予測誤り検出率とテスト終了後の試験密度とからヒ
ット率を算出する。
線式が記憶されている。そして、算出部12は、テスト
中間段階までのテスト進行度に対する誤り数の関係か
ら、上記複数の成長予測曲線式のうち、適切な成長予測
曲線式を決定する。
アのテスト終了後の試験密度、上記予測誤り検出率及び
上記ヒット率から、前記品質評価マトリックスに従っ
て、評価対象のソフトウェアの品質状態を決定し、品質
評価生成部11により生成された各品質評価のうち、決
定された品質状態に対応する品質評価を決定する。
評価の生成動作及び各対策案の生成動作については、実
施の形態1の(2−1)に示した動作と同様である。
予測曲線を考慮して行い、品質評価結果及びこれに対応
する対策案を出力する動作について図14に示すフロー
チャート図を用いて説明する。
6により、評価対象のソフトウェアの品質評価を行う旨
を入力する。この際、入力部6により、成長予測曲線を
考慮する旨を入力する。この結果、制御部8は、作業者
に対して試験密度、中間段階までのテスト進行度に対す
る誤り数等を入力するように指示する旨を表示部7に表
示させる。
従って、作業者は評価対象ソフトウェアの試験密度、中
間段階におけるテスト進行度に対する誤り数を入力部6
により入力する。この際、ソフトウェアの試験密度と
は、予定されているテスト項目数に対応する試験密度で
ある。また、中間段階におけるテスト進行度に対する誤
り数とは、予定されているテスト項目数の途中で計測し
た複数の誤り数(累積誤り数)である。このため、作業
者は、これらの誤り数と共に、これらの誤り数と対応す
るテスト項目数も入力する。
た時間も、各テスト項目数と対応づけて入力する。そし
て、これらの試験密度及び誤り検出率と、算出されるヒ
ット率からなる評価対象データを識別するための評価対
象データ名も入力する。入力部6により入力された試験
密度、中間段階における各誤り数及びこれに対応するテ
スト項目数、テスト項目数に対応する時間、(以下、こ
の中間段階における各誤り数及びこれに対応するテスト
項目数、各テスト項目数に対応する時間を、中間段階に
おける誤り数データという)は、制御部8を介して、算
出部12へ送られる。
スト中間段階における誤り数データから、誤り数の成長
予測曲線を算出する。
に詳細に説明する。算出部12は、予定テスト項目数の
テストの途中までの各テスト項目数に対応する誤り数に
ついて、時間と関係づけてプロットしていく。プロット
が終了したら、算出部12は、これらのプロットが複数
の成長予測曲線式のうち、どの成長予測曲線式とフィッ
トするか調べる。なお、成長予測曲線式としては、例え
ば、数式1に示すような指数NHPPモデルによる成長
予測曲線式がある。
係数を変化させることにより、上記プロットした誤り数
と時間との関係に最もフィットする成長予測曲線式及び
その係数を決定する。これにより、テストの中間段階ま
でのテスト進行度に対する誤り数の関係から、成長予測
曲線を算出することができる。
出した成長予測曲線に基づいて、テスト終了後の誤り数
を算出し、この誤り数から予測誤り検出率を算出する。
この際、算出部12では、テスト中間段階までのテスト
項目数に対する時間の関係から、予定テスト項目数の実
行に要する時間が決定され、この時間に対応する誤り数
が上記成長予測曲線に基づいて決定される。また、算出
部12は、この予測誤り検出率及び試験密度からヒット
率を算出する。ヒット率が計算されると、算出部12は
その旨を制御部8へ伝える。
7を制御して、ヒット率の計算が終了した旨を表示させ
ると共に、評価対象データを評価対象データ名と対応づ
けて記憶部3に記憶させる。
示により、表示部7は、評価対象データの生成を続ける
か否かについての判定を作業者に対して要求する旨を表
示する。評価対象データの生成を続ける場合、作業者
は、その旨を入力部6に入力することにより、再度ステ
ップS404、S406、S408、S410の動作が
各部により行われる。一方、評価対象データの生成を続
けない場合は、作業者は、その旨を入力部6に入力する
ことにより、ステップS212の動作が行われる。
10に示したステップS212からステップS232ま
での工程と同一である。
と同様に成長予測曲線を考慮しないで、ヒット率を算出
することも可能である。この場合には、ステップS40
2において、基本的構成例のステップS202と同様の
入力操作を行えばよい。
予定したテスト項目数のテストの中間段階までのテスト
進行度に対する誤り数の関係から、誤り数の成長予測曲
線を算出する。このため、予定していたテスト項目数の
テストを全て行わないで、成長予測曲線からテスト項目
数を終了したときの誤り数を予測することができる。そ
して、算出部12は、この誤り数からテスト終了後の予
測誤り検出率を算出し、この予測誤り検出率及び試験密
度からヒット率を算出する。そして、品質決定部13
は、これらの試験密度、予測誤り検出率及びヒット率か
ら、品質状態を決定して、これに対応する品質評価を決
定する。
するために、予定したテスト項目数を全て行う必要がな
い。このため、評価対象のソフトウェアの品質評価を短
期間で知ることができ、その対策も早く行うことができ
る。
は、実施の形態1である品質評価部により評価された品
質評価を再度評価する品質再評価部20を有する。
フトウェアの品質を評価しても、テスト不十分のもとで
のテスト結果からは、その品質を正確に知ることができ
ない場合(各品質評価のうちの品質評価1、2、3)が
ある。また、試験密度が所定の基準に達していても、テ
スト項目数に対して誤り数が多い場合には、誤り数がま
だ収束していない可能性が高い(各品質評価のうちの品
質評価5、6)。このような場合は、テストによるソフ
トウェアの実行が不足しているといえるので、テストを
追加して行い、その結果を基にして、品質の再評価を行
う必要がある。
1により評価された品質評価(品質決定部13により決
定された品質評価)のうち、評価された品質が正確でな
いと予想できるときや、さらに品質を正確に知りたいと
きには、品質再評価部20により再度、品質評価を行う
ことができる。
ステムの構成を示す図である。この図15において、図
1と同一構成要素には、同一符号を付してその説明を省
略する。
再評価部20が含まれている。
ウェアの実行不足のため検出されていないと予測できる
残存誤り数を算出する方法を品質評価結果毎に生成する
残存誤り数算出方法生成部21と、品質評価結果毎に追
加試験方法を生成する追加試験方法生成部22と、を有
する。
は、各品質評価1〜12(品質評価結果)にそれぞれ対
応する各残存誤り数算出方法が生成される。また、追加
試験方法生成部22では、各品質評価(品質評価1〜1
2)に対応する各追加試験方法が生成される。
フトウェアに対して、品質評価部1により評価された品
質評価結果と対応する残存誤り数の算出方法及び追加試
験方法を決定する再評価情報決定部23を有する。
価部1の品質決定部13により決定された品質評価(品
質評価1〜12のうちどれか)に対応する残存誤り数算
出方法及び追加試験方法を決定する。
定部23により決定された残存誤り数算出方法に従っ
て、残存誤り数を算出する残存誤り数算出部24を有す
る。
出部22により算出された残存誤り数と、再評価情報決
定部23により決定された追加試験方法と、に基づいた
テストを評価対象ソフトウェアに実行させた結果を考慮
して、評価対象のソフトウェアの試験密度及び誤り検出
率を再算出する再算出部25と、再算出された試験密度
及び誤り検出率に基づいて、評価対象のソフトウェアの
品質を再決定する品質再決定部26と、を有する。
ウェアの試験密度及び誤り検出率からヒット率も再算出
する。品質再決定部26は、再算出された試験密度、誤
り検出率及びヒット率から、品質評価マトリックスに従
って、評価対象のソフトウェアの品質状態、品質評価を
再決定する。
数算出方法生成部21による残存誤り数算出方法の生成
動作、追加試験方法生成部23による追加試験方法の生
成動作と、(4−2−2)評価対象のソフトウェアの品
質再評価に必要な追テスト情報(残存誤り数及び追加試
験方法)を作業者に提供する動作と、(4−2−3)追
加テストの結果を利用して評価対象のソフトウェアの品
質を再評価し、再評価結果とその対策案を出力する動作
と、がある。先ず、(4−2−1)について説明する。
21による残存誤り数算出方法の生成、追加試験方法生
成部23による追加試験方法の生成について、図16に
示すフローチャート図を用いて説明する。
6により、残存誤り数算出方法の生成及び追加試験方法
の生成を指示する旨を入力する。この結果、入力部6は
その旨を制御部8へ送る。この結果、制御部8は作業者
に対して、所望の品質評価データのデータ名を入力する
ように指示する旨を表示部7に表示させる。
評価(品質評価1〜12)からなる品質評価データのデ
ータ名を入力部6により入力する。この結果、制御部8
は、入力された品質評価データ名の品質評価データを記
憶部3から読み出す。そして、制御部8は、各品質評価
(品質評価1〜12)と対応する各残存誤り数算出方法
を示す情報を入力するように作業者に対して指示する旨
を表示部7に表示させる。
作して、各品質評価と対応する各残存誤り数算出方法を
示す情報を入力する。この結果、制御部8が各残存誤り
数算出方法を示す情報を受け取り、これらの情報を品質
評価データと共に、残存誤り数算出方法生成部21へ送
る。
法生成部21が、送られた情報に基づいて、各品質評価
と対応する各残存誤り数算出方法を生成する。
508において生成される残存誤り数算出方法例を以下
に示す。各品質評価に対する残存誤り数は以下の算出式
に基づいて算出される。
基づいて決定され、標準誤り検出率及び標準試験密度
は、それぞれの基準値に基づいて決定される。
方法(残存誤り数算出式)1 以下の式に従って算出される。
果の誤り検出率)*(標準テスト規模)(B)品質評価
2に対する残存誤り数算出方法(残存誤り数算出式)2 以下の式に従って算出される。
((テスト結果の試験密度)/(標準試験密度))−
(テスト結果の誤り数) (C)品質評価3に対する残存誤り数算出方法(残存誤
り数算出式)3 以下の式に従って算出される。
((テスト結果の試験密度)/(標準試験密度))−
(テスト結果の誤り数) (D)品質評価4に対する残存誤り数算出方法(残存誤
り数算出式)4 以下の式に従って算出される。
((テスト結果の試験密度)/(標準試験密度))−
(テスト結果の誤り数) (E)品質評価5に対する残存誤り数算出方法(残存誤
り数算出式)5 以下の式に従って算出される。
(誤り検出収束度)−(テスト結果の誤り数) (F)品質評価6に対する残存誤り数算出方法(残存誤
り数算出式)6 以下の式に従って算出される。
(誤り検出収束度)−(テスト結果の誤り数) (G)品質評価7に対する残存誤り数算出方法(残存誤
り数算出式)7 以下の式に従って算出される。
(誤り検出収束度)−(テスト結果の誤り数) このようにして残存誤り数算出方法生成部21が、各残
存誤り数算出方法を生成したら、残存誤り数算出方法生
成部21は、制御部8にその旨を伝える。制御部8は、
各品質評価と対応する追加試験情報を入力するように作
業者に対して指示する旨を表示部7に表示させる。この
追加試験情報は、例えば、テスト項目である。
各品質評価(品質評価1〜12)と対応する各追加試験
情報を入力する。この結果、制御部8が各追加試験情報
を受け取り、これらの情報を品質評価データ(品質評価
1〜12)と共に、追加試験方法生成部23へ送る。
部23が、送られた追加試験情報に基づいて、各品質評
価(品質評価1〜12)と対応する各追加試験方法を生
成する。
細に説明する。追加試験方法生成部23には、予め、各
テスト項目と、具体的な各追加試験方法(例えば、所定
のテストデータを用いて所定のテスト環境に基づいてソ
フトウェアを実行させる等)と、が対応づけられた複数
のテーブルが記憶されている。各テーブルはソフトウェ
アの規模等に対応している。そして、追加試験方法生成
部23は、評価対象のソフトウェアの規模等に基づい
て、追加試験方法生成のためのテーブルを決定する。そ
して、追加試験方法生成部23は、このテーブルを参照
して、制御部8から送られた追加試験情報(品質評価1
に対応するテスト項目)と対応する追加試験方法を決定
する。そして、追加試験方法生成部23は、決定した追
加試験方法を品質評価1と対応づける。このようにし
て、追加試験方法生成部23は、各品質評価(品質評価
1〜12)にそれぞれ対応する追加試験方法を生成す
る。
験方法を生成したら、追加試験方法生成部23は各追加
試験方法を生成した旨を制御部8へ伝える。
存誤り数算出方法(残存誤り数算出方法1〜12)をま
とめた残存誤り数算出方法データ、各追加試験方法をま
とめた追加試験方法データを、品質評価データと対応づ
けて記憶部3に記憶させる。この際、各品質評価と各残
存誤り数算出方法、各追加試験方法とがそれぞれ対応づ
けられる。
り決定された品質評価のソフトウェアに対して、再評価
をする場合、追テストを行い、この結果を考慮して再品
質評価をする必要がある。
情報を決定、出力する動作について図17、図18に示
すフローチャート図を用いて説明する。
による入力操作を行って、評価対象ソフトウェアの品質
の再評価を行うために必要なテスト情報を生成する旨を
入力する。この結果、制御部8は、1度目の品質評価で
使用した評価対象データ名、品質評価データ名、1度目
の品質評価で生成された評価対策結果データ名を入力す
るように作業者に対して指示する旨を表示部7に表示さ
せる。
により、評価対象データ名、品質評価データ名、評価対
策結果データ名を入力する。
対象データ、品質評価データ、評価対策結果データを読
み出すと共に、品質評価データと対応する残存誤り数算
出方法データ及び追加試験方法データを読み出す。そし
て、制御部8は、これらのデータ(評価対策結果デー
タ、残存誤り数算出方法データ、追加試験方法データ)
を再評価情報決定部23へ送る。
23は、評価対策結果データの品質評価(品質評価1〜
12のいずれか)に対応する残存誤り数算出方法(残存
誤り数算出方法1〜12のいずれか)及び追加試験方法
を決定する。そして、再評価情報決定部23は、これら
の情報を決定した旨を制御部8へ伝える。制御部8は、
評価対象データ、決定された残存誤り数算出方法を残存
誤り数算出部22へ送る。
22は、評価対象データ及び上記決定された残存誤り数
算出方法から、残存誤り数を算出する。そして、残存誤
り数算出部22は、算出した残存誤り数を制御部8へ送
る。制御部は、算出された残存誤り数と、決定された追
加試験方法と、を出力部4へ送り、これらの情報を出力
するように指示する。
された追加試験方法と、算出された残存誤り数と、をま
とめた追加試験データを出力する。出力部4は、追加試
験データを出力した旨を制御部8へ伝える。制御部8
は、出力部4により出力された追加試験データを表示部
7に表示させる。制御部8は追加試験データ名を入力す
るように作業者に対して指示する旨を表示部7に表示さ
せる。
により、追加試験データ名を入力する。
された追加試験データを追加試験データ名と対応づけて
記憶部3に記憶させる。
示により、表示部7は、追加試験データの生成を続ける
か否かについての判定を作業者に対して要求する旨を表
示する。追加試験データの生成を続ける場合、作業者
は、その旨を入力部6に入力することにより、再度ステ
ップS604以降の動作が各部により行われる。一方、
追加試験データの生成を続けない場合は、作業者は、そ
の旨を入力部6に入力することにより、ステップS62
2の動作が行われる。
部3に記憶された全ての追加試験データを読み出し、プ
リンタ部5に印刷させる。なお、制御部8が各評価対策
結果データと各追加試験データとをそれぞれ対応づけ、
これらのデータをプリンタ部5に送ることで、プリンタ
部5は、図19のように印刷することができる。
要なテスト情報(残存誤り数、追加試験方法)を提供す
ることができる。そして、作業者は、評価対象のソフト
ウェアに対して、再度、上記テスト情報に基づいて、追
加テストを行う。
用して、評価対象ソフトウェアの品質を再決定し、再決
定された品質及びその対策案を出力する動作を図20、
図21に示すフローチャート図を用いて以下に説明す
る。
により、品質再評価を行う旨を入力する。この結果、制
御部8は、追加テストの結果(試験密度、誤り検出率)
及び1度目の品質評価のときに用いた評価対象データ
(試験密度、誤り検出率、ヒット率)のデータ名、これ
から生成する再評価対象のデータ名を入力するように作
業者に対して指示する旨を表示部7に表示させる。
により、追加テストの結果、評価対象データ名、再評価
対象データ名を入力する。この結果、追加テストの結
果、評価対象データ名及び再評価対象データ名が制御部
8へ送られる。この結果、制御部8が入力された評価対
象データ名の評価対象データを記憶部3から読み出す。
そして、制御部8は、追加テストの結果及び評価対象デ
ータを再算出部25へ送り、再算出部25に再評価対象
の試験密度、誤り検出率、ヒット率を算出するように指
示する。
送られたデータ(追加テストの結果、評価対象データ)
に基づいて、再評価対象の試験密度、誤り検出率、ヒッ
ト率を算出する。そして、再算出部25がこれらのデー
タを再算出した旨を制御部8へ伝えると共に、再算出し
た各データを送る。
部25により再算出された試験密度、誤り検出率及びヒ
ット率をまとめた再評価対象データを上記再評価対象デ
ータ名と対応づけて記憶部3に記憶させる。
示により、表示部7は、再評価対象データの生成を続け
るか否かについての判定を作業者に対して要求する旨を
表示する。再評価対象データの生成を続ける場合、作業
者は、その旨を入力部6に入力することにより、再度ス
テップS704、S706、S708の動作が各部によ
り行われる。一方、再評価対象データの生成を続けない
場合は、作業者は、その旨を入力部6に入力することに
より、ステップS712の動作が行われる。
者に対して再評価対象ソフトウェアの品質評価に対応す
るマトリックスデータ(1度目の品質評価に用いたマト
リックスデータと同じ)のデータ名を入力するように作
業者に対して指示する旨を表示部7に表示させる。
より、マトリックスデータ名を入力する。この結果、制
御部8は、入力されたマトリックスデータ名に対応する
マトリックスデータを記憶部3から読み出して、品質決
定部13へ送る。また、同時に、制御部8は、マトリッ
クスデータ名と対応づけられた品質評価データ名の品質
評価データを記憶部3から読み出して、品質再決定部2
6へ送る。この際、制御部8はマトリックスデータ名を
保持する。品質再決定部26は、マトリックスデータを
受け取った旨を制御部8へ送る。
3に記憶された1つの再評価対象データを読み出し、読
み出した再評価対象データを品質再決定部26へ送る。
なお、既に読み出した再評価対象データに対しては、再
度読み出しは行わない。
は、再評価対象データ(再評価対象のソフトウェアの試
験密度、誤り検出率及びヒット率)から、品質評価マト
リックスに従って、品質状態を再決定する。そして、品
質再決定部13は、品質評価データの各品質評価のう
ち、上記再決定された品質状態に対応する品質評価を再
決定する。品質再決定部26は再評価対象データの品質
評価を終了した旨を制御部8へ伝える。
しているマトリックスデータ名と対応する対策案データ
名の対策案データを記憶部3から読み出した後、読み出
した対策案データの各対策案のうち、品質再決定部13
により決定された品質評価と対応する対策案を決定す
る。
価出力部14を制御して品質再決定部13により決定さ
れた品質評価を出力させると共に、対策案出力部15を
制御して上記品質評価に対応する対策案を出力させる。
制御部8はこれらの出力結果を表示部7に表示させる。
そして、制御部8は、上記品質評価及びその対策案を示
す再評価対策結果データを識別する再評価対策結果デー
タ名を入力するように作業者に対して指示する旨を表示
部8に表示させる。
により、再評価対策結果データ名を入力する。
価対策結果データを再評価対策結果データ名と対応づけ
て記憶部3に記憶させる。
部3から読み出されていない再評価対象データがあるか
否かを判定する。この際、読み出す再評価対象データ
は、読み出された品質評価マトリックスで評価可能な再
評価対象データに限る。
象データがある場合には、ステップS716以降の動作
が再度行われる。一方、全ての再評価対象データが記憶
部3から読み出された場合には、ステップS730の動
作が行われる。
部3に記憶された全ての再評価対策結果データを読み出
し、上記全ての再評価対策結果データを印刷するように
プリンタ部5に指示する。
記全ての再評価対策結果データを印刷する。この際、プ
リンタ部5は、再評価対策結果データを再評価対策結果
データ毎に印刷することも可能である。また、上記全て
の再評価対策結果データを表形式にまとめて印刷するこ
ともできる。
り、品質評価部による評価で品質を完全に決定できなか
ったソフトウェアに対して、再品質評価を行うので、品
質を完全に決定することができる。
ときに、試験網羅度を測定し、試験網羅度を考慮して再
評価対象データを生成してもよい。また、追加テストの
ときに、予定されたテストを全て行わず、成長予測曲線
を考慮して、再評価対象データを生成してもよい。
発明によれば、試験密度及び誤り検出率に基づいて、ソ
フトウェアの品質評価を行う。この際、例えば、評価対
象のソフトウェアの試験密度の程度及び誤り検出率の程
度に応じて、品質評価を詳細に対応させることにより、
十分な品質評価を行うことができる。
より評価されると予想される品質評価結果に対応する対
策案を予め生成する。このため、品質評価手段により評
価された品質評価結果に対応する対策案は、対策案生成
手段により予め生成されているので、出力手段は、上記
品質評価結果に対応する対策案を出力することができ
る。この結果、十分な品質評価に基づいた対策案を作業
者に迅速に提供することができるので、作業者の経験、
技量等によらず、統一的な対策が行われることになる。
品質評価手段は、評価した品質評価結果を再度評価する
品質再評価手段を有する。このため、テスト不十分等に
より品質を完全に決定できなかった評価対象のソフトウ
ェアに対しても、例えば追加テストをした結果を考慮し
て、上記評価対象のソフトウェアを再評価することがで
きる。
品質再評価手段は、以下のようにして評価対象のソフト
ウェアの品質を再評価することができる。
数を算出する方法を品質評価結果毎に生成する。また、
追加試験方法生成手段は、追加試験方法を品質評価結果
毎に生成する。この結果、各品質評価結果に、それぞ
れ、各残存誤り数算出方法及び各追加試験方法が対応す
る。
のソフトウェアに対して、評価された品質評価結果と対
応する残存誤り数算出方法及び追加試験方法を決定す
る。そして、残存誤り数算出手段は、決定された残存誤
り数の算出方法に従って、残存誤り数を算出する。この
ため、再評価に必要な追加テストの情報である残存誤り
数及び追加試験方法が作業者に知らされる。
に基づいたテストを評価対象のソフトウェアに実行させ
た結果を考慮して算出された新たな試験密度、新たな誤
り率検出率に基づいて、評価対象のソフトウェアの品質
を再決定する。このため、試験密度不足等により、品質
評価手段による評価で品質を完全に決定できなかったソ
フトウェアに対して、再品質評価を行うので、品質を完
全に決定することができる。
ステムの構成を示す図である。
ステムの動作を示すフローチャート図である。
明するための図である。
明するための図である。
明するための図である。
明するための図である。
明するための図である。
明するための図である。
ステムの動作を示すフローチャート図である。
システムの動作を示すフローチャート図である。
された結果を示す図である。
テムの動作を示すフローチャート図である。
テムの動作の具体例を示す図である。
テムの動作を示すフローチャート図である。
ステムの構成を示す図である。
ステムの動作を示すフローチャート図である。
ステムの動作を示すフローチャート図である。
ステムの動作を示すフローチャート図である。
果を示す図である。
ステムの動作を示すフローチャート図である。
ステムの動作を示すフローチャート図である。
出力部、5 プリンタ部、6 入力部、7 表示部、8
制御部、10 品質評価マトリックス生成部、11
品質評価生成部、12 算出部、13 品質決定部、2
0 品質再評価部、21 残存誤り数算出方法生成部、
22 追加試験方法生成部、23 再評価情報決定部、
24 残存誤り数算出部、25 再算出部、26 品質
再決定部。
Claims (1)
- 【請求項1】 コンピュータに用いるソフトウェアの規
模に対するテスト項目数の比である試験密度と、前記ソ
フトウェアの規模に対する前記テスト項目数のテストを
前記ソフトウェアに実行させたときに発生した誤り数の
比である誤り検出率とで2次元的に表される品質状態に
基づいて、ソフトウェアの1次元的な品質評価を行う品
質評価手段と、 予想される複数の品質評価結果に対応する複数の対策案
を予め生成する対策案生成手段と、 前記品質評価手段により評価された品質評価結果及びこ
れに対応する対策案を出力する出力手段と、 を有し、 前記品質評価手段は、前記品質評価手段により評価され
た品質評価を再度評価する品質再評価手段を有し、 前記品質再評価手段は、 前記テストによるソフトウェアの実行不足のため検出さ
れていないと予測できる残存誤り数を算出する方法を品
質評価結果毎に生成する残存誤り数算出方法生成手段
と、 品質評価結果毎に追加試験方法を生成する追加試験方法
生成手段と、 評価対象のソフトウェアに対して、前記品質評価手段に
より評価された品質評価結果と対応する残存誤り数算出
方法及び追加試験方法を決定する再評価情報決定手段
と、 この再評価情報決定手段により決定された残存誤り数算
出方法に従って、残存誤り数を算出する残存誤り数算出
手段と、 前記残存誤り数算出手段により算出された残存誤り数
と、前記再評価情報決定手段により決定された追加試験
方法と、に基づいたテストを評価対象のソフトウェアに
実行させた結果を考慮して、評価対象のソフトウェアの
試験密度、誤り検出率を再算出する再算出手段と、 再算出された試験密度及び誤り検出率に基づいて、評価
対象のソフトウェアの品質を再決定する品質再決定手段
と、 を有することを特徴とするソフトウェア品質評価システ
ム。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10025872A JP3088697B2 (ja) | 1998-02-06 | 1998-02-06 | ソフトウェア品質評価システム |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
JP10025872A JP3088697B2 (ja) | 1998-02-06 | 1998-02-06 | ソフトウェア品質評価システム |
Publications (2)
Publication Number | Publication Date |
---|---|
JPH11224187A JPH11224187A (ja) | 1999-08-17 |
JP3088697B2 true JP3088697B2 (ja) | 2000-09-18 |
Family
ID=12177890
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP10025872A Expired - Lifetime JP3088697B2 (ja) | 1998-02-06 | 1998-02-06 | ソフトウェア品質評価システム |
Country Status (1)
Country | Link |
---|---|
JP (1) | JP3088697B2 (ja) |
Families Citing this family (6)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2003345918A (ja) * | 2002-05-27 | 2003-12-05 | Nec Corp | ソフトウェア品質管理システムおよびソフトウェア品質管理方法 |
JP2004086319A (ja) * | 2002-08-23 | 2004-03-18 | Hitachi Information Systems Ltd | ソフトウェアの品質評価方法及び品質評価システム |
JP4848266B2 (ja) * | 2006-12-28 | 2011-12-28 | 株式会社日立製作所 | ソフトウェア品質評価装置及び方法 |
JP6016613B2 (ja) * | 2012-12-21 | 2016-10-26 | 三菱電機株式会社 | ソフトウェア信頼性評価装置、ソフトウェア信頼性評価方法、及びプログラム |
JP7473311B2 (ja) * | 2019-09-12 | 2024-04-23 | Nttテクノクロス株式会社 | 品質管理装置、品質管理方法及びプログラム |
KR102498062B1 (ko) * | 2022-08-03 | 2023-02-10 | 주식회사 티유컨설팅 | 메타데이터 관리 시스템 |
-
1998
- 1998-02-06 JP JP10025872A patent/JP3088697B2/ja not_active Expired - Lifetime
Non-Patent Citations (1)
Title |
---|
「東芝レビュー」Vol.51,No.2(1996−2)P.42−44 |
Also Published As
Publication number | Publication date |
---|---|
JPH11224187A (ja) | 1999-08-17 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US9423989B2 (en) | System and method for dynamically reconfiguring one or more autonomous cells in a print shop environment | |
JP4660281B2 (ja) | 電力取引支援システムと方法、およびプログラム | |
JP6124232B1 (ja) | 財務予測システム、財務予測方法、及び財務予測プログラム | |
JP5338492B2 (ja) | 入力変数選択支援装置 | |
US20090055142A1 (en) | Method and apparatus for estimating man-hours | |
JP3088697B2 (ja) | ソフトウェア品質評価システム | |
JP2000039905A (ja) | 工場計画作成装置 | |
Wewerka et al. | Seven guidelines for designing the user interface in robotic process automation | |
CN101236560A (zh) | 用于控制屏幕显示的技术 | |
JP5149045B2 (ja) | 生産計画作成装置及び生産計画作成方法、並びにプログラム | |
JP2020201611A (ja) | 計画立案システム及びその方法 | |
WO2010073311A1 (ja) | 部品の安全在庫量の算出方法、その実行プログラム、及びその実行装置 | |
JP2023017322A (ja) | 制約条件最適化装置、制約条件最適化方法 | |
JP6801562B2 (ja) | 計画作成装置、計画作成方法、およびプログラム | |
JP2006195751A (ja) | 設計支援システムおよび設計支援方法 | |
JP4040735B2 (ja) | 作業工数見積り装置 | |
JP2012063909A (ja) | 情報処理装置、ジョブ表示プログラム、及びそのプログラムを記録した記録媒体 | |
JP2006093610A (ja) | 自動検査レシピ作成装置及び作成方法 | |
JP2008192006A (ja) | 適正入力支援装置及び適正入力支援プログラム | |
US7245980B1 (en) | Method and apparatus for calculation of production quantities | |
US20060139352A1 (en) | Computer product, operation-analysis support device, and operation-analysis support method | |
JPH11188583A (ja) | ロット手番表示装置およびロット手番表示方法、記憶媒体 | |
JP5328455B2 (ja) | 設計支援システム及び設計支援方法 | |
CN118363874B (zh) | 基于关键词驱动的自动化用例数据生成方法 | |
CN117670263B (zh) | 一种审批流程的批注方法、装置、设备及介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20070714 Year of fee payment: 7 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20080714 Year of fee payment: 8 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20090714 Year of fee payment: 9 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100714 Year of fee payment: 10 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110714 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110714 Year of fee payment: 11 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120714 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120714 Year of fee payment: 12 |
|
FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130714 Year of fee payment: 13 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
R250 | Receipt of annual fees |
Free format text: JAPANESE INTERMEDIATE CODE: R250 |
|
EXPY | Cancellation because of completion of term |