JP4582038B2

JP4582038B2 - ソフトウェアの自動試験プログラム、ソフトウェアの自動試験装置、およびソフトウェアの自動試験方法

Info

Publication number: JP4582038B2
Application number: JP2006092208A
Authority: JP
Inventors: 幹人佐藤
Original assignee: Fujitsu Ltd
Current assignee: Fujitsu Ltd
Priority date: 2006-03-29
Filing date: 2006-03-29
Publication date: 2010-11-17
Anticipated expiration: 2026-03-29
Also published as: JP2007265263A

Description

本発明は、情報端末におけるソフトウェアの自動試験に関し、特に、正解画像と試験結果である実画像と不一致なものから真の誤り画像を抽出することにより効率的なソフトウェアの自動試験を可能とする技術に関する。

携帯電話などの情報端末においては、例えば地上波デジタルテレビ、モバイルSuica（東日本旅客鉄道株式会社の登録商標）サポート、非接触IC 技術であるFeliCa（ソニー株式会社の登録商標）との融合など、周辺技術の目まぐるしい進歩に応じて短周期で新型機種がリリースされている。新型機種がリリースされるときには、ハードウェアにおける機能の追加・改良にともない、ソフトウェアにおいても様々な機能やサービスの追加・改良が行われる。そのため、情報端末メーカーがタイムリーに高品質な新型機種をリリースするためには、新型機種に対応するソフトウェアの効率的な試験が極めて重要な作業となってくる。

携帯電話のソフトウェアに対する機能試験作業を自動化し、試験作業を効率化するとともに、ソフトウェアの信頼性を向上させるために、従来技術としては、電話機操作を行なうキー操作部と、電話機操作に対する動作試験を行なう動作試験部と、キー操作部、動作試験部、及び外部機器の機能を制御する全体制御部と、試験シナリオ、試験規格、試験結果、及び判定結果を保持するデータ集計部とを備えた携帯電話機のソフトウェア機能試験装置を用い、試験仕様書から自動生成した試験シナリオに従って、ソフトウェアがインストールされた電話機を操作し、操作に対する電話機動作を収集して試験結果を作成し、上記試験結果と試験仕様書から自動生成した試験規格とを用いて合否判定した判定結果を作成する携帯電話ソフトウェア自動試験方法が開示されている（例えば、特許文献１参照）。
特開２００３−９９２８８号公報（第２−３頁）

携帯電話などの情報端末のソフトウェア開発においては、短周期でリリースアップされることもあり、ソフトウェアの設計時の画面仕様などが作成工程や試験工程に入ってから変更されることも往々にしてある。特許文献１における、試験仕様書は携帯電話の設計時の仕様書から作成されるものであって、タイムリーに新製品をリリースするためにはソフトウェアの作成工程の完了を待たずに、作成工程と並行して行われるのが一般的である。

そのため、ソフトウェアの設計時の画面仕様が変更されると、関連する作成済試験仕様すべてに影響がおよぶ。例えば各画面が共通に使用しているＧＵＩ（Graphical User Interface）に変更が出てしまうと、関連する画面数は１００のオーダで影響がおよぶ場合も発生する。試験工程前に画面仕様の変更が確定した場合には試験工程までに試験仕様書の変更が可能な場合もあるが、試験工程中に画面仕様の変更が発生すると試験完了が大幅に遅れタイムリーな新製品リリースができない場合も発生していた。

従来の試験手法では、ＧＵＩ変更が多い場合には試験結果画面を目視での確認に頼らざるを得ない場合も発生し、このような場合には多大な手間がかかるばかりでなく、品質面にも影響を与えてしまう可能性がある。そのため、情報端末のソフトウェア開発においては、短期間でより多くの試験を従来よりも人手（＝コスト）をかけずに試験を実施できるようにすることが望まれている。

本発明は上記のような問題点を解決するために、予め記憶させておいた正解画像と試験結果である実画像と不一致となったものから真の誤り画像を抽出することにより効率的なソフトウェアの自動試験を可能とすることを目的としている。

図１は、本発明における実施例の全体構成図が示してある。本発明のソフトウェアの自動試験プログラム１０は、ソフトウェアの自動試験装置１として振る舞うコンピュータ上で動作するプログラムであり、正解画像登録手段１１（請求項１における正解画像登録ステップを実行する。）は、情報端末５から出力されるべき画面の正解画像情報を記憶手段に記憶させ、操作指令送信手段１２（請求項１における操作指令送信ステップを実行する。）は、情報端末５に操作指令情報を送信し、実画像受信手段１３（請求項１における実画像受信ステップを実行する。）は、前記操作指令情報に応じて情報端末５が出力する実画面の画像情報を受信して、前記正解画像情報と対応づけて記憶手段に記憶させる。

第１の抽出手段１４（請求項１における第１の抽出ステップを実行する。）は、前記実画面の画像情報と前記正解画像情報とを比較し、第１の閾値以内である類似度の実画像情報を抽出し、標準画像登録手段１５（請求項１における標準画像登録ステップを実行する。）は、第１の抽出手段１４が抽出した実画像情報とその正解画像情報との対をクラス分けして標準画像情報として記憶手段に記憶させ、第２の抽出手段１６（請求項１における第２の抽出ステップを実行する。）は、前記標準画像情報として登録された実画像情報および正解画像情報をそれぞれ記憶手段に記憶させたすべての実画像情報および正解画像情報と、実画像情報は実画像情報同士、正解画像情報は正解画像情報同士を比較し、第２の閾値以内である類似度の実画像情報および正解画像情報を抽出し、除外候補抽出手段１７（請求項１における除外候補抽出ステップを実行する。）は、第２の抽出手段１６が抽出した実画像情報と正解画像情報をそれぞれクラス分けし、実画像情報と正解画像情報との対がそれぞれ同じクラスであるものを抽出することにより、予め登録しておいた情報端末５から出力されるべき画面の正解画像に対してＧＵＩ変更などが行われ、試験結果である実画像と不一致となったものを原因別にクラス分けを行い、仕様変更に伴い不一致となった可能性のあるものを機械的に抽出することができ、結果として効率的なソフトウェアの自動試験が可能となる。

また、第１の抽出手段１４は、画像の各画素をＲＧＢ成分を座標とする３次元空間の点としてとらえ、実画像と正解画像の対応する画素間の距離の総和を第１の閾値と比較して類似度を算出することにより、情報端末５から出力される画像がカラー表示であっても比較的少量の実行ステップで、本来出力されるべき正解画像情報と比較することができ試験効率をより高めることが可能となる。

情報端末におけるソフトウェアの自動試験に関し、表示画面に仕様変更が発生しても効率的なソフトウェアの自動試験が可能となる。

（実施例）

図１は、本発明における実施例の全体構成図が示してある。ソフトウェアの自動試験装置１には、試験対象となる情報端末５から出力されるべき画面の正解画像情報と試験結果の実画像情報を対応付けて記憶させる画像ファイル２１を格納した記憶装置２、利用者が試験の指示情報を入力したりソフトウェアの自動試験装置１からの試験結果を表示するための利用者端末３、ソフトウェアの自動試験装置１で生成した操作指令情報の情報端末５への入力、および情報端末５が出力した画面情報をソフトウェアの自動試験装置１へ出力するためのインタフェースとしての試験機４が接続されている。

ソフトウェアの自動試験プログラム１０は、ソフトウェアの自動試験装置１として振る舞うコンピュータ上で動作するプログラムであり、正解画像登録手段１１は、情報端末５から出力されるべき画面の正解画像情報を記憶手段２上の画像ファイル２１に記憶させ、操作指令送信手段１２は、情報端末５に試験機４を介して操作指令情報を送信し、実画像受信手段１３は、前記操作指令情報に応じて情報端末５が出力する実画面の画像情報を試験機４を介して受信して、前記正解画像情報と対応づけて記憶装置２上の画像ファイル２１に記憶させる。

第１の抽出手段１４は、画像ファイル２１に記憶させておいた実画面の画像情報と正解画像情報とを比較し、予め設定しておいた第１の閾値以内である類似度の実画像情報を抽出し、標準画像登録手段１５は、第１の抽出手段１４が抽出した実画像情報とその正解画像情報との対をクラス分けして標準画像情報として記憶装置２の画像ファイル２１に記憶させ、第２の抽出手段１６は、標準画像情報として画像ファイル２１に登録された実画像情報および正解画像情報をそれぞれ画像ファイル２１に記憶させたすべての実画像情報および正解画像情報と、実画像情報は実画像情報同士、正解画像情報は正解画像情報同士を比較し、第２の閾値以内である類似度の実画像情報および正解画像情報を抽出し、除外候補抽出手段１７は、第２の抽出手段１６が抽出した実画像情報と正解画像情報をそれぞれクラス分けし、実画像情報と正解画像情報との対がそれぞれ同じクラスであるものを抽出することにより、予め登録しておいた情報端末５から出力されるべき画面の正解画像に対してＧＵＩ変更などが行われ、試験結果である実画像と不一致となったものを原因別にクラス分けを行い、仕様変更に伴い不一致となった可能性のあるものを機械的に抽出することができ、結果として効率的なソフトウェアの自動試験が可能となる。

図２は、本発明における実施例の全体処理の流れを図で表したものである。情報端末５とソフトウェアの自動試験装置１間を、ソフトウェアの自動試験装置１で生成した操作指令情報の情報端末５への入力、および情報端末５が出力した画面情報をソフトウェアの自動試験装置１へ出力するためのインタフェースとしての試験機４を介してケーブルで接続する。本発明に係るソフトウェアの自動試験方法は、ソフトウェアの自動試験装置１から予め規則テーブルに定義しておいた試験手順に基づいて、ソフトウェアの自動試験装置１から情報端末５に操作指令情報を送信し、情報端末５が操作指令に応じて出力する実画面情報を試験ログに取り込み、予め登録しておいた試験結果としての正解画像情報とを以下のように比較して結果の妥当性を確認するものである。なお、本図では便宜上、試験結果を試験ログにとるように説明しているが、試験ログは正解画像を登録しておくファイルと共用してもよい。

試験実行後にまず、実画像情報と正解画像情報との画面不一致箇所のうち真の誤り以外による要因のものの候補を一致率基準によってあらかじめ検索しておき、各々の不一致箇所の実画像情報（および正解画像情報）を標準画像情報とした画像分類クラスを定義し、その候補中の他の実画像情報（および正解画像情報）との類似度を計算し、各々のケースと同一要因による不一致箇所を自動で抽出することによって、許容されるケースを考慮して判定結果の更新を行うものである。また、上記のような不一致箇所の実画像情報（および正解画像情報）を不一致要因毎に許容規則としてあらかじめ記憶しておき、試験実行中にそれを元に画面良否判定を行い、結果の出力を行うようにしてもよい。

例えば図１１で示してあるように、背景色の変更およびキー操作ガイドなど複数の画像分類クラスに定義される変更が試験工程で画面仕様に対して行われた場合、従来の試験方法では、単なる不一致が発生したことしか分からないため、その変更が関連する実画像についてはすべて目視による確認が必要であった。ところが、本発明を適用したソフトウェアの自動試験装置では、実画像情報と正解画像情報とで発生する不一致に対しては、それぞれの画像分類クラスを併せて利用者端末３に表示させることが可能であるため、試験結果における実画像が真の誤り以外による要因のものかどうかを短時間、かつ正確に確認することが可能となる。

図３は、本発明に係る正解画像情報と実画像情報との比較方法について更に詳細に説明したものである。試験実行後に試験ログの中から、画面不一致箇所のうち真の誤り以外による要因のものの候補を一致率基準によって予め検索しておき、各々の不一致箇所の実画像（正解画像）に基づき画像分類クラスを定義し、試験ログ中の他箇所の実画像（正解画像）と標準画像との類似度を計算することで、画像分類クラスに分類されるかどうかを調べ、選択した箇所の画像と同一要因による不一致箇所を抽出し、判定結果への更新を行うようにしている。

図４は、本発明に係る不一致箇所候補の検索１の処理手順を示すフローチャートである。本処理は予め設定しておいた基準に基づき試験ログ中の実画像群から画面仕様変更が起因する不一致箇所の候補を検索するものである。本実施例では、一致率が予め設定しておいた閾値以内であるかどうかで判別する。

先ず、試験ログに蓄積格納しておいた各ＮＧ箇所において、実画像と正解画像との画素の一致率（一致画素数／全画素数×１００）を計算し（Ｓ４０１）、一致率が、予め設定しておいた第１の閾値の範囲以内かどうかを判定する（Ｓ４０２）。判定した結果、一致率が第１の閾値以内であればその箇所を画面仕様変更要因による不一致の候補Ｇに分類し（Ｓ４０３）、試験ログに蓄積格納しておいた最後のＮＧ箇所まで前記の処理が完了したかどうかを判定し（Ｓ４０４）、試験ログに蓄積格納しておいたすべての実画像について上記処理を繰り返す。

候補Ｇに含まれるある画像の各画素の色成分（ＲＧＢ値）に基づき、それを画像分類クラスC[k]の標準画像とし、図５で示した方法で、同一要因による不一致箇所をすべて抽出し、画像クラスC[k]に分類する（Ｓ４０５）。なお、分類クラスC[k]の標準画像における画素Ｐにおける色成分は、S(R, G, B)=(S1, S2, S3)とする。

次に、下記の条件にて、同様の方法で同一要因による不一致箇所をすべて抽出し、画像クラスC[k+1]に分類する（Ｓ４０６）。
（１）画像クラスC[k+1]：候補Ｇに含まれる箇所のうちいずれの画像クラスにも分類されていない１つの箇所
（２）同一要因不一致箇所の抽出対象：候補Ｇ全体のうちいずれの画像クラスにも分類されていない箇所全て
候補Ｇのすべてが画像クラスに分類されたかどうかを判定しＳ４０６、すべての候補Ｇが画像クラスに分類されるまでＳ４０６の処理を繰り返した後、各画面分類クラスに分類された箇所（＝画面仕様変更不一致箇所）の判定結果を”NG”から”C[x]”に更新して（Ｓ４０６処理を終了する。

図５は、本発明に係る試験ログ中の画面仕様変更要因による不一致箇所候補の検索の処理手順を示すフローチャートである。先ず、実画像X[t]における各画素の色成分（ＲＧＢ）に対し、分類クラスＣにおける標準画像中の同一位置の画素との距離を計算し、その総和（＝類似度）を求める（Ｓ５０１）。
実画像Ｘにおける画素Ｐにおける色成分：X[t](R, G, B)=(X₁, X₂, X₃) (t=1, 2 ,…)
距離d：d²(X, C)= (X₁-S₁)² + (X₂-S₂)² + (X₃-S₃)²
Ｓ５０１で求めた、類似度が予め設定しておいた第２の閾値以内であるかどうかを判定し（Ｓ５０２）、第２の閾値より大きい場合はＳ５０６に進む。第２の閾値以内の場合には該当箇所の正解画像同士が類似画像であるかどうかを図４で示した実画像の場合と同様の方法で調べる（Ｓ５０３）。次に正解画像も分類クラスＣの類似画像かどうかを判定し（５０４）、実画像同士および正解画像同士が同じ分類クラスである場合には判定結果として、分類クラスＣの画面仕様変更要因による不一致箇所候補とする（Ｓ５０５）。

以上の処理を試験ログに蓄積格納されたすべての実画像について行ったかどうかを判定し（Ｓ５０６）、すべての実画像に対して上記処理を繰り返す。

図６は、本発明に係る不一致箇所候補の検索２の処理手順を示すフローチャートである。本処理は仕様変更内容が明確となっており、画像分類クラス、および実画像と正解画像の対を標準画像として予め画像分類クラステーブルに登録しておいた場合の不一致箇所候補の検索処理手順である。なお、画像分類クラステーブルは画像ファイルと共用するように実装してもよい。

先ず、実画像情報、および正解画像情報を試験ログ、画像ファイルから取り出し（Ｓ６０１）、画像情報が一致しているかどうかを比較する（Ｓ６０２）。前記比較の結果、実画像情報と正解画像情報が不一致かどうかを判定し（Ｓ６０３）、一致している場合には判定結果として「ＯＫ」とし処理を終了する。不一致の場合には、図４で示した不一致箇所候補の検索１の場合と同様の方法で、実画像情報（正解画像情報）と画像分類クラステーブル内の画像分類クラスC[t]に分類されるかどうかを調べる（Ｓ６０4）。

前記の分類の調査の結果、実画像（正解画像）がC[t]に一致しているかどうかを判定し（Ｓ６０５）、一致していた場合には判定結果として「C[t]」とし処理を終了する。一致していなかった場合には、判定結果として「ＮＧ」とし処理を終了する。

図７は、本発明に係るソフトウェアの試験結果表示例１が示してある。左側に示してある表示例は従来の試験方式の例である。この例では、正解画像情報と実画像情報とが一致したのは操作１のみであることを示している。不一致となったものの中には、例えば試験工程中に背景色のみ変更されたため不一致となったもの（不一致許容ケースＣ１）や、図１１の画面表示例で示してあるようなキー操作ガイド部分の背景色や文字の色が変更されたために不一致となったもの（不一致許容ケースＣ２）も含まれている。

本発明を適用すると、右側の表示例で示してあるように、図３で示した正解画像情報と実画像情報との比較で予め設定しておいた第１の閾値以内の類似度のものについては、その許容される類似のタイプ毎にクラス分けして、例えば操作２についてはＣ１、操作２についてはＣ２のように表示される。更に、実画像同士、正解画像同士を許容される類似のタイプ毎にクラス分けされた標準画像と比較して第２の閾値以内のものについて許容される類似のタイプ毎にクラス分けを行い、実画像・正解画像ともに同じクラスに属するものについては許容ケースとして試験結果に表示する。

この例では、操作ｎが背景色のみ変更されたため不一致となった（不一致許容ケースＣ１）もの、操作ｎ＋２がキー操作ガイド部分の背景色や文字の色が変更されたために不一致となったもの（不一致許容ケースＣ２）として、単に正解画像情報と実画像情報との比較のみで得られなかった新たな不一致許容ケースが見つかったことを示している。その結果、真の障害被疑ケースとしては操作ｎ＋1ということが表示されるため従来の試験方法と比較して効率的なソフトウェアの自動試験が可能となる。

図８は、本発明に係る本発明に係るソフトウェアの試験結果表示例２が示してある。図７で示した本発明に係る本発明に係るソフトウェアの試験結果表示例１の場合と基本的には同じ内容の者が表示される。ただし、この場合は予め仕様変更内容について画像分類クラス、および実画像と正解画像の対を標準画像として登録しておくものである。図６で示してある不一致箇所候補の検索２に対応した試験結果表示例である。
図９は、本発明に係る正解画像と実画像との比較例１が示してある。正解画像と実画像とで不一致が発生する場合には、画面仕様変更およびソフトウェア障害に起因するものがある。上の段は、画面仕様変更による画面不一致の例が示してある。画面の一部分の背景色が変更されている（画面デザイン変更）。なお、[A],[B]は文字またはアイコン等のイメージを表している。

中の段は、画面の一部分の背景色が変更された場合（上の段と同一要因による画面不一致）が示してある。上の段の場合もそうであるが、画像自体は一致していないものの、本手法によって、上の段と同一要因による画面不一致とみなされるケースである。下の段は、ソフトウェア障害による画面不一致の例が示してある。表示内容が仕様上ＯＦＦとなるべき箇所が誤ってＯＮとなっている。

図１０は、本発明に係る正解画像と実画像との比較例２が示してある。例えば背景色を変更した場合など、不一致画素が多い場合でも不一致許容ケースとなり得る。このような場合、先ず正解画像情報と実画像情報の一致率を調べる（１）ときに、閾値を低めに調整することで可能となるが、他のケースを確実に区別できる訳ではない。

そこで本発明では、実画像（正解画像）同士の類似度を調べる（２）ことにより、同一要因での不一致となった画面が１つの画面クラスとして１まとめに表示されるため判別が容易となる。実画像（正解画像）同士は、（画面の一部に可変的要素がある場合もあり全く同一ではないが）基準ケースとほぼ近い画面となるので、他のケースとの区別が可能となる。

図１１は、本発明に係る情報端末の画面表示例が示してある。右側の正解画像例は情報端末の機能追加にともない設計工程時の画面仕様である。左側の実画像例は、作成工程または試験工程時にアイコンを見やすくするために背景色を変更し、背景色の変更に伴い画面の最下部にあるキー操作ガイドの背景色や文字の色を目立つように変更したため設計工程時の画面仕様とは異なるが問題のない実画像の例が示してある。

実施例の全体構成図実施例の全体処理の流れ正解画像情報と実画像情報との比較方法不一致箇所候補の検索１試験ログ中の画面仕様変更要因による不一致箇所候補の検索不一致箇所候補の検索２試験結果表示例１試験結果表示例２正解画像と実画像との比較例１正解画像と実画像との比較例２情報端末の画面表示例

符号の説明

１ソフトウェアの自動試験装置
２記憶装置
３利用者端末
４試験機
５情報端末
１０ソフトウェアの自動試験プログラム
１１正解画像登録手段
１２操作指令送信手段
１３実画像受信手段
１４第１の抽出手段
１５標準画像登録手段
１６第２の抽出手段
１７除外候補抽出手段
２１画像ファイル

Claims

コンピュータに、
情報端末から出力されるべき画面の正解画像情報を記憶手段に記憶させる正解画像登録ステップと、
情報端末に操作指令情報を送信する操作指令送信ステップと、
前記操作指令情報に応じて情報端末が出力する実画面の画像情報を受信して、前記正解画像情報と対応づけて記憶手段に記憶させる実画像受信ステップと、
前記実画面の画像情報と前記正解画像情報とを比較し、第１の閾値以内である一致率の実画像情報を抽出する第１の抽出ステップと、
前記第１の抽出ステップが抽出した実画像情報とその正解画像情報との対をクラス分けして標準画像情報として記憶手段に記憶させる標準画像登録ステップと、
前記標準画像情報として登録された実画像情報および正解画像情報をそれぞれ記憶手段に記憶させたすべての実画像情報および正解画像情報と、実画像情報は実画像情報同士、正解画像情報は正解画像情報同士を比較し、第２の閾値以内である類似度の実画像情報および正解画像情報を抽出する第２の抽出ステップと、
前記第２の抽出ステップが抽出した実画像情報と正解画像情報をそれぞれクラス分けし、実画像情報と正解画像情報との対がそれぞれ同じクラスであるものを抽出する除外候補抽出ステップと
を実行させるソフトウェアの自動試験プログラム。
前記第１の抽出ステップは、画像の各画素をＲＧＢ成分を座標とする３次元空間の点としてとらえ、実画像と正解画像の対応する画素間の距離の総和を第１の閾値と比較して一致率を算出することを特徴とする請求項１記載のソフトウェアの自動試験プログラム。
情報端末から出力されるべき画面の正解画像情報を記憶手段に記憶させる正解画像登録手段と、
情報端末に操作指令情報を送信する操作指令送信手段と、
前記操作指令情報に応じて情報端末が出力する実画面の画像情報を受信して、前記正解画像情報と対応づけて記憶手段に記憶させる実画像受信手段と、
前記実画面の画像情報と前記正解画像情報とを比較し、第１の閾値以内である一致率の実画像情報を抽出する第１の抽出手段と、
前記第１の抽出ステップが抽出した実画像情報とその正解画像情報との対をクラス分けして標準画像情報として記憶手段に記憶させる標準画像登録手段と、
前記標準画像情報として登録された実画像情報および正解画像情報をそれぞれ記憶手段に記憶させたすべての実画像情報および正解画像情報と、実画像情報は実画像情報同士、正解画像情報は正解画像情報同士を比較し、第２の閾値以内である類似度の実画像情報および正解画像情報を抽出する第２の抽出手段と、
前記第２の抽出ステップが抽出した実画像情報と正解画像情報をそれぞれクラス分けし、実画像情報と正解画像情報との対がそれぞれ同じクラスであるものを抽出する除外候補抽出手段と
を有することを特徴とするソフトウェアの自動試験装置。
情報端末から出力されるべき画面の正解画像情報を記憶手段に記憶させる正解画像登録ステップと、
情報端末に操作指令情報を送信する操作指令送信ステップと、
前記操作指令情報に応じて情報端末が出力する実画面の画像情報を受信して、前記正解画像情報と対応づけて記憶手段に記憶させる実画像受信ステップと、
前記実画面の画像情報と前記正解画像情報とを比較し、第１の閾値以内である一致率の実画像情報を抽出する第１の抽出ステップと、
前記第１の抽出ステップが抽出した実画像情報とその正解画像情報との対をクラス分けして標準画像情報として記憶手段に記憶させる標準画像登録ステップと、
前記標準画像情報として登録された実画像情報および正解画像情報をそれぞれ記憶手段に記憶させたすべての実画像情報および正解画像情報と、実画像情報は実画像情報同士、正解画像情報は正解画像情報同士を比較し、第２の閾値以内である類似度の実画像情報および正解画像情報を抽出する第２の抽出ステップと、
前記第２の抽出ステップが抽出した実画像情報と正解画像情報をそれぞれクラス分けし、実画像情報と正解画像情報との対がそれぞれ同じクラスであるものを抽出する除外候補抽出ステップと
を有することを特徴とするソフトウェアの自動試験方法。