JP4846029B2 - 動作検証装置、動作検証方法および動作検証プログラム - Google Patents

Description

この発明は、製品の動作をテストするための技術に関する。

製品品質を保証する上で、製品出荷前の動作テストは不可欠である。一般的には、テスト・エンジニアが製品を手動操作し、その操作結果を確認することにより動作テストを実行することが多い。しかし、操作バリエーションが豊富な多機能製品の場合、手動による動作テストには限界がある。

そこで、テスト・プログラムで動作テストを自動実行することにより、動作テストの省力化を図ることも多い。例えば、ＨＰ（Hewlett-Packard）社が提供する自動機能テストツール「ＱＴＰ（Quick Test Professional）」は、ユーザが自作したテスト・プログラムを実行することにより、動作テストを自動化する。

特開２００４−２２７３９６号公報

ウェブページの動作テストは、一般的に、そのウェブページを表示するウェブブラウザに対して入力操作を行い、操作結果を確認することにより実施される。ウェブページの改変後の操作結果は、改変前の操作結果と比較して検証する必要があるが、従来ではこの比較検証は、画面イメージの印刷物を用いて、テスト・エンジニアが目視で行っていた。

本発明は上記課題を鑑みてなされたものであり、その目的は、ウェブページの動作検証テストにおける出力結果の比較検証を容易にする技術を提供することにある。

本発明のある態様は、ウェブページの動作確認のためのテスト・プログラムを実行する動作検証装置である。この装置は、前記ウェブページに対するデータ入力操作を検出し、前記データ入力操作に対応する関数であって、前記ウェブページへの入力データを取得するためのインタフェースを備える関数を、操作内容ファイルに記録する操作記録部と、前記操作内容ファイルに記録された関数に応じてプログラムコードを設定することにより、前記ウェブページに対して実行された一連の操作を再現するためのテスト・プログラムを生成するプログラム生成部と、前記操作内容ファイルとは異なる入力データファイルから入力データを取得して前記関数に渡すことにより、前記テスト・プログラムを実行させるプログラム実行部と、前記テスト・プログラム実行後のウェブページをテスト結果データとして記録するテスト結果保持部と、前回のテスト・プログラム実行後の前回テスト結果データと、今回のテスト・プログラム実行後の今回テスト結果データとを比較する比較部と、前記比較部による比較により検出された不一致部分を識別表示した比較結果画像を出力する比較結果作成部と、を備える。

この態様によると、ウェブページの動作検証テスト時の出力結果を過去の出力結果と突き合わせ、不一致部分を識別表示した上で画面出力するので、出力結果の比較検証作業の負担を軽減することができる。
なお、ウェブページのテスト結果データは、ウェブページの出力結果の画面イメージである場合と、ウェブページの出力結果を構成するＨＴＭＬ（HyperText Markup Language）、ＸＭＬ（Extensible Markup Language）等のマークアップ言語ファイルである場合の両方を含む。

なお、以上の構成要素の任意の組み合わせ、本発明の表現を装置、方法、システム、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、ウェブページの動作検証テストにおける出力結果の比較検証が容易になる。

ポータルサイト第１画面の画面図である。 ポータルサイト第２画面の画面図である。 辞書テストを実行したときのログを示す図である。 辞書テストを実行するためのプログラムを示す図である。 動作検証装置の機能ブロック図である。 ログを取得して動作テストを実行するまでの概要図である。 ログ画面の画面図である。 関数設定画面の画面図である。 プログラム画面の画面図である。 入力設定画面の画面図である。 ケース設定画面の画面図である。 参考技術１の動作検証装置と参考技術２の動作検証装置とのそれぞれにおける構成の概要を示す図である。 参考技術１の動作検証装置と参考技術２の動作検証装置とのそれぞれにおける動作の概要を示す図である。 参考技術２の動作検証装置の機能構成を示すブロック図である。 参考技術２において、ユーザのデータ入力操作を検出して動作テストを実行するまでの概要図である。 参考技術２における関数設定画面の画面図である。 参考技術２における関数設定画面の画面図である。 参考技術２における入力設定画面の画面図である。 参考技術２におけるケース設定画面の画面図である。 本発明の実施の形態に係る動作検証装置の構成を示すブロック図である。 テスト結果比較部の作用について説明する図である。 比較対象となるテスト結果データを指定するための画面例を示す図である。 動作検証対象のウェブページによって作成されるテスト結果画像データの一例を示す図である。 動作検証対象のウェブページによって作成されるテスト結果画像データの一例を示す図である。 比較結果画像の一例を示す図である。 マスク画像の一例を示す図である。 本実施の形態に係るテスト結果比較処理のフローチャートである。

本実施の形態の動作検証システムについて説明する前に、その前提となる動作検証装置に係る参考技術１および２について説明する。

（参考技術１）
図１（ａ）は、ポータルサイト第１画面３００の画面図である。
参考技術１においては、ポータル・サイト「ＸＹＺ！」を対象とした動作テストについて説明する。ポータルサイト第１画面３００は、エディットボックス３０２と検索リンク３０４を含む。検索リンク３０４は、「ウェブ」、「ブログ」、「画像」、「辞書」という４つのリンクを含む。ユーザがエディットボックス３０２に文字列を入力し、検索リンク３０４のうちのいずれかをマウス・クリックすると、入力文字列の検索が開始される。例えば、エディットボックス３０２に文字列「液晶」と入力し、リンク「ウェブ」をマウス・クリックした場合、文字列「液晶」を含むウェブサイトが検索対象となる。エディットボックス３０２に文字列「液晶」と入力し、リンク「ブログ」をマウス・クリックした場合には、このポータル・サイトに開設されているブログ（Weblog）のうち、文字列「液晶」を含むブログページが検索対象となる。
ここでは、エディットボックス３０２に文字列「テスト」が入力され、リンク「辞書」がマウス・クリックされたとする。

図１（ｂ）は、ポータルサイト第２画面３１０の画面図である。
ポータルサイト第１画面３００にて、「テスト」を入力し、「辞書」をマウス・クリックすると、図１（ｂ）に示すポータルサイト第２画面３１０が表示される。検索結果欄３０６には、このポータル・サイトが提供している「辞書」サービスにより、文字列「テスト」に関連する項目が羅列される。
ここで、検索結果欄３０６の１番上にあるリンク「テスト（test）」がマウス・クリックされたとする。

上記過程においては、以下に示す３つの操作がなされている。
Ａ１．ポータルサイト第１画面３００のエディットボックス３０２に文字列「テスト」を入力する操作。
Ａ２．ポータルサイト第１画面３００の検索リンク３０４のうち、リンク「辞書」をマウス・クリックする操作。
Ａ３．ポータルサイト第２画面３１０の検索結果欄３０６のうち、リンク「テスト（test）」をマウス・クリックする操作。
以下においては、上記Ａ１〜Ａ３の操作により実現される動作過程のことを、「辞書テスト」とよぶ。

図２は、辞書テストを実行したときのログ３２０を示す図である。
ＨＰ社のＱＴＰが導入されているクライアント端末を操作して、上記ポータル・サイトにアクセスし、Ａ１〜Ａ３の操作を実行した場合、ＱＴＰは図２に示すログ３２０を生成する。ログ３２０には、操作Ａ１〜Ａ３が所定フォーマットの符合文として記録される。
例えば、操作Ａ１は、
Browser("XYZ!").Page("XYZ!").WebEdit("p").Set"テスト"
という符号文にて表現される。これは、"XYZ!"というウェブ・サイト、"XYZ!"という名前のウェブページ、pという名前のエディットボックス（図１（ａ）、図１（ｂ）に示すエディットボックス３０２に相当する）に対して、文字列「テスト」が入力されたことを意味している。
同様にして、操作Ａ２は、
Browser("XYZ!").Page("XYZ!").Link("辞書").Click
操作Ａ３は、
Browser("XYZ!").Page("XYZ!-全ての辞書-テスト").Link("テスト(test)").Click
という符号文にて表示される。参考技術１においては、ＱＴＰの文法に基づいて説明するが、符合文のフォーマットはこれに限られるものではない。

ＱＴＰは、ログ３２０の符合文を解釈しながら、符合文により表現される操作を再現実行できる。このため、いったんログ３２０を生成すれば、同一内容の辞書テストを何度でも繰り返し実行できる。また、ログ３２０の一部を書き換えれば、手動操作時とは異なる内容にて辞書テストを実行できる。例えば、
Browser("XYZ!").Page("XYZ!").WebEdit("p").Set"テスト"
に含まれる文字列「テスト」を別の文字列「テイスト」に変更し、
Browser("XYZ!").Page("XYZ!").WebEdit("p").Set"テイスト"
と書き換えてＱＴＰに入力すれば、エディットボックス３０２への入力文字列だけ変更した同内容の辞書テストを自動実行できる。
しかし、ログ３２０を書き換えながら動作テストを実行するには、ログ３２０の文法に関してある程度の知識が必要である。また、ログ３２０の書き換えに際し、人為的なミスが発生する可能性がある。

図３は、辞書テストを実行するためのプログラム３３０を示す図である。
ログ３２０により動作テストを実行する代わりに、ログ３２０と同等の内容をＶＢ（Visual Basic）スクリプト等で記述することにより、テスト・プログラムを作成してもよい。図３に示すプログラム３３０は、図２のログ３２０を参照しつつ作成されたテスト・プログラムである。
例えば、操作Ａ１は、
WebEditSet(Browser("XYZ!").Page("XYZ!").WebEdit("p"),DataTable("p1,dtGlobalSheet")
というＶＢ関数により表現される。WebEditSet関数の具体的なロジックは、同図中段に記述されている通りである。

プログラム３３０、文字列「テスト」のような入力データをプログラム３３０中に含まない点においてログ３２０と異なる。代わりに、WebEditSet関数は、dtGlobalSheetとして表現されるファイル（以下、「入力データファイル」とよぶ）から入力データを受け取る。すなわち、ロジックと入力データが分離されることになる。入力データファイルの書き換えや取り替えにより、様々な入力データに基づいて同一ロジックの辞書テストを実行できる。手動による動作テストやログ３２０による動作テストに比べて、プログラム３３０による動作テストは、入力データのバリエーションを増やしやすいというメリットがある。

ただし、プログラム３３０による動作テストには、以下の問題点がある。
ｄ１．プログラムを作成する手間が新たに発生する。
ｄ２．プログラム作成者によって、プログラムの内容が変化する。例えば、プログラマＰ１が操作Ａ１に対応して作成するWebEditSet関数と、プログラマＰ２が操作Ａ１に対応して作成するWebEditSet関数は、関数名は同じでもロジックが同一になるとは限らない。また、プログラム自体にバグが混入する可能性がある。このため、プログラム３３０自体の信頼性を担保するための取り組みが必要となる。また、プログラム３３０には、例外処理等、動作テストとは直接関係しないロジックも必要であるが、全てのプログラマが例外処理まで考慮したロジックを実装するとは限らない。例えば、図３に示すWebEditSet関数の場合、入力データが空文字の場合にも対応できるようにロジックが組まれているが、別のプログラマがWebEditSet関数を実装する場合には、こういった配慮が欠如するかもしれない。
結果として、プログラマのスキルが動作テストの内容・結果に影響を及ぼしやすくなってしまう。

図４は、動作検証装置１００の機能ブロック図である。
本明細書のブロック図が示す各機能ブロックは、ハードウェア的には、コンピュータのＣＰＵをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。例えば、各機能ブロックは、コンピュータプログラムとして記録媒体に格納され、情報処理装置のハードディスクにインストールされ、適宜メインメモリに読み出されてプロセッサにより実行されてもよい。
動作検証装置１００は、専用ハードウェアとして形成されてもよいし、ウェブブラウザなどのユーザインタフェースと連携するソフトウェア・モジュールとして形成されてもよい。
参考技術１の動作検証装置１００とは、ＱＴＰのアドオンとして形成されるソフトウェア・モジュールであるとして説明する。

動作検証装置１００は、ＩＦ（インタフェース）部１１０、データ処理部１３０およびデータ保持部１４０を含む。
ＩＦ部１１０は、ユーザやＱＴＰとのインタフェースを担当する。データ処理部１３０は、ＩＦ部１１０やデータ保持部１４０から取得されたデータを元にして各種のデータ処理を実行する。データ処理部１３０は、ＩＦ部１１０とデータ保持部１４０との間のインタフェースの役割も果たす。データ保持部１４０は、各種データを保持するための記憶領域である。

ＩＦ部１１０：
ＩＦ部１１０は、入力部１１２と出力部１１８を含む。入力部１１２はユーザやＱＴＰからの入力処理を担当し、出力部１１８はユーザやＱＴＰに対する出力処理を担当する。入力部１１２は、ログ取得部１１４と入力データ取得部１１６を含む。ログ取得部１１４は、ＱＴＰからログを取得する。入力データ取得部１１６は、入力データファイルを取得し、入力データファイルからプログラムに提供する入力データを取得する。入力データファイルの詳細については、図５や図９に関連して詳述する。

出力部１１８は、関数設定画面表示部１２０、入力設定画面表示部１２２、プログラム画面表示部１２４およびケース設定画面表示部１２６を含む。関数設定画面表示部１２０は、図７に示す関数設定画面２１０を表示させる。入力設定画面表示部１２２は、図９に示す入力設定画面２３０を表示させる。プログラム画面表示部１２４は、図８に示すプログラム画面２２０を表示させる。ケース設定画面表示部１２６は、図１０に示すケース設定画面２４０を表示させる。

データ処理部１３０：
データ処理部１３０は、プログラム生成部１３２、プログラム実行部１３４およびテストケース登録部１３６を含む。プログラム生成部１３２は、動作テスト用のプログラムを自動的に生成する。プログラム実行部１３４は、生成されたプログラムを実行させる。参考技術１においては、ＱＴＰにプログラムを実行させる。テストケース登録部１３６は、実行セットをケースファイルに登録する。実行セットおよびケースファイルについては図１０に関連して詳述する。

データ保持部１４０：
データ保持部１４０は、ログ保持部１４２、プログラム保持部１４４、入力データファイル保持部１４６、ケースファイル保持部１４８、関数保持部１５０および結果保持部１５２（以下、「テスト結果保持部１５２」とも呼ぶ。）を含む。ログ保持部１４２は、ログを保持する。プログラム保持部１４４は、プログラムを保持する。入力データファイル保持部１４６は、入力データファイルを保持する。ケースファイル保持部１４８は、ケースファイルを保持する。関数保持部１５０は、動作テスト用のプログラムに登録される関数について、関数ライブラリを保持する。結果保持部１５２は、動作テストの結果を保持する。

図５は、参考技術１において、ログを取得して動作テストを実行するまでの概要図である。
まず、動作テストの対象となる機器を手動操作する。参考技術１においては、クライアント端末のウェブブラウザを操作して、ポータル・サイト「ＸＹＺ！」にアクセスする。ＱＴＰはログを生成し、ログ取得部１１４はＱＴＰからログを取得する。各種符合文にはあらかじめ関数が対応づけられている。関数設定画面表示部１２０は、関数保持部１５０の関数ライブラリを読み出し、ログに含まれる各符号文に対応する関数を一覧表示させる（Ｓ１）。関数設定画面表示部１２０において、ユーザは、適宜、関数を追加・変更・削除できる。こうして、プログラムに含まれるべき関数が特定される。Ｓ１については、図７に関連して後に詳述する。

次に、このプログラムに供給すべき入力データを設定する（Ｓ２）。設定内容は、入力データファイルとして登録される。Ｓ２については、図９に関連して後に詳述する。Ｓ１で設定された関数群からプログラムを自動生成する（Ｓ３）。Ｓ３については、図８に関連して後に詳述する。

次に、複数種類のプログラムおよび複数種類の入力データファイルから、プログラムと入力データファイルの組み合わせを「実行セット」として登録する。実行セットは複数個登録することもできる（Ｓ４）。設定内容は、ケースファイルとして登録される。例えば、プログラムＰ１を入力データファイルＦ２に基づいて実行した後、プログラムＰ２を入力データファイルＦ６に基づいて実行させたい場合、
実行セット１：プログラムＰ１＋入力データファイルＦ２
実行セット２：プログラムＰ２＋入力データファイルＦ６
としてケースファイルに登録される。Ｓ４については、図１０に関連して詳述する。
最後に、ケースファイルにしたがって、プログラムを実行する（Ｓ５）。上記例の場合には、プログラム実行部１３４は、実行セット１と実行セット２を連続実行させる。プログラム実行部１３４は、プログラムの実行結果、言い換えれば、テスト結果をテスト結果保持部１５２に登録する。

図６は、ログ画面２００の画面図である。
ログ取得部１１４がログを取得すると、出力部１１８はログ画面２００におけるログ表示領域２０２にログを画面表示させる。ユーザは、ＱＴＰのログをログ表示領域２０２にコピー＆ペーストしてもよい。あるいは、出力部１１８は、ログ画面２００の表示時において、ＱＴＰが生成したログ（ファイル）を取得し、ログ表示領域２０２に画面表示させてもよい。ユーザが実行ボタン２０４をマウス・クリックすると、次の図７に示す関数設定画面２１０が表示される。

図７は、関数設定画面２１０の画面図である。
プログラム生成部１３２は、ログに含まれる符号文について関数を特定し、関数設定画面２１０の関数欄２１４に特定した関数を一覧表示させる。番号欄２１２は実行順序、説明欄２１６は関数の概要説明、オブジェクト欄２１８は操作対象オブジェクト、パラメータ欄２１９はパラメータ名、入力値欄２１７は入力データを示す。
先述の操作Ａ１を示す符合文、
Browser("XYZ!").Page("XYZ!").WebEdit("p").Set"テスト"
には、あらかじめ、WebEditSet関数が関数ライブラリにおいて対応づけられている。プログラム生成部１３２はログ３２０の１番目の符合文を読み出すと、関数保持部１５０の関数ライブラリを参照し、WebEditSet関数を特定する。操作Ａ１が操作対象とするオブジェクトは、「Browser("XYZ!").Page("XYZ!")」のページであるため、オブジェクト欄２１８には、「Browser("XYZ!").Page("XYZ!")」が設定される。WebEditSet関数は、エディットボックスp（エディットボックス３０２）に設定される入力データを引数とする関数である。入力値欄２１７において、エディットボックスpに設定すべき入力データを設定することもできるが、関数設定画面２１０では入力データを登録しないものとして説明する。エディットボックスpに設定すべき入力データは、図９に関連して詳述する入力設定画面２３０にて設定される。

ログ３２０には操作Ａ１〜Ａ３に対応して３つの符合文が含まれているため、プログラム生成部１３２は３つの関数を特定する。ユーザは、関数設定画面２１０にて、関数を追加・削除・変更してもよい。図７における４番目のTextCheck関数と５番目のWebScreenCapture関数は、ユーザが追加選択した関数である。

TextCheck関数は、表示中のウェブページにおいて、変数qに代入される文字列が含まれているかを判定する関数である。WebScreenCapture関数は、表示中のウェブページを画面キャプチャする関数である。動作テストの結果を証跡管理する上で、WebScreenCapture関数は便利な関数である。このように、関数ライブラリには、WebEditSet関数のようにユーザの操作に対応した関数だけでなく、TestCheck関数のように動作テストを補助・支援するための関数も用意されている。ユーザは、関数ライブラリから所望の関数を選択するだけで、動作テストに含めたいロジックを設定できる。

テストケース設定ボタン２１５がクリックされると、図１０のケース設定画面２４０が表示される。入力データファイル作成ボタン２１３がクリックされると、図９の入力設定画面２３０が表示される。プログラム作成ボタン２１１がクリックされると、図８のプログラム画面２２０が表示される。

参考技術１の動作検証装置１００には、以下のメリットがある。
ｍ１．ＧＵＩ（Graphical User Interface）ベースで関数を選択するだけで、プログラムに含めたいロジックを選択できる。プログラムを作成するための手間がほとんどかからない。
ｍ２．プログラムに含まれる関数は、関数ライブラリとして登録済みの関数であるため、作成者によってプログラムの品質がばらつきにくい。例外処理等の必要なロジックも、あらかじめ各関数に組み込まれている。

図８は、プログラム画面２２０の画面図である。
関数設定画面２１０において、プログラム作成ボタン２１１がマウス・クリックされると、プログラム生成部１３２がプログラムを生成し、プログラム画面表示部１２４はプログラム画面２２０におけるプログラム表示領域２２２にそのソースコードを表示させる。プログラムは、プログラム保持部１４４に保持される。

図９は、入力設定画面２３０の画面図である。
関数設定画面２１０において、入力データファイル作成ボタン２１３がマウス・クリックされると、入力設定画面表示部１２２は入力設定画面２３０を表示させる。関数設定画面２１０においては、パラメータpとqが定義されている。番号欄２３２は入力順序、変数欄２３４はパラメータpへの入力データ、変数欄２３６はパラメータqへの入力データを示す。入力設定画面２３０では、このパラメータpとqに代入する入力データを設定する。各入力データは、入力データファイルとして入力データファイル保持部１４６に保持される。

例えば、プログラム３３０に、図９に示す形式の入力データファイルを与えると、
１．文字列「テスト」をエディットボックス３０２に入力して辞書を検索し、実行結果を示す画面に文字列「試験」が含まれているかを判定するテスト
２．文字列「test」をエディットボックス３０２に入力して辞書を検索し、実行結果を示す画面に文字列「試験」が含まれているかを判定するテスト
３．文字列「テストケース」をエディットボックス３０２に入力して辞書を検索し、実行結果を示す画面に文字列「試験」が含まれているかを判定するテスト
・・・のように、異なる入力データに基づく複数の辞書テストを連続実行できる。

図１０は、ケース設定画面２４０の画面図である。
関数設定画面２１０において、テストケース設定ボタン２１５がマウス・クリックされると、ケース設定画面表示部１２６はケース設定画面２４０を表示させる。番号欄２４４は実行順序、実行セット欄２４５は実行セットの概要、プログラム欄２４６は実行対象となるプログラム、入力データファイル欄２４７は入力データの抽出対象となる入力データファイルを示す。
ここでは、インターネット証券のウェブ・サイトを動作テストの対象として説明する。

同図においては、１．ログイン、２．ニュースチェック、３．株売り、４．債券売り、５．住所変更、６．ログアウトという６つの実行セットが登録されている。まず、ＱＴＰは、プログラム「login.vbs」から「login」プロジェクトを生成する。ここでいう「プロジェクト」とは、ＱＴＰの実行形式ファイル群を含むディレクトリである。ＱＴＰは「login」プロジェクトを入力として、login.vbsとlogin.xlsに定義された処理を実行する。ユーザが実行ボタン２４８をマウス・クリックすると、最初に、実行セット「ログイン」の「login」プロジェクトが実行される。１番目の実行セット「ログイン」が完了すると、実行セット「ニュースチェック」として、「ncheck」プロジェクトが実行される。

このように、実行ボタン２４８がマウス・クリックされると、１．ログイン、２．ニュースチェック、３．株売り、４．債券売り、５．住所変更、６．ログアウトという６つの実行セットが連続実行される。これにより、「ログインして、ニュースをチェックした後、手持ち株と手持ち債券の売りを指示し、住所変更をした上で、ログアウトする」というテスト・シナリオに基づく動作テストを自動化できる。

ユーザは、ケース設定画面２４０において自由にテスト・シナリオを作ることができる。例えば、実行セット「株売り」の代わりに実行セット「株買い」を登録してもよいし、実行セット「株売り」の入力データファイルとして「stock1.xls」ではなく別の入力データファイルを登録してもよい。ケース設定画面２４０において登録されたテスト・シナリオはケースファイルとして記録され、ケースファイル保持部１４８に保持される。
テスト・シナリオの構成や入力データファイル等を少しずつ変化させることにより、動作テストのバリエーションを広げやすくなる。

以上、参考技術１の動作検証装置１００を説明した。
動作検証装置１００によれば、プログラムと入力データ、すなわち、処理とパラメータを分離できる。そして、そのためのプログラムをＧＵＩベースの設定に基づき自動生成できる。これにより、プログラムに含めるロジックの多様性を確保しつつも、安定した品質のプログラムを簡易に生成できる。また、入力データファイルの内容を変更するだけで、動作テストの内容を変更できるため、動作テストのバリエーションを広げやすくなる。

さらに、実行セットをケースファイルに登録してテスト・シナリオを作ることにより、既存のプログラムを組み合わせながら、様々な状況における動作テストを実現できる。また、WebEditSet関数のようなテスト対象機器を操作するための関数だけでなく、WebScreenCapture関数のような動作テストを支援するための関数を用意しておくことにより、動作テストの効率や信頼性をいっそう向上させやすくなる。

（参考技術２）
参考技術２では、上記の参考技術１を改良した動作検証装置１００を提案する。
まず、参考技術１における動作検証装置１００と、参考技術２の動作検証装置１００とを比較しつつ、参考技術２の動作検証装置１００についてその概要を説明する。

図１１は、参考技術１の動作検証装置１００と参考技術２の動作検証装置１００とのそれぞれにおける構成の概要を示す。図１１（ａ）が示すように、参考技術１の動作検証装置１００は、動作テストの実行エンジンであるＱＴＰモジュール１０２と、ＱＴＰモジュール１０２を使用したウェブサーバ４００の動作テストを効率化するためのラッパーモジュール１０４とを備えた。このラッパーモジュール１０４には、図４で示した各機能ブロックが含まれる。

図１１（ａ）において、ユーザは、ＱＴＰモジュール１０２を介して、動作確認の対象装置であるウェブサーバ４００を操作する（Ｓ１００）。ラッパーモジュール１０４は、その操作内容が記録されたログをＱＴＰモジュール１０２から取得して、関数設定画面２１０をユーザに提供した（Ｓ１０２）。ユーザは、動作テスト実行の際、ＱＴＰモジュールが読み込み可能な動作テスト用プログラムをラッパーモジュール１０４において生成させ、ＱＴＰモジュール１０２にそのプログラムを実行させた（Ｓ１０４）。

これに対して、図１１（ｂ）が示すように、参考技術２の動作検証装置１００は、動作テストの実行エンジンの機能とラッパーモジュール１０４の機能とが統合された統合検証モジュール１０６を備える。ユーザが統合検証モジュール１０６を介してウェブサーバ４００を操作すると（Ｓ２００）、統合検証モジュール１０６はその操作内容を逐次検出して関数設定画面２１０のデータを設定し、関数設定画面２１０をユーザに提供する（Ｓ２０２）。ユーザは、動作テスト実行の際、統合検証モジュール１０６において動作テスト用プログラムを生成させて実行させる（Ｓ２０４）。

図１２は、参考技術１の動作検証装置１００と参考技術２の動作検証装置１００とのそれぞれにおける動作の概要を示す。図１２（ａ）は、参考技術１の動作検証装置１００における動作の概要を示している。ユーザはウェブサーバ４００に対するデータ入力操作を実行し（Ｓ１１０）、ＱＴＰモジュール１０２はその操作内容が記録されたログを出力する（Ｓ１１２）。ユーザはそのログのデータをＱＴＰモジュール１０２の所定の入力エリアにコピーする（Ｓ１１４）。ラッパーモジュール１０４は所定の入力エリアに設定されたログのデータに基づいて関数設定画面を設定して表示させ（Ｓ１１６）、ユーザはその関数設定画面を介して追加・変更すべき関数・入力データを設定する（Ｓ１１８）。

ラッパーモジュール１０４は、関数設定画面のデータに基づいて、動作テストのためのＱＴＰ用プログラムを生成する（Ｓ１２０）。ユーザは、ＱＴＰ用プログラムをＱＴＰモジュール１０２の所定の入力エリアにコピーする（Ｓ１２２）。ユーザは、ケース設定画面において、ＱＴＰ用プログラムと入力データファイルとをセットとして指定した動作テストのシナリオを設定する（Ｓ１２４）。ラッパーモジュール１０４は、そのシナリオに基づいて、ＱＴＰ用プログラムと入力データファイルのセットをＱＴＰモジュール１０２に渡して、セット毎に動作テストを実行させる（Ｓ１２６）。

図１２（ｂ）は、参考技術２の動作検証装置１００における動作の概要を示している。ユーザは、ウェブサーバ４００に対するデータ入力操作を実行する（Ｓ２１０）。統合検証モジュール１０６は、そのデータ入力操作を逐次検出して、データ入力操作に対応する関数を操作内容ファイルに記録し、その操作内容ファイルの記録データを関数設定画面において表示する（Ｓ２１２）。ユーザは、その関数設定画面を介して追加・変更すべき関数・入力データを操作内容ファイルに設定する（Ｓ２１４）。そしてユーザは、ケース設定画面において、操作内容ファイルと入力データファイルとをセットとして指定した動作テストのシナリオを設定する（Ｓ２１６）。統合検証モジュール１０６は、そのシナリオに基づいて、シナリオ内の１以上のセットを集約した動作テスト用プログラムを生成して実行する（Ｓ２１８）。

このように、参考技術１の動作検証装置１００では、ＱＴＰモジュール１０２とラッパーモジュール１０４とが分離していた。したがって、両モジュールを連係させるために、ユーザ自身が仲介作業を実行する必要があった。また、ラッパーモジュール１０４はシナリオ内のセット毎にＱＴＰモジュール１０２をコールして、テスト用プログラムをセット毎に実行させる必要があった。

これに対して、参考技術２の動作検証装置１００では、動作テストの実行エンジンと、その効率的な利用を実現するラッパーとが分離されることなく、シームレスに統合されている。したがって、参考技術１の動作検証装置１００と比較すると、分離したモジュールを連係させるために必要であったユーザの作業が不要になり、動作テストのためのユーザの作業量が低減する。また、シナリオ内の複数のセットが集約された動作テスト用プログラムが生成され、そのプログラムの実行により一連のシナリオが実行されるため、迅速な動作テストが実現される。

図１３は、参考技術２の動作検証装置１００の機能構成を示すブロック図である。同図の機能ブロックは、図１１（ｂ）で示した統合検証モジュール１０６に含まれる。参考技術２の機能ブロックのうち、参考技術１の機能ブロックに対応する機能ブロックには、同じ符号を付している。参考技術１の機能ブロックと同じ符号を付した機能ブロックについてはその機能が参考技術１に既述した内容と異なる場合に記載しており、同様の機能についてはその記載を省略する。

データ保持部１４０は、操作内容ファイル保持部１４３と、プログラム保持部１４４と、入力データファイル保持部１４６と、ケースファイル保持部１４８と、関数保持部１５０とを有する。操作内容ファイル保持部１４３は、動作テスト用プログラムに設定すべき関数が記録される操作内容ファイルを記憶する。プログラム保持部１４４は、操作内容ファイルにしたがって生成された動作テスト用プログラムを記憶する。

ＩＦ部１１０の入力部１１２は、操作検出部１１５とユーザ設定受付部１１７とを有する。操作検出部１１５は、ウェブサーバ４００に対するユーザのデータ入力操作を逐次検出する。ユーザ設定受付部１１７は、関数設定画面２１０、入力設定画面２３０、ケース設定画面２４０に対するユーザによる設定情報を検出する。

ＩＦ部１１０の出力部１１８は、関数設定画面表示部１２０と入力設定画面表示部１２２とケース設定画面表示部１２６とを有する。関数設定画面表示部１２０は、操作内容ファイル保持部１４３に記録された操作内容ファイルの内容を表示する関数設定画面２１０を所定の表示装置に表示させる。

データ処理部１３０は、プログラム生成部１３２と、プログラム実行部１３４と、テストケース登録部１３６と、操作記録部１３７と、入力データ記録部１３８とを有する。操作記録部１３７は、関数保持部１５０を参照して、操作検出部１１５において検出されたデータ入力操作に対応する関数を特定し、その関数を操作内容ファイルに記録する。また操作記録部１３７は、関数設定画面２１０に対するユーザの設定情報を操作内容ファイルに記録する。入力データ記録部１３８は、入力設定画面２３０を介してユーザが入力した入力データを入力データファイルに記録する。プログラム生成部１３２は、操作内容ファイルに記録された関数に応じて動作テスト用プログラムを生成する。プログラム実行部１３４は、動作テストの実行エンジンとして、動作テスト用プログラムを実行し、その結果をテスト結果保持部１５２に記録する。

図１４は、参考技術２において、ユーザのデータ入力操作を検出して動作テストを実行するまでの概要図である。まず、ユーザはクライアント端末のウェブブラウザを操作してウェブサーバ４００にアクセスし、ウェブサーバ４００に対する各種操作、典型的にはウェブサーバ４００が提供するウェブページに対するデータ入力操作を実行する。操作検出部１１５はユーザによるデータ入力操作を逐次検出し、操作記録部１３７は関数保持部１５０の関数ライブラリを読み出し、そのデータ入力操作に対応する関数を操作内容ファイルに逐次記録する（Ｓ２２０）。

次に、関数設定画面表示部１２０は、操作内容ファイル保持部１４３の操作内容ファイルを読み出し、ユーザによる操作に対応する関数を一覧表示する関数設定画面を表示させる。関数設定画面において、ユーザは、適宜、関数を追加・変更・削除でき、また、動作テスト用プログラムに静的に設定すべき入力データを設定できる。こうして、動作テスト用プログラムに含まれるべき関数が特定される。関数設定画面については、図１５および図１６に関連して後述する。

次に、入力設定画面表示部１２２は、入力設定画面２３０を表示させる。ユーザは、入力設定画面２３０を介して、動作テストの実行時に動作テスト用プログラムに対して動的に供給されるべき入力データを設定する。ユーザにより設定された入力データは、入力データファイルに記録される（Ｓ２２２）。入力設定画面２３０については、図１７に関連して後述する。

次に、ケース設定画面表示部１２６は、ケース設定画面２４０を表示させる。ユーザは、複数種類の操作内容ファイルおよび複数種類の入力データファイルから、操作内容ファイルと入力データファイルとの組み合わせを実行セットとして登録する。テストケース登録部１３６は、１以上の実行セットをケースファイルに記録する（Ｓ２２４）。例えば、テストケース１において、操作内容ファイルＦ０１の設定内容を入力データファイルＦ１２に基づいて実行させた後、操作内容ファイルＦ０２の設定内容を入力データファイルＦ１６に基づいて実行させる場合、
テストケース１：
実行セット１：操作内容ファイルＦ０１＋入力データファイルＦ１２
実行セット２：操作内容ファイルＦ０２＋入力データファイルＦ１６
としてケースファイルに登録される。ケース設定画面２４０については、図１８に関連して後述する。

次に、プログラム生成部１３２は、ケースファイルおよび操作内容ファイルに基づいて動作テスト用プログラムを生成する（Ｓ２２６）。具体的には、実行セットに設定された操作内容ファイルに順次記録された関数を、動作テスト用プログラムのプログラムコードに順次設定してもよい。また、プログラム生成部１３２は、１つのテストケースに複数の実行セットが設定されている場合、各実行セットの操作内容ファイルに記録された関数を１つの動作テスト用プログラムに集約して設定する。

また、プログラム生成部１３２は、操作内容ファイルの関数に対して入力データそのものが設定されていた場合には、その入力データを動作テスト用プログラムに静的に設定する。例えば、動作テスト用プログラムの生成の際に、そのプログラムコードにおける関数の引数として入力データをあらかじめ設定する。また、操作内容ファイルの関数に対して入力データファイルが指定されていた場合には、その入力データファイルのデータをプログラム実行時に読み込むように設定する。

最後に、プログラム実行部１３４は、動作テスト用プログラムを実行して、ウェブサーバ４００に対してユーザにより実行された一連の操作を再現する（Ｓ２２８）。入力データファイルのデータを必要とする関数に対しては、動作テスト用プログラムの実行の際に読み込んだ入力データファイルのデータを引数として渡す。すなわち、入力データファイルから動的に取得した入力データに基づいて関数を実行する。

図１５は、関数設定画面２１０の画面図である。同図は、図１８で後述する「検索記入．ｘｌｓ」を表示する関数設定画面２１０を示している。データファイルカラム名欄２５０は、パラメータに設定する入力データを記録した入力データファイルのカラム名が指定される領域である。ユーザは、入力値欄２１７に入力データそのものを記述してもよく、その代わりに、データファイルカラム名欄２５０に入力データファイルのカラム名を指定してもよい。データファイルカラム名欄２５０に入力データファイルのカラム名が指定された場合、動作テスト用プログラムの実行時に、その入力データファイルのカラムに設定された１以上の入力データが読み込まれて関数に渡される。

図１６は、参考技術２における関数設定画面２１０の画面図である。同図の「検索部署名」パラメータの入力値欄２１７においては、入力データの候補がドロップダウンリスト２５２で一覧表示されている。ドロップダウンリスト２５２において表示される入力データの候補は、ウェブページに対するユーザによるデータ入力の際に、そのウェブページのドロップダウンリストにおいて表示された入力データの候補である。ユーザはドロップダウンリスト２５２から入力データを選択することができ、入力データの設定におけるユーザの負担が軽減される。

ドロップダウンリスト２５２を設定するために、操作検出部１１５は、ウェブページに対するユーザによるデータ入力操作の際に、そのウェブページのドロップダウンリストにおいて表示された入力データの候補を取得する。例えば、ウェブサーバ４００から取得されたウェブページのデータ、例えばＨＴＭＬデータからドロップダウンリストにおける入力データの候補を取得する。操作記録部１３７は、その入力データの候補を操作内容ファイルの入力値欄２１７に記録する。関数設定画面表示部１２０は、入力値欄２１７が入力される際に、操作内容ファイルに記録された入力データの候補をドロップダウンリストの形式で一覧表示させる。

図１７は、参考技術２における入力設定画面２３０の画面図である。図１７（ａ）は、図１５および図１６の関数設定画面２１０においてカラム名が指定された入力データファイル「検索記入データ．ｘｌｓ」を表示する入力設定画面２３０を示している。なお、図１５および図１６では、図１７（ａ）の「氏名漢字」カラムと「氏名カナ」カラムとが指定されている。図１７（ｂ）は、別の入力データファイル「ログインデータ２．ｘｌｓ」を表示する入力設定画面２３０を示している。同図の入力データファイルについては、図１８に関連して後述する。

図１８は、参考技術２におけるケース設定画面２４０の画面図である。実行番号欄２５３には各実行セットの基本的な実行順序、テストケースＩＤ欄２５４にはテストケースの識別情報が設定される。グループＩＤ欄２５６には実行セットの繰り返し処理のグループを示す識別情報、行番号欄２５８には動作テストにおける入力データファイルの参照範囲が設定される。操作内容ファイル欄２６０は各実行セットにおける操作内容ファイル、入力データファイル欄２６２は各実行セットの入力データファイルが設定される。ケース設定画面２４０における設定内容は、ケースファイル保持部１４８においてケースファイルとして記憶される。

ケース設定画面２４０においてテスト実行ボタン２６４が押下されると、プログラム生成部１３２は、ケースファイルおよび操作内容ファイルにしたがって動作テスト用プログラムを生成する。具体的には、ケースファイルにおいて同一のテストケースＩＤが設定された１以上の操作内容ファイルに基づいて、各操作内容ファイルに記録された関数がプログラムコードに設定された１つの動作テスト用プログラムを生成する。例えば、プログラム生成部１３２は、図１８のケース設定画面２４０の内容が記録されたケースファイルにしたがって、登録ケースを実行するための１つの動作テスト用プログラムと、検索ケースを実行するための１つの動作テスト用プログラムとを生成する。なお、「１つの動作テスト用プログラム」は、１つの実行単位として実行されるプログラム、言い換えれば１つの実行契機で実行されるプログラムを意味し、物理的なプログラム数は問わない。

プログラム実行部１３４は、各操作内容ファイルに記録された１つの関数を実行する際、その操作内容ファイルと対応づけられた入力データファイルのデータのうち、操作内容ファイルにおいてその関数と対応づけられたカラムのデータをその関数に渡す。

また、プログラム実行部１３４は、同一のテストケースにおいて同一のグループＩＤが付与された複数の実行セットを、同一の繰り返し処理を実行すべき同一のグループとして取り扱う。具体的には、同一のグループＩＤが付与された複数の実行セットそれぞれの実行を繰り返し、繰り返しのたびに、各実行セットの操作内容ファイルに記録された関数に対して、入力データファイルに記録された所定数のレコードを渡す。参考技術２では、繰り返しのたびに入力データファイルに記録された１レコードを関数に渡すこととする。なお、上述の処理を実行するための繰り返し命令がプログラムコードに設定された動作テスト用プログラムを、プログラム生成部１３２おいて生成してもよい。

また、プログラム実行部１３４は、行番号が指定された実行セットについては、その操作内容ファイルに記録された関数に対して、入力データファイルにおいてその行番号で特定される入力データを渡す。したがって、グループＩＤによる繰り返し処理が指定され、さらに行番号が指定された場合には、行番号の指定数だけその繰り返しを実行することになる。例えば、図１８の登録ケースでは、実行セットをまたがったグループの設定はなく、各実行セットでは入力データ１個分の処理が実行される。これに対し、図１８の検索ケースでは、各実行セットにおける入力データ１個分の処理が３回繰り返される。

具体的には、１回目の繰り返しでは、ログイン２．ｘｌｓに記録された関数に対してログインデータ２．ｘｌｓの３５行目のデータ「ｔ＿ｙａｍａｄａ」が渡される。そして、検索記入．ｘｌｓに記録された関数、具体的には図１５のＮｏ１の関数に対しては検索記入データ．ｘｌｓの１行目・氏名漢字のデータ「山田太郎」が渡される。また、図１５のＮｏ２の関数に対しては検索記入データ．ｘｌｓの１行目・氏名カナのデータ「ヤマダタロウ」が渡される。
２回目の繰り返しでは、ログイン２．ｘｌｓに記録された関数に対してログインデータ２．ｘｌｓの３６行目のデータ「ｈ＿ｙａｍａｄａ」が渡される。そして、検索記入．ｘｌｓに記録された図１５のＮｏ１の関数に対して検索記入データ．ｘｌｓの２行目・氏名漢字のデータ「山田花子」が渡される。また、図１５のＮｏ２の関数に対して検索記入データ．ｘｌｓの２行目・氏名カナのデータ「ヤマダハナコ」が渡される。
３回目の繰り返しにおいても同様に、インクリメントされた行番号における入力データが各関数に渡されることになる。

参考技術２の動作検証装置１００においても、参考技術１で既述した効果を奏する。具体的には、処理とパラメータの分離、および、ＧＵＩベースの設定が実現されるため、動作テスト用プログラムに含めるロジックの多様性を確保しつつも、安定した品質のプログラムを簡易に生成できる。また、入力データファイルの設定によって、動作テストのバリエーションを広げやすくなる。さらに、ケースファイルの設定によって、様々なシナリオにおける動作テストを実現できる。

参考技術２の動作検証装置１００においては、さらに、動作テスト用プログラムを実行する実行エンジン機能と、実行エンジンの効率的な利用を実現するラッパー機能とがシームレスに、ユーザによる仲介を要することなく連係する。これにより、動作テストを実行するためのユーザの負担を軽減できる。また、参考技術１の動作検証装置１００の場合と異なり、ユーザは、ＱＴＰのプロジェクト等、プログラム実行のための環境を意識する必要がない。すなわち、ユーザにとって理解・操作が容易な形式の操作内容ファイルと入力データファイルとを設定すればよい。これにより、ユーザは動作テストを容易に実施できるようになる。

参考技術２の動作検証装置１００においては、さらにまた、同一テストケースの複数の実行セットが集約された１つの動作テスト用プログラムが生成され、その１つの動作テスト用プログラムが実行される。参考技術１の動作検証装置１００における実行セット毎、すなわち実行セットに基づき生成されたＱＴＰのプロジェクト毎の実行と比較して、１つのテストケースにおける一連の動作テストを実行する際のオーバーヘッドが低減され、迅速な動作テストを実現できる。

参考技術２の動作検証装置１００においては、さらにまた、複数の実行セットにわたる繰り返しのグループを設定できる。これにより、実行セットを柔軟に分割でき、また、動作テストのシナリオを柔軟に設定できる。さらにまた、入力データファイルの参照範囲を設定できる。これにより、入力データファイルが同一であっても、シナリオに応じて柔軟に参照範囲を変更でき、様々なバリエーションの動作テストを容易に実現できる。

上述した参考技術２においては、関数設定画面２１０における値設定を支援する例としてドロップダウンリスト２５２を示した。変形例においては、ウェブページにおけるラジオボタン、チェックボックス、リストボックス等で選択可能に表示された入力データの候補が、ドロップダウンリスト２５２またはその他の形式で関数設定画面２１０において選択可能に表示されてもよい。すなわち、動作確認対象の機器に対するデータ入力操作の際にユーザに対して様々な形式で選択可能に表示された入力データの候補が、関数設定画面２１０における値設定の際に選択可能に表示されてもよい。

上述した参考技術１においては、ウェブサーバ４００に対するユーザの操作をＱＴＰが受け付け、ログを生成したことを条件として、動作検証装置１００が動作テスト用プログラムを作成している。また、上述した参考技術２においては、ウェブサーバ４００に対するユーザの操作を動作検証装置１００が検出して、動作テスト用プログラムを作成している。変形例として、動作検証装置１００においてウェブサーバ４００からＨＴＭＬファイルを取得した時点で、動作テスト用プログラムを生成してもよい。この場合、動作検証装置１００は、ＨＴＭＬファイルに含まれるフォームタグを検索し、ＨＴＭＬファイルにどのような入力インタフェースが含まれているかを特定する。そして、各入力インタフェースにデータを入力するための関数を選択し、これらの関数を様々な順序で並べれば、ユーザによる明示的なウェブ操作がなくても、動作テスト用のプログラムを生成できる。

（実施の形態）
以下、本発明の実施の形態について述べる。

上記の参考技術１および２では、動作検証装置１００がウェブページの動作テスト用プログラムを作成し、ウェブページの動作検証を行うことを述べた。この動作テスト用プログラムを実行することで、動作結果としてのウェブページ画面が出力され、テスト結果データがテスト結果保持部に格納される。ウェブページを改変する毎に、上記の動作検証を繰り返し行うことが望ましいため、ウェブページのテスト結果データは複数存在することになる。なお、以下では、動作テストの対象となるウェブページを、以下では「テスト対象ページ」とも称する。

従来では、これらのテスト結果データ同士が整合しているか否かを、テスト・エンジニアによる手作業で確認していた。つまり、ある時点でのウェブページの動作検証後の画面と、改変したウェブページの動作検証後の画面とをキャプチャして印刷する。そして、印刷したもの同士を突き合わせて、動作結果に誤りや齟齬がないかを目視で確認していた。ウェブページの改変の回数が多くなると、画面キャプチャの印刷物の数も増えて管理が大変であり、また、ウェブページの動作結果が複数ページにわたる場合や、大量の数値が出力される場合などには、目視確認による負担が重くなっていた。

そこで、本発明の実施の形態では、ウェブページの動作検証テスト時の出力結果を過去の出力結果と比較する際の負担を軽減するための技術を提供する。

図１９は、本発明の実施の形態に係る動作検証装置５００の機能構成を示すブロック図である。同図の機能ブロックのうち、参考技術１および２で示した動作検証装置１００の機能ブロックに対応する機能ブロックには、同じ符号を付している。同じ符号を付した機能ブロックについては、その機能が参考技術１および２に既述した内容と異なる場合に記載しており、同様の機能については既述であるため適宜その記載を省略する。

動作検証装置５００は、動作検証装置１００にテスト結果比較部５１０を追加した構成となっている。テスト結果比較部５１０は、上述のＩＦ部１１０およびデータ保持部１４０と必要に応じてデータの入出力を行う。テスト結果比較部５１０は、テスト結果取得部５１２、比較部５１４、マスク保持部５１６、比較結果作成部５１８、ユーザ指定受付部５２０およびマスク作成部５２２を含む。

テスト結果取得部５１２は、テスト結果保持部１５２に記録されている動作検証後のテスト結果データを取得する。このテスト結果データは、ウェブページの画面出力をキャプチャした画像データである。ウェブページの動作結果が複数のページにまたがる場合には、ページをスクロールしながらキャプチャすることで、テスト結果を１つの画像データに収めることが好ましいが、テスト結果が複数の画像データに分かれていてもよい。

比較部５１４は、過去のテスト結果の画像データと、最新のテスト結果の画像データとを比較し、互いに異なる部分を検出する。このような画像データ同士の比較は、周知の画像比較ソフトウェアを利用して行うことができる。一例として、単に画像データ同士の対応する画素間で差分をとれば、一致する部分はゼロになるので、不一致部分を容易に検出することができる。テスト結果のテキストを比較するのではなく、画像データ同士を比較することで、テキストの不一致点だけでなく、デザイン上の不一致点も検出することが可能になる。

比較結果作成部５１８は、比較部５１４による比較により検出された新旧のテスト結果データ間の不一致部分を識別表示した状態で、最新のテスト結果の画像データを比較結果画像として出力する。この比較結果画像は、ＩＦ部１１０の出力部１１８を介してユーザ端末に表示される。ユーザは、比較結果画像における識別表示された部分を見ることで、新旧のテスト結果データ間の不一致部分を容易に把握することができる。識別表示は、例えば不一致部分を網掛け表示する、色を変える、反転表示する、アンダーラインを引くなど、任意の表示方法を使用することができる。

マスク作成部５２２は、テスト結果データのうち、ユーザが不一致を許容する範囲については識別表示しないようにするためのマスク画像を作成する。マスクすべき範囲については、ユーザ指定受付部５２０が入力部１１２を介してユーザ端末からの指定を受け付け、マスク作成部５２２に渡す。作成されたマスク画像は、マスク保持部５１６に格納され、次回以降のテスト結果データ間の比較の際に使用される。このマスク画像の作成については、図２２〜図２４を参照してさらに詳細に説明する。

マスク保持部５１６内にマスク画像がある場合、比較結果作成部５１８は、比較結果画像にマスク画像を適用した上でユーザ端末に表示する。このマスク処理によって、マスクされた範囲内の不一致部分については識別表示が外された状態、つまり通常状態で表示される。

続いて、テスト結果比較部５１０の作用について、図２０を参照して述べる。テスト結果取得部５１２は、過去のテスト結果の画像データ（以下、「比較元データ」とも称する）３５０と、最新のテスト結果の画像データ（以下、「比較先データ」とも称する）３５２をテスト結果保持部１５２から取得する。比較部５１４は、両者の画像データ同士を比較し（Ｓ３２０）、比較結果作成部５１８が比較結果画像３５４を作成する。ユーザは、比較結果画像を参照して、新旧データ間の不一致を許容する範囲をマスク範囲として設定し（Ｓ３２２）、これに基づきマスク作成部５２２はマスク画像３５６を作成する。次回以降のテスト結果の比較時（Ｓ３２４）には、比較結果作成部５１８は、比較結果画像３５４に対してマスク画像３５６を適用するマスク処理を行う（Ｓ３２６）。この結果、マスク部分の識別処理が外されたマスク後比較結果画像３５８が生成され、ユーザ端末に出力される。

図２１は、比較対象となる新旧のテスト結果データを指定するための画面例を示す。テスト結果取得部５１２は、テスト結果データの比較を開始するときに、指定画面５３０をユーザ端末に表示する。指定画面５３０には、比較元データのファイルパスを指定する領域５３２と、比較先データのファイルパスを指定する領域５３４と、比較結果画像データの保存先を指定する領域５３６が含まれる。各領域でファイルパスを指定した後、比較ボタン５３８をクリックすることで、比較元データと比較先データが取り込まれ、比較処理が開始される。

なお、比較元データおよび比較先データが１つの画像データとして保存されておらず、ページ毎の複数の画像データとして保存されている場合、複数の画像データを一括して保存しているディレクトリをファイルパスとして指定できるように構成してもよい。この場合、比較部は、比較元データと比較先データの対応するページ毎に画像データの比較を実行し、比較結果作成部はページ毎に比較結果画像を作成する。比較元データと比較先データとで不一致部分のあったページの比較結果画像と、不一致部分のなかったページの比較結果画像とを異なるディレクトリに保存できるように構成してもよい。

図２２および図２３は、テスト対象ページによって作成されるテスト結果画像データの一例を示す。ここでは、テスト対象ページは、複数の会議スペースの予定を日付毎に管理するスケジュール表を作成するものとする。また、図２２は過去のテスト結果の画像データ５４０を表し、図２３は今回のテスト結果の画像データ５５０を表すものとする。図２２と図２３を比較すると、いずれもスケジュール表は正しく作成されているが、動作検証テストを実施した日が異なるため、スケジュール表内の日付が異なっていることが分かる。

新旧のテスト結果画像データ内の日付が異なっているため、比較結果作成部５１８は、図２４に示すような比較結果画像５６０を作成する。比較結果画像５６０では、日付部分に編みかけ５６２が施され、識別表示されている。このように、ユーザは比較結果画像５６０を参照して識別表示部分を探すだけで、新旧のテスト結果データ間の不一致部分を容易に把握することができる。

しかしながら、上述したように、動作検証テストの実施日によってテスト結果内の日付が変わるのは当然なので、不一致点として識別表示されないほうが好ましい。そこで、マスク作成部５２２は、ユーザが不一致を許容する部分をマスクするためのマスク画像を作成する。

図２５は、そのようなマスク画像５７０の一例を示す。図示するように、日付に相当する部分がマスク範囲５７２として指定されている。このマスク範囲は、ユーザ指定受付部５２０を介してユーザ自身が指定することができる。マスク範囲は、例えば、比較結果画像５６０上で、ポインタまたはマウスを用いてテスト結果が相違してもよい部分を囲んで指定する。ユーザによりマスク範囲が指定されたら、マスク作成部５２２はそれらのマスク範囲を１つのマスク画像として作成する。比較結果作成部は、次回以降のテスト結果の比較の際に、比較結果画像に対しマスク画像を適用し、マスク範囲に当たる部分は識別表示を外して表示する。

ユーザが比較結果の不一致を許容する範囲、つまりマスク範囲として指定されるべき部分の例としては、上述の日付の他に、日々更新される統計や株価などの数字、ウェブの検索結果、日付毎に切り替わる画像、ウェブページの動作に影響を及ぼさない単なる装飾画像などが考えられるが、これらに限定されるものではない。

図２６は、本実施の形態に係るテスト結果比較処理のフローチャートである。
テスト結果取得部５１２は、動作検証テストの比較元データと比較先データをテスト結果保持部１５２から取得する（Ｓ３０２）。比較部５１４は、比較元画像データと比較先画像データとを比較し、不一致部分を検出する（Ｓ３０４）。比較結果作成部５１８は、マスク保持部５１６にマスク画像があるか否かを確認し（Ｓ３０６）、マスク画像がない場合には（Ｓ３０６のＮ）、不一致部分を識別表示した比較結果画像を出力する（Ｓ３１０）。

マスク作成部５２２は、比較結果画像を利用してマスク画像を作成するか否かをユーザに問い合わせ（Ｓ３１２）、マスクを作成する場合には（Ｓ３１２のＹ）、ユーザによるマスク範囲の指定を受け付け（Ｓ３１４）、マスク画像を作成して保存する（Ｓ３１６）。マスクを作成しない場合は（Ｓ３１２のＮ）、Ｓ３１４とＳ３１６をスキップする。

Ｓ３０６において、マスク画像が存在する場合（Ｓ３０６のＹ）、比較結果作成部５１８は比較結果画像にマスク画像を適用し（Ｓ３０８）、マスク範囲の識別表示を消したマスク後比較結果画像を出力する（Ｓ３１０）。

以上説明したように、本実施形態によれば、ウェブページの動作検証テスト時の出力結果を過去の出力結果と突き合わせ、不一致部分を識別表示した上で画面出力するので、新旧のテスト結果の比較が容易になる。また、新旧のテスト結果データ間の不一致を許容すべき範囲をマスクとして指定しておくことで、マスク範囲については結果が相違しても識別表示させないようにすることができる。動作検証テストを何回も繰り返す場合や、テスト結果が複数ページにわたる場合には、結果が相違するのが当然の範囲についてチェックする手間を軽減することができる。

上記実施の形態では、ユーザによる範囲指定に基づきマスク画像を作成することを述べた。別法として、比較元画像データと比較先画像データとの差分画像を利用して、ユーザの介入なしにマスク画像を作成してもよい。例えば、比較元画像データと比較先画像データの比較の結果、ユーザが不一致を許容できる部分以外に問題がないことが、テスト・エンジニアにより確認されたとする。この場合、マスク作成部は、差分画像を参照して、差分が残っている画素とその周辺の所定範囲（例えば、テキスト一文字分に相当する範囲）をマスク範囲に設定して、マスク画像を作成するようにしてもよい。

上記では、テスト結果の画面表示をキャプチャした画像データ同士を比較することについて述べた。しかしながら、動作検証テストはウェブページに対して行っている以上、テスト結果はＨＴＭＬやＸＭＬ等のマークアップ言語ファイルとしても記録されていることになる。そこで、以下では、本実施の形態の変形例として、テスト結果のＨＴＭＬファイル同士を比較する場合について述べる。

この変形例において、テスト結果取得部５１２は、比較元データおよび比較先データとして、テスト結果のＨＴＭＬファイルをテスト結果保持部１５２から取得する。このデータの取得は、図２１のファイル指定画面において、ＨＴＭＬファイルのパスを指定することで実施される。

続いて、比較部５１４は、ＨＴＭＬファイル同士を一行ずつ比較していく。そして、不一致部分が検出されたら、比較結果作成部５１８は、その部分を識別表示した比較結果ＨＴＭＬファイルを作成して実行結果を表示する。具体的には、比較元ＨＴＭＬファイルまたは比較先ＨＴＭＬファイルにおける不一致部分の行番号と、比較に使った期待値と実際値を記録する形式で作成する。
この比較結果ＨＴＭＬファイルを、次回以降のテスト結果ＨＴＭＬファイルに対するマスクとして使用することが可能である。比較結果ＨＴＭＬファイルをマスクとしてそのまま利用する場合、比較部５１４は上記不一致部分の行番号をマスク対象箇所として判断し、マスク対象箇所を不一致部分から除外する。また、ユーザがマスクしたい箇所を追加指定することも可能である。この場合、ユーザは、ユーザ指定受付部５２０を介してマスクしたい箇所の行番号を追加指定する。これに応じて、マスク作成部５２２は、前回の比較時における不一致部分の行番号を含む比較結果ＨＴＭＬファイルに、今回ユーザから追加指定された行番号をさらに含める。比較部５１４は、次回以降のテスト結果ＨＴＭＬファイルと、マスクとしての比較結果ＨＴＭＬファイルとを、一行ずつ比較していく。比較部５１４は、比較結果ＨＴＭＬファイルに含まれる行番号をマスク対象箇所として判断し、この箇所の比較検証はスキップする。

なお、上記では、比較元データとして過去のテスト結果の画像データを用いることを述べたが、本発明はこれに限られない。例えば、望ましいテスト結果の画像データを比較元データとして使用して、ウェブページが正常に動作しているか否かを確認するようにしてもよい。

上述した参考技術、実施の形態、変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わせされる参考技術、実施の形態、変形例それぞれの効果をあわせもつ。

請求項に記載の各構成要件が果たすべき機能は、参考技術、実施の形態、変形例において示された各構成要素の単体もしくはそれらの連係によって実現されることも当業者には理解されるところである。

５００ 動作検証装置、 ５１０ テスト結果比較部、 ５１２ テスト結果取得部、 ５１４ 比較部、 ５１６ マスク保持部、 ５１８ 比較結果作成部、 ５２０ ユーザ指定受付部、 ５２２ マスク作成部。

Claims (7)

1. ウェブページを表示するウェブブラウザに対する操作に応じたウェブサーバの動作を確認するためのテスト・プログラムを実行する動作検証装置であって、
   動作確認対象のウェブページに含まれるオブジェクトの識別情報と、前記オブジェクトに対するデータ入力操作で入力されたデータとの組み合わせが記録されたログを取得し、前記データ入力操作を自動的に実行する処理がそれぞれ記述されたロジックが組み込まれた関数であって前記ウェブページに含まれるオブジェクトの識別情報と前記オブジェクトに入力されたデータを記述した入力データファイル内の入力データを指定する識別子とを引数とする入力関数を、操作内容ファイルに記録する操作記録部と、
   前記操作内容ファイルに記録された関数を呼び出すコールステップを組み合わせたプログラムコードを設定することにより、前記ウェブページに対して実行された一連の操作を再現するためのテスト・プログラムを生成するプログラム生成部と、
   前記操作内容ファイルとは異なる入力データファイルから前記識別子で指定される入力データを取得して前記入力関数に渡すことにより、前記テスト・プログラムを実行させるプログラム実行部と、
   前記テスト・プログラム実行後のウェブページをテスト結果データとして記録するテスト結果保持部と、
   前回のテスト・プログラム実行後の前回テスト結果データと、今回のテスト・プログラム実行後の今回テスト結果データとを比較する比較部と、
   前記比較部による比較により検出された不一致部分を識別表示した比較結果画像を出力する比較結果作成部と、
   を備えることを特徴とする動作検証装置。
2. 前記比較結果画像のうち、ユーザが不一致であることを許容する範囲をマスクするためのマスク画像を作成するマスク作成部をさらに備え、
   前記比較結果作成部は、前記比較結果画像に対して前記マスク画像を適用し、マスク範囲については不一致部分としての識別表示を外したマスク後比較結果画像を出力することを特徴とする請求項１に記載の動作検証装置。
3. 前記テスト結果データが画像データである場合、前記マスク作成部は、前回テスト結果データと今回テスト結果データの差分画像に基づき前記マスク画像を作成することを特徴とする請求項２に記載の動作検証装置。
4. 前記マスク作成部は、前記比較結果画像のうちユーザが範囲指定した領域をマスクするマスク画像を作成することを特徴とする請求項２に記載の動作検証装置。
5. 前記テスト結果データがマークアップ言語ファイルである場合、ユーザが指定した行番号について比較を行わないようにするマスクファイルを作成するマスク作成部をさらに備えることを特徴とする請求項１に記載の動作検証装置。
6. ウェブページを表示するウェブブラウザに対する操作に応じたウェブサーバの動作を確認するためのテスト・プログラムを実行する装置に、
   動作確認対象のウェブページに含まれるオブジェクトの識別情報と、前記オブジェクトに対するデータ入力操作で入力されたデータとの組み合わせが記録されたログを取得し、前記データ入力操作を自動的に実行する処理がそれぞれ記述されたロジックが組み込まれた関数であって前記ウェブページに含まれるオブジェクトの識別情報と前記オブジェクトに入力されたデータを記述した入力データファイル内の入力データを指定する識別子とを引数とする入力関数を、操作内容ファイルに記録する操作記録機能と、
   前記操作内容ファイルに記録された関数を呼び出すコールステップを組み合わせたプログラムコードを設定することにより、前記ウェブページに対して実行された一連の操作を再現するためのテスト・プログラムを生成するプログラム生成機能と、
   前記操作内容ファイルとは異なる入力データファイルから前記識別子で指定される入力データを取得して前記入力関数に渡すことにより、前記テスト・プログラムを実行させるプログラム実行機能と、
   前記テスト・プログラム実行後のウェブページをテスト結果データとして記録するテスト結果保持機能と、
   前回のテスト・プログラム実行後の前回テスト結果データと、今回のテスト・プログラム実行後の今回テスト結果データとを比較する比較機能と、
   前記比較機能による比較により検出された不一致部分を識別表示した比較結果画像を出力する比較結果作成機能と、
   を実現させるための動作検証プログラム。
7. ウェブページを表示するウェブブラウザに対する操作に応じたウェブサーバの動作を確認するためのテスト・プログラムを実行する装置により実行される動作検証方法であって、
   動作確認対象のウェブページに含まれるオブジェクトの識別情報と、前記オブジェクトに対するデータ入力操作で入力されたデータとの組み合わせが記録されたログを取得し、前記データ入力操作を自動的に実行する処理がそれぞれ記述されたロジックが組み込まれた関数であって前記ウェブページに含まれるオブジェクトの識別情報と前記オブジェクトに入力されたデータを記述した入力データファイル内の入力データを指定する識別子とを引数とする入力関数を、操作内容ファイルに記録するステップと、
   前記操作内容ファイルに記録された関数を呼び出すコールステップを組み合わせたプログラムコードを設定することにより、前記ウェブページに対して実行された一連の操作を再現するためのテスト・プログラムを生成するステップと、
   前記操作内容ファイルとは異なる入力データファイルから前記識別子で指定される入力データを取得して前記入力関数に渡すことにより、前記装置に前記テスト・プログラムを実行させるステップと、
   前記テスト・プログラム実行後のウェブページをテスト結果データとしてメモリに記録するステップと、
   前回のテスト・プログラム実行後の前回テスト結果データと、今回のテスト・プログラム実行後の今回テスト結果データとを比較するステップと、
   前記比較ステップによる比較により検出された不一致部分を識別表示した比較結果画像を出力するステップと、
   を含むことを特徴とする動作検証方法。

Images