JP6257546B2

JP6257546B2 - アプリケーション試験装置

Info

Publication number: JP6257546B2
Application number: JP2015051960A
Authority: JP
Inventors: 真理子鶴▲崎▼; 信之三宅; 一生冨澤; 利宏妻鹿; 修一村山
Original assignee: Mitsubishi Electric Corp; Mitsubishi Electric Building Techno Service Co Ltd
Current assignee: Mitsubishi Electric Corp; Mitsubishi Electric Building Solutions Corp
Priority date: 2015-03-16
Filing date: 2015-03-16
Publication date: 2018-01-10
Anticipated expiration: 2035-03-16
Also published as: JP2016173619A

Description

本発明は、初回試験時のポインタ位置、クリック情報、キー押下情報等のＧＵＩ（ＧｒａｐｈｉｃａｌＵｓｅｒＩｎｔｅｒｆａｃｅ）操作の内容と取得時刻とを記録し、その記録により操作を再生するＧＵＩ操作記録再生技術における試験結果の合否判定を行うアプリケーション試験装置に関するものである。

近年、ソフトウェア開発における試験は自動化されている。試験の自動化において、試験操作や検証作業の工数削減、正確性の向上等が求められている。また、ＧＵＩアプリケーションにおいて画面を確認する試験が増えており、これらの画面の画像のパターンを比較することにより試験の自動化を効率化する方法がある（例えば、特許文献１参照）。このシステムでは、ＧＵＩの様々な画像パターンを用意しておき、試験スクリプトを実行した時のＧＵＩの挙動と画像パターンを比較し、結果をログ情報として記録しておき、そのログ情報を解析することによって、エラーログに対し試験スクリプトを自動補正するようにしたものである。
また、クライアントとサーバを有するシステムにおいて、クライアント端末側で操作ログ及び操作画面を記録し、ログと表示を対応づける方法があった（例えば、特許文献２参照）。

特開２００６−２６８６６６号公報特開２００９−２３７６５９号公報

しかしながら、操作コマンドを記録し、再送信により操作の記録と再生を行うＧＵＩ操作記録再生において、操作記録時と再生時で実行環境が異なる場合に、操作時のポインタ位置が異なり、操作再生時に正常に再生されないという課題があった。また、試験結果の検証を目的として、操作記録時と再生時の画面のキャプチャ画像を照合する場合、表示の違いにより結果を正確に判定できないという課題があった。

この発明は上記のような課題を解決するためになされたもので、操作記録時と再生時とで実行環境の違いにより表示が異なる場合でも、試験結果の合否判定を正確に行うことのできるアプリケーション試験装置を得ることを目的とする。

この発明に係るアプリケーション試験装置は、アプリケーションへの操作コマンドで得られる操作画面中、実行環境が異なると表示に差異が生じる部品の画像に一致する部品画像が存在した場合、部品画像の操作画面中の位置を記録する画像マッチング処理部と、操作コマンドを記録再生した場合、操作コマンド再生時の操作画面中で部品画像に一致する部品画像が存在したとき、再生時の操作画面中の部品画像位置と、操作コマンド記録時に画像マッチング処理部で記録された操作画面中の部品画像位置との差により、再生時の操作コマンドのポインタ位置を補正するポインタ位置補正量算出部と、ポインタ位置を補正した状態で操作コマンドを再生して実行した操作画面と、操作コマンド記録時の操作画面とを照合して試験結果を得る照合ツールとを備えたものである。

この発明のアプリケーション試験装置は、アプリケーションへの操作コマンドで得られる操作画面中、実行環境が異なると表示に差異が生じる部品の画像に一致する部品画像が存在した場合、部品画像の操作画面中の位置を記録し、操作コマンド記録時と再生時との操作画面中の部品画像位置の差に基づいて、再生時のポインタ位置を補正するようにしたので、操作記録時と再生時とで実行環境の違いにより表示が異なる場合でも、試験結果の合否判定を正確に行うことができる。

この発明の実施の形態１によるアプリケーション試験装置を構成するためのシステムの構成図である。この発明の実施の形態１によるアプリケーション試験装置の詳細を示す構成図である。この発明の実施の形態１によるアプリケーション試験装置の動作を示すフローチャートである。この発明の実施の形態１によるアプリケーション試験装置の動作内容の説明図である。この発明の実施の形態２によるアプリケーション試験装置の詳細を示す構成図である。この発明の実施の形態２によるアプリケーション試験装置の動作を示すフローチャートである。この発明の実施の形態２によるアプリケーション試験装置の動作内容の説明図である。この発明の実施の形態３によるアプリケーション試験装置の詳細を示す構成図である。この発明の実施の形態３によるアプリケーション試験装置の動作を示すフローチャートである。この発明の実施の形態３によるアプリケーション試験装置の動作内容の説明図である。

実施の形態１．
図１は、この発明の実施の形態１によるアプリケーション試験装置を構成するためのシステム構成を示す図である。
実施の形態１のアプリケーション試験装置は、クライアント１００とサーバ２００と試験ツール３００と照合ツール４００とをＬＡＮ（ローカル・エリア・ネットワーク）５００で接続することで構成されている。クライアント１００はサーバ２００への遠隔操作を行ってサーバ２００からのデータを取得し、画面表示を行うコンピュータ端末である。サーバ２００は、クライアント１００からの入力内容に基づいて各種の処理を行い、その処理結果をクライアント１００に送出するコンピュータ端末である。試験ツール３００は、試験を行うためのＧＵＩ操作コマンドの記録指示や記録終了、また、記録したＧＵＩ操作の再生を行う際、クライアント１００から記録された操作コマンドを読み出してサーバ２００に再送信する機能を有するコンピュータ端末である。照合ツール４００は、記録時と再生時の画像を照合することにより、試験結果判定を行うコンピュータ端末である。

実施の形態１では、遠隔操作システムとして、ＶｉｒｔｕａｌＮｅｔｗｏｒｋＣｏｍｐｕｔｉｎｇ（以下、ＶＮＣという）を使用する。ＶＮＣのコマンドはＲＦＢ（ＲｅｍｏｔｅＦｒａｍｅｂｕｆｆｅｒ）プロトコルで記述されるため、遠隔操作システムとして、ＶＮＣを使用すると、Ｗｉｎｄｏｗｓ（登録商標：以下記載を省略する）、Ｌｉｎｕｘ（登録商標：以下記載を省略する）等のマルチプラットフォームで使用することができる。

サーバ２００では、ＶＮＣサーバを起動し、クライアント１００でＶＮＣビューワを起動し、クライアント１００からサーバ２００に対して遠隔操作を行う。クライアント１００からサーバ２００に対して遠隔操作が行われると、更新されたサーバ２００の画面のフレームバッファのデータがクライアント１００に送信され、クライアント１００の画面が更新される。このときの画面をキャプチャしておき、キャプチャした画像を照合ツール４００で照合することによって試験結果を得る。本発明は、この遠隔操作システムを使用して、ＧＵＩ操作の記録と再生を行い、キャプチャ画面の照合により試験結果の合否を自動判定する。

図２は実施の形態１におけるアプリケーション試験装置の詳細を示す構成図である。クライアント１００は、遠隔操作コマンド記録部１０１、遠隔操作コマンド記録メモリ１０２、キャプチャ画像記録メモリ１０３、画像マッチング処理部１０４、部品位置記録メモリ１０５、ポインタ位置補正量算出部１０６を備えている。また、部品画像データベース６００は、環境が異なると表示に差異が生じる部品の画像を格納するデータベースである。なお、図示例では、部品画像データベース６００をサーバ２００やクライアント１００、照合ツール４００とは独立に設置しているが、クライアント１００またはサーバ２００に内蔵してもよい。

クライアント１００の遠隔操作コマンド記録部１０１は、クライアント１００からサーバ２００に対して送出した遠隔操作コマンドの記録を行う処理部であり、遠隔操作コマンド記録メモリ１０２は、その遠隔操作コマンドを記録するための記憶部である。キャプチャ画像記録メモリ１０３は、クライアント１００からの遠隔操作コマンドによってサーバ２００で処理された操作画面をキャプチャするメモリである。画像マッチング処理部１０４は、キャプチャ画像記録メモリ１０３に記録された画面と、部品画像データベース６００に格納されている部品画像とのマッチングを行い、一致する部品画像があった場合に、その部品画像の画面上の位置を部品位置記録メモリ１０５に記録する処理部である。部品位置記録メモリ１０５は、画像マッチング処理部１０４によって求められた部品画像の画面内位置を記録するためのメモリである。ポインタ位置補正量算出部１０６は、遠隔操作コマンドの再生時、部品位置記録メモリ１０５に記録されている部品画像位置の遠隔操作コマンド記録時と再生時との位置のずれに基づいてポインタ位置の補正量を算出する処理部である。

次に、このように構成された実施の形態１のアプリケーション試験装置の動作について説明する。
ＧＵＩ操作記録再生を行う前の処理として、ダイアログやツールバー等の、環境が異なると表示に差異が生じるＧＵＩ部品の画像を部品画像データベース６００に登録する。
クライアント１００からサーバ２００に対して遠隔操作を行うと、クライアント１００から送信されたＶＮＣコマンド（ポインタの位置情報、クリック情報、キー押し下げ情報、フレームバッファの更新要求等）をサーバ２００が受信する。なお、各実施の形態では、ポインタの移動やクリック操作を行うポインティングデバイスをマウスとし、マウスボタンが押下された場合の情報をクリック情報として説明するが、ポインティングデバイスはマウスに限定されるものではない。また、クライアント１００では、このＶＮＣコマンドを遠隔操作コマンド記録部１０１で記録し、遠隔操作コマンド記録メモリ１０２に操作データとして保存する。さらに、このときの操作画面のキャプチャ画像はキャプチャ画像記録メモリ１０３に保存される。ここで、画像マッチング処理部１０４は、部品画像データベース６００に格納されている部品画像とテンプレートマッチングを行い、キャプチャ画像内に一致する部品画像がある場合、その部品画像の座標を部品位置記録メモリ１０５に格納する。以上が、遠隔操作コマンド記録時の動作である。

次に、遠隔操作コマンド再生時の動作を説明する。
試験ツール３００で、クライアント１００の遠隔操作コマンド記録メモリ１０２から操作コマンドを読み込み、サーバ２００に再送信することによって、ＧＵＩ操作を再生する際、画像マッチング処理部１０４は、マウスの操作コマンド送信直前の操作画面のキャプチャ画像をキャプチャ画像記録メモリ１０３より取得し、部品画像データベース６００に格納されている部品画像とテンプレートマッチングを行う。ここで、キャプチャ画像内に一致する部品画像がある場合、遠隔操作コマンド記録時と同様に、一致する部品画像の座標を部品位置記録メモリ１０５に格納する。また、ポインタ位置補正量算出部１０６は、遠隔操作コマンド記録時と再生時における同じ部品画像の位置のずれ量をポインタ位置の補正量として算出する。また、このときの操作画面のキャプチャ画像はキャプチャ画像記録メモリ１０３に保存される。

図３は実施の形態１におけるアプリケーション試験装置の操作記録再生処理を示すフローチャートである。フローチャート中、ステップＳＴ１００はＧＵＩ操作記録処理、ステップＳＴ２００はＧＵＩ操作再生処理を示している。
また、図４は、実施の形態１におけるアプリケーション試験装置の操作記録再生処理の説明図であり、図中のステップ番号が図３のステップ番号に対応している。

先ず、操作記録処理に先立ち、ダイアログやツールバー等の部品画像を部品画像データベース６００に登録する（ステップＳＴ１）。
ステップＳＴ１００のＧＵＩ操作記録処理では、クライアント１００が試験ツール３００から記録終了メッセージを受信するまで（ステップＳＴ１０１：Ｎｏ）、クライアント１００の遠隔操作コマンド記録部１０１はＶＮＣコマンドを記録して遠隔操作コマンド記録メモリ１０２に保存する（ステップＳＴ１０２）。また、キャプチャ画像記録メモリ１０３に操作画面のキャプチャ画像を保存すると共に、画像マッチング処理部１０４では、このキャプチャ画像を取得し（ステップＳＴ１０３）、部品画像データベース６００に格納されている部品画像とキャプチャ画面においてテンプレートマッチングを行い、一致する部品画像の座標を算出し、記録を行う（ステップＳＴ１０４）。クライアント１００では、試験ツール３００から記録終了メッセージを受信する（ステップＳＴ１０１：Ｙｅｓ）と、遠隔操作コマンド記録メモリ１０２に保存されたＶＮＣコマンド記録を試験ツール３００に出力する（ステップＳＴ１０５）。

ステップＳＴ２００のＧＵＩ操作再生処理では、試験ツール３００が、操作再生処理の開始後、操作コマンドが末尾に達するまで（ステップＳＴ２０１：Ｎｏ）、ＶＮＣコマンドを再送信する（ステップＳＴ２０３）ことによって操作再生を行う。このとき、マウスの操作がクリックコマンドの場合（ステップＳＴ２０２：Ｙｅｓ）、画像マッチング処理部１０４で部品画像とキャプチャ画面においてテンプレートマッチングを行って、一致する部品画像の座標を算出して部品位置記録メモリ１０５に記録する（ステップＳＴ２０４）。また、ポインタ位置補正量算出部１０６は、記録時と再生時の対応する部品画像の座標を部品位置記録メモリ１０５から読み込み、記録時と再生時の部品画像のずれ量をポインタ位置の補正量として算出する（ステップＳＴ２０５）。これにより、試験ツール３００は、算出された補正量に基づいてポインタ位置を補正してＶＮＣコマンドの再送信を行い（ステップＳＴ２０３）、ステップＳＴ２０１に戻り、これを操作コマンド末尾まで行う（ステップＳＴ２０１：Ｙｅｓ）。

照合ツール４００は、ポインタ位置が補正されたコマンドによる操作画面のキャプチャ画像と、記録時の操作画面のキャプチャ画像と照合し、試験結果とする（ステップＳＴ３００）。

このように、実施の形態１のアプリケーション試験装置では、ソフトウェア開発において、回帰試験または環境リプレース時の試験の初回ＧＵＩ操作を記録し、自動再生することによって、操作手順を削減することができ、変更後のＧＵＩ操作を行う分の試験工数を削減することができる。また、ＶＮＣはマルチプラットフォームで動作するので、Ｗｉｎｄｏｗｓ、Ｌｉｎｕｘ、Ａｎｄｒｏｉｄ（登録商標）等のＯＳで適用することが可能である。

以上説明したように、実施の形態１のアプリケーション試験装置によれば、アプリケーションへの操作コマンドで得られる操作画面中、実行環境が異なると表示に差異が生じる部品の画像に一致する部品画像が存在した場合、部品画像の操作画面中の位置を記録する画像マッチング処理部と、操作コマンドを記録再生した場合、操作コマンド再生時の操作画面中で部品画像に一致する部品画像が存在したとき、再生時の操作画面中の部品画像位置と、操作コマンド記録時に画像マッチング処理部で記録された操作画面中の部品画像位置との差により、再生時の操作コマンドのポインタ位置を補正するポインタ位置補正量算出部と、ポインタ位置を補正した状態で操作コマンドを再生して実行した操作画面と、操作コマンド記録時の操作画面とを照合して試験結果を得る照合ツールとを備えたので、操作記録時と再生時とで実行環境の違いにより表示が異なる場合でも、操作再生を正常に行うことができ、従って、試験結果の合否判定を正確に行うことができる。

また、実施の形態１のアプリケーション試験装置によれば、アプリケーションへの操作コマンドとして遠隔操作コマンドを送出するクライアントと、遠隔操作コマンドに対応した処理を行って操作画面データをクライアントに送出するサーバとを備え、画像マッチング処理部とポインタ位置補正量算出部をクライアントに設けたので、クライアントとサーバとからなるシステムにおいて、操作記録時と再生時とで実行環境の違いにより表示が異なる場合でも、試験結果の合否判定を正確に行うことができる。

実施の形態２．
実施の形態２のアプリケーション試験装置は、環境が異なると表示に差異が生じる部品の画像は記録時と再生時にマスクして試験を行うようにしたものである。

図５は、実施の形態２のアプリケーション試験装置の詳細を示す構成図である。実施の形態２のアプリケーション試験装置は、クライアント１００、サーバ２００、試験ツール３００及び部品画像データベース６００については実施の形態１と同様であるため、対応する部分に同一符号を付してその説明を省略する。

実施の形態２の照合ツール４００ａは、マスク画像生成部４０１、編集画像記録メモリ４０２、画像照合処理部４０３を備えている。マスク画像生成部４０１は、クライアント１００のキャプチャ画像記録メモリ１０３から、記録時と再生時のキャプチャ画像を読み出すと共に、部品画像データベース６００から部品画像を読み出し、記録時と再生時のキャプチャ画像の中で、部品画像データベース６００に格納されている部品画像と一致する部品があった場合はこれをマスクした操作画面を生成する処理部である。編集画像記録メモリ４０２は、マスク画像生成部４０１で生成された記録時と再生時の操作画面を記録するためのメモリである。画像照合処理部４０３は、編集画像記録メモリ４０２に保存された記録時と再生時の操作画面を照合し、試験結果判定を行う処理部である。

図６は実施の形態２におけるアプリケーション試験装置の操作記録再生処理及び照合処理を示すフローチャートである。フローチャート中、ステップＳＴ１００ａはＧＵＩ操作記録処理、ステップＳＴ２００ａはＧＵＩ操作再生処理、ステップＳＴ３００ａはキャプチャ画面照合処理を示している。なお、実施の形態２においても、実施の形態１で説明したポインタ位置の補正量算出処理を同様に行うが、図６のフローチャートでは、この補正量算出処理に関するＧＵＩ操作記録処理（ステップＳＴ１００ａ）及びＧＵＩ操作再生処理（ステップＳＴ２００ａ）中のステップは省略している。
また、図７は、実施の形態２におけるアプリケーション試験装置の操作記録再生処理の説明図であり、図中のステップ番号が図６のステップ番号に対応している。

先ず、操作記録処理に先立ち、ダイアログやツールバー等の部品画像を部品画像データベース６００に登録する（ステップＳＴ１）。これは実施の形態１と同様である。
次に、ステップＳＴ１００ａのＧＵＩ操作記録処理では、クライアント１００が試験ツール３００から記録終了メッセージを受信するまで（ステップＳＴ１０１：Ｎｏ）、クライアント１００の遠隔操作コマンド記録部１０１はＶＮＣコマンドを記録して遠隔操作コマンド記録メモリ１０２に保存する（ステップＳＴ１０２）。また、記録終了メッセージを受信するまで、キャプチャ画像記録メモリ１０３に操作画面のキャプチャ画像を保存する（ステップＳＴ１０６）。クライアント１００では、試験ツール３００から記録終了メッセージを受信する（ステップＳＴ１０１：Ｙｅｓ）と、遠隔操作コマンド記録メモリ１０２に保存されたＶＮＣコマンド記録を出力する（ステップＳＴ１０５）。

ステップＳＴ２００ａのＧＵＩ操作再生処理では、操作再生処理の開始後、操作コマンドが末尾に達するまで（ステップＳＴ２０１：Ｎｏ）、ＶＮＣコマンドを再送信する（ステップＳＴ２０３）ことによって操作再生が行われる。操作コマンドが末尾に達すると（ステップＳＴ２０１：Ｙｅｓ）、次の照合処理に移行する。

ステップＳＴ３００ａの照合処理では、照合ツール４００ａのマスク画像生成部４０１が、クライアント１００のキャプチャ画像記録メモリ１０３から操作記録時と再生時それぞれの画像を読み込み、それぞれ部品画像データベース６００に登録された部品画像とテンプレートマッチングを行い（ステップＳＴ３０２）、一致領域にマスク処理を行って、そのマスク画像を編集画像記録メモリ４０２に格納する（ステップＳＴ３０３）。次に、画像照合処理部４０３は、編集画像記録メモリ４０２からマスク処理後の記録時と再生時それぞれの画像を読み込み、照合を行う（ステップＳＴ３０４）。これらの処理を最後の照合画像のペアが完了するまで（ステップＳＴ３０１：Ｙｅｓ）行う。

以上説明したように、実施の形態２のアプリケーション試験装置によれば、操作コマンド記録時及び操作コマンド再生時の操作画面中、実行環境が異なると表示に差異が生じる部品の画像に一致する部品画像が存在した場合、操作画面中の部品画像をマスクした操作画面を生成するマスク画像生成部と、マスク画像生成部で生成された操作コマンド記録時の操作画面と操作コマンド再生時の操作画面とを照合して試験結果を得る画像照合処理部とを備えたので、操作記録時と再生時とで実行環境の違いにより表示が異なる場合でも、試験結果の合否判定を正確に行うことができる。

また、実施の形態２のアプリケーション試験装置によれば、アプリケーションへの操作コマンドとして遠隔操作コマンドを送出するクライアントと、遠隔操作コマンドに対応した処理を行って操作画面データをクライアントに送出するサーバと、遠隔操作コマンドを記録再生した際の試験を行う照合ツールとを備え、マスク画像生成部と画像照合処理部を照合ツールに設けたので、クライアントとサーバと照合ツールからなるシステムにおいて、操作記録時と再生時とで実行環境の違いにより表示が異なる場合でも、試験結果の合否判定を正確に行うことができる。

実施の形態３．
実施の形態３のアプリケーション試験装置は、環境が異なると表示に差異が生じる部品の画像を含んだ操作画面に対して、記録時または再生時に異なる環境に対応した予測画像を生成し、この予測画像を用いて試験するようにしたものである。

図８は、実施の形態３のアプリケーション試験装置の詳細を示す構成図である。ここで、クライアント１００、サーバ２００、試験ツール３００及び部品画像データベース６００は、実施の形態１、２と同様であるため、対応する部分に同一符号を付してその説明を省略する。

実施の形態３の照合ツール４００ｂは、予測画像生成部４０４、編集画像記録メモリ４０２ａ、画像照合処理部４０３ａを備えている。予測画像生成部４０４は、クライアント１００のキャプチャ画像記録メモリ１０３から、記録時または再生時のキャプチャ画像を読み出すと共に、部品画像データベース６００から部品画像を読み出し、記録時または再生時のキャプチャ画像の中で、部品画像データベース６００に格納されている部品画像と一致する部品画像が含まれていた場合は記録時の操作画面または再生時の操作画面に対して予測画像を生成し、この予測画像を編集画像記録メモリ４０２ａに格納する処理部である。なお、部品画像データベース６００には、記録時及び再生時の環境に対応させた部品画像が登録されているものとする。

編集画像記録メモリ４０２ａは、予測画像生成部４０４で生成された予測画像を含む操作画面のデータを保存するためのメモリである。画像照合処理部４０３ａは、編集画像記録メモリ４０２ａに保存された予測画像を含む操作画面と、キャプチャ画像記録メモリ１０３に格納されている予測画像の生成を行わなかった方の操作画面とを照合し、試験結果判定を行う処理部である。

すなわち、実施の形態３では、予測画像生成部４０４が、操作記録時または再生時の画像について、ダイアログやツールバー等の表示に差異が生じる部分を検出し、その部分に対応する部品画像を合成することによって、予測画像を生成する。そして、画像照合処理部４０３ａが、予測画像の生成を行わなかった方の画像と照合を行うようにしたものである。従って、記録時の画像について予測画像の生成を行った場合は、記録時画像の予測画像と再生時のオリジナルの画像と照合を行い、一方、再生時の画像について予測画像の生成を行った場合は、記録時のオリジナルの画像と再生時画像の予測画像との照合を行う。

図９は実施の形態３におけるアプリケーション試験装置の操作記録再生処理及び照合処理を示すフローチャートである。フローチャート中、ステップＳＴ１００ａはＧＵＩ操作記録処理、ステップＳＴ２００ａはＧＵＩ操作再生処理、ステップＳＴ３００ｂはキャプチャ画面照合処理を示している。なお、実施の形態３においても、操作記録時に予測画像を生成し、再生時の操作画面と照合する場合は、実施の形態１で説明したポインタ位置の補正量算出処理を同様に行うが、図９のフローチャートでは、この補正量算出処理に関するＧＵＩ操作記録処理（ステップＳＴ１００ａ）及びＧＵＩ操作再生処理（ステップＳＴ２００ａ）中のステップは省略している。
また、図１０は、実施の形態３におけるアプリケーション試験装置の操作記録再生処理の説明図であり、図中のステップ番号が図９のステップ番号に対応している。また、図１０の処理は、操作記録時に予測画像を生成し、再生時の操作画面と照合する例を示している。

図９のフローチャートにおいて、先ず、操作記録処理に先立ち、ダイアログやツールバー等の部品画像を部品画像データベース６００に登録する（ステップＳＴ１）。これは実施の形態１、２と同様である。また、次のステップＳＴ１００ａのＧＵＩ操作記録処理とステップＳＴ２００ａのＧＵＩ操作再生処理は、実施の形態２と同様である。

ステップＳＴ３００ｂの照合処理では、照合ツール４００ｂの予測画像生成部４０４が、クライアント１００のキャプチャ画像記録メモリ１０３から操作記録時の画像を読み込み、部品画像データベース６００に登録された部品画像とテンプレートマッチングを行い（ステップＳＴ３０２）、その一致箇所について、部品画像データベース６００内の対応する部品を合成することによって、予測画像を生成し、予測画像の操作画面を編集画像記録メモリ４０２ａに格納する（ステップＳＴ３０５）。次に、画像照合処理部４０３ａは、編集画像記録メモリ４０２ａから予測画像の操作画面を読み込むと共に、再生時の操作画面をキャプチャ画像記録メモリ１０３から読み込み、これら操作画面の照合を行う（ステップＳＴ３０４）。これらの処理を最後の照合画像のペアが完了するまで（ステップＳＴ３０１：Ｙｅｓ）行う。

なお、予測画像生成部４０４が再生時の操作画面に対して予測画像を生成する場合、画像照合処理部４０３ａは、操作時の操作画面を画像記憶部であるキャプチャ画像記録メモリ１０３から読み込み、編集画像記録メモリ４０２ａから読み出した再生時の予測画像を生成した操作画面と照合を行うことで、同様の効果が得られる。また、この場合は、実施の形態１で説明したポインタ位置の補正量算出処理及びこれに基づくポインタ位置の補正処理を行う必要がない。

また、実施の形態３において、操作記録時に予測画像を生成し、再生時の操作画面と照合する場合、予測画像生成部４０４における予測画像の予測値を用いてポインタ位置の補正を行うよう構成してもよい。

以上説明したように、実施の形態３のアプリケーション試験装置によれば、実行環境が異なると表示に差異が生じる部品の画像に一致する部品画像が存在した場合、部品画像の操作画面中の位置を異なる実行環境に対応させて予測した画面を予測操作画面として生成する予測画像生成部と、操作コマンド再生時の操作画面と、操作コマンド記録時に生成した予測操作画面とを照合して試験結果を得る画像照合処理部とを備えたので、操作記録時と再生時とで実行環境の違いにより表示が異なる場合でも、試験結果の合否判定を正確に行うことができる。

また、実施の形態３のアプリケーション試験装置によれば、アプリケーションへの操作コマンドで得られる操作画面中、実行環境が異なると表示に差異が生じる部品の画像に一致する部品画像が存在した場合、操作画面を記録する画像記憶部と、操作コマンドを記録再生した場合、操作コマンド再生時の操作画面中で部品画像に一致する部品画像が存在したとき、再生時の操作画面中の部品画像の位置を異なる実行環境に対応させて予測した画面を予測操作画面として生成する予測画像生成部と、予測操作画面と、画像記憶部に記録された操作画面とを照合して試験結果を得る画像照合処理部とを備えたので、操作記録時と再生時とで実行環境の違いにより表示が異なる場合でも、試験結果の合否判定を正確に行うことができる。

また、実施の形態３のアプリケーション試験装置によれば、アプリケーションへの操作コマンドとして遠隔操作コマンドを送出するクライアントと、遠隔操作コマンドに対応した処理を行って操作画面データをクライアントに送出するサーバと、遠隔操作コマンドを記録再生した際の試験を行う照合ツールとを備え、予測画像生成部と画像照合処理部を照合ツールに設けたので、クライアントとサーバと照合ツールからなるシステムにおいて、操作記録時と再生時とで実行環境の違いにより表示が異なる場合でも、試験結果の合否判定を正確に行うことができる。

また、実施の形態２及び実施の形態３において、部品画像データベース６００をクライアント１００またはサーバ２００、あるいは照合ツール４００に設けてもよい。

なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。

１００，１００ａクライアント、１０１遠隔操作コマンド記録部、１０２遠隔操作コマンド記録メモリ、１０３キャプチャ画像記録メモリ、１０４画像マッチング処理部、１０５部品位置記録メモリ、１０６ポインタ位置補正量算出部、２００サーバ、３００試験ツール、４００，４００ａ，４００ｂ照合ツール、４０１マスク画像生成部、４０２，４０２ａ編集画像記録メモリ、４０３，４０３ａ画像照合処理部、４０４予測画像生成部、５００ＬＡＮ、６００部品画像データベース。

Claims

アプリケーションへの操作コマンドで得られる操作画面中、実行環境が異なると表示に差異が生じる部品の画像に一致する部品画像が存在した場合、当該部品画像の前記操作画面中の位置を記録する画像マッチング処理部と、
前記操作コマンドを記録再生した場合、操作コマンド再生時の操作画面中で前記部品画像に一致する部品画像が存在したとき、当該再生時の操作画面中の部品画像位置と、操作コマンド記録時に前記画像マッチング処理部で記録された前記操作画面中の部品画像位置との差により、前記再生時の操作コマンドのポインタ位置を補正するポインタ位置補正量算出部と、
前記ポインタ位置を補正した状態で前記操作コマンドを再生して実行した操作画面と、前記操作コマンド記録時の操作画面とを照合して試験結果を得る照合ツールとを備えたことを特徴とするアプリケーション試験装置。
前記アプリケーションへの操作コマンドとして遠隔操作コマンドを送出するクライアントと、当該遠隔操作コマンドに対応した処理を行って操作画面データを前記クライアントに送出するサーバとを備え、
前記画像マッチング処理部と前記ポインタ位置補正量算出部を前記クライアントに設けたことを特徴とする請求項１記載のアプリケーション試験装置。
前記操作コマンド記録時及び前記操作コマンド再生時の操作画面中、前記実行環境が異なると表示に差異が生じる部品の画像に一致する部品画像が存在した場合、前記操作画面中の当該部品画像をマスクした操作画面を生成するマスク画像生成部と、
前記マスク画像生成部で生成された前記操作コマンド記録時の操作画面と前記操作コマンド再生時の操作画面とを照合して試験結果を得る画像照合処理部とを備えたことを特徴とする請求項１または請求項２記載のアプリケーション試験装置。
前記アプリケーションへの操作コマンドとして遠隔操作コマンドを送出するクライアントと、当該遠隔操作コマンドに対応した処理を行って操作画面データを前記クライアントに送出するサーバと、前記遠隔操作コマンドを記録再生した際の試験を行う照合ツールとを備え、
前記マスク画像生成部と前記画像照合処理部を照合ツールに設けたことを特徴とする請求項３記載のアプリケーション試験装置。
前記実行環境が異なると表示に差異が生じる部品の画像に一致する部品画像が存在した場合、当該部品画像の前記操作画面中の位置を前記異なる実行環境に対応させて予測した画面を予測操作画面として生成する予測画像生成部と、
前記操作コマンド再生時の操作画面と、前記操作コマンド記録時に生成した予測操作画面とを照合して試験結果を得る画像照合処理部とを備えたことを特徴とする請求項１または請求項２記載のアプリケーション試験装置。
アプリケーションへの操作コマンドで得られる操作画面中、実行環境が異なると表示に差異が生じる部品の画像に一致する部品画像が存在した場合、当該操作画面を記録する画像記憶部と、
前記操作コマンドを記録再生した場合、操作コマンド再生時の操作画面中で前記部品画像に一致する部品画像が存在したとき、当該再生時の操作画面中の前記部品画像の位置を前記異なる実行環境に対応させて予測した画面を予測操作画面として生成する予測画像生成部と、
前記予測操作画面と、前記画像記憶部に記録された操作画面とを照合して試験結果を得る画像照合処理部とを備えたことを特徴とするアプリケーション試験装置。
前記アプリケーションへの操作コマンドとして遠隔操作コマンドを送出するクライアントと、当該遠隔操作コマンドに対応した処理を行って操作画面データを前記クライアントに送出するサーバと、前記遠隔操作コマンドを記録再生した際の試験を行う照合ツールとを備え、
前記予測画像生成部と前記画像照合処理部を照合ツールに設けたことを特徴とする請求項５または請求項６記載のアプリケーション試験装置。