JPWO2012042561A1 - Image acquisition apparatus, image acquisition method, and computer program - Google Patents
Image acquisition apparatus, image acquisition method, and computer program Download PDFInfo
- Publication number
- JPWO2012042561A1 JPWO2012042561A1 JP2012506254A JP2012506254A JPWO2012042561A1 JP WO2012042561 A1 JPWO2012042561 A1 JP WO2012042561A1 JP 2012506254 A JP2012506254 A JP 2012506254A JP 2012506254 A JP2012506254 A JP 2012506254A JP WO2012042561 A1 JPWO2012042561 A1 JP WO2012042561A1
- Authority
- JP
- Japan
- Prior art keywords
- unit
- browser
- test
- screen
- function
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F11/00—Error detection; Error correction; Monitoring
- G06F11/30—Monitoring
- G06F11/34—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment
- G06F11/3438—Recording or statistical evaluation of computer activity, e.g. of down time, of input/output operation ; Recording or statistical evaluation of user activity, e.g. usability assessment monitoring of user actions
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F2201/00—Indexing scheme relating to error detection, to error correction, and to monitoring
- G06F2201/875—Monitoring of systems including the internet
Abstract
動作検証装置100は、ウェブページが表示されるクライアント領域と、クライアント領域とは異なる付加領域とを含むブラウザウィンドウについて、画面上でのブラウザウィンドウの表示位置を取得するウィンドウ表示位置取得部602と、画面上でのブラウザウィンドウの表示位置と、ブラウザウィンドウにおける付加領域のサイズとにしたがって、画面上でのクライアント領域の表示位置を特定するクライアント領域特定部606と、特定された画面上での表示位置にしたがって、クライアント領域の表示画像をキャプチャする画像取得部625とを備える。The operation verification apparatus 100 includes a window display position acquisition unit 602 that acquires a display position of a browser window on a screen for a browser window including a client area in which a web page is displayed and an additional area different from the client area; A client area specifying unit 606 for specifying the display position of the client area on the screen according to the display position of the browser window on the screen and the size of the additional area in the browser window, and the specified display position on the screen And an image acquisition unit 625 that captures a display image of the client area.
Description
この発明は、画面に表示されたウェブコンテンツの画像を取得する技術に関する。 The present invention relates to a technique for acquiring an image of web content displayed on a screen.
製品品質を保証する上で、製品出荷前の動作テストは不可欠である。一般的には、テスト・エンジニアが製品を手動操作し、その操作結果を確認することにより動作テストを実行することが多い。しかし、操作バリエーションが豊富な多機能製品の場合、手動による動作テストには限界がある。 In order to guarantee product quality, operational tests before product shipment are indispensable. In general, a test engineer often performs an operation test by manually operating a product and confirming the operation result. However, manual operation tests are limited in the case of multi-function products with abundant operation variations.
そこで、テスト・プログラムで動作テストを自動実行することにより、動作テストの省力化を図ることも多い。たとえば、HP(Hewlett-Packard)社が提供する自動機能テストツール「QTP(Quick Test Professional)」は、ユーザが自作したテスト・プログラムを実行することにより、動作テストを自動化する。 Therefore, it is often the case that the operation test is automatically executed by a test program to save labor of the operation test. For example, an automatic function test tool “QTP (Quick Test Professional)” provided by HP (Hewlett-Packard) Co., Ltd. automates an operation test by executing a test program created by the user.
外部装置に対してウェブコンテンツを提供するウェブサーバや、そのウェブサーバ上で動作するウェブアプリケーションの動作テストにおいては、外部装置に表示されたウェブコンテンツの画像がキャプチャされることがある。そして、そのキャプチャ画像をテスト・エンジニアが確認することにより、動作の正常性を確認することがある。 In an operation test of a web server that provides web content to an external device or a web application that runs on the web server, an image of the web content displayed on the external device may be captured. Then, the normality of the operation may be confirmed by a test engineer confirming the captured image.
ところで、様々なウェブブラウザを使用して製品の動作テストを行う場合、ウェブブラウザを起動したウィンドウ(以下、「ブラウザウィンドウ」とも呼ぶ。)の表示形式は、ウェブブラウザごとに異なる。そのため、異なるウェブブラウザに同じウェブコンテンツを表示させた場合、ブラウザウィンドウ全体としての見た目が異なることがあり、動作テストの効率を低下させることがあると本発明者は考えた。 By the way, when a product operation test is performed using various web browsers, the display format of a window (hereinafter also referred to as a “browser window”) in which the web browser is activated differs depending on the web browser. For this reason, when the same web content is displayed on different web browsers, the present inventor has thought that the appearance of the entire browser window may be different, which may reduce the efficiency of the operation test.
本発明は、本発明者の上記課題認識に基づいて完成された発明であり、その主たる目的は、動作テストにおいて利便性の高いウェブコンテンツの表示画像を取得するための技術を提供することである。 The present invention has been completed on the basis of the above-mentioned problem recognition of the present inventor, and its main purpose is to provide a technique for acquiring a display image of web content that is highly convenient in an operation test. .
上記課題を解決するために、本発明のある態様の画像取得装置は、ウェブページが表示されるクライアント領域と、クライアント領域とは異なる付加領域とを含むブラウザウィンドウについて、画面上におけるブラウザウィンドウの表示位置を取得するウィンドウ位置取得部と、画面上におけるブラウザウィンドウの表示位置と、ブラウザウィンドウの付加領域のサイズとにしたがって、画面上におけるクライアント領域の表示位置を特定する画像位置特定部と、画像位置特定部により特定された画面上における表示位置にしたがって、クライアント領域の表示画像をキャプチャする画像取得部と、を備える。 In order to solve the above problems, an image acquisition apparatus according to an aspect of the present invention displays a browser window on a screen for a browser window including a client area in which a web page is displayed and an additional area different from the client area. A window position acquisition unit for acquiring a position; an image position specifying unit for specifying a display position of the client area on the screen according to a display position of the browser window on the screen; and a size of the additional area of the browser window; An image acquisition unit that captures a display image of the client area according to the display position on the screen specified by the specifying unit.
本発明の別の態様は、画像取得方法である。この方法は、画像取得装置により実行される方法であって、ウェブページが表示されるクライアント領域と、クライアント領域とは異なる付加領域とを含むブラウザウィンドウについて、画面上におけるブラウザウィンドウの表示位置を取得するステップと、画面上におけるブラウザウィンドウの表示位置と、ブラウザウィンドウの付加領域のサイズとにしたがって、画面上におけるクライアント領域の表示位置を特定するステップと、特定するステップにおいて特定された画面上における表示位置にしたがって、クライアント領域の表示画像をキャプチャするステップと、を備える。 Another aspect of the present invention is an image acquisition method. This method is executed by the image acquisition device, and acquires the display position of the browser window on the screen for a browser window including a client area where a web page is displayed and an additional area different from the client area. And specifying the display position of the client area on the screen according to the browser window display position on the screen and the size of the additional area of the browser window, and the display on the screen specified in the specifying step Capturing a display image of the client area according to the position.
なお、以上の構成要素の任意の組合せ、本発明の表現を装置、方法、システム、プログラム、プログラムを格納した記録媒体などの間で変換したものもまた、本発明の態様として有効である。 It should be noted that any combination of the above-described constituent elements and a representation of the present invention converted between an apparatus, a method, a system, a program, a recording medium storing the program, and the like are also effective as an aspect of the present invention.
本発明によれば、動作テストにおいて利便性の高いウェブコンテンツの表示画像を取得することができる。 According to the present invention, it is possible to obtain a display image of web content that is highly convenient in an operation test.
本実施の形態の動作検証装置について説明する前に、その前提となる構成について、参考技術1、参考技術2、参考技術3、および参考技術4により説明する。
Before describing the operation verification apparatus according to the present embodiment, the presupposed configuration will be described with
(参考技術1)
図1(a)は、ポータルサイト第1画面300の画面図である。
参考技術1においては、ポータル・サイト「XYZ!」を対象とした動作テストについて説明する。ポータルサイト第1画面300は、エディットボックス302と検索リンク304を含む。検索リンク304は、「ウェブ」、「ブログ」、「画像」、「辞書」という4つのリンクを含む。ユーザがエディットボックス302に文字列を入力し、検索リンク304のうちのいずれかをマウス・クリックすると、入力文字列の検索が開始される。たとえば、エディットボックス302に文字列「液晶」と入力し、リンク「ウェブ」をマウス・クリックした場合、文字列「液晶」を含むウェブサイトが検索対象となる。エディットボックス302に文字列「液晶」と入力し、リンク「ブログ」をマウス・クリックした場合には、このポータル・サイトに開設されているブログ(Weblog)のうち、文字列「液晶」を含むブログページが検索対象となる。
ここでは、エディットボックス302に文字列「テスト」が入力され、リンク「辞書」がマウス・クリックされたとする。(Reference technology 1)
FIG. 1A is a screen view of the portal site
In
Here, it is assumed that the character string “test” is input to the
図1(b)は、ポータルサイト第2画面310の画面図である。
ポータルサイト第1画面300にて、「テスト」を入力し、「辞書」をマウス・クリックすると、図1(b)に示すポータルサイト第2画面310が表示される。検索結果欄306には、このポータル・サイトが提供している「辞書」サービスにより、文字列「テスト」に関連する項目が羅列される。
ここで、検索結果欄306の1番上にあるリンク「テスト(test)」がマウス・クリックされたとする。FIG. 1B is a screen view of the portal site
When “test” is input on the portal site
Here, it is assumed that the link “test” at the top of the
上記過程においては、以下に示す3つの操作がなされている。
A1.ポータルサイト第1画面300のエディットボックス302に文字列「テスト」を入力する操作。
A2.ポータルサイト第1画面300の検索リンク304のうち、リンク「辞書」をマウス・クリックする操作。
A3.ポータルサイト第2画面310の検索結果欄306のうち、リンク「テスト(test)」をマウス・クリックする操作。
以下においては、上記A1〜A3の操作により実現される動作過程のことを、「辞書テスト」とよぶ。In the above process, the following three operations are performed.
A1. An operation of inputting the character string “test” in the
A2. An operation of clicking the link “dictionary” in the search link 304 of the portal site
A3. An operation of clicking the link “test” in the
Hereinafter, the operation process realized by the operations of A1 to A3 is referred to as “dictionary test”.
図2は、辞書テストを実行したときのログ320を示す図である。
HP社のQTPが導入されているクライアント端末を操作して、上記ポータル・サイトにアクセスし、A1〜A3の操作を実行した場合、QTPは図2に示すログ320を生成する。ログ320には、操作A1〜A3が所定フォーマットの符合文として記録される。
たとえば、操作A1は、
Browser("XYZ!").Page("XYZ!").WebEdit("p").Set"テスト"
という符号文にて表現される。これは、"XYZ!"というウェブ・サイト、"XYZ!"という名前のウェブページ、pという名前のエディットボックス(図1(a)、図1(b)に示すエディットボックス302に相当する)に対して、文字列「テスト」が入力されたことを意味している。
同様にして、操作A2は、
Browser("XYZ!").Page("XYZ!").Link("辞書").Click
操作A3は、
Browser("XYZ!").Page("XYZ!-すべての辞書-テスト").Link("テスト(test)").Click
という符号文にて表示される。参考技術1においては、QTPの文法に基づいて説明するが、符合文のフォーマットはこれに限られるものではない。FIG. 2 is a diagram showing the
When a client terminal in which HP QTP is installed is operated to access the portal site and the operations A1 to A3 are executed, QTP generates a
For example, the operation A1 is
Browser ("XYZ!"). Page ("XYZ!"). WebEdit ("p"). Set "Test"
It is expressed by the code sentence. This corresponds to a web site “XYZ!”, A web page named “XYZ!”, And an edit box named p (corresponding to the
Similarly, the operation A2 is
Browser ("XYZ!"). Page ("XYZ!"). Link ("Dictionary"). Click
Operation A3 is
Browser ("XYZ!"). Page ("XYZ! -All dictionaries-Test"). Link ("Test"). Click
It is displayed with the code sentence.
QTPは、ログ320の符合文を解釈しながら、符合文により表現される操作を再現実行できる。このため、いったんログ320を生成すれば、同一内容の辞書テストを何度でも繰り返し実行できる。また、ログ320の一部を書き換えれば、手動操作時とは異なる内容にて辞書テストを実行できる。たとえば、
Browser("XYZ!").Page("XYZ!").WebEdit("p").Set"テスト"
に含まれる文字列「テスト」を別の文字列「テイスト」に変更し、
Browser("XYZ!").Page("XYZ!").WebEdit("p").Set"テイスト"
と書き換えてQTPに入力すれば、エディットボックス302への入力文字列だけ変更した同内容の辞書テストを自動実行できる。
しかし、ログ320を書き換えながら動作テストを実行するには、ログ320の文法に関してある程度の知識が必要である。また、ログ320の書き換えに際し、人為的なミスが発生する可能性がある。QTP can reproduce and execute the operation expressed by the code sentence while interpreting the code sentence of the
Browser ("XYZ!"). Page ("XYZ!"). WebEdit ("p"). Set "Test"
Change the string "test" contained in to another string "taste"
Browser ("XYZ!"). Page ("XYZ!"). WebEdit ("p"). Set "Taste"
And re-input to QTP, it is possible to automatically execute a dictionary test of the same content in which only the input character string in the
However, in order to execute the operation test while rewriting the
図3は、辞書テストを実行するためのプログラム330を示す図である。
ログ320により動作テストを実行する代わりに、ログ320と同等の内容をVB(Visual Basic)スクリプト等で記述することにより、テスト・プログラムを作成してもよい。図3に示すプログラム330は、図2のログ320を参照しつつ作成されたテスト・プログラムである。
たとえば、操作A1は、
WebEditSet(Browser("XYZ!").Page("XYZ!").WebEdit("p"),DataTable("p1,dtGlobalSheet")
というVB関数により表現される。WebEditSet関数の具体的なロジックは、同図中段に記述されている通りである。FIG. 3 is a diagram showing a
Instead of executing the operation test using the
For example, the operation A1 is
WebEditSet (Browser ("XYZ!"). Page ("XYZ!"). WebEdit ("p"), DataTable ("p1, dtGlobalSheet")
It is expressed by the VB function. The specific logic of the WebEditSet function is as described in the middle of the figure.
プログラム330、文字列「テスト」のような入力データをプログラム330中に含まない点においてログ320と異なる。代わりに、WebEditSet関数は、dtGlobalSheetとして表現されるファイル(以下、「入力データファイル」とよぶ)から入力データを受け取る。すなわち、ロジックと入力データが分離されることになる。入力データファイルの書き換えや取り替えにより、さまざまな入力データに基づいて同一ロジックの辞書テストを実行できる。手動による動作テストやログ320による動作テストに比べて、プログラム330による動作テストは、入力データのバリエーションを増やしやすいというメリットがある。
The
ただし、プログラム330による動作テストには、以下の問題点がある。
d1.プログラムを作成する手間が新たに発生する。
d2.プログラム作成者によって、プログラムの内容が変化する。たとえば、プログラマP1が操作A1に対応して作成するWebEditSet関数と、プログラマP2が操作A1に対応して作成するWebEditSet関数は、関数名は同じでもロジックが同一になるとは限らない。また、プログラム自体にバグが混入する可能性がある。このため、プログラム330自体の信頼性を担保するための取り組みが必要となる。また、プログラム330には、例外処理等、動作テストとは直接関係しないロジックも必要であるが、全てのプログラマが例外処理まで考慮したロジックを実装するとは限らない。たとえば、図3に示すWebEditSet関数の場合、入力データが空文字の場合にも対応できるようにロジックが組まれているが、別のプログラマがWebEditSet関数を実装する場合には、こういった配慮が欠如するかもしれない。
結果として、プログラマのスキルが動作テストの内容・結果に影響を及ぼしやすくなってしまう。However, the operation test by the
d1. There is a new effort to create a program.
d2. The content of the program changes depending on the program creator. For example, the WebEditSet function created by the programmer P1 corresponding to the operation A1 and the WebEditSet function created by the programmer P2 corresponding to the operation A1 do not necessarily have the same logic even though the function names are the same. In addition, bugs may be mixed in the program itself. For this reason, it is necessary to make efforts to ensure the reliability of the
As a result, programmer skills are likely to affect the content and results of behavior tests.
図4は、動作検証装置100の機能ブロック図である。
本明細書のブロック図が示す各機能ブロックは、ハードウェア的には、コンピュータのCPUをはじめとする素子や機械装置で実現でき、ソフトウェア的にはコンピュータプログラム等によって実現されるが、ここでは、それらの連携によって実現される機能ブロックを描いている。したがって、これらの機能ブロックはハードウェア、ソフトウェアの組み合わせによっていろいろなかたちで実現できることは、当業者には理解されるところである。例えば、各機能ブロックは、コンピュータプログラムとして記録媒体に格納され、情報処理装置のハードディスクにインストールされ、適宜メインメモリに読み出されてプロセッサにより実行されてもよい。
動作検証装置100は、専用ハードウェアとして形成されてもよいし、ウェブブラウザなどのユーザインタフェースと連携するソフトウェア・モジュールとして形成されてもよい。
参考技術1の動作検証装置100とは、QTPのアドオンとして形成されるソフトウェア・モジュールであるとして説明する。FIG. 4 is a functional block diagram of the
Each functional block shown in the block diagram of the present specification can be realized in hardware by an element or a mechanical device such as a CPU of a computer, and in software by a computer program or the like. Here, The functional block realized by those cooperation is drawn. Therefore, those skilled in the art will understand that these functional blocks can be realized in various forms by a combination of hardware and software. For example, each functional block may be stored in a recording medium as a computer program, installed in a hard disk of an information processing device, read into a main memory as appropriate, and executed by a processor.
The
The
動作検証装置100は、IF(インタフェース)部110、データ処理部130およびデータ保持部140を含む。
IF部110は、ユーザやQTPとのインタフェースを担当する。データ処理部130は、IF部110やデータ保持部140から取得されたデータを元にして各種のデータ処理を実行する。データ処理部130は、IF部110とデータ保持部140との間のインタフェースの役割も果たす。データ保持部140は、各種データを保持するための記憶領域である。The
The
IF部110:
IF部110は、入力部112と出力部118を含む。入力部112はユーザやQTPからの入力処理を担当し、出力部118はユーザやQTPに対する出力処理を担当する。入力部112は、ログ取得部114と入力データ取得部116を含む。ログ取得部114は、QTPからログを取得する。入力データ取得部116は、入力データファイルを取得し、入力データファイルからプログラムに提供する入力データを取得する。入力データファイルの詳細については、図5や図9に関連して詳述する。IF unit 110:
The
出力部118は、関数設定画面表示部120、入力設定画面表示部122、プログラム画面表示部124およびケース設定画面表示部126を含む。関数設定画面表示部120は、図7に示す関数設定画面210を表示させる。入力設定画面表示部122は、図9に示す入力設定画面230を表示させる。プログラム画面表示部124は、図8に示すプログラム画面220を表示させる。ケース設定画面表示部126は、図10に示すケース設定画面240を表示させる。
The
データ処理部130:
データ処理部130は、プログラム生成部132、プログラム実行部134およびテストケース登録部136を含む。プログラム生成部132は、動作テスト用のプログラムを自動的に生成する。プログラム実行部134は、生成されたプログラムを実行させる。参考技術1においては、QTPにプログラムを実行させる。テストケース登録部136は、実行セットをケースファイルに登録する。実行セットおよびケースファイルについては図10に関連して詳述する。Data processing unit 130:
The
データ保持部140:
データ保持部140は、ログ保持部142、プログラム保持部144、入力データファイル保持部146、ケースファイル保持部148、関数保持部150および結果保持部152を含む。ログ保持部142は、ログを保持する。プログラム保持部144は、プログラムを保持する。入力データファイル保持部146は、入力データファイルを保持する。ケースファイル保持部148は、ケースファイルを保持する。関数保持部150は、動作テスト用のプログラムに登録される関数について、関数ライブラリを保持する。結果保持部152は、動作テストの結果を保持する。Data holding unit 140:
The
図5は、参考技術1において、ログを取得して動作テストを実行するまでの概要図である。
まず、動作テストの対象となる機器を手動操作する。参考技術1においては、クライアント端末のウェブブラウザを操作して、ポータル・サイト「XYZ!」にアクセスする。QTPはログを生成し、ログ取得部114はQTPからログを取得する。各種符合文にはあらかじめ関数が対応づけられている。関数設定画面表示部120は、関数保持部150の関数ライブラリを読み出し、ログに含まれる各符号文に対応する関数を一覧表示させる(S1)。関数設定画面表示部120において、ユーザは、適宜、関数を追加・変更・削除できる。こうして、プログラムに含まれるべき関数が特定される。S1については、図7に関連して後に詳述する。FIG. 5 is a schematic diagram from obtaining a log to executing an operation test in
First, manually operate the device to be tested. In
次に、このプログラムに供給すべき入力データを設定する(S2)。設定内容は、入力データファイルとして登録される。S2については、図9に関連して後に詳述する。S1で設定された関数群からプログラムを自動生成する(S3)。S3については、図8に関連して後に詳述する。 Next, input data to be supplied to this program is set (S2). The setting contents are registered as an input data file. S2 will be described in detail later with reference to FIG. A program is automatically generated from the function group set in S1 (S3). S3 will be described later in detail with reference to FIG.
次に、複数種類のプログラムおよび複数種類の入力データファイルから、プログラムと入力データファイルの組合せを「実行セット」として登録する。実行セットは複数個登録することもできる(S4)。設定内容は、ケースファイルとして登録される。たとえば、プログラムP1を入力データファイルF2に基づいて実行したあと、プログラムP2を入力データファイルF6に基づいて実行させたい場合、
実行セット1:プログラムP1+入力データファイルF2
実行セット2:プログラムP2+入力データファイルF6
としてケースファイルに登録される。S4については、図10に関連して詳述する。
最後に、ケースファイルにしたがって、プログラムを実行する(S5)。上記例の場合には、プログラム実行部134は、実行セット1と実行セット2を連続実行させる。プログラム実行部134は、プログラムの実行結果、いいかえれば、テスト結果を結果保持部152に登録する。Next, a combination of a program and an input data file is registered as an “execution set” from a plurality of types of programs and a plurality of types of input data files. A plurality of execution sets can be registered (S4). The setting contents are registered as a case file. For example, when the program P1 is executed based on the input data file F2 and then the program P2 is executed based on the input data file F6,
Execution set 1: Program P1 + Input data file F2
Execution set 2: Program P2 + input data file F6
Is registered in the case file. S4 will be described in detail with reference to FIG.
Finally, the program is executed according to the case file (S5). In the case of the above example, the
図6は、ログ画面200の画面図である。
ログ取得部114がログを取得すると、出力部118はログ画面200におけるログ表示領域202にログを画面表示させる。ユーザは、QTPのログをログ表示領域202にコピー&ペーストしてもよい。あるいは、出力部118は、ログ画面200の表示時において、QTPが生成したログ(ファイル)を取得し、ログ表示領域202に画面表示させてもよい。ユーザが実行ボタン204をマウス・クリックすると、次の図7に示す関数設定画面210が表示される。FIG. 6 is a screen diagram of the
When the
図7は、関数設定画面210の画面図である。
プログラム生成部132は、ログに含まれる符号文について関数を特定し、関数設定画面210の関数欄214に特定した関数を一覧表示させる。番号欄212は実行順序、説明欄216は関数の概要説明、オブジェクト欄218は操作対象オブジェクト、パラメータ欄219はパラメータ名、入力値欄217は入力データを示す。
先述の操作A1を示す符合文、
Browser("XYZ!").Page("XYZ!").WebEdit("p").Set"テスト"
には、あらかじめ、WebEditSet関数が関数ライブラリにおいて対応づけられている。プログラム生成部132はログ320の1番目の符合文を読み出すと、関数保持部150の関数ライブラリを参照し、WebEditSet関数を特定する。操作A1が操作対象とするオブジェクトは、「Browser("XYZ!").Page("XYZ!")」のページであるため、オブジェクト欄218には、「Browser("XYZ!").Page("XYZ!")」が設定される。WebEditSet関数は、エディットボックスp(エディットボックス302)に設定される入力データを引数とする関数である。入力値欄217において、エディットボックスpに設定すべき入力データを設定することもできるが、関数設定画面210では入力データを登録しないものとして説明する。エディットボックスpに設定すべき入力データは、図9に関連して詳述する入力設定画面230にて設定される。FIG. 7 is a screen diagram of the
The
A sign statement indicating the above-mentioned operation A1,
Browser ("XYZ!"). Page ("XYZ!"). WebEdit ("p"). Set "Test"
The WebEditSet function is associated with the function library in advance. When the
ログ320には操作A1〜A3に対応して3つの符合文が含まれているため、プログラム生成部132は3つの関数を特定する。ユーザは、関数設定画面210にて、関数を追加・削除・変更してもよい。図7における4番目のTextCheck関数と5番目のWebScreenCapture関数は、ユーザが追加選択した関数である。
Since the
TextCheck関数は、表示中のウェブページにおいて、変数qに代入される文字列が含まれているかを判定する関数である。WebScreenCapture関数は、表示中のウェブページを画面キャプチャする関数である。動作テストの結果を証跡管理する上で、WebScreenCapture関数は便利な関数である。このように、関数ライブラリには、WebEditSet関数のようにユーザの操作に対応した関数だけでなく、TestCheck関数のように動作テストを補助・支援するための関数も用意されている。ユーザは、関数ライブラリから所望の関数を選択するだけで、動作テストに含めたいロジックを設定できる。 The TextCheck function is a function for determining whether or not a character string to be substituted for the variable q is included in the displayed web page. The WebScreenCapture function is a function that captures a screen of the web page being displayed. The WebScreenCapture function is a convenient function for trail management of the results of operation tests. As described above, the function library includes not only functions corresponding to user operations such as the WebEditSet function but also functions for assisting and supporting the operation test such as the TestCheck function. The user can set logic to be included in the operation test simply by selecting a desired function from the function library.
テストケース設定ボタン215がクリックされると、図10のケース設定画面240が表示される。入力データファイル作成ボタン213がクリックされると、図9の入力設定画面230が表示される。プログラム作成ボタン211がクリックされると、図8のプログラム画面220が表示される。
When the test
参考技術1の動作検証装置100には、以下のメリットがある。
m1.GUI(Graphical User Interface)ベースで関数を選択するだけで、プログラムに含めたいロジックを選択できる。プログラムを作成するための手間がほとんどかからない。
m2.プログラムに含まれる関数は、関数ライブラリとして登録済みの関数であるため、作成者によってプログラムの品質がばらつきにくい。例外処理等の必要なロジックも、あらかじめ各関数に組み込まれている。The
m1. The logic to be included in the program can be selected simply by selecting a function based on GUI (Graphical User Interface). There is little effort to create a program.
m2. Since the functions included in the program are functions registered as a function library, the quality of the program hardly varies depending on the creator. Necessary logic such as exception handling is also incorporated in each function in advance.
図8は、プログラム画面220の画面図である。
関数設定画面210において、プログラム作成ボタン211がマウス・クリックされると、プログラム生成部132がプログラムを生成し、プログラム画面表示部124はプログラム画面220におけるプログラム表示領域222にそのソースコードを表示させる。プログラムは、プログラム保持部144に保持される。FIG. 8 is a screen diagram of the
When the
図9は、入力設定画面230の画面図である。
関数設定画面210において、入力データファイル作成ボタン213がマウス・クリックされると、入力設定画面表示部122は入力設定画面230を表示させる。関数設定画面210においては、パラメータpとqが定義されている。番号欄232は入力順序、変数欄234はパラメータpへの入力データ、変数欄236はパラメータqへの入力データを示す。入力設定画面230では、このパラメータpとqに代入する入力データを設定する。各入力データは、入力データファイルとして入力データファイル保持部146に保持される。FIG. 9 is a screen diagram of the
When the input data
たとえば、プログラム330に、図9に示す形式の入力データファイルを与えると、
1.文字列「テスト」をエディットボックス302に入力して辞書を検索し、実行結果を示す画面に文字列「試験」が含まれているかを判定するテスト
2.文字列「test」をエディットボックス302に入力して辞書を検索し、実行結果を示す画面に文字列「試験」が含まれているかを判定するテスト
3.文字列「テストケース」をエディットボックス302に入力して辞書を検索し、実行結果を示す画面に文字列「試験」が含まれているかを判定するテスト
・・・のように、異なる入力データに基づく複数の辞書テストを連続実行できる。For example, when an input data file in the format shown in FIG.
1. 1. A test for inputting a character string “test” into the
図10は、ケース設定画面240の画面図である。
関数設定画面210において、テストケース設定ボタン215がマウス・クリックされると、ケース設定画面表示部126はケース設定画面240を表示させる。番号欄244は実行順序、実行セット欄245は実行セットの概要、プログラム欄246は実行対象となるプログラム、入力データファイル欄247は入力データの抽出対象となる入力データファイルを示す。
ここでは、インターネット証券のウェブ・サイトを動作テストの対象として説明する。FIG. 10 is a screen diagram of the
When the test
Here, the website of the Internet securities will be described as an operation test target.
同図においては、1.ログイン、2.ニュースチェック、3.株売り、4.債券売り、5.住所変更、6.ログアウトという6つの実行セットが登録されている。まず、QTPは、プログラム「login.vbs」から「login」プロジェクトを生成する。ここでいう「プロジェクト」とは、QTPの実行形式ファイル群を含むディレクトリである。QTPは「login」プロジェクトを入力として、login.vbsとlogin.xlsに定義された処理を実行する。ユーザが実行ボタン248をマウス・クリックすると、最初に、実行セット「ログイン」の「login」プロジェクトが実行される。1番目の実行セット「ログイン」が完了すると、実行セット「ニュースチェック」として、「ncheck」プロジェクトが実行される。
In FIG. Login, 2. 2. News check, Stock sales, 4. Bond sales, 5. Address change, 6. Six execution sets called logout are registered. First, QTP generates a “login” project from the program “login.vbs”. Here, the “project” is a directory including a group of QTP execution format files. QTP executes the process defined in login.vbs and login.xls with the “login” project as input. When the user clicks the execute
このように、実行ボタン248がマウス・クリックされると、1.ログイン、2.ニュースチェック、3.株売り、4.債券売り、5.住所変更、6.ログアウトという6つの実行セットが連続実行される。これにより、「ログインして、ニュースをチェックした後、手持ち株と手持ち債券の売りを指示し、住所変更をした上で、ログアウトする」というテスト・シナリオに基づく動作テストを自動化できる。
Thus, when the
ユーザは、ケース設定画面240において自由にテスト・シナリオを作ることができる。たとえば、実行セット「株売り」の代わりに実行セット「株買い」を登録してもよいし、実行セット「株売り」の入力データファイルとして「stock1.xls」ではなく別の入力データファイルを登録してもよい。ケース設定画面240において登録されたテスト・シナリオはケースファイルとして記録され、ケースファイル保持部148に保持される。
テスト・シナリオの構成や入力データファイル等を少しずつ変化させることにより、動作テストのバリエーションを広げやすくなる。The user can freely create a test scenario on the
By changing the test scenario configuration and the input data file little by little, it becomes easier to expand the variation of the operation test.
以上、参考技術1の動作検証装置100を説明した。
動作検証装置100によれば、プログラムと入力データ、すなわち、処理とパラメータを分離できる。そして、そのためのプログラムをGUIベースの設定に基づき自動生成できる。これにより、プログラムに含めるロジックの多様性を確保しつつも、安定した品質のプログラムを簡易に生成できる。また、入力データファイルの内容を変更するだけで、動作テストの内容を変更できるため、動作テストのバリエーションを広げやすくなる。The
According to the
更に、実行セットをケースファイルに登録してテスト・シナリオを作ることにより、既存のプログラムを組合せながら、さまざまな状況における動作テストを実現できる。また、WebEditSet関数のようなテスト対象機器を操作するための関数だけでなく、WebScreenCapture関数のような動作テストを支援するための関数を用意しておくことにより、動作テストの効率や信頼性をいっそう向上させやすくなる。 Furthermore, by registering an execution set in a case file and creating a test scenario, operation tests in various situations can be realized while combining existing programs. In addition to functions for operating the test target device such as the WebEditSet function, functions such as the WebScreenCapture function for supporting the operation test are prepared to further improve the efficiency and reliability of the operation test. It becomes easy to improve.
(参考技術2)
参考技術2では、上記の参考技術1を改良した動作検証装置100を提案する。
まず、参考技術1における動作検証装置100と、参考技術2の動作検証装置100とを比較しつつ、参考技術2の動作検証装置100についてその概要を説明する。(Reference technology 2)
The
First, an outline of the
図11は、参考技術1の動作検証装置100と参考技術2の動作検証装置100とのそれぞれにおける構成の概要を示す。図11(a)が示すように、参考技術1の動作検証装置100は、動作テストの実行エンジンであるQTPモジュール102と、QTPモジュール102を使用したウェブサーバ400の動作テストを効率化するためのラッパーモジュール104とを備えた。このラッパーモジュール104には、図4で示した各機能ブロックが含まれる。
FIG. 11 shows an outline of the configuration of each of the
図11(a)において、ユーザは、QTPモジュール102を介して、動作確認の対象装置であるウェブサーバ400を操作する(S100)。ラッパーモジュール104は、その操作内容が記録されたログをQTPモジュール102から取得して、関数設定画面210をユーザに提供した(S102)。ユーザは、動作テスト実行の際、QTPモジュールが読み込み可能な動作テスト用プログラムをラッパーモジュール104において生成させ、QTPモジュール102にそのプログラムを実行させた(S104)。
In FIG. 11A, the user operates the
これに対して、図11(b)が示すように、参考技術2の動作検証装置100は、動作テストの実行エンジンの機能とラッパーモジュール104の機能とが統合された統合検証モジュール106を備える。ユーザが統合検証モジュール106を介してウェブサーバ400を操作すると(S200)、統合検証モジュール106はその操作内容を逐次検出して関数設定画面210のデータを設定し、関数設定画面210をユーザに提供する(S202)。ユーザは、動作テスト実行の際、統合検証モジュール106において動作テスト用プログラムを生成させて実行させる(S204)。
On the other hand, as illustrated in FIG. 11B, the
図12は、参考技術1の動作検証装置100と参考技術2の動作検証装置100とのそれぞれにおける動作の概要を示す。図12(a)は、参考技術1の動作検証装置100における動作の概要を示している。ユーザはウェブサーバ400に対するデータ入力操作を実行し(S110)、QTPモジュール102はその操作内容が記録されたログを出力する(S112)。ユーザはそのログのデータをQTPモジュール102の所定の入力エリアにコピーする(S114)。ラッパーモジュール104は所定の入力エリアに設定されたログのデータに基づいて関数設定画面を設定して表示させ(S116)、ユーザはその関数設定画面を介して追加・変更すべき関数・入力データを設定する(S118)。
FIG. 12 shows an outline of operations in each of the
ラッパーモジュール104は、関数設定画面のデータに基づいて、動作テストのためのQTP用プログラムを生成する(S120)。ユーザは、QTP用プログラムをQTPモジュール102の所定の入力エリアにコピーする(S122)。ユーザは、ケース設定画面において、QTP用プログラムと入力データファイルとをセットとして指定した動作テストのシナリオを設定する(S124)。ラッパーモジュール104は、そのシナリオに基づいて、QTP用プログラムと入力データファイルのセットをQTPモジュール102に渡して、セット毎に動作テストを実行させる(S126)。
The
図12(b)は、参考技術2の動作検証装置100における動作の概要を示している。ユーザは、ウェブサーバ400に対するデータ入力操作を実行する(S210)。統合検証モジュール106は、そのデータ入力操作を逐次検出して、データ入力操作に対応する関数を操作内容ファイルに記録し、その操作内容ファイルの記録データを関数設定画面において表示する(S212)。ユーザは、その関数設定画面を介して追加・変更すべき関数・入力データを操作内容ファイルに設定する(S214)。そしてユーザは、ケース設定画面において、操作内容ファイルと入力データファイルとをセットとして指定した動作テストのシナリオを設定する(S216)。統合検証モジュール106は、そのシナリオに基づいて、シナリオ内の1以上のセットを集約した動作テスト用プログラムを生成して実行する(S218)。
FIG. 12B shows an outline of the operation in the
このように、参考技術1の動作検証装置100では、QTPモジュール102とラッパーモジュール104とが分離していた。したがって、両モジュールを連係させるために、ユーザ自身が仲介作業を実行する必要があった。また、ラッパーモジュール104はシナリオ内のセット毎にQTPモジュール102をコールして、テスト用プログラムをセット毎に実行させる必要があった。
As described above, in the
これに対して、参考技術2の動作検証装置100では、動作テストの実行エンジンと、その効率的な利用を実現するラッパーとが分離されることなく、シームレスに統合されている。したがって、参考技術1の動作検証装置100と比較すると、分離したモジュールを連係させるために必要であったユーザの作業が不要になり、動作テストのためのユーザの作業量が低減する。また、シナリオ内の複数のセットが集約された動作テスト用プログラムが生成され、そのプログラムの実行により一連のシナリオが実行されるため、迅速な動作テストが実現される。
On the other hand, in the
図13は、参考技術2の動作検証装置100の機能構成を示すブロック図である。同図の機能ブロックは、図11(b)で示した統合検証モジュール106に含まれる。参考技術2の機能ブロックのうち、参考技術1の機能ブロックに対応する機能ブロックには、同じ符号を付している。参考技術1の機能ブロックと同じ符号を付した機能ブロックについてはその機能が参考技術1に既述した内容と異なる場合に記載しており、同様の機能についてはその記載を省略する。
FIG. 13 is a block diagram illustrating a functional configuration of the
データ保持部140は、操作内容ファイル保持部143と、プログラム保持部144と、入力データファイル保持部146と、ケースファイル保持部148と、関数保持部150とを有する。操作内容ファイル保持部143は、動作テスト用プログラムに設定すべき関数が記録される操作内容ファイルを記憶する。プログラム保持部144は、操作内容ファイルにしたがって生成された動作テスト用プログラムを記憶する。
The
IF部110の入力部112は、操作検出部115とユーザ設定受付部117とを有する。操作検出部115は、ウェブサーバ400に対するユーザのデータ入力操作を逐次検出する。ユーザ設定受付部117は、関数設定画面210、入力設定画面230、ケース設定画面240に対するユーザによる設定情報を検出する。
The
IF部110の出力部118は、関数設定画面表示部120と入力設定画面表示部122とケース設定画面表示部126とを有する。関数設定画面表示部120は、操作内容ファイル保持部143に記録された操作内容ファイルの内容を表示する関数設定画面210を所定の表示装置に表示させる。
The
データ処理部130は、プログラム生成部132と、プログラム実行部134と、テストケース登録部136と、操作記録部137と、入力データ記録部138とを有する。操作記録部137は、関数保持部150を参照して、操作検出部115において検出されたデータ入力操作に対応する関数を特定し、その関数を操作内容ファイルに記録する。また操作記録部137は、関数設定画面210に対するユーザの設定情報を操作内容ファイルに記録する。入力データ記録部138は、入力設定画面230を介してユーザが入力した入力データを入力データファイルに記録する。プログラム生成部132は、操作内容ファイルに記録された関数に応じて動作テスト用プログラムを生成する。プログラム実行部134は、動作テストの実行エンジンとして、動作テスト用プログラムを実行し、その結果を結果保持部152に記録する。
The
図14は、参考技術2において、ユーザのデータ入力操作を検出して動作テストを実行するまでの概要図である。まず、ユーザはクライアント端末のウェブブラウザを操作してウェブサーバ400にアクセスし、ウェブサーバ400に対する各種操作、典型的にはウェブサーバ400が提供するウェブページに対するデータ入力操作を実行する。操作検出部115はユーザによるデータ入力操作を逐次検出し、操作記録部137は関数保持部150の関数ライブラリを読み出し、そのデータ入力操作に対応する関数を操作内容ファイルに逐次記録する(S220)。
FIG. 14 is a schematic diagram from when the user's data input operation is detected to when the operation test is executed in
次に、関数設定画面表示部120は、操作内容ファイル保持部143の操作内容ファイルを読み出し、ユーザによる操作に対応する関数を一覧表示する関数設定画面を表示させる。関数設定画面において、ユーザは、適宜、関数を追加・変更・削除でき、また、動作テスト用プログラムに静的に設定すべき入力データを設定できる。こうして、動作テスト用プログラムに含まれるべき関数が特定される。関数設定画面については、図15および図16に関連して後述する。
Next, the function setting
次に、入力設定画面表示部122は、入力設定画面230を表示させる。ユーザは、入力設定画面230を介して、動作テストの実行時に動作テスト用プログラムに対して動的に供給されるべき入力データを設定する。ユーザにより設定された入力データは、入力データファイルに記録される(S222)。入力設定画面230については、図17に関連して後述する。
Next, the input setting
次に、ケース設定画面表示部126は、ケース設定画面240を表示させる。ユーザは、複数種類の操作内容ファイルおよび複数種類の入力データファイルから、操作内容ファイルと入力データファイルとの組み合わせを実行セットとして登録する。テストケース登録部136は、1以上の実行セットをケースファイルに記録する(S224)。例えば、テストケース1において、操作内容ファイルF01の設定内容を入力データファイルF12に基づいて実行させた後、操作内容ファイルF02の設定内容を入力データファイルF16に基づいて実行させる場合、
テストケース1:
実行セット1:操作内容ファイルF01+入力データファイルF12
実行セット2:操作内容ファイルF02+入力データファイルF16
としてケースファイルに登録される。ケース設定画面240については、図18に関連して後述する。Next, the case setting
Test case 1:
Execution set 1: operation content file F01 + input data file F12
Execution set 2: operation content file F02 + input data file F16
Is registered in the case file. The
次に、プログラム生成部132は、ケースファイルおよび操作内容ファイルに基づいて動作テスト用プログラムを生成する(S226)。具体的には、実行セットに設定された操作内容ファイルに順次記録された関数を、動作テスト用プログラムのプログラムコードに順次設定してもよい。また、プログラム生成部132は、1つのテストケースに複数の実行セットが設定されている場合、各実行セットの操作内容ファイルに記録された関数を1つの動作テスト用プログラムに集約して設定する。
Next, the
また、プログラム生成部132は、操作内容ファイルの関数に対して入力データそのものが設定されていた場合には、その入力データを動作テスト用プログラムに静的に設定する。例えば、動作テスト用プログラムの生成の際に、そのプログラムコードにおける関数の引数として入力データをあらかじめ設定する。また、操作内容ファイルの関数に対して入力データファイルが指定されていた場合には、その入力データファイルのデータをプログラム実行時に読み込むように設定する。
In addition, when the input data itself is set for the function of the operation content file, the
最後に、プログラム実行部134は、動作テスト用プログラムを実行して、ウェブサーバ400に対してユーザにより実行された一連の操作を再現する(S228)。入力データファイルのデータを必要とする関数に対しては、動作テスト用プログラムの実行の際に読み込んだ入力データファイルのデータを引数として渡す。すなわち、入力データファイルから動的に取得した入力データに基づいて関数を実行する。
Finally, the
図15は、関数設定画面210の画面図である。同図は、図18で後述する「検索記入.xls」を表示する関数設定画面210を示している。データファイルカラム名欄250は、パラメータに設定する入力データを記録した入力データファイルのカラム名が指定される領域である。ユーザは、入力値欄217に入力データそのものを記述してもよく、その代わりに、データファイルカラム名欄250に入力データファイルのカラム名を指定してもよい。データファイルカラム名欄250に入力データファイルのカラム名が指定された場合、動作テスト用プログラムの実行時に、その入力データファイルのカラムに設定された1以上の入力データが読み込まれて関数に渡される。
FIG. 15 is a screen diagram of the
図16は、参考技術2における関数設定画面210の画面図である。同図の「検索部署名」パラメータの入力値欄217においては、入力データの候補がドロップダウンリスト252で一覧表示されている。ドロップダウンリスト252において表示される入力データの候補は、ウェブページに対するユーザによるデータ入力の際に、そのウェブページのドロップダウンリストにおいて表示された入力データの候補である。ユーザはドロップダウンリスト252から入力データを選択することができ、入力データの設定におけるユーザの負担が軽減される。
FIG. 16 is a screen diagram of the
ドロップダウンリスト252を設定するために、操作検出部115は、ウェブページに対するユーザによるデータ入力操作の際に、そのウェブページのドロップダウンリストにおいて表示された入力データの候補を取得する。例えば、ウェブサーバ400から取得されたウェブページのデータ、例えばHTMLデータからドロップダウンリストにおける入力データの候補を取得する。操作記録部137は、その入力データの候補を操作内容ファイルの入力値欄217に記録する。関数設定画面表示部120は、入力値欄217が入力される際に、操作内容ファイルに記録された入力データの候補をドロップダウンリストの形式で一覧表示させる。
In order to set the drop-down
図17は、参考技術2における入力設定画面230の画面図である。図17(a)は、図15および図16の関数設定画面210においてカラム名が指定された入力データファイル「検索記入データ.xls」を表示する入力設定画面230を示している。なお、図15および図16では、図17(a)の「氏名漢字」カラムと「氏名カナ」カラムとが指定されている。図17(b)は、別の入力データファイル「ログインデータ2.xls」を表示する入力設定画面230を示している。同図の入力データファイルについては、図18に関連して後述する。
FIG. 17 is a screen diagram of the
図18は、参考技術2におけるケース設定画面240の画面図である。実行番号欄253には各実行セットの基本的な実行順序、テストケースID欄254にはテストケースの識別情報が設定される。グループID欄256には実行セットの繰り返し処理のグループを示す識別情報、行番号欄258には動作テストにおける入力データファイルの参照範囲が設定される。操作内容ファイル欄260は各実行セットにおける操作内容ファイル、入力データファイル欄262は各実行セットの入力データファイルが設定される。ケース設定画面240における設定内容は、ケースファイル保持部148においてケースファイルとして記憶される。
FIG. 18 is a screen diagram of the
ケース設定画面240においてテスト実行ボタン264が押下されると、プログラム生成部132は、ケースファイルおよび操作内容ファイルにしたがって動作テスト用プログラムを生成する。具体的には、ケースファイルにおいて同一のテストケースIDが設定された1以上の操作内容ファイルに基づいて、各操作内容ファイルに記録された関数がプログラムコードに設定された1つの動作テスト用プログラムを生成する。例えば、プログラム生成部132は、図18のケース設定画面240の内容が記録されたケースファイルにしたがって、登録ケースを実行するための1つの動作テスト用プログラムと、検索ケースを実行するための1つの動作テスト用プログラムとを生成する。なお、「1つの動作テスト用プログラム」は、1つの実行単位として実行されるプログラム、言い換えれば1つの実行契機で実行されるプログラムを意味し、物理的なプログラム数は問わない。
When the
プログラム実行部134は、各操作内容ファイルに記録された1つの関数を実行する際、その操作内容ファイルと対応づけられた入力データファイルのデータのうち、操作内容ファイルにおいてその関数と対応づけられたカラムのデータをその関数に渡す。
When the
また、プログラム実行部134は、同一のテストケースにおいて同一のグループIDが付与された複数の実行セットを、同一の繰り返し処理を実行すべき同一のグループとして取り扱う。具体的には、同一のグループIDが付与された複数の実行セットそれぞれの実行を繰り返し、繰り返しのたびに、各実行セットの操作内容ファイルに記録された関数に対して、入力データファイルに記録された所定数のレコードを渡す。参考技術2では、繰り返しのたびに入力データファイルに記録された1レコードを関数に渡すこととする。なお、上述の処理を実行するための繰り返し命令がプログラムコードに設定された動作テスト用プログラムを、プログラム生成部132おいて生成してもよい。
Further, the
また、プログラム実行部134は、行番号が指定された実行セットについては、その操作内容ファイルに記録された関数に対して、入力データファイルにおいてその行番号で特定される入力データを渡す。したがって、グループIDによる繰り返し処理が指定され、さらに行番号が指定された場合には、行番号の指定数だけその繰り返しを実行することになる。例えば、図18の登録ケースでは、実行セットをまたがったグループの設定はなく、各実行セットでは入力データ1個分の処理が実行される。これに対し、図18の検索ケースでは、各実行セットにおける入力データ1個分の処理が3回繰り返される。
Further, the
具体的には、1回目の繰り返しでは、ログイン2.xlsに記録された関数に対してログインデータ2.xlsの35行目のデータ「t_yamada」が渡される。そして、検索記入.xlsに記録された関数、具体的には図15のNo1の関数に対しては検索記入データ.xlsの1行目・氏名漢字のデータ「山田太郎」が渡される。また、図15のNo2の関数に対しては検索記入データ.xlsの1行目・氏名カナのデータ「ヤマダタロウ」が渡される。
2回目の繰り返しでは、ログイン2.xlsに記録された関数に対してログインデータ2.xlsの36行目のデータ「h_yamada」が渡される。そして、検索記入.xlsに記録された図15のNo1の関数に対して検索記入データ.xlsの2行目・氏名漢字のデータ「山田花子」が渡される。また、図15のNo2の関数に対して検索記入データ.xlsの2行目・氏名カナのデータ「ヤマダハナコ」が渡される。
3回目の繰り返しにおいても同様に、インクリメントされた行番号における入力データが各関数に渡されることになる。Specifically, in the first iteration, login2. 1. Login data for the function recorded in xls Data “t_yamada” on the 35th line of xls is passed. And search entry. Search entry data for the function recorded in xls, specifically, the function No. 1 in FIG. The data “Taro Yamada” in the first line of the xls and full name kanji is passed. For the function No. 2 in FIG. The data “Yamada Taro” in the first line of the xls and the name Kana is passed.
In the second iteration,
Similarly, in the third iteration, the input data in the incremented line number is passed to each function.
参考技術2の動作検証装置100においても、参考技術1で既述した効果を奏する。具体的には、処理とパラメータの分離、および、GUIベースの設定が実現されるため、動作テスト用プログラムに含めるロジックの多様性を確保しつつも、安定した品質のプログラムを簡易に生成できる。また、入力データファイルの設定によって、動作テストのバリエーションを広げやすくなる。さらに、ケースファイルの設定によって、様々なシナリオにおける動作テストを実現できる。
The
参考技術2の動作検証装置100においては、さらに、動作テスト用プログラムを実行する実行エンジン機能と、実行エンジンの効率的な利用を実現するラッパー機能とがシームレスに、ユーザによる仲介を要することなく連係する。これにより、動作テストを実行するためのユーザの負担を軽減できる。また、参考技術1の動作検証装置100の場合と異なり、ユーザは、QTPのプロジェクト等、プログラム実行のための環境を意識する必要がない。すなわち、ユーザにとって理解・操作が容易な形式の操作内容ファイルと入力データファイルとを設定すればよい。これにより、ユーザは動作テストを容易に実施できるようになる。
In the
参考技術2の動作検証装置100においては、さらにまた、同一テストケースの複数の実行セットが集約された1つの動作テスト用プログラムが生成され、その1つの動作テスト用プログラムが実行される。参考技術1の動作検証装置100における実行セット毎、すなわち実行セットに基づき生成されたQTPのプロジェクト毎の実行と比較して、1つのテストケースにおける一連の動作テストを実行する際のオーバーヘッドが低減され、迅速な動作テストを実現できる。
In the
参考技術2の動作検証装置100においては、さらにまた、複数の実行セットに亘る繰り返しのグループを設定できる。これにより、実行セットを柔軟に分割でき、また、動作テストのシナリオを柔軟に設定できる。さらにまた、入力データファイルの参照範囲を設定できる。これにより、入力データファイルが同一であっても、シナリオに応じて柔軟に参照範囲を変更でき、様々なバリエーションの動作テストを容易に実現できる。
In the
上述した参考技術2においては、関数設定画面210における値設定を支援する例としてドロップダウンリスト252を示した。変形例においては、ウェブページにおけるラジオボタン、チェックボックス、リストボックス等で選択可能に表示された入力データの候補が、ドロップダウンリスト252またはその他の形式で関数設定画面210において選択可能に表示されてもよい。すなわち、動作確認対象の機器に対するデータ入力操作の際にユーザに対して様々な形式で選択可能に表示された入力データの候補が、関数設定画面210における値設定の際に選択可能に表示されてもよい。
In the
上述した参考技術1においては、ウェブサーバ400に対するユーザの操作をQTPが受け付け、ログを生成したことを条件として、動作検証装置100が動作テスト用プログラムを作成している。また、上述した参考技術2においては、ウェブサーバ400に対するユーザの操作を動作検証装置100が検出して、動作テスト用プログラムを作成している。変形例として、動作検証装置100においてウェブサーバ400からHTMLファイルを取得した時点で、動作テスト用プログラムを生成してもよい。この場合、動作検証装置100は、HTMLファイルに含まれるフォームタグを検索し、HTMLファイルにどのような入力インタフェースが含まれているかを特定する。そして、各入力インタフェースにデータを入力するための関数を選択し、これらの関数をさまざまな順序で並べれば、ユーザによる明示的なウェブ操作がなくても、動作テスト用のプログラムを生成できる。
In the
(参考技術3)
まず参考技術3の概要を説明する。
現在、数多くのウェブブラウザが公開されており、ユーザのPCにおいても様々な種類のウェブブラウザが使用されている。したがって動作検証装置としては、複数種のウェブブラウザによるウェブページの動作テストをサポートできることが望ましい。この場合、動作検証装置は、ウェブブラウザの仕様に応じてウェブブラウザを操作する必要があり、そのアーキテクチャは以下の2つに大別される。なお、動作テストの対象となるウェブページを、以下では「テスト対象ページ」とも称する。(Reference technology 3)
First, an outline of the
Currently, many web browsers are open to the public, and various types of web browsers are also used in user PCs. Therefore, it is desirable that the operation verification apparatus can support a web page operation test using a plurality of types of web browsers. In this case, the operation verification apparatus needs to operate the web browser according to the specifications of the web browser, and the architecture is roughly divided into the following two. Note that the web page that is the target of the operation test is also referred to as a “test target page” below.
方式1.外部からの操作:
ウェブブラウザが外部に公開するAPI(Application Programming Interface)、すなわちウェブブラウザに表示中のテスト対象ページへの入力操作を受け付けるインタフェース(以下、「操作IF」とも呼ぶ)を呼び出すことにより、ウェブブラウザを外部から操作する。参考技術3の操作IFは、具体的には、テスト対象ページに対してデータを入力し、またテスト対象ページのフォームを実行させ、またウェブサーバに対するGETリクエストやPOSTリクエストを送信させるための関数である。
By calling an API (Application Programming Interface) published by the web browser to the outside, that is, an interface that accepts an input operation to the test target page being displayed on the web browser (hereinafter also referred to as “operation IF”), Operate from. Specifically, the operation IF of the
方式2.内部からの操作:
テスト対象ページへの入力操作を受け付けて、その入力操作をウェブブラウザに実行させるスクリプト文書(以下、「制御コード」とも呼ぶ)を、テスト対象ページのプログラムコード(すなわちHTML文書)に対して追記する。そして、その制御コードを呼び出すことにより、ウェブブラウザを内部から操作する。言い換えれば、ウェブブラウザに表示されたウェブページに予め埋め込まれたスクリプト文書によってそのウェブブラウザを操作する。
A script document (hereinafter also referred to as “control code”) that accepts an input operation to the test target page and causes the web browser to execute the input operation is added to the program code (ie, HTML document) of the test target page. . Then, the web browser is operated from the inside by calling the control code. In other words, the web browser is operated by a script document embedded in advance in a web page displayed on the web browser.
参考技術3の制御コードは、テスト対象ページへの入力操作を外部から受け付けるインタフェース機能を含む関数が記述されたプログラムコードである。また、テスト対象ページのDOMツリーを操作することによりテスト対象ページの表示内容を更新する機能や、ウェブサーバに対するGETリクエストやPOSTリクエストを送信する機能を含む関数が記述されたプログラムコードでもある。なお制御コードは、所定のスクリプト言語(例えば、JAVAスクリプト(「JAVA」は登録商標))で記述されてもよい。
The control code of the
図19は、ウェブブラウザに対する2つの操作方式の特徴を示す。同図は、外部からの操作方式と内部からの操作方式とを比較したものである。最重要と想定される動作テストそのものの信頼性については、内部からの操作方式はテスト対象ページを書き換えるものであるため、外部からの操作方式の方が優れるといえる。その一方で適合性および汎用性については、外部からの操作方式はウェブブラウザにおける操作IFに依存するものであるため、内部からの操作方式の方が優れるといえる。 FIG. 19 shows characteristics of two operation methods for the web browser. The figure compares the operation method from the outside with the operation method from the inside. Regarding the reliability of the operation test itself, which is assumed to be the most important, it can be said that the operation method from the outside is superior because the operation method from the inside rewrites the test target page. On the other hand, regarding compatibility and versatility, the operation method from the outside depends on the operation IF in the web browser, so the operation method from the inside is superior.
そこで参考技術3では、動作テストに使用するウェブブラウザの操作IFが公開されている場合はウェブブラウザを外部から操作し、操作IFが非公開である場合はウェブブラウザを内部から操作する動作検証装置を提案する。これにより、動作テストの信頼性をベストエフォートで確保しつつ、様々な種類のウェブブラウザによる動作テストをサポートできる。
Therefore, in the
図20は、ウェブブラウザに対する2つの操作方式について機能間の呼び出し関係を模式的に示す。ウェブサーバ400は、テスト対象ページを提供する情報処理装置である。ブラウザ402で総称されるブラウザA402a、ブラウザB402b、ブラウザC402c、ブラウザD402dは、HTTPユーザエージェントとして機能するウェブブラウザであり、テスト対象ページの表示処理・操作処理等を実行する。なお、同図のブラウザA402aおよびブラウザB402bはその操作IFを外部に公開し、ブラウザC402cおよびブラウザD402dはその操作IFを非公開とするものである。
FIG. 20 schematically shows a call relationship between functions for two operation methods for the web browser. The
個別ブラウザ用エンジン404で総称されるブラウザA用エンジン404aとブラウザB用エンジン404bとのそれぞれは、ブラウザA402aとブラウザB402bそれぞれの操作IFを呼び出すプログラムコードである。共通IF406は、複数種のブラウザ402それぞれの操作IFを呼び出すためのインタフェースであり、複数種のブラウザ402それぞれで異なる操作IFに依存しない共通形式のインタフェースを備えるプログラムコードである。個別ブラウザ用エンジンドライバ408で総称されるブラウザA用エンジンドライバ408a、ブラウザB用エンジンドライバ408bは、ブラウザ402の種類に依存しない共通IF406形式のデータを、ブラウザ402ごとに異なる操作IF形式のデータへ変換することにより、動作テスト用プログラムと個別ブラウザ用エンジン404とをブリッジする。
The
プロキシサーバ410は、ブラウザ402の代理として、ウェブサーバからテスト対象ページを取得するリバースプロキシとして機能する。プロキシサーバ410は、テスト対象ページへ制御コードを追加した後、そのテスト対象ページをブラウザC402cおよびブラウザD402dへ提供する。内部操作エンジン412は、プロキシサーバ410を介して、テスト対象ページに付加された制御コードを呼び出す。内部操作エンジンドライバ414は、共通IF406形式のデータを、制御コードを呼び出すための所定形式のデータへ変換することにより、動作テスト用プログラムと内部操作エンジン412とをブリッジする。
The
図20の動作を説明する。テスト対象ページを表示するウェブブラウザがブラウザA402a、またはブラウザB402bである場合、動作テスト用プログラムは共通IF406をコールする。それに伴って、個別ブラウザ用エンジンドライバ408・個別ブラウザ用エンジン404を介して、ウェブブラウザの操作IFがコールされることにより、ウェブブラウザが操作され、テスト対象ページへの入力操作が実現される。
The operation of FIG. 20 will be described. When the web browser that displays the test target page is the
一方で、テスト対象ページを表示するウェブブラウザがブラウザC402c、またはブラウザD402dである場合、プロキシサーバ410はテスト対象ページに制御コードを追加して、そのテスト対象ページをウェブブラウザに表示させる。この場合も動作テスト用プログラムは共通IF406をコールし、内部操作エンジンドライバ414・内部操作エンジン412・プロキシサーバ410を介して、テスト対象ページに付加された制御コードが呼び出される。これにより、ウェブブラウザの操作IFを介することなくウェブブラウザが操作され、テスト対象ページへの入力操作が実現される。
On the other hand, when the web browser that displays the test target page is the browser C402c or the browser D402d, the
図20の構成によれば、個別ブラウザ用エンジンドライバ408および内部操作エンジンドライバ414によりウェブブラウザのインタフェースの差異が吸収される。これにより、動作テスト用プログラムは、ウェブページの動作テストで使用するウェブブラウザ(以下、「テスト実行ブラウザ」とも呼ぶ)の種類によらず、常に共通IF406を呼び出すことでテスト実行ブラウザを操作できる。言い換えれば、同一の動作テスト用プログラムにより、複数種のウェブブラウザによる動作テストを自動実行させることができる。
According to the configuration of FIG. 20, differences in the web browser interface are absorbed by the individual
図21は、参考技術3の動作検証装置の機能構成を示すブロック図である。同図の機能ブロックのうち、参考技術1および2で示した動作検証装置100の機能ブロックに対応する機能ブロックには、同じ符号を付している。同じ符号を付した機能ブロックについては、その機能が参考技術1および2に既述した内容と異なる場合に記載しており、同様の機能については既述であるため適宜その記載を省略する。
FIG. 21 is a block diagram illustrating a functional configuration of the operation verification apparatus according to the
動作検証装置100は、図13で示した機能ブロックに加え、ブラウザ処理部160をさらに備える。ブラウザ処理部160は、図20のブラウザ402に対応し、ウェブブラウザとして機能する。なお、単一の動作検証装置100が複数種のブラウザ処理部160を備えてもよいことはもちろんである。
The
プログラム実行部134は、動作テスト用プログラムの実行に際し、テスト実行ブラウザの種類、言い換えれば、ブラウザ処理部160の態様に応じて、外部からの操作方式または内部からの操作方式を選択してブラウザ処理部160を操作する。図22は、図21のプログラム実行部134の詳細を示すブロック図である。プログラム実行部134は、テスト主体選択部162と、外部操作実行部164と、プロキシ処理部166と、内部操作実行部168と、証左物設定部170とを含む。
The
テスト主体選択部162は、テスト実行ブラウザの種類を示す情報、言い換えれば、ブラウザ処理部160における操作IFの公開状況を示す情報を所定の設定ファイルや動作テスト用プログラムから取得し、その情報にしたがって動作テストの実行主体を決定する。例えば、各種ウェブブラウザとそれぞれの操作IFの公開状況とを対応づけたテーブルを参照して、テスト実行ブラウザにおける操作IFの公開状況を特定してもよい。
The test
テスト主体選択部162は、ブラウザ処理部160が操作IFを外部に公開するものである場合、動作テストの実行主体として後述する外部操作実行部164を選択する。その一方で、ブラウザ処理部160が操作IFを外部に非公開とするものである場合、動作テストの実行主体として後述するプロキシ処理部166および内部操作実行部168を選択する。
When the
外部操作実行部164は、図20の個別ブラウザ用エンジン404に対応し、動作テスト用プログラムの実行に際し、動作テスト用プログラムによる共通IF406の呼び出しを検出する。そして、ブラウザ処理部160が公開する操作IFを呼び出すことにより、ブラウザ処理部160を操作して、テスト対象ページに対する入力操作を実行する。
The external
プロキシ処理部166は、図20のプロキシサーバ410に対応し、ブラウザ処理部160から要求されたテスト対象ページをウェブサーバ400から代理取得し、テスト対象ページのHTMLコード内に制御コードを挿入する。そして改変後のテスト対象ページのHTMLコードをブラウザ処理部160へ送出して表示させる。またプロキシ処理部166は、後述する内部操作実行部168から制御コードの呼び出しを受け付け、テスト対象ページに追加した制御コードを呼び出す。プロキシ処理部166とテスト対象ページとの通信は、XMLHttpRequestによる非同期通信として実装されてもよい。
The
内部操作実行部168は、図20の内部操作エンジン412に対応し、動作テスト用プログラムの実行に際し、動作テスト用プログラムによる共通IF406の呼び出しを検出する。そして、プロキシ処理部166を介して、テスト対象ページに追加された制御コードを呼び出すことにより、ブラウザ処理部160を操作して、テスト対象ページに対する入力操作を実行する。なお、プロキシ処理部166および内部操作実行部168は、テスト自動化ツールとして公開されているSelenium(http://seleniumhq.org/)のライブラリを用いて実装されてもよい。
The internal
証左物設定部170は、外部操作実行部164または内部操作実行部168からの要求に応じて、動作テストの結果を証明するデータ(以下、「証左物」とも呼ぶ)を設定し、その証左物を結果保持部152へ格納する。証左物として、ブラウザ処理部160によりディスプレイに表示されたテスト対象ページの画面スナップを取得し、また、ウェブサーバ400とのHTTP通信で送受されるデータを取得してもよい。なお、画面スナップの取得機能は、動作検証装置100のオペレーティングシステム(以下、「OS」とも呼ぶ。)により提供されてもよく、HTTP通信データの取得機能は、動作検証装置100にインストールされたパケットキャプチャソフトにより提供されてもよい。
In response to a request from the external
以上の構成による動作を以下説明する。
図23は、動作検証装置100の動作を示すフローチャートである。同図は、動作検証装置100において動作テスト用プログラムが実行される際の動作を示すものである。例えば、図12におけるS218の詳細を示すものであり、図14におけるS228の詳細を示すものでもある。The operation of the above configuration will be described below.
FIG. 23 is a flowchart showing the operation of the
テスト対象ページの動作テストの開始時、テスト主体選択部162は、ブラウザ処理部160における操作IFの公開状況に応じて、動作テストの実行エンジンを選択する(S300)。ブラウザ処理部160は、ウェブサーバ400に対してテスト対象ページの提供を要求する(S302)。ブラウザ処理部160において操作IFが非公開である場合(S304のN)、プロキシ処理部166は、テスト対象ページを代理取得して、そのHTMLコードへ制御コードを追加した後、テスト対象ページをブラウザ処理部160へ送出する(S306)。操作IFが公開されていれば(S304のY)、S306はスキップされる。ブラウザ処理部160は、テスト対象ページを所定のディスプレイに表示させる(S308)。証左物設定部170は、テスト対象ページの画面スナップを取得する等、動作テストの証左物を設定して結果保持部152へ格納する(S310)。
At the start of the operation test for the test target page, the test
動作テストで実行すべき全操作が実行済であれば(S312のY)、本図のフローを終了する。未実行の操作が残っており(S312のN)、ブラウザ処理部160において操作IFが公開されている場合(S314のY)、外部操作実行部164は、動作テスト用プログラムによるテスト対象ページへの入力操作を、その操作IFをコールすることにより実行する(S316)。操作IFが非公開であれば(S314のN)、内部操作実行部168は、動作テスト用プログラムによるテスト対象ページへの入力操作を、そのテスト対象ページに追加された制御コードをコールすることにより実行する(S318)。テスト対象ページへの操作により新たなウェブページの提供が要求される場合、例えば、GETリクエストやPOSTリクエスト等による画面遷移が発生する場合(S320のY)、S304に戻る。新たなウェブページの提供が要求されなければ(S320のN)、S310に戻る。
If all the operations to be executed in the operation test have been executed (Y in S312), the flow of FIG. When an unexecuted operation remains (N in S312) and the operation IF is disclosed in the browser processing unit 160 (Y in S314), the external
参考技術3の動作検証装置100は、参考技術1および2に記載の動作検証装置100の構成を前提として、複数種のウェブブラウザにおけるウェブページの動作テストをサポートするための構成を追加したものである。したがって、参考技術3の動作検証装置100の構成は、参考技術1および2に記載の効果をそのまま奏するとともに、さらに以下の効果を奏するものである。
The
動作検証装置100では、ウェブブラウザの操作方式として、内部からの操作方式を実装することにより、ウェブブラウザにおける操作IFの公開有無によらず、複数種のウェブブラウザにおけるウェブページの動作テストを実行できる。また、動作検証装置100では、ウェブブラウザの操作方式として、外部からの操作方式も実装しており、ウェブブラウザが操作IFを公開する場合は、外部からの操作方式で動作テストを行うことにより、動作テストの信頼性を担保しやすくなる。
The
以上、参考技術3の動作検証装置100を説明した。
参考技術3では、プロキシサーバ410に対応するプロキシ処理部166は、動作検証装置100に内包されることとした。変形例では、プロキシ処理部166は、動作検証装置100とは異なる別の情報処理装置に備えられてもよい。The
In the
一部既述したが、単一の動作検証装置100に複数種のウェブブラウザがインストールされてもよく、動作検証装置100は複数種のウェブブラウザに対応する複数のブラウザ処理部160を備えてもよい。この場合、プログラム実行部134は、それぞれのウェブブラウザにおいてテスト対象ページの動作テストを実行してもよい。すなわち、図23で示す処理をウェブブラウザごとに並行実行してもよい。複数種のウェブブラウザにおける動作テストを単一の動作検証装置100において実施できることで、効率的かつ低コストでの動作テストを実現できる。
As described above, a plurality of types of web browsers may be installed in the single
参考技術3では、ウェブブラウザの種類ごとに内部からの操作方式と外部からの操作方式とのいずれかが選択された。変形例では、単一のウェブブラウザでの動作テストにおいて両方式が組み合わせられてもよい。例えば、テスト対象ページに対する操作のうち、公開された操作IFを使用して実行可能な操作は外部からの操作方式を適用し、すなわち外部操作実行部164が操作IFをコールする。その一方で、公開された操作IFでは実行不可な操作は内部からの操作方式を適用し、すなわち内部操作実行部168が制御コードをコールする。ウェブページ内に記述されたスクリプトコードには一般的に広範な操作が許容されるため、操作IFの仕様に依存して発生する外部からの操作方式での制約を、内部からの操作方式により補完することができる。
In the
(参考技術4)
参考技術4では、上記の参考技術3に関連し、様々な種類のウェブブラウザによるウェブページの動作テストをサポートする動作検証装置100を提案する。以下の説明における「Windows(ウィンドウズ)」、「Internet Explorer(インターネット・エクスプローラ)」、「Firefox(ファイアフォックス)」、「Mac(マック)」、「Mac OS(マック・オーエス)」、「Safari(サファリ)」、「JAVA」等の名称は、各社の商標または登録商標である。(Reference technology 4)
The
図24は、ウェブページの動作テストにおける機能間の呼び出し関係を模式的に示す。同図の動作検証エンジン500は、動作検証装置100におけるウェブページの動作テストのためのコア機能を示している。Windows環境540は、ウィンドウズOSにおける環境を示し、Mac環境560はMacOSにおける環境を示している。なお、OSにウィンドウズがインストールされた動作検証装置100は、動作検証エンジン500およびWindows環境540の組み合わせで構成されてもよい。また、OSにMacOSがインストールされた動作検証装置100は、動作検証エンジン500およびMac環境560の組み合わせで構成されてもよい。
FIG. 24 schematically shows a call relationship between functions in the web page operation test. The
図24のIE(インターネット・エクスプローラ)ブラウザ542は、外部のアプリケーションから呼び出し可能な操作IFであるCOM550を公開している。したがって、IEブラウザ542に表示されたウェブページの操作には、参考技術3における外部からの操作方式が採用される。その一方で、FF(ファイアフォックス)ブラウザ546およびSafariブラウザ562は、外部のアプリケーションから呼び出し可能な操作IFが公開されていない。したがって、これらのブラウザに表示されたウェブページに対する操作には、参考技術3における内部からの操作方式が採用される。
An IE (Internet Explorer)
図24では、内部からの操作方式のためのセレニウムモジュール530を示している。セレニウムモジュール530は、図20の内部操作エンジン412およびプロキシサーバ410に対応し、テスト自動化ツールとして公開されているSelenium(http://seleniumhq.org/)のサーバプログラムである。セレニウムモジュール530は、ウェブページを表示するウェブブラウザのウィンドウ(以下、「ブラウザウィンドウ」とも呼ぶ。)に対して独自の識別子を割り当てる。そして、クライアントからその識別子が指定されることにより、操作対象とすべきブラウザウィンドウ(言い換えればウェブページ)を一意に識別する。
In FIG. 24, the
共通IF406は、図20の共通IF406に対応する。IEドライバ502は、図20の個別ブラウザ用エンジンドライバ408に対応する。IEドライバ502は、IEブラウザ542を使用したウェブページの動作テストにおいて、動作テスト用プログラム(以下、「テスト・プログラム」とも呼ぶ。)とIEブラウザ542のブリッジとして機能する。IEドライバ502は、IEウィンドウマネージャ504と、IEブラウザ操作部506と、IEダイアログ操作部508とを含む。
The common IF 406 corresponds to the common IF 406 in FIG. The
IEウィンドウマネージャ504は、ウェブページを表示させたブラウザウィンドウに対して、ユーザがテスト・プログラムにおいて割り当てた識別子(以下、「ユーザ割当ID」とも呼ぶ。)と、OSが割り当てた識別子(以下、「OS割当ID」)との対応関係を管理する。
The
IEブラウザ操作部506は、ウェブページの操作を行うべきブラウザウィンドウ(以下、「操作対象ウィンドウ」とも呼ぶ。)について、テスト・プログラムで指定されたユーザ割当IDに対応するOS割当IDを特定する。それとともに、テスト・プログラムで指定された操作内容に対応するCOM550の関数を特定する。そして、OS割当IDを指定してCOM550の関数を呼び出すことにより、IEブラウザ542を外部から操作し、操作対象ウィンドウにおけるウェブページの操作をIEブラウザ542に実行させる。ウェブページの操作に応じて、IEブラウザ542は、ウィンドウズOSのリソースを直接使用してダイアログボックスを表示させる場合がある。このダイアログボックスを以下では「OSダイアログ」とも呼ぶ。
The IE
IEダイアログ操作部508は、IEブラウザ542が表示させたOSダイアログ544を操作する。具体的には、OSダイアログ544が表示されたことを検出して、テスト・プログラムで指定されたダイアログ操作に対応するWin32API552の関数を呼び出すことにより、OSダイアログ544に対する操作を実行する。なお、OSダイアログ544に対する典型的な操作内容としては、文字列の入力や、表示項目の選択、ボタンの押下等が挙げられる。後述するFFダイアログ548やSafariダイアログ564に対する操作内容も同様である。
The IE
FFドライバ510は、図20の内部操作エンジンドライバ414に対応し、FFブラウザ546を使用したウェブページの動作テストにおいて、テスト・プログラムとFFブラウザ546とのブリッジとして機能する。FFドライバ510は、FFウィンドウマネージャ512と、FFブラウザ操作部514と、FFダイアログ操作部516とを含む。
The
FFウィンドウマネージャ512は、ウェブページを表示させたブラウザウィンドウに対して、セレニウムモジュール530が割り当てた識別子(以下、「セレニウム割当ID」とも呼ぶ。)と、当該ウィンドウに対するユーザ割当IDとOS割当IDとの対応関係を管理する。
The
FFブラウザ操作部514は、操作対象ウィンドウについて、テスト・プログラムで指定されたユーザ割当IDに対応するセレニウム割当IDを特定する。それとともに、テスト・プログラムで指定された操作内容に対応するセレニウムモジュール530の関数を特定する。そして、セレニウム割当IDを指定してセレニウムモジュール530の関数を呼び出す。これに応じてセレニウムモジュール530は、セレニウム割当IDにもとづき操作対象ウィンドウを特定し、当該操作対象ウィンドウに表示されたウェブページの制御コードのうち、呼び出された関数に対応する制御コードを呼び出す。これにより、操作対象のウェブページにおいて特定のJAVAスクリプトが動作して、FFブラウザ546を内部から操作し、テスト・プログラムで指定されたウェブページの操作が実現される。
The FF
FFブラウザ操作部514は、セレニウムモジュール530を介さずに操作すべき所定の操作、典型的にはブラウザウィンドウのクローズ処理がテスト・プログラムで指定された場合は、セレニウムモジュール530の呼び出しを抑止する。その代わりに、IEダイアログ操作部508と同様に、Win32API552を呼び出すことにより当該操作を実行する。
The FF
ウェブページの操作に応じて、FFブラウザ546は、OSダイアログ544を表示させ、または、FFブラウザ546の独自のリソースを使用したダイアログボックス(以下、「FFダイアログ」とも呼ぶ。)を表示させる場合がある。典型的には、ファイルの保存等OSと連携する場合にはOSダイアログ544を表示させ、JAVAスクリプトによるアラートダイアログとしてはFFダイアログ548を表示させる。
Depending on the operation of the web page, the
FFダイアログ操作部516は、OSダイアログ544およびFFダイアログ548を操作する。具体的には、OSダイアログ544の表示を検出すると、テスト・プログラムで指定されたダイアログ操作に対応するWin32API552の関数を呼び出すことにより、そのOSダイアログ544に対する操作を実行する。また、FFダイアログ548の表示を検出すると、FFブラウザ546に予め設定した拡張機能であるFFプラグイン554を呼び出してダイアログ操作を指示することにより、FFダイアログ548に対する操作を実行する。この詳細は図26に関連して後述する。
The FF
Safariドライバ520は、図20の内部操作エンジンドライバ414に対応し、Safariブラウザ562を使用したウェブページの動作テストにおいて、テスト・プログラムとSafariブラウザ562とのブリッジとして機能する。Safariドライバ520は、Safariウィンドウマネージャ522と、Safariブラウザ操作部524と、Safariダイアログ操作部526とを含む。Safariウィンドウマネージャ522は、ウェブページが表示されたウィンドウに対するユーザ割当IDとOS割当IDとセレニウム割当IDとの対応関係を管理する。なお、MacOSでは、ブラウザウィンドウに対してIDを割り当てるのはSafariブラウザ562であるが、記載の簡明化のため、その名称はOS割当IDで統一する。
The
Safariブラウザ操作部524は、操作対象のウィンドウについて、テスト・プログラムで指定されたユーザ割当IDに対応するセレニウム割当IDを特定する。それとともに、テスト・プログラムで指定された操作内容に対応するセレニウムモジュール530の関数を特定する。そして、セレニウム割当IDを指定してセレニウムモジュール530の関数を呼び出す。これにより、FFブラウザ操作部514と同様に、操作対象のウェブページに対する操作を、セレニウムモジュール530を介して実行する。
The Safari
Safariブラウザ操作部524は、セレニウムモジュール530を介さずに操作すべき所定の操作、典型的にはウィンドウのクローズ処理がテスト・プログラムで指定された場合は、セレニウムモジュール530の呼び出しを抑止する。その代わりに、MacOSが提供するAPIを呼び出すことにより当該操作を実行する。具体的には、障害者のためのアプリケーションによる利用のために供されたAPI群であるアクセシビリティAPI566を呼び出す。この詳細は図27に関連して後述する。
The Safari
ウェブページの操作に応じて、Safariブラウザ562はダイアログ(以下、「Safariダイアログ」とも呼ぶ。)を表示させる場合がある。Safariダイアログ操作部526は、Safariダイアログ564の表示を検出すると、テスト・プログラムで指定されたダイアログ操作に対応するMacOSのAPIを呼び出すことにより、Safariダイアログ564に対する操作を実行する。この際にも、上述のアクセシビリティAPI566を呼び出す。この詳細は図27に関連して後述する。
Depending on the operation of the web page, the
上記のFFウィンドウマネージャ512およびSafariウィンドウマネージャ522は、セレニウムウィンドウマネージャ532として総称される。図25は、セレニウムウィンドウマネージャ532に格納されるデータ例を示す。同図で示すように、セレニウムウィンドウマネージャ532は、ウェブページの動作テストにおいて各ブラウザウィンドウへ割り当てられたユーザ割当IDとセレニウム割当IDとOS割当IDとを対応づけて保持する。なお、IEブラウザ542の操作にはセレニウムモジュール530を介さない。そのため、IEウィンドウマネージャ504は、ユーザ割当IDとOS割当IDのみを対応づけて保持する。
The
また、上記のFFブラウザ操作部514およびSafariブラウザ操作部524は、セレニウムモジュール530を介してウェブブラウザを操作するセレニウムブラウザ操作部534として総称される。
The FF
図26は、図24のFFダイアログ548に対する操作の仕組みを示す。セレニウムモジュール530において、FFブラウザ546の起動時に、FFブラウザ546によって読み込まれるFFプロファイル570に、JAVAスクリプトで実装されたウィンドウハンドラ572が予め設定される。FFブラウザ546は、新規のブラウザウィンドウを開く際に、FFプラグイン554の記憶領域にウィンドウハンドラ572を読み込むことにより、ウィンドウハンドラ572の機能が追加的に組み込まれる。
FIG. 26 shows an operation mechanism for the
ウィンドウハンドラ572は、FFプラグイン554として組み込まれた際、FFブラウザ546によるウィンドウ生成を検出するリスナオブジェクトを、XPConnect578およびXPCOM580を介してウィンドウウオッチャ(WindowWatcher)582へ登録する。ウィンドウハンドラ572は、登録したリスナオブジェクトを介して、FFダイアログ548が生成されたことを検出すると、FFダイアログ操作部516のソケットサーバ574とソケット通信を行い、FFダイアログ548が生成された旨を通知する。この通知情報には、FFダイアログ548における表示文字列や、ボタン等の表示オブジェクトを示す表示態様情報が含まれる。
When the
FFダイアログ操作部516は、FFダイアログ548が生成された旨が通知されると、テスト・プログラムで指定されたダイアログ操作に対応した関数であり、XPCOM580の関数の識別情報をウィンドウハンドラ572へ通知する。ウィンドウハンドラ572は、FFダイアログ操作部516により指定されたXPCOM580の関数を呼び出すことにより、FFダイアログ548を操作する。なお、FFダイアログ操作部516は、FFダイアログ548の表示態様に応じて、FFダイアログ548に対する操作内容を適宜調整してもよい。例えば、テスト・プログラムで指定されたボタン押下操作に対して、押下対象のボタンのIDを追加した上で、その操作指示をウィンドウハンドラ572へ通知してもよい。
When notified that the
既述したように、FFブラウザ546は、JAVAスクリプトのアラートダイアログとして、FFダイアログ548を表示させる。このFFダイアログ548は、FFブラウザ546独自のリソースを使用して表示されたものであるため、OS側からはダイアログの内容を判別できない。例えば、FFダイアログ548における表示文字列や、ボタン等の表示オブジェクトが判別できない。そのため、OSダイアログ544に対する操作のように、Win32API552を介しての操作ができない。例えば、FFダイアログ548に表示されたボタンに対する押下操作ができない。
As described above, the
そこで参考技術4では、FFブラウザ546におけるFFダイアログ548表示の監視機能をプラグインとして追加することにより、FFダイアログ548の表示内容の取得を可能にし、また、FFダイアログ548に対する操作を実現する。
Therefore, in the
なお、FFブラウザ操作部514は、セレニウムモジュール530を介してFFブラウザ546を操作するため、ウェブページのプログラムコードにダイアログ操作のための関数(例えば、ウィンドウハンドラ572と同様のプログラムコード)を設定することもできる。しかし、FFダイアログ548がモーダルダイアログ(アプリケーションモーダルダイアログまたはシステムモーダルダイアログ)である場合、その表示元のウェブページのコードからはダイアログを操作できなくなる。その一方で、FFプラグイン554として組み込まれたウィンドウハンドラ572はモーダルダイアログへの操作を継続できる。この観点から、ウィンドウハンドラ572は、FFブラウザ546の拡張機能として設定されることが望ましいといえる。
Since the FF
図27は、図24のSafariダイアログ564に対する操作の仕組みを示す。同図のAppleスクリプト584は、MacOSにおけるアプリケーション間通信技術であるAppleイベントを呼び出すスクリプトである。システムイベント586は、MacOSが提供するアプリケーションであり、Appleスクリプト584とアクセシビリティAPI566とを仲介して、Appleスクリプト584によるアクセシビリティAPI566の呼び出しを実現させる。
FIG. 27 shows an operation mechanism for the
図27はMacOSを4階層で示しており、上位の階層は下位の階層よりも抽象度が高いAPI、言い換えれば、高レベルのAPIを提供する。同図で示すように、アクセシビリティAPI566は、最上位の階層「ユーザ・エクスペリエンス」に属する。既述したように、アクセシビリティAPI566は、障害者向けのユーザビリティを確保するためのUI自動化機能に関するAPI群である。自動化される操作内容には、ウィンドウを開く・ボタンを押下する等、各種のユーザインタフェース(画面)操作が含まれる。
FIG. 27 shows MacOS in four layers, and an upper layer provides an API having a higher abstraction level than a lower layer, in other words, a high-level API. As shown in the figure, the
Safariダイアログ操作部526は、テスト・プログラムで指定されたダイアログ操作に対応するアクセシビリティAPI566の関数を特定して、その関数を指定したAppleスクリプト584をシステムイベント586へ送信する。これにより、システムイベント586を介して、アクセシビリティAPI566として用意されたダイアログ操作の関数を呼び出す。
The Safari
なお、Safariダイアログ564に対する操作は、MacOSにおけるより低レベルなAPI群を用いても実現可能である。例えば、Safariダイアログ操作部526がグラフィックス・アンド・メディア階層の「Quartz」APIを呼び出すことによっても、Safariダイアログ564に対する操作を実行できる。しかし、アクセシビリティAPI566は、ユーザによるUI操作に対応する高レベルな関数を提供するため、アクセシビリティAPI566を利用することで、Safariダイアログ操作部526のコード量を低減でき、また、その保守性を高めることができる。
Note that the operation on the
また図27では図示しないが、Safariブラウザ操作部524は、ウェブページに対する操作のうち、セレニウムモジュール530を介さず行うべき所定の操作については、Safariダイアログ操作部526と同様に、アクセシビリティAPI566を呼び出す。これにより、当該操作をMacOSやSafariブラウザ562に実行させる。
Although not shown in FIG. 27, the Safari
図28は、参考技術4の動作検証装置100の機能構成を示すブロック図である。同図の機能ブロックのうち、参考技術1乃至3で示した動作検証装置100の機能ブロックと同一もしくは対応する機能ブロックには、同じ符号を付している。同じ符号を付した機能ブロックについては、その機能が参考技術1乃至3において既述した内容と異なる場合に記載しており、同様の機能については適宜その記載を省略する。
FIG. 28 is a block diagram illustrating a functional configuration of the
動作検証装置100は、ウィンドウID保持部154およびID取得部139をさらに備える。ウィンドウID保持部154およびID取得部139は、図24のIEウィンドウマネージャ504およびセレニウムウィンドウマネージャ532に対応する。すなわち、ウィンドウID保持部154は、ウェブページを表示するブラウザウィンドウに対して割り当てられたユーザ割当ID、セレニウム割当ID、OS割当IDとの対応関係を保持する。
The
ID取得部139は、OS(ウィンドウズOSやMacOS)から、ブラウザウィンドウに対するOS割当IDを取得する。ウィンドウズOSの場合、ID取得部139は、Win32APIをコールすることにより得られるウィンドウハンドルを取得する。例えば、関数「FindWindow」が返すHWND値をlong型の整数として取得して、ウィンドウID保持部154のOS割当IDフィールドに格納する。関数「FindWindow」が返す複数種類のHWND値のうち、ウィンドウID保持部154に未格納のものについて、ウィンドウID保持部154の新たなレコードとして追加してもよい。
The
またMacOSの場合、ID取得部139は、AppleスクリプトによりSafariブラウザ562から得られるlong値を取得して、ウィンドウID保持部154のOS割当IDフィールドに格納する。例えば、以下のスクリプト、
tell application ”Safari”
return id of windows
end tell
を実行して、それぞれのブラウザウィンドウに対してSafariブラウザ562が割り当てたlong値の一覧を取得してもよい。In the case of MacOS, the
tell application "Safari"
return id of windows
end tell
To obtain a list of long values assigned by the
またID取得部139は、セレニウムモジュール530(Selenium−CORE)がブラウザウィンドウごとに割り当てたウィンドウ属性値である「seleniumWindowName」を取得する。そして、そのウィンドウ属性値をセレニウム割当IDとして、ウィンドウID保持部154のセレニウム割当IDフィールドに格納する。例えば、セレニウムモジュール530の関数「getAttributeFromAllWindows(”seleniumwindowName”)」を呼び出すことにより、セレニウムモジュール530で管理されるウィンドウ属性値の一覧を取得する。
The
またID取得部139は、後述するID割当部174およびID割当部180がブラウザウィンドウに対して割り当てたユーザ割当IDを取得して、ウィンドウID保持部154のユーザ割当IDフィールドに格納する。なおID取得部139は、ユーザ割当IDとセレニウム割当IDとOS割当IDとのそれぞれを、時間軸上での割当順(ID取得部139における取得順)にウィンドウID保持部154へ逐次格納してもよい。これにより、時間軸上で先に割り当てられたID(例えばセレニウム割当ID)は、同様に時間軸上で先に割り当てられた別のID(例えばユーザ割当ID)と対応づけられることになる。
The
図29は、図28のプログラム実行部134の詳細を示すブロック図である。プログラム実行部134は、テスト環境判定部171と、外部操作実行部164と、プロキシ処理部166と、内部操作実行部168と、証左物設定部170とを備える。同図の機能ブロックのうち、参考技術3で示したプログラム実行部134の機能ブロックと同一もしくは対応する機能ブロックには、同じ符号を付している。同じ符号を付した機能ブロックについては、その機能が参考技術3において既述した内容と異なる場合に記載しており、同様の機能については適宜その記載を省略する。
FIG. 29 is a block diagram showing details of the
テスト環境判定部171は、参考技術3(図21)におけるテスト主体選択部162に対応し、ウェブページの動作テストのための環境、具体的にはOSとウェブブラウザの組み合わせにもとづいて、ウェブページの動作テストの方式を決定する。例えば、ウェブブラウザの操作方式およびダイアログの操作方式を決定する。
The test
外部操作実行部164は、図24におけるIEブラウザ操作部506に対応する。外部操作実行部164は、ID割当部174とダイアログ操作部176を含む。ID割当部174は、テスト・プログラムの実行に際して、テスト・プログラムにおいて新規のブラウザウィンドウを生成させる関数(コマンド)が指定されたことを検出すると、そのコマンドの引数として指定されたIDをユーザ割当IDとして決定する。IDが未指定の場合は、外部操作実行部164および内部操作実行部168において一意となる新たなIDを、ユーザ割当IDとして採番してもよい。
The external
ダイアログ操作部176は、図24のIEダイアログ操作部508に対応し、IEブラウザ542によるダイアログの設定を定期的に監視する。例えば、Win32API552の上述したFindWindow関数を定期的にコールして、ダイアログウィンドウが生成されたことを検出してもよい。ダイアログ操作部176は、IEブラウザ542において表示されたOSダイアログ544を、Win32API552を介して操作する。
The
なお、外部操作実行部164は、テスト・プログラムで指定されうる、ウェブページ操作用の関数と、ウェブブラウザの操作IFとして規定された関数、参考技術4ではCOM550やWin32API552にて規定された関数との対応関係を格納したテーブルを保持する。外部操作実行部164は、当該テーブルを参照して、テスト・プログラムで指定された関数に対応したCOM550やWin32API552の関数をコールする。
It should be noted that the external
プロキシ処理部166は、図24におけるセレニウムモジュール530に対応する。参考技術3において既述したように、プロキシ処理部166は、操作対象のウェブページを代理取得する。そして、そのウェブページのプログラムコードに、JAVAスクリプトで実装されたプログラムコードであり、ウェブページに対する各種の操作を実行するための予め用意された関数群(参考技術3における「制御コード」)を追加する。そして、制御コード追加後のウェブページをブラウザ処理部160に表示させる。また、内部操作実行部168からの操作指示に応じて、その操作指示に対応する制御コードの関数を呼び出すことにより、ウェブページの操作を仲介して実行する。
The
プロキシ処理部166は、ID発行部178とアドオン設定部179を含む。ID発行部178は、制御コード追加後のウェブページをブラウザ処理部160に表示させる際に、そのブラウザウィンドウをプロキシ処理部166において一意に識別するための識別情報を発行する。この識別情報は、ID取得部139によってセレニウム割当IDとして取得される。アドオン設定部179は、制御コード追加後のウェブページをブラウザ処理部160に表示させるためにFFブラウザ546を起動すべき際、図26のウィンドウハンドラ572を含むFFプロファイル570を指定してFFブラウザ546を起動する。これにより、FFブラウザ546の拡張機能としてウィンドウハンドラ572を組み込む。
The
内部操作実行部168は、図24におけるセレニウムブラウザ操作部534に対応する。内部操作実行部168は、ID割当部180とダイアログ操作部182を含む。ID割当部180は、外部操作実行部164のID割当部174と同様の構成である。なお、内部操作実行部168は、テスト・プログラムで指定されうるウェブページ操作用の関数と、セレニウムモジュール530において規定されたウェブページ操作用の関数との対応関係を格納したテーブルを保持する。外部操作実行部164は、当該テーブルを参照して、セレニウムモジュール530への操作指示として、テスト・プログラムで指定された関数に対応したセレニウムモジュール530の関数をコールする。
The internal
ダイアログ操作部182は、図24のFFダイアログ操作部516およびSafariダイアログ操作部526に対応する。テスト環境がウィンドウズOSおよびFFブラウザ546の場合、ダイアログ操作部182は、FFブラウザ546によるダイアログの設定を定期的に監視する。例えば、Win32API552の上述したFindWindow関数を定期的にコールして、ダイアログウィンドウが生成されたことを検出してもよい。ダイアログ操作部182は、FFブラウザ546において表示されたOSダイアログ544を、Win32API552を介して操作する。また、ダイアログ操作部182は、FFブラウザ546により表示されたFFダイアログ548を、FFプラグイン554を介して検出し、FFプラグイン554を介して操作する。
The
またテスト環境がMacOSおよびSafariブラウザ562である場合、ダイアログ操作部182は、Safariブラウザ562によるダイアログの設定を定期的に監視する。例えば、上述のAppleスクリプトを定期的に実行して、Safariブラウザ562におけるダイアログウィンドウの設定を検出してもよい。ダイアログ操作部182は、Safariブラウザ562において表示されたSafariダイアログ564を、アクセシビリティAPI566を介して操作する。
When the test environment is MacOS and the
以上の構成による動作を以下説明する。
図30は、動作検証装置100の動作を示すフローチャートである。同図は、動作検証装置100において動作テスト用プログラムが実行される際の動作を示すものである。例えば、図12におけるS218の詳細を示すものであり、図14におけるS228の詳細を示すものでもある。すなわち、図14で示したように、動作検証装置100は、ウェブページに対して事前にユーザが実施した一連の入力操作を再現することで、ウェブページの動作確認を支援する。なお、図30は、図23のフローチャートをより詳細化したものとも言える。The operation of the above configuration will be described below.
FIG. 30 is a flowchart showing the operation of the
ウェブページの動作テストの開始指示をユーザから受け付けると、テスト環境判定部171は、動作テストの実行環境となるOSおよびウェブブラウザの種別を判定する。そして、その判定結果に応じて、ウェブページの操作主体として外部操作実行部164または内部操作実行部168を選択する(S400)。プログラム実行部134、言い換えれば操作主体として選択された外部操作実行部164または内部操作実行部168は、後述するテスト・プログラム読込処理を実行する(S402)。テスト・プログラムに記述されたウェブページに対する全操作(動作テストの全項目)が完了した場合(S404のY)、本図のフローを終了する。
When receiving an instruction to start a web page operation test from the user, the test
テスト・プログラムの一例として、ここでは、以下の操作1〜操作10の操作コマンドが記述されたテスト・プログラムを想定する。
(操作1)ブラウザウィンドウA(ID=1を指定)をオープン
(操作2)ブラウザウィンドウB(ID=2を指定)をオープン
(操作3)ブラウザウィンドウAを選択(ID=1を指定)
(操作4)ブラウザウィンドウAに表示されたウェブページに対する操作
(操作5)ブラウザウィンドウAに表示されたウェブページに対する操作
(操作6)操作5により表示されたダイアログに対する操作
(操作7)ブラウザウィンドウBを選択(ID=2を指定)
(操作8)ブラウザウィンドウBに表示されたウェブページに対する操作
(操作9)ブラウザウィンドウAをクローズ(ID=1を指定)
(操作10)ブラウザウィンドウBをクローズ(ID=2を指定)As an example of the test program, a test program in which operation commands of the following
(Operation 1) Open browser window A (ID = 1) (Operation 2) Open browser window B (ID = 2) (Operation 3) Select browser window A (ID = 1)
(Operation 4) Operation on Web Page Displayed in Browser Window A (Operation 5) Operation on Web Page Displayed in Browser Window A (Operation 6) Operation on Dialog Displayed in Operation 5 (Operation 7) Browser Window B Select (Specify ID = 2)
(Operation 8) Operation on the web page displayed in the browser window B (Operation 9) Close the browser window A (specify ID = 1)
(Operation 10) Close browser window B (specify ID = 2)
このテスト・プログラムは、図14で示した一連の処理で設定された動作テスト用プログラムである。この場合の操作内容ファイルには、操作1および操作2を指定する関数として「waitForNewWindow」が指定され、その引数としてウェブページのURLとユーザ指定のIDが設定される。また操作3および操作7を指定する関数として「selectWindow」が指定され、その引数としてユーザ指定のIDが設定される。また操作4、操作5、および操作8を指定する関数として、WebEditSetやWebElementClick等、各種の操作用の関数が指定される。また操作6を指定する関数として、ダイアログ操作用の所定の関数が指定される。
This test program is an operation test program set by the series of processes shown in FIG. In the operation content file in this case, “waitForNewWindow” is specified as a function for specifying
テスト・プログラムの実行においては、テスト・プログラムに記述された操作コマンドが順次実行される。テスト・プログラムにおいて未実行の操作コマンドが残存しており(S404のN)、テスト・プログラムにおいて新たなウェブページの表示が要求された場合、すなわち上記の操作1および操作2を実行すべき場合(S406のY)、操作主体として選択された外部操作実行部164または内部操作実行部168のID割当部は、その操作コマンドで指定されたIDをユーザ割当IDとして割り当てる。ID取得部139は、そのユーザ割当IDを取得し、ウィンドウID保持部154へ格納する(S408)。
In executing the test program, operation commands described in the test program are sequentially executed. When an unexecuted operation command remains in the test program (N in S404), and when the display of a new web page is requested in the test program, that is, when the
ウェブブラウザの操作IFが公開されている場合(S410のY)、外部操作実行部164は、その操作IFを呼び出すことにより、操作対象のウェブページのデータをウェブブラウザに取得させる(S412)。そして、操作対象のウェブページを表示したブラウザウィンドウをディスプレイ上に表示させる(S420)。図24においてS410のYとなるのは、ウェブブラウザがIEブラウザ542の場合であり、このときの操作IFにはCOM550が対応する。
When the operation IF of the web browser is disclosed (Y in S410), the external
ウェブブラウザの操作IFが非公開の場合(S410のN)、内部操作実行部168は、プロキシ処理部166に対して、操作対象のウェブページの取得を指示する。プロキシ処理部166のID発行部178は、セレニウム割当IDを発行する(S414)。プロキシ処理部166は、操作対象のウェブページのデータを取得し(S416)、当該ウェブページのデータに制御コードを追加する(S418)。プロキシ処理部166は、後述するウェブブラウザ起動処理を実行後(S419)、制御コードを追加したウェブページのデータをウェブブラウザに渡し、操作対象のウェブページを表示するブラウザウィンドウをディスプレイ上に表示させる(S420)。図24においてS410のNとなるのは、ウェブブラウザがFFブラウザ546またはSafariブラウザ562の場合である。
When the operation IF of the web browser is not disclosed (N in S410), the internal
ID取得部139は、OSが提供するAPIをコールし、ブラウザウィンドウに対してOSが割り当てたOS割当IDを取得してウィンドウID保持部154へ格納する。また、ウェブブラウザの操作IFが非公開の場合は、セレニウムモジュール530が提供するAPIをコールし、ブラウザウィンドウに対してセレニウムモジュール530が割り当てたセレニウム割当IDを取得してウィンドウID保持部154へ格納する。これにより、ブラウザウィンドウAとブラウザウィンドウBのそれぞれに割り当てられたユーザ割当IDとOS割当IDとセレニウム割当IDとを対応づける(S422)。
The
テスト・プログラムにおいて新たなウェブページの表示が指定されなければ(S406のN)、S408〜S422はスキップされる。テスト・プログラムにおいてウェブページの操作が指定された場合、すなわち上記の操作3〜操作10を実行すべき場合(S424のY)、プログラム実行部134は後述するウェブページ操作処理を実行する(S426)。テスト・プログラムにおいてウェブページの操作が指定されなければ(S424のN)、S426はスキップされる。ウェブページに対する操作の後、証左物設定部170は、画面スナップショット等の証左物のデータを結果保持部152へ格納し(S428)、S404へ戻る。
If display of a new web page is not specified in the test program (N in S406), S408 to S422 are skipped. When a web page operation is specified in the test program, that is, when the above-described
なお、証左物設定部170は、証左物としての、ブラウザウィンドウに関する画面スナップ等の証左物を、そのブラウザウィンドウに対して割り当てられたユーザ割当IDと対応づけて記録することが望ましい。これにより、ウェブページの動作テストの結果を確認するユーザに、自身が指定したIDと対応づけられた証左物を確認させることができ、証左物の確認におけるユーザの利便性を高めることができる。
It is desirable that the proof
図31は、図30のS402のテストプログラム読込処理を詳細に示すフローチャートである。プログラム実行部134は、動作テスト用プログラムを読み込む(S430)。そのプログラムにおいてダイアログ操作を示す所定関数が指定されている場合(S432のY)、プログラム実行部134は、そのダイアログ操作の内容(上記の操作6)を所定のダイアログ操作保持テーブルに格納する(S434)。ダイアログ操作の指定がなければ(S432のN)、S434はスキップされる。
FIG. 31 is a flowchart showing in detail the test program reading process in S402 of FIG. The
図32は、図30のS419のウェブブラウザ起動処理を詳細に示すフローチャートである。プロキシ処理部166は、動作テストのためのウェブブラウザを起動する(S440)。動作テスト用のウェブブラウザがFFブラウザ546である場合(S442のY)、アドオン設定部179は、FFブラウザ546の拡張機能としてウィンドウハンドラ572をアドオンする(S444)。ウィンドウハンドラ572は、FFダイアログ548を検出するためのリスナをFFブラウザ546に登録する(S446)。動作テスト用のウェブブラウザがFFブラウザ546でなければ(S442のN)、S444およびS446はスキップされる。
FIG. 32 is a flowchart showing in detail the web browser activation process in S419 of FIG. The
図33は、図30のS426のウェブページ操作処理を詳細に示すフローチャートである。テスト環境判定部171における判定結果においてOSがMacOSである場合(S450のY)、内部操作実行部168が後述のMac用操作処理を実行する(S452)。OSがMacOSでなければ(S450のN)、S452はスキップされる。OSがWindowsであり(S454のY)、ウェブブラウザがIEブラウザ542である場合(S456のY)、外部操作実行部164が後述のIE用操作処理を実行する(S458)。ウェブブラウザがIEブラウザ542でなく(S456のN)、FFブラウザ546である場合(S460のY)、内部操作実行部168が後述のFF用操作処理を実行する(S462)。ウェブブラウザがFFブラウザ546でもなければ(S460のN)、S462はスキップされ、OSがWindowsでもなければ(S454のN)、S456以降はスキップされる。
FIG. 33 is a flowchart showing in detail the web page operation process in S426 of FIG. When the OS is MacOS in the determination result in the test environment determination unit 171 (Y in S450), the internal
図34は、図33のS452のMac用操作処理を詳細に示すフローチャートである。テスト・プログラムにおいてウィンドウ選択操作(上記の操作3および7)が指定された場合(S470のY)、内部操作実行部168のID割当部180は、引数で受け付けたIDをユーザ割当IDとして特定する(S472)。ウィンドウ選択操作でなく(S470のN)、Safariブラウザ562を介して実行すべき所定の操作(上記の操作4、5および8、以下「ブラウザ操作」とも呼ぶ)が指定された場合(S474のY)、内部操作実行部168は、ユーザ割当IDと対応づけられたセレニウム割当IDを特定する(S476)。そして、そのセレニウム割当IDを指定した操作指示をセレニウムモジュール530へ通知することにより、ウェブページに追加された制御コードのうち操作指示に対応する関数をセレニウムモジュール530に呼び出させる(S478)。
FIG. 34 is a flowchart showing in detail the Mac operation process in S452 of FIG. When a window selection operation (the
ブラウザ操作でなく(S474のN)、MacOSを介して実行すべき所定の操作(上記の操作9および10、以下「OS操作」とも呼ぶ)が指定された場合(S480のY)、内部操作実行部168は、ユーザ割当IDと対応づけられたOS割当IDを特定する(S482)。そして、そのOS割当IDを指定して、操作内容に対応するアクセシビリティAPI566の関数を呼び出すことにより、ブラウザウィンドウに対するOS操作をMacOSに実行させる(S484)。OS操作でもなければ(S480のN)、S482およびS484はスキップされる。
When not a browser operation (N in S474) but a predetermined operation to be executed via MacOS (the above operations 9 and 10, hereinafter also referred to as “OS operation”) is designated (Y in S480), an internal operation is executed. The
内部操作実行部168のダイアログ操作部182は、Safariダイアログ564の表示を検出すると(S486のY)、そのダイアログに対する操作内容(上記の操作6)をダイアログ操作保持テーブルから取得する(S488)。そして、その操作内容に対応するアクセシビリティAPI566の関数をコールすることにより、Safariダイアログ564に対する操作を実行する(S490)。Safariダイアログ564の表示が未検出であれば(S486のN)、S488およびS490はスキップされる。
When the
図35は、図33のS458のIE用操作処理を詳細に示すフローチャートである。テスト・プログラムにおいてウィンドウ選択操作(上記の操作3および7)が指定された場合(S500のY)、外部操作実行部164のID割当部174は、引数で受け付けたIDをユーザ割当IDとして特定する(S502)。ウィンドウ選択操作でなく(S500のN)、IEブラウザ542を介して実行すべき操作(上記の操作4、5および8、以下「ブラウザ操作」とも呼ぶ)が指定された場合(S504のY)、外部操作実行部164は、ユーザ割当IDと対応づけられたOS割当IDを特定する(S506)。そして、そのOS割当IDを指定して、ブラウザ操作の内容に対応するCOM550の関数を呼び出すことにより、当該操作をIEブラウザ542に実行させる(S508)。
FIG. 35 is a flowchart showing in detail the IE operation process in S458 of FIG. When a window selection operation (the
ブラウザ操作でなく(S504のN)、WindowsOSを介して実行すべき操作(上記の操作9および10、以下「OS操作」とも呼ぶ)が指定された場合(S510のY)、外部操作実行部164は、ユーザ割当IDと対応づけられたOS割当IDを特定する(S512)。そして、そのOS割当IDを指定して、操作内容に対応するWin32API552の関数を呼び出すことにより、ブラウザウィンドウに対するOS操作をWindowsOSに実行させる(S514)。OS操作でもなければ(S510のN)、S512およびS514はスキップされる。
When not a browser operation (N in S504) but an operation to be executed via Windows OS (the above operations 9 and 10, hereinafter also referred to as “OS operation”) is specified (Y in S510), the external
外部操作実行部164のダイアログ操作部176は、OSダイアログ544の表示を検出すると(S516のY)、そのダイアログに対する操作内容(上記の操作6)をダイアログ操作保持テーブルから取得する(S518)。そして、その操作内容に対応するWin32API552の関数をコールすることにより、OSダイアログ544に対する操作を実行する(S520)。OSダイアログ544の表示が未検出であれば(S516のN)、S518およびS520はスキップされる。
When the
図36は、図33のS462のFF用操作処理を詳細に示すフローチャートである。テスト・プログラムにおいてウィンドウ選択操作(上記の操作3および7)が指定された場合(S530のY)、内部操作実行部168のID割当部180は、引数で受け付けたIDをユーザ割当IDとして特定する(S532)。ウィンドウ選択操作でなく(S530のN)、FFブラウザ546を介して実行すべき所定の操作(上記の操作4、5および8、以下「ブラウザ操作」とも呼ぶ)が指定された場合(S534のY)、内部操作実行部168は、ユーザ割当IDと対応づけられたセレニウム割当IDを特定する(S536)。そして、そのセレニウム割当IDを指定した操作指示をセレニウムモジュール530に通知することにより、ウェブページに追加された制御コードのうち操作指示に対応する関数をセレニウムモジュール530に呼び出させる(S538)。
FIG. 36 is a flowchart showing in detail the FF operation process in S462 of FIG. When a window selection operation (the
ブラウザ操作でなく(S534のN)、WindowsOSを介して実行すべき所定の操作(上記の操作9および10、以下「OS操作」とも呼ぶ)が指定された場合(S540のY)、内部操作実行部168は、ユーザ割当IDと対応づけられたOS割当IDを特定する(S542)。そして、そのOS割当IDを指定して、操作内容に対応するWin32API552の関数を呼び出すことにより、ブラウザウィンドウに対するOS操作をWindowsOSに実行させる(S544)。OS操作でもなければ(S540のN)、S542およびS544はスキップされる。
When not a browser operation (N in S534) but a predetermined operation to be executed via Windows OS (the above operations 9 and 10, hereinafter also referred to as "OS operation") is designated (Y in S540), an internal operation is executed. The
当段落では、上記操作5により表示されたダイアログがFFダイアログ548であるとして説明する。内部操作実行部168のダイアログ操作部182は、ウィンドウハンドラ572からの通知により、FFダイアログ548の表示を検出すると(S546のY)、そのダイアログに対する操作内容(上記の操作6)をダイアログ操作保持テーブルから取得する(S548)。そして、その操作内容をウィンドウハンドラ572へ通知することにより、その操作内容に対応するFFブラウザ546の関数をウィンドウハンドラ572に呼び出させる(S550)。これにより、FFダイアログ548に対する、テスト・プログラムにしたがった操作を実行する。FFダイアログ548の表示が未検出であれば(S546のN)、S548およびS550はスキップされる。
In this paragraph, the dialog displayed by the
当段落では、上記操作5により表示されたダイアログがOSダイアログ544であるとして説明する。内部操作実行部168のダイアログ操作部182は、OSダイアログ544が表示されたことを検出すると(S552のY)、そのダイアログに対する操作内容(上記の操作6)をダイアログ操作保持テーブルから取得する(S554)。そして、その操作内容に対応するWin32API552の関数をコールすることにより、OSダイアログ544に対する操作を実行する(S556)。OSダイアログ544の表示が未検出であれば(S552のN)、S554およびS556はスキップされる。
In this paragraph, it is assumed that the dialog displayed by the
参考技術4の動作検証装置100によれば、参考技術3において既述したように、セレニウムモジュール530を使用することで、操作IFの公開有無によらず、様々なウェブブラウザ上でのウェブページの動作確認が可能になる。また、テスト・プログラム、およびテストプログラムの生成元となる操作内容ファイルや関数設定画面において、ユーザは任意のIDをブラウザウィンドウに対して付与できる。すなわち、ユーザは、テストの都合に応じてブラウザウィンドウのIDを適宜設定できる一方で、セレニウムモジュール530がブラウザウィンドウを識別するために必要なセレニウム割当IDを意識する必要がなく、ユーザの利便性を向上できる。
According to the
また動作検証装置100によれば、セレニウムモジュール530を介さずに行うべきブラウザウィンドウへの操作もサポートできる。この場合も、ユーザは、テストの都合に応じてブラウザウィンドウのIDを任意に設定できる一方で、OSやウェブブラウザがそのブラウザウィンドウに対して割り当てたIDを意識する必要がなく、ユーザの利便性を向上できる。
Further, the
さらに動作検証装置100によれば、ウェブブラウザ(FFブラウザ546)の拡張機能として、ダイアログ検出機能をアドオンする。これにより、ウェブブラウザが独自のリソースを使用してダイアログを表示するためにOSの機能ではダイアログの内容を取得できない場合でも、アドオンしたダイアログ検出機能を介して、ダイアログの内容を取得し、当該ダイアログを操作できる。また、ウェブブラウザが独自のリソースを使用した第1ダイアログと、OSのネイティブリソースを使用した第2ダイアログの両方を生成しうる場合も、ダイアログ操作の方式を適宜切り替えることにより、いずれのダイアログに対する操作も可能にする。すなわち、第1ダイアログに対してはアドオンしたダイアログ検出機能を介して操作し、第2ダイアログに対してはOSのネイティブ機能を介して操作することで、ウェブページに対する一連の操作をサポートして、再現できる。
Furthermore, according to the
さらにまた動作検証装置100によれば、ブラウザウィンドウに対する多くの操作においてセレニウムモジュール530を利用しつつ、例外的な操作ではOSのAPIを直接呼び出し、または、ダイアログ操作用のモジュールを利用する。このように、参考技術4で説明した技術を適宜組み合わせることにより、参考技術4では言及しなかった様々なテスト環境(すなわちOSとウェブブラウザとの組み合わせ)もサポートでき、ウェブページの動作テストを支援できる。
Furthermore, according to the
(第1の実施の形態)
本発明の第1の実施の形態(以下、「第1実施形態」とも呼ぶ。)の動作検証装置100に関して、その概要を説明する。図37は、ブラウザウィンドウにおけるウェブコンテンツの表示例を示す。同図は、ウェブサーバから提供されたウェブページ(典型的にはテスト対象ページ)が、ディスプレイの画面630上でブラウザウィンドウ632に表示された状況を示している。第1実施形態では、ブラウザウィンドウにおいて起動されるウェブブラウザはSafariブラウザ562である。(First embodiment)
An outline of the
ブラウザウィンドウ632は、クライアント領域634とヘッダ領域636とを含む。ヘッダ領域636は、主に、Safariブラウザ562に関する情報が表示される領域であり、Safariブラウザ562を操作するための各種のメニューやアイコンが表示される。また、ウェブページの内容そのものではなく、URLやタイトル等、ウェブページのメタ情報が表示される。
その一方で、クライアント領域634は、ウェブページの内容そのものが表示される領域である。クライアント領域634は、それぞれが異なるウェブページを表示する複数のフレームを含む。第1実施形態では、フレームa638、フレームb640およびフレームc642を含むこととする。また、ブラウザウィンドウ632において、ヘッダ領域636は、クライアント領域634の上部に配置されることとする。
On the other hand, the
フレームa638は、非表示部分を含む全体の縦の長さが、可視範囲の縦の長さを超過するため、縦スクロールバー646が配置される。またフレームa638は、エレメント644を含む。第1実施形態における「エレメント」は、フレーム内に配置されて、スクロールバーが設定されうるGUIコンポーネントであり、例えばテキストボックスやリストボックスを含む。同図のエレメント644は、非表示部分を含む全体の縦の長さが、可視範囲の縦の長さを超過するため、縦スクロールバー645が配置される。フレームb640は、非表示部分を含む全体の横の長さが、可視範囲の横の長さを超過するため、横スクロールバー650が配置される。またフレームb640は、テーブル648を含む。
The
第1実施形態の動作検証装置100は、ブラウザウィンドウ632の表示画像をキャプチャする際に、フレーム単位に1枚の画像データとして保存する。すなわち、複数のフレームにより構成されるウェブページ、言い換えれば、複数のウェブページをフレーム分割して表示するウェブページ(以下、便宜的に「トップページ」とも呼ぶ。)の画面キャプチャにおいては、フレームごとのキャプチャ画像を保存する。また、ブラウザウィンドウ632においてフレーム全体の内容を一時に表示できず、スクロールが必要な場合、フレームの一部分をそれぞれ含む複数の画像データを取得し、それらを連結させた画像データを最終的なキャプチャ画像として保存する。
The
図38は、図37のブラウザウィンドウのキャプチャ画像を示す。図38の(a)は、フレームa638のキャプチャ画像を示している。第1実施形態の画像キャプチャ処理では、図37で非表示とされた領域を含むフレームa638の全体が1枚の画像として保存される。また図38の(b)は、フレームa638内のエレメント644のキャプチャ画像を示している。第1実施形態の画像キャプチャ処理では、図37で非表示とされた領域を含むエレメント644の全体が1枚の画像として保存される。また図38の(c)は、フレームb640のキャプチャ画像であり、図37では非表示とされた領域を含むフレームb640の全体が1枚の画像として保存される。また図38では図示しないが、フレームc642のキャプチャ画像も取得される。フレームc642にはスクロールバーが未配置であるため、図37での表示内容を示すキャプチャ画像が取得されることになる。
FIG. 38 shows a captured image of the browser window of FIG. FIG. 38A shows a captured image of the frame a638. In the image capture process of the first embodiment, the entire frame a638 including the area not displayed in FIG. 37 is stored as one image. FIG. 38B shows a captured image of the
以下では、表示画像をキャプチャすべきブラウザウィンドウを「キャプチャ対象ウィンドウ」、キャプチャ対象ウィンドウに含まれるフレームを「キャプチャ対象フレーム」、キャプチャ対象フレームに含まれるエレメントを「キャプチャ対象エレメント」と呼ぶ。また、トップページにおいて個々のフレーム内に表示されるウェブページを「フレームページ」と呼ぶ。 Hereinafter, a browser window in which a display image is to be captured is referred to as a “capture target window”, a frame included in the capture target window is referred to as a “capture target frame”, and an element included in the capture target frame is referred to as a “capture target element”. A web page displayed in each frame on the top page is referred to as a “frame page”.
第1実施形態における動作検証装置100の主な機能構成は、図28および図29で示した参考技術4における動作検証装置100の機能構成と同様である。以下、参考技術1〜4において説明済の構成はその説明を適宜省略し、ウェブコンテンツの画面キャプチャ処理のための構成を詳細に説明する。
The main functional configuration of the
図39は、第1実施形態における画面キャプチャ処理に関する機能構成を示すブロック図である。既述したように、動作検証装置100は、証左物設定部170とプロキシ処理部166とブラウザ処理部160を備える。証左物設定部170は、プロキシ処理部166が提供する後述の各種関数を呼び出す。プロキシ処理部166は、ウェブページのプログラムコードに追加した制御コードと適宜通信して、証左物設定部170により呼び出された関数に対応するJAVAスクリプトをブラウザ処理部160側で実行させる。すなわち、証左物設定部170はプロキシ処理部166が提供する各種関数を利用してウェブページを操作し、また、ウェブページの画像キャプチャに必要な情報をブラウザ処理部160やプロキシ処理部166から取得する。
FIG. 39 is a block diagram illustrating a functional configuration related to screen capture processing in the first embodiment. As described above, the
図40は、プロキシ処理部166が証左物設定部170に提供する関数を示す。これらの関数は、言い換えれば、図24のセレニウムモジュール530が外部に公開する関数であるとも言える。なお同図の、「getOffsetPositionOfWindow」以外の関数は、プロキシ処理部166、すなわちセレニウムモジュール530が標準的に提供する関数であってもよい。
FIG. 40 shows functions provided by the
第1実施形態のプロキシ処理部166は、Safariブラウザ562に表示させるべきトップページを代理取得し、トップページに制御コードを追加する。また、トップページのフレームに表示させるべきフレームページも代理取得して、各フレームページにも制御コードを追加する。その際に、ウェブページを表示したブラウザウィンドウに一意のIDを割り当てるとともに、そのウェブページで表示された各フレームにもIDを割り当てる。そして、ウィンドウに割り当てたIDと、フレームに割り当てたIDとを対応付けて管理する。
The
図39に戻り、プロキシ処理部166は、画像位置特定部600を含む。証左物設定部170は、対象特定部612と、フレーム処理部614と、エレメント処理部619と、画像取得部625と、画像合成部627とを含む。同図の各機能ブロックは、ウェブコンテンツの画面キャプチャ処理を実行するための機能ブロックとして、包括的に、画面キャプチャ処理部629とも呼ぶことができる。なお、画面キャプチャ処理部629の各機能ブロックは、プロキシ処理部166が証左物設定部170に提供する関数の機能に応じて、プロキシ処理部166に配置されてもよく、証左物設定部170に配置されてもよい。
Returning to FIG. 39, the
プロキシ処理部166:
画像位置特定部600は、図40の関数「getOffsetPositionOfWindow」の機能を実現する。すなわち、上記関数の引数で指定されたフレーム(キャプチャ対象フレーム)について、画面630上における表示位置を導出して、その表示位置を示す情報を証左物設定部170へ通知する。画像位置特定部600は、ウィンドウ表示位置取得部602と、ヘッダ領域特定部604と、クライアント領域特定部606と、フレーム相対位置取得部608と、フレーム表示位置特定部610とを含む。Proxy processing unit 166:
The image
ウィンドウ表示位置取得部602は、キャプチャ対象フレームが表示されたブラウザウィンドウ632の、画面630上における表示位置を取得する。第1実施形態では、画面630の左上端を原点とする直交座標系における座標であり、ブラウザウィンドウの左上端(図37のポイント659)の座標を取得する。
The window display
具体的には、ウィンドウ表示位置取得部602は、キャプチャ対象フレームを含むトップページの制御コードと通信して、トップページにて「window.screenX」を実行させる。そして戻り値として、ポイント659の横座標値(図37の横座標652)を取得する。同様に、トップページにて「window.screenY」を実行させて、戻り値として、ポイント659の縦座標値(図37の縦座標654)を取得する。
Specifically, the window display
ヘッダ領域特定部604は、ブラウザウィンドウ632におけるヘッダ領域636のサイズを特定する。第1実施形態においては、ヘッダ領域636がクライアント領域634の上部に配置されるため、ヘッダ領域特定部604はヘッダ領域636の縦の長さを特定する。
The header
具体的には、ヘッダ領域特定部604は、キャプチャ対象フレームを含むトップページの制御コードと通信して、トップページにて「window.outerHeight」を実行させる。そして戻り値として、ブラウザウィンドウ632の縦の長さ(図37の縦幅656)を取得する。同様に、トップページにて「window.innerHeight」を実行させて、戻り値として、クライアント領域634の縦の長さ(図37の縦幅658)を取得する。ヘッダ領域特定部604は、ブラウザウィンドウ632の縦の長さから、クライアント領域634の縦の長さを減算することにより、ヘッダ領域636の縦の長さを導出する。
Specifically, the header
クライアント領域特定部606は、画面630上におけるブラウザウィンドウ632の表示位置とヘッダ領域636のサイズとにしたがって、画面630上におけるクライアント領域634の表示位置を特定する。具体的には、ブラウザウィンドウ632の左上端(ポイント659)の座標の縦座標値に、ヘッダ領域636の縦の長さを加算する一方、ポイント659の座標の横座標値はそのまま用いて、クライアント領域634の左上端(ポイント660)の座標を導出する。
The client
フレーム相対位置取得部608は、クライアント領域634におけるキャプチャ対象フレームの位置を取得する。第1実施形態では、クライアント領域634の左上端(図37のポイント660)を原点とする直交座標系における座標であり、キャプチャ対象フレームの左上端の座標(以下、「クライアント領域内座標」とも呼ぶ。)を取得する。例えば、キャプチャ対象フレームがフレームb640である場合、図37のポイント662のクライアント領域内座標を取得する。
The frame relative
具体的には、フレーム相対位置取得部608は、キャプチャ対象フレームを含むトップページの制御コードと通信して、トップページにて「フレーム名.frameElement.offsetLeft」を実行させる。そして戻り値として、キャプチャ対象フレームのクライアント領域内座標の横座標値を取得する。同様に、トップページにて「フレーム名.frameElement.offsetTop」を実行させ、戻り値として、キャプチャ対象フレームのクライアント領域内座標の縦座標値を取得する。
Specifically, the frame relative
フレーム表示位置特定部610は、クライアント領域特定部606により導出された画面630上におけるクライアント領域634の表示位置と、クライアント領域634におけるキャプチャ対象フレームの位置とにしたがって、画面630上におけるキャプチャ対象フレームの表示位置を特定する。具体的には、クライアント領域634の左上端座標の縦座標値および横座標値に、キャプチャ対象フレームのクライアント領域内座標の縦座標値および横座標値を加算することにより、キャプチャ対象フレームの左上端の座標(画面630上における座標)を導出する。
The frame display
証左物設定部170:
対象特定部612は、画面630に表示されたウェブコンテンツのうち、画像キャプチャを行うべき対象コンテンツを決定する。具体的には、キャプチャ対象ウィンドウと、キャプチャ対象フレームと、キャプチャ対象エレメントとを順次特定する。Evidence setting unit 170:
The
第1実施形態において、ユーザは、関数設定画面210において画面キャプチャ関数(例えば図7の「WebScreen Capture」)を設定し、その引数として、キャプチャすべきブラウザウィンドウのユーザ割当IDを設定する。対象特定部612は、画面キャプチャ関数の引数で指定されたユーザ割当IDに対応するブラウザウィンドウをキャプチャ対象ウィンドウとして識別する。
In the first embodiment, the user sets a screen capture function (for example, “WebScreen Capture” in FIG. 7) on the
また対象特定部612は、画面キャプチャ関数の引数で指定されたユーザ割当IDに対応するセレニウム割当IDを指定して、関数「getAllFrame」を呼び出す。そして、キャプチャ対象ウィンドウに含まれるフレームの一覧情報(以下、「フレームリスト」とも呼ぶ。)をプロキシ処理部166から取得する。このフレームリストには、キャプチャ対象ウィンドウに含まれる各フレームに対してセレニウムモジュール530が割り当てた、各フレームのID(以下、「フレームID」とも呼ぶ。)が含まれる。対象特定部612は、フレームリストに含まれる各フレームをキャプチャ対象フレームとして識別する。
Further, the
また対象特定部612は、キャプチャ対象フレームのそれぞれのIDを指定して、関数「getScrollableElement」を呼び出す。そして、キャプチャ対象フレームに含まれるスクロール可能なエレメントの一覧情報(以下、「エレメントリスト」とも呼ぶ。)をプロキシ処理部166から取得する。このエレメントリストには、キャプチャ対象フレームに含まれるスクロール可能な各エレメントのID(以下、「エレメントID」とも呼ぶ。)が含まれる。対象特定部612は、エレメントリストに含まれる各エレメントをキャプチャ対象エレメントとして特定する。
Further, the
フレーム処理部614は、キャプチャ対象フレームをキャプチャするための準備処理を実行する。フレーム処理部614は、フレーム表示位置取得部615と、フレーム範囲取得部616と、フレームスクロール処理部617とを含む。
The
フレーム表示位置取得部615は、キャプチャ対象フレームのフレームIDを指定して、関数「getOffsetPositionOfWindow」を呼び出す。これにより、プロキシ処理部166の画像位置特定部600に、画面630上におけるキャプチャ対象フレームの表示位置を示す座標を特定させ、その座標値をプロキシ処理部166から取得する。
The frame display
フレーム範囲取得部616は、キャプチャ対象フレームのフレームIDを指定して、関数「getScrollRectangleOfElement」を呼び出す。そして、キャプチャ対象フレームの不可視部分、言い換えれば、スクロールをさせることにより初めて画面630上で表示される部分を含む全体サイズ、ここではキャプチャ対象フレーム全体の横の長さ(横幅)と縦の長さ(縦幅)をプロキシ処理部166から取得する。
The frame
なお、プロキシ処理部166は、関数「getScrollRectangleOfElement」の呼び出しを受け付けたとき、ブラウザ処理部160の種類に応じて異なるJAVAスクリプトをトップページで実行させてもよい。すなわち、第1実施形態のようにSafariブラウザ562の場合、「フレーム名.document.width」の実行結果を、キャプチャ対象フレーム全体の横幅として特定してもよい。同様に、「フレーム名.document.height」の実行結果を、キャプチャ対象フレーム全体の縦幅として特定してもよい。その一方で、ブラウザ処理部160がFFブラウザ546の場合、「フレーム名.window.innerWidth」の実行結果+「フレーム名.window.scrollMaxX」の実行結果を、キャプチャ対象フレーム全体の横幅として特定してもよい。同様に、「フレーム名.window.innerHeight」の実行結果+「フレーム名.window.scrollMaxY」の実行結果を、キャプチャ対象フレーム全体の縦幅として特定してもよい。
When the
また、フレーム範囲取得部616は、キャプチャ対象フレームのフレームIDを指定して、関数「getClientRectangle」を呼び出す。そして、キャプチャ対象フレームの可視部分、言い換えれば、スクロールすることなく画面630上で表示される部分のサイズ、ここではキャプチャ対象フレームにおける可視部分の横幅および縦幅をプロキシ処理部166から取得する。
In addition, the frame
なお、プロキシ処理部166は、関数「getClientRectangle」の呼び出しを受け付けたとき、当該関数に対応するJAVAスクリプトをトップページで実行させる。例えば、「フレーム名.document.documentElement.clientWidth」の実行結果を、キャプチャ対象フレームにおける可視部分の横幅として特定してもよい。同様に、「フレーム名.document.documentElement.clientHeight」の実行結果を、キャプチャ対象フレームにおける可視部分の縦幅として特定してもよい。
When the
フレームスクロール処理部617は、キャプチャ対象フレーム全体の横幅をその可視部分の横幅で除算(余は切り上げ)し、その結果を横スクロール上限回数として決定する。また、キャプチャ対象フレーム全体の縦幅をその可視部分の縦幅で除算(余は切り上げ)し、その結果を縦スクロール上限回数として決定する。
The frame
また、フレームスクロール処理部617は、キャプチャ対象フレームの画像取得が行われると、次の画像取得の前に、フレームを縦スクロールさせ、もしくは縦スクロールおよび横スクロールさせる。具体的には、縦スクロールを実行させるために、キャプチャ対象フレームのフレームID、横スクロール量には0、縦スクロール量としてキャプチャ対象フレームの可視部分の縦幅を指定して、関数「doScrollFrameTo」を呼び出す。また横スクロールを実行させるために、キャプチャ対象フレームのフレームID、横スクロール量としてキャプチャ対象フレームの可視部分の横幅、縦スクロール量には0を指定して、関数「doScrollFrameTo」を呼び出す。
In addition, when the capture target frame image is acquired, the frame
第1実施形態では、いわゆる逆N型にスクロールが実行される。すなわち、フレームスクロール処理部617は、画像取得処理ごとに、まず横位置を固定したまま縦スクロールをその上限回数まで1回ずつ繰り返す。次に、縦位置を初期位置に戻すとともに横スクロールを1回実行する。そして、再度横位置を固定したまま縦スクロールをその上限回数まで1回ずつ繰り返す。そして、縦スクロール回数および横スクロール回数のいずれもが上限回数に到達すると、キャプチャ対象フレームに対するスクロール処理を終了する。
In the first embodiment, scrolling is performed in a so-called inverted N type. That is, for each image acquisition process, the frame
エレメント処理部619は、キャプチャ対象エレメントをキャプチャするための準備処理を実行する。エレメント処理部619は、エレメント相対位置取得部620と、エレメント表示位置特定部621と、エレメント範囲取得部622と、エレメントスクロール処理部623とを含む。
The
エレメント相対位置取得部620は、キャプチャ対象エレメントのエレメントIDを指定して、関数「getOffsetPositionOfElement」を呼び出す。そして、キャプチャ対象エレメントが含まれるフレームの左上端を原点とする直交座標系における座標であり、キャプチャ対象エレメントの左上端の座標(以下、「フレーム内座標」とも呼ぶ。)を取得する。例えば、フレームa638に含まれるエレメント644については、ポイント662を原点としたエレメント644の左上端座標を取得する。
The element relative
なお、プロキシ処理部166は、関数「getOffsetPositionOfElement」の呼び出しを受け付けたとき、当該関数に対応するJAVAスクリプトをフレームページで実行させる。例えば、「エレメント名.getBoundingClientRect.left」を実行させ、その戻り値として、キャプチャ対象エレメントのフレーム内座標の横座標値を取得してもよい。同様に、「エレメント名.getBoundingClientRect.top」を実行させ、その戻り値として、キャプチャ対象エレメントのフレーム内座標の縦座標値を取得してもよい。
When the
エレメント表示位置特定部621は、フレーム表示位置取得部615により取得された、画面630上におけるキャプチャ対象フレームの表示位置を示す座標と、エレメント相対位置取得部620により取得された、キャプチャ対象エレメントのフレーム内座標とにしたがって、画面630上におけるキャプチャ対象エレメントの表示位置を特定する。具体的には、キャプチャ対象フレームの左上端座標の縦座標値および横座標値に、キャプチャ対象エレメントのフレーム内座標の縦座標値および横座標値を加算することにより、キャプチャ対象エレメントの左上端の座標(画面630上での座標)を導出する。
The element display
エレメント範囲取得部622は、キャプチャ対象エレメントのエレメントIDを指定して、関数「getScrollRectangleOfElement」を呼び出す。そして、キャプチャ対象フレームの不可視部分を含む全体サイズ、ここではキャプチャ対象フレーム全体の横幅と縦幅をプロキシ処理部166から取得する。
The element
なお、プロキシ処理部166は、関数「getScrollRectangleOfElement」の呼び出しを受け付けたとき、当該関数に対応するJAVAスクリプトをフレームページで実行させる。例えば、「エレメント名.scrollWidth」を実行させ、その戻り値として、キャプチャ対象エレメント全体の横幅を取得してもよい。同様に、「エレメント名.scrollHeight」を実行させ、その戻り値として、キャプチャ対象エレメントのフレーム内座標の縦幅を取得してもよい。
When the
またエレメント範囲取得部622は、キャプチャ対象エレメントのエレメントIDを指定して、関数「getClientRectangleOfElement」を呼び出す。そして、キャプチャ対象エレメントの可視部分のサイズ、ここではキャプチャ対象フレームにおける可視部分の横幅および縦幅をプロキシ処理部166から取得する。
The element
なお、プロキシ処理部166は、関数「getClientRectangleOfElement」の呼び出しを受け付けたとき、当該関数に対応するJAVAスクリプトをフレームページで実行させる。例えば、「エレメント名.clientWidth」の実行結果を、キャプチャ対象エレメントにおける可視部分の横幅として取得してもよい。同様に、「エレメント名.clientHeight」の実行結果を、キャプチャ対象エレメントにおける可視部分の縦幅として取得してもよい。
When the
エレメントスクロール処理部623は、キャプチャ対象エレメント全体の横幅をその可視部分の横幅で除算(余は切り上げ)し、その結果を横スクロール上限回数として決定する。また、キャプチャ対象エレメント全体の縦幅をその可視部分の縦幅で除算(余は切り上げ)し、その結果を縦スクロール上限回数として決定する。
The element
またエレメントスクロール処理部623は、キャプチャ対象エレメントの画像取得が行われると、次の画像取得の前に、エレメントを縦スクロールさせ、もしくは縦スクロールおよび横スクロールさせる。具体的には、縦スクロールを実行させるために、キャプチャ対象エレメントのエレメントID、横スクロール量には0、縦スクロール量としてキャプチャ対象エレメントの可視部分の縦幅を指定して、関数「doScrollElementTo」を呼び出す。また横スクロールを実行させるために、キャプチャ対象エレメントのエレメントID、横スクロール量としてキャプチャ対象エレメントの可視部分の横幅、縦スクロール量には0を指定して、関数「doScrollElementTo」を呼び出す。エレメントのスクロール態様は、既述したフレームのスクロール態様と同様である。
In addition, when the image of the capture target element is acquired, the element
画像取得部625は、画面630上におけるキャプチャ対象フレームの表示位置にしたがって、キャプチャ対象フレームの表示画像をキャプチャする。また、画面630上におけるキャプチャ対象エレメントの表示位置にしたがって、キャプチャ対象エレメントの表示画像をキャプチャする。第1実施形態の画像取得部625は、ブラウザウィンドウ632のヘッダ領域636をキャプチャ対象から除外する。すなわち、ヘッダ領域636の表示画像が除外された、純粋にキャプチャ対象フレームの表示画像を取得する。
The
例えば、画像取得部625は、画面630上におけるキャプチャ対象フレームの左上端の座標値を始点として指定し、キャプチャ対象エレメントの可視部分の横幅および縦幅をキャプチャ範囲として指定して、OSの画面キャプチャ関数(API)を呼び出してもよい。そして、キャプチャ対象エレメントの可視部分の画像データをメモリ(クリップボード)内に保存させてもよい。
For example, the
また画像取得部625は、フレームスクロール処理部617により決定された縦横のスクロール回数が上限に達するまで、キャプチャ対象フレームのキャプチャ処理を繰り返す。同様に、エレメントスクロール処理部623により決定された縦横のスクロール回数が上限に達するまで、キャプチャ対象エレメントのキャプチャ処理を繰り替えす。したがって、スクロールバーが設定されたフレームもしくはエレメントについては、複数のキャプチャ画像のデータをメモリ内に取り込む。
In addition, the
画像合成部627は、1つのキャプチャ対象フレームに対する複数回の画像取得処理により取得された、複数枚のキャプチャ画像のデータを1枚の画像データに合成する。そして、1つのキャプチャ対象フレームについては、1枚の画像データを動作テストの証左物として結果保持部152へ格納する。エレメントについても同様であり、1つのキャプチャ対象フレームについては、1枚の画像データを動作テストの証左物として結果保持部152へ格納する。なお、複数のキャプチャ画像間に重複部分が存在する場合は、一方のキャプチャ画像からその重複部分をトリミングした上で1枚の画像に合成する。
The
以上の構成による動作を以下説明する。
図41は、動作検証装置100における画像キャプチャ処理の動作を示すフローチャートである。動作テストの実行において、ウェブページの画像キャプチャ要求を受け付けた場合(S600のY)、対象特定部612は、その要求で指定されたキャプチャ対象ウィンドウに含まれるフレームのリストをプロキシ処理部166から取得する(S602)。対象特定部612は、フレームリストに含まれるフレームの1つをキャプチャ対象フレームとして特定する(S604)。フレーム表示位置取得部615は、キャプチャ対象フレームを指定して、後述するフレーム表示位置特定処理をプロキシ処理部166に実行させる(S606)。フレーム範囲取得部616は、キャプチャ対象フレーム全体のサイズおよびその可視部分のサイズを取得する(S608)。フレームスクロール処理部617は、キャプチャ対象フレーム全体のサイズおよびその可視部分のサイズにしたがって、キャプチャ対象フレームに対して実行すべき縦横のスクロール上限回数をそれぞれ決定する(S610)。The operation of the above configuration will be described below.
FIG. 41 is a flowchart showing the operation of image capture processing in the
画像取得部625は、キャプチャ対象フレームの可視部分の画像を一時的にメモリへ格納する(S612)。スクロールの上限回数に達していなければ(S614のN)、フレームスクロール処理部617は、キャプチャ対象フレームを1単位分、スクロールさせることにより、キャプチャ対象フレームの表示内容(すなわち可視部分)を変化させて、S612に戻る(S616)。スクロールの上限回数に到達すると(S614のY)、画像合成部627は、キャプチャ対象フレームについて一時的に保存された複数のキャプチャ画像を取得し、それらを合成した1枚の画像データを設定する。そして、合成後の画像データを動作テストの証左物として結果保持部152へ格納する(S618)。なお、キャプチャ画像が1枚であれば、その画像をそのまま証左物として結果保持部152へ格納する。
The
対象特定部612は、キャプチャ対象フレームに含まれるエレメントのリストをプロキシ処理部166から取得する。未キャプチャのエレメント(すなわちキャプチャ対象エレメント)が残存する場合(S620のN)、エレメント相対位置取得部620は、キャプチャ対象フレーム内でのキャプチャ対象エレメントの位置を取得する(S622)。エレメント表示位置特定部621は、画面上でのキャプチャ対象フレームの表示位置と、キャプチャ対象フレーム内でのキャプチャ対象エレメントの位置とにしたがって、画面上でのキャプチャ対象エレメントの表示位置を導出する(S624)。そしてS608に戻る。
The
エレメントのキャプチャ処理において、エレメント範囲取得部622は、キャプチャ対象エレメント全体のサイズおよびその可視部分のサイズを取得する(S608)。エレメントスクロール処理部623は、キャプチャ対象エレメント全体のサイズおよびその可視部分のサイズにしたがって、キャプチャ対象エレメントに対して実行すべき縦横のスクロール上限回数をそれぞれ決定する(S610)。画像取得部625は、キャプチャ対象エレメントの可視部分の画像を一時的にメモリへ格納する(S612)。スクロールの上限回数に達していなければ(S614のN)、エレメントスクロール処理部623は、キャプチャ対象エレメントを1単位分、スクロールさせてS612に戻る(S616)。スクロールの上限回数に到達すると(S614のY)、画像合成部627は、キャプチャ対象エレメントについて一時的に保存された複数のキャプチャ画像を取得し、それらを合成した1枚の画像データを設定する(S618)。
In the element capture process, the element
全キャプチャ対象エレメントに対するキャプチャ処理が完了した場合(S620のY)、フレームリストの一部のフレームに対するキャプチャ処理が未完了であれば(S626のN)、S604に戻り、新たにキャプチャ対象フレームが決定されて処理が続行する。フレームリストの全フレームに対するキャプチャ処理が完了した場合(S626のY)、本図のフローを終了する。なお、ウェブページの画像キャプチャ要求を受け付けなければ(S600のN)、以降の処理はスキップされて本図のフローを終了する。 When the capture process for all the capture target elements is completed (Y in S620), if the capture process for some frames in the frame list is not completed (N in S626), the process returns to S604 and a new capture target frame is determined. And processing continues. When the capture processing for all the frames in the frame list is completed (Y in S626), the flow of FIG. If a web page image capture request is not accepted (N in S600), the subsequent processing is skipped and the flow of FIG.
図42は、図41のS606のフレーム表示位置特定処理を詳細に示すフローチャートである。ウィンドウ表示位置取得部602は、キャプチャ対象フレームを含むキャプチャ対象ウィンドウについて、画面上におけるその表示位置を取得する(S630)。ヘッダ領域特定部604は、キャプチャ対象ウィンドウ全体のサイズとクライアント領域634のサイズとの差を計算することにより、ヘッダ領域636のサイズを導出する(S632)。クライアント領域特定部606は、画面上におけるキャプチャ対象ウィンドウの表示位置とヘッダ領域636のサイズとにしたがって、画面上におけるクライアント領域634の表示位置を導出する(S634)。フレーム相対位置取得部608は、クライアント領域634内でのキャプチャ対象フレームの位置を取得する(S636)。フレーム表示位置特定部610は、画面上におけるクライアント領域634の表示位置と、クライアント領域634におけるキャプチャ対象フレームの位置とにしたがって、画面上におけるキャプチャ対象フレームの表示位置を導出する(S638)。
FIG. 42 is a flowchart showing in detail the frame display position specifying process in S606 of FIG. The window display
第1実施形態の動作検証装置100によれば、動作テストの成否を確認するために必要なウェブページの表示画像だけを証左物として保存する。具体的には、フレームに表示されたウェブページの内容そのものであり、ヘッダ領域等の余分な部分、言い換えれば、動作テストの結果確認にはむしろ邪魔となる部分を排除したキャプチャ画像をユーザへ提示できる。これにより、効率のよい動作テストを支援できる。
According to the
(第2の実施の形態)
本発明の第2の実施の形態(以下、「第2実施形態」とも呼ぶ。)は、ブラウザウィンドウ632において起動されるウェブブラウザがFFブラウザ546である点で第1実施形態とは異なる。(Second Embodiment)
The second embodiment of the present invention (hereinafter also referred to as “second embodiment”) differs from the first embodiment in that the web browser activated in the
図43は、ブラウザウィンドウにおけるウェブコンテンツの表示例を示す。同図の要素のうち先に説明した図37の要素と同一もしくは対応する要素には図37と同じ符号を付しており、以下の説明は省略する。図43で示すように、第2実施形態のブラウザウィンドウ632は、第1実施形態のブラウザウィンドウ632と異なり、クライアント領域634の下部に固定長(例えば26ピクセル)のステータスバーを備える。また、第2実施形態のブラウザウィンドウ632は、ブラウザウィンドウ外部のオブジェクト(他のウィンドウや背景等)との境界として、ある程度の幅(例えば固定長の4ピクセル)が設定された枠線666を備える。
FIG. 43 shows a display example of web content in the browser window. Of the elements in the figure, elements that are the same as or correspond to the elements in FIG. 37 described above are denoted by the same reference numerals as in FIG. 37, and the following description is omitted. As shown in FIG. 43, unlike the
第2実施形態における動作検証装置100の主な機能構成は第1実施形態と同様であり、主な動作も第1実施形態と同様である。以下では、第2実施形態における動作検証装置100について、第1実施形態とは異なる点を説明する。
The main functional configuration of the
画像位置特定部600のヘッダ領域特定部604は、ステータスバー664のサイズ(幅)を加味して、ヘッダ領域636のサイズを特定する。具体的には、ブラウザウィンドウ632の縦幅から、クライアント領域634の縦幅を減算するとともに、ステータスバー664の縦の長さ、ここでは予め定められた26ピクセルを減算することにより、ヘッダ領域636の縦の長さを導出する。なお、固定値の26ピクセルは、厳密には、ステータスバー664の縦の長さおよび枠線666の幅の合計値であるとも言える。
The header
画像位置特定部600のクライアント領域特定部606は、枠線666のサイズ(幅)を加味して、画面630におけるクライアント領域634の表示位置を特定する。具体的には、ブラウザウィンドウ632の左上端の座標の縦座標値にヘッダ領域636の縦の長さを加算する一方で、当該座標の横座標値に枠線666の幅、ここでは予め定められた4ピクセルを加算することにより、クライアント領域634の左上端の座標を導出する。
The client
第2実施形態の動作検証装置100によれば、ブラウザウィンドウ632においてステータスバー664およびある程度の幅を有する枠線666が配置されるウェブブラウザを用いた動作テストの場合も、第1実施形態と同様の効果を実現できる。すなわち、ヘッダ領域に加えて、ステータスバーや枠線等、動作テストの結果確認に邪魔となる部分を排除したキャプチャ画像をユーザへ提示できる。
According to the
以上、本発明を第1の実施の形態および第2の実施の形態をもとに説明した。この実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。以下、変形例を示す。 The present invention has been described based on the first embodiment and the second embodiment. This embodiment is an exemplification, and it will be understood by those skilled in the art that various modifications can be made to combinations of the respective constituent elements and processing processes, and such modifications are also within the scope of the present invention. is there. Hereinafter, a modification is shown.
第1の変形例を説明する。上記実施の形態においては、ヘッダ領域636はクライアント領域634の上部に配置されることとしたが、ブラウザウィンドウ632の態様はこれに限られない。例えば、ヘッダ領域636はクライアント領域634の左側に配置されてもよい。この場合、ヘッダ領域特定部604は、ブラウザウィンドウ632の横の長さとクライアント領域634の横の長さとを取得して、それらの差を計算することにより、ヘッダ領域636の横の長さを特定してもよい。そして、クライアント領域特定部606は、ブラウザウィンドウ632の左上端の横座標値に、ヘッダ領域636の横の長さを加算する一方、その縦座標値はそのまま用いて、クライアント領域634の左上端の座標を導出してもよい。
A first modification will be described. In the above embodiment, the
第2の変形例を説明する。上記実施の形態では特に言及していないが、第1実施形態と第2実施形態とは組み合わせられて、同一の動作検証装置100において実現されてもよい。例えば、プロキシ処理部166は、Safariブラウザ562を起動したブラウザウィンドウの表示画像をキャプチャする際に呼び出される第1の画像位置特定部と、FFブラウザ546を起動したブラウザウィンドウの表示画像をキャプチャする際に呼び出される第2の画像位置特定部を含んでもよい。そして、プロキシ処理部166は、キャプチャ対象となるブラウザウィンドウの種別に応じて、いずれかを動作させてもよい。
A second modification will be described. Although not particularly mentioned in the above embodiment, the first embodiment and the second embodiment may be combined and realized in the same
別の構成として、画像位置特定部600のヘッダ領域特定部604およびクライアント領域特定部606は、キャプチャ対象となるブラウザウィンドウの種別に応じて、第1実施形態に記載の動作もしくは第2実施形態に記載の動作のいずれかを実行してもよい。なお、ブラウザウィンドウの種別は、動作テスト開始時の引数や、各種設定ファイルにおいてユーザが指定してもよく、OSやブラウザ処理部160から動的に読み込んでもよい。
As another configuration, the header
第3の変形例を説明する。上記実施の形態ではクライアント領域634が複数のフレームに分割された例を示したが、クライアント領域634は必ずしも複数のフレームに分割されなくてもよい。この場合、フレーム処理部614は、クライアント領域全体を1つのフレームととらえて、実施の形態と同様に動作すればよい。また、エレメント処理部619は、クライアント領域全体に含まれるエレメントを、1つのフレームに含まれるエレメントととらえて、実施の形態と同様に動作すればよい。
A third modification will be described. In the above embodiment, the
第4の変形例を説明する。上記実施の形態ではウェブブラウザとしてSafariブラウザ562とFFブラウザ546を例示した。しかし、本発明の技術思想の適用範囲はこれらの種類のウェブブラウザには限られない。例えば、ブラウザウィンドウ632においてステータスバー664が未配置で、かつ、枠線666の幅が所定値未満のウェブブラウザについては、第1実施形態の技術を適用可能である。また、ステータスバー664が配置され、かつ、枠線666の幅が所定値以上のウェブブラウザについては、第2実施形態の技術を適用可能である。また、ステータスバー664が配置されるものの枠線666の幅が所定値未満である場合や、逆に、ステータスバー664が未配置であるものの枠線666の幅が所定値以上である場合、第1実施形態および第2実施形態の構成を適宜選択して組み合わせてよいことは当業者には理解されるところである。
A fourth modification will be described. In the above embodiment, the
第5の変形例を説明する。上記実施の形態では特に言及していないが、動作検証装置100は、動作テストにおいて取得されたキャプチャ画像が一致するか否かを照合するための照合画像を保持する照合画像保持部をさらに備えてもよい。この照合画像は、実施の形態のキャプチャ画像と同様に、フレーム単位・エレメント単位で設定された画像データである。
A fifth modification will be described. Although not particularly mentioned in the above embodiment, the
また動作検証装置100は、証左物としてのキャプチャ画像と照合画像とが一致するか否かを判定する照合部をさらに備えてもよい。証左物としてのキャプチャ画像は、動作テストにおけるキャプチャ画像であり、言い換えれば画像合成部627により合成された画像であり、さらに言い換えれば結果保持部152に格納されたキャプチャ画像である。照合部は、キャプチャ画像と照合画像とが一致するか否かの判定結果を、所定の記憶領域(ファイルやDB等)に格納してユーザへ通知してもよい。この変形例によれば、動作の正常性の判定を自動化して、効率的な動作テストを支援できる。また、上記実施の形態では、ヘッダ領域が除外された、純粋なウェブコンテンツの内容がキャプチャされるため、照合領域の除外設定(いわゆるマスク処理)が不要になり、キャプチャ画像と照合画像とが一致するか否かを容易に判定できる。
The
上述した参考技術、実施の形態、変形例の任意の組み合わせもまた本発明の実施の形態として有用である。組み合わせによって生じる新たな実施の形態は、組み合わされる参考技術、実施の形態、変形例それぞれの効果をあわせもつ。 Any combination of the above-described reference techniques, embodiments, and modifications is also useful as an embodiment of the present invention. The new embodiment resulting from the combination has the effects of the combined reference technology, embodiment, and modification.
請求項に記載の各構成要件が果たすべき機能は、参考技術、実施の形態、および変形例において示された各構成要素の単体もしくはそれらの連係によって実現されることも当業者には理解されるところである。 It is understood by those skilled in the art that the functions to be fulfilled by the constituent elements described in the claims are realized by a single element or a combination of the constituent elements shown in the reference technology, the embodiments, and the modifications. By the way.
100 動作検証装置、 160 ブラウザ処理部、 166 プロキシ処理部、 170 証左物設定部、 600 画像位置特定部、 602 ウィンドウ表示位置取得部、 604 ヘッダ領域特定部、 606 クライアント領域特定部、 608 フレーム相対位置取得部、 610 フレーム表示位置特定部、 612 対象特定部、 625 画像取得部、 627 画像合成部、 630 画面、 632 ブラウザウィンドウ、 634 クライアント領域、 636 ヘッダ領域、 664 ステータスバー、 666 枠線。
DESCRIPTION OF
この発明は、製品の動作をテストする装置に利用できる。 The present invention can be used for an apparatus for testing the operation of a product.
Claims (7)
前記画面上における前記ブラウザウィンドウの表示位置と、前記ブラウザウィンドウの付加領域のサイズとにしたがって、前記画面上における前記クライアント領域の表示位置を特定する画像位置特定部と、
前記画像位置特定部により特定された前記画面上における表示位置にしたがって、前記クライアント領域の表示画像をキャプチャする画像取得部と、
を備えることを特徴とする画像取得装置。A window position acquisition unit for acquiring a display position of the browser window on a screen for a browser window including a client area in which a web page is displayed and an additional area different from the client area;
An image position specifying unit for specifying the display position of the client area on the screen according to the display position of the browser window on the screen and the size of the additional area of the browser window;
An image acquisition unit that captures a display image of the client area according to a display position on the screen specified by the image position specifying unit;
An image acquisition apparatus comprising:
前記ブラウザウィンドウの長さと前記クライアント領域の長さとを取得して、それらの長さの差を計算することにより、前記付加領域の長さを導出する付加領域特定部と、
前記画面上における前記ブラウザウィンドウの表示位置を前記付加領域の長さに応じてシフトした位置を、前記画面上における前記クライアント領域の表示位置として特定するクライアント領域特定部と、
を含むことを特徴とする請求項1または2に記載の画像取得装置。The image position specifying unit includes:
An additional area specifying unit for obtaining the length of the additional area by obtaining the length of the browser window and the length of the client area and calculating a difference between the lengths;
A client area specifying unit that specifies, as the display position of the client area on the screen, a position obtained by shifting the display position of the browser window on the screen according to the length of the additional area;
The image acquisition apparatus according to claim 1, further comprising:
前記ウィンドウ位置取得部は、前記画面上における前記ブラウザウィンドウの表示位置として、直交座標系における前記ブラウザウィンドウの左上座標を取得し、
前記付加領域特定部は、前記付加領域の縦の長さを特定し、
前記クライアント領域特定部は、前記ブラウザウィンドウの左上座標における縦座標値に前記付加領域の縦の長さを加算することにより、前記直交座標系における前記クライアント領域の左上座標を導出することを特徴とする請求項3に記載の画像取得装置。In the browser window, the additional area is arranged above the client area,
The window position acquisition unit acquires the upper left coordinates of the browser window in an orthogonal coordinate system as the display position of the browser window on the screen,
The additional area specifying unit specifies a vertical length of the additional area,
The client area specifying unit derives the upper left coordinates of the client area in the orthogonal coordinate system by adding the vertical length of the additional area to the ordinate value in the upper left coordinates of the browser window. The image acquisition apparatus according to claim 3.
本装置は、前記複数のフレームのうちキャプチャ対象のフレームについて、前記クライアント領域における前記キャプチャ対象のフレームの位置を取得するフレーム位置取得部をさらに備え、
前記画像位置特定部は、前記画面上における前記クライアント領域の表示位置と、前記クライアント領域における前記キャプチャ対象のフレームの位置とにしたがって、前記画面上における前記キャプチャ対象のフレームの表示位置を特定し、
前記画像取得部は、前記画面上における前記キャプチャ対象のフレームの表示位置にしたがって、前記キャプチャ対象のフレームの表示画像をキャプチャすることを特徴とする請求項1から4のいずれかに記載の画像取得装置。The client area includes a plurality of frames,
The apparatus further includes a frame position acquisition unit that acquires a position of the capture target frame in the client area for the capture target frame among the plurality of frames.
The image position specifying unit specifies the display position of the capture target frame on the screen according to the display position of the client area on the screen and the position of the capture target frame on the client area,
5. The image acquisition according to claim 1, wherein the image acquisition unit captures a display image of the capture target frame according to a display position of the capture target frame on the screen. apparatus.
ウェブページが表示されるクライアント領域と、前記クライアント領域とは異なる付加領域とを含むブラウザウィンドウについて、画面上における前記ブラウザウィンドウの表示位置を取得するステップと、
前記画面上における前記ブラウザウィンドウの表示位置と、前記ブラウザウィンドウの付加領域のサイズとにしたがって、前記画面上における前記クライアント領域の表示位置を特定するステップと、
前記特定するステップにおいて特定された前記画面上における表示位置にしたがって、前記クライアント領域の表示画像をキャプチャするステップと、
を備えることを特徴とする画像取得方法。A method performed by an image acquisition device,
Obtaining a display position of the browser window on a screen for a browser window including a client area in which a web page is displayed and an additional area different from the client area;
Identifying the display position of the client area on the screen according to the display position of the browser window on the screen and the size of the additional area of the browser window;
Capturing a display image of the client area according to a display position on the screen specified in the specifying step;
An image acquisition method comprising:
ウェブページが表示されるクライアント領域と、前記クライアント領域とは異なる付加領域とを含むブラウザウィンドウについて、画面上における前記ブラウザウィンドウの表示位置を取得する機能と、
前記画面上における前記ブラウザウィンドウの表示位置と、前記ブラウザウィンドウの付加領域のサイズとにしたがって、前記画面上における前記クライアント領域の表示位置を特定する機能と、
前記特定する機能により特定された前記画面上における表示位置にしたがって、前記クライアント領域の表示画像をキャプチャする機能と、
を実現させるためのコンピュータプログラム。In the image acquisition device,
A browser window including a client area in which a web page is displayed and an additional area different from the client area, a function of acquiring a display position of the browser window on a screen;
A function for specifying the display position of the client area on the screen according to the display position of the browser window on the screen and the size of the additional area of the browser window;
A function of capturing a display image of the client area according to a display position on the screen specified by the specifying function;
Computer program for realizing.
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
PCT/JP2010/005828 WO2012042561A1 (en) | 2010-09-28 | 2010-09-28 | Image acquisition device, image acquisition method, and computer program |
Publications (1)
Publication Number | Publication Date |
---|---|
JPWO2012042561A1 true JPWO2012042561A1 (en) | 2014-02-03 |
Family
ID=45892072
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
JP2012506254A Pending JPWO2012042561A1 (en) | 2010-09-28 | 2010-09-28 | Image acquisition apparatus, image acquisition method, and computer program |
Country Status (3)
Country | Link |
---|---|
JP (1) | JPWO2012042561A1 (en) |
CN (1) | CN102713876B (en) |
WO (1) | WO2012042561A1 (en) |
Families Citing this family (3)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP5639127B2 (en) * | 2012-08-15 | 2014-12-10 | 株式会社野村総合研究所 | Test apparatus, test system, and computer program |
JP7433144B2 (en) | 2020-06-19 | 2024-02-19 | 株式会社オービック | Screen shot shooting device, screen shot shooting method and program |
CN112037332B (en) * | 2020-09-28 | 2023-09-05 | 北京百度网讯科技有限公司 | Display verification method and device for browser, computer equipment and storage medium |
Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001142827A (en) * | 1999-08-30 | 2001-05-25 | Fankul Systems Inc | Method and device for collecting/sticking contents and computer-readable recording medium with recorded program for collecting/sticking contents |
JP2005051281A (en) * | 2003-06-03 | 2005-02-24 | Sony Corp | Information processing method, information processing apparatus, and information processing program |
JP2005190443A (en) * | 2003-12-26 | 2005-07-14 | Hitachi Software Eng Co Ltd | Web browser display screen verification method and apparatus |
JP2005266954A (en) * | 2004-03-16 | 2005-09-29 | Hitachi Software Eng Co Ltd | Operation information recording/reproduction apparatus |
JP2009048569A (en) * | 2007-08-22 | 2009-03-05 | Sky Kk | Client terminal monitoring system |
US20090196497A1 (en) * | 2006-08-03 | 2009-08-06 | Universitat Karlsruhe (Th) | Method for analyzing and/or testing at least one user interface, data processing device and computer program product |
JP2010039901A (en) * | 2008-08-07 | 2010-02-18 | Nomura Research Institute Ltd | Operation verification device and operation verification program |
JP2010044457A (en) * | 2008-08-08 | 2010-02-25 | Sky Co Ltd | Operation monitoring system |
JP2010186369A (en) * | 2009-02-13 | 2010-08-26 | Nec Personal Products Co Ltd | Image transfer device, method and program |
Family Cites Families (2)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
GB0700399D0 (en) * | 2007-01-10 | 2007-02-14 | Bayne Duncan | Use of unmodified internet browser for electronic signature capture |
CN100592292C (en) * | 2007-04-09 | 2010-02-24 | 腾讯科技(深圳)有限公司 | Web page screen-cutting system and implementation method |
-
2010
- 2010-09-28 CN CN201080043087.0A patent/CN102713876B/en active Active
- 2010-09-28 WO PCT/JP2010/005828 patent/WO2012042561A1/en active Application Filing
- 2010-09-28 JP JP2012506254A patent/JPWO2012042561A1/en active Pending
Patent Citations (9)
Publication number | Priority date | Publication date | Assignee | Title |
---|---|---|---|---|
JP2001142827A (en) * | 1999-08-30 | 2001-05-25 | Fankul Systems Inc | Method and device for collecting/sticking contents and computer-readable recording medium with recorded program for collecting/sticking contents |
JP2005051281A (en) * | 2003-06-03 | 2005-02-24 | Sony Corp | Information processing method, information processing apparatus, and information processing program |
JP2005190443A (en) * | 2003-12-26 | 2005-07-14 | Hitachi Software Eng Co Ltd | Web browser display screen verification method and apparatus |
JP2005266954A (en) * | 2004-03-16 | 2005-09-29 | Hitachi Software Eng Co Ltd | Operation information recording/reproduction apparatus |
US20090196497A1 (en) * | 2006-08-03 | 2009-08-06 | Universitat Karlsruhe (Th) | Method for analyzing and/or testing at least one user interface, data processing device and computer program product |
JP2009048569A (en) * | 2007-08-22 | 2009-03-05 | Sky Kk | Client terminal monitoring system |
JP2010039901A (en) * | 2008-08-07 | 2010-02-18 | Nomura Research Institute Ltd | Operation verification device and operation verification program |
JP2010044457A (en) * | 2008-08-08 | 2010-02-25 | Sky Co Ltd | Operation monitoring system |
JP2010186369A (en) * | 2009-02-13 | 2010-08-26 | Nec Personal Products Co Ltd | Image transfer device, method and program |
Also Published As
Publication number | Publication date |
---|---|
CN102713876A (en) | 2012-10-03 |
WO2012042561A1 (en) | 2012-04-05 |
CN102713876B (en) | 2015-10-21 |
Similar Documents
Publication | Publication Date | Title |
---|---|---|
US10482411B2 (en) | Dashboard for dynamic display of distributed transaction data | |
US6301592B1 (en) | Method of and an apparatus for displaying version information and configuration information and a computer-readable recording medium on which a version and configuration information display program is recorded | |
US7421683B2 (en) | Method for the use of information in an auxiliary data system in relation to automated testing of graphical user interface based applications | |
WO2010116586A1 (en) | Operation verification device, operation verification method, and operation verification system | |
US20130097484A1 (en) | Method and system of operation retrieval for web application | |
US20090031227A1 (en) | Intelligent screen capture and interactive display tool | |
JP7248067B2 (en) | Information processing device and program | |
JP2015219890A (en) | Management device, and control method and program for the same | |
JP2012103786A (en) | Test support device, control method, and program | |
JP2010061334A (en) | File management system, file management method, and program | |
JP5303680B2 (en) | Image acquisition apparatus, image acquisition method, and computer program | |
WO2012042561A1 (en) | Image acquisition device, image acquisition method, and computer program | |
CN114489625A (en) | Method and device for converting JSON format text into visual configuration tool | |
JP5379911B2 (en) | Operation verification apparatus, operation verification method, and operation verification program | |
JP2010237841A (en) | Device and program for operation verification | |
JP4681673B1 (en) | Operation verification apparatus, operation verification method, and operation verification program | |
US10884711B2 (en) | Code management system and code management method using a visual programming tool | |
CN105739717B (en) | Data inputting method and device | |
JP4846029B2 (en) | Operation verification apparatus, operation verification method, and operation verification program | |
JP4846030B2 (en) | Operation verification apparatus, operation verification method, and operation verification program | |
JP4795404B2 (en) | Operation verification apparatus and operation verification program | |
JP2009025977A (en) | Operation history function in middle-ware | |
JP2009223568A (en) | Scenario-generating device and program | |
JP5379910B2 (en) | Operation verification apparatus, operation verification method, and operation verification program | |
JP3942098B2 (en) | Information processing system, information registration information processing apparatus, information search information processing apparatus, information registration information processing method, information search information processing method, program, and recording medium |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
A02 | Decision of refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A02 Effective date: 20131203 |