JP6476145B2 - 画面差異合否判定装置、画面差異合否判定方法、及びプログラム - Google Patents

Description

本発明は、画面差異合否判定装置、画面差異合否判定方法、及びプログラムに関する。

近年、Ｗｅｂページ等の画面は、様々な環境（端末機種、ＯＳ（Operating System）、及びブラウザ等の組み合わせ）において閲覧されているが、各環境において、画面のレイアウトが異なる場合が有る。例えば、特定の環境において、画面の作成者が意図しないレイアウト崩れが発生する場合が有る。したがって、画面の作成者は、作成した画面が各環境において意図した通りに表示されることを確認するためにテストを行う必要が有る。

従来、斯かるテストは、各環境での表示結果と、意図した通りの表示結果とを、目視で確認することにより行われるのが一般的であったが、環境の種類（すなわち、端末機種、ＯＳ、及びブラウザ等の組み合わせ等の種類）が、多数存在するため、テストの実施者の作業負担が大きかった。

そこで、例えば、非特許文献１に記載されているような技術を利用して、テストの効率化を図ることが考えられる。

Akihiro Hori, Shingo Takada, Haruto Tanno and Morihide Oinuma、「An Oracle based on Image Comparison for Regression Testing of Web Applications」、Proceedings of 27th International Conference on Software Engineering and Knowledge Engineering (SEKE 2015)、ACM(USA)、pp.639-645 (July 2015). Sonal Mahajan and William G.J. Halfond、「Finding html presentation failures using image comparison techniques」、Proceedings of the 29th ACM/IEEE international conference on Automated software engineering (ASE 2014)、 ACM(USA)、pp.91-96 (2014).

しかしながら、非特許文献１に記載された技術では、入力としてＷｅｂページのソースコードであるＨＴＭＬ（HyperText Markup Language）のＤＯＭ（Document Object Model）ツリーの情報を必要とするため、テスト対象の実装技術に依存する。例えば、Ａｎｄｏｒｏｉｄ（登録商標）のネイティブアプリ等の、Ｗｅｂ標準仕様に基づかない環境では、当該技術を用いるのは困難である。

また、非特許文献２では、画像全体を画素の粒度で比較しているため、差異の有無は判るが、ユーザが、差異の有る箇所を特定するのが困難であった。また、比較される画像間において、予め解像度を揃えないと比較できないため、画面サイズが異なる画像同士を適切に比較できないという問題がある。

また、各差異についての合否をユーザの目視によって判定するのは困難な場合が有る。特に、合否の境界付近の差異について、目視によって判定が行われた場合、ユーザごとに合否が異なってしまう可能性が有る。

本発明は、上記の点に鑑みてなされたものであって、画面間の差異の箇所を抽出可能とし、差異についての合否の判定を自動化することを目的とする。

そこで上記課題を解決するため、画面差異合否判定装置は、画面の第１の表示結果を示す第１の画像と前記画面の第２の表示結果を示す第２の画像とのいずれか一方のサイズを、前記第１の画像の画面要素と前記第２の画像の画面要素とに関するサイズの比に基づいて変更する変更部と、前記サイズの変更後に、前記第１の画像及び前記第２の画像のそれぞれから部分領域を抽出し、前記第１の画像から抽出された部分領域と、前記第２の画像から抽出された部分領域とを比較して、前記部分領域の単位で、前記第１の表示結果と前記第２の表示結果との差異を抽出する抽出部と、前記抽出部によって抽出された差異ごとに、設定された規則を適用して、当該差異について合否を判定する適用部と、を有し、前記規則は、前記画面の表示環境に関する条件に応じて設定されており、前記適用部は、前記第２の表示結果の表示環境に関する条件に対応する前記規則を適用して、前記差異について合否を判定する。

画面間の差異の箇所を抽出可能とし、差異についての合否の判定を自動化することができる。

本発明の実施の形態における画面差異合否判定装置のハードウェア構成例を示す図である。 本発明の実施の形態における画面差異合否判定装置の機能構成例を示す図である。 画面差異合否判定装置が実行する処理手順の一例を説明するためのフローチャートである。 本発明の実施の形態におけるデータ構造の定義例を示す図である。 フォルダ構成の一例を示す図である。 正解画面及び比較画面のレイアウトの一例を示す図である。 結果レポートへのリンク画面の表示例を示す図である。 結果レポートの表示例を示す図である。 画面画像の入力処理の処理手順の一例を説明するためのフローチャートである。 サイズ合わせの処理手順の一例を説明するためのフローチャートである。 画面差異情報の抽出処理の処理手順の一例を説明するためのフローチャートである。 画面差異情報への合否判定ルールの適用処理の処理手順の一例を説明するためのフローチャートである。 合否判定ルールの構成例を示す図である。

以下、図面に基づいて本発明の実施の形態を説明する。図１は、本発明の実施の形態における画面差異合否判定装置のハードウェア構成例を示す図である。図１の画面差異合否判定装置１０は、それぞれバスＢで相互に接続されているドライブ装置１００、補助記憶装置１０２、メモリ装置１０３、ＣＰＵ１０４、インタフェース装置１０５、表示装置１０６、及び入力装置１０７等を有する。

画面差異合否判定装置１０での処理を実現するプログラムは、ＣＤ−ＲＯＭ等の記録媒体１０１によって提供される。プログラムを記憶した記録媒体１０１がドライブ装置１００にセットされると、プログラムが記録媒体１０１からドライブ装置１００を介して補助記憶装置１０２にインストールされる。但し、プログラムのインストールは必ずしも記録媒体１０１より行う必要はなく、ネットワークを介して他のコンピュータよりダウンロードするようにしてもよい。補助記憶装置１０２は、インストールされたプログラムを格納すると共に、必要なファイルやデータ等を格納する。

メモリ装置１０３は、プログラムの起動指示があった場合に、補助記憶装置１０２からプログラムを読み出して格納する。ＣＰＵ１０４は、メモリ装置１０３に格納されたプログラムに従って画面差異合否判定装置１０に係る機能を実現する。インタフェース装置１０５は、ネットワークに接続するためのインタフェースとして用いられる。表示装置１０６はプログラムによるＧＵＩ（Graphical User Interface）等を表示する。入力装置１０７はキーボード及びマウス等で構成され、様々な操作指示を入力させるために用いられる。

図２は、本発明の実施の形態における画面差異合否判定装置の機能構成例を示す図である。図２において、画面差異合否判定装置１０は、画像入力部１１、サイズ整合部１２、画面差異抽出部１３、レポート出力部１４、及び合否判定ルール適用部１５等を有する。これら各部は、画面差異合否判定装置１０にインストールされた１以上のプログラムが、ＣＰＵ１０４に実行させる処理により実現される。画面差異合否判定装置１０は、また、合否判定ルール記憶部１６を利用する。合否判定ルール記憶部１６は、例えば、補助記憶装置１０２、又は画面差異合否判定装置１０にネットワークを介して接続可能な記憶装置等を用いて実現可能である。

画像入力部１１は、ユーザによって指定されたフォルダから、テスト対象の画面ごとに、正解画面と、１以上の比較画面とを読み込む。画像入力部１１は、また、正解画面ごとに、比較画面とのペアを含むペア情報を生成する。なお、正解画面とは、作成者の意図通りに画面が表示される環境（以下、「正解環境」という。）において当該画面が表示された結果を示す画像データ（以下、「画面画像」という。）をいう。比較画面とは、正解環境とは異なる環境（以下、「比較環境」という。）において表示された結果を示す画面画像をいう。環境は、例えば、画面を表示した端末の機種、ＯＳ（Operating System）、及びブラウザ等の組み合わせによって区別される。更に、ブラウザの表示サイズ別に環境が区別されてもよい。環境は、画面の表示条件の一例であるともいえる。なお、正解画面及び比較画面は、例えば、画面キャプチャ等によって取得されてもよい。

なお、画面とは、プログラムがコンピュータに表示させる画面をいう。画面は、アプリケーションプログラム等の画面であってもよいし、ＨＴＭＬ（HyperText Markup Language）等によって記述された画面であってもよい。

サイズ整合部１２は、正解画面と比較画面とのペアごとに、当該ペアに係る２つの画面画像に含まれる画面要素間の解像度の差異を吸収するために、正解画面の画面要素と比較画面の画面要素とのサイズ比に基づいて一方の画面画像のサイズを変更する。画面要素とは、画面の描画要素をいい、例えば、画面のレイアウトを構成する単位である。なお、画面画像のサイズは、画素数（ピクセル数）によって表現される。サイズの変更は、解像度を変更することによって実現される。

画面差異抽出部１３は、ペアごとに、当該ペアに係る２つの画面画像間の差異を抽出する。具体的には、画面差異抽出部１３は、ペアに係る２つの画面画像のそれぞれについて、おおよそ画面要素の粒度で矩形領域を抽出し、矩形領域単位でのマッチングを行う。画面差異抽出部１３は、マッチングの結果として、矩形領域の粒度で、消失、追加、移動等の差異を検出し、差異ごとに、当該差異の内容を示す画面差異情報を生成する。画面差異抽出部１３は、ペア情報に対して、生成された画面差異情報を設定する。

合否判定ルール適用部１５は、ペアごとに、画面差異抽出部１３によって生成された各画面差異情報に係る差異ついて、合否判定ルール記憶部１６に記憶されている各合否判定ルールを適用して問題の有無を判定する。合否判定ルールとは、差異について、許容範囲を示す情報であり、例えば、予めユーザによって設定される。合否判定ルール適用部１５は、全ての差異について問題が無い（許容範囲内である）ペアに係る比較画面ついては、合格であると判定し、そうでないペアに係る比較画面ついては、不合格であると判定する。判定結果は、各ペアのペア情報に設定される。

レポート出力部１４は、画面差異抽出部１３によって生成された画面差異情報を含み、合否判定ルール適用部１５による合否の判定結果が設定された各ペア情報を結果レポートとして出力し、当該結果レポートをユーザに提示する。

以下、画面差異合否判定装置１０が実行する処理手順について説明する。図３は、画面差異合否判定装置が実行する処理手順の一例を説明するためのフローチャートである。

ステップＳ１１０において、画像入力部１１は、ユーザによって指定されたフォルダ配下において、テスト対象の画面ごとに記憶されている、正解画面及び比較画面群を読み込み、正解画面ごとに、同一画面に係る比較画面とのペア情報のリストを生成する。

図４は、本発明の実施の形態におけるデータ構造の定義例を示す図である。図４では、本実施の形態において利用される各種のデータのデータ構造が、ＢＮＦ（Backus-Naur Form）によって定義されている。

ステップＳ１１０に関しては、「■入力データとなる画像群」における定義が関連する。ここでは、環境ルートフォルダが、１つの正解環境フォルダと、１以上の比較環境フォルダとを含むことが示されている。また、正解環境フォルダ及び各比較環境フォルダは、それぞれ画面画像（正解画面又は比較画面）を格納した画像ファイルを含むことが示されている。正解環境フォルダに含まれる画像ファイルは、正解画面を格納した画像ファイルであり、比較環境フォルダに含まれる画像ファイルは、比較画面を格納した画像ファイルである。

図５は、フォルダ構成の一例を示す図である。図５には、環境ルートフォルダの下に、１つの正解環境フォルダと、２つの比較環境フォルダ（比較環境フォルダ（ａ）及び（ｂ））が含まれている例が示されている。正解環境フォルダ及び各比較環境フォルダのそれぞれには、画像ファイルＸ及び画像ファイルＹが格納されている。画像ファイルＸは、画面Ｘの表示結果が画面キャプチャ等されることにより生成された画面画像を格納したファイルである。画像ファイルＹは、画面Ｙの表示結果が画面キャプチャ等されることにより生成された画面画像を格納したファイルである。但し、正解環境フォルダの下の画像ファイルＸ及びＹは、画面Ｘ又は画面Ｙに関する正解画面を格納した画像ファイルである。比較環境フォルダ（ａ）の下の画像ファイルＸ及びＹは、環境（ａ）における画面Ｘ又は画面Ｙの表示結果を示す比較画面を格納した画像ファイルである。比較環境フォルダ（ｂ）の下の画像ファイルＸ及びＹは、環境（ｂ）における画面Ｘ又は画面Ｙの表示結果を示す比較画面を格納した画像ファイルである。なお、図５に示したフォルダ及びファイルは、例えば、補助記憶装置１０２に記憶されている。

図５の例によれば、ステップＳ１１０では、正解環境フォルダの下の画像ファイルＸに係る正解画面と、比較環境フォルダ（ａ）の下の画像ファイルＸに係る正解画面とのペアと、正解環境フォルダの下の画像ファイルＹに係る正解画面と、比較環境フォルダ（ａ）の下の画像ファイルＹに係る正解画面とのペアと、正解環境フォルダの下の画像ファイルＸに係る正解画面と、比較環境フォルダ（ｂ）の下の画像ファイルＸに係る正解画面とのペアと、正解環境フォルダの下の画像ファイルＹに係る正解画面と、比較環境フォルダ（ｂ）の下の画像ファイルＹに係る正解画面とのペアとの４つのペアに関してペア情報が生成される。

なお、ペア情報は、図４の「■出力データとなるレポート」の欄に記載されているように、正解画面情報、比較画面情報、画面差異リスト、及び合否判定結果を含む。正解画面情報とは、正解画面の画面情報である。比較画面情報とは、比較画面の画面情報である。画面情報は、当該画面の画像ファイルと、当該画像ファイルのパス名とを含む情報である。画面差異リストについては、後述される。合否判定結果は、ペア情報に係る比較画面に対して自動的に判定された合否を示す情報ある。

以下、便宜上、画面Ｘに関する正解画面を「正解画面Ｘ」という。また、画面Ｘに関する環境（ａ）における比較画面を「比較画面Ｘ（ａ）」という。また、画面Ｘに関する環境（ａ）における比較画面を「比較画面Ｘ（ｂ）」という。

図６は、正解画面及び比較画面のレイアウトの一例を示す図である。図６には、画面Ｘに関して、正解画面Ｘ、比較画面Ｘ（ａ）、及び比較画面Ｘ（ｂ）のそれぞれのレイアウトの一例が示されている。なお、各画面の大きさは、それぞれの画面のサイズ（解像度）の違いに基づく。このように、同一の画面Ｘ（例えば、同一のＨＴＭＬ（HyperText Markup Language）等）について、環境に応じてサイズやレイアウト等に違いが生じうる。

続いて、画像入力部１１は、結果レポート用の空のデータ領域を生成する（ステップＳ１２０）。

続くステップＳ１３０〜Ｓ１６０は、ステップＳ１１０において生成されたペア情報ごとに実行される。以下、処理対象とされているペア情報を、「対象ペア情報」という。

ステップＳ１３０において、サイズ整合部１２は、対象ペア情報に係る２つの画面画像のうちの一方の画面画像のサイズ（解像度）を変更することで、２つの画面画像の画面要素のサイズを合わせる。例えば、図６において、正解画面Ｘと比較画面Ｘ（ａ）とのサイズは異なる。したがって、この二つの画面画像のペアについては、いずれか一方のサイズが変更され、画面要素のレベルにおいて双方の画面画像のサイズが一致するように調整される。

続いて、画面差異抽出部１３は、対象ペア情報に係る２つの画面画像からの矩形領域の抽出と、矩形領域単位での差異の特定を行う（ステップＳ１４０）。その結果、対象ペア情報に対して、特定された差異を示す画面差異情報のリストである画面差異リストが設定される。例えば、図６に示される正解画面Ｘ及び比較画面Ｘ（ａ）であれば、「タイトル」、「広告」、「文章」、「写真」、「リンク」のそれぞれの矩形領域が抽出される。また、比較画面（ｂ）であれば、「タイトル」、「文章」、「写真」、「リンク」、「仕様に存在しないリンク」のそれぞれの矩形領域が抽出される。以下、抽出された矩形領域を、「画面要素矩形」という。

なお、後述されるように、画面要素矩形の抽出は、画像を解析することによって行われるため、ステップＳ１４０において抽出される画面要素矩形は、必ずしも、人間から見て意味の有る単位での画面要素矩形であるとは限らない。例えば、「タイトル」の領域が複数の画面要素矩形に分割されて抽出される可能性も有る。また、「タイトル」及び「広告」の領域に跨る画面要素矩形が抽出される可能性も有る。

続いて、合否判定ルール適用部１５は、対象ペア情報に対して設定された画面差異リストに含まれている各画面差異情報に対して、合否判定ルール記憶部１６に記憶されている合否判定ルールを適用して、対象ペア情報に係る比較画面の合否を判定する（ステップＳ１５０）。合否判定ルール適用部１５は、判定結果を、対象ペア情報に設定する。

続いて、レポート出力部１４は、結果レポートに対して、対象ペア情報を追加する（ステップＳ１６０）。

ステップＳ１３０〜Ｓ１６０が、全てのペアについて実行されると、レポート出力部１４は、結果レポートを表示装置１０６に出力する（ステップＳ１７０）。

図７は、結果レポートへのリンク画面の表示例を示す図である。図７に示されるように、リンク画面は、画面の種別（画面Ｘ、画面Ｙ）と、環境の種別（環境（ａ）、環境（ｂ））との組み合わせごとに、合否判定ルール適用部１５による合否の判定結果と結果レポートへのリンクとを含む。いずれかのリンクがユーザによって選択されると、図８に示されるような結果レポートが表示される。

図８は、結果レポートの表示例を示す図である。結果レポートＲ１は、画面Ｘと環境（ｂ）との組み合わせに対する結果レポートである。

結果レポートＲ１には、正解画面Ｘ及び比較画面Ｘ（ｂ）と、２つの画面画像の差異の一覧を示すテーブルとが含まれる。当該テーブルには、差異ごとに、項番、差異種別、変異値、合否判定ルールに基づく判定結果、及び適用した合否判定ルールが表示される。項番は、各差異に対して付与された番号であり、正解画面及び比較画面において差異に対応する画面要素矩形に対して、当該差異に係る項番が付されている。差異種別は、差異の種別であり、その値は、「差異なし」、「Ｘ軸方向移動」、「Ｙ軸方向移動」、「拡縮」、「消失」、又は「追加」である。変異値は、差異種別に係る差異の変異の値である。合否判定ルールに基づく判定結果は、差異に対して合否判定ルールを適用することで得られる問題の有無を示す情報である。「問題なし」は、合否判定ルールに違反していないことを意味し、「要確認」は、合否判定ルールに違反していることを意味する。適用した合否判定ルールは、差異に対して適用した合否判定ルールの内容である。

ユーザは、このような結果レポートを参照することで、比較画面の合否を容易に確認することができる。

続いて、図３のステップＳ１１０の詳細について説明する。図９は、画面画像の入力処理の処理手順の一例を説明するためのフローチャートである。

ステップＳ２１０において、画像入力部１１は、ユーザに指定された環境ルートフォルダを読み込む。続いて、画像入力部１１は、環境ルートフォルダの下の正解環境フォルダを取得する（ステップＳ２２０）。例えば、正解環境フォルダのフォルダ名が予め決められており、当該フォルダ名に係るフォルダが取得されてもよい。

続いて、画像入力部１１は、これから生成されるペア情報を格納するための空のリスト（以下、「ペアリスト」という。）を生成する（ステップＳ２３０）。続いて、画像入力部１１は、正解環境フォルダに格納されている正解画面ごとに、ステップＳ２４０以降を実行する。ステップＳ２４０以降において処理対象とされている正解画面を、「対象正解画面」という。

ステップＳ２４０において、画像入力部１１は、環境ルートフォルダの下に有る全ての比較環境フォルダ（以下、「比較環境フォルダ群」という。）を取得する。

続いて、画像入力部１１は、取得された比較環境フォルダごとに、ステップＳ２５０及びＳ２７０を実行する。ステップＳ２５０及びＳ２７０において処理対象とされている比較環境フォルダを、「対象比較環境フォルダ」という。

ステップＳ２５０において、画像入力部１１は、対象比較環境フォルダ内から対象正解画面に対応する比較画面を取得し、対象正解画面と当該比較画面とに対するペア情報を生成する。対象正解画面に対応する比較画面とは、対象正解画面が対応する画面と同じ画面に対応する比較画面をいう。例えば、画面が共通する画面画像は、同じファイル名のファイルに格納されていてもよい。そうすることで、正解画面に対応する比較画面を容易に特定することができる。

続いて、画像入力部１１は、生成されたペア情報をペアリストに追加する（ステップＳ２７０）。

続いて、図３のステップＳ１３０の詳細について説明する。図１０は、サイズ合わせの処理手順の一例を説明するためのフローチャートである。

ステップＳ３１０において、サイズ整合部１２は、自身の作業用のメモリ領域に対象ペア情報を読み込む。

続いて、サイズ整合部１２は、対象ペア情報に係る正解画面及び比較画面のそれぞれから特徴点を抽出し、正解画面→比較画面の方向で特徴点マッチングを行い、正解画面と比較画面との間で対応する特徴点のペアの集合である特徴点ペア群を生成する（ステップＳ３２０）。特徴点マッチングは、例えば、Ｈａｒｒｉｓの方法、Ｓｈｉ−Ｔｏｍａｓｈｉの方法等の公知のアルゴリズムを用いて行うことができる。

なお、１つの特徴点ペアのデータ構造は、図４の「■中間データ」の欄に記載されている通りである。すなわち、特徴点ペアは、正解画面における特徴点の座標点と、比較画面において当該特徴点に対応する特徴点の座標点とから構成される。

続いて、サイズ整合部１２は、特徴点ペア群の中から、互いに十分離れた距離にある２つの特徴点ペアを選択する（ステップＳ３３０）。例えば、２つの特徴点ペアの全ての組み合わせの中で、正解画面における距離及び比較画面における距離の合計が最大である組み合わせに係る２つの特徴点ペアが選択されてもよい。又は、正解画面における距離及び比較画面における距離の合計が閾値以上である組み合わせに係る２つの特徴点ペアが選択されてもよい。当該閾値は、正解画面又は比較画面の横幅のサイズに基づいて求められてもよいし、他の方法によって求められてもよい。

続いて、サイズ整合部１２は、選択された２つの特徴点ペアに基づいて、正解画面の画面要素矩形と比較画面の画面要素矩形とのサイズ比を算出する（ステップＳ３４０）。具体的には、一方の特徴点ペア（以下、「特徴点ペア１」という。）の正解画面における座標点と、他方の特徴点ペア（以下、「特徴点ペア２」という。）の正解画面における座標点の距離を算出し、正解画面内距離とする。また、特徴点ペア１の比較画面における座標点と、特徴点ペア２の比較画面における座標点の距離を算出し、比較画面内距離とする。そして、正解画面内距離／比較画面内距離を計算し、これをサイズ比とする。すなわち、サイズ比は、正解画面全体のサイズと、比較画面全体のサイズとの比であるとは限らない。本実施の形態では、画面要素矩形の単位で比較が行われるため、正解画面と比較画面との間で、画面要素矩形のサイズを合わせるのが重要だからである。

なお、サイズ比は、上記以外の方法で算出されてもよい。例えば、正解画面の横幅／比較画面の横幅が、サイズ比として算出されてもよい。又は、正解画面の画面要素矩形間の距離／比較画面の画面要素矩形間の距離が、サイズ比として算出されてもよい。また、正解画面の横幅／比較環境における画面の横幅が、サイズ比として算出されてもよい。ここで、比較環境における画面の横幅とは、比較画面に対応した環境における端末のディスプレイの横幅であり、例えば、予め環境毎に補助記憶装置１０２等に記憶されていてもよい。このような算出方法は、画面がディスプレイの横幅に合わせて表示される環境に対して有効である。

続いて、サイズ整合部１２は、サイズ比に基づいて、比較画面のサイズを変更する（ステップＳ３５０）。具体的には、比較画面の縦及び横幅のサイズ（画素数）が、それぞれサイズ比を乗じることによって得られる値となるように、比較画面について解像度変換が行われる。なお、対象ペア情報において、サイズ変更前の比較画面は、サイズの変更後の比較画面によって置き換えられる。なお、正解画面のサイズが変更されてもよい。

続いて、図３のステップＳ１４０の詳細について説明する。図１１は、画面差異情報の抽出処理の処理手順の一例を説明するためのフローチャートである。

ステップＳ４１０において、画面差異抽出部１３は、自身の作業用のメモリ領域に対象ペア情報を読み込む。

続いて、画面差異抽出部１３は、画面差異リストを格納するための空のデータ領域を生成する（ステップＳ４１５）。画面差異リストは、図４の「出力データとなるレポート」の欄に記載されているように、０以上の画面差異情報によって構成される。

続いて、画面差異抽出部１３は、図１０のステップＳ３２０と同様の方法によって、対象ペア情報に係る正解画面及び比較画面から特徴点ペア群を抽出する（ステップＳ４２０）。

続いて、画面差異抽出部１３は、対象ペア情報に係る正解画面から画面要素矩形（以下、「正解画面要素矩形」という。）を抽出し、抽出された正解画面要素矩形がリスト化された画面要素矩形リストを生成する（ステップＳ４２５）。画面要素矩形は、図４の「■出力データとなるレポート」の欄に記載されているように、当該矩形の左上座標と右上座標とによって表現される。なお、画面要素矩形の抽出は、公知技術を組み合わせることで実現可能である。例えば、画像に対して、グレースケール化、Ｃａｎｎｙ処理、膨張処理、輪郭抽出、矩形変換（輪郭の外接矩形を求め、そこから矩形を抽出）といった手順を実行することで、画面要素矩形が抽出されてもよい。

なお、画面要素矩形は、必ずしも「矩形」でなくてもよい。画面を構成する部分領域が抽出されればよい。したがって、Ｌ字型、凸型、凹型、又はその他の多角形の形状の部分領域が画面要素矩形として抽出されてもよい。

続いて、画面差異抽出部１３は、生成された画面要素矩形リストに含まれている正解画面要素矩形ごとに、ステップＳ４３０〜Ｓ４７５を実行する。ステップＳ４３０〜Ｓ４７５において処理対象とされている正解画面要素矩形を、「対象正解画面要素矩形」という。

ステップＳ４３０において、画面差異抽出部１３は、対象正解画面要素矩形に係る特徴点群に対応する特徴点が、対象ペア情報に係る比較画面（以下、「対象比較画面」という。）に２以上存在するか否かを判定する。対象正解画面要素矩形に係る特徴点群とは、例えば、対象正解画面要素矩形の範囲に含まれる特徴点をいう。但し、対象正解画面要素矩形の周囲から外側において所定の範囲内に含まれる特徴点が、対象正解画面要素矩形に係る特徴点群に含まれてもよい。また、対象正解画面要素矩形に係る特徴点群に対応する特徴点が対象比較画面に２以上存在するか否かは、対象正解画面要素矩形に係る特徴点群を含む特徴点ペア（以下、「対象特徴点ペア」という。）が、ステップＳ４２０において生成された特徴点ペア群に２以上含まれているか否かに基づいて判定することができる。

対象正解画面要素矩形に係る特徴点群に対応する特徴点が対象比較画面に２以上存在する場合（ステップＳ４３０でＹｅｓ）、画面差異抽出部１３は、２以上存在する対象特徴点ペアの中から、互いに十分離れた距離にある２つの特徴点ペアを選択して、図１０のステップＳ３４０と同様の方法で、対象正解画面要素矩形と、対象比較画面において対象正解画面要素矩形に対応する画面要素矩形との拡縮比を算出する（ステップＳ４３５）。

続いて、画面差異抽出部１３は、対象正解画面要素矩形に対応する画面要素矩形を比較画面から探索し、該当する画面要素矩形（以下、「対象比較画面要素矩形」という。）が探索された場合には、対象正解画面要素矩形と対象比較画面要素矩形とを画面差異情報に設定する（ステップＳ４４０）。具体的には、画面差異抽出部１３は、対象正解画面要素矩形と、対象特徴点ペアにおいて正解画面に係る特徴点との位置関係（例えば、対象正解画面要素矩形の各頂点からのベクトル）を特定し、対象特徴点ペアにおいて比較画面に係る特徴点と当該位置関係とに基づいて、比較画面から対象正解画面要素矩形の候補矩形を切り出す。画面差異抽出部１３は、対象正解画面要素矩形と候補矩形との各画素値を比較し、画素値の一致率（画素単位の一致率）が所定値（例えば、１００％又は９５％等）以上であれば、当該候補矩形を対象比較画面要素矩形とする。但し、拡縮比が１でない場合は、候補矩形のサイズを拡縮比に基づいて拡大又は縮小して、候補矩形のサイズを対象正解画面要素矩形に一致させた上で、画素値の比較が行われる。

なお、対象比較画面要素矩形の切り出しは、対象正解画面要素矩形と対象比較画面とのパターンマッチングによって行われてもよい。例えば、拡縮比に基づいて対象比較画面のサイズを変更した後、対象正解画面要素矩形と同じサイズの矩形領域であって、対象正解画面要素矩形と全ての画素（又は、所定の割合（例えば、９５％）以上の画素）に関して画素値が一致する矩形領域が探索されることで対象比較画面要素矩形が切り出されてもよい。

画面差異抽出部１３は、画面差異情報を生成し、対象正解画面要素矩形を当該画面差異情報（以下、「対象画面差異情報」という。）に設定する。画面差異情報は、図４の「■出力データとなるレポート」の欄に記載されているように、項番、差異種別、０以上の変異値、０以上の正解画面要素矩形、０以上の比較画面要素矩形、及び１以上の合否判定ルールに基づく判定結果を含む情報である。正解画面要素矩形と比較画面要素矩形とは、それぞれの左上頂点及び右下頂点の座標によって表現される。合否判定ルールに基づく判定結果は、画面差異情報に係る差異に関して、合否判定ルールに基づいて自動的判定された合否を示す情報である。

画面差異抽出部１３は、また、対象比較画面要素矩形が探索された場合には、対象比較画面要素矩形を対象画面差異情報に設定する。対象比較画面要素矩形が探索されなかった場合、対象画面差異情報には、対象比較画面要素矩形は設定されない。

なお、対象画面差異情報の差異種別には、「差異なし」が初期値として設定される。

続いて、対象比較画面要素矩形が存在した場合（ステップＳ４４５でＹｅｓ）、画面差異抽出部１３は、対象正解画面要素矩形と対象比較画面要素矩形との位置が異なるか否かを判定する（Ｓ４５０）。当該位置の異同は、対象正解画面要素矩形と対象比較画面要素矩形とのそれぞれの左上頂点の座標が同じであるか否かに基づいて判定されてもよい。

対象正解画面要素矩形と対象比較画面要素矩形との位置が異なる場合（ステップＳ４５０でＹｅｓ）、画面差異抽出部１３は、対象画面差異情報の差異種別に「Ｘ軸方向移動」又は「Ｙ軸方向移動」を設定し、対象画面差異情報の変異値に当該位置の差分（移動量）を設定する（ステップＳ４５５）。当該位置の差分は、例えば、対象正解画面要素矩形と対象比較画面要素矩形との左上頂点のＸ座標又はＹ座標の差分の絶対値として算出される。具体的には、Ｘ軸方向の差分が０でない場合、対象画面差異情報の差異種別に「Ｘ軸方向移動」が設定され、対象画面差異情報の変異値に、Ｘ軸方向の移動量が設定される。Ｙ軸方向の差分が０でない場合、対象画面差異情報の差異種別に「Ｙ軸方向移動」が設定され、対象画面差異情報の変異値に、Ｙ軸方向の移動量が設定される。Ｘ軸方向の差分及びＹ軸方向の差分の双方が０でない場合、対象画面差異情報の複製が生成され、一方の対象画面差異情報の差異種別、変異値に、「Ｘ軸方向移動」、Ｘ軸方向の移動量が設定され、他方の対象画面差異情報の差異種別、変異値に、「Ｙ軸方向移動」、Ｙ軸方向の移動量が設定される。

続いて、画面差異抽出部１３は、ステップＳ４３５において算出した拡縮比が１であるか否かを判定する（ステップＳ４６０）。拡縮比が１でない場合（ステップＳ４６０でＮｏ）、画面差異抽出部１３は、対象画面差異情報の差異種別に「拡縮」を設定し、対象画面差異情報の変異値に拡縮比を設定する（ステップＳ４６５）。なお、対象画面差異情報に対してステップＳ４５５において値が設定されている場合、画面差異抽出部１３は、対象画面差異情報の複製を生成し、当該複製の差異種別、変異値に対して、「拡縮」、拡縮比を設定する。

一方、対象正解画面要素矩形に係る特徴点群に対応する特徴点が対象比較画面に２以上存在しない場合（ステップＳ４３０でＮｏ）、又は対象比較画面要素矩形が存在しない場合（ステップＳ４４５でＮｏ）、画面差異抽出部１３は、対象画面差異情報の差異種別に「消失」を設定する（ステップＳ４７０）。

ステップＳ４６０、Ｓ４６５、又はＳ４７０に続いて、画面差異抽出部１３は、生成された対象画面差異情報を、画面差異リストに追加する（ステップＳ４７５）。なお、複数の対象画面差異情報が生成された場合には、複数の対象画面差異情報が画面差異リストに追加される。また、画面差異抽出部１３は、画面差異リストに対して対象画面差異情報を追加する際に、画面差異リストにおける対象画面差異情報の順番に対応した数値を、対象画面差異情報の項番に設定する。

ステップＳ４３０〜Ｓ４７５が、画面要素矩形リストに含まれている全ての正解画面要素矩形について実行されると、画面差異抽出部１３は、ステップＳ４２０〜Ｓ４７５を、正解画面と比較画面とを入れ替えて実行する（ステップＳ４８０）。なお、この場合、ステップＳ４７０では、対象画面差異情報の差異種別に対して「追加」が設定される。比較画面→正解画面の方向でマッチングしている場合において、ステップＳ４７０が実行されるときには、比較画面に存在する画面要素矩形が正解画面に存在しないことになるからである。

続いて、画面差異抽出部１３は、画面差異リストを対象ペア情報に設定する（ステップＳ４８５）。

続いて、ステップＳ１５０の詳細について説明する。図１２は、画面差異情報への合否判定ルールの適用処理の処理手順の一例を説明するためのフローチャートである。

ステップＳ５１０において、合否判定ルール適用部１５は、自身の作業用のメモリ領域に対象ペア情報を読み込む。続いて、合否判定ルール適用部１５は、対象ペア情報に設定されている画面差異リストを取得する（ステップＳ５２０）。続いて、合否判定ルール適用部１５は、合否判定ルール記憶部１６に記憶されている合否判定ルールのリスト（合否判定ルールリスト）を読み込む（ステップＳ５３０）。

図１３は、合否判定ルールの構成例を示す図である。図１３において、各行は、合否判定ルールの一例である。合否判定ルールは、ルール対象、差異種別、及び許容範囲等を含む。ルール対象は、合否判定ルールの適用対象となる比較環境を示す情報である。全体は、全ての比較環境（本実施の形態では、環境（ａ）及び環境（ｂ））が適用対象であることを示す。差異種別は、合否判定ルールの適用対象となる差異種別を示す。許容範囲は、差異に対する許容範囲を示す。

続いて、合否判定ルール適用部１５は、画面差異リストに含まれている画面差異情報ごとに、合否判定ルールリストに含まれている各合否判定ルールについて、ステップＳ５４０〜Ｓ５７０を実行する。ステップＳ５４０〜Ｓ５７０において処理対象とされている画面差異情報を、「対象画面差異情報」という。また、ステップＳ５４０〜Ｓ５７０において処理対象とされている合否判定ルールを「対象ルール」という。

ステップＳ５４０において、合否判定ルール適用部１５は、対象ペア情報に係る比較画面の環境と、対象画面差異情報の差異種別とが、対象ルールのルール対象、差異種別に合致するか否かを判定する。すなわち、対象画面差異情報が対象ルールの適用対象であるか否かが判定される。対象ペア情報に係る比較画面の環境と、対象画面差異情報の差異種別との少なくともいずれか一方が、対象ルールのルール対象又は差異種別に合致しない場合（ステップＳ５４０でＮｏ）、合否判定ルールリストにおいて次の合否判定ルールが処理対象とされて、ステップＳ５４０以降が繰り替えされる。

一方、対象ペア情報に係る比較画面の環境と、対象画面差異情報の差異種別とが、対象ルールのルール対象、差異種別に合致する場合（ステップＳ５４０でＹｅｓ）、合否判定ルール適用部１５は、対象画面差異情報の変異値が対象ルールの許容範囲内であるか否かを判定する（ステップＳ５５０）。当該変異値が、当該許容範囲内である場合（ステップＳ５５０でＹｅｓ）、合否判定ルール適用部１５は、合否判定ルールに基づく判定結果として、「問題なし」を対象画面差異情報に設定する（ステップＳ５６０）。一方、当該変異値が、当該許容範囲外である場合（ステップＳ５５０でＮｏ）、合否判定ルール適用部１５は、合否判定ルールに基づく判定結果として、「要確認」を対象画面差異情報に設定する（ステップＳ５７０）。

ステップＳ５４０〜Ｓ５７０が、画面差異リストに含まれている全ての画面差異情報について、合否判定ルールリストに含まれている各合否判定ルールに関して実行されると、合否判定ルール適用部１５は、対象ペア情報の画面差異リストに基づいて、対象ペア情報に係る比較画面の合否を判定する（ステップＳ５８０）。具体的には、対象ペア情報の画面差異リストに含まれている全ての画面差異情報の合否判定ルールに基づく判定結果が「問題なし」であれば、対象ペア情報の合否判定結果に対して「合格」が設定される。対象ペア情報の画面差異リストに含まれているいずれかの画面差異情報の合否判定ルールに基づく判定結果が「要確認」であれば、対象ペア情報の合否判定結果に対して「不合格」が設定される。

このように生成された対象ペア情報に基づいて、図７に示したリンク画面及び図８に示した結果レポートが出力される。

上述したように、本実施の形態によれば、ｎ個のテスト環境においてテストを実行した際に、１個のテスト環境におけるテスト結果の画面画像を正解画面とし、他のｎ−１個の環境におけるテスト結果の画面画像（比較画面）を正解画面と比較することで、差異が自動的に抽出される。この際、差異の抽出は、画面要素矩形単位で行われる。したがって、画面レイアウト崩れを容易に検出することができ、画面間の差異の箇所を容易に特定可能とすることができる。その結果、ユーザは、比較画面の合否判定を効率的に行うことができる。

また、本実施の形態では、正解画面の画面要素と比較画面の画面要素とのサイズ比に基づいて、一方の画像サイズが変更された上で差異の抽出が行われる。その結果、正解画面と比較画面との解像度が異なることに起因する誤検出を回避することができ、より精度良く差異を検出することができる。また、単純に解像度の比ではなく、特徴点ペアを通して把握した画面要素の位置関係が考慮されたサイズ比を用いることで、より適切に画面要素矩形の比較を行うことができる。例えば、正解画面のサイズ（縦×横）が、１０００×５００であり、比較画面のサイズが、１５００×６００であるとする。但し、比較画面において、画面が描画されている範囲は、（０〜１０００）×（０〜５００）の範囲であり、それ以外の範囲は余白であるとする。すなわち、正解画面の画面要素矩形と、比較画面の画面要素矩形とは同じであるとする。この場合、単純に、正解画面のサイズと比較画面のサイズとの比に基づいて、一方のサイズが変更されると、当該一方に含まれている画面要素矩形のアスペクト比が崩れてしまう。一方、特徴点ペアに基づくサイズ比によれば、このような不都合の発生を回避できる可能性が高まる。

また、本実施の形態では、正解画面および比較画面それぞれから画面要素矩形を抽出したうえ、正解画面から比較画面への方向と、比較画面から正解画面への方向との２つの方向で、画面要素矩形のマッチングが行われる。したがって、画面要素矩形の移動、拡縮、消失、追加など様々な差異を判りやすい粒度で検出でき、画面レイアウト崩れの判定をし易くすることができる。

また、本実施の形態によれば、抽出された差異について、予め設定された合否判定ルールが適用されて、自動的に合否を判定することができる。したがって、合否の判定結果を均一化することができる。

また、合否判定ルールは、環境に応じて設定可能である。したがって、環境に対応した合否判定ルールを適用することで、各環境の特性に合わせた合否判定を自動で行うことができる。

なお、本実施の形態において、サイズ整合部１２は、変更部の一例である。画面差異抽出部１３は、抽出部一例である。合否判定ルール適用部１５は、適用部の一例である。合否判定ルールは、規則の一例である。画面要素矩形は、部分領域の一例である。正解画面は、第１の表示結果を示す第１の画像の一例である。比較画面は、第２の表示結果を示す第２の画像の一例である。

以上、本発明の実施例について詳述したが、本発明は斯かる特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

１０ 画面差異合否判定装置
１１ 画像入力部
１２ サイズ整合部
１３ 画面差異抽出部
１４ レポート出力部
１５ 合否判定ルール適用部
１６ 合否判定ルール記憶部
１００ ドライブ装置
１０１ 記録媒体
１０２ 補助記憶装置
１０３ メモリ装置
１０４ ＣＰＵ
１０５ インタフェース装置
１０６ 表示装置
１０７ 入力装置
Ｂ バス

Claims (4)

1. 画面の第１の表示結果を示す第１の画像と前記画面の第２の表示結果を示す第２の画像とのいずれか一方のサイズを、前記第１の画像の画面要素と前記第２の画像の画面要素とに関するサイズの比に基づいて変更する変更部と、
   前記サイズの変更後に、前記第１の画像及び前記第２の画像のそれぞれから部分領域を抽出し、前記第１の画像から抽出された部分領域と、前記第２の画像から抽出された部分領域とを比較して、前記部分領域の単位で、前記第１の表示結果と前記第２の表示結果との差異を抽出する抽出部と、
   前記抽出部によって抽出された差異ごとに、設定された規則を適用して、当該差異について合否を判定する適用部と、
   を有し、
   前記規則は、前記画面の表示環境に関する条件に応じて設定されており、
   前記適用部は、前記第２の表示結果の表示環境に関する条件に対応する前記規則を適用して、前記差異について合否を判定する、
   ことを特徴とする画面差異合否判定装置。
2. 前記規則は、Ｘ軸方向の移動、Ｙ軸方向の移動、拡大、又は縮小を示す差異に対する許容範囲を含む、
   ことを特徴とする請求項１記載の画面差異合否判定装置。
3. 画面の第１の表示結果を示す第１の画像と前記画面の第２の表示結果を示す第２の画像とのいずれか一方のサイズを、前記第１の画像の画面要素と前記第２の画像の画面要素とに関するサイズの比に基づいて変更する変更手順と、
   前記サイズの変更後に、前記第１の画像及び前記第２の画像のそれぞれから部分領域を抽出し、前記第１の画像から抽出された部分領域と、前記第２の画像から抽出された部分領域とを比較して、前記部分領域の単位で、前記第１の表示結果と前記第２の表示結果との差異を抽出する抽出手順と、
   前記抽出手順によって抽出された差異ごとに、設定された規則を適用して、当該差異について合否を判定する適用手順と、
   をコンピュータが実行し、
   前記規則は、前記画面の表示環境に関する条件に応じて設定されており、
   前記適用手順は、前記第２の表示結果の表示環境に関する条件に対応する前記規則を適用して、前記差異について合否を判定する、
   ことを特徴とする画面差異合否判定方法。
4. 画面の第１の表示結果を示す第１の画像と前記画面の第２の表示結果を示す第２の画像とのいずれか一方のサイズを、前記第１の画像の画面要素と前記第２の画像の画面要素とに関するサイズの比に基づいて変更する変更手順と、
   前記サイズの変更後に、前記第１の画像及び前記第２の画像のそれぞれから部分領域を抽出し、前記第１の画像から抽出された部分領域と、前記第２の画像から抽出された部分領域とを比較して、前記部分領域の単位で、前記第１の表示結果と前記第２の表示結果との差異を抽出する抽出手順と、
   前記抽出手順によって抽出された差異ごとに、設定された規則を適用して、当該差異について合否を判定する適用手順と、
   をコンピュータに実行させ、
   前記規則は、前記画面の表示環境に関する条件に応じて設定されており、
   前記適用手順は、前記第２の表示結果の表示環境に関する条件に対応する前記規則を適用して、前記差異について合否を判定する、
   ことを特徴とするプログラム。

Images