JP6802320B2 - 情報処理システム、情報処理装置、プログラム、及び情報処理方法 - Google Patents

Description

本開示は、情報処理システム、情報処理装置、プログラム、及び情報処理方法に関する。

ソフトウェアのバージョンアップ後に、かかるソフトウェアによる表示画面が正しく表示されるかどうかをテストする技術が広く知られている。例えば特許文献１には、環境アップデート時及び回帰試験時の画面確認の自動化及び効率化を図るため、表示画面のスクリーンショットの画像データ（以下、スクリーンショット画像ともいう）の照合によりテストを半自動化する方法が開示されている。

特開２００１−３２９５７６号公報

上述した従来技術では、初回試験時の表示画面のスクリーンショット画像と、２回目以降の試験の表示画面のスクリーンショット画像とを比較して差異を抽出する。そして抽出した差異を解析することにより、表示画面のテストを半自動化している。しかしながら当該方法では、２つのスクリーンショット画像の取得タイミングによっては、適切に差異を抽出できず、テストに不備が生じる虞がある。したがって、ソフトウェアの表示画面をテストする技術の利便性の向上が望まれている。

かかる事情に鑑みてなされた本開示の目的は、ソフトウェアの表示画面をテストする技術の利便性を向上させる情報処理システム、情報処理装置、プログラム、及び情報処理方法を提供することにある。

本開示の一実施形態に係る情報処理システムは、
画像照合によってソフトウェアのバージョンアップ前後の表示画面のテストを実行する情報処理システムであって、
バージョンアップ前の表示画面又はバージョンアップ後の表示画面のいずれか一方にかかる複数のスクリーンショット画像を取得する取得手段と、
前記複数のスクリーンショット画像同士の差分を抽出して画像マスクを生成する生成手段と、
前記画像マスクに基づき前記バージョンアップ前後の表示画面を画像照合する照合手段と、を備える。

本開示の一実施形態に係る情報処理装置は、
画像照合によってソフトウェアのバージョンアップ前後の表示画面のテストを実行する情報処理装置であって、
バージョンアップ前の表示画面又はバージョンアップ後の表示画面のいずれか一方にかかる複数のスクリーンショット画像を取得する取得手段と、
前記複数のスクリーンショット画像同士の差分を抽出して画像マスクを生成する生成手段と、
前記画像マスクに基づき前記バージョンアップ前後の表示画面を画像照合する照合手段と、を備える。

本開示の一実施形態に係る情報処理装置は、
画像照合によってソフトウェアのバージョンアップ前後の表示画面のテストを実行する情報処理システムであって、バージョンアップ前の表示画面又はバージョンアップ後の表示画面のいずれか一方にかかる複数のスクリーンショット画像を取得する取得手段と、前記複数のスクリーンショット画像同士の差分を抽出して画像マスクを生成する生成手段と、前記画像マスクに基づき前記バージョンアップ前後の表示画面を画像照合する照合手段と、を備える情報処理システムを構成するために、
前記取得手段、前記生成手段、及び前記照合手段の少なくとも１を備える。

本開示の一実施形態に係るプログラムは、
画像照合によってソフトウェアのバージョンアップ前後の表示画面のテストを実行する情報処理装置を、
バージョンアップ前の表示画面又はバージョンアップ後の表示画面のいずれか一方にかかる複数のスクリーンショット画像を取得する取得手段と、
前記複数のスクリーンショット画像同士の差分を抽出して画像マスクを生成する生成手段と、
前記画像マスクに基づき前記バージョンアップ前後の表示画面を画像照合する照合手段と、して機能させる。

本開示の一実施形態に係るプログラムは、
通信可能に接続された複数の情報処理装置によって構成され、
バージョンアップ前の表示画面又はバージョンアップ後の表示画面のいずれか一方にかかる複数のスクリーンショット画像を取得する取得手段と、
前記複数のスクリーンショット画像同士の差分を抽出して画像マスクを生成する生成手段と、
前記画像マスクに基づき前記バージョンアップ前後の表示画面を画像照合する照合手段と、を備える情報処理システムにおける前記複数の情報処理装置のうち１つの情報処理装置を、前記取得手段、前記生成手段、及び前記照合手段の少なくとも１として機能させる。

本開示の一実施形態に係る情報処理方法は、
画像照合によってソフトウェアのバージョンアップ前後の表示画面のテストを実行する情報処理方法であって、
バージョンアップ前の表示画面又はバージョンアップ後の表示画面のいずれか一方にかかる複数のスクリーンショット画像を取得するステップと、
前記複数のスクリーンショット画像同士の差分を抽出して画像マスクを生成するステップと、
前記画像マスクに基づき前記バージョンアップ前後の表示画面を画像照合するステップと、を備える。

本開示の一実施形態に係る情報処理システム、情報処理装置、プログラム、及び情報処理方法によれば、ソフトウェアの表示画面をテストする技術の利便性が向上する。

本開示の一実施形態に係る情報処理システムの概略構成を示すブロック図である。 本開示の一実施形態に係るソフトウェアのバージョンアップ前後の表示画面例である。 各シンボルの表示パターンの変化の一例を示す概要図である。 シンボル情報の一例を示す概要図である。 各シンボルのリフレッシュ周期のタイミングを示す概要図である。 第１の時間の情報を含むシンボル情報の一例を示す概要図である。 本開示の一実施形態に係る情報処理システムによる画像マスク生成の概念図である。 本開示の一実施形態に係る情報処理システムによる画像照合の概念図である。 本開示の一実施形態に係る情報処理システムの動作例を示すフローチャートである。 第２の時間の情報を含むシンボル情報の一例を示す概要図である。

以下、本発明の実施形態について説明する。

図１を参照して、本発明の一実施形態に係る情報処理システム１について説明する。情報処理システム１は、例えばソフトウェアの表示画面をテストするシステムである。本実施形態に係る情報処理システム１は、表示装置１０と、入力装置２０と、情報処理装置３０と、を備える。

（表示装置のハードウェア構成）
表示装置１０のハードウェア構成について説明する。表示装置１０は、例えば液晶ディスプレイ又はＯＥＬ（Organic Electro-luminescence）ディスプレイ等のディスプレイである。本実施形態において、表示装置１０は、情報処理装置３０に接続される。

（入力装置のハードウェア構成）
入力装置２０のハードウェア構成について説明する。入力装置２０は、例えばキーボード又はマウス等の、ユーザによる操作を受け付ける入力インタフェースである。本実施形態において、入力装置２０は、情報処理装置３０に接続される。

（情報処理装置のハードウェア構成）
情報処理装置３０のハードウェア構成について詳細に説明する。情報処理装置３０は、通信部３１と、記憶部３２と、制御部３３と、を備える。

通信部３１は、無線又は有線を介して外部装置と通信する１つ以上の通信インタフェースである。本実施形態において、通信部３１は、表示装置１０及び入力装置２０のそれぞれと通信する通信インタフェースを含むが、例えばＬＡＮ（Local Area Network）又はインターネット等の任意のネットワークと通信する通信インタフェースを更に含んでもよい。

記憶部３２は、１つ以上のメモリである。メモリは、例えば半導体メモリ、磁気メモリ、又は光メモリ等であるが、これらに限られず任意のメモリとすることができる。記憶部３２は、例えば一次記憶装置又は二次記憶装置として機能する。記憶部３２は、例えば情報処理装置３０に内蔵されるが、任意のインタフェースを介して情報処理装置３０に外部から接続される構成も可能である。

制御部３３は、１つ以上のプロセッサである。プロセッサは、例えば汎用のプロセッサ、又は特定の処理に特化した専用プロセッサであるが、これらに限られず任意のプロセッサとすることができる。制御部３３は、情報処理装置３０全体の動作を制御する。

（情報処理装置のソフトウェア構成）
情報処理装置３０のソフトウェア構成について説明する。情報処理装置３０の動作の制御に用いられる１つ以上のプログラムが記憶部３２に記憶される。当該１つ以上のプログラムは、制御部３３によって読み込まれると、制御部３３を入力手段３３０、記憶手段３３１、決定手段３３２、取得手段３３３、生成手段３３４、照合手段３３５、及び表示手段３３６として機能させる。

各手段の概要について説明する。入力手段３３０は、入力装置２０に対するユーザ操作に基づく入力を受け付ける手段である。記憶手段３３１は、情報を記憶部３２に記憶する手段である。決定手段３３２は、ソフトウェアの表示画面にかかるスクリーンショット画像を取得する時間（以下、取得時間という）と、当該取得時間内でスクリーンショット画像を取得するタイミング（以下、取得タイミングという）とを決定する手段である。取得手段３３３は、決定手段３３２が決定した取得時間及び取得タイミングに基づき、スクリーンショット画像を取得する手段である。生成手段３３４は、画像マスクを生成する手段である。画像マスクとは、照合手段３３５による画像照合の対象外の領域を特定する情報である。換言すると画像マスクは、画像照合にかかる対象画像にマスク処理を施す領域を特定する情報である。照合手段３３５は、生成手段３３４によって生成された画像マスクに基づき、バージョンアップ前後の表示画面を画像照合する手段である。照合手段３３５は、画像マスクによりマスク処理が施されたバージョンアップ前後の表示画面を照合する。つまり照合手段３３５は、対象外の領域を除き、バージョンアップ前後の表示画面を画素毎に照合する。表示手段３３６は、情報を表示装置１０に表示させる手段である。各手段の具体的な動作については後述する。

（情報処理システムによる処理の概要）
図２に、テストの対象の一例としてソフトウェアのバージョンアップ前後のスクリーンショット画像を示す。各スクリーンショット画像には複数の要素が含まれる。また各スクリーンショット画像には複数のシンボルが含まれる。シンボルとは、ソフトウェアの表示画面内において表示される要素のうち、時間経過に応じて動的に変化する要素である。例えばシンボルは、点滅するボタン及び計測数値を含む。バージョンアップ前のスクリーンショット画像において、例えば領域４１、４２、及び４３にはそれぞれシンボルが表示されている。また、バージョンアップ後のスクリーンショット画像において、領域４１’、４２’、及び４３’にも、それぞれシンボルが表示されている。ここでバージョンアップ前のスクリーンショット画像における領域４１、４２、及び４３は、それぞれバージョンアップ後のスクリーンショット画像における領域４１’、４２’、及び４３’に対応する。図２に示す例ではこれらの領域に表示された各シンボルは、バージョンアップ前後で表示パターンが異なる。図３に、各シンボルの表示パターンの変化の態様の一例を示す。図３に示すように、例えばシンボルは、３つのパターン又は２つのパターンの色彩で変化して表示される。また例えばシンボルは、計測値が変化して表示される。表示パターンの変化の態様は、色彩又は数値に限られず、例えばシンボルの形状、模様、文字、又は記号が変化して表示される態様も含まれる。

ここでソフトウェアのバージョンアップ前後の表示画面のテストにおいて、バージョンアップ前後のスクリーンショット画像の比較を行い、相違が無い場合に正常と判定し、相違がある場合に異常と判定する方法が考えられる。しかし当該判定方法では、上述のシンボルの表示パターンの変化に伴って相違が生じる場合も異常と判定してしまう。そこで本開示の一実施形態に係る情報処理システム１は、画像マスクを生成し、画像マスクを用いてシンボルの表示領域にマスク処理を施した上で画像照合を行う。以下、情報処理システム１による情報処理の詳細について説明する。

記憶手段３３１は、画像マスクの生成に用いられる情報を記憶部３２に記憶する。当該情報は、例えばユーザが入力装置２０を操作して入力可能である。当該情報は、例えば表示画面に含まれるシンボルに係る情報（以下、シンボル情報という）であるが、これに限られない。

シンボル情報は、シンボルに係る任意の情報を含む。図４に、記憶部３２に記憶されるシンボル情報の一例を示す。例えばシンボル情報は、リフレッシュ周期及び変化数を含む。リフレッシュ周期とは、シンボルの表示態様が変化する周期である。変化数とは、シンボルの表示パターンの変化数である。図５は、図４のシンボル情報に対応する各シンボルのリフレッシュ周期のタイミングの概要である。図５の各矢印のタイミングで、各シンボルの表示パターンが変化する。すなわち、シンボルＡは、リフレッシュ周期の２秒間隔で表示パターンが変化し、シンボルＢはリフレッシュ周期の３秒間隔で表示パターンが変化し、シンボルＣは、リフレッシュ周期の５秒間隔で表示パターンが変化する。なお図５では、各シンボルの最初のリフレッシュのタイミングが０秒で一致している例を示したが、これに限られず、各シンボルの最初のリフレッシュのタイミングは一致しない場合もある。

決定手段３３２は、シンボル情報に基づき、取得時間及び取得タイミングを決定する。決定手段３３２が取得時間及び取得タイミングを決定する方法は、例えば以下の方法を採用可能である。

（取得時間及び取得タイミングの決定方法）
決定手段３３２は、表示画面に含まれる各シンボルのリフレッシュ周期及び変化数に基づき取得時間を決定する。具体的には決定手段３３２は、以下の数式（１）に基づき取得時間を決定する。
取得時間=max(f_i×n_i) i∈I （１）

ここでiはシンボル、Iは表示画面に含まれるシンボルの集合、f_iはシンボルiのリフレッシュ周期、n_iはシンボルiの変化数を意味し、本明細書において以下同様の意味で使用される。

つまり決定手段３３２は、各シンボルのリフレッシュ周期及び変化数の積により定まる時間（以下、第１の時間という）をシンボル毎に算出し、算出された第１の時間のうち最大のものを取得時間として決定する。図４に示す例においては、シンボルＡ、シンボルＢ、及びシンボルＣに係る第１の時間は、それぞれ６秒、６秒、及び１０秒である。したがってこの場合、決定手段３３２は取得時間を１０秒と決定する。記憶手段３３１は、シンボル情報として、第１の時間を各シンボルに対応付けて記憶部３２に記憶してもよい。図６に、第１の時間の情報を含むシンボル情報を示す。

また決定手段３３２は、表示画面に含まれる各シンボルのリフレッシュ周期に基づき取得タイミングを決定する。具体的には決定手段３３２は、以下の数式（２）に基づき取得タイミングを決定する。
取得タイミング=min(f_i) i∈I （２）

すなわち決定手段３３２は、各リフレッシュ周期のうち最小のものを取得タイミングとして決定する。図４に示す例では決定手段３３２は、取得タイミングを２秒毎と決定する。したがって図４に示す例において、決定手段３３２は、最初のスクリーンショット画像を取得してから１０秒間の取得時間において、２秒毎にスクリーンショット画像を取得すると決定する。つまりこの場合、最初のスクリーンショット画像の取得時を０秒とすると、取得手段３３３は、０秒、２秒、４秒、６秒、８秒、１０秒のタイミングでスクリーンショット画像を取得する。なお最初のスクリーンショット画像の取得時は、シンボルのリフレッシュ周期のタイミングと一致するとは限らない。

取得手段３３３は、決定手段３３２により決定された取得時間及び取得タイミングによりスクリーンショット画像を取得する。換言すると取得手段３３３は、表示画面に含まれるシンボルのリフレッシュ周期に基づき定めた取得時間及び取得タイミングで複数のスクリーンショット画像を取得する。取得手段３３３によるスクリーンショット画像の取得方法は各種の方法を採用可能である。例えば情報処理装置３０が対象のソフトウェアを実行し、表示装置１０により表示された該ソフトウェアの表示画面から、スクリーンショット画像をキャプチャしてもよい。また例えば情報処理装置３０とは別の装置が対象のソフトウェアを実行し、当該別の装置により表示されキャプチャされた該ソフトウェアの表示画面を、通信部３１を介して受信して取得してもよい。なお、取得手段３３３が取得するスクリーンショット画像は、バージョンアップ前の表示画面から取得されてもよく、あるいはバージョンアップ後の表示画面から取得されてもよい。つまりマスク画像の生成は、バージョンアップ前後いずれかのソフトウェアの表示画面にかかる複数のスクリーンショット画像に基づいて行うことができる。また同様にマスク画像の生成は、バージョンアップ後のソフトウェアの表示画面にかかる複数のスクリーン画像に基づいて行うことができる。

生成手段３３４は、取得手段３３３が取得した複数のスクリーンショット画像同士の差分を抽出して画像マスクを生成する。図７に、本開示の一実施形態に係る情報処理システム１による画像マスクの生成処理の概念図を示す。生成手段３３４は、取得手段３３３が取得したスクリーンショット画像（Ａ〜Ａ^N’）のいずれか１枚を基準の画像（以下、基準画像という）とする。図７では基準画像を画像Ａとしている。生成手段３３４は、基準画像と、その他のスクリーンショット画像とをそれぞれ比較し、差分がある画素を差分画像として生成する。図７では、基準画像と、各画像Ａ’〜Ａ^N’との差分画像を、差分画像Ａ^dif_1〜Ａ^dif_Nとして示している。そして生成手段３３４は、全ての差分画像Ａ^dif_1〜Ａ^dif_Nを合成してマスクを生成する。つまり生成手段３３４は、全スクリーンショット画像のうち、差分が生じた画素領域を覆うように、画像マスクを生成する。

照合手段３３５は、生成手段３３４に基づき生成された画像マスクに基づき、バージョンアップ前後の表示画面を画像照合する。図８に、本開示の一実施形態に係る情報処理システム１による画像照合の概念図を示す。照合手段３３５は、生成手段３３４が生成した画像マスクにより、バージョンアップ前後のスクリーンショット画像に対してそれぞれ画像マスクを適用し、マスク処理を施す。図８では、バージョンアップ前後のスクリーンショット画像を、それぞれ画像Ａ及び画像Ｂと表記している。また図８では、バージョンアップ前後のスクリーンショット画像に画像マスクを適用してマスク処理を施した画像を、それぞれ画像Ａ^offi及び画像Ｂ^offiと表記している。照合手段３３５は、画像マスクが適用されたバージョンアップ前後のスクリーンショット画像に基づき、画像照合を行い、照合結果を出力する。換言すると照合手段３３５は、バージョンアップ前後のスクリーンショット画像のうち、画像マスク部分以外について画像照合を行い、照合結果を出力する。例えば照合結果は、正常又は異常の２値をとり得る。照合手段３３５は、画像照合により差分が無い場合、正常として出力する。他方で照合手段３３５は、画像照合により差分がある場合、異常として出力する。照合結果の出力態様はこれに限られず、例えば照合手段３３５は、差分がある位置を特定する情報を出力してもよい。

表示手段３３６は、照合手段３３５による照合結果を表示する。例えば照合結果が正常又は異常の２値である場合、表示手段３３６は、当該２値のいずれかを表示する。あるいは照合手段３３５が、差分がある位置を特定する情報を出力した場合、表示手段３３６は、当該位置の情報に基づき、表示画面中において差分が生じた場所をハイライト表示するようにしてもよい。

次に、図９に示すフローチャートを参照し、本開示の一実施形態に係る情報処理システム１の動作の概要を説明する。

ステップＳ１０：記憶手段３３１は、画像マスクの生成に用いられる情報を記憶部３２に記憶する。当該情報は、例えばシンボル情報を含む。

ステップＳ２０：決定手段３３２は、シンボル情報に基づき、取得時間及び取得タイミングを決定する。

ステップＳ３０：取得手段３３３は、決定手段３３２により決定された取得時間及び取得タイミングによりスクリーンショット画像を取得する。換言すると取得手段３３３は、表示画面に含まれるシンボルのリフレッシュ周期に基づき定めた取得時間及び取得タイミングで複数のスクリーンショット画像を取得する。取得手段３３３が取得するスクリーンショット画像は、バージョンアップ前の表示画面から取得されてもよく、あるいはバージョンアップ後の表示画面から取得されてもよい。

ステップＳ４０：生成手段３３４は、取得手段３３３が取得した複数のスクリーンショット画像同士の差分を抽出して画像マスクを生成する。

ステップＳ５０：照合手段３３５は、生成手段３３４に基づき生成された画像マスクに基づき、バージョンアップ前後の表示画面を画像照合する。具体的には照合手段３３５は、バージョンアップ前後のソフトウェアの表示画面にかかるスクリーンショット画像のうち、画像マスク部分以外について画像照合を行い、照合結果を出力する。

ステップＳ６０：表示手段３３６は、照合手段３３５による照合結果を表示する。

上述した情報処理システム１の動作によれば、画像マスクが自動的に生成されるため、画像マスクの生成の手間を大幅に省くことができる。したがって、ソフトウェアの表示画面をテストする技術の利便性が向上する。

本開示を諸図面及び実施例に基づき説明してきたが、当業者であれば本開示に基づき種々の変形及び修正を行うことが容易であることに注意されたい。したがって、これらの変形及び修正は本発明の範囲に含まれることに留意されたい。例えば、各手段、各ステップ等に含まれる機能等は論理的に矛盾しないように再配置可能であり、複数の手段又はステップ等を１つに組み合わせたり、或いは分割したりすることが可能である。

例えば、上述した実施形態に係る表示装置１０、入力装置２０、及び情報処理装置３０のうち少なくとも２つが、１つの装置として構成されてもよい。また例えば、情報処理装置３０の各構成又は各手段が、複数の情報処理装置に分散配置された構成も可能である。当該複数の情報処理装置のうち少なくとも１つが、例えばインターネット等のネットワークに接続されたサーバとして実現される構成も可能である。

また、上述した実施形態において、図９を参照して情報処理システム１の動作の例について説明した。しかしながら、上述した動作に含まれる一部のステップ、又は１つのステップに含まれる一部の動作が、論理的に矛盾しない範囲内において省略された構成も可能である。また、上述した動作に含まれる複数のステップの順番が、論理的に矛盾しない範囲内において入れ替わった構成も可能である。

また、上述した実施形態において、情報処理装置３０の制御部３３によって実現される各種の手段をソフトウェア構成として説明したが、これらのうち少なくとも一部の手段は、ソフトウェア資源及び／又はハードウェア資源を含む概念であってもよい。例えば、記憶手段３３１は、１つ以上のメモリを含んでもよい。また例えば、表示手段３３６は、１つ以上のディスプレイ装置又は印刷装置等を含んでもよい。

また、上述した実施形態に係る情報処理装置３０として機能させるために、コンピュータ又は携帯電話等の装置を用いることができる。当該装置は、実施形態に係る情報処理装置３０の各機能を実現する処理内容を記述したプログラムを、当該装置のメモリに格納し、当該装置のプロセッサによって当該プログラムを読み出して実行させることによって実現可能である。

また決定手段３３２が取得時間及び取得タイミングを決定する方法は、上記の方法に限られず、各種の変形が可能である。以下に、決定方法の変形例１〜３について説明する。

（変形例１）
上述の決定方法と同様、決定手段３３２は、表示画面に含まれる各シンボルのリフレッシュ周期及び変化数に基づき取得時間を決定するが、数式（１）を用いずに別の数式を用いてこれらを決定する。具体的には決定手段３３２は、以下の数式（３）に基づき取得時間を決定する。
取得時間=max(f_i×(n_i-α)+β) i∈I （３）

ここでα及びβは定数であり、例えばいずれも１である。以下α及びβはいずれも１である場合について説明するが、α及びβはこれに限られず、αは０＜α≦n_i−１を満たす任意の数値であればよく、βは０以上の任意の数値であればよい。

具体的には決定手段３３２は、各シンボルのリフレッシュ周期及び変化数により定まる時間（以下、第２の時間という）をシンボル毎に定め、各シンボルの第２の時間のうち最大のものを取得時間として決定する。図４に示す例においては、シンボルＡ、シンボルＢ、及びシンボルＣに係る第２の時間は、それぞれ５秒、４秒、及び６秒である。したがってこの場合、決定手段３３２は取得時間を６秒と決定する。記憶手段３３１は、シンボル情報として、第２の時間の情報を各シンボルに対応付けて記憶部３２に記憶してもよい。図１０に、第２の時間を含むシンボル情報を示す。

また決定手段３３２は、表示画面に含まれる各シンボルのリフレッシュ周期に基づき取得タイミングを決定する。具体的には決定手段３３２は、数式（２）に基づき取得タイミングを決定する。図４に示す例においては、決定手段３３２は、取得タイミングを２秒毎と決定する。したがって図４に示す例において、決定手段３３２は、６秒間の取得時間において、最初のスクリーンショット画像を取得してから２秒毎にスクリーンショット画像を取得すると決定する。すなわちこの場合、最初のスクリーンショット画像の取得時を０秒とすると、取得手段３３３は、０秒、２秒、４秒、６秒のタイミングでスクリーンショット画像を取得する。なお最初のスクリーンショット画像の取得時は、シンボルのリフレッシュ周期のタイミングと一致するとは限らない。

変形例１の決定方法によれば、上述の実施形態における決定方法よりも少ない取得時間で必要なスクリーンショット画像を収集できる。これは、全てのシンボルについて全ての変化パターンを網羅しなくとも、各シンボルについて少なくとも１つの変化パターンが生じれば画像マスクを生成できることに基づく。このように変形例１によれば、より少ない枚数のスクリーンショット画像に基づきマスクを生成でき、マスク生成に係る装置の処理負荷を低減することができる。

（変形例２）
変形例２では、決定手段３３２は、表示画面に含まれる各シンボルのリフレッシュ周期のうち、最大のリフレッシュ周期に基づき取得時間を決定する。具体的には決定手段３３２は、以下の数式（４）に基づき取得時間を決定する。
取得時間=max(f_i) i∈I （４）

すなわち決定手段３３２は、図４に示す例において、取得時間を５秒と決定する。

また決定手段３３２は、表示画面に含まれる各シンボルのリフレッシュ周期に基づき取得タイミングを決定する。具体的には決定手段３３２は、各リフレッシュ周期に対応する時間を取得タイミングとする。つまり、図４に示す例において、決定手段３３２は取得タイミングを最初のスクリーンショット画像を取得した２秒後、３秒後、５秒後と決定する。すなわちこの場合、最初のスクリーンショット画像の取得時を０秒とすると、取得手段３３３は、０秒、２秒、３秒、５秒のタイミングでスクリーンショット画像を取得する。なお最初のスクリーンショット画像の取得時は、シンボルのリフレッシュ周期のタイミングと一致するとは限らない。

変形例２の決定方法によれば、リフレッシュ周期の異なる複数のシンボルが表示画面に含まれる場合において、各リフレッシュ周期に応じた取得タイミングで複数のスクリーンショット画像を取得する。そのため上述の実施形態における決定方法よりも少ない取得時間で必要なスクリーンショット画像を収集できる。これは、全てのシンボルについて全ての変化パターンを網羅しなくとも、シンボルの変化が生じる前後のスクリーンショット画像を取得すれば、画像マスクを生成できることに基づく。このように変形例２によれば、少ない枚数のスクリーンショット画像に基づきマスクを生成でき、マスク生成に係る装置の処理負荷を低減することができる。

（変形例３）
決定手段３３２は、表示画面に含まれる各シンボルのリフレッシュ周期のうち、最大のリフレッシュ周期に基づき取得時間を決定する。具体的には決定手段３３２は、上記数式（４）に基づき取得時間を決定する。すなわち決定手段３３２は、図４に示す例において、取得時間を５秒と決定する。

また決定手段３３２は、表示画面に含まれる各シンボルのリフレッシュ周期に基づき取得タイミングを決定する。具体的には決定手段３３２は、上記数式（２）に基づき取得タイミングを決定する。図４に示す例においては、決定手段３３２は、取得タイミングを２秒毎と決定する。したがって図４に示す例において、決定手段３３２は、５秒間の取得時間において、最初のスクリーンショット画像を取得してから２秒毎にスクリーンショット画像を取得すると決定する。すなわちこの場合、最初のスクリーンショット画像の取得時を０秒とすると、決定手段３３２は、０秒、２秒、４秒のタイミングでスクリーンショット画像を取得すると決定する。なお最初のスクリーンショット画像の取得時は、シンボルのリフレッシュ周期のタイミングと一致するとは限らない。

変形例３の決定方法によれば、フレッシュ周期の異なる複数のシンボルが表示画面に含まれる場合において、最大のリフレッシュ周期に基づき定めた取得時間で、最小のリフレッシュ周期に基づき定めた取得タイミングで複数のスクリーンショット画像を取得する。そのため上述の実施形態における決定方法よりも少ない取得時間で必要なスクリーンショット画像を収集できる。これは、全てのシンボルについて全ての変化パターンを網羅しなくとも、最大リフレッシュ周期のシンボルに変化があるまでのどこかのタイミングで、残りのシンボルの変化後のスクリーンショット画像も得られ、これらにより画像マスクを生成できることに基づく。このように変形例３によれば、より少ない枚数のスクリーンショット画像に基づきマスクを生成でき、マスク生成に係る装置の処理負荷を低減することができる。

なお、上述の実施形態及び変形例１〜３において、決定手段３３２は、各シンボルの変化のしやすさに基づき、各シンボルに優先度をつけて上記の取得時間及び取得タイミングを調整してもよい。例えば決定手段３３２は、変化しにくいシンボルを、取得時間及び取得タイミングを決定する際に対象外としてもよい。具体的には例えば決定手段３３２は、各シンボルが変化する頻度（以下、変化頻度という）が所定の閾値未満である場合、当該シンボルを、取得時間及び取得タイミングを決定する際に考慮対象としなくてもよい。換言すると決定手段３３２は、変化頻度が所定値以上のシンボルにかかるリフレッシュ周期及び変化数に基づき取得時間及び取得タイミングを決定してもよい。このようにすることで、より少ない枚数のスクリーンショット画像に基づきマスクを生成でき、マスク生成に係る装置の処理負荷を低減することができる。

１ 情報処理システム
１０ 表示装置
２０ 入力装置
３０ 情報処理装置
３１ 通信部
３２ 記憶部
３３ 制御部
３３０ 入力手段
３３１ 記憶手段
３３２ 決定手段
３３３ 取得手段
３３４ 生成手段
３３５ 照合手段
３３６ 表示手段
４１〜４３、４１’〜４３’ 領域

Claims (9)

1. 画像照合によってソフトウェアのバージョンアップ前後の表示画面のテストを実行する情報処理システムであって、
   バージョンアップ前の表示画面又はバージョンアップ後の表示画面のいずれか一方にかかる複数のスクリーンショット画像を取得する取得手段と、
   前記複数のスクリーンショット画像同士の差分を抽出し、抽出した差分画像を合成して画像マスクを生成する生成手段と、
   前記画像マスクの部分以外について前記バージョンアップ前後の表示画面を画像照合する照合手段と、
   を備える情報処理システム。
2. 画像照合によってソフトウェアのバージョンアップ前後の表示画面のテストを実行する情報処理システムであって、
   バージョンアップ前の表示画面又はバージョンアップ後の表示画面のいずれか一方にかかる複数のスクリーンショット画像を取得する取得手段と、
   前記複数のスクリーンショット画像同士の差分を抽出して画像マスクを生成する生成手段と、
   前記画像マスクに基づき前記バージョンアップ前後の表示画面を画像照合する照合手段と、
   を備え、
   前記取得手段は、前記表示画面に含まれるシンボルのリフレッシュ周期に基づき定めた取得時間及び取得タイミングで前記複数のスクリーンショット画像を取得する、情報処理システム。
3. 請求項２に記載の情報処理システムであって、
   前記取得手段は、リフレッシュ周期の異なる複数のシンボルが前記表示画面に含まれる場合、各リフレッシュ周期に応じた取得タイミングで前記複数のスクリーンショット画像を取得する、情報処理システム。
4. 請求項２に記載の情報処理システムであって、
   前記取得手段は、リフレッシュ周期の異なる複数のシンボルが前記表示画面に含まれる場合、最大のリフレッシュ周期に基づき定めた取得時間で、最小のリフレッシュ周期に基づき定めた取得タイミングで前記複数のスクリーンショット画像を取得する情報処理システム。
5. 画像照合によってソフトウェアのバージョンアップ前後の表示画面のテストを実行する情報処理装置であって、
   バージョンアップ前の表示画面又はバージョンアップ後の表示画面のいずれか一方にかかる複数のスクリーンショット画像を取得する取得手段と、
   前記複数のスクリーンショット画像同士の差分を抽出し、抽出した差分画像を合成して画像マスクを生成する生成手段と、
   前記画像マスクの部分以外について前記バージョンアップ前後の表示画面を画像照合する照合手段と、
   を備える情報処理装置。
6. 画像照合によってソフトウェアのバージョンアップ前後の表示画面のテストを実行する情報処理システムであって、バージョンアップ前の表示画面又はバージョンアップ後の表示画面のいずれか一方にかかる複数のスクリーンショット画像を取得する取得手段と、前記複数のスクリーンショット画像同士の差分を抽出し、抽出した差分画像を合成して画像マスクを生成する生成手段と、前記画像マスクの部分以外について前記バージョンアップ前後の表示画面を画像照合する照合手段と、を備える情報処理システムを構成するために、
   前記取得手段、前記生成手段、及び前記照合手段の少なくとも１を備える、情報処理装置。
7. 画像照合によってソフトウェアのバージョンアップ前後の表示画面のテストを実行する情報処理装置を、
   バージョンアップ前の表示画面又はバージョンアップ後の表示画面のいずれか一方にかかる複数のスクリーンショット画像を取得する取得手段と、
   前記複数のスクリーンショット画像同士の差分を抽出し、抽出した差分画像を合成して画像マスクを生成する生成手段と、
   前記画像マスクの部分以外について前記バージョンアップ前後の表示画面を画像照合する照合手段と、
   して機能させる、プログラム。
8. 通信可能に接続された複数の情報処理装置によって構成され、
   バージョンアップ前の表示画面又はバージョンアップ後の表示画面のいずれか一方にかかる複数のスクリーンショット画像を取得する取得手段と、
   前記複数のスクリーンショット画像同士の差分を抽出し、抽出した差分画像を合成して画像マスクを生成する生成手段と、
   前記画像マスクの部分以外についてバージョンアップ前後の表示画面を画像照合する照合手段と、を備える情報処理システムにおける前記複数の情報処理装置のうち１つの情報処理装置を、
   前記取得手段、前記生成手段、及び前記照合手段の少なくとも１として機能させるプログラム。
9. 画像照合によってソフトウェアのバージョンアップ前後の表示画面のテストを実行する情報処理方法であって、
   バージョンアップ前の表示画面又はバージョンアップ後の表示画面のいずれか一方にかかる複数のスクリーンショット画像を取得するステップと、
   前記複数のスクリーンショット画像同士の差分を抽出し、抽出した差分画像を合成して画像マスクを生成するステップと、
   前記画像マスクの部分以外について前記バージョンアップ前後の表示画面を画像照合するステップと、
   を備える情報処理方法。

Images