JPWO2020202337A1 - Image generator, test system, image generation method and program - Google Patents

Image generator, test system, image generation method and program Download PDF

Info

Publication number
JPWO2020202337A1
JPWO2020202337A1 JP2021511712A JP2021511712A JPWO2020202337A1 JP WO2020202337 A1 JPWO2020202337 A1 JP WO2020202337A1 JP 2021511712 A JP2021511712 A JP 2021511712A JP 2021511712 A JP2021511712 A JP 2021511712A JP WO2020202337 A1 JPWO2020202337 A1 JP WO2020202337A1
Authority
JP
Japan
Prior art keywords
image
operating environment
component
unit
software
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
JP2021511712A
Other languages
Japanese (ja)
Inventor
英里 酒井
拓矢 荒尾
忠隆 浅川
隆良 ▲高▼原
悠平 小糸
哲志 升野
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Publication of JPWO2020202337A1 publication Critical patent/JPWO2020202337A1/en
Pending legal-status Critical Current

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00Error detection; Error correction; Monitoring
    • G06F11/36Preventing errors by testing or debugging software
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Human Computer Interaction (AREA)
  • Debugging And Monitoring (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

画像生成装置(10)において、取得部(110)は、テスト対象のソフトウェアが第1の動作環境で動作した場合に表示される第1の画像であって、第1の動作環境と第1の動作環境とは異なる第2の動作環境とで表示が異なる部品の画像を含む第1の画像を取得する。生成部(120)は、取得部(110)により取得された第1の画像から、第1の画像に含まれる部品の画像が第2の動作環境での部品の画像に置換された第2の画像を生成する。In the image generator (10), the acquisition unit (110) is a first image displayed when the software to be tested operates in the first operating environment, and is the first operating environment and the first operating environment. The first image including the image of the component whose display is different from that of the second operating environment different from the operating environment is acquired. The generation unit (120) has a second image in which the image of the component included in the first image is replaced with the image of the component in the second operating environment from the first image acquired by the acquisition unit (110). Generate an image.

Description

本発明は、画像生成装置、テストシステム、画像生成方法及びプログラムに関する。 The present invention relates to an image generator, a test system, an image generation method and a program.

ソフトウェアのテストを効率化する手法が知られている。例えば、特許文献1は、アプリケーションへの操作コマンドで得られる操作画面を予測画面と照合することで試験の合否を判定するアプリケーション試験装置を開示している。より詳細には、特許文献1に開示されたアプリケーション試験装置は、実行環境の違いにより部品の表示位置が異なる場合であっても操作画面を予測画面と照合することができるように、部品の表示位置を補正する。また、特許文献2は、異なる環境での表示結果を示す画像を比較することにより、テストの合否を判定する合否判定装置を開示している。より詳細には、特許文献2に開示された合否判定装置は、環境によってサイズが異なる画像同士を比較できるようにするため、画像のサイズを変更する。 Techniques are known to streamline software testing. For example, Patent Document 1 discloses an application test apparatus that determines pass / fail of a test by collating an operation screen obtained by an operation command to an application with a prediction screen. More specifically, the application test apparatus disclosed in Patent Document 1 displays parts so that the operation screen can be collated with the prediction screen even when the display position of the parts differs due to a difference in the execution environment. Correct the position. Further, Patent Document 2 discloses a pass / fail determination device for determining pass / fail of a test by comparing images showing display results in different environments. More specifically, the pass / fail determination device disclosed in Patent Document 2 changes the size of an image so that images having different sizes can be compared depending on the environment.

特開2016−173619号公報Japanese Unexamined Patent Publication No. 2016-173619 特開2017−138715号公報Japanese Unexamined Patent Publication No. 2017-138715

上記のようなソフトウェアのテストにおいて、テスト対象のソフトウェアが動作した場合に表示される画像がソフトウェアの動作環境によって異なる場合がある。このような場合、テスト対象のソフトウェアが動作した場合に表示される画像と比較してテスト結果を判定するための画像を、ソフトウェアの動作環境の個数分、用意する必要がある。そのため、テストの工数が多くなり、作業者に大きな負担がかかるとの課題がある。 In the software test as described above, the image displayed when the software under test operates may differ depending on the operating environment of the software. In such a case, it is necessary to prepare as many images as the number of operating environments of the software for judging the test result by comparing with the image displayed when the software to be tested operates. Therefore, there is a problem that the man-hours for the test increase and the worker is burdened with a large burden.

本発明は、上述のような課題を解決するためになされたものであり、ソフトウェアのテストの工数を削減することが可能な画像生成装置等を提供することを目的とする。 The present invention has been made to solve the above-mentioned problems, and an object of the present invention is to provide an image generator or the like capable of reducing the man-hours for testing software.

上記目的を達成するため、本発明に係る画像生成装置は、
テスト対象のソフトウェアが第1の動作環境で動作した場合に表示される第1の画像であって、前記第1の動作環境と前記第1の動作環境とは異なる第2の動作環境とで表示が異なる部品の画像を含む前記第1の画像を取得する取得手段と、
前記取得手段により取得された前記第1の画像から、前記第1の画像に含まれる前記部品の画像が前記第2の動作環境での前記部品の画像に置換された第2の画像を生成する生成手段と、を備える。
In order to achieve the above object, the image generator according to the present invention is
It is a first image displayed when the software to be tested operates in the first operating environment, and is displayed in the first operating environment and the second operating environment different from the first operating environment. The acquisition means for acquiring the first image including the images of different parts, and
From the first image acquired by the acquisition means, a second image is generated in which the image of the component included in the first image is replaced with the image of the component in the second operating environment. It is provided with a generation means.

本発明は、テスト対象のソフトウェアが第1の動作環境で動作した場合に表示される第1の画像から、第1の動作環境と第2の動作環境とで表示が異なる部品の画像が第2の動作環境での部品の画像に置換された第2の画像を生成する。従って、本発明によれば、ソフトウェアのテストの工数を削減することができる。 In the present invention, from the first image displayed when the software under test operates in the first operating environment, the image of the component whose display differs between the first operating environment and the second operating environment is the second. Generates a second image replaced with an image of the part in the operating environment of. Therefore, according to the present invention, the man-hours for testing software can be reduced.

本発明の実施の形態1に係るテストシステムの全体構成を示す図The figure which shows the whole structure of the test system which concerns on Embodiment 1 of this invention. 実施の形態1に係る画像生成装置のハードウェア構成を示すブロック図A block diagram showing a hardware configuration of an image generator according to the first embodiment. 実施の形態1に係るテスト装置のハードウェア構成を示すブロック図A block diagram showing a hardware configuration of the test apparatus according to the first embodiment. 実施の形態1に係る画像生成装置及びテスト装置の機能的な構成を示すブロック図A block diagram showing a functional configuration of the image generation device and the test device according to the first embodiment. 実施の形態1における第1の動作環境での期待結果画像の例を示す図The figure which shows the example of the expected result image in the 1st operating environment in Embodiment 1. 実施の形態1における部品画像DBに記憶されている情報の例を示す図The figure which shows the example of the information stored in the part image DB in Embodiment 1. 実施の形態1において、入力画像のうちから環境依存部品が特定された例を示す図The figure which shows the example which the environment-dependent component was specified from the input image in Embodiment 1. 実施の形態1において、環境依存部品の画像が置換された期待結果画像の例を示す図The figure which shows the example of the expected result image which was replaced with the image of the environment-dependent component in Embodiment 1. 実施の形態1における画面情報DBに記憶されている情報の例を示す図The figure which shows the example of the information stored in the screen information DB in Embodiment 1. 実施の形態1に係るテスト装置により出力されるテスト結果の表示例を示す図The figure which shows the display example of the test result output by the test apparatus which concerns on Embodiment 1. 実施の形態1に係る画像生成装置により実行される処理の流れを示すフローチャートA flowchart showing a flow of processing executed by the image generator according to the first embodiment. 実施の形態1に係るテスト装置により実行される処理の流れを示すフローチャートA flowchart showing the flow of processing executed by the test apparatus according to the first embodiment. 本発明の実施の形態2に係る画像生成装置の機能的な構成を示すブロック図A block diagram showing a functional configuration of the image generator according to the second embodiment of the present invention. 実施の形態2において、入力画像から部分画像が切り出された例を示す図The figure which shows the example which the partial image was cut out from the input image in Embodiment 2. 本発明の実施の形態3に係る画像生成装置の機能的な構成を示すブロック図A block diagram showing a functional configuration of an image generator according to a third embodiment of the present invention. 実施の形態3における部品情報DBに記憶されている情報の例を示す図The figure which shows the example of the information stored in the part information DB in Embodiment 3.

以下、本発明の実施の形態について、図面を参照しながら詳細に説明する。なお、図中同一又は相当部分には同一符号を付す。 Hereinafter, embodiments of the present invention will be described in detail with reference to the drawings. The same or corresponding parts in the figure are designated by the same reference numerals.

(実施の形態1)
図1に、実施の形態1に係るテストシステム1の全体構成を示す。テストシステム1は、複数の異なる動作環境においてソフトウェアの動作をテストするためのシステムである。図1に示すように、テストシステム1は、画像生成装置10と、テスト装置30と、を備える。画像生成装置10及びテスト装置30は、いずれも、パーソナルコンピュータ、タブレット端末、サーバ等の情報処理装置である。
(Embodiment 1)
FIG. 1 shows the overall configuration of the test system 1 according to the first embodiment. The test system 1 is a system for testing the operation of software in a plurality of different operating environments. As shown in FIG. 1, the test system 1 includes an image generation device 10 and a test device 30. The image generation device 10 and the test device 30 are both information processing devices such as a personal computer, a tablet terminal, and a server.

画像生成装置10は、テスト対象のソフトウェアが特定の動作環境で動作した場合における期待結果画像A1を入力として受け付けて、そのソフトウェアが互いに異なる複数の動作環境で動作した場合における複数の期待結果画像A1,A2,A3…を出力する。図2に示すように、画像生成装置10は、制御部11と、記憶部12と、操作部13と、表示部14と、通信部15と、を備える。これら各部は通信バスを介して接続されている。 The image generation device 10 accepts the expected result image A1 when the software to be tested operates in a specific operating environment as an input, and a plurality of expected result images A1 when the software operates in a plurality of operating environments different from each other. , A2, A3 ... are output. As shown in FIG. 2, the image generation device 10 includes a control unit 11, a storage unit 12, an operation unit 13, a display unit 14, and a communication unit 15. Each of these parts is connected via a communication bus.

制御部11は、CPU(Central Processing Unit)、ROM(Read Only Memory)及びRAM(Random Access Memory)を備える。CPUは、中央処理装置、中央演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、DSP(Digital Signal Processor)等とも呼び、画像生成装置10の制御に係る処理及び演算を実行する中央演算処理部である。制御部11において、CPUは、ROMに格納されているプログラム及びデータを読み出し、RAMをワークエリアとして用いて、画像生成装置10を統括制御する。 The control unit 11 includes a CPU (Central Processing Unit), a ROM (Read Only Memory), and a RAM (Random Access Memory). The CPU is also called a central processing unit, a central processing unit, a processor, a microprocessor, a microcomputer, a DSP (Digital Signal Processor), or the like, and is a central processing unit that executes processing and operations related to the control of the image generation device 10. In the control unit 11, the CPU reads out the programs and data stored in the ROM, and uses the RAM as a work area to collectively control the image generation device 10.

記憶部12は、フラッシュメモリ、EPROM(Erasable Programmable ROM)、EEPROM(Electrically Erasable Programmable ROM)等の不揮発性の半導体メモリであって、いわゆる二次記憶装置又は補助記憶装置としての役割を担う。記憶部12は、制御部11が各種処理を行うために使用するプログラム及びデータを記憶する。また、制御部11が各種処理を行うことにより生成又は取得するデータを記憶する。 The storage unit 12 is a non-volatile semiconductor memory such as a flash memory, an EPROM (Erasable Programmable ROM), or an EEPROM (Electrically Erasable Programmable ROM), and serves as a so-called secondary storage device or auxiliary storage device. The storage unit 12 stores programs and data used by the control unit 11 to perform various processes. In addition, the control unit 11 stores data generated or acquired by performing various processes.

操作部13は、キーボード、マウス、ボタン、タッチパッド、タッチパネル等の入力デバイスを備えており、ユーザから操作を受け付ける。ユーザは、操作部13を操作することによって、様々な指示を画像生成装置10に入力することができる。操作部13は、ユーザから入力された操作指示を受け付けると、受け付けた操作指示を制御部11に送信する。 The operation unit 13 includes input devices such as a keyboard, mouse, buttons, touch pad, and touch panel, and receives operations from the user. The user can input various instructions to the image generation device 10 by operating the operation unit 13. When the operation unit 13 receives the operation instruction input from the user, the operation unit 13 transmits the received operation instruction to the control unit 11.

表示部14は、液晶ディスプレイ、有機EL(Electro Luminescence)ディスプレイ等の表示デバイスを備える。表示部14は、図示しない表示駆動回路によって駆動され、制御部11による制御のもとで様々な画像を表示する。 The display unit 14 includes a display device such as a liquid crystal display or an organic EL (Electro Luminescence) display. The display unit 14 is driven by a display drive circuit (not shown) and displays various images under the control of the control unit 11.

通信部15は、テスト装置30を含む外部の装置と通信するための通信インタフェースを備える。通信部15は、外部の装置との間で、有線LAN(Local Area Network)、無線LAN、USB(Universal Serial Bus)、Bluetooth(登録商標)等の周知の通信規格に則って通信する。 The communication unit 15 includes a communication interface for communicating with an external device including the test device 30. The communication unit 15 communicates with an external device in accordance with well-known communication standards such as a wired LAN (Local Area Network), a wireless LAN, a USB (Universal Serial Bus), and Bluetooth (registered trademark).

図1に戻って、テスト装置30は、画像生成装置10により出力された期待結果画像A1,A2,A3…を入力として受け付けて、ソフトウェアのテストを実行する。図3に示すように、テスト装置30は、制御部31と、記憶部32と、操作部33と、表示部34と、通信部35と、を備える。これら各部は通信バスを介して接続されている。 Returning to FIG. 1, the test apparatus 30 accepts the expected result images A1, A2, A3 ... Output by the image generation apparatus 10 as inputs, and executes the software test. As shown in FIG. 3, the test device 30 includes a control unit 31, a storage unit 32, an operation unit 33, a display unit 34, and a communication unit 35. Each of these parts is connected via a communication bus.

制御部31は、CPU、ROM及びRAMを備える。CPUは、中央処理装置、中央演算装置、プロセッサ、マイクロプロセッサ、マイクロコンピュータ、DSP等とも呼び、テスト装置30の制御に係る処理及び演算を実行する中央演算処理部である。制御部31において、CPUは、ROMに格納されているプログラム及びデータを読み出し、RAMをワークエリアとして用いて、テスト装置30を統括制御する。 The control unit 31 includes a CPU, a ROM, and a RAM. The CPU is also called a central processing unit, a central processing unit, a processor, a microprocessor, a microcomputer, a DSP, or the like, and is a central processing unit that executes processing and operations related to the control of the test device 30. In the control unit 31, the CPU reads out the programs and data stored in the ROM, and uses the RAM as a work area to control the test device 30 in an integrated manner.

記憶部32は、フラッシュメモリ、EPROM、EEPROM等の不揮発性の半導体メモリであって、いわゆる二次記憶装置又は補助記憶装置としての役割を担う。記憶部32は、制御部31が各種処理を行うために使用するプログラム及びデータを記憶する。また、制御部31が各種処理を行うことにより生成又は取得するデータを記憶する。 The storage unit 32 is a non-volatile semiconductor memory such as a flash memory, EPROM, or EEPROM, and serves as a so-called secondary storage device or auxiliary storage device. The storage unit 32 stores programs and data used by the control unit 31 to perform various processes. In addition, the control unit 31 stores data generated or acquired by performing various processes.

操作部33は、キーボード、マウス、ボタン、タッチパッド、タッチパネル等の入力デバイスを備えており、ユーザから操作を受け付ける。ユーザは、操作部33を操作することによって、様々な指示をテスト装置30に入力することができる。操作部33は、ユーザから入力された操作指示を受け付けると、受け付けた操作指示を制御部31に送信する。 The operation unit 33 includes input devices such as a keyboard, mouse, buttons, touch pad, and touch panel, and receives operations from the user. The user can input various instructions to the test device 30 by operating the operation unit 33. When the operation unit 33 receives the operation instruction input from the user, the operation unit 33 transmits the received operation instruction to the control unit 31.

表示部34は、液晶ディスプレイ、有機ELディスプレイ等の表示デバイスを備える。表示部34は、図示しない表示駆動回路によって駆動され、制御部31による制御のもとで様々な画像を表示する。 The display unit 34 includes display devices such as a liquid crystal display and an organic EL display. The display unit 34 is driven by a display drive circuit (not shown) and displays various images under the control of the control unit 31.

通信部35は、画像生成装置10を含む外部の装置と通信するための通信インタフェースを備える。通信部35は、外部の装置との間で、有線LAN、無線LAN、USB、Bluetooth(登録商標)等の周知の通信規格に則って通信する。 The communication unit 35 includes a communication interface for communicating with an external device including the image generation device 10. The communication unit 35 communicates with an external device in accordance with well-known communication standards such as wired LAN, wireless LAN, USB, and Bluetooth (registered trademark).

次に、図4を参照して、画像生成装置10及びテスト装置30の機能的な構成について説明する。図4に示すように、画像生成装置10は、機能的に、取得部110と、生成部120と、変更部130と、出力部140と、を備える。生成部120は、特定部121と、置換部122と、の機能を含んでいる。これらの各機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、ROM又は記憶部12に格納される。そして、CPUが、ROM又は記憶部12に記憶されたプログラムを実行することによって、これらの各機能を実現する。 Next, with reference to FIG. 4, the functional configuration of the image generation device 10 and the test device 30 will be described. As shown in FIG. 4, the image generation device 10 functionally includes an acquisition unit 110, a generation unit 120, a change unit 130, and an output unit 140. The generation unit 120 includes the functions of the specific unit 121 and the replacement unit 122. Each of these functions is realized by software, firmware, or a combination of software and firmware. The software and firmware are described as a program and stored in the ROM or the storage unit 12. Then, the CPU realizes each of these functions by executing the program stored in the ROM or the storage unit 12.

また、画像生成装置10は、部品画像DB(DataBase)210と、画面情報DB220と、を備える。これらのデータベースは、記憶部12内の適宜の記憶領域に構築されており、それぞれ部品画像記憶手段及び画面情報記憶手段として機能する。 Further, the image generation device 10 includes a component image DB (DataBase) 210 and a screen information DB 220. These databases are constructed in an appropriate storage area in the storage unit 12, and function as component image storage means and screen information storage means, respectively.

取得部110は、入力画像として、テスト対象のソフトウェアが第1の動作環境X1で動作した場合に表示される期待結果画像A1を取得する。期待結果画像A1は、第1の動作環境X1とは異なる第2、第3…の動作環境X2,X3…での期待結果画像A2,A3…を生成するための元になる第1の画像である。 The acquisition unit 110 acquires the expected result image A1 displayed when the software to be tested operates in the first operating environment X1 as an input image. The expected result image A1 is a first image that is a source for generating expected result images A2, A3 ... In the second, third ... Operating environments X2, X3 ... Different from the first operating environment X1. be.

テスト対象のソフトウェアは、テストシステム1において動作がテストされるソフトウェアである。テスト対象のソフトウェアは、一例として、GUI(Graphical User Interface)画面を持つGUIソフトウェアである。テスト対象のソフトウェアの例として、スマートフォンで動作するアプリケーションソフトウェア、ブラウザで表示されるウェブアプリケーションソフトウェア等が挙げられる。 The software to be tested is the software whose operation is tested in the test system 1. The software to be tested is, for example, GUI software having a GUI (Graphical User Interface) screen. Examples of software to be tested include application software running on smartphones, web application software displayed on browsers, and the like.

動作環境とは、テスト対象のソフトウェアが動作するコンピュータ上の環境を意味する。動作環境の例として、コンピュータのOS(Operating System)、OSのバージョン、画面解像度等が挙げられる。例えば、テスト対象のソフトウェアがスマートフォンで動作する場合には、OSは、AndroidOS(登録商標)、iOS(登録商標)等である。或いは、テスト対象のソフトウェアがパーソナルコンピュータで動作する場合には、OSは、Windows(登録商標)、MacOS(登録商標)、Linux(登録商標)等である。 The operating environment means the environment on the computer on which the software under test is running. Examples of the operating environment include a computer OS (Operating System), an OS version, a screen resolution, and the like. For example, when the software to be tested operates on a smartphone, the OS is AndroidOS (registered trademark), iOS (registered trademark), or the like. Alternatively, when the software to be tested operates on a personal computer, the OS is Windows (registered trademark), MacOS (registered trademark), Linux (registered trademark), or the like.

期待結果画像とは、テスト対象のソフトウェアが正常に動作した場合に画面に表示される画像を意味する。言い換えると、期待結果画像は、テスト対象のソフトウェアが動作した場合に画面に表示されることが期待される画像である。 The expected result image means an image displayed on the screen when the software under test operates normally. In other words, the expected result image is an image that is expected to be displayed on the screen when the software under test operates.

期待結果画像は、テスト対象のソフトウェアが正常に動作するか否かを判定するために、そのソフトウェアが実際に動作した場合に表示される画像と比較される。具体的には、テスト対象のソフトウェアが実際に動作した場合に表示される画像が期待結果画像と合致する場合には、そのソフトウェアの動作は正常であると判定される。これに対して、テスト対象のソフトウェアが実際に動作した場合に表示される画像が期待結果画像と合致しない場合には、そのソフトウェアの動作が正常ではない、すなわち何らかの異常が発生していると判定される。 The expected result image is compared with the image displayed when the software under test actually works in order to determine whether the software under test works normally. Specifically, if the image displayed when the software to be tested actually operates matches the expected result image, it is determined that the operation of the software is normal. On the other hand, if the image displayed when the software under test actually operates does not match the expected result image, it is determined that the operation of the software is not normal, that is, some abnormality has occurred. Will be done.

図5に、取得部110により取得される期待結果画像A1の例を示す。期待結果画像A1は、一例として、スマートフォン上でアプリケーションソフトウェアが動作した場合に表示される画像である。図5に示すように、期待結果画像A1は、その上側の領域にステータスバーである部品P1と、その下側の領域にナビゲーションバーである部品P2と、を含んでいる。 FIG. 5 shows an example of the expected result image A1 acquired by the acquisition unit 110. The expected result image A1 is, for example, an image displayed when the application software is operated on the smartphone. As shown in FIG. 5, the expected result image A1 includes a component P1 which is a status bar in the upper region thereof and a component P2 which is a navigation bar in the region below the status bar.

期待結果画像A1は、テスト装置30において、第1の動作環境X1でテスト対象のソフトウェアが実行されることにより生成される。言い換えると、期待結果画像A1は、テスト装置30のソフトウェア動作部320がテスト対象のソフトウェアを動作させた場合に、その結果として画面に表示された画像に相当する。 The expected result image A1 is generated by executing the software to be tested in the first operating environment X1 in the test apparatus 30. In other words, the expected result image A1 corresponds to an image displayed on the screen as a result when the software operating unit 320 of the test apparatus 30 operates the software to be tested.

取得部110は、通信部15を介してテスト装置30と通信することにより、テスト装置30により生成された期待結果画像A1を取得する。或いは、取得部110は、テスト装置30により生成された期待結果画像A1を可搬型の記録媒体を介して取得しても良い。可搬型の記録媒体とは、CD(Compact Disc)−ROM、DVD(Digital Versatile Disc)−ROM、USB規格のコネクタが備えられているフラッシュメモリ等である。取得部110により取得される期待結果画像A1の圧縮形式は、png形式、jpeg形式、gif形式等、どのような形式であっても良い。取得部110は、制御部11が通信部15等と協働することにより実現される。取得部110は、取得手段として機能する。 The acquisition unit 110 acquires the expected result image A1 generated by the test device 30 by communicating with the test device 30 via the communication unit 15. Alternatively, the acquisition unit 110 may acquire the expected result image A1 generated by the test apparatus 30 via a portable recording medium. The portable recording medium is a CD (Compact Disc) -ROM, a DVD (Digital Versatile Disc) -ROM, a flash memory provided with a USB standard connector, or the like. The compression format of the expected result image A1 acquired by the acquisition unit 110 may be any format such as a png format, a jpg format, and a gif format. The acquisition unit 110 is realized by the control unit 11 cooperating with the communication unit 15 and the like. The acquisition unit 110 functions as an acquisition means.

図4に戻って、生成部120は、取得部110により取得された第1の画像である期待結果画像A1から、それぞれ第2、第3…の画像である期待結果画像A2,A3…を生成する。生成部120は、制御部11が記憶部12等と協働することにより実現される。生成部120は、生成手段として機能する。 Returning to FIG. 4, the generation unit 120 generates the expected result images A2, A3, which are the second, third ... Images, respectively, from the expected result image A1 which is the first image acquired by the acquisition unit 110. do. The generation unit 120 is realized by the control unit 11 cooperating with the storage unit 12 and the like. The generation unit 120 functions as a generation means.

ここで、期待結果画像A2,A3…は、それぞれ、テスト対象のソフトウェアが、第1の動作環境X1とは異なる第2、第3…の動作環境X2,X3…で動作した場合に画面に表示されることが期待される画像である。期待結果画像A1,A2,A3…は、それぞれ、テスト対象のソフトウェアが期待通りに動作するか否かをテストするために、そのソフトウェアが動作環境X1,X2,X3…で実際に動作した場合に表示される画像と比較される。 Here, the expected result images A2, A3 ... Are displayed on the screen when the software to be tested operates in the second, third ... Operating environments X2, X3 ... Different from the first operating environment X1, respectively. It is an image that is expected to be done. The expected result images A1, A2, A3 ... Are, respectively, when the software actually operates in the operating environment X1, X2, X3 ... In order to test whether the software to be tested operates as expected. Compared to the displayed image.

具体的に説明すると、同一のソフトウェアが動作した場合であっても、動作環境が異なると、画面に表示される画像が異なる場合がある。このように表示される画像が動作環境に依存する場合、ソフトウェアの動作をテストするためには、動作環境の個数分の期待結果画像を用意する必要がある。例えば、テスト対象のソフトウェアが異なる3つの動作環境で動作する場合には、3つの動作環境のそれぞれにおいて期待結果画像が必要となる。 Specifically, even when the same software operates, the images displayed on the screen may differ if the operating environment is different. When the image displayed in this way depends on the operating environment, it is necessary to prepare the expected result images for the number of operating environments in order to test the operation of the software. For example, when the software to be tested operates in three different operating environments, an expected result image is required in each of the three operating environments.

そのため、生成部120は、1つの動作環境X1における期待結果画像A1から、別の動作環境X2,X3…における期待結果画像A2,A3…を生成する。これにより、生成部120は、テスト装置30でテストを実行するために必要となる複数の期待結果画像A1,A2,A3…を得る。1つの期待結果画像A1を用意することで、テストに必要な全ての期待結果画像A1,A2,A3…を得ることができるため、ソフトウェアのテストの効率化が図られる。 Therefore, the generation unit 120 generates the expected result images A2, A3 ... In another operating environment X2, X3 ... From the expected result image A1 in one operating environment X1. As a result, the generation unit 120 obtains a plurality of expected result images A1, A2, A3 ... Required for executing the test in the test apparatus 30. By preparing one expected result image A1, all the expected result images A1, A2, A3 ... Required for the test can be obtained, so that the efficiency of the software test can be improved.

より詳細には、生成部120は、期待結果画像A1から期待結果画像A2,A3…を生成するために、特定部121及び置換部122の機能を有する。特定部121は、取得部110により取得された期待結果画像A1のうちから環境依存部品を特定する。 More specifically, the generation unit 120 has the functions of the specific unit 121 and the replacement unit 122 in order to generate the expected result images A2, A3 ... From the expected result image A1. The identification unit 121 identifies an environment-dependent component from the expected result image A1 acquired by the acquisition unit 110.

ここで、環境依存部品とは、ソフトウェアが動作した場合に表示される画像に含まれる部品の中で、その表示がソフトウェアの動作環境に依存する部品を意味する。言い換えると、環境依存部品は、ソフトウェアの動作環境が第1の動作環境X1であるか、第2の動作環境X2であるか、第3の動作環境X3であるか…によって、たとえ機能が同じであったとしても、画面における少なくとも一部の表示態様が異なる部品である。環境依存部品の例として、具体的には、ピッカー、ラジオボタン、ステータスバー、ナビゲーションバー、戻るボタン、テキスト入力フィールド、表等のような、ユーザインタフェースに関わるUI(User Interface)部品が挙げられる。 Here, the environment-dependent component means a component whose display depends on the operating environment of the software among the components included in the image displayed when the software operates. In other words, the environment-dependent components have the same function depending on whether the software operating environment is the first operating environment X1, the second operating environment X2, the third operating environment X3, and so on. Even if there is, it is a component having at least a part of the display mode different on the screen. Specific examples of environment-dependent components include UI (User Interface) components related to the user interface, such as pickers, radio buttons, status bars, navigation bars, back buttons, text input fields, and tables.

より詳細には、環境依存部品は、ソフトウェアの動作環境によってデザインが異なる部品である。ここで、部品のデザインとは、その部品の外観に関わる情報であって、色、形状、模様及びその他の態様を含む。部品のデザインは、部品が文字を含む場合にはそのフォントを含み、部品が図形、絵柄等を含む場合にはその内容を含む。具体的には、環境依存部品は、AndroidOS(登録商標)、iOS(登録商標)等のOSによってデザインが異なる部品に加えて、OSのバージョン、画面解像度等によってデザインが異なる部品が該当する。 More specifically, environment-dependent parts are parts whose designs differ depending on the operating environment of the software. Here, the design of a part is information related to the appearance of the part, and includes a color, a shape, a pattern, and other aspects. The design of a part includes the font when the part contains characters, and includes the content when the part contains figures, patterns, and the like. Specifically, the environment-dependent parts include parts having different designs depending on the OS such as AndroidOS (registered trademark) and iOS (registered trademark), as well as parts having different designs depending on the OS version, screen resolution, and the like.

以下では、図5に示した期待結果画像A1に含まれる部品P1,P2が環境依存部品である場合を例にとって説明する。 In the following, a case where the parts P1 and P2 included in the expected result image A1 shown in FIG. 5 are environment-dependent parts will be described as an example.

特定部121は、環境依存部品を特定するために、部品画像DB210を参照する。部品画像DB210は、複数の環境依存部品のそれぞれについて、複数の動作環境X1,X2,X3…のそれぞれでの画像を記憶している。 The specifying unit 121 refers to the component image DB 210 in order to identify the environment-dependent component. The component image DB 210 stores images in each of the plurality of operating environments X1, X2, X3 ... For each of the plurality of environment-dependent components.

図6に、部品画像DB210に記憶されている部品情報の例を示す。図6に示すように、部品画像DB210には、環境依存部品として、ピッカー、ラジオボタン、ステータスバー等が予め登録されている。これらは、取得部110により入力画像として取得される期待結果画像A1に含まれる可能性のある環境依存部品である。部品画像DB210は、このような環境依存部品のそれぞれについて、複数の動作環境X1,X2,X3…のそれぞれにおける画像データを対応付けて格納している。 FIG. 6 shows an example of component information stored in the component image DB 210. As shown in FIG. 6, a picker, a radio button, a status bar, and the like are registered in advance in the component image DB 210 as environment-dependent components. These are environment-dependent components that may be included in the expected result image A1 acquired as an input image by the acquisition unit 110. The component image DB 210 stores the image data in each of the plurality of operating environments X1, X2, X3 ... For each of such environment-dependent components in association with each other.

特定部121は、部品画像DB210に記憶されている複数の環境依存部品の第1の動作環境X1での画像と、取得部110により取得された期待結果画像A1と、に基づいて、期待結果画像A1のうちから環境依存部品を特定する。具体的に説明すると、特定部121は、部品画像DB210に記憶されている複数の環境依存部品のそれぞれの第1の動作環境X1での画像と、取得部110により取得された期待結果画像A1と、を比較する。 The specific unit 121 is an expected result image based on an image of a plurality of environment-dependent parts stored in the component image DB 210 in the first operating environment X1 and an expected result image A1 acquired by the acquisition unit 110. Identify environment-dependent parts from A1. Specifically, the specific unit 121 includes an image of each of the plurality of environment-dependent components stored in the component image DB 210 in the first operating environment X1 and an expected result image A1 acquired by the acquisition unit 110. , Compare.

これにより、特定部121は、部品画像DB210に記憶されている複数の環境依存部品のうちのいずれかに合致する部品が期待結果画像A1に含まれているか否かを判定する。判定の結果、部品画像DB210に記憶されている複数の環境依存部品のうちのいずれかに合致する部品が期待結果画像A1に含まれている場合、特定部121は、その部品を環境依存部品として特定する。 As a result, the specific unit 121 determines whether or not a component that matches any of the plurality of environment-dependent components stored in the component image DB 210 is included in the expected result image A1. As a result of the determination, when the expected result image A1 includes a component that matches any of the plurality of environment-dependent components stored in the component image DB 210, the specific unit 121 regards the component as an environment-dependent component. Identify.

具体的に説明すると、特定部121は、期待結果画像A1に含まれる部品P1,P2の画像を、部品画像DB210に記憶されている環境依存部品であるピッカー、ラジオボタン、ステータスバー等のそれぞれの動作環境X1での画像と、順次比較する。比較の結果、部品P1の画像とステータスバーの画像とが合致した場合、特定部121は、部品P1がステータスバーであると特定する。また、部品P2の画像とナビゲーションバーの画像とが合致した場合、特定部121は、部品P2がナビゲーションバーであると特定する。 Specifically, the specific unit 121 captures the images of the parts P1 and P2 included in the expected result image A1 of each of the environment-dependent parts such as the picker, the radio button, and the status bar stored in the part image DB 210. It is sequentially compared with the image in the operating environment X1. As a result of the comparison, when the image of the component P1 and the image of the status bar match, the specifying unit 121 identifies the component P1 as the status bar. Further, when the image of the component P2 and the image of the navigation bar match, the specifying unit 121 identifies the component P2 as the navigation bar.

より詳細には、特定部121は、部品画像DB210に記憶されている複数の環境依存部品のそれぞれの第1の動作環境X1での画像と、期待結果画像A1と、の間で、画像に含まれる画素値を比較することにより、期待結果画像A1のうちのいずれかの箇所に、環境依存部品が含まれているか否かを判定する。或いは、特定部121は、部品画像DB210に記憶されている複数の環境依存部品のそれぞれの第1の動作環境X1での画像と、期待結果画像A1と、の間で、画像を定めるプログラムの記述を比較する。言い換えるとソースコードを比較することにより、期待結果画像A1に環境依存部品が含まれているか否かを判定しても良い。 More specifically, the specific unit 121 is included in the image between the image in the first operating environment X1 of each of the plurality of environment-dependent components stored in the component image DB 210 and the expected result image A1. By comparing the pixel values, it is determined whether or not the environment-dependent component is included in any part of the expected result image A1. Alternatively, the specific unit 121 describes a program that defines an image between the image in the first operating environment X1 of each of the plurality of environment-dependent components stored in the component image DB 210 and the expected result image A1. To compare. In other words, by comparing the source codes, it may be determined whether or not the expected result image A1 contains environment-dependent parts.

また、画像を比較する際、特定部121は、部品画像DB210に記憶されている環境依存部品の画像のサイズを、入力画像である期待結果画像A1に含まれる部品のサイズにスケーリングする。具体的に説明すると、特定部121は、期待結果画像A1に含まれる部品P1,P2の位置を、期待結果画像A1内における周囲との色の違いに基づいて特定する。そして、特定部121は、部品画像DB210に記憶されている環境依存部品の画像を、部品P1の画像のサイズに拡大又は縮小してから、部品P1の画像と比較する。また、特定部121は、部品画像DB210に記憶されている環境依存部品の画像を、部品P2の画像のサイズに拡大又は縮小してから、部品P2の画像と比較する。このように画像のスケーリングを行うことにより、部品画像DB210に登録されている画像のサイズと期待結果画像A1に含まれる部品のサイズとが異なっていても、期待結果画像A1に環境依存部品が含まれているか否かを的確に判定することができる。 Further, when comparing the images, the specific unit 121 scales the size of the image of the environment-dependent component stored in the component image DB 210 to the size of the component included in the expected result image A1 which is an input image. Specifically, the specifying unit 121 specifies the positions of the parts P1 and P2 included in the expected result image A1 based on the difference in color from the surroundings in the expected result image A1. Then, the specific unit 121 enlarges or reduces the image of the environment-dependent component stored in the component image DB 210 to the size of the image of the component P1 and then compares it with the image of the component P1. Further, the specific unit 121 enlarges or reduces the image of the environment-dependent component stored in the component image DB 210 to the size of the image of the component P2, and then compares it with the image of the component P2. By scaling the image in this way, even if the size of the image registered in the component image DB 210 and the size of the component included in the expected result image A1 are different, the expected result image A1 contains environment-dependent components. It is possible to accurately determine whether or not the image has been obtained.

特定部121は、期待結果画像A1の中にステータスバーである部品P1とナビゲーションバーである部品P2とが含まれていると判定した場合、部品P1,P2の名称と位置情報とを特定する。具体的には図7に示すように、特定部121は、部品P1の位置情報として、期待結果画像A1内で部品P1が位置する領域の左上の座標(0,0)と右下の座標(100,20)とを特定する。特定部121は、このように特定した位置情報を、部品P1の名称“ステータスバー”と対応付けて、RAM又は記憶部12に保存する。更に、特定部121は、部品P2の位置情報として、期待結果画像A1内で部品P2が位置する領域の左上の座標(0,200)と右下の座標(100,220)とを特定する。特定部121は、このように特定した位置情報を、部品P2の名称“ナビゲーションバー”と対応付けて、RAM又は記憶部12に保存する。特定部121は、制御部11が記憶部12と協働することにより実現される。特定部121は、特定手段として機能する。 When it is determined that the expected result image A1 includes the component P1 which is the status bar and the component P2 which is the navigation bar, the specifying unit 121 identifies the names and position information of the components P1 and P2. Specifically, as shown in FIG. 7, the specific unit 121 uses the upper left coordinates (0,0) and the lower right coordinates (0,0) of the region where the component P1 is located in the expected result image A1 as the position information of the component P1. Specify 100,20). The specific unit 121 stores the position information thus specified in the RAM or the storage unit 12 in association with the name “status bar” of the component P1. Further, the specifying unit 121 specifies the upper left coordinates (0,200) and the lower right coordinates (100,220) of the region where the component P2 is located in the expected result image A1 as the position information of the component P2. The specific unit 121 stores the position information thus specified in the RAM or the storage unit 12 in association with the name “navigation bar” of the component P2. The specific unit 121 is realized by the control unit 11 cooperating with the storage unit 12. The specific unit 121 functions as a specific means.

図4に戻って、置換部122は、特定部121により特定された環境依存部品である部品P1,P2の画像を、動作環境X1とは異なる動作環境X2,X3…における画像に置換する。置換部122の機能により、生成部120は、取得部110により取得された期待結果画像A1に含まれる、特定部121により特定された環境依存部品の画像が、それぞれ第2、第3の動作環境X2,X3でのその環境部品の画像に置換された期待結果画像A2,A3…を生成する。 Returning to FIG. 4, the replacement unit 122 replaces the images of the parts P1 and P2, which are environment-dependent parts specified by the specific unit 121, with images in the operating environment X2, X3 ... Different from the operating environment X1. Due to the function of the replacement unit 122, in the generation unit 120, the images of the environment-dependent parts specified by the specific unit 121 included in the expected result image A1 acquired by the acquisition unit 110 are the second and third operating environments, respectively. The expected result images A2, A3 ... Replaced by the images of the environmental parts in X2 and X3 are generated.

図8に、図5に示した動作環境X1での期待結果画像A1から、動作環境X2での期待結果画像A2が生成された例を示す。置換部122は、動作環境X1での期待結果画像A1に含まれる部品P1,P2の画像を、デザインが異なる画像に置換することで、動作環境X2での期待結果画像A2を生成する。図8の例では、ステータスバーである部品P1内に表示された充電状態及び電波の受信状態を示す画像のデザインが、期待結果画像A1,A2間で異なる。また、ナビゲーションバーである部品P2内に表示された複数のキーのデザインが、期待結果画像A1,A2間で異なる。更には、部品P1,P2内の背景部分の色も、期待結果画像A1,A2間で異なる。 FIG. 8 shows an example in which the expected result image A2 in the operating environment X2 is generated from the expected result image A1 in the operating environment X1 shown in FIG. The replacement unit 122 generates the expected result image A2 in the operating environment X2 by replacing the images of the parts P1 and P2 included in the expected result image A1 in the operating environment X1 with images having different designs. In the example of FIG. 8, the design of the image showing the charging state and the reception state of the radio wave displayed in the component P1 which is the status bar is different between the expected result images A1 and A2. Further, the designs of the plurality of keys displayed in the component P2 which is the navigation bar are different between the expected result images A1 and A2. Further, the color of the background portion in the parts P1 and P2 is also different between the expected result images A1 and A2.

このように、環境依存部品の表示が動作環境によって異なるため、その位置又はサイズを変更することのみでは、動作環境に適合した期待結果画像を生成することができない。そのため、置換部122は、環境依存部品の画像そのものを置換することにより、特定の動作環境X1での期待結果画像A1から、他の動作環境X2,X3…での期待結果画像A2,A3…を生成する。 As described above, since the display of environment-dependent parts differs depending on the operating environment, it is not possible to generate an expected result image suitable for the operating environment only by changing the position or size thereof. Therefore, the replacement unit 122 replaces the image itself of the environment-dependent component with the expected result image A2, A3 ... In the other operating environment X2, X3 ... From the expected result image A1 in the specific operating environment X1. Generate.

置換部122は、期待結果画像A1に含まれる、特定部121により特定された環境依存部品の画像を、部品画像DB210に記憶されている、特定部121により特定された環境依存部品の動作環境X2,X3…での画像に置換する。例えば、特定部121により環境依存部品として部品P1が特定された場合、置換部122は、期待結果画像A1における部品P1の画像を、部品画像DB210に記憶されている“ステータスバー”の動作環境X2,X3…での画像に置換する。また、特定部121により環境依存部品として部品P2が特定された場合、置換部122は、期待結果画像A1における部品P2の画像を、部品画像DB210に記憶されている“ナビゲーションバー”の動作環境X2,X3…での画像に置換する。 The replacement unit 122 stores the image of the environment-dependent component specified by the specific unit 121 included in the expected result image A1 in the component image DB 210, and the operating environment X2 of the environment-dependent component specified by the specific unit 121. , X3 ... Replace with the image. For example, when the component P1 is specified as an environment-dependent component by the specific unit 121, the replacement unit 122 stores the image of the component P1 in the expected result image A1 in the operating environment X2 of the “status bar” stored in the component image DB 210. , X3 ... Replace with the image. When the component P2 is specified as an environment-dependent component by the specific unit 121, the replacement unit 122 stores the image of the component P2 in the expected result image A1 in the operating environment X2 of the "navigation bar" stored in the component image DB 210. , X3 ... Replace with the image.

より詳細には、置換部122は、特定部121により特定された部品P1の位置情報である左上の座標(0,0)と右下の座標(100,20)とにより定められる領域にサイズが合うように、ステータスバーの画像を拡大又は縮小して置換する。また、置換部122は、特定部121により特定された部品P2の位置情報である左上の座標(0,200)と右下の座標(100,220)とにより定められる領域にサイズが合うように、ナビゲーションバーの画像を拡大又は縮小して置換する。 More specifically, the replacement unit 122 has a size in a region defined by the upper left coordinate (0,0) and the lower right coordinate (100,20), which is the position information of the component P1 specified by the specific unit 121. Enlarge or reduce the image in the status bar to fit and replace it. Further, the replacement unit 122 has a size that matches the area determined by the upper left coordinate (0,200) and the lower right coordinate (100,220), which is the position information of the component P2 specified by the specific unit 121. , Enlarge or reduce the image in the navigation bar to replace it.

このように、置換部122は、特定部121により特定された環境依存部品の名称と位置とに基づいて、環境依存部品の画像を、部品画像DB210に記憶されている動作環境X2,X3…での画像に置換する。置換部122は、制御部11が記憶部12と協働することにより実現される。置換部122は、置換手段として機能する。 As described above, the replacement unit 122 displays the image of the environment-dependent component in the operating environment X2, X3 ... Stored in the component image DB 210 based on the name and position of the environment-dependent component specified by the specific unit 121. Replace with the image of. The replacement unit 122 is realized by the control unit 11 cooperating with the storage unit 12. The replacement unit 122 functions as a replacement means.

図4に戻って、変更部130は、置換部122により環境依存部品の画像が置換された期待結果画像A2,A3…の解像度とアスペクト比とのうちの少なくとも一方を、対応する動作環境での値に変更する。解像度とは、いわゆる画面解像度であって、画像が対応する動作環境で表示される場合における総画素数を意味する。一方で、アスペクト比とは、画面の長辺と短辺との比率を意味する。 Returning to FIG. 4, the changing unit 130 sets at least one of the resolution and the aspect ratio of the expected result images A2, A3 ... In which the image of the environment-dependent component is replaced by the replacing unit 122 in the corresponding operating environment. Change to a value. The resolution is a so-called screen resolution, and means the total number of pixels when the image is displayed in the corresponding operating environment. On the other hand, the aspect ratio means the ratio between the long side and the short side of the screen.

解像度及びアスペクト比は、OS、バージョン等の動作環境により必ずしも同じではない。そのため、変更部130は、対応する動作環境X2,X3…で適切に表示されるように、置換部122による置換処理後の期待結果画像A2,A3…の解像度とアスペクト比とのうちの少なくとも一方を、それらが表示される動作環境での値に変更する。具体的に説明すると、変更部130は、期待結果画像A2,A3…に含まれる画素の総数を変更することにより、期待結果画像A2,A3…の解像度を変更する。或いは、変更部130は、期待結果画像A2,A3…の縦幅又は横幅を拡大又は縮小することにより、期待結果画像A2,A3…のアスペクト比を変更する。 The resolution and aspect ratio are not always the same depending on the operating environment such as OS and version. Therefore, the change unit 130 has at least one of the resolution and the aspect ratio of the expected result images A2, A3 ... After the replacement process by the replacement unit 122 so as to be appropriately displayed in the corresponding operating environments X2, X3 ... To the value in the operating environment in which they are displayed. Specifically, the changing unit 130 changes the resolution of the expected result images A2, A3 ... By changing the total number of pixels included in the expected result images A2, A3 .... Alternatively, the changing unit 130 changes the aspect ratio of the expected result images A2, A3 ... By enlarging or reducing the vertical width or the horizontal width of the expected result images A2, A3 ...

変更部130は、期待結果画像A2,A3…の解像度又はアスペクト比を変更するために、画面情報DB220を参照する。画面情報DB220は、画面情報として、動作環境毎に解像度及びアスペクト比を記憶しているデータベースである。 The change unit 130 refers to the screen information DB 220 in order to change the resolution or aspect ratio of the expected result images A2, A3 ... The screen information DB 220 is a database that stores the resolution and aspect ratio for each operating environment as screen information.

図9に、画面情報DB220に記憶されているデータの例を示す。図9に示すように、画面情報DB220には、部品画像DB210に登録されている複数の動作環境X1,X2,X3…のそれぞれにおける解像度及びアスペクト比の数値が記憶されている。 FIG. 9 shows an example of data stored in the screen information DB 220. As shown in FIG. 9, the screen information DB 220 stores numerical values of resolution and aspect ratio in each of the plurality of operating environments X1, X2, X3 ... Registered in the component image DB 210.

取得部110により取得された期待結果画像A1が動作環境X1で生成されたものである場合、置換部122により置換処理が実行された直後の期待結果画像A2,A3…の解像度及びアスペクト比は、動作環境X1でのものである。そのため、変更部130は、期待結果画像A2,A3…の解像度とアスペクト比を、動作環境X1における“800×480”と“5:3”から、対応する動作環境における値に変更する。具体的には、変更部130は、期待結果画像A2の解像度とアスペクト比を動作環境X2における“1920×1080”と“16:9”に変更する。また、変更部130は、期待結果画像A3の解像度とアスペクト比を動作環境X3における“1792×828”と“19:9”に変更する。 When the expected result image A1 acquired by the acquisition unit 110 is generated in the operating environment X1, the resolution and aspect ratio of the expected result images A2, A3 ... Immediately after the replacement process is executed by the replacement unit 122 are determined. It is in the operating environment X1. Therefore, the changing unit 130 changes the resolution and aspect ratio of the expected result images A2, A3 ... From "800 x 480" and "5: 3" in the operating environment X1 to the values in the corresponding operating environment. Specifically, the changing unit 130 changes the resolution and aspect ratio of the expected result image A2 to "1920 × 1080" and "16: 9" in the operating environment X2. Further, the changing unit 130 changes the resolution and aspect ratio of the expected result image A3 to "1792 × 828" and "19: 9" in the operating environment X3.

なお、図9に示した動作環境毎の解像度及びアスペクト比は一例である。例えば、動作環境X1,X2,X3…のそれぞれで解像度とアスペクト比とのうちの一方又は両方が同じである場合には、その一方又は両方に対する変更部130の処理を省略することができる。変更部130は、制御部11が記憶部12と協働することにより実現される。変更部130は、変更手段として機能する。 The resolution and aspect ratio for each operating environment shown in FIG. 9 are examples. For example, when one or both of the resolution and the aspect ratio are the same in each of the operating environments X1, X2, X3 ..., The processing of the changing unit 130 for one or both of them can be omitted. The changing unit 130 is realized by the control unit 11 cooperating with the storage unit 12. The changing unit 130 functions as a changing means.

このようにして、生成部120は、特定部121、置換部122及び変更部130の機能により、第1の画像である期待結果画像A1から、第2、第3…の画像である期待結果画像A2,A3…として、期待結果画像A1のうちの少なくとも1つの環境依存部品の画像が置換された画像を生成する。 In this way, the generation unit 120 has the functions of the specific unit 121, the replacement unit 122, and the change unit 130, so that the expected result image A1 which is the first image is the expected result image which is the second, third ... As A2, A3 ..., An image in which the image of at least one environment-dependent component in the expected result image A1 is replaced is generated.

図4に戻って、出力部140は、生成部120により生成された第2、第3…の画像である期待結果画像A2,A3…を、第1の画像である期待結果画像A1と共に、出力画像として出力する。具体的に説明すると、出力部140は、通信部35を介してテスト装置30と通信することで、複数の期待結果画像A1,A2,A3…を示す画像データをテスト装置30に出力する。或いは、出力部140は、複数の期待結果画像A1,A2,A3…を示す画像データを、テスト装置30により読み取ることができるように、可搬型の記録媒体に出力しても良い。出力部140は、制御部11が通信部15等と協働することにより実現される。出力部140は、出力手段として機能する。 Returning to FIG. 4, the output unit 140 outputs the expected result images A2, A3 ... Which are the second, third ... Images generated by the generation unit 120 together with the expected result image A1 which is the first image. Output as an image. Specifically, the output unit 140 outputs image data indicating a plurality of expected result images A1, A2, A3 ... To the test device 30 by communicating with the test device 30 via the communication unit 35. Alternatively, the output unit 140 may output the image data showing the plurality of expected result images A1, A2, A3 ... To a portable recording medium so that the test apparatus 30 can read the image data. The output unit 140 is realized by the control unit 11 cooperating with the communication unit 15 and the like. The output unit 140 functions as an output means.

次に、テスト装置30の機能について説明する。図4に示すように、テスト装置30は、機能的に、取得部310と、ソフトウェア動作部320と、判定部330と、出力部340と、を備える。これらの各機能は、ソフトウェア、ファームウェア、又は、ソフトウェアとファームウェアとの組み合わせによって実現される。ソフトウェア及びファームウェアは、プログラムとして記述され、ROM又は記憶部32に格納される。そして、CPUが、ROM又は記憶部32に記憶されたプログラムを実行することによって、これらの各機能を実現する。 Next, the function of the test apparatus 30 will be described. As shown in FIG. 4, the test device 30 functionally includes an acquisition unit 310, a software operation unit 320, a determination unit 330, and an output unit 340. Each of these functions is realized by software, firmware, or a combination of software and firmware. The software and firmware are described as a program and stored in the ROM or the storage unit 32. Then, the CPU realizes each of these functions by executing the program stored in the ROM or the storage unit 32.

取得部310は、画像生成装置10から出力された期待結果画像A1,A2,A3…を取得する。具体的に説明すると、取得部310は、通信部35を介して画像生成装置10と通信することにより、画像生成装置10から期待結果画像A1,A2,A3…を取得する。或いは、取得部310は、可搬型の記録媒体を介して、画像生成装置10から期待結果画像A1,A2,A3…を取得しても良い。取得部310は、制御部31が通信部35等と協働することにより実現される。取得部310は、取得手段として機能する。 The acquisition unit 310 acquires the expected result images A1, A2, A3 ... Output from the image generation device 10. Specifically, the acquisition unit 310 acquires the expected result images A1, A2, A3 ... From the image generation device 10 by communicating with the image generation device 10 via the communication unit 35. Alternatively, the acquisition unit 310 may acquire the expected result images A1, A2, A3 ... From the image generation device 10 via the portable recording medium. The acquisition unit 310 is realized by the control unit 31 cooperating with the communication unit 35 and the like. The acquisition unit 310 functions as an acquisition means.

ソフトウェア動作部320は、テスト対象のソフトウェアを動作させる。ソフトウェア動作部320は、テスト対象のソフトウェアが動作することが想定される、OS、バージョン、画面解像度等が異なる複数の動作環境X1,X2,X3…のそれぞれを模擬することが可能なシミュレータ機能を備える。 The software operation unit 320 operates the software to be tested. The software operation unit 320 has a simulator function capable of simulating each of a plurality of operating environments X1, X2, X3 ... Be prepared.

ソフトウェア動作部320は、複数の動作環境X1,X2,X3…のそれぞれにおいて、テスト対象のソフトウェアであるスマートフォンのアプリケーションソフトウェア、ウェブアプリケーションソフトウェア等のプログラムを実行する。これにより、ソフトウェア動作部320は、画像生成装置10から出力された期待結果画像A1,A2,A3…のそれぞれと比較するための画像を生成する。ソフトウェア動作部320は、制御部31により実現される。ソフトウェア動作部320は、ソフトウェア動作手段として機能する。 The software operation unit 320 executes programs such as smartphone application software and web application software, which are the software to be tested, in each of the plurality of operating environments X1, X2, X3 .... As a result, the software operation unit 320 generates an image for comparison with each of the expected result images A1, A2, A3 ... Output from the image generation device 10. The software operation unit 320 is realized by the control unit 31. The software operation unit 320 functions as a software operation means.

判定部330は、取得部310により取得された複数の期待結果画像A1,A2,A3…と、ソフトウェア動作部320によるテスト対象のソフトウェアの動作結果と、に基づいて、テストの合否を判定する。判定部330は、ソフトウェア動作部320によりテスト対象のソフトウェアが複数の動作環境X1,X2,X3…のそれぞれで動作したことにより生成された画像を、複数の期待結果画像A1,A2,A3…のうちの対応する動作環境での期待結果画像と比較する。 The determination unit 330 determines the pass / fail of the test based on the plurality of expected result images A1, A2, A3 ... Acquired by the acquisition unit 310 and the operation results of the software to be tested by the software operation unit 320. The determination unit 330 uses the software operation unit 320 to display images generated by the software to be tested operating in each of the plurality of operating environments X1, X2, X3 ... Of the plurality of expected result images A1, A2, A3 ... Compare with the expected result image in our corresponding operating environment.

比較の結果、判定部330は、2つの画像が合致しているか否かの程度を示す合致度を計算し、計算した合致度が予め定められた閾値よりも小さいか否かを判定する。例えば、判定部330は、2つの画像の合致度として、2つの画像間で対応する位置同士の画素値の差分を計算し、計算した差分を画像全体で累積した累積値を計算する。或いは、判定部330は、その他の任意の手法で2つの画像の合致度を計算しても良い。 As a result of the comparison, the determination unit 330 calculates a degree of matching indicating the degree of matching between the two images, and determines whether or not the calculated degree of matching is smaller than a predetermined threshold value. For example, the determination unit 330 calculates the difference between the pixel values of the corresponding positions between the two images as the degree of matching between the two images, and calculates the cumulative value obtained by accumulating the calculated differences in the entire image. Alternatively, the determination unit 330 may calculate the degree of matching between the two images by any other method.

判定の結果、合致度が閾値よりも大きい場合、判定部330は、テスト結果が合格である、すなわちテスト対象のソフトウェアの動作が正常であると判定する。これに対して、合致度が閾値よりも小さい場合、判定部330は、テスト結果が不合格である、すなわちテスト対象のソフトウェアの動作に異常が生じていると判定する。判定部330は、制御部31により実現される。判定部330は、判定手段として機能する。 As a result of the determination, when the degree of matching is larger than the threshold value, the determination unit 330 determines that the test result is acceptable, that is, the operation of the software to be tested is normal. On the other hand, when the degree of matching is smaller than the threshold value, the determination unit 330 determines that the test result is unsuccessful, that is, an abnormality has occurred in the operation of the software to be tested. The determination unit 330 is realized by the control unit 31. The determination unit 330 functions as a determination means.

出力部340は、判定部330による判定により得られた、ソフトウェアのテスト結果を出力する。具体的に説明すると、出力部340は、判定部330により判定されたソフトウェアのテストの合否を表す画像を生成し、表示部34に表示する。 The output unit 340 outputs the software test result obtained by the determination by the determination unit 330. Specifically, the output unit 340 generates an image showing the pass / fail of the software test determined by the determination unit 330, and displays it on the display unit 34.

例えば図10に示すように、出力部340は、複数の動作環境X1,X2,X3…のそれぞれについて、テスト対象のソフトウェアを動作させた場合におけるテスト結果が合格であれば“合格”を表示し、テスト結果が不合格であれば“不合格”を表示する。このようにテスト結果を出力することにより、ユーザは、テスト対象のソフトウェアが複数の動作環境X1,X2,X3…で正常に動作するか否かを、容易に確認することができる。 For example, as shown in FIG. 10, the output unit 340 displays "pass" for each of the plurality of operating environments X1, X2, X3 ... If the test result when the software to be tested is operated is passed. , If the test result fails, "Fail" is displayed. By outputting the test result in this way, the user can easily confirm whether or not the software to be tested operates normally in a plurality of operating environments X1, X2, X3 ....

なお、出力部340は、判定部330により判定されたテスト結果を、図10に示したように表示部34に表示することに限らず、通信部35を介して外部の装置に出力し、外部の装置の表示部に表示しても良い。出力部340は、制御部31が表示部34等と協働することにより実現される。出力部340は、出力手段として機能する。 The output unit 340 is not limited to displaying the test result determined by the determination unit 330 on the display unit 34 as shown in FIG. 10, but also outputs the test result to an external device via the communication unit 35 to the outside. It may be displayed on the display unit of the device. The output unit 340 is realized by the control unit 31 cooperating with the display unit 34 and the like. The output unit 340 functions as an output means.

以上のように構成された画像生成装置10において実行される処理の流れについて、図11及び図12に示すフローチャートを参照して説明する。 The flow of processing executed in the image generation apparatus 10 configured as described above will be described with reference to the flowcharts shown in FIGS. 11 and 12.

第1に、図11を参照して、画像生成装置10により実行される期待結果画像の生成処理について説明する。図11に示す処理は、画像生成装置10を操作するユーザによる指示に応じて、適宜実行される。 First, with reference to FIG. 11, the expected result image generation process executed by the image generation device 10 will be described. The process shown in FIG. 11 is appropriately executed in response to an instruction from the user who operates the image generation device 10.

図11に示す処理を開始すると、画像生成装置10において、制御部11は、取得部110として機能し、入力画像を取得する(ステップS11)。具体的に説明すると、制御部11は、入力画像として、例えば図5に示したような期待結果画像A1を取得する。期待結果画像A1は、テスト装置30において、テスト対象のソフトウェアが第1の動作環境X1で動作した場合に表示される画像である。制御部11は、通信部15による通信又は可搬型の記録媒体を介して、テスト装置30から期待結果画像A1を取得する。 When the process shown in FIG. 11 is started, in the image generation device 10, the control unit 11 functions as an acquisition unit 110 and acquires an input image (step S11). Specifically, the control unit 11 acquires the expected result image A1 as shown in FIG. 5, for example, as an input image. The expected result image A1 is an image displayed when the software to be tested operates in the first operating environment X1 in the test apparatus 30. The control unit 11 acquires the expected result image A1 from the test device 30 via communication by the communication unit 15 or a portable recording medium.

入力画像を取得すると、制御部11は、部品画像DB210に登録されている環境依存部品を1つ選択する(ステップS12)。制御部11は、部品画像DB210に登録されているピッカー、ラジオボタン、ステータスバー等の複数の環境依存部品のうちから1つを選択する。 Upon acquiring the input image, the control unit 11 selects one environment-dependent component registered in the component image DB 210 (step S12). The control unit 11 selects one of a plurality of environment-dependent parts such as a picker, a radio button, and a status bar registered in the part image DB 210.

環境依存部品を1つ選択すると、制御部11は、選択された環境依存部品が入力画像に含まれているか否かを判定する(ステップS13)。具体的に説明すると、制御部11は、部品画像DB210に登録されている、選択された環境依存部品の第1の動作環境X1での画像と、入力画像に含まれている各部分の画像と、を比較する。そして、制御部11は、入力画像の中のいずれかの箇所に、選択された環境依存部品に合致する部品が含まれているか否かを判定する。 When one environment-dependent component is selected, the control unit 11 determines whether or not the selected environment-dependent component is included in the input image (step S13). Specifically, the control unit 11 includes an image of the selected environment-dependent component registered in the component image DB 210 in the first operating environment X1 and an image of each part included in the input image. , Compare. Then, the control unit 11 determines whether or not any part of the input image contains a component that matches the selected environment-dependent component.

選択された環境依存部品が入力画像に含まれている場合(ステップS13;YES)、制御部11は、その環境依存部品の名称及び位置を特定する(ステップS14)。例えば図7に示したように、入力画像にステータスバーの部品P1が含まれていると判定した場合、制御部11は、“ステータスバー”との名称と、部品P1の左上と右下の座標と、を特定する。或いは、入力画像にナビゲーションバーの部品P2が含まれていると判定した場合、制御部11は、“ナビゲーションバー”との名称と、部品P2の左上と右下の座標と、を特定する。 When the selected environment-dependent component is included in the input image (step S13; YES), the control unit 11 specifies the name and position of the environment-dependent component (step S14). For example, as shown in FIG. 7, when it is determined that the input image includes the component P1 of the status bar, the control unit 11 has the name "status bar" and the coordinates of the upper left and lower right of the component P1. And specify. Alternatively, when it is determined that the input image includes the component P2 of the navigation bar, the control unit 11 specifies the name of the "navigation bar" and the coordinates of the upper left and lower right of the component P2.

これに対して、選択された環境依存部品が入力画像に含まれていない場合(ステップS13;NO)、制御部11は、ステップS14をスキップする。 On the other hand, when the selected environment-dependent component is not included in the input image (step S13; NO), the control unit 11 skips step S14.

その後、制御部11は、部品画像DB210に登録されている環境依存部品を全て選択済みであるか否かを判定する(ステップS15)。環境依存部品を全て選択済みでない場合(ステップS15;NO)、制御部11は、処理をステップS12に戻し、ステップS12からステップS15の処理を再び実行する。 After that, the control unit 11 determines whether or not all the environment-dependent parts registered in the part image DB 210 have been selected (step S15). If all the environment-dependent parts have not been selected (step S15; NO), the control unit 11 returns the process to step S12, and executes the process of step S12 to step S15 again.

具体的に説明すると、制御部11は、ステップS12において未選択の環境依存部品を選択して、新たに選択した環境依存部品が入力画像の中に含まれているか否かを判定する。そして、制御部11は、新たに選択した環境依存部品が入力画像に含まれている場合に、その環境依存部品の名称及び位置を特定する。このように、制御部11は、部品画像DB210に登録されている全ての環境依存部品を選択し終えるまで、入力画像における環境依存部品の特定処理を繰り返す。ステップS12からステップS15において、制御部11は、特定部121として機能する。 Specifically, the control unit 11 selects an unselected environment-dependent component in step S12, and determines whether or not the newly selected environment-dependent component is included in the input image. Then, when the newly selected environment-dependent component is included in the input image, the control unit 11 specifies the name and position of the environment-dependent component. In this way, the control unit 11 repeats the process of specifying the environment-dependent parts in the input image until all the environment-dependent parts registered in the part image DB 210 are selected. From step S12 to step S15, the control unit 11 functions as the specific unit 121.

最終的に、部品画像DB210に登録されている環境依存部品を全て選択済みであると判定した場合(ステップS15;YES)、制御部11は、置換部122として機能し、ステップS14で名称と位置とが特定された環境依存部品の画像を、他の動作環境での画像に置換する(ステップS16)。具体的に説明すると、制御部11は、ステップS14で特定された位置の環境依存部品の画像を、部品画像DB210に登録されている複数の環境依存部品のうちの、ステップS14で特定された名称の環境依存部品の動作環境X2,X3…での画像に置換する。このとき、制御部11は、入力画像のうちから複数の環境依存部品が特定された場合には、特定された全ての環境依存部品の画像を置換する。 Finally, when it is determined that all the environment-dependent parts registered in the part image DB 210 have been selected (step S15; YES), the control unit 11 functions as the replacement unit 122, and the name and position in step S14. The image of the environment-dependent component specified with and is replaced with an image in another operating environment (step S16). Specifically, the control unit 11 uses the image of the environment-dependent component at the position specified in step S14 as the name specified in step S14 among the plurality of environment-dependent components registered in the component image DB 210. Replace with the image in the operating environment X2, X3 ... of the environment-dependent parts. At this time, when a plurality of environment-dependent parts are specified from the input images, the control unit 11 replaces the images of all the specified environment-dependent parts.

環境依存部品の画像を置換すると、制御部11は、置換を完了したか否かを判定する(ステップS17)。言い換えると、制御部11は、動作環境X1における期待結果画像A1から、動作環境X2,X3…の全てにおける期待結果画像A2,A3…を生成したか否かを判定する。 When the image of the environment-dependent component is replaced, the control unit 11 determines whether or not the replacement is completed (step S17). In other words, the control unit 11 determines whether or not the expected result images A2, A3 ... In all of the operating environments X2, X3 ... Have been generated from the expected result image A1 in the operating environment X1.

置換を完了していない場合(ステップS17;NO)、制御部11は、置換が完了するまで、すなわち入力画像に含まれる全ての環境依存部品の画像が置換された期待結果画像A2,A3…を生成するまで、ステップS16に留まる。 When the replacement is not completed (step S17; NO), the control unit 11 displays the expected result images A2, A3 ... Stay in step S16 until it is generated.

最終的に、置換を完了すると(ステップS17;YES)、制御部11は、変更部130として機能し、環境依存部品の画像が置換された期待結果画像の解像度及びアスペクト比を変更する(ステップS18)。具体的に説明すると、制御部11は、画面情報DB220に記憶されている複数の動作環境X1,X2,X3…における解像度及びアスペクト比を参照する。そして、制御部11は、環境依存部品の画像が置換された期待結果画像の解像度及びアスペクト比を、対応する動作環境でのものに変更する。 Finally, when the replacement is completed (step S17; YES), the control unit 11 functions as the change unit 130 and changes the resolution and aspect ratio of the expected result image in which the image of the environment-dependent component is replaced (step S18). ). Specifically, the control unit 11 refers to the resolution and the aspect ratio in the plurality of operating environments X1, X2, X3 ... Stored in the screen information DB 220. Then, the control unit 11 changes the resolution and aspect ratio of the expected result image in which the image of the environment-dependent component is replaced to that in the corresponding operating environment.

解像度及びアスペクト比を変更すると、制御部11は、出力部140として機能し、期待結果画像A1,A2,A3…を出力する(ステップS19)。具体的に説明すると、制御部11は、入力画像である期待結果画像A1と生成された期待結果画像A2,A3…とを示す画像データを、通信部35等を介してテスト装置30に出力する。以上により、図11に示した画像生成処理は終了する。 When the resolution and aspect ratio are changed, the control unit 11 functions as the output unit 140 and outputs the expected result images A1, A2, A3 ... (Step S19). Specifically, the control unit 11 outputs image data indicating the expected result image A1 which is an input image and the generated expected result images A2, A3 ... To the test device 30 via the communication unit 35 or the like. .. As a result, the image generation process shown in FIG. 11 is completed.

第2に、図12を参照して、テスト装置30により実行されるソフトウェアのテスト処理について説明する。図12に示す処理は、画像生成装置10及びテスト装置30を操作するユーザによる指示に応じて、適宜実行される。 Secondly, with reference to FIG. 12, the software test process executed by the test apparatus 30 will be described. The process shown in FIG. 12 is appropriately executed in response to an instruction by a user who operates the image generation device 10 and the test device 30.

図12に示す処理を開始すると、テスト装置30において、制御部31は、取得部310として機能し、画像生成装置10から期待結果画像A1,A2,A3…を取得する(ステップS31)。具体的に説明すると、制御部31は、通信部35による通信又は可搬型の記録媒体を介して、画像生成装置10から出力された期待結果画像A1,A2,A3…を取得する。 When the process shown in FIG. 12 is started, the control unit 31 functions as the acquisition unit 310 in the test device 30 and acquires the expected result images A1, A2, A3 ... From the image generation device 10 (step S31). Specifically, the control unit 31 acquires the expected result images A1, A2, A3 ... Output from the image generation device 10 via communication by the communication unit 35 or a portable recording medium.

期待結果画像A1,A2,A3…を取得すると、制御部31は、テスト対象のソフトウェアを動作させる動作環境を1つ選択する(ステップS32)。具体的に説明すると、制御部31は、テスト対象のソフトウェアが動作することが想定される動作環境として予め定められた複数の動作環境X1,X2,X3…のうちから1つを選択する。 When the expected result images A1, A2, A3 ... are acquired, the control unit 31 selects one operating environment for operating the software to be tested (step S32). Specifically, the control unit 31 selects one of a plurality of operating environments X1, X2, X3 ... Predetermined as the operating environment in which the software to be tested is expected to operate.

動作環境を1つ選択すると、制御部31は、ソフトウェア動作部320として機能し、選択した動作環境でテスト対象のソフトウェアを動作させる(ステップS33)。言い換えると、制御部31は、ソフトウェアが正常に動作するか否かを検証するために、選択した動作環境でテスト対象のソフトウェアを実際に実行する。 When one operating environment is selected, the control unit 31 functions as the software operating unit 320 and operates the software to be tested in the selected operating environment (step S33). In other words, the control unit 31 actually executes the software to be tested in the selected operating environment in order to verify whether the software operates normally.

テスト対象のソフトウェアを動作させると、制御部31は、判定部330として機能し、テストの合否を判定する(ステップS34)。具体的に説明すると、制御部31は、ステップS33でテスト対象のソフトウェアを動作させた結果として表示される画像を、ステップS31で取得された期待結果画像A1,A2,A3…のうちの、ステップS32で選択された動作環境での期待結果画像と比較する。そして、制御部31は、2つの画像の合致度を計算し、計算した合致度が閾値よりも大きいか否かを判定する。 When the software to be tested is operated, the control unit 31 functions as a determination unit 330 and determines whether or not the test has passed (step S34). Specifically, the control unit 31 displays the image displayed as a result of operating the software to be tested in step S33 among the expected result images A1, A2, A3 ... Acquired in step S31. It is compared with the expected result image in the operating environment selected in S32. Then, the control unit 31 calculates the degree of matching between the two images and determines whether or not the calculated degree of matching is larger than the threshold value.

テストの合否を判定すると、制御部31は、出力部340として機能し、判定結果を出力する(ステップS35)。具体的には図10に示したように、制御部31は、テスト対象のソフトウェアを動作させた結果が合格であるか否かを、動作環境毎に表示する。 When the pass / fail of the test is determined, the control unit 31 functions as an output unit 340 and outputs the determination result (step S35). Specifically, as shown in FIG. 10, the control unit 31 displays whether or not the result of operating the software to be tested is pass or not for each operating environment.

判定結果を表示すると、制御部31は、全ての動作環境を選択済みであるか否かを判定する(ステップS36)。全ての動作環境を選択済みでない場合(ステップS36;NO)、制御部31は、処理をステップS32に戻し、ステップS32からステップS36の処理を再び実行する。 When the determination result is displayed, the control unit 31 determines whether or not all the operating environments have been selected (step S36). If all the operating environments have not been selected (step S36; NO), the control unit 31 returns the process to step S32 and executes the process of step S32 to step S36 again.

具体的に説明すると、制御部31は、ステップS32において未選択の動作環境のうちから新たに1つを選択して、新たに選択された動作環境でテスト対象のソフトウェアを動作させる。そして、制御部31は、テスト対象のソフトウェアを動作させた結果として表示される画像を、新たに選択された動作環境での期待結果画像と比較し、テストの合否を判定してその結果を出力する。このように、制御部31は、動作環境X1,X2,X3…の全てを選択し終えるまで、ソフトウェアの動作をテストする処理を繰り返す。 Specifically, the control unit 31 newly selects one from the unselected operating environments in step S32, and operates the software to be tested in the newly selected operating environment. Then, the control unit 31 compares the image displayed as a result of operating the software to be tested with the expected result image in the newly selected operating environment, determines the pass / fail of the test, and outputs the result. do. In this way, the control unit 31 repeats the process of testing the operation of the software until all of the operating environments X1, X2, X3 ... Are selected.

最終的に、全ての動作環境を選択済みであると判定した場合(ステップS36;YES)、制御部31は、図12に示したテスト処理を終了する。これにより、異なる複数の動作環境X1,X2,X3…のそれぞれでテスト対象のソフトウェアが期待通りに動作するか否かを検証した結果を得ることができる。 Finally, when it is determined that all the operating environments have been selected (step S36; YES), the control unit 31 ends the test process shown in FIG. As a result, it is possible to obtain a result of verifying whether or not the software to be tested operates as expected in each of a plurality of different operating environments X1, X2, X3 ....

以上説明したように、実施の形態1に係る画像生成装置10は、テスト対象のソフトウェアが動作環境X1で動作した場合に表示される期待結果画像A1から、動作環境によって表示が異なる環境依存部品の画像が動作環境X2,X3…での画像に置換された期待結果画像A2,A3…を生成する。このように、実施の形態1に係る画像生成装置10は、1つの動作環境X1での期待結果画像A1から他の動作環境X2,X3…での期待結果画像A2,A3…を生成するため、テスト対象のソフトウェアが実際に動作した場合に表示される画像と比較するための複数の期待結果画像A1,A2,A3…を、1つの期待結果画像A1を用意することで得ることができる。その結果、テストシステム1におけるソフトウェアのテストの工数を削減することができ、ソフトウェアのテストの効率化及び作業者の負担の軽減につながる。 As described above, the image generation device 10 according to the first embodiment is an environment-dependent component whose display differs depending on the operating environment from the expected result image A1 displayed when the software to be tested operates in the operating environment X1. The expected result images A2, A3 ... In which the images are replaced with the images in the operating environment X2, X3 ... Are generated. As described above, the image generation device 10 according to the first embodiment generates the expected result images A2, A3 ... In the other operating environments X2, X3 ... From the expected result image A1 in one operating environment X1. A plurality of expected result images A1, A2, A3 ... For comparison with an image displayed when the software to be tested actually operates can be obtained by preparing one expected result image A1. As a result, the man-hours for testing the software in the test system 1 can be reduced, which leads to the efficiency of the software test and the reduction of the burden on the operator.

特に、実施の形態1に係る画像生成装置10は、期待結果画像A1に含まれる環境依存部品の画像を置換することで期待結果画像A2,A3…を生成する。そのため、環境依存部品の表示位置又はサイズを変更するのみでは対応できない場合であっても、他の動作環境に適合した期待結果画像を的確に生成することができる。 In particular, the image generation device 10 according to the first embodiment generates the expected result images A2, A3 ... By replacing the images of the environment-dependent parts included in the expected result image A1. Therefore, even if it cannot be dealt with only by changing the display position or size of the environment-dependent component, it is possible to accurately generate the expected result image suitable for other operating environments.

(実施の形態2)
次に、本発明の実施の形態2について説明する。実施の形態1と同様の事項については、適宜説明を省略する。
(Embodiment 2)
Next, Embodiment 2 of the present invention will be described. The same matters as in the first embodiment will be omitted as appropriate.

図13に、実施の形態2に係る画像生成装置10aの機能的な構成を示す。図13に示すように、実施の形態2に係る画像生成装置10aは、機能的に、取得部110と、生成部120aと、変更部130と、出力部140と、を備える。生成部120aは、切り出し部123と、特定部121と、置換部122と、の機能を含んでいる。また、画像生成装置10aは、実施の形態1と同様に、部品画像DB210と、画面情報DB220と、を備える。なお、テスト装置30の構成及び機能は、実施の形態1と同様である。 FIG. 13 shows a functional configuration of the image generation device 10a according to the second embodiment. As shown in FIG. 13, the image generation device 10a according to the second embodiment functionally includes an acquisition unit 110, a generation unit 120a, a change unit 130, and an output unit 140. The generation unit 120a includes the functions of the cutting unit 123, the specific unit 121, and the replacement unit 122. Further, the image generation device 10a includes a component image DB 210 and a screen information DB 220, as in the first embodiment. The configuration and function of the test device 30 are the same as those in the first embodiment.

切り出し部123は、取得部110により取得された入力画像である期待結果画像A1から部分画像を切り出す。部分画像は、特定部121が環境依存部品を特定し易くするために切り出される、期待結果画像A1の一部の画像である。切り出し部123は、予め定められた基準に従って、入力画像のうちから環境依存部品が含まれる可能性のある少なくとも1つの部分画像を切り出す。 The cutout unit 123 cuts out a partial image from the expected result image A1 which is an input image acquired by the acquisition unit 110. The partial image is a part of the expected result image A1 cut out so that the specific portion 121 can easily identify the environment-dependent component. The cutting unit 123 cuts out at least one partial image from the input image, which may include environment-dependent parts, according to a predetermined standard.

図14に、図5に示した期待結果画像A1から2つの部分画像B1,B2が切り出される例を示す。図14において、部分画像B1は、ステータスバーである部品P1の画像に該当し、部分画像B2は、ナビゲーションバーである部品P2の画像に該当する。 FIG. 14 shows an example in which two partial images B1 and B2 are cut out from the expected result image A1 shown in FIG. In FIG. 14, the partial image B1 corresponds to the image of the component P1 which is the status bar, and the partial image B2 corresponds to the image of the component P2 which is the navigation bar.

切り出し部123は、取得部110により取得された期待結果画像A1に含まれる画素の色に基づいて、期待結果画像A1のうちから部品P1,P2に対応する領域を判別する。具体的に説明すると、切り出し部123は、適宜の画像認識の手法を用いて、期待結果画像A1に含まれる画素の色を解析する。そして、切り出し部123は、部品P1,P2とそれら以外の背景部分との色の違いから、部品P1,P2と背景部分との境界を識別する。切り出し部123は、識別した境界により区分される領域が部品P1,P2に対応する領域であると判別する。 The cutting unit 123 determines a region corresponding to the parts P1 and P2 from the expected result image A1 based on the color of the pixel included in the expected result image A1 acquired by the acquisition unit 110. Specifically, the cutout unit 123 analyzes the colors of the pixels included in the expected result image A1 by using an appropriate image recognition method. Then, the cutout portion 123 identifies the boundary between the parts P1 and P2 and the background portion from the difference in color between the parts P1 and P2 and the background portion other than the parts P1 and P2. The cutting portion 123 determines that the region divided by the identified boundary is the region corresponding to the parts P1 and P2.

部品P1,P2に対応する領域を判別すると、切り出し部123は、判別された部品P1,P2に対応する領域の画像を、それぞれ部分画像B1,B2として期待結果画像A1から切り出す。これにより、切り出し部123は、期待結果画像A1から、部品P1,P2毎の画像である部分画像B1,B2を抽出する。 When the region corresponding to the parts P1 and P2 is discriminated, the cutting unit 123 cuts out the image of the region corresponding to the discriminated parts P1 and P2 from the expected result image A1 as partial images B1 and B2, respectively. As a result, the cutting unit 123 extracts partial images B1 and B2, which are images for each of the parts P1 and P2, from the expected result image A1.

なお、切り出し部123は、画素の色に基づくことに限らず、操作部33を介してユーザから部品P1,P2の位置情報の入力を受け付け、受け付けた入力に従って、期待結果画像A1のうちから部品P1,P2に対応する領域を特定しても良い。切り出し部123は、制御部11が記憶部12と協働することにより実現される。切り出し部123は、切り出し手段として機能する。 The cutting unit 123 is not limited to being based on the color of the pixel, but receives input of position information of the parts P1 and P2 from the user via the operation unit 33, and according to the received input, the component from the expected result image A1. The area corresponding to P1 and P2 may be specified. The cutting unit 123 is realized by the control unit 11 cooperating with the storage unit 12. The cutting unit 123 functions as a cutting means.

特定部121は、部品画像DB210に記憶されている複数の環境依存部品の動作環境X1での画像と、切り出し部123により切り出された部分画像B1,B2と、に基づいて、部分画像B1,B2のうちから、環境依存部品を特定する。具体的に説明すると、特定部121は、部分画像B1を、部品画像DB210に記憶されている複数の環境依存部品の動作環境X1での画像と比較することにより、部分画像B1が“ステータスバー”である部品P1の画像に対応すると特定する。また、特定部121は、部分画像B2を、部品画像DB210に記憶されている複数の環境依存部品の動作環境X1での画像と比較することにより、部分画像B2が“ナビゲーションバー”である部品P2の画像に対応すると特定する。このようにして、特定部121は、期待結果画像A1のうちから切り出された部分画像B1,B2を用いて、環境依存部品である部品P1,P2を特定する。 The specific unit 121 is based on the images of the plurality of environment-dependent components stored in the component image DB 210 in the operating environment X1 and the partial images B1 and B2 cut out by the cutout unit 123, and the partial images B1 and B2. From among them, identify environment-dependent parts. Specifically, the specific unit 121 compares the partial image B1 with the image in the operating environment X1 of the plurality of environment-dependent parts stored in the component image DB 210, so that the partial image B1 becomes a “status bar”. It is specified that it corresponds to the image of the component P1. Further, the specific unit 121 compares the partial image B2 with the images of the plurality of environment-dependent components stored in the component image DB 210 in the operating environment X1, so that the partial image B2 is the component P2 that is the “navigation bar”. It is specified that it corresponds to the image of. In this way, the specifying unit 121 identifies the parts P1 and P2 which are environment-dependent parts by using the partial images B1 and B2 cut out from the expected result image A1.

置換部122は、特定部121により特定された環境依存部品の画像を、動作環境X1とは異なる動作環境X2,X3…における画像に置換する。置換部122、変更部130及び出力部140の各機能は、実施の形態1と同様であるため、説明を省略する。 The replacement unit 122 replaces the image of the environment-dependent component specified by the specific unit 121 with an image in the operating environment X2, X3 ... Different from the operating environment X1. Since the functions of the replacement unit 122, the change unit 130, and the output unit 140 are the same as those in the first embodiment, the description thereof will be omitted.

以上説明したように、実施の形態2に係る画像生成装置10aは、入力画像から部分画像を切り出す。そして、実施の形態2に係る画像生成装置10aは、切り出された部分画像と、部品画像DB210に記憶されている複数の環境依存部品の動作環境X1での画像と、に基づいて、切り出された部分画像のうちから環境依存部品を特定する。このように部分画像を切り出すことにより、画像を比較する範囲を、入力画像の全体から部分画像の範囲に限定することができる。その結果、特定部121による環境依存部品の特定処理にかかる時間を短縮することが可能になり、期待結果画像を効率良く生成することにつながる。 As described above, the image generation device 10a according to the second embodiment cuts out a partial image from the input image. Then, the image generation device 10a according to the second embodiment is cut out based on the cut out partial image and the image of the plurality of environment-dependent parts stored in the part image DB 210 in the operating environment X1. Identify environment-dependent parts from the partial image. By cutting out the partial image in this way, the range for comparing the images can be limited to the range of the partial image from the entire input image. As a result, it becomes possible to shorten the time required for the identification process of the environment-dependent component by the identification unit 121, which leads to efficient generation of the expected result image.

(実施の形態3)
次に、本発明の実施の形態3について説明する。実施の形態1,2と同様の事項については、適宜説明を省略する。
(Embodiment 3)
Next, Embodiment 3 of the present invention will be described. The same matters as those of the first and second embodiments will be omitted as appropriate.

図15に、実施の形態3に係る画像生成装置10bの機能的な構成を示す。図15に示すように、実施の形態3に係る画像生成装置10bは、機能的に、取得部110と、生成部120と、変更部130と、出力部140と、を備える。生成部120は、特定部121と、置換部122と、の機能を含んでいる。また、画像生成装置10bは、部品画像DB210と、画面情報DB220と、部品情報DB230と、を備える。なお、テスト装置30の構成及び機能は、実施の形態1と同様である。 FIG. 15 shows a functional configuration of the image generation device 10b according to the third embodiment. As shown in FIG. 15, the image generation device 10b according to the third embodiment functionally includes an acquisition unit 110, a generation unit 120, a change unit 130, and an output unit 140. The generation unit 120 includes the functions of the specific unit 121 and the replacement unit 122. Further, the image generation device 10b includes a component image DB 210, a screen information DB 220, and a component information DB 230. The configuration and function of the test device 30 are the same as those in the first embodiment.

部品情報DB230は、複数の環境依存部品に関する情報であって、部品画像DB210に記憶されている画像以外の情報を記憶しているデータベースである。部品情報DB230は、記憶部12の適宜の記憶領域に構築されており、部品情報記憶手段として機能する。 The component information DB 230 is information about a plurality of environment-dependent components, and is a database that stores information other than the images stored in the component image DB 210. The component information DB 230 is constructed in an appropriate storage area of the storage unit 12, and functions as a component information storage means.

図16に、部品情報DB230に記憶されている部品情報の例を示す。図16に示すように、部品情報DB230は、複数の環境依存部品のそれぞれについて、入力画像と同じ動作環境である動作環境X1での表示位置、色及びサイズの情報を記憶している。より詳細には、部品情報DB230は、テスト対象のソフトウェアが動作環境X1で動作した場合に表示される画像において、ピッカー、ラジオボタン、ステータスバー等のそれぞれが表示される位置、表示される色、及び、表示されるサイズの情報を記憶している。 FIG. 16 shows an example of component information stored in the component information DB 230. As shown in FIG. 16, the component information DB 230 stores information on the display position, color, and size in the operating environment X1, which is the same operating environment as the input image, for each of the plurality of environment-dependent components. More specifically, the component information DB 230 has a position where each of a picker, a radio button, a status bar, etc. is displayed, a displayed color, and the like in an image displayed when the software to be tested operates in the operating environment X1. And, the information of the displayed size is stored.

具体的に説明すると、部品情報DB230は、環境依存部品の表示位置の情報として、環境依存部品が表示される中心位置の座標を記憶している。部品情報DB230は、環境依存部品の色の情報として、その環境依存部品の画像を構成する少なくとも1つの色のうちの、最も面積が大きい部分の色の情報を記憶している。また、部品情報DB230は、環境依存部品のサイズの情報として、その環境依存部品が表示される領域の画素数を記憶している。なお、部品情報DB230は、色の情報を、図16に示すようにカラーネームで記憶していても良いし、例えばRGB(Red, Green, Blue)によるカラーコードで記憶していても良い。 Specifically, the component information DB 230 stores the coordinates of the center position where the environment-dependent component is displayed as the information of the display position of the environment-dependent component. The component information DB 230 stores the color information of the portion having the largest area among at least one color constituting the image of the environment-dependent component as the color information of the environment-dependent component. Further, the component information DB 230 stores the number of pixels in the area where the environment-dependent component is displayed as information on the size of the environment-dependent component. The component information DB 230 may store color information in a color name as shown in FIG. 16, or may store it in a color code in RGB (Red, Green, Blue), for example.

部品情報DB230に記憶されている環境依存部品の表示位置、色及びサイズの情報は、その環境依存部品が表示される画面の設計情報を記述するHTML(Hyper Text Markup Language)、CSS(Cascading Style Sheets)等から得ることができる。或いは、環境依存部品の表示位置、色及びサイズの情報を、テスト対象のソフトウェアの仕様書に記載される画面の情報から得ても良い。 The information on the display position, color, and size of the environment-dependent parts stored in the part information DB 230 is HTML (Hyper Text Markup Language) and CSS (Cascading Style Sheets) that describe the design information of the screen on which the environment-dependent parts are displayed. ) Etc. can be obtained. Alternatively, information on the display position, color, and size of the environment-dependent component may be obtained from the information on the screen described in the specifications of the software to be tested.

特定部121は、部品情報DB230に記憶されている情報に基づいて、取得部110により取得された入力画像のうちから環境依存部品を特定する。具体的に説明すると、特定部121は、入力画像において、部品情報DB230に記憶されている各環境依存部品の表示位置に、部品情報DB230に記憶されている対応する色及びサイズに合致する部品が存在するか否かを判定する。判定の結果、いずれかの環境依存部品の表示位置に対応する色及びサイズに合致する部品が存在する場合に、特定部121は、その部品がその環境依存部品であると特定する。 The identification unit 121 identifies an environment-dependent component from the input images acquired by the acquisition unit 110 based on the information stored in the component information DB 230. Specifically, in the input image, the specific unit 121 has a component matching the corresponding color and size stored in the component information DB 230 at the display position of each environment-dependent component stored in the component information DB 230. Determine if it exists. As a result of the determination, when there is a component matching the color and size corresponding to the display position of any of the environment-dependent components, the specific unit 121 identifies the component as the environment-dependent component.

例えば、入力画像が図5に示した期待結果画像A1である場合、特定部121は、部品情報DB230に記憶されているステータスバーの表示位置、色及びサイズの情報から、部品P1がステータスバーであると特定する。そして、特定部121は、部品情報DB230に記憶されているナビゲーションバーの表示位置、色及びサイズの情報から、部品P2がナビゲーションバーであると特定する。このように、特定部121は、入力画像のうちの、部品情報DB230に記憶されている表示位置、色及びサイズのそれぞれが合致する部品を、環境依存部品として特定する。 For example, when the input image is the expected result image A1 shown in FIG. 5, the specific unit 121 uses the status bar as the component P1 from the information on the display position, color, and size of the status bar stored in the component information DB 230. Identify as being. Then, the specifying unit 121 identifies the component P2 as the navigation bar from the information on the display position, color, and size of the navigation bar stored in the component information DB 230. In this way, the specifying unit 121 identifies, among the input images, the parts that match the display positions, colors, and sizes stored in the part information DB 230 as environment-dependent parts.

特定部121は、このような表示位置、色及びサイズに基づく環境依存部品の特定処理を、部品画像DB210に記憶されている環境依存部品の画像情報による特定処理と併用する。具体的に説明すると、特定部121は、取得部110により取得された入力画像と、部品画像DB210に記憶されている複数の環境依存部品の動作環境X1での画像と、を比較する。更に、特定部121は、入力画像の中に、部品情報DB230に記憶されている表示位置、色及びサイズに合致する部品が存在するか否かを判定する。その結果、特定部121は、入力画像のうちの、部品画像DB210に記憶されている動作環境X1での画像と合致し、且つ、部品情報DB230に記憶されている表示位置、色及びサイズのそれぞれが合致する部品を、環境依存部品として特定する。 The specifying unit 121 uses the identification processing of the environment-dependent parts based on the display position, the color, and the size in combination with the identification processing based on the image information of the environment-dependent parts stored in the component image DB 210. Specifically, the specific unit 121 compares the input image acquired by the acquisition unit 110 with the images of the plurality of environment-dependent components stored in the component image DB 210 in the operating environment X1. Further, the specific unit 121 determines whether or not there is a component matching the display position, color, and size stored in the component information DB 230 in the input image. As a result, the specific unit 121 matches the image in the operating environment X1 stored in the component image DB 210 among the input images, and has a display position, a color, and a size stored in the component information DB 230, respectively. Identify the parts that match with as environment-dependent parts.

置換部122は、特定部121により特定された環境依存部品の画像を、動作環境X1とは異なる動作環境X2,X3…における画像に置換する。置換部122、変更部130及び出力部140の各機能は、実施の形態1と同様であるため、説明を省略する。 The replacement unit 122 replaces the image of the environment-dependent component specified by the specific unit 121 with an image in the operating environment X2, X3 ... Different from the operating environment X1. Since the functions of the replacement unit 122, the change unit 130, and the output unit 140 are the same as those in the first embodiment, the description thereof will be omitted.

以上説明したように、実施の形態3に係る画像生成装置10bは、複数の環境依存部品のそれぞれの表示位置、色及びサイズの情報を記憶している部品情報DB230を備える。そして、実施の形態3に係る画像生成装置10bは、部品画像DB210に記憶されている画像情報に加えて、部品情報DB230に記憶されている表示位置等の情報に基づいて、入力画像のうちから環境依存部品を特定する。このように、実施の形態3に係る画像生成装置10bは、画像の比較だけでなく、表示位置等の情報も用いるため、より的確に環境依存部品を特定することができる。 As described above, the image generation device 10b according to the third embodiment includes a component information DB 230 that stores information on display positions, colors, and sizes of the plurality of environment-dependent components. Then, the image generation device 10b according to the third embodiment has the input image from the input image based on the information such as the display position stored in the component information DB 230 in addition to the image information stored in the component image DB 210. Identify environment-dependent components. As described above, since the image generation device 10b according to the third embodiment uses not only image comparison but also information such as display positions, it is possible to more accurately identify environment-dependent parts.

(変形例)
以上、本発明の実施の形態を説明したが、本発明を実施するにあたっては、種々の形態による変形及び応用が可能である。
(Modification example)
Although the embodiments of the present invention have been described above, various modifications and applications are possible in carrying out the present invention.

例えば、上記実施の形態では、画像生成装置10,10a,10bにおいて、取得部110は、第1の画像である期待結果画像A1を、テスト装置30から通信部15等を介して取得した。しかしながら、本発明において、第1の画像は、テスト装置30に限らず、テスト対象のソフトウェアが第1の動作環境X1で動作可能な他の装置により生成されても良い。この場合、取得部110は、当該他の装置から通信部15等を介して第1の画像を取得する。 For example, in the above embodiment, in the image generation devices 10, 10a, 10b, the acquisition unit 110 acquires the expected result image A1 which is the first image from the test device 30 via the communication unit 15, and the like. However, in the present invention, the first image is not limited to the test device 30, and the software to be tested may be generated by another device capable of operating in the first operating environment X1. In this case, the acquisition unit 110 acquires the first image from the other device via the communication unit 15 and the like.

また、本発明において、画像生成装置10,10a,10b自体がテスト対象のソフトウェアを第1の動作環境X1で動作させる機能を備えている場合には、第1の画像は、画像生成装置10,10a,10bの内部で生成されても良い。この場合、画像生成装置10,10a,10bが期待結果画像A1を生成する処理が、取得部110が第1の画像を取得する処理に相当する。 Further, in the present invention, when the image generation devices 10, 10a, 10b themselves have a function of operating the software to be tested in the first operating environment X1, the first image is the image generation device 10, It may be generated inside 10a and 10b. In this case, the process of generating the expected result image A1 by the image generation devices 10, 10a, 10b corresponds to the process of acquiring the first image by the acquisition unit 110.

上記実施の形態では、画像生成装置10,10a,10bとテスト装置30とは、独立した装置であった。しかしながら、本発明において、画像生成装置10,10a,10bの機能とテスト装置30の機能とが、1つの装置に備えられていても良い。例えば、画像生成装置10,10a,10bとして機能するパーソナルコンピュータ、タブレット端末、サーバ等の情報処理装置が、テスト装置30の機能を更に備えていても良い。この場合、画像生成装置10,10a,10bの機能とテスト装置30の機能とをどちらも備える情報処理装置が、テストシステム1に相当する。 In the above embodiment, the image generation devices 10, 10a, 10b and the test device 30 are independent devices. However, in the present invention, the functions of the image generation devices 10, 10a and 10b and the functions of the test device 30 may be provided in one device. For example, an information processing device such as a personal computer, a tablet terminal, or a server that functions as the image generation devices 10, 10a, 10b may further have the function of the test device 30. In this case, the information processing device having both the functions of the image generation devices 10, 10a and 10b and the functions of the test device 30 corresponds to the test system 1.

上記実施の形態では、テスト装置30は、判定部330の機能を備えており、画像生成装置10,10a,10bから出力された期待結果画像A1,A2,A3…と、ソフトウェア動作部320により実行された結果の画像と、を比較することにより、テストの合否を判定した。しかしながら、本発明において、合否の判定は、テスト装置30により自動的に行われることに限らない。例えば、画像生成装置10,10a,10bから出力された期待結果画像A1,A2,A3…と、ソフトウェア動作部320により実行された結果の画像とを、作業者が目視で比較することにより合否を判定しても良い。このような作業者の手動による工程が少なくとも一部に含まれるテストであっても、画像生成装置10,10a,10bによれば、期待結果画像を生成する工程を自動化することができるため、作業者の負担を軽減することができる。 In the above embodiment, the test device 30 has a function of the determination unit 330, and is executed by the expected result images A1, A2, A3 ... Output from the image generation devices 10, 10a, 10b, and the software operation unit 320. The pass / fail of the test was determined by comparing with the resulting image. However, in the present invention, the pass / fail determination is not limited to being automatically performed by the test device 30. For example, the operator visually compares the expected result images A1, A2, A3 ... Output from the image generators 10, 10a, 10b with the image of the result executed by the software operation unit 320 to determine the pass / fail. You may judge. Even in a test in which at least a part of such a manual process by an operator is included, the image generation devices 10, 10a, and 10b can automate the process of generating an expected result image, so that the work can be performed. The burden on the person can be reduced.

上記実施の形態では、画像生成装置10,10a,10bは、動作環境X1での期待結果画像A1から複数の動作環境X2,X3…での期待結果画像A2,A3…を生成した。しかしながら、本発明において、テスト対象のソフトウェアが動作することが想定される動作環境として動作環境X1以外に動作環境X2しか存在しない場合には、画像生成装置10,10a,10bは、動作環境X1での期待結果画像A1から1つの動作環境X2での期待結果画像A2のみを生成しても良い。 In the above embodiment, the image generation devices 10, 10a, 10b generate the expected result images A2, A3 ... In the plurality of operating environments X2, X3 ... From the expected result image A1 in the operating environment X1. However, in the present invention, when only the operating environment X2 exists in addition to the operating environment X1 as the operating environment in which the software to be tested is expected to operate, the image generators 10, 10a, and 10b are in the operating environment X1. Only the expected result image A2 in one operating environment X2 may be generated from the expected result image A1 of.

上記実施の形態では、画像生成装置10,10a,10bの制御部11において、CPUがROM又は記憶部12に記憶されたプログラムを実行することによって、図4に示した各部として機能した。また、テスト装置30の制御部31において、CPUがROM又は記憶部32に記憶されたプログラムを実行することによって、図4に示した各部として機能した。しかしながら、本発明において、制御部11,31は、専用のハードウェアであってもよい。専用のハードウェアとは、例えば単一回路、複合回路、プログラム化されたプロセッサ、ASIC(Application Specific Integrated Circuit)、FPGA(Field-Programmable Gate Array)、又は、これらの組み合わせ等である。制御部11,31が専用のハードウェアである場合、各部の機能それぞれを個別のハードウェアで実現してもよいし、各部の機能をまとめて単一のハードウェアで実現してもよい。また、各部の機能のうち、一部を専用のハードウェアによって実現し、他の一部をソフトウェア又はファームウェアによって実現してもよい。このように、制御部11,31は、ハードウェア、ソフトウェア、ファームウェア、又は、これらの組み合わせによって、上述の各機能を実現することができる。 In the above embodiment, in the control unit 11 of the image generation devices 10, 10a, 10b, the CPU functions as each unit shown in FIG. 4 by executing the program stored in the ROM or the storage unit 12. Further, in the control unit 31 of the test device 30, the CPU functions as each unit shown in FIG. 4 by executing the program stored in the ROM or the storage unit 32. However, in the present invention, the control units 11 and 31 may be dedicated hardware. The dedicated hardware is, for example, a single circuit, a composite circuit, a programmed processor, an ASIC (Application Specific Integrated Circuit), an FPGA (Field-Programmable Gate Array), or a combination thereof. When the control units 11 and 31 are dedicated hardware, the functions of each unit may be realized by individual hardware, or the functions of each unit may be collectively realized by a single hardware. Further, some of the functions of each part may be realized by dedicated hardware, and other parts may be realized by software or firmware. As described above, the control units 11 and 31 can realize each of the above-mentioned functions by hardware, software, firmware, or a combination thereof.

本発明に係る画像生成装置10,10a,10b又はテスト装置30の動作を規定するプログラムを、パーソナルコンピュータ又は情報端末装置等の既存のコンピュータに適用することで、当該コンピュータを、本発明に係る画像生成装置10,10a,10b又はテスト装置30として機能させることも可能である。 By applying a program that defines the operation of the image generation devices 10, 10a, 10b or the test device 30 according to the present invention to an existing computer such as a personal computer or an information terminal device, the computer can be used as an image according to the present invention. It can also function as a generator 10, 10a, 10b or a test device 30.

また、このようなプログラムの配布方法は任意であり、例えば、CD−ROM、DVD、MO(Magneto Optical Disk)、又は、メモリカード等のコンピュータ読み取り可能な記録媒体に格納して配布してもよいし、インターネット等の通信ネットワークを介して配布してもよい。 Further, the distribution method of such a program is arbitrary, and may be stored and distributed in a computer-readable recording medium such as a CD-ROM, DVD, MO (Magneto Optical Disk), or a memory card. However, it may be distributed via a communication network such as the Internet.

本発明は、本発明の広義の精神と範囲を逸脱することなく、様々な実施の形態及び変形が可能とされるものである。また、上述した実施の形態は、この発明を説明するためのものであり、本発明の範囲を限定するものではない。すなわち、本発明の範囲は、実施の形態ではなく、請求の範囲によって示される。そして請求の範囲内及びそれと同等の発明の意義の範囲内で施される様々な変形が、この発明の範囲内とみなされる。 The present invention allows for various embodiments and modifications without departing from the broad spirit and scope of the invention. Further, the above-described embodiments are for explaining the present invention, and do not limit the scope of the present invention. That is, the scope of the present invention is shown not by the embodiment but by the claims. And various modifications made within the scope of the claims and within the equivalent meaning of the invention are considered to be within the scope of the invention.

本発明は、ソフトウェアをテストするシステム等に好適に採用され得る。 INDUSTRIAL APPLICABILITY The present invention can be suitably adopted for a system for testing software and the like.

1 テストシステム、10,10a,10b 画像生成装置、11 制御部、12 記憶部、13 操作部、14 表示部、15 通信部、30 テスト装置、31 制御部、32 記憶部、33 操作部、34 表示部、35 通信部、110 取得部、120,120a 生成部、121 特定部、122 置換部、123 切り出し部、130 変更部、140 出力部、210 部品画像DB、220 画面情報DB、230 部品情報DB、310 取得部、320 ソフトウェア動作部、330 判定部、340 出力部、A1,A2,A3 期待結果画像、B1,B2 部分画像、P1,P2 部品 1 test system, 10, 10a, 10b image generator, 11 control unit, 12 storage unit, 13 operation unit, 14 display unit, 15 communication unit, 30 test equipment, 31 control unit, 32 storage unit, 33 operation unit, 34 Display unit, 35 communication unit, 110 acquisition unit, 120, 120a generation unit, 121 specific unit, 122 replacement unit, 123 cutout unit, 130 change unit, 140 output unit, 210 component image DB, 220 screen information DB, 230 component information. DB, 310 acquisition unit, 320 software operation unit, 330 judgment unit, 340 output unit, A1, A2, A3 expected result image, B1, B2 partial image, P1, P2 parts

上記目的を達成するため、本発明に係る画像生成装置は、
テスト対象のソフトウェアが第1の動作環境で動作した場合に表示される第1の画像であって、前記第1の動作環境と前記第1の動作環境とは異なる第2の動作環境とで表示が異なる部品の画像を含む前記第1の画像を取得する取得手段と、
前記取得手段により取得された前記第1の画像から、前記第1の画像に含まれる前記部品の画像が前記第2の動作環境での前記部品の画像に置換された第2の画像を生成する生成手段と、
前記第1の動作環境と前記第2の動作環境とで表示が異なる複数の部品のそれぞれについて、前記第1の動作環境での表示位置、色及びサイズを記憶している部品情報記憶手段と、を備え、
前記生成手段は、
前記取得手段により取得された前記第1の画像において、前記部品情報記憶手段に記憶されている前記複数の部品のそれぞれの前記表示位置に、前記部品情報記憶手段に記憶されている対応する前記色及び前記サイズに合致する部品が存在するか否かを判定することにより、前記取得手段により取得された前記第1の画像のうちから、前記第1の動作環境と前記第2の動作環境とで表示が異なる前記部品を特定する特定手段と、
前記取得手段により取得された前記第1の画像に含まれる、前記特定手段により特定された前記部品の画像を、前記特定手段により特定された前記部品の前記第2の動作環境での画像に置換することにより、前記第2の画像を生成する置換手段と、を備える。
In order to achieve the above object, the image generator according to the present invention is
It is a first image displayed when the software to be tested operates in the first operating environment, and is displayed in the first operating environment and the second operating environment different from the first operating environment. The acquisition means for acquiring the first image including the images of different parts, and
From the first image acquired by the acquisition means, a second image is generated in which the image of the component included in the first image is replaced with the image of the component in the second operating environment. The means of generation and
A component information storage means for storing display positions, colors, and sizes in the first operating environment for each of a plurality of components whose displays differ between the first operating environment and the second operating environment. Equipped with
The generation means is
In the first image acquired by the acquisition means, the corresponding color stored in the component information storage means is stored at the display position of each of the plurality of parts stored in the component information storage means. And by determining whether or not there is a component that matches the size, the first operating environment and the second operating environment can be obtained from the first image acquired by the acquisition means. Specific means for identifying the parts with different indications and
The image of the component specified by the specific means included in the first image acquired by the acquisition means is replaced with an image of the component specified by the specific means in the second operating environment. By doing so, the replacement means for generating the second image is provided.

Claims (11)

テスト対象のソフトウェアが第1の動作環境で動作した場合に表示される第1の画像であって、前記第1の動作環境と前記第1の動作環境とは異なる第2の動作環境とで表示が異なる部品の画像を含む前記第1の画像を取得する取得手段と、
前記取得手段により取得された前記第1の画像から、前記第1の画像に含まれる前記部品の画像が前記第2の動作環境での前記部品の画像に置換された第2の画像を生成する生成手段と、を備える、
画像生成装置。
It is a first image displayed when the software to be tested operates in the first operating environment, and is displayed in the first operating environment and the second operating environment different from the first operating environment. The acquisition means for acquiring the first image including the images of different parts, and
From the first image acquired by the acquisition means, a second image is generated in which the image of the component included in the first image is replaced with the image of the component in the second operating environment. With a generation means,
Image generator.
前記生成手段は、
前記取得手段により取得された前記第1の画像のうちから前記部品を特定する特定手段と、
前記取得手段により取得された前記第1の画像に含まれる、前記特定手段により特定された前記部品の画像を、前記第2の動作環境での前記部品の画像に置換することにより、前記第2の画像を生成する置換手段と、を備える、
請求項1に記載の画像生成装置。
The generation means is
A specific means for identifying the component from the first image acquired by the acquisition means, and
The second image by replacing the image of the component specified by the specific means included in the first image acquired by the acquisition means with the image of the component in the second operating environment. With a replacement means, which produces an image of
The image generator according to claim 1.
前記第1の動作環境と前記第2の動作環境とで表示が異なる複数の部品のそれぞれについて、前記第1の動作環境での画像と前記第2の動作環境での画像とを記憶している部品画像記憶手段、を更に備え、
前記特定手段は、前記部品画像記憶手段に記憶されている前記複数の部品の前記第1の動作環境での画像と、前記取得手段により取得された前記第1の画像と、に基づいて、前記第1の画像のうちから前記部品を特定し、
前記置換手段は、前記取得手段により取得された前記第1の画像に含まれる、前記特定手段により特定された前記部品の画像を、前記部品画像記憶手段に記憶されている、前記特定手段により特定された前記部品の前記第2の動作環境での画像に置換する、
請求項2に記載の画像生成装置。
For each of the plurality of parts whose display differs between the first operating environment and the second operating environment, an image in the first operating environment and an image in the second operating environment are stored. Further equipped with parts image storage means,
The specific means is based on an image of the plurality of parts stored in the component image storage means in the first operating environment and the first image acquired by the acquisition means. Identify the part from the first image and
The replacement means identifies the image of the component specified by the specific means included in the first image acquired by the acquisition means by the specific means stored in the component image storage means. Replace with the image of the part in the second operating environment.
The image generator according to claim 2.
前記生成手段は、前記取得手段により取得された前記第1の画像から部分画像を切り出す切り出し手段、を更に備え、
前記特定手段は、前記部品画像記憶手段に記憶されている前記複数の部品の前記第1の動作環境での画像と、前記切り出し手段により切り出された前記部分画像と、に基づいて、前記部分画像のうちから前記部品を特定する、
請求項3に記載の画像生成装置。
The generation means further includes a cutting means for cutting out a partial image from the first image acquired by the acquisition means.
The specific means is based on the image of the plurality of parts stored in the component image storage means in the first operating environment and the partial image cut out by the cutting means. Identify the part from among
The image generator according to claim 3.
前記切り出し手段は、前記取得手段により取得された前記第1の画像に含まれる画素の色に基づいて、前記第1の画像のうちから前記部品に対応する領域を判別し、判別された前記領域の画像を前記部分画像として前記第1の画像から切り出す、
請求項4に記載の画像生成装置。
The cutting means determines a region corresponding to the component from the first image based on the color of the pixel included in the first image acquired by the acquisition means, and the determined region. Is cut out from the first image as the partial image.
The image generator according to claim 4.
前記第1の動作環境と前記第2の動作環境とで表示が異なる複数の部品のそれぞれについて、前記第1の動作環境での表示位置と色とサイズとのうちの少なくとも1つの情報を記憶している部品情報記憶手段、を更に備え、
前記特定手段は、前記部品情報記憶手段に記憶されている前記情報に基づいて、前記取得手段により取得された前記第1の画像のうちから、前記部品を特定する、
請求項2から5のいずれか1項に記載の画像生成装置。
For each of the plurality of parts whose display differs between the first operating environment and the second operating environment, at least one information of the display position, color, and size in the first operating environment is stored. Further equipped with parts information storage means,
The specific means identifies the part from the first image acquired by the acquisition means based on the information stored in the part information storage means.
The image generator according to any one of claims 2 to 5.
前記生成手段により生成された前記第2の画像の解像度とアスペクト比とのうちの少なくとも一方を、前記第2の動作環境での値に変更する変更手段、を更に備える、
請求項1から6のいずれか1項に記載の画像生成装置。
Further provided is a changing means for changing at least one of the resolution and the aspect ratio of the second image generated by the generating means to a value in the second operating environment.
The image generator according to any one of claims 1 to 6.
前記部品は、前記第1の動作環境と前記第2の動作環境とでデザインが異なる部品である、
請求項1から7のいずれか1項に記載の画像生成装置。
The component is a component having a different design between the first operating environment and the second operating environment.
The image generator according to any one of claims 1 to 7.
請求項1から8のいずれか1項に記載の画像生成装置と、テスト装置と、を備えるテストシステムであって、
前記テスト装置は、
前記ソフトウェアを前記第2の動作環境で動作させるソフトウェア動作手段と、
前記ソフトウェア動作手段により前記ソフトウェアが前記第2の動作環境で動作した場合に表示される画像と、前記画像生成装置により生成された前記第2の画像と、に基づいて得られた、前記ソフトウェアのテスト結果を出力する出力手段と、を備える、
テストシステム。
A test system including the image generation device according to any one of claims 1 to 8 and a test device.
The test device is
A software operating means for operating the software in the second operating environment,
The software of the software obtained based on an image displayed when the software operates in the second operating environment by the software operating means and the second image generated by the image generator. Equipped with an output means for outputting test results,
Test system.
テスト対象のソフトウェアが第1の動作環境で動作した場合に表示される第1の画像のうちから、前記第1の動作環境と前記第1の動作環境とは異なる第2の動作環境とで表示が異なる部品を特定し、
前記第1の画像に含まれる前記部品の画像を前記第2の動作環境での前記部品の画像に置換することにより、前記第1の画像から、前記ソフトウェアが前記第2の動作環境で動作した場合に表示される第2の画像を生成する、
画像生成方法。
From the first image displayed when the software to be tested operates in the first operating environment, the first operating environment and the second operating environment different from the first operating environment are displayed. Identify different parts,
By replacing the image of the component included in the first image with the image of the component in the second operating environment, the software operated in the second operating environment from the first image. Generate a second image to be displayed if
Image generation method.
コンピュータを、
テスト対象のソフトウェアが第1の動作環境で動作した場合に表示される第1の画像であって、前記第1の動作環境と前記第1の動作環境とは異なる第2の動作環境とで表示が異なる部品の画像を含む前記第1の画像を取得する取得手段、
前記取得手段により取得された前記第1の画像から、前記第1の画像に含まれる前記部品の画像が前記第2の動作環境での前記部品の画像に置換された第2の画像を生成する生成手段、として機能させる、
プログラム。
Computer,
It is a first image displayed when the software to be tested operates in the first operating environment, and is displayed in the first operating environment and the second operating environment different from the first operating environment. Acquiring means for acquiring the first image including images of different parts,
From the first image acquired by the acquisition means, a second image is generated in which the image of the component included in the first image is replaced with the image of the component in the second operating environment. To function as a generation means,
program.
JP2021511712A 2019-03-29 2019-03-29 Image generator, test system, image generation method and program Pending JPWO2020202337A1 (en)

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2019/014240 WO2020202337A1 (en) 2019-03-29 2019-03-29 Image generation device, test system, image generation method, and program

Publications (1)

Publication Number Publication Date
JPWO2020202337A1 true JPWO2020202337A1 (en) 2021-12-23

Family

ID=72667306

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2021511712A Pending JPWO2020202337A1 (en) 2019-03-29 2019-03-29 Image generator, test system, image generation method and program

Country Status (2)

Country Link
JP (1) JPWO2020202337A1 (en)
WO (1) WO2020202337A1 (en)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112468641B (en) * 2020-10-26 2023-04-21 百果园技术(新加坡)有限公司 Program testing method, device, terminal and storage medium

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223568A (en) * 2008-03-14 2009-10-01 Toshiba Corp Scenario-generating device and program
JP2011060052A (en) * 2009-09-11 2011-03-24 Mitsubishi Electric Corp Method for executing software test
JP2016173619A (en) * 2015-03-16 2016-09-29 三菱電機株式会社 Application test device
JP2016224868A (en) * 2015-06-03 2016-12-28 新日鉄住金ソリューションズ株式会社 Information processor, information processing method and program
JP2017138717A (en) * 2016-02-02 2017-08-10 日本電信電話株式会社 Screen difference extraction device, screen difference extraction method, and program

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2009223568A (en) * 2008-03-14 2009-10-01 Toshiba Corp Scenario-generating device and program
JP2011060052A (en) * 2009-09-11 2011-03-24 Mitsubishi Electric Corp Method for executing software test
JP2016173619A (en) * 2015-03-16 2016-09-29 三菱電機株式会社 Application test device
JP2016224868A (en) * 2015-06-03 2016-12-28 新日鉄住金ソリューションズ株式会社 Information processor, information processing method and program
JP2017138717A (en) * 2016-02-02 2017-08-10 日本電信電話株式会社 Screen difference extraction device, screen difference extraction method, and program

Also Published As

Publication number Publication date
WO2020202337A1 (en) 2020-10-08

Similar Documents

Publication Publication Date Title
US10242410B2 (en) Storage medium, image processing method and image processing apparatus
US11468226B2 (en) Systems and methods for presentation of a terminal application screen
US10491756B2 (en) Information processing apparatus, information processing method, and non-transitory computer readable recording medium
US9600893B2 (en) Image processing device, method, and medium for discriminating a type of input image using non-common regions
KR101588027B1 (en) Method and apparatus for generating test case to support localization of software
CA2907208A1 (en) System and method for developing business rules for decision engines
JP2016048471A (en) Application development support device, data processing method and program therefor
JP2017162147A (en) Information processor, program, and information processing method
US8924871B2 (en) GUI evaluation system, GUI evaluation method, and GUI evaluation program
JP2019133303A (en) Information processor and information processing program and information processing method
CN112667212A (en) Buried point data visualization method and device, terminal and storage medium
US8347223B2 (en) GUI evaluation system, method, and program for evaluating a text input component
US11314991B2 (en) Information display method, information display system, and storage medium
WO2020202337A1 (en) Image generation device, test system, image generation method, and program
JP6619891B2 (en) Screen test apparatus and screen test program
CN111191087B (en) Character matching method, terminal device and computer readable storage medium
CN112417687A (en) Intelligent image examination method and related device
JPWO2018207481A1 (en) Automatic inspection device
US11042695B2 (en) Information processing apparatus and non-transitory computer readable medium for generating input screen information
US20180374247A1 (en) Graph display method, electronic device, and recording medium
JP2017111500A (en) Character recognizing apparatus, and program
JP2023145001A (en) Information processing device and image processing program
CN110956676A (en) Multi-axis curve drawing method and device and electronic equipment
CN111953954A (en) Terminal white balance debugging and configuration method, display terminal, cloud platform and system
US20180081951A1 (en) Information generation system, a method and a non-transitory computer readable medium thereof

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20210824

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20210824

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20220920

A02 Decision of refusal

Free format text: JAPANESE INTERMEDIATE CODE: A02

Effective date: 20230314