WO2016170618A1 - 自動試験装置 - Google Patents

自動試験装置 Download PDF

Info

Publication number
WO2016170618A1
WO2016170618A1 PCT/JP2015/062240 JP2015062240W WO2016170618A1 WO 2016170618 A1 WO2016170618 A1 WO 2016170618A1 JP 2015062240 W JP2015062240 W JP 2015062240W WO 2016170618 A1 WO2016170618 A1 WO 2016170618A1
Authority
WO
WIPO (PCT)
Prior art keywords
unit
test
learning
pass
screen
Prior art date
Application number
PCT/JP2015/062240
Other languages
English (en)
French (fr)
Inventor
亮治 土手
水口　武尚
昌弘 出口
下谷　光生
明 豊岡
夏実 石黒
努 元濱
寿和 加藤
勝弘 廣瀬
昌行 桐村
Original Assignee
三菱電機株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 三菱電機株式会社 filed Critical 三菱電機株式会社
Priority to PCT/JP2015/062240 priority Critical patent/WO2016170618A1/ja
Priority to JP2017513881A priority patent/JP6214824B2/ja
Priority to TW104113470A priority patent/TW201638784A/zh
Publication of WO2016170618A1 publication Critical patent/WO2016170618A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/28—Error detection; Error correction; Monitoring by checking the correct order of processing

Definitions

  • the present invention relates to an automatic test apparatus for testing software for displaying a screen.
  • GUI Graphic User Interface
  • UI User Interface
  • the UI screen is complicated and large in quantity, and the display pattern of the UI screen tends to increase.
  • UI screen tests have been made based on human operations and judgments.
  • the time and cost required for UI screen tests have increased. And developers are demanding efficiency.
  • Patent Document 1 proposes a method of preparing a change area as a mask area in advance and comparing areas excluding the mask area when comparing the target screen image and the correct screen image.
  • the change area is deleted from the correct screen image and the target screen image and compared.
  • this method when the change area has a complicated shape, the man-hour for preparing the outline of the change area to be excluded increases, and an undeleted area remains at the time of deletion, and a difference may occur at the time of comparison.
  • Patent Document 2 prepares an object correct image that holds the object body and shape for each object in the UI screen, transparently processes a background area that is not a comparison target, and compares the size before comparison.
  • a method is proposed in which the image is synthesized on the target screen after the adjustment is made, and the resultant image and the correct image are compared.
  • Patent Literature 3 presents a method for learning a difference due to a web browser environment executed for a web application, and excluding a screen display difference that occurs depending on the environment at the time of performing a test from a test failure determination. ing.
  • the UI screen may change depending on the load status, test conditions, and timing of the test target environment when the test is performed.
  • the processing speed changes depending on the load status of the test environment
  • the progress bar indicating the processing status is slightly shifted
  • the display character string of the clock portion changes depending on the test execution time.
  • a slight display shift or a change due to the processing speed or a change in time display or an animation that is naturally required may not require a failure determination in the test.
  • a fine difference in the UI screen image is detected to make a failure determination.
  • the present invention was made to solve the above-described problems, and aims to reduce the time and cost required for test preparation by automatically generating a correct screen image and mask data. In addition, by learning the tendency of the difference that occurs depending on the environment and timing of the test and using it during the test, it is possible to allow variations in UI screen display that can normally occur. In addition, compared to conventional mask processing and simple screen image comparison, the change area is not excluded from the screen comparison, and comparison including fine changes can be performed, so human judgment is required later. Can be reduced.
  • This invention was made to solve the above problems, an operation unit for operating the input device of the test target device, an acquisition unit for acquiring the output screen display content of the test target device, A test procedure group including one or more preset operations for the operation unit and an instruction as to whether or not to acquire output screen display contents corresponding to the operation from the acquisition unit is repeatedly executed, and a plurality of operations corresponding to each operation
  • a learning unit that learns a range of variation and a tendency of variation in display content of the output screen, generates learning data for pass / fail judgment of the test target device, a display unit that displays the learning data, and the operation
  • the operation set in advance in the test procedure is performed on the unit, the output screen display content acquired by the acquisition unit is compared with the learning data, and the test result for the test target device is compared.
  • an automatic test apparatus characterized by comprising a judgment unit for judging.
  • FIG. 3 is an operation image of a learning mode of the automatic test apparatus according to the first embodiment. It is an operation image of pass / fail judgment reference learning of the automatic test apparatus according to the first embodiment.
  • FIG. 4 is a flowchart showing a process in a test mode of the automatic test apparatus according to the first embodiment. It is an operation
  • movement image which shows an example of the pass / fail determination method of the automatic timekeeping apparatus which concerns on this Embodiment 1.
  • FIG. It is an example of the screen image group acquired in learning mode when there are a plurality of reference screen images. It is an example of the pass / fail judgment reference learning data 302 in which the difference pattern becomes redundant. It is an example of the pass / fail judgment reference learning data 203 when there are a plurality of reference screen images and difference patterns.
  • FIG. 2 It is a block diagram which shows an example of a function structure of the system using the automatic test apparatus which concerns on this Embodiment 2. It is a flowchart which shows the process at the time of the learning mode of the automatic test apparatus which concerns on this Embodiment 2.
  • FIG. It is a block diagram which shows an example of a function structure of the system using the automatic test apparatus which concerns on this Embodiment 3.
  • FIG. It is a flowchart explaining the operation
  • FIG. 1 is a block diagram schematically showing a specific example of the hardware configuration of the automatic test apparatus 100 according to Embodiment 1 of the present invention.
  • an automatic test apparatus 100 according to Embodiment 1 includes a processor 1 that controls the entire apparatus, a storage device 2, a test operation interface 3, an image acquisition interface 4, and an input device. 5 and an output device 6.
  • the storage device 2 is a general term for an external storage device such as a memory such as a ROM (Read Only Memory) and a RAM (Random Access Memory) and a hard disk, and the processor 1 reads and writes programs and data. It is also used as a storage location.
  • the test target operation interface 3 is a device for operating the input device of the test target device, and is a wired or wireless communication device such as a USB cable, a LAN cable, infrared rays, Bluetooth (registered trademark), a robot, a voice control device, or the like. is there.
  • the test target operation interface 3 may include a program, data, and a communication path for operating the input device of the test target device, or reads necessary information from the recording device 2 and operates in response to an instruction from the processor 1 It may be.
  • the image acquisition interface 4 is a device for acquiring the output screen display contents (UI screen image) of the test target device, and is a capture device such as a camera.
  • the image acquisition interface 4 may include a program, data, and communication path for acquiring a UI screen image of the test target device, and reads necessary information from the recording device 2 and operates in response to an instruction from the processor 1.
  • the input device 5 includes input devices such as a keyboard, a mouse, a touch pad, a wired or wireless communication interface, voice recognition, and various sensors, and their control programs and communication paths.
  • the display device 6 is a device for notifying the user of setting data and output data used in the automatic test apparatus 100, and includes a communication path for outputting data to an external display device (not shown) and control programs therefor. Or a communication path.
  • FIG. 2 is a functional block diagram of the automatic test apparatus 100 according to the first embodiment.
  • the control unit 102 is a program that characterizes the function of the automatic test apparatus 100 as a product, and the control unit 102 usually controls the automatic test apparatus 100.
  • the recording unit 101 holds a program, data, temporary data, and the like for operating the automatic test apparatus 100 in the storage device 2.
  • the storage device 2 may be the recording unit 101, and the control unit 102 may perform reading and writing processing on the recording unit 101.
  • the control unit 102 controls each function of the automatic test apparatus 100 and exchanges data between the functions.
  • a test target operation unit (operation unit) 103 is a communication path for performing operations and data input to the test target device 200 via the test target operation interface 3, a transmission module such as infrared rays, a voice output device, and a robot driving unit. This is a signal transmission cable or a signal line to a driving device such as a motor.
  • the test target operation unit 103 may include a program or data for performing signal conversion for controlling or controlling the devices constituting the test target operation unit 103.
  • the operation and data input of the test target device 200 from the test target operation unit 103 via the test target operation interface 3 includes transmission of command character string data for input device operation, waveform output such as infrared rays, transmission of control commands for the operating robot, An audio output pattern is set to the audio output device, an operation command prepared in advance in the product is transmitted, and the operation or data input originally performed by a person is substituted for the test target apparatus 200.
  • the test target operation interface 3 may be the test target operation unit 103, and the control of the test target operation unit 103 may be performed by the control unit 102.
  • the screen image acquisition unit (acquisition unit) 104 acquires the display content of the UI screen from the test target apparatus 200 as still image data such as a bitmap image or a JPEG (Joint Photographic Experts Group) system via the image acquisition interface 4.
  • still image data transmitted from the generation unit 204 to the display unit 205 by the test target device 200 is acquired from the communication path.
  • the video data transmitted from the generation unit 204 to the display unit 205 may be captured at an arbitrary timing and converted into still image data by the image acquisition interface 4 or the screen image acquisition unit 104.
  • the content displayed on the display unit 205 of the test target device 200 may be acquired as still image data from a camera or the like in the image acquisition interface 4.
  • the screen acquisition unit 104 may be used as the image acquisition interface 4, and the control of the screen image acquisition unit 104 may be performed by the control unit 102.
  • An image comparison unit (comparison unit) 105 compares any two pieces of image data and detects a match or difference. In the comparison of image data, color information such as RGB components of each pixel of any two image data or color arrangement patterns are compared, and the position and range of pixels with different color information and color arrangement patterns differ from values such as RGB components. Are detected as differences.
  • the pass / fail judgment reference learning unit (learning unit) 106 repeatedly performs the operations included in the test procedure 301 on the test target device 200, learns the range and tendency of the display variation of each UI screen, and determines pass / fail during the test.
  • the pass / fail judgment reference learning data (learning data) 302 for use as a reference for the above is generated.
  • the operation of the acceptance / rejection criterion learning unit (learning unit) 106 is referred to as a learning mode.
  • the user feedback unit (reflecting unit) 107 reflects the result of checking the validity by the user with respect to the pass / fail judgment reference learning data 302 learned by the pass / fail judgment reference learning unit 106, and the pass / fail judgment standard by performing the learning mode again. Are re-learned and the test result 303 is corrected.
  • the contents of the pass / fail judgment reference learning data 302 are determined for pass / fail judgment among the reference screen image, the difference pattern, the UI screen image group acquired during learning, and the UI screen image group for each operation.
  • a classification of what is passed and what is rejected, that is, what is included in a variation range in which a difference pattern is applied to a reference screen image and what is not included is displayed.
  • the user feedback unit 107 provides an interface via the display unit 110 that allows the user to change the pass / fail state for each UI screen image in the UI screen image group.
  • the user determines the validity of the pass / fail judgment criteria by confirming the pass / fail status for each UI screen image, and if it is determined that there is an error, the input unit 109 for the interface provided by the user feedback unit 107 is determined.
  • the user is instructed to change the pass / fail state of the UI screen image via.
  • the user feedback unit 107 passes the pass / fail judgment reference learning data 302 including the pass / fail status change to the pass / fail judgment reference learning unit 106 and instructs re-learning.
  • the pass / fail determination unit (determination unit) 108 compares the UI screen image of the test target device 200 with the pass / fail determination reference learning data 302 at the time of performing the test, and performs pass / fail determination of the test.
  • the input unit 109 receives a request for user operation or data input to the automatic test apparatus 100.
  • the display unit 110 displays the setting data (setting information) of the automatic test apparatus 100 changed according to the user's request and the result of the executed test on the display device 6.
  • the recording unit 101, the control unit 102, the test target operation unit 103, the screen image acquisition unit 104, the image comparison unit 105, the pass / fail judgment reference learning unit 106, the user feedback unit 107, the pass / fail judgment unit 108, the input unit 109, and the display unit. 110 is realized by the processor 1 executing a program stored in the storage device 2.
  • a plurality of processors and a plurality of memories may execute the above functions in cooperation.
  • FIG. 3 shows an example of a system configuration using the automatic test apparatus according to the first embodiment.
  • the test target device 200 is software to be tested, or an information device such as a mobile phone, a tablet terminal, an in-vehicle device, and a personal computer including the software.
  • the test target device 200 includes a recording unit 201, a control unit 202, a generation unit 203, an input unit 204, and a display unit 205.
  • the recording unit 201 is a recording medium such as a memory or a hard disk for storing programs and data for operating the test target apparatus 200.
  • the control unit 202 reads a program and data from the recording unit 201 of the test target device 200, and uses a processor and a communication path that control each function of the test target device 200 according to the read content and the input content from the input unit 204. is there.
  • the control unit 202 generates UI screen display content in the UI screen generation unit 203 in accordance with the program and data read from the recording unit 201 and the input content from the input unit 204, and outputs the UI screen display content to the display unit 205. Direct output.
  • data is exchanged between functions and devices.
  • a UI screen generation unit (generation unit) 203 generates a display content on the UI screen according to the input content from the input unit 204 according to the program or data read from the recording unit 201 according to an instruction from the control unit 202. And processor, communication path, etc.
  • the input unit 204 accepts operations and data input to the test target apparatus 200, and includes input devices such as a keyboard, a mouse, a touch pad, a wired or wireless communication interface, voice recognition, and various sensors, and their control programs and communication. Such as a route.
  • the display unit 205 is a display device such as a display for displaying a UI screen from the test target apparatus 200, a communication path for outputting data to an external display device, and a control program and a communication path for the communication path.
  • the database unit 300 is a storage medium such as a hard disk or a memory that holds data used when the automatic test apparatus 100 is operated.
  • the database unit 300 may be a storage device such as a hard disk or memory on a server via a network.
  • the database unit 300 may be built in the storage device 2 of the automatic test apparatus 100.
  • the test procedure 301 indicates the content and procedure of operations performed by the automatic test apparatus 100 on the test target apparatus 200, waiting time, input data, presence / absence of UI screen image confirmation, part or all of the procedure, and the number of repetitions thereof. It is data. Note that a plurality of test procedures 301 may be prepared for the test target apparatus 200 according to the content of the test to be performed.
  • the test procedure 301 designates such as increasing the number of repetitions of the UI screen image and the operation procedure. You may go.
  • it can be realized by combining the waiting time and whether or not to check the UI screen image in the test procedure 301.
  • Pass / fail judgment reference learning data (learning data) 302 is data generated by the pass / fail judgment reference learning unit 106 of the automatic test apparatus 100 and indicating the range and tendency of display variation of each UI screen.
  • the test result 303 is data indicating a result obtained by performing the test by the automatic test apparatus 100.
  • the test result 303 is data in which an operation result such as a test pass / fail judgment result and a UI screen image in each operation of the test procedure 301 is recorded.
  • learning range and tendency of UI screen display of the test target device 100 are learned by performing the learning mode, and then the test of the test target device 100 is performed by performing the test mode, and learning is performed.
  • the pass / fail judgment of the test is performed using the range and tendency of the UI screen display variation learned in the mode.
  • the control unit 102 of the automatic test apparatus 100 reads the test procedure 301 from the database unit 300 and calls the learning unit 106 (S101).
  • the learning unit 106 performs an operation and data input from the test target operation unit 103 to the input unit 204 of the test target device 200 according to the read test procedure 301 (S102).
  • the test procedure 301 includes a procedure for acquiring the UI screen image from the test target device 200 as a test command.
  • the screen image acquisition unit 104 acquires the UI screen image of the test target device 200 at that time from the test target device 200 as image data (S103).
  • the learning unit 106 repeats operation of the test target device 200 and acquisition of a UI screen image from the test target device 200 as necessary until the test procedure 301 is completed (S104).
  • the learning unit 106 compares the number of times the test procedure 301 has been tested with a preset number of repetitions n. Test execution of the test procedure 301 is performed (S105). An image of the operation so far in the learning mode is shown in FIG.
  • the learning unit 106 sequentially performs each operation and data input included in the group via the operation unit 103, and when there is a UI screen image acquisition instruction, acquires the UI screen image at that time via the acquisition unit 104. To do.
  • the learning unit 106 repeatedly performs the group, and acquires UI screen images corresponding to the operations and procedures of the group for the number of repetitions.
  • a group of UI screen images for each repetition of the same operation procedure in the group (a group of UI screen images surrounded by a dotted line in FIG. 5) is referred to as a UI screen image group.
  • the pass / fail judgment reference learning unit 106 generates pass / fail judgment reference learning data 302 based on the UI screen image obtained in the test procedure 301 (S106).
  • S106 test procedure 301
  • a method using a reference screen image and a difference pattern will be described as an example of pass / fail judgment reference learning data 302.
  • FIG. 6 is an example in which the pass / fail judgment criterion learning unit 106 learns the pass / fail judgment criteria.
  • the pass / fail judgment reference learning unit 106 generates a reference screen image 501.
  • the reference screen image 501 is average information of the UI screen image group corresponding to each operation, which is obtained by the pass / fail judgment reference learning unit 106 performing the test procedure 301 by the number of repetitions.
  • the reference screen image is an average value of RGB components of each pixel of each UI screen image included in the UI screen image group, and each operation is performed as shown in screen 1, screen 2, and screen x of the reference screen image 501 in FIG.
  • a reference screen image is generated from the corresponding UI screen image group.
  • the reference screen image 501 in FIG. 6 shows an example in which the reference screen image is expressed as an image image.
  • the difference pattern 502 is a difference range and a tendency of each UI screen image of the UI screen image group corresponding to each operation of the test procedure 301 with respect to the reference screen image corresponding to each operation of the test procedure 301 generated earlier.
  • the data indicates In the present embodiment, the difference when the RGB component of each pixel of each UI screen image included in the UI screen image group is the smallest with respect to the reference screen image of the UI screen image group corresponding to each operation as the difference range. It is assumed that the difference (504 in FIG. 6) in the largest case (503 in FIG. 6) is extracted.
  • the pass / fail judgment reference learning unit 106 calculates a difference generation tendency of each UI screen image of the UI screen image group with respect to the reference screen image.
  • the distribution is calculated as a ratio to the number of UI screen images included in the UI screen image group.
  • the UI screen images in the UI screen image group are all constant, and there is no difference with respect to the reference screen image. The occurrence tendency is 100%.
  • the hatched rectangular portion 505 in the UI screen image may not be displayed on the UI screen relative to the reference screen image, and the rectangular portion 506 in the UI screen image may be displayed on the UI screen. It shows that there is.
  • the screen x as in the case of the screen 2, the hatched rectangular portion 505 in the UI screen image may not be displayed on the UI screen, and the rectangular portion 506 of the UI screen image may be displayed on the UI screen. It shows that there is.
  • the pass / fail criterion learning (S106) is performed after the operation of the test procedure 301 is repeated for the number of times. However, each operation of the test procedure 301 is performed and the UI screen image is displayed from the test target apparatus 200.
  • the pass / fail judgment reference learning (S106) may be performed at any time at the timing of acquiring.
  • the control unit 102 calls the display unit 110 and notifies the user of the result of the pass / fail judgment criterion learning.
  • the user confirms the learning result and determines whether it seems invalid (S107).
  • the reason why the learning result needs to be confirmed by the user will be described.
  • the pass / fail judgment reference learning unit 106 learns the range and tendency of UI screen display variation in the pass / fail judgment reference learning (S106)
  • an abnormality occurs in the UI screen display due to an accidental problem. Or bugs may be included.
  • the test is performed as learning data as it is, there is a possibility that the pass / fail judgment may be affected. Therefore, by confirming the learning data by the user, the abnormal UI screen display information is removed from the learning data, and in the test mode. The validity of the acceptance criteria learning data 302 to be used is guaranteed.
  • a method of notifying the user of the reference screen image and the difference pattern generated in the pass / fail judgment reference learning (S106) and the corresponding operation in the test procedure 301 can be considered.
  • it may be graphically displayed like a 3D graph or a heat map so that the user can easily recognize the difference.
  • the user confirms the notified contents (S107), determines whether the result of the pass / fail criterion learning (S106) is appropriate (S108), and if the user determines that there is a problem with the learning result
  • the contents required for feedback on the pass / fail state of each UI screen image with respect to the pass / fail judgment reference learning data 302 are input to the input unit 109 of the automatic test apparatus 100.
  • the content requiring feedback is, for example, “The UI screen display by the X-th operation is classified as acceptable in the current learning result, but the UI screen display content is abnormal, so it is not included in the reference screen image and the difference pattern.
  • the input unit 109 passes information requiring feedback received from the user to the user feedback unit 107.
  • the user feedback unit 107 performs relearning of the pass / fail criterion that reflects the content of the feedback received from the user (S109).
  • the display of the screen x with respect to the operation x in the repetition n-th time of the group of the test procedure 301 is a rectangular display (white character XXX) in the center of the screen compared to the first and second repetitions. There is a difference. If this difference occurs only once out of the number of repetitions n, the tendency of occurrence of the pass / fail criterion learning result 507 in FIG. 6 is 1 / n. By looking at the value of this occurrence tendency, the user can determine that the occurrence frequency is clearly lower than that of other occurrence trends and is a unique tendency. In addition, when the user knows the correct display result of the UI screen image in advance, it can be visually determined that the display content of 507 is abnormal in the UI screen image group.
  • the user who has determined that the learning data is abnormal inputs to the input unit 109 that the screen x at the nth repetition of the test procedure 301 group is abnormal.
  • the user feedback unit 107 performs relearning of the pass / fail criterion based on the content input to the input unit 109.
  • the user feedback unit 107 removes the image x at the repeated n-th time of the group of the test procedure 301 designated as abnormal by the user from the acquisition result of each UI screen image in FIG.
  • the pass / fail judgment criteria are relearned in the same procedure as the pass / fail judgment criteria learning (S106) for the UI screen images for all the remaining operations for each repetition.
  • the recording unit 101 uses the UI screen image group, the reference screen image, and the difference pattern corresponding to each operation in the group of test procedures 301 obtained in the learning mode to perform pass / fail judgment reference learning in the database unit 300.
  • the data 302 is recorded (S110). Note that when the pass / fail criterion learning is performed by a method different from that of the present embodiment, the recording unit 101 records the pass / fail criterion learning data 302 required by the other method.
  • the above is an example of the learning mode operation using the reference screen image and the difference pattern.
  • the control unit 102 reads the test procedure 301 from the database unit 300 and calls the learning unit 106 (S201).
  • the learning unit 106 performs an operation and data input from the test target operation unit 103 to the input unit 204 of the test target device 200 according to the read test procedure 301 (S202).
  • the learning unit 106 continues the operation of the test target device 200 according to the test procedure 301 and detects the UI screen image acquisition procedure from the test target device 200 in the test procedure 301, the screen image acquisition unit 104
  • the UI screen image of the test target device 200 at that time is acquired as image data from the target device 200 (S203).
  • the learning unit 106 repeats the operation of the test target device 200 and acquisition of the UI screen image from the test target device 200 as necessary until the test procedure 301 is completed (S204).
  • the UI screen image is collected by repeatedly executing the group of the test procedures 301 by the number of repetitions.
  • the UI screen image is collected by executing the group of the test procedures 301 only once. .
  • the pass / fail judgment unit 108 uses the pass / fail judgment reference learning data 302 generated in the learning mode to pass or fail the test for the UI screen image of the test target device 200. Determination is carried out (S205).
  • pass / fail judgment An example of pass / fail judgment will be described with reference to FIG.
  • a pass / fail determination method a pass / fail determination method using a reference screen image generated in the learning mode and a difference pattern will be described.
  • the pass / fail determination is performed by the pass / fail determination unit 108.
  • the pass / fail determination unit 108 uses the image comparison unit 105 to display UI screen images corresponding to each operation of the test procedure 301 obtained in the test mode (FIG. 8: S201 to S204) and the learning mode (FIG. 1: S101 to S110).
  • the reference screen images corresponding to the respective operations of the test procedure 301 obtained in (1) are compared.
  • the pass / fail determination unit 108 compares the UI screen image corresponding to each operation obtained in the test mode with the corresponding reference screen image, and if the generated difference falls within the range of the difference pattern corresponding to each operation. The judgment is accepted, and if not, it is judged as unacceptable.
  • test pass / fail judgment of operation 2 is acceptable.
  • the UI screen image for the operation x of the test procedure 301 obtained in the test mode is compared with the reference screen image for the operation x of the test procedure 301 obtained in the learning mode, the rectangular portion at the center of the screen is detected as a difference. The Since this difference is not included in the difference pattern of the pass / fail judgment reference learning data, the test pass / fail judgment for the operation x in the test procedure 301 is rejected.
  • the pass / fail determination unit 108 performs the pass / fail determination as described above for all operations in the test procedure 301.
  • test pass / fail judgment S205 is described after the completion of all the operations of the test procedure 301. However, each operation of the test procedure 301 is performed, and the UI to be tested is transmitted from the test target apparatus 200 to the UI.
  • the test pass / fail determination (S205) may be performed at any time when the screen image is acquired.
  • the acceptance / rejection determination unit 108 notifies the user of confirmation whether the result of the acceptance / rejection determination of the test is appropriate content (S206).
  • the display unit 110 is used for notification to the user.
  • the pass / fail determination unit 108 also notifies the user that the test pass / fail determination by the automatic test apparatus 100 is valid.
  • the procedure for notifying the user is the completion of the test mode. Thereafter, it may be performed when the user side requests the automatic test apparatus 100.
  • the display unit 110 notifies the user of the pass / fail judgment result for each operation of the test procedure 301 as a result of the test pass / fail judgment (S205), the UI screen image obtained in the test mode, the reference screen image, the difference, the difference pattern, and the like. .
  • the notification method may be easily recognized by using a graphical display as in the case of confirmation to the user in the learning mode.
  • the user checks the notified pass / fail determination result and the UI screen image obtained in the test mode, the difference with respect to the reference screen image, the difference pattern, etc., and if it is determined that there is a problem in the pass / fail determination result, feedback is required.
  • the contents are input to the input unit 109 of the automatic test apparatus 100 (S207).
  • the input unit 109 passes information requiring feedback received from the user to the user feedback unit 107.
  • the user feedback unit 107 performs relearning of the pass / fail judgment criteria reflecting the content of the feedback received from the user and correction of the pass / fail judgment result of the test (S208).
  • the UI screen image of the operation x in the test procedure 301 is accepted based on the user confirmation result
  • the UI screen image is the same as the case where the relearning is performed from FIG. 6 to FIG. 7 in the example in the learning mode.
  • the pass / fail judgment criteria are re-learned including the UI screen image for the operation x of the test procedure 301 obtained in the test mode in the group, and the pass / fail judgment criteria learning data 302 is updated.
  • the result of the relearning of the acceptance / rejection determination criteria in this case is as shown in FIG.
  • the pass / fail judgment result of the operation x of the test procedure 301 determined to be passed by the user is corrected from failed to passed.
  • the determination unit 108 repeatedly performs the above steps S206 to S208 until the user determines that feedback is not necessary (S207).
  • the recording unit 101 records the UI screen image corresponding to each operation of the test procedure 301 obtained in the test mode and the test pass / fail determination result in the database unit 300 as the test result 303. Further, the recording unit 101 records the updated pass / fail judgment reference learning data 302 in the database unit 300.
  • the above is an example of the operation in the test mode using the reference screen image and the difference pattern.
  • the data generated in the learning mode and the test mode and the UI screen image obtained from the test target device 200 are displayed on the display unit 110 when the user inputs a request operation to the input unit 109 of the automatic test device 100. You can check at any time using.
  • test target apparatus 200 by automatically operating the test target apparatus 200 and acquiring a UI screen image, information corresponding to the conventional correct screen image and mask data can be automatically generated as the pass / fail judgment reference learning data 302, and the test preparation It is possible to reduce the time and cost required for the operation.
  • the same operation procedure is performed a plurality of times using the test procedure 302, the range and tendency of UI screen image variation with respect to the same operation procedure are learned as pass / fail judgment criteria, and used for pass / fail judgment of the test. It is possible to tolerate variations in UI screen display that can be tolerated in tests that can occur in the past, and areas that were previously difficult to prepare for mask processing etc. as test target areas are also subject to automatic testing, and user judgment It becomes possible to reduce the work that becomes difficult.
  • the reference screen image and the difference pattern included in the pass / fail judgment reference learning data 302 are one for each operation of the test procedure 301, but the reference screen image and the difference pattern included in the pass / fail judgment reference learning data 302 are used. You may have more than one for each operation.
  • An example in which a plurality of reference screen images and difference patterns of the pass / fail judgment reference learning data 302 are provided for an arbitrary operation of the test procedure 301 will be described with reference to FIGS. 10, 11, and 12.
  • FIG. 10 shows a UI screen image group obtained as a result of repeated execution for an arbitrary operation of the test procedure 301.
  • redundant pass / fail criterion learning data 302 is obtained as shown in FIG. 11, and the accuracy of the pass / fail criterion may be reduced. There is. In such a case, the validity of the learning result in the learning result confirmation (S107) of FIG. 4 is confirmed, and as a result, the user feedback unit 107 checks the UI screen image list from the pass / fail criterion learning data 302. The user feedback unit 107 provides options to the user so that a specific UI screen image can be selected as another normal case.
  • the pass / fail judgment reference learning data 302 has a plurality of reference screen images and difference patterns for the operation of one test procedure 301, the test pass / fail judgment (S205) in the test mode shown in FIG.
  • the reference screen image and all cases of the difference pattern are compared with the UI screen image obtained in the test, and if any of the reference screen images and the difference pattern match, it is determined to be acceptable. With this method, it is possible to cope with a case where the UI screen display changes greatly depending on the operation procedure and the content of input data.
  • FIG. 13 is an example of a system configuration using the automatic test apparatus 100 when an error estimation function is added.
  • the recording unit 101, the control unit 102, the operation unit 103, the acquisition unit 104, the comparison unit 105, the learning unit 106, the reflection unit 107, the determination unit 108, the input unit 109, and the display unit which are the same reference numerals as in FIG.
  • the recording unit 201, the control unit 202, the generation unit 203, the input unit 204, the display unit 205, the test procedure 301, the learning data 302, and the test result 303 represent the same or corresponding parts, which have been described with reference to FIG. Is the same.
  • the error estimation unit (estimation unit) 111 of the automatic test apparatus 100 Based on the error estimation setting (estimation setting) 304 read from the database unit 300, the error estimation unit (estimation unit) 111 of the automatic test apparatus 100 performs pass / fail judgment criterion learning (S106) in the learning mode and the test mode.
  • the error estimation setting (estimation setting) 304 of the database unit 300 is data used for error estimation by the error estimation unit 111, and indicates the range and tendency of variation serving as a reference for error estimation, and is set by the user.
  • the error estimation unit 111 is realized by the processor 1 executing a program stored in the storage device 2. A plurality of processors and a plurality of memories may execute the above functions in cooperation.
  • FIG. 14 shows the flow of operation in the learning mode using error estimation.
  • the reference screen image and the difference pattern of the pass / fail judgment reference learning data 302 used in the first embodiment are used as an example.
  • the control unit 102 reads the error estimation setting 304 from the database unit 300.
  • the error estimation setting 304 may be acquired from the outside (a server or an external storage device via a network) as shown in FIG. 13, or a record built in the automatic test apparatus 100 like the recording unit 101 of the automatic test apparatus 100. You may record on a medium and read as needed.
  • the content of the error estimation setting 304 may be changed to an arbitrary error estimation criterion desired by the user, or the error estimation setting 304 is improved so as to be extracted as a format of the error estimation setting 304 from the pass / fail criterion learning data 302 acquired in the past. The extracted result may be used.
  • the estimation unit 111 performs error estimation using the read error estimation setting 304 and the pass / fail criterion learning data 302 (S301).
  • a setting is made so that an error is determined when the difference pattern occurrence tendency of the pass / fail judgment reference learning data 302 in FIG. 6 is equal to or less than a certain ratio e / n.
  • the user is notified of the pass / fail judgment reference learning data 302 such as the reference screen image and the difference pattern and the UI screen image group of the test target apparatus 200 obtained in the learning mode.
  • An error is detected when the pattern generation tendency is equal to or less than e / n.
  • the occurrence tendency d / n of 507 in FIG. 6 is equal to or less than the occurrence tendency e / n of the error estimation setting 304, it is detected that each UI screen image classified as 507 in FIG.
  • the result detected by the error estimation unit 111 is notified to the user in S107 to S109 in the same manner as the result of the pass / fail criterion learning (S106) in FIG. Confirmation and feedback necessity judgment are performed.
  • the error estimation unit 111 automatically determines the content that meets the conditions set in the error estimation setting 304 and notifies the user, thereby confirming the validity of the pass / fail criterion learning data 302 by the user. Therefore, it is possible to reduce the load necessary for detecting and detecting an abnormality, and it is possible to reduce the time and cost required for automatically generating test data.
  • the error estimation (S301) is performed after the test procedure 301 is completed and the pass / fail criterion learning (S106) is performed. However, the processing order may be changed as necessary. .
  • Embodiment 3 In the present embodiment, in addition to the first embodiment, a case where the automatic test apparatus 100 that is the subject of the invention is built in a product or a test environment will be described. By incorporating the automatic test equipment 100 in the product or test environment, abnormalities that can be detected on the UI screen display while the product is already on the market, and abnormalities that can be detected on the UI screen display after the development stage or market failure occurs Used for detection in the reproduction test.
  • FIG. 15 shows an example of a system configuration using the automatic test apparatus according to the third embodiment of the present invention. In this embodiment, in FIG.
  • test target apparatus 200 is described as a product or a test environment
  • Comparison unit 105, learning unit 106, reflection unit 107, determination unit 108, input unit 109, display unit 110, recording unit 201, control unit 202, generation unit 203, input unit 204, display unit 205, test procedure 301, learning data 302 and the test result 303 represent the same or corresponding parts and are the same as those described in FIG.
  • An error detection setting (detection setting) 305 of the database unit 300 is data that holds information necessary for detecting an abnormality.
  • the error detection setting 305 is a reference for determining that the UI screen image is abnormal.
  • the error detection setting 305 records an operation prepared in advance before product shipment, a reference screen image corresponding to the operation, and a difference pattern.
  • the error detection setting 305 may be created so that the user can create the same information as the reference screen image and the difference pattern, or the contents included in the reference screen image and the difference pattern are determined to be abnormal rather than normal. You may take a method.
  • the log output unit (output unit) 112 of the automatic test apparatus 100 has a configuration similar to that of the test target operation unit 103, and notifies the test target apparatus 200 of the occurrence of an abnormality when an abnormality is detected, such as log output and memory dump. Instructs the recording of data to be used for later abnormality analysis work.
  • the log output unit 112 is realized by the processor 1 executing a program stored in the storage device 2. A plurality of processors and a plurality of memories may execute the above functions in cooperation.
  • the log output unit (output unit) 206 of the test target apparatus 200 receives notification of the occurrence of abnormality from the automatic test apparatus 100 and records information such as log output and memory dump.
  • the recording destination may be the recording unit 201 of the test target apparatus 200 or may be notified to the automatic test apparatus 100 and recorded in the recording unit 101 of the automatic test apparatus 100. Further, recording may be performed by notifying an external recording medium such as the database unit 300.
  • the control unit 102 of the automatic test apparatus 100 reads the error detection setting 305 of the database unit 300 when the test target apparatus 200 is activated (S401).
  • the error detection setting 305 data indicates the reference screen image and the difference pattern of the UI screen image group of the screen 2 used in FIG. 6 of the first embodiment.
  • the contents of may be changed to arbitrary image data.
  • the acquisition unit 104 measures time with a timer included in the acquisition unit 104 or in the control unit 102, and when a preset time has elapsed (S402) and acquires a UI screen image from the test target device 200, the image comparison unit 105 is called.
  • the automatic test apparatus 100 acquires the UI screen display content of the test target apparatus 200 from the UI screen generation unit 203 by the screen image acquisition unit 104 (S403).
  • the UI screen display content is periodically acquired at short intervals.
  • Conditions such as the time interval for acquiring the UI screen image from the test target apparatus 200, the size of the screen, and the position may be set in the error detection setting 305. These settings are set when the control unit 102 reads the error detection setting 305.
  • the image comparison unit 105 compares the acquired UI screen image with the contents of the error detection setting 305.
  • the pass / fail determination unit 108 receives the result of the image comparison unit 105 and determines whether the UI screen image acquired from the test target device 200 is included in the conditions of the error detection setting 305. In this embodiment, since the reference screen image and the difference pattern are used for the error detection setting 305, the UI screen image acquired from the test target apparatus 200 and the error detection setting 305 are set using the pass / fail determination unit 108. Compare (S404).
  • the product is operated by the user and is not operated from the automatic test apparatus 100. Therefore, the reference screen image included in the error detection setting 305 cannot be completely associated with the user's operation procedure. For this reason, in this embodiment, it is assumed that the UI screen image acquired from the test target device 200 is compared with all the reference screen images included in the error detection setting 305 in a brute force manner. An example is shown in FIG. Further, it is assumed that the reference screen image and the difference pattern for all operations are acquired and recorded in advance in the error detection setting 305 before product shipment.
  • the pass / fail determination unit 108 compares the UI screen image acquired from the test target apparatus 200 with the error detection setting 305, and determines that it is abnormal if it is not included in the error detection setting 305 (S404). When the pass / fail determination unit 108 determines that there is an abnormality in the above, the pass / fail determination unit 108 notifies the log output unit 112 of the abnormality via the control unit 102, and the log output unit 112 notifies the test target apparatus 200 of the occurrence of the abnormality. Notification is performed (S405). Upon receiving the notification of the occurrence of the abnormality, the test target apparatus 200 records operation information such as an operation log and a memory dump on a recording medium such as the recording unit 201 by using the log output unit 206 (S406).
  • the UI screen display during the normal operation of the test target device 200 is constantly received, and the abnormality is detected by comparing with the abnormality determination information such as the reference screen image and the difference pattern prepared in advance in the error detection setting 305. This can be automatically detected, and operation information such as log output and memory dump can be recorded, and subsequent analysis work can be performed efficiently.
  • functions necessary for detecting an abnormality and recording operation information are added to the configuration of the first embodiment.
  • Functions such as the pass / fail judgment reference learning unit 106 and the user feedback unit 107 of the automatic test apparatus 100, information such as the learning data 302 and the test result 303 of the database unit 300 may be excluded.
  • the function of the automatic test apparatus 100 may be included in the test target apparatus 200 or may be independent. Further, the function of instructing and executing recording of operation information such as log output may be collected in the automatic test apparatus 100 or the test target apparatus 200, or may be distributed to each apparatus, communicating to the outside, etc. Notification may be performed by.
  • Embodiment 4 in addition to the first embodiment, the processing speed of the processor 1 of the automatic test apparatus 100, the test operation interface 3, the image acquisition interface 4, the processing speed and communication speed of the control unit 102, or the test target
  • a correction function using parameters is provided in order to cope with changes in the processing timing of the automatic test apparatus 100 and the test target apparatus 200 due to the influence of the processing speed of the apparatus 200.
  • FIG. 18 shows an example of a system configuration using the automatic test apparatus 100 when a correction function using parameters is provided.
  • the recording unit 101, the control unit 102, the operation unit 103, the acquisition unit 104, the comparison unit 105, the learning unit 106, the reflection unit 107, the determination unit 108, the input unit 109, and the display unit which are the same reference numerals as in FIG. 110
  • the recording unit 201, the control unit 202, the generation unit 203, the input unit 204, the display unit 205, the test procedure 301, the learning data 302, and the test result 303 represent the same or corresponding parts, which have been described with reference to FIG. Is the same.
  • the parameter correction unit (correction unit) 113 of the automatic test apparatus 100 inputs each operation and data input included in the test procedure 301 in the learning mode and the test mode based on the correction parameter (parameter) 306 read from the database unit 300.
  • the UI screen image acquisition timing is made earlier or later.
  • the correction parameter 306 of the database unit 300 is data used for shortening a waiting time and adding a waiting time that are set in advance for the operation, data input, and UI screen image acquisition included in the test procedure 301 by the correcting unit 113. This is set by the user in order to correct the operation, data input, and UI screen image acquisition timing included in the test procedure 301.
  • the correction unit 113 is realized by executing a program stored in the storage device 2 by the processor 1. A plurality of processors and a plurality of memories may execute the above functions in cooperation.
  • FIG. 19 shows a flow of execution of the test procedure 301 using parameter correction.
  • the test procedure 301 in the test mode used in the first embodiment is used as an example.
  • the control unit 102 of the automatic test apparatus 100 reads the test procedure 301 and the correction parameter 306 from the database unit 300 and calls the learning unit 106 (S201).
  • the learning unit 106 passes the read correction parameter 306 and the test procedure 301 to the parameter correction unit 113 and instructs correction before performing the operation and data input included in the read test procedure 301 to the test target apparatus 200 ( S601).
  • parameter correction it is assumed that the waiting time until the UI screen image acquisition S103 is executed in the operation 1 of the learning mode in FIG.
  • the correction parameter 306 includes contents for adding 1 second to the waiting time until the UI screen image acquisition is performed for the operation 1 for each repetition of the test procedure 301.
  • the test procedure 301 in the learning mode is taken as an example, but there is no problem because the content of the test procedure 301 is the same in the test mode.
  • the parameter correction unit 113 searches the correction parameter 306 for the correction information corresponding to the operation 1 read from the test procedure 301, and finds the content to add a waiting time of 1 second.
  • the parameter correction unit 113 finds the operation 1 of operation 1 read out from the test procedure 301 and information that sets the waiting time to 1 second from the data input S102, and reflects the content of adding the waiting time found from the correction parameter 306 to 1 second.
  • the waiting time is returned to the learning unit 106 as 2 seconds.
  • the learning unit 106 waits for 2 seconds before performing UI screen image acquisition after performing operations other than waiting and data input (S202).
  • the flow after UI screen image acquisition (S203) is the same as that in the first embodiment.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Debugging And Monitoring (AREA)

Abstract

試験対象装置２００の入力機器の操作を行う操作部１０３と、試験対象装置２００の出力画面表示内容を取得する取得部１０４と、操作部１０３に対する予め設定された１以上の操作と操作に対応する出力画面表示内容を取得部１０４から取得するか否かの指示を含む試験手順群を繰り返し実行させ、各操作に対応する複数の出力画面表示内容のばらつきの範囲およびばらつきの傾向を学習し、試験対象装置２００に対する試験の合否判定のための学習データを生成する学習部１０６と、学習データを表示する表示部１１０と、操作部１０３に対し、予め試験手順に設定された操作を実行し、取得部１０４で取得した出力画面表示内容と、学習データとの比較を行い、試験対象装置２００に対する試験の合否判定を行う判定部１０８とを有することを特徴とする自動試験装置１００。

Description

自動試験装置
　本発明は、画面を表示するソフトウェアの試験を行う自動試験装置に関する。
　近年、携帯電話機、タブレット端末、車載機器、また、これらの機器で使用するウェブアプリケーションなどでＧＵＩ（Ｇｒａｐｈｉｃａｌ　Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）が用いられている。製品の品質を保つため、ＵＩ（Ｕｓｅｒ　Ｉｎｔｅｒｆａｃｅ）画面に対しても十分な試験を行う必要があるが、ＵＩ画面は複雑かつ多量となり、ＵＩ画面の表示パターンは増加傾向にある。
　従来、ＵＩ画面の試験は人による操作と人による判断に基づき判定が行われていたが、ＵＩ画面の表示パターン増加に伴い、ＵＩ画面の試験に必要な時間とコストが増加しており、メーカーや開発者から効率化が求められている。
　また、近年では、パーソナルコンピュータ上での自動試験ソフトウェアや自動試験ロボットなどの技術を用いて試験を効率化する方法が提案、実現されている。一般的には、ＵＩ画面の試験を行う場合は予めＵＩ画面に表示されることが期待される内容を画像データとした正解画面画像を用意し、試験対象の実動作時のＵＩ画面表示を対象画面画像として取得し、正解画面画像と対象画面画像を比較して差分の有無や類似度を判定することでＵＩ画面の表示を試験する方法が行われている。
　しかし、試験対象によっては、試験対象の実行環境や実行タイミングの違いにより、アニメーションなどのＵＩ画面の特定の表示領域が変化してしまうものがあり、準備した正解画面画像と試験対象のＵＩ画面の表示に差異が発生する場合がある。
　このような場合、全ての画面に対する正解画面画像が必要となるが、ＵＩ画面の複雑化により、全ての画面に対する正解画面画像の準備が困難な場合がある。
　この問題に対して、例えば特許文献１では、予め変化領域をマスク領域として準備し、対象画面画像と正解画面画像を比較する際にマスク領域を除く領域を比較する方法が提示されている。
　また、変化領域を正解画面画像と対象画面画像から削除して比較する方法がある。しかし、この方法では変化領域が複雑な形状の場合、除外する変化領域の輪郭を準備する工数が増加し、また、削除時に未削除領域が残り比較時に差分が発生する恐れがあった。
　この問題に対して、例えば特許文献２では、ＵＩ画面内のオブジェクト毎にオブジェクト本体と形状を保持し、比較対象外である背景領域を透過処理したオブジェクト正解画像を準備し、比較前にサイズなどを調整した上で対象画面に合成し、合成結果画像と正解画像を比較する方法が提示されている。
　さらに、例えば特許文献３では、ウェブアプリケーションに対して実行するウェブブラウザ環境による差分を学習し、試験実施時に環境に依存して発生する画面表示差分を試験の不合格判定から除外するものが提示されている。
特開２００９－１３４４０６号公報 特開２０１２－０４３０６２号公報 特開２０１３－０７７３０１号公報
　従来のＵＩ画面の試験方法では、正解画面画像やマスクデータの準備が必要であった。しかし、近年ではＧＵＩにアニメーションを用いることが多く、試験実施の条件やタイミングによりＵＩ画面の表示が変化する場合がある。
　このため、従来の試験方法では、正解画面画像やマスクデータを準備していたが、動的に変化するＵＩ画面に対応した正解画面画像やマスクデータを準備することは、試験実施の条件やタイミングに対応して準備する必要があり、また、ＵＩ画面が複雑化しているため、多数準備する必要があり、さらに、形状が複雑になった場合には、試験に十分なデータを準備することが極めて困難となる。
　また、試験実施時の試験対象の環境への負荷状況や試験条件、タイミングによって、ＵＩ画面が変化する場合がある。例えば、試験環境の負荷状況によって処理速度が変化し、処理状況を示すプログレスバーの表示が若干ずれる、試験実施時刻によって時計部分の表示文字列が変化するなどである。しかし、これらの変化に対して、処理速度による若干の表示ずれや変化して当然である時刻表示やアニメーションの変化などは試験での不合格判定が不要な場合がある。
　しかし、従来のＵＩ画面の試験方法では、ＵＩ画面画像の微細な差分を検出して不合格判定となっていた。また、マスク処理により変化領域を完全に除外することで試験対象からその領域を完全に除外してしまい、後で人による判断が必要となる問題がある。
　この発明は上記のような問題点を解決するためになされたもので、正解画面画像やマスクデータを自動生成することで試験準備に必要な時間やコストを削減することを目的とする。また、試験実施の環境やタイミングによって発生する差分の傾向を学習して試験時に用いることで、通常発生し得るＵＩ画面表示のばらつきを許容することが可能となる。さらに、従来のマスク処理や単純な画面画像の比較と比べて、変化領域を画面比較から除外せず、また、微細な変化も含めた比較を行うことができるため後で人による判断が必要となる状態を削減できる。
　この発明は、上記のような問題点を解決するためになされたもので、試験対象装置の入力機器の操作を行う操作部と、前記試験対象装置の出力画面表示内容を取得する取得部と、前記操作部に対する予め設定された１以上の操作と前記操作に対応する出力画面表示内容を前記取得部から取得するか否かの指示を含む試験手順群を繰り返し実行させ、各操作に対応する複数の出力画面表示内容のばらつきの範囲およびばらつきの傾向を学習し、前記試験対象装置に対する試験の合否判定のための学習データを生成する学習部と、前記学習データを表示する表示部と、前記操作部に対し、予め試験手順に設定された操作を実行し、前記取得部で取得した出力画面表示内容と、前記学習データとの比較を行い、前記試験対象装置に対する試験の合否判定を行う判定部とを有することを特徴とする自動試験装置を提供する。
　本発明によれば、試験用データを自動生成するのに必要な時間やコストを削減することが可能となる。
本発明の本実施の形態１に係る自動試験装置のハードウェア構成の一例を示すブロック図である。 本実施の形態１に係る自動試験装置の機能構成の一例を示すブロック図である。 本実施の形態１に係る自動試験装置を用いたシステムの機能構成の一例を示すブロック図である。 本実施の形態１に係る自動試験装置の学習モード時の処理を示すフローチャートである。 本実施の形態１に係る自動試験装置の学習モードの動作イメージである。 本実施の形態１に係る自動試験装置の合否判定基準学習の動作イメージである。 本実施の形態１に係る自動試験装置の合否判定基準再学習の動作イメージである。 本実施の形態１に係る自動試験装置の試験モード時の処理を示すフローチャートである。 本実施の形態１に係る自動時化装置の合否判定方法の一例を示す動作イメージである。 基準画面画像が複数あった場合に、学習モードで取得した画面画像群の一例である。 差分パターンが冗長となってしまった合否判定基準学習データ３０２の一例である。 基準画面画像と差分パターンを複数持つ場合の合否判定基準学習データ２０３の一例である。 本実施の形態２に係る自動試験装置を用いたシステムの機能構成の一例を示すブロック図である。 本実施の形態２に係る自動試験装置の学習モード時の処理を示すフローチャートである。 本実施の形態３に係る自動試験装置を用いたシステムの機能構成の一例を示すブロック図である。 本実施の形態３に係る自動試験装置を製品に組込んで使用する場合の動作について説明するフローチャートである。 本実施の形態３に係る自動試験装置を用いたエラー検出設定とＵＩ画面画像比較の動作イメージである。 本実施の形態４に係る自動試験装置を用いたシステムの機能構成の一例を示すブロック図である。 本実施の形態４に係る自動試験装置を用いたパラメータ補正の処理を示すフローチャートである。
実施の形態１．
　図１は、本発明の実施の形態１に係る自動試験装置１００のハードウェア構成の具体例を概略的に示すブロック図である。図１に示されるように、実施の形態１に係る自動試験装置１００は、当該装置全体の制御を行うプロセッサ１と、記憶装置２と、試験操作インタフェース３と、画像取得インタフェース４と、入力装置５と、出力装置６とを有する。
　記憶装置２は、ＲＯＭ（Ｒｅａｄ　Ｏｎｌｙ　Ｍｅｍｏｒｙ）やＲＡＭ（Ｒａｎｄｏｍ　Ａｃｃｅｓｓ　Ｍｅｍｏｒｙ）などのメモリや、ハードディスクなどの外部記憶装置の総称であり、プロセッサ１によってプログラムやデータの読み書きが行われ、また、一時データの格納先としても使用される。
　試験対象操作インタフェース３は、試験対象装置の入力機器の操作を行う装置であり、ＵＳＢケーブル、ＬＡＮケーブル、赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）などの有線や無線の通信機器、ロボット、音声制御装置などである。試験対象操作インタフェース３には、試験対象装置の入力機器を操作するためのプログラムやデータ、通信経路を含んでもよいし、必要な情報を記録装置２から読み出しプロセッサ１による指示を受けて動作するものであってもよい。
　画像取得インタフェース４は、試験対象装置の出力画面表示内容（ＵＩ画面画像）を取得するための装置であり、カメラなどのキャプチャ装置である。画像取得インタフェース４は、試験対象装置のＵＩ画面画像を取得するためのプログラムやデータ、通信経路を含んでもよいし、必要な情報を記録装置２から読み出しプロセッサ１による指示を受けて動作するものであってもよい。
　入力装置５は、キーボードやマウス、タッチパッド、有線や無線の通信インタフェース、音声認識、各種センサなどの入力機器とそれらの制御プログラムや通信経路などである。
　表示装置６は、自動試験装置１００で使用する設定データや出力データなどをユーザへ通知するための装置であり、外部の表示機器（図示せず）へデータ出力を行う通信経路とそれらの制御プログラムや通信経路である。
　図２は本実施の形態１に係る自動試験装置１００の機能ブロック図である。図２において、制御部１０２は、自動試験装置１００の製品としての機能を特徴づけるプログラムであり、普段はこの制御部１０２が、自動試験装置１００の制御を行っている。
　記録部１０１は、自動試験装置１００を動作させるためのプログラムやデータ、一時データなどを記憶装置２に保持する。なお、記憶装置２を記録部１０１とし、記録部１０１に対する読み出しおよび書き込み処理を制御部１０２で行うようにしても良い。
　制御部１０２は、自動試験装置１００の各機能の制御や各機能間のデータのやり取りを行う。
　試験対象操作部（操作部）１０３は、試験対象操作インタフェース３を介して試験対象装置２００に対する操作やデータの入力を行うための通信経路や赤外線などの送信モジュール、音声出力デバイス、ロボット駆動用のコマンド送信ケーブルやモータなどの駆動装置への信号線などである。また、試験対象操作部１０３には、試験対象操作部１０３を構成する機器の制御または制御を行うための信号変換などを行うプログラムやデータを含んでもよい。
　試験対象操作部１０３から試験対象操作インタフェース３を介した試験対象装置２００の操作やデータ入力は、入力機器操作用のコマンド文字列データの送信や赤外線などの波形出力、操作ロボットの制御コマンド送信、音声出力デバイスへの音声出力パターン設定、予め製品に用意された操作用コマンド送信などを行い、試験対象装置２００に対して本来は人が行う操作やデータ入力を代替して行うものである。なお、試験対象操作インタフェース３を試験対象操作部１０３とし、試験対象操作部１０３に対する制御を制御部１０２で行うようにしても良い。
　画面画像取得部（取得部）１０４は、画像取得インタフェース４を介して試験対象装置２００からＵＩ画面の表示内容をビットマップ画像やＪＰＥＧ（Ｊｏｉｎｔ　Ｐｈｏｔｏｇｒａｐｈｉｃ　Ｅｘｐｅｒｔｓ　Ｇｒｏｕｐ）方式などの静止画像データとして取得する。画像取得インタフェース４を介した画面画像取得部１０４による試験対象装置２００からのＵＩ画面表示内容取得では、試験対象装置２００が生成部２０４から表示部２０５へ送信した静止画像データを通信経路上から取得する、または、生成部２０４から表示部２０５へ送信した映像データから任意のタイミングで取り込み、画像取得インタフェース４または画面画像取得部１０４において静止画像データに変換してもよい。さらに、試験対象装置２００の表示部２０５に表示された内容を画像取得インタフェース４においてカメラなどから静止画像データとして取得してもよい。画像取得インタフェース４を画面画像取得部１０４とし、画面画像取得部１０４に対する制御を制御部１０２で行うようにしても良い。
　画像比較部（比較部）１０５は、任意の２つの画像データを比較し、一致や差分を検出する。画像データの比較では、任意の２つの画像データの各画素のＲＧＢ成分などの色情報または配色パターンなどを比較し、色情報や配色パターンが異なる画素の位置や範囲とＲＧＢ成分などの値の違いなどを差分として検出する。
　合否判定基準学習部（学習部）１０６は、試験対象装置２００に対し、試験手順３０１に含まれる操作を繰り返し実施し、各ＵＩ画面の表示のばらつきの範囲や傾向を学習し、試験時に合否判定の基準として使用するための合否判定基準学習データ（学習データ）３０２を生成する。なお、この合否判定基準学習部（学習部）１０６の動作を、学習モードと呼ぶ。
　ユーザフィードバック部（反映部）１０７は、合否判定基準学習部１０６で学習した合否判定基準学習データ３０２に対し、ユーザによる妥当性の確認結果の反映を行い、学習モードを再度行うことによる合否判定基準の再学習や、試験結果３０３の修正を行う。
　妥当性の確認では、例えば、ユーザに対して合否判定基準学習データ３０２の内容を操作毎に基準画面画像、差分パターン、学習時に取得したＵＩ画面画像群、ＵＩ画面画像群の中で合否判定において合格となるものと不合格となるもの、つまり、基準画面画像に対し差分パターンを適用したばらつき範囲に含まれるものと含まれないものの分類とそれぞれの発生割合などを表示する。
　ユーザフィードバック部１０７はＵＩ画面画像群の各ＵＩ画面画像に対してユーザが合否の状態を変更できる表示部１１０を経由したインタフェースを提供する。ユーザは、各ＵＩ画面画像に対して合否の状態を確認することで合否判定基準の妥当性を判断し、誤りがあると判断した場合にはユーザフィードバック部１０７が提供するインタフェースに対し入力部１０９を経由してＵＩ画面画像の合否の状態の変更を指示する。合否の状態の変更指示を受けたユーザフィードバック部１０７は、合否判定基準学習部１０６に対し合否の状態の変更を含んだ合否判定基準学習データ３０２を渡し、再学習の指示を行う。
　合否判定部（判定部）１０８は、試験実施時に試験対象装置２００のＵＩ画面画像に対して合否判定基準学習データ３０２との比較を行い、試験の合否判定を行う。
　入力部１０９は、自動試験装置１００に対するユーザの操作やデータ入力などの要求を受け付ける。
　表示部１１０は、ユーザの要求に応じて変更された自動試験装置１００の設定データ（設定情報）や実行した試験の結果を表示装置６に表示する。
　なお、記録部１０１、制御部１０２、試験対象操作部１０３、画面画像取得部１０４、画像比較部１０５、合否判定基準学習部１０６、ユーザフィードバック部１０７、合否判定部１０８、入力部１０９、表示部１１０は、プロセッサ１が記憶装置２に記憶されたプログラムを実行することにより、実現される。また、複数のプロセッサおよび複数のメモリが連携して上記機能を実行してもよい。
　図３は本実施の形態１に係る自動試験装置を用いたシステム構成の一例である。
　試験対象装置２００は、試験対象となるソフトウェア、または、ソフトウェアを含む携帯電話機、タブレット端末、車載機器、パーソナルコンピュータなどの情報機器などである。試験対象装置２００は、記録部２０１、制御部２０２、生成部２０３、入力部２０４、表示部２０５を有する。
　記録部２０１は、試験対象装置２００を動作させるためのプログラムやデータをメモリやハードディスクなどの記録媒体である。
　制御部２０２は、試験対象装置２００の記録部２０１からプログラムやデータを読み出し、読み出した内容と入力部２０４からの入力内容に応じて、試験対象装置２００の各機能を制御するプロセッサや通信経路である。また、制御部２０２は、記録部２０１から読み出したプログラムやデータと、入力部２０４からの入力内容に応じて、ＵＩ画面の表示内容をＵＩ画面生成部２０３にて生成し、表示部２０５への出力を指示する。また、各機能や機器の間のデータのやり取りを行う。
　ＵＩ画面生成部（生成部）２０３は、制御部２０２の指示により、記録部２０１から読み出したプログラムやデータに従い、入力部２０４からの入力内容に応じて、ＵＩ画面への表示内容を生成するプログラムやプロセッサ、通信経路などである。
　入力部２０４は、試験対象装置２００に対しての操作やデータ入力を受け付ける、キーボードやマウス、タッチパッド、有線や無線の通信インタフェース、音声認識、各種センサなどの入力機器とそれらの制御プログラムや通信経路などである。
　表示部２０５は、試験対象装置２００からＵＩ画面表示を行うためのディスプレイなどの表示機器や、外部の表示機器へデータ出力を行う通信経路と、それらの制御プログラムや通信経路である。
　データベース部３００は、自動試験装置１００を動作させる際に使用するデータを保持するハードディスクやメモリなどの記憶媒体である。なお、データベース部３００は、ネットワークを経由したサーバ上のハードディスクやメモリなどの記憶装置であってもよい。また、データベース部３００は、自動試験装置１００の記憶装置２に内蔵してもよい。
　試験手順３０１は、自動試験装置１００が試験対象装置２００に対して行う操作の内容や手順、待ち時間、入力データ、ＵＩ画面画像確認の有無、手順の一部または全体とその繰り返し回数などを示すデータである。なお、試験手順３０１は、試験対象装置２００に対し、実施したい試験の内容に応じて複数用意しても良い。また、試験の実行環境や実行タイミングに影響を受けやすくＵＩ画面表示が変化しやすい場合、または、以前に低確率で発生するＵＩ画面表示のばらつきによる不具合が発生したことがあるなどの理由で、特定の操作に対するＵＩ画面画像のサンプリング量を増やしたいなど重点的に確認を行いたいＵＩ画面や操作手順があれば、それらの繰り返し回数を増加させて強化試験とするなどの指定を試験手順３０１で行ってもよい。なお、操作タイミングや待ち時間によるＵＩ画面表示の変化の試験を行う場合は、試験手順３０１内に待ち時間とＵＩ画面画像確認の有無を組み合わせて設定することで実現できる。
　合否判定基準学習データ（学習データ）３０２は、自動試験装置１００の合否判定基準学習部１０６により生成された、各ＵＩ画面の表示のばらつきの範囲や傾向を示すデータである。
　試験結果３０３は、自動試験装置１００による試験の実施で得た結果を示すデータである。試験結果３０３は、試験手順３０１の各操作における試験の合否判定結果とＵＩ画面画像などの動作結果を記録したデータである。
　次に動作について説明する。本発明の大きな動作の流れとして、まず、学習モード実施により試験対象装置１００のＵＩ画面表示のばらつきの範囲や傾向を学習し、次に試験モード実施により試験対象装置１００の試験を実施し、学習モードで学習したＵＩ画面表示のばらつきの範囲や傾向を用いて試験の合否判定を行う。
　最初に学習モードの動作を説明する。学習モードの動作の流れを図４に示す。なお、本実施の形態では、試験対象装置２００に対する操作やデータ入力をｘ回実行する試験手順群（群）を有する試験手順３０１をｎ回繰り返し実施する例について、説明を行う。
　自動試験装置１００の制御部１０２は、データベース部３００から試験手順３０１を読み出し、学習部１０６を呼び出す（Ｓ１０１）。
　学習部１０６は、読み出した試験手順３０１に従い、試験対象操作部１０３から試験対象装置２００の入力部２０４に対し、操作やデータ入力を行う（Ｓ１０２）。なお、学習部１０６が、試験手順３０１に従い、試験対象装置２００の操作を続ける中で、試験手順３０１に試験対象装置２００からのＵＩ画面画像取得の手順を、試験手順３０１を構成する試験用コマンド群などの中からＵＩ画面画像取得命令コマンドなどとして検出した場合、画面画像取得部１０４は、試験対象装置２００からその時の試験対象装置２００のＵＩ画面画像を画像データとして取得する（Ｓ１０３）。
　学習部１０６は、試験手順３０１を完了するまで、上記の試験対象装置２００の操作と必要に応じて試験対象装置２００からＵＩ画面画像の取得を繰り返す（Ｓ１０４）。
　学習部１０６は、試験手順３０１の群を全て終了すると、試験手順３０１を試験した回数が、予め設定された繰り返し回数ｎとの比較を行い、試験した回数がｎよりもまだ少ない場合は、再度試験手順３０１の試験実行を行う（Ｓ１０５）。
　学習モードのここまでの動作のイメージを図５に示す。
　学習部１０６は、操作部１０３を介して、群に含まれる各操作やデータ入力を順次実施し、ＵＩ画面画像取得指示がある場合は取得部１０４を介して、そのときのＵＩ画面画像を取得する。
　学習部１０６は、群を繰り返し実施することで群の各操作と手順に対応したＵＩ画面画像を繰り返しの数だけ取得する。なお、群における同じ操作手順に対する繰り返し毎のＵＩ画面画像の集まり（図５の点線で囲ったＵＩ画面画像の集まり）を、ＵＩ画面画像群と呼ぶ。
　図４のフローチャートの説明に戻る。
　合否判定基準学習部１０６は、試験手順３０１で得られたＵＩ画面画像をもとに、合否判定基準学習データ３０２を生成する（Ｓ１０６）。なお、本実施の形態では、合否判定基準学習データ３０２の一例として、基準画面画像と差分パターンを用いる方法について説明する。
　図６は、合否判定基準学習部１０６が、合否判定基準を学習する実施例である。
　まず、合否判定基準学習部１０６は、基準画面画像５０１を生成する。なお、基準画面画像５０１は、合否判定基準学習部１０６が試験手順３０１を繰り返し回数分、実施して得られた、各操作に対応したＵＩ画面画像群の平均的な情報とする。ここでは基準画面画像をＵＩ画面画像群に含まれる各ＵＩ画面画像の各画素のＲＧＢ成分の平均値とし、図６の基準画面画像５０１の画面１、画面２、画面ｘのように各操作に対応したＵＩ画面画像群から基準画面画像を生成する。図６の基準画面画像５０１では、基準画面画像を画像イメージとして表現した例を示している。
　次に合否判定基準学習部１０６は、差分パターン５０２を生成する。
　差分パターン５０２は、先程生成した試験手順３０１の各操作に対応した基準画面画像に対して、試験手順３０１の各操作に対応したＵＩ画面画像群の各ＵＩ画面画像が持つ、差分の範囲と傾向を示したデータとする。本実施の形態では、差分の範囲として各操作に対応したＵＩ画面画像群の基準画面画像に対して、ＵＩ画面画像群に含まれる各ＵＩ画面画像の各画素のＲＧＢ成分が最も小さい場合の差分（図６の５０３）と最も大きい場合の差分（図６の５０４）を抽出したものとする。
　また、合否判定基準学習部１０６は、ＵＩ画面画像群の各ＵＩ画面画像の基準画面画像に対する差分の発生傾向を算出する。本実施の形態では、差分の傾向としてＵＩ画面画像群に含まれる各ＵＩ画面画像の各画素のＲＧＢ成分が基準画面画像に対して、小さい場合は図６の５０３の傾向、大きい場合は図６の５０４の傾向として、どちらに分布するかをＵＩ画面画像群に含まれるＵＩ画面画像の数に対する割合として算出している。
　なお、図６の例では、画面１の場合は、ＵＩ画面画像群の各ＵＩ画面画像が全て一定している場合を示しており、基準画面画像に対する差分は無いため、差分の範囲に差はなく、発生傾向は１００％である。画面２の場合は、基準画面画像に対してＵＩ画面画像内の斜線の矩形部分５０５が、ＵＩ画面に表示されない場合があり、ＵＩ画面画像内の矩形部分５０６が、ＵＩ画面に表示される場合があることを示している。画面ｘの場合も、画面２の場合と同様に、ＵＩ画面画像内の斜線の矩形部分５０５がＵＩ画面に表示されない場合があり、ＵＩ画面画像の矩形部分５０６がＵＩ画面に表示される場合があることを示している。
　なお、本実施の形態では、試験手順３０１の操作を繰り返し回数分、実施した後に合否判定基準学習（Ｓ１０６）を実施したが、試験手順３０１の各操作を実施し試験対象装置２００からＵＩ画面画像を取得するタイミングで随時、合否判定基準学習（Ｓ１０６）を実施してもよい。
　次に制御部１０２は、表示部１１０を呼出し、合否判定基準学習の結果を、ユーザに通知する。ユーザは、学習結果の確認を行い、妥当なないようであるかの判定を行う（Ｓ１０７）。ここで、ユーザによる学習結果の確認が必要な理由について説明する。合否判定基準学習部１０６が、合否判定基準学習（Ｓ１０６）において、ＵＩ画面表示のばらつきの範囲と傾向を学習している最中に、偶発的な問題により、ＵＩ画面表示に異常が発生した場合や不具合が含まれている場合がある。このような場合、そのまま学習データとして試験を行うと合否判定に影響を及ぼす恐れがあるため、ユーザによる学習データの確認を行うことで異常なＵＩ画面表示の情報を学習データから取り除き、試験モード時に使用する合否判定基準学習データ３０２の妥当性を保証する。
　ユーザによる学習結果の確認の例として、合否判定基準学習（Ｓ１０６）で生成した基準画面画像と差分パターン、対応する試験手順３０１内の操作をユーザへ通知する方法が考えられる。合否判定基準学習（Ｓ１０６）で得た学習データをユーザへ通知する際は、ユーザが差分を認識しやすいよう、３Ｄグラフやヒートマップのようにグラフィカルに表示してもよい。
　ユーザは、通知された内容を確認し（Ｓ１０７）、合否判定基準学習（Ｓ１０６）の結果が妥当であるかを判断し（Ｓ１０８）、もしユーザが学習結果に問題があると判断した場合には、前記の妥当性の確認で例を挙げたように合否判定基準学習データ３０２に対する各ＵＩ画面画像の合否状態に対するフィードバックが必要とする内容を自動試験装置１００の入力部１０９に入力する。
　フィードバックを必要とする内容は、例えば「Ｘ番目の操作によるＵＩ画面表示は現在の学習結果では合格に分類されているが、ＵＩ画面表示内容が異常であるため基準画面画像、差分パターンに含めないよう再学習する」や「Ｙ番目の操作によるＵＩ画面表示は現在の学習結果では合格と分類されているが、ＵＩ画面表示内容が異常であるためユーザが合格と判断し選んだ別の繰り返し時のＹ番目の操作によるＵＩ画面表示と同じ画像を使い基準画面画像、差分パターンの再学習を行う」などである。
　入力部１０９は、ユーザから受け付けたフィードバックを必要とする情報を、ユーザフィードバック部１０７に渡す。ユーザフィードバック部１０７は、ユーザから受け付けたフィードバックの内容を反映した合否判定基準の再学習を行う（Ｓ１０９）。
　図５を用いて、再学習の例について説明する。図５では、試験手順３０１の群の繰り返しｎ回目において、操作ｘに対する画面ｘの表示が繰り返し１回目、繰り返し２回目と比べて、画面中央部への矩形の表示（白抜き文字ＸＸＸ）が行われるという差異がある。この差異の発生が繰り返し回数ｎのうちの１回のみであった場合、図６の合否判定基準学習結果５０７の発生傾向は１／ｎとなる。ユーザは、この発生傾向の値を見ることにより、他の発生傾向と比べて明らかに発生頻度が低く特異な傾向と判断できる。
　また、ユーザが、予めＵＩ画面画像の正しい表示結果を知っていた場合には、ＵＩ画面画像群の中で５０７の表示内容が異常であることを目視で判断できる。
　学習データが異常と判断したユーザは、上記の例の場合だと、試験手順３０１の群の繰り返しｎ回目における画面ｘが異常であることを入力部１０９に入力する。　ユーザフィードバック部１０７は、入力部１０９に入力された内容をもとに、合否判定基準の再学習を実施する。
　ユーザフィードバック部１０７は、合否判定基準の再学習において、図５における各ＵＩ画面画像の取得結果から、ユーザから異常であると指定された試験手順３０１の群の繰り返しｎ回目における画像ｘを除いた、残りの全ての繰り返し毎の各操作に対するＵＩ画面画像に対し、合否判定基準学習（Ｓ１０６）と同様の手順で合否判定基準の再学習を行う。再学習の結果、合否判定基準の学習結果、図７に示すようになったとする。図７では、画面ｘにおける画面中央部への矩形の表示（白抜き文字ＸＸＸ）が基準画面画像に対する差分パターンから除外される。つまり、試験モード時の合格基準から除外される。
　上記の手順Ｓ１０７～Ｓ１０９は、ユーザがフィードバック不要と判断するまで繰り返し実施される（Ｓ１０８）。
　ユーザがフィードバック不要と判断した場合、記録部１０１は、学習モードで得た試験手順３０１の群における各操作に対応したＵＩ画面画像群、基準画面画像、差分パターンをデータベース部３００の合否判定基準学習データ３０２として記録する（Ｓ１１０）。
　なお、本実施の形態と、別の方法で合否判定基準の学習を行った場合には、その別の方法が必要とする合否判定基準学習データ３０２を記録部１０１は、記録する。
　以上が基準画面画像と差分パターンを用いた学習モードの動作の例である。
　次に試験モードの動作を説明する。試験モードの動作の流れを図８に示す。
　最初に制御部１０２は、データベース部３００から試験手順３０１を読み出し、学習部１０６を呼び出す（Ｓ２０１）。
　学習部１０６は、読み出した試験手順３０１に従い、試験対象操作部１０３から試験対象装置２００の入力部２０４に対し、操作やデータ入力を行う（Ｓ２０２）。
　学習部１０６が、試験手順３０１に従い、試験対象装置２００の操作を続ける中で、試験手順３０１に試験対象装置２００からのＵＩ画面画像取得の手順を検出した場合、画面画像取得部１０４は、試験対象装置２００からその時の試験対象装置２００のＵＩ画面画像を画像データとして取得する（Ｓ２０３）。
　学習部１０６は、試験手順３０１を完了するまで、上記の試験対象装置２００の操作と必要に応じて試験対象装置２００からＵＩ画面画像の取得を繰り返す（Ｓ２０４）。
　学習モードでは、試験手順３０１の群を繰り返し回数分だけ繰り返し実行してＵＩ画面画像を収集していたが、試験モードでは、試験手順３０１の群を一回だけ実行してＵＩ画面画像を収集する。
　学習モードが、試験手順３０１の手順を全て終了後（Ｓ２０４）、合否判定部１０８は、学習モードで生成した合否判定基準学習データ３０２を用いて、試験対象装置２００のＵＩ画面画像に対する試験の合否判定を実施する（Ｓ２０５）。
　図９を用いて合否判定の例について説明する。本実施の形態では、合否判定の方法の一例として、学習モードで生成した基準画面画像と差分パターンを用いた合否判定方法について説明する。
　合否判定は合否判定部１０８によって行われる。合否判定部１０８は、画像比較部１０５を用いて、試験モード（図８：Ｓ２０１～Ｓ２０４）で得た試験手順３０１の各操作に対応するＵＩ画面画像と、学習モード（図１：Ｓ１０１～Ｓ１１０）で得た試験手順３０１の各操作に対応する基準画面画像の比較を行う。
　合否判定部１０８は、試験モードで得た各操作に対応したＵＩ画面画像と、対応した基準画面画像との比較を行い、発生した差分が各操作に対応した差分パターンの範囲に収まる場合に合否判定を合格とし、そうでない場合は不合格と判断する。
　例えば、試験モードで得た試験手順３０１の操作２に対するＵＩ画面画像は、学習モードで得た試験手順３０１の操作２に対する基準画面画像と比較した場合、差分は合否判定基準学習データ３０２の範囲内に収まるため、操作２の試験合否判定は合格となる。
　また、試験モードで得た試験手順３０１の操作ｘに対するＵＩ画面画像は、学習モードで得た試験手順３０１の操作ｘに対する基準画面画像と比較した場合、画面中央部の矩形部分が差分として検出される。この差分は合否判定基準学習データの差分パターンにも含まれていないため、試験手順３０１の操作ｘに対する試験合否判定は不合格となる。
　合否判定部１０８は、試験手順３０１の全ての操作に対して上記のように合否判定を行う。
　なお、本実施の形態では、試験手順３０１の操作を全て実施完了後に試験合否判定（Ｓ２０５）を実施するよう説明を行ったが、試験手順３０１の各操作を実施し、試験対象装置２００からＵＩ画面画像を取得するタイミングで随時、試験合否判定（Ｓ２０５）を実施してもよい。
　次に合否判定部１０８は、試験の合否判定の結果が妥当な内容であるかの確認をユーザへ通知する（Ｓ２０６）。ユーザへの通知には、表示部１１０が用いられる。
　合否判定部１０８は、併せて、自動試験装置１００による試験合否判定が妥当であるかを確認することもユーザへ通知する。
　なお、本実施の形態では、試験の合否版手の結果が得られた後に合否判定部がユーザに対し通知を行う例について説明したが、このユーザへの通知を行う手順は、試験モードの完了後、ユーザ側から自動試験装置１００に対して要求があった時点で行ってもよい。
　表示部１１０は、試験合否判定（Ｓ２０５）の結果として試験手順３０１の各操作に対する合否判定結果と試験モードで得たＵＩ画面画像、基準画面画像とこれに対する差分、差分パターンなどをユーザへ通知する。通知の方法は学習モード時のユーザへの確認と同様にグラフィカルな表示を用いて認識しやすくしてもよい。
　ユーザは、通知された合否判定結果と試験モードで得たＵＩ画面画像、基準画面画像に対する差分、差分パターンなどを確認し、合否判定結果に問題があると判断した場合は、フィードバックが必要とする内容を自動試験装置１００の入力部１０９に入力する（Ｓ２０７）。
　入力部１０９は、ユーザから受け付けたフィードバックを必要とする情報を、ユーザフィードバック部１０７に渡し。ユーザフィードバック部１０７は、ユーザから受け付けたフィードバックの内容にした内容を反映した合否判定基準の再学習と試験の合否判定結果の修正を行う（Ｓ２０８）。
　図９では、試験手順３０１の操作ｘのＵＩ画面画像がユーザの確認結果により合格とする場合、学習モード時の例で図６から図７へ再学習を行った場合と同様に、ＵＩ画面画像群に試験モードで得た試験手順３０１の操作ｘに対するＵＩ画面画像を含めて合否判定基準の再学習を行い、合否判定基準学習データ３０２を更新する。
　この場合の合否判定基準の再学習の結果は図６のようになる。また、ユーザにより合格と判断された試験手順３０１の操作ｘの合否判定結果を不合格から合格に修正する。　判定部１０８は、ユーザがフィードバック不要と判断するまで、上記の手順Ｓ２０６～Ｓ２０８を繰り返し実施する（Ｓ２０７）。
　記録部１０１は、試験モードで得た試験手順３０１の各操作に対応したＵＩ画面画像と試験の合否判定結果を試験結果３０３としてデータベース部３００に記録する。また、記録部１０１は、更新された合否判定基準学習データ３０２をデータベース部３００に記録する。
　以上が基準画面画像と差分パターンを用いた試験モードの動作の例である。
　なお、学習モード、試験モードにおいて生成したデータや試験対象装置２００から得られたＵＩ画面画像は、ユーザが自動試験装置１００の入力部１０９に対して要求操作を入力することで、表示部１１０を用いて随時確認することができる。
　以上のように、試験対象装置２００を自動的に操作しＵＩ画面画像を取得することにより、従来の正解画面画像やマスクデータにあたる情報を合否判定基準学習データ３０２として自動的に生成でき、試験準備に必要な時間やコストを削減することが可能となる。
　また、試験手順３０２を用いて同様の操作手順を複数回実施し、同じ操作手順に対するＵＩ画面画像のばらつきの範囲や傾向を合否判定基準として学習し試験の合否判定に用いることにより、通常の動作で発生し得る試験で許容可能なＵＩ画面表示のばらつきを許容することを可能とし、従来だと試験対象領域としてマスク処理などの準備が困難であった領域も自動試験の対象となり、ユーザの判断がひつようとなる作業を削減することが可能となる。
　本実施の形態では、合否判定基準学習データ３０２に含む基準画面画像と差分パターンを試験手順３０１の各操作に対して１つとしたが、合否判定基準学習データ３０２に含む基準画面画像と差分パターンを各操作に対して複数持ってもよい。
　図１０、図１１、図１２を用いて、合否判定基準学習データ３０２の基準画面画像と差分パターンを試験手順３０１の任意の操作に対して複数持つ場合の例について説明する。
　試験手順３０１の任意の操作に対し繰り返し実施した結果得られたＵＩ画面画像群を図１０に示す。
　合否判定基準学習の結果、ＵＩ画面画像の正常ケースを基準画面画像と差分パターンで表現すると、図１１に示すように冗長な合否判定基準学習データ３０２となり、合否判定基準の精度を低下させる可能性がある。このような場合、前記図４の学習結果確認（Ｓ１０７）での学習結果の妥当性確認を行い、その結果、ユーザフィードバック部１０７によりユーザが合否判定基準学習データ３０２からＵＩ画面画像一覧をチェックし、特定のＵＩ画面画像を別の正常ケースとして選択できるように選択肢をユーザフィードバック部１０７からユーザへ提供する。
　ユーザフィードバックのように、ユーザにより別の正常ケースとして特定のＵＩ画面画像が選択された場合、再学習を行い、図１２に示すように特定の操作に対するＵＩ画面表示に対して複数の基準画面画像と差分パターンを合否判定基準学習データ３０２に保持できる。
　合否判定基準学習データ３０２に１つの試験手順３０１の操作に対して複数の基準画面画像と差分パターンを持つ場合、図８に示す試験モードにおける試験合否判定（Ｓ２０５）では、図１２のように複数の基準画面画像と差分パターンの全てのケースと試験で得たＵＩ画面画像を比較し、いずれかの基準画面画像と差分パターンに一致する場合に合格と判定する。
　この方法により、操作手順や入力データの内容によりＵＩ画面表示が大きく変化する場合への対応が可能となる。
実施の形態２．
　本実施の形態では、実施の形態１にエラー推定機能を加えた場合について説明する。
　図１３は、エラー推定機能を加えた場合の自動試験装置１００を用いたシステム構成の一例である。図１３において、図３と同一符号である、記録部１０１、制御部１０２、操作部１０３、取得部１０４、比較部１０５、学習部１０６、反映部１０７、判定部１０８、入力部１０９、表示部１１０、記録部２０１、制御部２０２、生成部２０３、入力部２０４、表示部２０５、試験手順３０１、学習データ３０２、試験結果３０３は、同一または相当する部分を表しており、図３で説明したものと同じである。
　自動試験装置１００のエラー推定部（推定部）１１１は、データベース部３００から読み出したエラー推定設定（推定設定）３０４をもとに、学習モードでの合否判定基準学習（Ｓ１０６）や試験モードでの合否判定基準学習データ３０２による試験合否判定（Ｓ２０５）に加えて試験対象装置２００のＵＩ画面画像のばらつきの範囲や傾向から特定の偏りを持つものをエラーと推定する。
　データベース部３００のエラー推定設定（推定設定）３０４は、エラー推定部１１１でエラー推定に用いるデータであり、エラー推定の基準となるばらつきの範囲や傾向を示すものでありユーザが設定する。
　なお、エラー推定部１１１は、プロセッサ１が記憶装置２に記憶されたプログラムを実行することにより、実現される。また、複数のプロセッサおよび複数のメモリが連携して上記機能を実行してもよい。
　エラー推定を用いた動作について説明する。エラー推定を用いた学習モードの動作の流れを図１４に示す。なお、本実施の形態では、実施の形態１で用いた、合否判定基準学習データ３０２の基準画面画像、差分パターンを例として用いる。
　まず、制御部１０２は、データベース部３００からエラー推定設定３０４を読み出す。エラー推定設定３０４は、図１３に示すように外部（ネットワークを経由したサーバもしくは外部記憶装置）から取得してもよいし自動試験装置１００の記録部１０１のように自動試験装置１００に内蔵した記録媒体に記録し必要に応じて読み出してもよい。また、エラー推定設定３０４の内容はユーザが希望する任意のエラー推定基準に変更してもよいし、過去に取得した合否判定基準学習データ３０２からエラー推定設定３０４の形式として抽出するよう改良して抽出した結果を使用してもよい。
　次に推定部１１１は、読み出したエラー推定設定３０４と合否判定基準学習データ３０２を用いてエラー推定を行う（Ｓ３０１）。
　エラー推定設定の例として、図６における合否判定基準学習データ３０２の差分パターンの発生傾向が一定の割合ｅ／ｎ以下の場合エラーと判断するよう設定する。
　実施の形態１では、合否判定基準学習（Ｓ１０６）の後、ユーザへ基準画面画像や差分パターンなどの合否判定基準学習データ３０２と学習モードで得た試験対象装置２００のＵＩ画面画像群を通知することにより、ユーザによる学習結果の妥当性の確認を行った。　これに対し、エラー推定を用いた、本実施の形態の場合では、エラー推定実施（Ｓ３０１）において、合否判定基準学習（Ｓ１０６）で得た差分パターンに対してエラー推定設定３０４で設定された差分パターンの発生傾向がｅ／ｎ以下の場合にエラーとして検出する。例えば、図６の５０７の発生傾向ｄ／ｎがエラー推定設定３０４の発生傾向ｅ／ｎ以下の場合、図６の５０７に分類された各ＵＩ画面画像に異常の可能性があるとして検出する。
　実施の形態１の説明で、図４の合否判定基準学習（Ｓ１０６）の結果に対して行ったのと同様に、エラー推定部１１１で検出した結果は、Ｓ１０７～Ｓ１０９においてユーザへ通知され、ユーザによる確認とフィードバックの要否判断が行われる。
　例えば、エラー推定部１１１でエラー推定した通り、ユーザへ通知したＵＩ画面画像が異常であるとユーザが判断した場合は、ユーザによるその内容が入力部１０９へ入力され、ユーザフィードバック部１０７により（Ｓ１０８）実施の形態１と同様に合否判定基準の再学習（Ｓ１０９）を実施する。
　このように、エラー推定部１１１が、エラー推定設定３０４で設定された条件に合った内容を自動的に判断し、ユーザへ通知することにより、ユーザによる合否判定基準学習データ３０２の妥当性の確認と異常の検出判断に必要な負荷を軽減することが可能となり、試験用データを自動生成するのに必要な時間やコストを削減することが可能となる。
　なお、本実施の形態では、エラー推定（Ｓ３０１）の実施を試験手順３０１の手順を完了し合否判定基準学習（Ｓ１０６）の後に行ったが、処理の順序は必要に応じて変更してもよい。
実施の形態３．
　本実施の形態では、実施の形態１に加えて、発明の対象である自動試験装置１００を製品や試験環境に内蔵した場合について説明する。自動試験装置１００を製品や試験環境に内蔵することで、既に市場に出回った製品動作中のＵＩ画面表示で検出可能な異常や、開発段階や市場不具合発生後のＵＩ画面表示で検出可能な異常の再現試験での検出に使用する。
　図１５は、本発明の本実施の形態３に係る自動試験装置を用いたシステム構成の一例である。なお、本実施の形態では、試験対象装置２００を製品や試験環境として説明を行う図１５において、図３と同一の符号である、記録部１０１、制御部１０２、操作部１０３、取得部１０４、比較部１０５、学習部１０６、反映部１０７、判定部１０８、入力部１０９、表示部１１０、記録部２０１、制御部２０２、生成部２０３、入力部２０４、表示部２０５、試験手順３０１、学習データ３０２、試験結果３０３は、同一または相当する部分を表しており、図３で説明したものと同じである。
　データベース部３００のエラー検出設定（検出設定）３０５は、異常の検出に必要な情報を保持するデータである。
　エラー検出設定３０５は、ＵＩ画面画像を異常と判別するための基準である。ここではエラー検出設定３０５は、製品出荷前に予め用意された操作と操作に対応する基準画面画像と差分パターンを記録したものとする。エラー検出設定３０５とＵＩ画面画像を比較した結果、エラー検出設定３０５に含まれない場合はＵＩ画面表示が異常であると判断することができる。なお、エラー検出設定３０５は、ユーザにより基準画面画像と差分パターンと同様の情報を作成してもよいし、基準画面画像と差分パターンに含まれる内容を正常ではなく異常と判断するように設定する方法を取ってもよい。
　自動試験装置１００のログ出力部（出力部）１１２は、試験対象操作部１０３と類似の構成であり、異常検出時に試験対象装置２００に対して異常発生を通知し、ログ出力やメモリダンプなどの後の異常解析作業に用いるデータの記録を指示する。なお、ログ出力部１１２は、プロセッサ１が記憶装置２に記憶されたプログラムを実行することにより、実現される。また、複数のプロセッサおよび複数のメモリが連携して上記機能を実行してもよい。
　試験対象装置２００のログ出力部（出力部）２０６は、自動試験装置１００から異常発生の通知を受け、ログ出力やメモリダンプなどの情報を記録する。記録先は、試験対象装置２００の記録部２０１でもよいし、自動試験装置１００へ通知して自動試験装置１００の記録部１０１へ記録してもよい。また、データベース部３００など外部の記録媒体へ通知し記録を行ってもよい。
　次に図１６を用いて、自動試験装置を製品に組込んで使用する場合の動作について説明する。
　自動試験装置１００の制御部１０２は、試験対象装置２００起動時にデータベース部３００のエラー検出設定３０５を読み込む（Ｓ４０１）。
　本実施の形態では、エラー検出設定３０５のデータとして実施の形態１の図６で用いた画面２のＵＩ画面画像群の基準画面画像と差分パターンを示すものとするが、エラー検出設定３０５のデータの内容は、任意の画像データなどに変更してもよい。
　取得部１０４は、取得部１０４の内部または制御部１０２などに持つタイマで時間を計測し、予め設定された時間が経過すると（Ｓ４０２）試験対象装置２００からＵＩ画面画像を取得すると、画像比較部１０５を呼び出す。
　試験対象装置２００が稼働する中で自動試験装置１００は、試験対象装置２００のＵＩ画面表示内容をＵＩ画面生成部２０３から画面画像取得部１０４により取得する（Ｓ４０３）。ここでは、試験対象装置２００からのＵＩ画面表示内容の取得の一例として、ＵＩ画面表示内容を短時間の間隔で定期的に取得するものとする。
　試験対象装置２００からＵＩ画面画像を取得する時間の間隔や画面の大きさ、位置などの条件は、エラー検出設定３０５で設定してもよい。なお、これらの設定は制御部１０２がエラー検出設定３０５を読み込んだ際に設定を行う。
　画像比較部１０５は、取得したＵＩ画面画像とエラー検出設定３０５の内容の比較を行う。
　合否判定部１０８は、画像比較部１０５の結果を受け取り、試験対象装置２００から取得したＵＩ画面画像がエラー検出設定３０５の条件に含まれるかを判断する。なお、本実施の形態では、エラー検出設定３０５に基準画面画像と差分パターンを使用しているため、合否判定部１０８を用いて、試験対象装置２００から取得したＵＩ画面画像とエラー検出設定３０５を比較する（Ｓ４０４）。
　製品組込みの場合、製品の操作はユーザが行い、自動試験装置１００から操作を行わないためエラー検出設定３０５に含まれる基準画面画像と差分パターンをユーザの操作手順とを完全に対応付けることができない。このため、本実施の形態では、試験対象装置２００から取得したＵＩ画面画像をエラー検出設定３０５に含まれる全ての基準画面画像と差分パターンに対し総当たりで比較を行うものとする。その例を図１７に示す。また、エラー検出設定３０５には製品出荷前に予め全ての操作に対する基準画面画像と差分パターンを取得し記録されているものとする。
　合否判定部１０８は、試験対象装置２００から取得したＵＩ画面画像とエラー検出設定３０５を比較し、エラー検出設定３０５に含まれない場合は、異常と判断する（Ｓ４０４）。
　上記において合否判定部１０８が異常と判断した場合、合否判定部１０８は制御部１０２を経由してログ出力部１１２へ異常を通知し、ログ出力部１１２は試験対象装置２００に対し、異常発生の通知を行う（Ｓ４０５）。
　異常発生の通知を受けた試験対象装置２００はログ出力部２０６により、記録部２０１などの記録媒体へ動作ログやメモリダンプなどの動作情報の記録を行う（Ｓ４０６）。
　
　このように、試験対象装置２００の通常動作時のＵＩ画面表示を常時受け取り、エラー検出設定３０５に予め用意した基準画面画像、差分パターンなどの異常判別情報と比較をすることにより、異常が発生したことを自動的に検出し、ログ出力やメモリダンプなどの動作情報を記録することができるようになり、後の解析作業を効率的に行うことが可能となる。
　特に異常の発生頻度が特に低い場合においては、人によるログやメモリダンプの解析作業だと手間と時間がかかるため、非効率的である。
　本発明によりＵＩ画面表示に影響する異常を自動検出し、必要な情報のみを自動的に記録することで人による解析作業の負荷を軽減することが可能となる。メモリの不正アクセスなどのようにシステムに明確な異常を示す不具合はプログラム上発見し易いが、市場での動作環境に起因する問題やプログラム上のエラー検出処理では発見できない設計や実装の不具合流出による極めて低い頻度での不正なＵＩ画面表示が発生する場合は、特に本発明での効果を得られると考える。
　本実施の形態で説明した、製品組込みの例では、実施の形態１の構成に加えて異常の検出と動作情報の記録に必要な機能を追加したが、不要であれば市場での製品組込み時に自動試験装置１００の合否判定基準学習部１０６やユーザフィードバック部１０７などの機能やデータベース部３００の学習データ３０２、試験結果３０３などの情報を除外してもよい。
　また、自動試験装置１００の機能は、試験対象装置２００に含んでもよいし、独立させてもよい。さらに、ログ出力などの動作情報の記録の指示と実施を行う機能は、自動試験装置１００や試験対象装置２００にまとめてもよいし、または、各装置に分散させてもよく、外部へ通信などにより通知を行ってもよい。
実施の形態４．
　本実施の形態は、実施の形態１に加えて、自動試験装置１００のプロセッサ１などの処理速度や試験操作インタフェース３、画像取得インタフェース４、制御部１０２の処理速度や通信速度、または、試験対象装置２００の処理速度などの影響により、自動試験装置１００や試験対象装置２００の処理タイミングの変化に対応するためパラメータによる補正機能を持たせたものである。
　図１８は、パラメータによる補正機能を持たせた場合の自動試験装置１００を用いたシステム構成の一例である。図１８において、図３と同一符号である、記録部１０１、制御部１０２、操作部１０３、取得部１０４、比較部１０５、学習部１０６、反映部１０７、判定部１０８、入力部１０９、表示部１１０、記録部２０１、制御部２０２、生成部２０３、入力部２０４、表示部２０５、試験手順３０１、学習データ３０２、試験結果３０３は、同一または相当する部分を表しており、図３で説明したものと同じである。
　自動試験装置１００のパラメータ補正部（補正部）１１３は、データベース部３００から読み出した補正パラメータ（パラメータ）３０６をもとに、学習モードや試験モードにおける試験手順３０１に含まれた各操作やデータ入力、ＵＩ画面画像取得のタイミングを早く、または、遅くするものである。
　データベース部３００の補正パラメータ３０６は、補正部１１３で試験手順３０１に含まれる操作やデータ入力、ＵＩ画面画像取得に対し、予め設定された待ち時間の短縮、待ち時間の追加に用いるデータであり、試験手順３０１に含まれる操作やデータ入力、ＵＩ画面画像取得のタイミングを補正するためにユーザが設定するものである。
　なお、補正部１１３は、プロセッサ１が記憶装置２に記憶させたプログラムを実行することにより、実現される。また、複数のプロセッサおよび複数のメモリが連携して上記機能を実行してもよい。
　パラメータ補正を用いた動作について説明する。パラメータ補正を用いた試験手順３０１の実施の流れを図１９に示す。なお、本実施の形態では、実施の形態１で用いた、試験モードにおける試験手順３０１の実施を例として用いる。
　まず、自動試験装置１００の制御部１０２は、データベース部３００から試験手順３０１と補正パラメータ３０６を読み出し、学習部１０６を呼び出す（Ｓ２０１）。
　学習部１０６は、読み出した試験手順３０１に含まれる操作やデータ入力を試験対象装置２００に対して行う前に、読み出した補正パラメータ３０６と試験手順３０１をパラメータ補正部１１３へ渡し補正を指示する（Ｓ６０１）。
　パラメータ補正の例として、図５の学習モードにおける操作１の操作、データ入力Ｓ１０２の中にＵＩ画面画像取得Ｓ１０３を実施するまでの待ち時間が１秒として定義されているとする。また、補正パラメータ３０６には試験手順３０１の繰り返し毎の操作１に対しＵＩ画面画像取得へ移るまでの待ち時間を１秒追加する内容を含んでいるものとする。
　ここでは学習モードの試験手順３０１を例としているが、試験手順３０１の内容は試験モードでも同等のため問題ない。
パラメータ補正部１１３は、試験手順３０１から読み出した操作１に対応する補正情報を補正パラメータ３０６から検索し、待ち時間を１秒追加する内容を見つける。パラメータ補正部１１３は、試験手順３０１から読み出した操作１の操作、データ入力Ｓ１０２の中から待ち時間を１秒とする情報を見つけ、補正パラメータ３０６から見つけた待ち時間を１秒追加する内容を反映し、待ち時間を２秒として学習部１０６へ返す。
学習部１０６は、パラメータ補正部１１３から受け取った情報をもとに、待ち以外の操作やデータ入力の実施後、ＵＩ画面画像取得までに２秒の待ちを行う（Ｓ２０２）。
ＵＩ画面画像取得（Ｓ２０３）以降の流れは実施の形態１と同様である。
　以上のように、既に用意された試験手順３０１に対しパラメータ補正を行うことで、自動試験装置１００や試験対象装置２００の処理性能などにより、一部の試験手順３０１の操作やＵＩ画面画像取得のタイミングを調整することができる。自動試験装置１００や試験対象装置２００を構成する各要素の処理性能が変化した場合、ＵＩ画面表示が次のＵＩ画面表示へ遷移する早さなどの変化が想定されるが、パラメータ補正を行うことで既に使用した試験手順３０１や合否判定基準学習データ３０２を変更することなく、補正パラメータ１１３を追加するのみで異なる処理性能の自動試験装置１００や試験対象装置２００での学習モードや試験モードの実施が可能となり、資源の有効活用や作業の効率化を行うことができる。
１　プロセッサ、２　記憶装置、３　試験操作インタフェース、４　画像取得インタフェース、５　入力装置、６　表示装置、１００　自動試験装置、１０１　記録部、１０２　制御部、１０３　操作部、１０４　取得部、１０５　比較部、１０６　学習部、１０７　反映部、１０８　判定部、１０９　入力部、１１０　表示部、１１１　推定部、１１２　出力部、補正部１１３、２００　試験対象装置、２０１　記録部、２０２　制御部、２０３　生成部、２０４　入力部、２０５　表示部、３００　データベース部、３０１　試験手順、３０２　学習データ、３０３　試験結果、３０４　推定設定、３０５　検出設定、３０６　パラメータ。

Claims (5)

  1. 　試験対象装置の入力機器の操作を行う操作部と、
    　前記試験対象装置の出力画面表示内容を取得する取得部と、
    　前記操作部に対する予め設定された１以上の操作と前記操作に対応する出力画面表示内容を前記取得部から取得するか否かの指示を含む試験手順群を繰り返し実行させ、各操作に対応する複数の出力画面表示内容のばらつきの範囲およびばらつきの傾向を学習し、前記試験対象装置に対する試験の合否判定のための学習データを生成する学習部と、
    　前記学習データを表示する表示部と、
    　前記操作部に対し、予め試験手順に設定された操作を実行し、前記取得部で取得した出力画面表示内容と、前記学習データとの比較を行い、前記試験対象装置に対する試験の合否判定を行う判定部と
    を有することを特徴とする自動試験装置。
  2. 　前記学習データに対する妥当性が入力される入力部と、
    　前記学習データに対し、前記妥当性を反映した再学習を行い、再学習データを生成する反映部とを有し、
    前記判定部は、前記操作部に対し、予め試験手順に設定された操作を実行し、前記取得部で取得した出力画面表示内容と、前記再学習データとの比較を行い、前記試験対象装置に対する試験の合否判定を行うことを特徴とする請求項１に記載の自動試験装置。
  3. 　前記学習部が生成した学習データに対し、取得した出力画面表示内容のばらつきの範囲およびばらつきの傾向がエラーであると推定する推定部を有することを特徴とする請求項１または２に記載の自動試験装置。
  4. 　前記判定部が異常と判断した場合、前記試験対象装置に対して異常検出によるログ出力またはメモリダンプの動作情報の記録を出力する出力部を有することを特徴とする請求項１から３のいずれか一項に記載の自動試験装置。
  5. 　前記試験手順群に設定された各操作の待ち時間を補正する補正部を有することを特徴とする請求項１から４のいずれか一項に記載の自動試験装置。
PCT/JP2015/062240 2015-04-22 2015-04-22 自動試験装置 WO2016170618A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
PCT/JP2015/062240 WO2016170618A1 (ja) 2015-04-22 2015-04-22 自動試験装置
JP2017513881A JP6214824B2 (ja) 2015-04-22 2015-04-22 自動試験装置
TW104113470A TW201638784A (zh) 2015-04-22 2015-04-28 自動測試裝置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2015/062240 WO2016170618A1 (ja) 2015-04-22 2015-04-22 自動試験装置

Publications (1)

Publication Number Publication Date
WO2016170618A1 true WO2016170618A1 (ja) 2016-10-27

Family

ID=57142946

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/062240 WO2016170618A1 (ja) 2015-04-22 2015-04-22 自動試験装置

Country Status (3)

Country Link
JP (1) JP6214824B2 (ja)
TW (1) TW201638784A (ja)
WO (1) WO2016170618A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018211546A1 (ja) * 2017-05-15 2018-11-22 三菱電機インフォメーションシステムズ株式会社 画面試験装置および画面試験プログラム
JP2020148620A (ja) * 2019-03-13 2020-09-17 株式会社ナベル 卵分類装置、卵分類方法及びコンピュータプログラム
JP2020187618A (ja) * 2019-05-16 2020-11-19 メタウォーター株式会社 情報処理システム、情報処理装置、プログラム、及び情報処理方法
JP2021501382A (ja) * 2018-02-12 2021-01-14 オラクル・インターナショナル・コーポレイション 自動コード生成
US11119738B2 (en) 2017-01-18 2021-09-14 Oracle International Corporation Generating data mappings for user interface screens and screen components for an application
WO2021240824A1 (ja) * 2020-05-29 2021-12-02 日本電信電話株式会社 マスキング装置、マスキング方法およびマスキングプログラム
US11200820B2 (en) 2019-01-31 2021-12-14 Micware Co., Ltd. Information processor, method of controlling information processor, and storage medium
US12099820B2 (en) 2019-10-15 2024-09-24 UiPath, Inc. Training and using artificial intelligence (AI) / machine learning (ML) models to automatically supplement and/or complete code of robotic process automation workflows

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2593714B (en) 2020-03-31 2024-07-10 Premier1Filtration Apparatus for filtering cooking fluids

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070006043A1 (en) * 2005-06-29 2007-01-04 Markus Pins System and method for regression tests of user interfaces
JP2012038162A (ja) * 2010-08-09 2012-02-23 Ricoh Co Ltd 自動テストツール・プログラム及び自動テスト方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070006043A1 (en) * 2005-06-29 2007-01-04 Markus Pins System and method for regression tests of user interfaces
JP2012038162A (ja) * 2010-08-09 2012-02-23 Ricoh Co Ltd 自動テストツール・プログラム及び自動テスト方法

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11119738B2 (en) 2017-01-18 2021-09-14 Oracle International Corporation Generating data mappings for user interface screens and screen components for an application
WO2018211546A1 (ja) * 2017-05-15 2018-11-22 三菱電機インフォメーションシステムズ株式会社 画面試験装置および画面試験プログラム
JPWO2018211546A1 (ja) * 2017-05-15 2019-06-27 三菱電機インフォメーションシステムズ株式会社 画面試験装置および画面試験プログラム
JP2021501382A (ja) * 2018-02-12 2021-01-14 オラクル・インターナショナル・コーポレイション 自動コード生成
US11200820B2 (en) 2019-01-31 2021-12-14 Micware Co., Ltd. Information processor, method of controlling information processor, and storage medium
JP2020148620A (ja) * 2019-03-13 2020-09-17 株式会社ナベル 卵分類装置、卵分類方法及びコンピュータプログラム
JP2020187618A (ja) * 2019-05-16 2020-11-19 メタウォーター株式会社 情報処理システム、情報処理装置、プログラム、及び情報処理方法
US12099820B2 (en) 2019-10-15 2024-09-24 UiPath, Inc. Training and using artificial intelligence (AI) / machine learning (ML) models to automatically supplement and/or complete code of robotic process automation workflows
WO2021240824A1 (ja) * 2020-05-29 2021-12-02 日本電信電話株式会社 マスキング装置、マスキング方法およびマスキングプログラム
JPWO2021240824A1 (ja) * 2020-05-29 2021-12-02
JP7380870B2 (ja) 2020-05-29 2023-11-15 日本電信電話株式会社 マスキング装置、マスキング方法およびマスキングプログラム

Also Published As

Publication number Publication date
JP6214824B2 (ja) 2017-10-18
JPWO2016170618A1 (ja) 2017-06-29
TW201638784A (zh) 2016-11-01

Similar Documents

Publication Publication Date Title
JP6214824B2 (ja) 自動試験装置
US9280451B2 (en) Testing device
US20150347270A1 (en) Automatic test system and test method for computer, record medium, and program product
TWI622877B (zh) System and method for recording and replaying mouse behavior, recording media and program products
CN107741902B (zh) 程序应用检测方法及程序应用检测装置
TWI678614B (zh) 測試系統
US9912846B2 (en) Obtaining calibration data of a camera
JP2012103786A (ja) テスト支援装置、制御方法、及びプログラム
JP2016173619A (ja) アプリケーション試験装置
KR20100108582A (ko) 프로그램 테스트 장치 및 프로그램
KR101460860B1 (ko) 상태 기반의 테스트 시나리오 모델을 이용한 gui 테스트 장치 및 방법
CN114281631A (zh) 图像处理芯片的测试方法、装置及电子设备
CN114253841A (zh) 测试脚本生成方法、装置及存储介质
US20190122341A1 (en) Image processing apparatus and recording medium
JP4896909B2 (ja) シナリオ生成装置及びプログラム
JP6130011B1 (ja) ソフトウェアの動作検証装置、ソフトウェアの動作検証方法
KR20150035151A (ko) 애플리케이션 성능 테스트를 위한 시스템, 단말장치, 검증장치, 방법 및 컴퓨터로 판독 가능한 기록 매체
CN110659193B (zh) 测试系统
KR101753314B1 (ko) 이미지 매칭 학습을 이용한 어플리케이션 테스트 방법 및 이를 수행하기 위한 장치
JP7202571B2 (ja) 画面遷移情報生成装置、画面遷移情報生成方法、画面遷移情報生成用プログラム、画面遷移情報生成システム
JP2013168072A (ja) 支援装置、支援プログラムおよび支援方法
JP6603178B2 (ja) 表示制御システム、表示制御方法、および表示制御プログラム
JP7390070B1 (ja) ウェブサイトを検査するためのシステム、方法、及びプログラム
JP2010170459A (ja) テストシステム、テスト方法およびテストプログラム
WO2024190552A1 (ja) 情報処理装置、情報処理方法およびプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15889857

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2017513881

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15889857

Country of ref document: EP

Kind code of ref document: A1