WO2016194889A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2016194889A1
WO2016194889A1 PCT/JP2016/065978 JP2016065978W WO2016194889A1 WO 2016194889 A1 WO2016194889 A1 WO 2016194889A1 JP 2016065978 W JP2016065978 W JP 2016065978W WO 2016194889 A1 WO2016194889 A1 WO 2016194889A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
correct
target
partial image
program
Prior art date
Application number
PCT/JP2016/065978
Other languages
English (en)
French (fr)
Inventor
拓哉 柏村
石川　真也
麻里恵 坂井
甲 横山
修 下田
Original Assignee
新日鉄住金ソリューションズ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 新日鉄住金ソリューションズ株式会社 filed Critical 新日鉄住金ソリューションズ株式会社
Priority to SG11201709992UA priority Critical patent/SG11201709992UA/en
Priority to US15/579,537 priority patent/US10491756B2/en
Priority to CN201680032178.1A priority patent/CN107615251B/zh
Publication of WO2016194889A1 publication Critical patent/WO2016194889A1/ja

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00002—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for
    • H04N1/00005—Diagnosis, testing or measuring; Detecting, analysing or monitoring not otherwise provided for relating to image data
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/412—Layout analysis of documents structured with printed lines or input boxes, e.g. business forms or tables
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/414—Extracting the geometrical structure, e.g. layout tree; Block segmentation, e.g. bounding boxes for graphics or text
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V30/00—Character recognition; Recognising digital ink; Document-oriented image-based pattern recognition
    • G06V30/40—Document-oriented image-based pattern recognition
    • G06V30/41—Analysis of document content
    • G06V30/418—Document matching, e.g. of document images
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N1/00—Scanning, transmission or reproduction of documents or the like, e.g. facsimile transmission; Details thereof
    • H04N1/00567—Handling of original or reproduction media, e.g. cutting, separating, stacking
    • H04N1/0066—Aligning or positioning related to handling

Definitions

  • the present invention relates to an information processing apparatus, an information processing method, and a program.
  • Patent Document 1 discloses a technique for verifying the execution result of a computer program by image comparison. In the technique of Patent Document 1, after excluding a designated mask area from each of two images generated by execution of a computer program, image comparison is performed and a comparison result is displayed.
  • the display position may be different.
  • the partial images may be regarded as matching, and it may be desirable to determine that the program is operating normally.
  • the present invention has been made in view of such problems, and an object thereof is to properly execute verification of a program including a description related to drawing of an image.
  • the present invention is an information processing apparatus, which is a first acquisition unit for acquiring a first image displayed on a display unit according to execution of a target program to be tested, and the first image.
  • Target image extracting means for extracting the partial image as a target image from the first image based on first specific information that is included and specifies the partial image corresponding to the correct image, the target image, and the correct image
  • a display processing means for displaying the determination result by the determination means.
  • FIG. 1 is a diagram showing a hardware configuration of a test apparatus.
  • FIG. 2 is a flowchart showing the verification process.
  • FIG. 3 is an explanatory diagram of processing relating to execution of the correct answer program and the target program.
  • FIG. 4 is a view showing a display example of a test result.
  • FIG. 5 is a view showing another display example of the test result.
  • FIG. 6A is a diagram showing a display example of a test result when edge detection is used.
  • FIG. 6B is a diagram showing a display example of a test result in the case of using edge detection.
  • FIG. 7 is an explanatory diagram of the determination condition.
  • FIG. 8A is an explanatory diagram of the determination condition.
  • FIG. 8B is an explanatory diagram of the determination condition.
  • FIG. 8A is an explanatory diagram of the determination condition.
  • FIG. 9 is an explanatory diagram of the determination condition.
  • FIG. 10A is an explanatory diagram of the determination condition.
  • FIG. 10B is an explanatory diagram of the determination condition.
  • FIG. 11 is an explanatory diagram of the determination condition.
  • FIG. 12 is a flowchart showing verification processing according to the second embodiment.
  • FIG. 13 is a flowchart showing verification processing according to the third embodiment.
  • FIG. 14 is a diagram showing an example of the correct partial image group and the target partial image group.
  • the test apparatus 100 is an apparatus for testing (verifying) whether or not a program to be tested normally operates.
  • the test target program will be referred to as a target program.
  • the test apparatus 100 executes each of the correct program and the target program prepared in advance for the target program, and compares the images obtained from the respective programs. At this time, it is assumed that image comparison is performed in units of partial images instead of comparing the entire images obtained from each program.
  • the test apparatus 100 can use the program before version upgrade as the correct program, for example, when using the program after version upgrade as a target program.
  • the target program to be tested by the test apparatus 100 according to the present embodiment and the corresponding correct program include processing for displaying an image.
  • FIG. 1 is a diagram showing a hardware configuration of a test apparatus 100 as an information processing apparatus.
  • the test apparatus 100 includes a CPU 101, a ROM 102, a RAM 103, an HDD 104, a display unit 105, and an input unit 106.
  • the CPU 101 reads the control program stored in the ROM 102 and executes various processes.
  • the RAM 103 is used as a main memory or a temporary storage area of the CPU 101.
  • the HDD 104 stores various information such as image data and various programs.
  • the display unit 105 displays various information.
  • the input unit 106 has a keyboard and a mouse, and receives various operations by the user.
  • the functions and processing of the test apparatus 100 described later are realized by the CPU 101 reading a program stored in the ROM 102 or the HDD 104 and executing this program.
  • FIG. 2 is a flowchart showing verification processing by the test apparatus 100.
  • the verification process is a process implemented by the computer of the test apparatus 100 executing a verification program.
  • the CPU 101 starts the execution of the target program and the correct answer program.
  • the CPU 101 receives a start instruction from the user via the input unit 106, for example, the CPU 101 starts the execution of the target program and the correct answer program.
  • the target program and the correct answer program include a description related to drawing of an image, and the execution of the drawing command related to this description is performed by a browser application (hereinafter, simply referred to as a browser). That is, the CPU 101 executes an object program to display an image on the display unit 105 using a browser. Similarly, by executing the correct answer program, the CPU 101 displays an image on the display unit 105 using a browser.
  • a target entire image an image drawn and displayed by executing the target program
  • the image drawn and displayed by executing the correct answer program is referred to as a correct answer entire image.
  • the execution timing of the target program and the correct answer program is not particularly limited, and either one may be executed first or may be executed simultaneously.
  • FIG. 3 is an explanatory diagram of processing relating to execution of the correct answer program and the target program.
  • the browser interprets the HTML text 310 in the correct answer program 300 and sends a drawing instruction to the OS (operation system).
  • the OS draws the image corresponding to the HTML text 310, that is, the entire correct answer image 320.
  • the entire correct answer image 320 includes partial images 321, 322, and 323.
  • the partial images 321, 322, and 323 are images drawn in the HTML text 310 in correspondence with the descriptions 311, 312, and 313 associated with the image IDs "001", "002", and "003". is there.
  • the browser interprets the HTML text 340 in the target program 330 and sends a drawing command to the OS (Operation System).
  • the OS draws an image corresponding to the HTML text 340, that is, the entire target image 350.
  • the entire target image 350 includes partial images 351, 352, and 353.
  • the partial images 351, 352, 353 are images drawn corresponding to the descriptions 341, 342, 343 associated with the image IDs “001”, “002”, “003” in the HTML text 340. is there.
  • the verification target that is, the partial image to be compared is previously defined in the verification program.
  • an image ID is defined as information for specifying a partial image to be verified, that is, specific information. This means that the partial image drawn according to the description associated with the image ID is set as the verification target.
  • the partial images 321 and 323 in the entire correct answer image and the partial image 351 in the entire target image 353 are partial images to be verified.
  • the partial image to be verified in the correct overall image is referred to as the correct partial image
  • the partial image to be verified in the entire object image is referred to as the target partial image.
  • the correct partial image specified by the same image ID and the target partial image form a pair to be compared, that is, a determination target whether or not both images match. That is, in the example of FIG. 3, the correct partial image 321 and the target partial image 351 form a pair, and the correct partial image 323 and the target partial image 353 form a pair.
  • the image unit of the correct partial image and the target partial image is not limited to the embodiment.
  • an image formed by combining the partial image 321 and the partial image 322 may be defined in the verification program as one correct partial image.
  • the correct answer program and the target program in the correct answer program and the target program, the case where the same image ID is assigned to the correct answer partial image and the target partial image that should be equal to the correct answer partial image will be described as an example.
  • the creator or the verifier of the target program may define different image IDs as the correct partial image and the target partial image in the verification program.
  • the target partial image and the correct answer partial image are images to be compared, and are an example of the target image and the correct answer image, respectively.
  • the image ID is an example of an identifier for identifying an image.
  • step S201 the CPU 101 acquires the screen shot of the correct entire image displayed on the display unit 105 and the screen shot of the entire target image as the correct entire image and the entire target image.
  • the CPU 101 extracts a partial image specified by the image ID defined in the verification program as a correct partial image from the entire correct answer image (correct image extraction processing). Similarly, the CPU 101 extracts a partial image specified by the image ID defined in the verification program as a target partial image from the entire target image (target image extraction processing).
  • the CPU 101 designates the image ID and inquires the browser about the position and size of the correct partial image.
  • the browser executes the drawing command of the correct solution program again, and specifies the position and the size of the drawn area based on the description of the HTML text associated with the designated image ID.
  • the coordinate system of the position and size specified here is assumed to coincide with the coordinate system of the position and size on the screen shot acquired in S201.
  • the browser specifies a rectangular or square area as the area of the correct partial image.
  • the browser returns, to the CPU 101, information indicating the upper left vertex of the region of the correct partial image and the vertical and horizontal lengths as information indicating the specified position and size.
  • the CPU 101 extracts a correct partial image from the correct entire image acquired in S201 based on the position and the size received from the browser.
  • the CPU 101 makes an inquiry specifying the image ID "001" or "003" to the browser, and the browser describes the correct answer program corresponding to the image ID "001" or "003".
  • the areas of the partial images 321 and 323 drawn according to 311 and 313 are specified, the positions and sizes of the areas of the partial images 321 and 323 are specified, and these are returned to the CPU 101.
  • the CPU 101 extracts partial images 321 and 323 from the entire correct answer image 320.
  • partial image information may be information indicating the position of a pair of vertices (two points).
  • shape of the area specified as the area in which the browser has drawn the correct partial image is not limited to the embodiment.
  • the browser may specify a circular or triangular area as the area of the correct partial image. When the browser specifies a circular area, the browser may return information indicating the center position and radius of the circle to the CPU 101 as information indicating the position and size thereof. When the browser specifies a triangular area, it may return information indicating the positions of three points to the CPU 101 as information indicating the position and size thereof.
  • the CPU 101 uses the image ID defined in the verification program as a search key, and among the descriptions of the HTML text of the correct program, the partial image (area) drawn according to the description associated with the image ID Extract as an image.
  • the CPU 101 uses the image ID defined in the verification program as a search key, and among the descriptions of the HTML text of the target program, the partial image (area) drawn according to the description associated with the image ID Extract as Therefore, even when the position of the target partial image in the entire target image is different from the position of the correct partial image in the entire correct image, the test apparatus 100 can correctly extract corresponding partial images.
  • the CPU 101 selects one target partial image and a correct partial image corresponding to the same image ID extracted in S202 in S203.
  • the correct partial image 321 and the target partial image 351 are selected as a set.
  • the CPU 101 compares the target partial image selected in S203 with the correct partial image, and determines whether or not both images match. Then, when the two images match (Yes in S204), the CPU 101 advances the process to S206. If the two images do not match (No in S204), the CPU 101 advances the process to S205.
  • the CPU 101 compares pixel values of corresponding pixels of both images with each other, and determines whether or not both images match based on the comparison result. In the comparison of pixel values for each pixel, the CPU 101 determines that both pixels match if the pixel value difference is smaller than the threshold, and determines that both images match if the pixel values of all corresponding pixels match. Do. Even if differences in pixel values occur to some extent, they may be regarded as a match. In such a case, a relatively large value may be set as the threshold. Thus, the criteria for determining that both images match can be freely set according to the result requested by the user.
  • the CPU 101 may determine that both images match if the number of pixels determined to match both pixels is equal to or greater than a threshold. As another example, the CPU 101 may perform noise removal on the correct partial image and the target partial image before the comparison of the pixel values.
  • step S ⁇ b> 205 the CPU 101 performs an emphasizing process on the unmatched portion that does not match the correct partial image in the target partial image. Similarly, the CPU 101 performs an emphasizing process on unmatched portions that do not match the corresponding target partial image among the correct partial images. In the present embodiment, the CPU 101 superimposes and displays a highlight frame surrounding the unmatched portion.
  • the emphasizing process may be any process that changes the display form to be distinguishable from other parts so that the user can easily identify the mismatched part, and the specific process is limited to the embodiment. It is not a thing. Another example of highlighting is a process of changing the display color of the unmatched portion.
  • step S206 the CPU 101 confirms whether or not the processing of S204 and S205 has been completed for all combinations of target partial images and correct partial images extracted in S202. If the process has been completed for all sets (Yes in S206), the CPU 101 advances the process to S207. If there is an unprocessed set (No in S206), the CPU 101 advances the process to S203. In this case, in step S203, the CPU 101 selects an unprocessed set, and continues the subsequent processing.
  • the CPU 101 displays the determination result as a test result (display processing).
  • the CPU 101 displays, as a test result, the target entire image and the correct entire image after the enhancement processing.
  • the CPU 101 displays, as a test result, a target entire image and a correct entire image on which the enhancement processing is not performed.
  • the CPU 101 only needs to be able to display an image that allows the user to identify a mismatched portion in the target partial image in S207, and may display, for example, only the target partial image and the correct partial image.
  • the CPU 101 may display only the target partial image or only the target partial image indicating the mismatched portion.
  • both the target partial image and the correct partial image may be displayed together with the target entire image and the correct entire image.
  • FIG. 4 is a view showing a display example of a test result.
  • a test result screen 400 showing a test result is displayed on the display unit 105.
  • the entire correct answer image 410 is displayed on the left side of the test result screen 400, and the entire target image 420 is displayed on the right side of the test result screen 400.
  • three unmatched parts are detected, and a highlighting frame is superimposed on each unmatched part.
  • the emphasis frame 411 in the correct overall image 410 and the emphasis frame 421 of the entire target image 420 are superimposed on the corresponding unmatched parts.
  • the font of ⁇ / button> is different between the two images.
  • highlighting frames 412 and 413 are displayed in the entire correct answer image 410, and highlighting frames 422 and 423 corresponding to the highlighting frames 412 and 413 are displayed in the entire target image 420.
  • the position of "button in content” is different.
  • “here” is displayed in the area corresponding to the emphasis frame 413 and 423, while “here” is displayed in the area corresponding to the emphasis frame 423.
  • the two images are different in that Thus, the highlighted frame is displayed, so that the user can easily identify the unmatched portion.
  • FIG. 5 is a view showing another display example of the test result.
  • a test result screen 500 showing a test result is displayed.
  • a bar 501 which can be moved to the left and right in accordance with the user operation is superimposed and displayed.
  • the entire target image 520 is displayed on the right side of the bar 501
  • the entire correct answer image 510 is displayed on the left side of the bar 501.
  • by moving the bar 501 it is possible to confirm the content of the mismatch between the correct overall image 510 and the entire target image 520 without moving the line of sight.
  • a highlighting frame is superimposed and displayed in the mismatched portion.
  • the test apparatus 100 can compare the target image obtained from the target program with the correct image in units of partial images. Therefore, even if the position of the correct partial image in the correct entire image and the position of the target partial image in the target entire image are different, if the correct partial image and the target partial image match, both images match It can be determined. In some test cases, it may be desirable to determine that the images match even if the positions are shifted, as long as the corresponding correct partial image and the target partial image match. In this embodiment, in such a case, it is possible to determine coincidence or non-coincidence by comparing the images regardless of the position.
  • the CPU 101 may compare the edges detected from the correct partial image and the target partial image instead of the comparison of the pixel values in S204. Good. Specifically, the CPU 101 performs edge detection on each of the target partial image and the correct partial image to obtain two edge images.
  • the edge image is an image showing an edge detected from the image. Then, the CPU 101 compares the two edge images, and when both images match, it may be determined that the target partial image and the correct partial image match.
  • FIGS. 6A and 6B are diagrams showing display examples of test results when edge detection is used.
  • two edge images are superimposed and displayed.
  • the CPU 101 may set the display color of the edge of the match part to black, the display color of the edge of the correct whole image among the mismatch parts as blue, and the display color of the edge of the entire target image of the mismatch part as red. This makes it possible to more clearly indicate the matching portion and the non-matching portion.
  • a position in the structure of the HTML text may be defined instead of the image ID as specific information of the correct partial image to be verified and the target partial image.
  • the HTLM text is an example of a structured document.
  • the CPU 101 designates the position in the structure of the HTML text and inquires the position and the size of the correct partial image and the target partial image.
  • the browser specifies the position and size of the drawn area based on the description of the specified position. Then, the browser may return information indicating the specified position and size to the CPU 101. The same applies to the target partial image.
  • the CPU 101 may not execute the corresponding correct answer program each time the target program is executed. For example, if the correct answer program has already been executed, the correct answer entire image has been acquired, and the correct answer partial image has been extracted, the CPU 101 executes only the target program in the verification process to obtain the target entire image. It suffices to extract the target partial image.
  • the image to be compared with the target partial image is not limited to the partial image.
  • the specific image prepared in advance may be compared with the target partial image extracted from the entire target image. That is, in this case, the specific image (whole image) is the correct image.
  • test apparatus 100 according to the second embodiment.
  • the test apparatus 100 according to the second embodiment has a plurality of determination conditions for determining that both images match with each other in the comparison of the target partial image and the correct solution partial image, and both images according to the determination conditions different for each target partial image Match / mismatch can be determined.
  • the differences between the test apparatus 100 according to the second embodiment and the test apparatus 100 according to the first embodiment will be described below.
  • test apparatus 100 can assign the following determination conditions to the target partial image.
  • the first determination condition is to determine that both images match when the target partial image and the correct partial image to be combined match as a whole.
  • the test apparatus 100 can also set determination conditions that differ from each other (for example, the threshold of the difference between pixel values determined to match).
  • FIG. 7 is an explanatory diagram of a second determination condition.
  • the CPU 101 causes the target entire image 700 to display “c1” that is a part of the target partial image “c” to be “c1 Extract the part of ". Further, the CPU 101 extracts the portion “c2” from the entire target image 710 in which “c2” which is a portion other than “c1” of “c” of the entire target image is displayed. Then, the CPU 101 obtains the target partial image “c” by combining the extracted portions.
  • the test apparatus 100 can also set a determination condition for comparing the entire correct answer image realized by the scroll display and the target partial image.
  • the test apparatus 100 can also set a determination condition for comparing the entire correct partial image realized by the scroll display with the entire target partial image. .
  • the third determination condition is to determine that both images match when part of the target partial image matches the correct partial image.
  • the third determination conditions there is a case where it is determined that both images match when the region excluding the lower region of the target partial image matches the corresponding correct partial image.
  • 8A and 8B are explanatory diagrams of this determination condition. As described above, it is assumed that the target partial image “d” is enlarged as the other partial image e is expanded in the vertical direction. In this case, the target partial image “d” is drawn in the area 820, and the area 821 below it may be a margin.
  • the CPU 101 compares each pixel of the correct partial image “D” and the target partial image “d” in order from the top, and when comparison with all the pixels of the correct partial image “D” is completed, It is determined whether or not there is a match. As a result, even if a blank with unknown size is generated on the lower side, it is possible to determine whether or not both images match by comparing the target partial image “d” with the correct partial image “D”.
  • the test apparatus 100 also sets a determination condition to determine whether or not the two images match regardless of the size of the margin even if the margin is generated on the upper side, the right side, and the left side of the target partial image. To be possible.
  • the CPU 101 determines whether or not both images match, regardless of the size of the margins, even when the margins occur at the top, right, and left sides of the correct part image. Judgment conditions can also be set.
  • FIG. 9 is an explanatory diagram of a fourth determination condition.
  • the margin between the correct answer partial images "F” and “G” in the correct answer overall image 900 is enlarged from the correct answer partial image "H" to the target partial image "h” in the target entire image 910, the correct answer partial image It is assumed that the margin 901 between “F” and “G” is enlarged to the margin 911.
  • the test apparatus 100 compares the images of the correct partial images “F” and “G” with the images of the target partial images “f” and “g” after removing the margin (trimming). Do. In this way, it is possible to perform the matching determination ignoring the margin.
  • the fifth determination condition is to determine that both images match even if the correct partial image and the partial region of the target partial image do not match.
  • 10A and 10B are explanatory diagrams of the fifth determination condition.
  • the area “J” of the correct partial image 1000 and the area “j” of the target partial image 1010 corresponding thereto it is assumed that different information such as login date and time etc. is displayed for each program execution.
  • the area “J” and the area “j” are mask areas, and the correct partial image “I” other than the mask area matches the target partial image “i”, both images are identical. judge.
  • the mask area is associated with the image ID in the program as in the case of the target partial image and the like. Therefore, the CPU 101 can specify the mask area by inquiring the browser.
  • the CPU 101 sets the pixels in the mask regions “J” and “j” to be equal pixels, for example, all black pixels, and then the correct partial image “I” including the mask region and the target partial image A match determination with "i” may be performed.
  • the sixth determination condition is to compare the target partial image with the correct partial image after removing the mask area even when the size of the mask area is changed.
  • FIG. 11 is an explanatory diagram of a sixth determination condition. It is assumed that the mask area "l" of the target entire image 1110 corresponding to the mask area "L” of the correct partial image "K” of the correct entire image 1100 is enlarged along with the enlargement of the partial image "m” in the vertical direction. Also in this case, the test apparatus 100 compares the part of the correct partial image "K” excluding the mask area "L” with the part of the target partial image "k” excluding the mask area "l". In this way, it is possible to perform the match determination ignoring the mask area. As described above, the test apparatus 100 identifies the mask area also using the image ID as a key as described above. Therefore, even if the size of the mask area changes as described above, the mask area after size change is used. It can be identified correctly.
  • one determination condition among the above-described determination conditions can be set for the target partial image in units of the entire target image.
  • the test apparatus 100 can set different determination conditions for each of a plurality of target partial images included in the target entire image. Note that it is assumed that the setting of the determination conditions for each target partial image is already completed before execution of the verification process. Further, the setting of the determination condition for each target partial image is performed, for example, by the CPU 101 recording the determination condition in, for example, the ROM 102 in association with the image ID according to the user operation. As another example, in the verification program, the determination condition may be defined in association with the image ID as the specific information to be verified.
  • FIG. 12 is a flowchart showing verification processing by the test apparatus 100 according to the second embodiment.
  • the same processes as the processes of the verification process (FIG. 2) according to the first embodiment are denoted by the same reference numerals.
  • the CPU 101 After selecting a set of partial images in S203, the CPU 101 advances the process to S1200. Then, in S1200, the CPU 101 specifies the determination condition set for the selected target partial image. Thereafter, the CPU 101 advances the process to step S204. Then, in step S204, the CPU 101 determines whether the two images match according to the determination condition specified in step S1200.
  • the remaining configuration and processing of the test apparatus 100 according to the second embodiment are the same as the configuration and processing of the test apparatus 100 according to the first embodiment. As described above, the CPU 101 according to the second embodiment can determine whether or not each of the plurality of target partial images matches the correct partial image according to different determination conditions.
  • a test apparatus 100 according to the third embodiment will be described.
  • a class is defined as specific information to be verified.
  • the CPU 101 extracts a correct partial image group consisting of a plurality of correct partial images drawn according to the description associated with the class defined in the verification program from the description of the HTML text of the target program.
  • the CPU 101 extracts a target partial image group consisting of a plurality of target partial images drawn according to the description associated with the class defined in the verification program among the descriptions of the THML text of the target program.
  • a class is an example of an attribute.
  • FIG. 13 is a flowchart showing verification processing by the test apparatus 100 according to the third embodiment.
  • the same processes as the processes of the verification process (FIG. 2) according to the first embodiment are denoted by the same reference numerals.
  • the CPU 101 advances the process to S1300.
  • the CPU 101 extracts a partial image specified by a predetermined class as a correct partial image from the entire correct answer image.
  • the CPU 101 also extracts a partial image specified by the same class as the class referred to when extracting the correct partial image as a target partial image from the entire target image.
  • the CPU 101 identifies each correct partial image to be paired with each target partial image by comparing each target partial image extracted in S1300 with the correct partial image extracted in S1300.
  • the CPU 101 confirms whether all target partial images and correct partial images extracted in step S1300 have become a pair.
  • the CPU 101 detects the correct partial image to be paired with each target partial image by fully searching the correct partial image.
  • a correct partial image group including correct partial images “N”, “O” and “P” is extracted from the entire correct answer image 1400, and a target partial image “n” is extracted from the entire target image 1410. It is assumed that a target partial image group including “”, “p” and “o” is extracted.
  • the CPU 101 first searches for a correct partial image to be paired with the target partial image “p”. That is, the CPU 101 selects one partial image out of three correct partial images. For example, when the correct partial image “N” is selected, the CPU 101 compares the target partial image “p” with the correct partial image “N”.
  • the CPU 101 selects the correct partial image “O”, and if the two images do not match again, selects the correct partial image “P”. Then, when the target partial image "p" and the correct partial image "P" match, the CPU 101 determines that both images are paired. By the same process, the CPU 101 searches for a correct partial image that is paired with the target partial images “o” and “n”.
  • the CPU 101 advances the process to S1303. If there is at least one of the non-paired target partial image and the non-paired correct partial image (No in S1301), the CPU 101 advances the process to S1302.
  • the case where there is no pairing means the case where the target partial image and the correct partial image do not match or the number of the target partial image and the correct partial image do not match, and the corresponding partial image (target partial image Alternatively, there may be a case where there is no correct partial image).
  • step S1302 the CPU 101 applies emphasis processing to the unmatched portion. For example, when part or all of the target partial image and the correct partial image do not match, the CPU 101 sets the non-matching part or the entire image as a non-matching part and performs an emphasizing process on this part. In addition, when the number of the target partial image and the number of correct partial images do not match, the CPU 101 sets a partial image (target partial image or correct partial image) in which a partial image to be paired is not found as a mismatched portion Apply processing
  • the other configurations and processes of the test apparatus 100 according to the third embodiment are the same as the configurations and the processes of the test apparatus 100 according to the other embodiments.
  • the test apparatus 100 described in the present embodiment may be realized by a system including a plurality of devices connected via a network. That is, execution of the verification program, the correct answer program, and the target program by the test apparatus 100 may be executed by different devices. Further, the execution of the program, the image display, and the storage of the image file may be performed by different devices.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Artificial Intelligence (AREA)
  • Signal Processing (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Graphics (AREA)
  • Geometry (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • General Engineering & Computer Science (AREA)
  • Debugging And Monitoring (AREA)

Abstract

テスト対象となる対象プログラムの実行に応じて表示手段に表示された第１の画像を取得する第１の取得手段と、第１の画像に含まれ、正解画像に対応する部分画像を特定する第１の特定情報に基づいて、第１の画像から部分画像を対象画像として抽出する対象画像抽出手段と、対象画像と正解画像とが一致するか否かを判定する判定手段と、判定手段による判定結果を表示する表示処理手段とを有する。

Description

情報処理装置、情報処理方法及びプログラム
　本発明は、情報処理装置、情報処理方法及びプログラムに関する。
　近年ＧＵＩが充実してきており、コンピュータプログラムの実行結果を画像で出力する技術も知られている。また、従来から、コンピュータのシステム開発等に際して、システムが正常に動作するかどうか確認するためのテストが行われている。テストの実行には、テストのための準備、テストの実施、結果の確認等テスト管理者に負荷がかかるという問題があった。そこで、近年では、画像比較による簡易テストが行われるようになってきている。特許文献１には、画像比較によりコンピュータプログラムの実行結果を検証する技術が開示されている。特許文献１の技術では、コンピュータプログラムの実行により生成された２つの画像それぞれから指定されたマスク領域を除外した上で、画像比較が行われ、比較結果が表示される。
特開２００９－１３４４０６号公報
　しかしながら、テストの対象プログラムにより表示された画像中の部分画像と正解プログラムにより表示された画像中の部分画像が一致するものの、その表示位置が異なる場合も想定される。このような場合には、部分画像は一致するとみなし、プログラムは正常に動作していると判定したい場合もある。
　本発明はこのような問題点に鑑みなされたもので、画像の描画に係る記述を含むプログラムの検証を適切に実行することを目的とする。
　そこで、本発明は、情報処理装置であって、テスト対象となる対象プログラムの実行に応じて表示手段に表示された第１の画像を取得する第１の取得手段と、前記第１の画像に含まれ、正解画像に対応する部分画像を特定する第１の特定情報に基づいて、前記第１の画像から前記部分画像を対象画像として抽出する対象画像抽出手段と、前記対象画像と前記正解画像とが一致するか否かを判定する判定手段と、前記判定手段による判定結果を表示する表示処理手段とを有することを特徴とする。
　本発明によれば、画像の描画に係る記述を含むプログラムの検証を適切に実行することができる。
図１は、テスト装置のハードウェア構成を示す図である。 図２は、検証処理を示すフローチャートである。 図３は、正解プログラム及び対象プログラムの実行に係る処理の説明図である。 図４は、テスト結果の表示例を示す図である。 図５は、テスト結果の他の表示例を示す図である。 図６Ａは、エッジ検出を用いた場合の、テスト結果の表示例を示す図である。 図６Ｂは、エッジ検出を用いた場合の、テスト結果の表示例を示す図である。 図７は、判定条件の説明図である。 図８Ａは、判定条件の説明図である。 図８Ｂは、判定条件の説明図である。 図９は、判定条件の説明図である。 図１０Ａは、判定条件の説明図である。 図１０Ｂは、判定条件の説明図である。 図１１は、判定条件の説明図である。 図１２は、第２の実施形態に係る検証処理を示すフローチャートである。 図１３は、第３の実施形態に係る検証処理を示すフローチャートである。 図１４は、正解部分画像群と対象部分画像群の一例を示す図である。
　以下、本発明の実施形態について図面に基づいて説明する。
　本実施形態に係るテスト装置１００は、テスト対象のプログラムが正常に動作するか否かをテスト（検証）する装置である。以下、テスト対象プログラムを対象プログラムと称することとする。テスト装置１００は、対象プログラムに対して予め準備された正解プログラム及び対象プログラムそれぞれを実行し、各プログラムから得られた画像を比較する。この際、各プログラムから得られた画像全体で比較するのではなく、部分画像単位で画像比較を行うものとする。なお、テスト装置１００は、例えばバージョンアップ後のプログラムを対象プログラムとする場合には、バージョンアップ前のプログラムを正解プログラムとして利用することができる。なお、本実施形態に係るテスト装置１００がテスト対象とする対象プログラムと、これに対応する正解プログラムは、画像を表示する処理を含むものとする。
　図１は、情報処理装置としてのテスト装置１００のハードウェア構成を示す図である。テスト装置１００は、ＣＰＵ１０１と、ＲＯＭ１０２と、ＲＡＭ１０３と、ＨＤＤ１０４と、表示部１０５と、入力部１０６とを有している。ＣＰＵ１０１は、ＲＯＭ１０２に記憶された制御プログラムを読み出して各種処理を実行する。ＲＡＭ１０３は、ＣＰＵ１０１の主メモリ、一時記憶領域として用いられる。ＨＤＤ１０４は、画像データや各種プログラム等各種情報を記憶する。表示部１０５は、各種情報を表示する。入力部１０６は、キーボードやマウスを有し、ユーザによる各種操作を受け付ける。なお、後述するテスト装置１００の機能や処理は、ＣＰＵ１０１がＲＯＭ１０２又はＨＤＤ１０４に格納されているプログラムを読み出し、このプログラムを実行することにより実現されるものである。
　図２は、テスト装置１００による検証処理を示すフローチャートである。ここで、検証処理は、テスト装置１００のコンピュータが検証プログラムを実行することにより実現される処理である。Ｓ２００において、ＣＰＵ１０１は、対象プログラム及び正解プログラムの実行を開始する。なお、ＣＰＵ１０１は、例えば、入力部１０６を介して、ユーザから開始指示を受け付けた場合に、対象プログラム及び正解プログラムの実行を開始する。
　対象プログラム及び正解プログラムは、画像の描画に係る記述を含み、この記述に係る描画命令の実行は、ブラウザアプリケーション（以下、単にブラウザと称する）により行われる。すなわち、ＣＰＵ１０１は、対象プログラムを実行することにより、ブラウザを利用して、表示部１０５に画像を表示する。同様に、ＣＰＵ１０１は、正解プログラムを実行することにより、ブラウザを利用して、表示部１０５に画像を表示する。以下、対象プログラムを実行することにより描画、表示された画像を対象全体画像と称することとする。また、正解プログラムを実行することにより描画、表示された画像を正解全体画像と称することとする。なお、対象プログラム及び正解プログラムの実行タイミングは、特に限定されるものではなく、いずれか一方を先に実行してもよく、同時に実行してもよい。
　図３は、正解プログラム及び対象プログラムの実行に係る処理の説明図である。正解プログラム３００が実行されると、ブラウザは、正解プログラム３００中のＨＴＭＬテキスト３１０を解釈し、ＯＳ（オペレーションシステム）に描画命令を送る。これに対し、ＯＳがＨＴＭＬテキスト３１０に対応する画像、すなわち正解全体画像３２０を描画する。図３の例では、正解全体画像３２０は、部分画像３２１，３２２，３２３を含んでいる。ここで、部分画像３２１，３２２，３２３は、ＨＴＭＬテキスト３１０において、画像ＩＤ「００１」，「００２」,「００３」に対応付けられた記述３１１，３１２，３１３に対応して描画された画像である。
　同様に、対象プログラム３３０が実行されると、ブラウザは、対象プログラム３３０中のＨＴＭＬテキスト３４０を解釈し、ＯＳ（オペレーションシステム）に描画命令を送る。これに対し、ＯＳがＨＴＭＬテキスト３４０に対応する画像、すなわち対象全体画像３５０を描画する。図３の例では、対象全体画像３５０は、部分画像３５１，３５２，３５３を含んでいる。ここで、部分画像３５１，３５２，３５３は、ＨＴＭＬテキスト３４０において、画像ＩＤ「００１」，「００２」,「００３」に対応付けられた記述３４１，３４２，３４３に対応して描画された画像である。
　さらに、本実施形態においては、正解全体画像及び対象全体画像のうち、検証対象、すなわち比較対象となる部分画像は、検証プログラムにおいて、予め定義されているものとする。本実施形態においては、検証プログラムにおいて、検証対象の部分画像を特定するための情報、すなわち特定情報として、画像ＩＤが定義されている。これは、画像ＩＤに対応付けられた記述に従い描画された部分画像が検証対象として設定されていることを意味する。例えば、図３に示すように検証プログラムにおいて、画像ＩＤ「００１」，「００３」が定義されている場合には、正解全体画像中の部分画像３２１，３２３及び対象全体画像中の部分画像３５１，３５３がそれぞれ検証対象の部分画像となる。なお、以下、正解全体画像中の検証対象の部分画像を、正解部分画像と称することとし、対象全体画像中の検証対象の部分画像を、対象部分画像と称することとする。
　さらに、同一の画像ＩＤにより特定される正解部分画像と対象部分画像が比較対象、すなわち両画像が一致するか否かの判定対象の組となる。すなわち、図３の例では、正解部分画像３２１と、対象部分画像３５１が組となり、正解部分画像３２３と、対象部分画像３５３が組となる。なお、正解部分画像及び対象部分画像の画像単位は実施形態に限定されるものではない。例えば、部分画像３２１と部分画像３２２が合体した画像が１つの正解部分画像として検証プログラムにおいて定義されていてもよい。
　本実施形態においては、正解プログラム及び対象プログラムにおいて、正解部分画像と、この正解部分画像と同等となるはずの対象部分画像には、同一の画像ＩＤが割り当てられている場合を例に説明を行うが、異なる画像ＩＤが対応付けられた正解部分画像と対象部分画像を比較することにより検証を行う必要がある場合もある。この場合には、対象プログラムの作成者や検証者等が、検証プログラムにおいて、正解部分画像及び対象部分画像として異なる画像ＩＤを定義しておけばよい。なお、本実施形態においては、対象部分画像及び正解部分画像が比較対象となる画像であり、それぞれ対象画像及び正解画像の一例である。また、画像ＩＤは、画像を識別する識別子の一例である。
　図２に戻り、ＣＰＵ１０１は、Ｓ２００の処理の後、処理をＳ２０１へ進める。Ｓ２０１において、ＣＰＵ１０１は、表示部１０５に表示された正解全体画像のスクリーンショット及び対象全体画像のスクリーンショットをそれぞれ正解全体画像及び対象全体画像として取得する。
　次に、Ｓ２０２において、ＣＰＵ１０１は、正解全体画像から、検証プログラムにおいて定義されている画像ＩＤにより特定される部分画像を正解部分画像として抽出する（正解画像抽出処理）。同様に、ＣＰＵ１０１は、対象全体画像から、検証プログラムにおいて定義されている画像ＩＤにより特定される部分画像を対象部分画像として抽出する（対象画像抽出処理）。
　以下、正解全体画像から正解部分画像を抽出する処理について詳述する。ＣＰＵ１０１は、ブラウザに対し、画像ＩＤを指定して正解部分画像の位置及びサイズを問い合わせる。これに対し、ブラウザは、再び正解プログラムの描画命令を実行し、指定された画像ＩＤに対応付けられたＨＴＭＬテキストの記述に基づいて描画した領域の位置及びサイズを特定する。なお、ここで特定される位置及びサイズの座標系は、Ｓ２０１において取得したスクリーンショット上の位置及びサイズの座標系と一致するものとする。また、ブラウザは、正解部分画像の領域として、長方形又は正方形の領域を特定するものとする。そして、ブラウザは、特定した位置及びサイズを示す情報として、正解部分画像の領域の左上の頂点と、縦及び横の長さを示す情報をＣＰＵ１０１に返す。ＣＰＵ１０１は、ブラウザから受け取った位置及びサイズに基づいて、Ｓ２０１において取得した正解全体画像から正解部分画像を抽出する。
　例えば、図３の例では、ＣＰＵ１０１は、ブラウザに対し、画像ＩＤ「００１」、「００３」を指定した問い合わせを行い、ブラウザは、画像ＩＤ「００１」、「００３」に対応する正解プログラムの記述３１１、３１３に従い描画した部分画像３２１，３２３の領域を特定し、各部分画像３２１，３２３の領域の位置及びサイズを特定し、これをＣＰＵ１０１に返す。そして、ＣＰＵ１０１は、正解全体画像３２０から、部分画像３２１，３２３を抽出する。
　なお、正解部分画像の領域の位置及びサイズを示す情報は、実施形態に限定されるものではない。他の例としては、部分画像情報は、対頂点（２点）の位置を示す情報でもよい。また、ブラウザが正解部分画像を描画した領域として特定する領域の形状は、実施形態に限定されるものではない。他の例としては、ブラウザは、正解部分画像の領域として、円形や三角形の領域を特定してもよい。ブラウザは、円形の領域を特定した場合、その位置及びサイズを示す情報として、円の中心位置と半径を示す情報をＣＰＵ１０１に返せばよい。また、ブラウザは、三角形の領域を特定した場合、その位置及びサイズを示す情報として、３点の位置を示す情報をＣＰＵ１０１に返せばよい。
　以上、Ｓ２０２において正解全体画像から正解部分画像を抽出する処理について説明したが、対象全体画像から対象部分画像を抽出する処理は、正解全体画像から正解部分画像を抽出する処理と同様である。
　このように、ＣＰＵ１０１は、検証プログラムにおいて定義された画像ＩＤを検索キーとして、正解プログラムのＨＴＭＬテキストの記述のうち、画像ＩＤに対応付けられた記述に従い描画された部分画像（領域）を正解部分画像として抽出する。同様に、ＣＰＵ１０１は、検証プログラムにおいて定義された画像ＩＤを検索キーとして、対象プログラムのＨＴＭＬテキストの記述のうち、画像ＩＤに対応付けられた記述に従い描画された部分画像（領域）を対象部分画像として抽出する。したがって、テスト装置１００は、対象全体画像における対象部分画像の位置が正解全体画像における正解部分画像の位置と異なる場合においても、対応する部分画像同士を正しく抽出することができる。
　図２に戻り、Ｓ２０２の処理の後、Ｓ２０３においてＣＰＵ１０１は、Ｓ２０２において抽出された、同一の画像ＩＤに対応する対象部分画像と正解部分画像を組として１つ選択する。図３の例においては、例えば、正解部分画像３２１と、対象部分画像３５１とが組として選択される。次に、Ｓ２０４において、ＣＰＵ１０１は、Ｓ２０３において選択された対象部分画像と正解部分画像とを比較し、両画像が一致するか否かを判定する。そして、ＣＰＵ１０１は、両画像が一致する場合には（Ｓ２０４でＹｅｓ）、処理をＳ２０６へ進める。ＣＰＵ１０１は、両画像が一致しない場合には（Ｓ２０４でＮｏ）、処理をＳ２０５へ進める。
　ＣＰＵ１０１は、両画像の対応するピクセル毎の画素値をそれぞれ比較し、比較結果に基づいて、両画像が一致するか否かを判定する。ＣＰＵ１０１は、ピクセル毎の画素値の比較において、画素値の差分が閾値未満であれば、両ピクセルが一致すると判定し、対応するすべてのピクセルの画素値が一致する場合に両画像が一致すると判定する。画素値の差分がある程度生じていても、一致とみなしてもよいような場合もある。このような場合には、比較的大きい値を閾値として設定すればよい。このように、両画像を一致と判定するための基準は、ユーザが要求する結果に応じて、自由に設定することができる。
　また、他の例としては、ＣＰＵ１０１は、両画素が一致すると判定されたピクセル数が閾値以上の場合に、両画像が一致すると判定してもよい。また、他の例としては、ＣＰＵ１０１は、画素値の比較の前に、正解部分画像及び対象部分画像のノイズ除去を行ってもよい。
　Ｓ２０５において、ＣＰＵ１０１は、対象部分画像のうち正解部分画像に一致しない不一致部分に対し、強調処理を施す。同様に、ＣＰＵ１０１は、正解部分画像のうち対応する対象部分画像に一致しない不一致部分に対し強調処理を施す。本実施形態においては、ＣＰＵ１０１は、不一致部分を囲う強調枠を重畳表示する。但し、強調処理は、ユーザが不一致部分を容易に特定できるように、他の部分と区別可能な表示形態に変更するような処理であればよく、具体的な処理は、実施形態に限定されるものではない。強調表示の他の例としては、不一致部分の表示色を変更する処理が挙げられる。
　次に、Ｓ２０６において、ＣＰＵ１０１は、Ｓ２０２において抽出されたすべての対象部分画像と正解部分画像の組についてＳ２０４、Ｓ２０５の処理が完了しているか否かを確認する。ＣＰＵ１０１は、すべての組について処理が完了している場合には（Ｓ２０６でＹｅｓ）、処理をＳ２０７へ進める。ＣＰＵ１０１は、未処理の組が存在する場合には（Ｓ２０６でＮｏ）、処理をＳ２０３へ進める。この場合、Ｓ２０３において、ＣＰＵ１０１は、未処理の組を選択し、以降の処理を継続する。
　Ｓ２０７において、ＣＰＵ１０１は、判定結果をテスト結果として表示する（表示処理）。本実施形態においては、ＣＰＵ１０１は、不一致部分が検出された場合には、テスト結果として、強調処理後の対象全体画像及び正解全体画像を表示する。また、ＣＰＵ１０１は、不一致部分が検出されなかった場合には、テスト結果として、強調処理の行なわれていない、対象全体画像及び正解全体画像を表示する。なお、ＣＰＵ１０１は、Ｓ２０７において、対象部分画像における不一致部分をユーザが識別できる画像を表示できればよく、例えば、対象部分画像と正解部分画像のみを表示してもよい。また、他の例としては、ＣＰＵ１０１は、対象部分画像のみ、又は不一致部分を示す対象部分画像のみを表示してもよい。また、他の例としては、対象全体画像及び正解全体画像と共に、対象部分画像及び正解部分画像の両方を表示してもよい。
　図４は、テスト結果の表示例を示す図である。表示部１０５には、テスト結果を示すテスト結果画面４００が表示される。テスト結果画面４００の左側には、正解全体画像４１０が表示され、テスト結果画面４００の右側には、対象全体画像４２０が表示されている。図４の例においては、３か所の不一致部分が検出されており、各不一致部分には、強調枠が重畳表示されている。正解全体画像４１０中の強調枠４１１と、対象全体画像４２０の強調枠４２１は、対応する不一致部分に対して重畳されたものである。強調枠４１１，４２１に対応する領域においては、両画像間で＜／ｂｕｔｔｏｎ＞のフォントが異なっている。正解全体画像４１０には、他に強調枠４１２，４１３が表示され、対象全体画像４２０には、強調枠４１２，４１３それぞれに対応する強調枠４２２，４２３が表示されている。強調枠４１２，４２２に対応する領域においては、「ｃｏｎｔｅｎｔ内のボタン」の位置が異なっている。また、強調枠４１２に対応する領域中の「ｃｏｎｔｅｎｔの外のボタン」が強調枠４２２に対応する領域にはない点でも異なっている。また、強調枠４１３，４２３に対応する領域においては、強調枠４１３に対応する領域において「ここに」と表示されているのに対し、強調枠４２３に対応する領域において「こここ」と表示されている点で両画像が異なっている。このように、強調枠が表示されるので、ユーザは、不一致部分を容易に特定することができる。
　図５は、テスト結果の他の表示例を示す図である。表示部１０５には、テスト結果を示すテスト結果画面５００が表示される。テスト結果画面５００上には、ユーザ操作に応じて左右に移動可能なバー５０１が重畳表示されている。そして、バー５０１の右側には、対象全体画像５２０が表示され、バー５０１の左側には、正解全体画像５１０が表示される。図５の表示例においては、バー５０１を移動することにより、視線を移動させることなく、正解全体画像５１０と対象全体画像５２０の不一致の内容を確認することができる。なお、テスト結果画面５００においても、不一致部分には、強調枠が重畳表示されている。
　以上のように、本実施形態に係るテスト装置１００は、対象プログラムから得られた対象画像と正解画像との比較を、部分画像単位で行うことができる。したがって、正解全体画像における正解部分画像の位置と、対象全体画像における対象部分画像の位置が異なる場合であっても、正解部分画像と対象部分画像が一致している場合には、両画像は一致すると判定することができる。テストケースによっては、対応する正解部分画像と対象部分画像の画像同士が一致しさえすれば、位置がずれていても画像が一致すると判定したい場合もある。本実施形態においては、このようなケースにおいては、位置によらず、画像同士の比較により一致不一致の判定を行うことができる。
　本実施形態に係るテスト装置１００の第１の変更例としては、Ｓ２０４において、ＣＰＵ１０１は、画素値の比較に替えて、正解部分画像及び対象部分画像それぞれから検出されたエッジの比較を行ってもよい。具体的には、ＣＰＵ１０１は、対象部分画像及び正解部分画像それぞれにおいてエッジ検出を行い、２つのエッジ画像を得る。ここで、エッジ画像とは、画像から検出されたエッジを示す画像である。そして、ＣＰＵ１０１は、２つのエッジ画像を比較し、両画像が一致する場合に、対象部分画像と正解部分画像が一致すると判定すればよい。
　図６Ａ、図６Ｂは、エッジ検出を用いた場合の、テスト結果の表示例を示す図である。図６Ａ、図６Ｂに示すように、２つのエッジ画像を重畳表示する。これにより、２つのエッジ画像において、エッジが一致する部分は、１つのエッジ画像が表示され、エッジが一致しない部分は、それぞれのエッジ画像が表示されることとなる。したがって、ユーザは、不一致部分を容易に特定することができる。さらに、ＣＰＵ１０１は、一致部分のエッジの表示色を黒、不一致部分のうち正解全体画像のエッジの表示色を青、不一致部分のうち対象全体画像のエッジの表示色を赤としてもよい。これにより、一致部分と不一致部分をより明確に示すことができる。
　第３の変更例としては、検証プログラムにおいて、検証対象の正解部分画像及び対象部分画像の特定情報として、画像ＩＤにかえて、ＨＴＭＬテキストの構造における位置が定義されていてもよい。ここで、ＨＴＬＭテキストは構造化文書の一例である。この場合、ＣＰＵ１０１は、ＨＴＭＬテキストの構造における位置を指定して正解部分画像及び対象部分画像の位置及びサイズを問い合わせる。これに対し、ブラウザは、指定された位置の記述に基づいて描画した領域の位置及びサイズを特定する。そして、ブラウザは、特定した位置及びサイズを示す情報をＣＰＵ１０１に返せばよい。対象部分画像についても同様である。
　第４の変更例としては、ＣＰＵ１０１は、対象プログラムを実行する度に、対応する正解プログラムを実行しなくともよい。例えば、既に、正解プログラムが実行され、正解全体画像を取得し、正解部分画像を抽出している場合には、ＣＰＵ１０１は、検証処理においては、対象プログラムのみを実行し、対象全体画像の取得、対象部分画像の抽出を行えばよい。
　第５の変更例としては、対象部分画像と比較される画像は、部分画像に限定されるものではない。例えば、対象プログラムの実行により、特定の画像が表示できるか検証する場合においては、予め準備された特定の画像と、対象全体画像から抽出された対象部分画像とを比較すればよい。すなわち、この場合には、特定の画像（全体画像）が正解画像となる。
（第２の実施形態）
　次に、第２の実施形態に係るテスト装置１００について説明する。第２の実施形態に係るテスト装置１００は、対象部分画像と正解部分画像の比較において、両画像が一致すると判定するための判定条件を複数有し、対象部分画像毎に異なる判定条件に従い両画像の一致不一致を判定することができる。以下、第２の実施形態に係るテスト装置１００について、第１の実施形態に係るテスト装置１００と異なる点について説明する。
　まず、第２の実施形態に係るテスト装置１００が適用可能な判定条件について説明する。本実施形態に係るテスト装置１００は、以下に示す判定条件を対象部分画像に割り当てることができる。
　１つ目の判定条件は、第１の実施形態において説明したように、組となる対象部分画像と正解部分画像とが全体として一致した場合に、両画像が一致すると判定するものである。なお、第１の実施形態において説明したように、テスト装置１００は、一致と判定するための条件（例えば、一致と判定する画素値の差分の閾値等）が異なる判定条件も設定可能とする。
　２つ目の判定条件は、対象全体画像において、１つの対象部分画像がスクロール表示される場合に、スクロール表示により実現する対象部分画像全体と正解部分画像とを比較し、両画像が一致するか否かを判定するものである。図７は、２つ目の判定条件の説明図である。このように、対象部分画像が１つの対象全体画像から得られない場合には、ＣＰＵ１０１は、対象部分画像「ｃ」の一部である「ｃ１」が表示された対象全体画像７００から、「ｃ１」の部分を抽出する。また、ＣＰＵ１０１は、対象全体画像の「ｃ」の「ｃ１」以外の部分である「ｃ２」が表示された対象全体画像７１０から、「ｃ２」の部分を抽出する。そして、ＣＰＵ１０１は、抽出した部分を結合することにより、対象部分画像「ｃ」を得る。
　なお、正解全体画像において、１つの対象部分画像がスクロール表示されている場合、テスト装置１００は、スクロール表示により実現する正解画像全体と対象部分画像とを比較する判定条件も設定可能とする。また、正解全体画像及び対象全体画像がスクロール表示されている場合、テスト装置１００は、スクロール表示により実現する正解部分画像の全体と、対象部分画像の全体とを比較する判定条件も設定可能とする。
　３つ目の判定条件は、対象部分画像の一部と正解部分画像が一致する場合に、両画像が一致すると判定するものである。３つ目の判定条件の１つとしては、対象部分画像のうち下側の領域を除く領域と、対応する正解部分画像とが一致する場合に、両画像が一致すると判定するものがある。図８Ａ及び図８Ｂは、この判定条件の説明図である。このように、他の部分画像ｅが縦方向に拡大したのに伴い、対象部分画像「ｄ」が拡大したとする。この場合、対象部分画像「ｄ」は、領域８２０に描画され、その下の領域８２１は余白となることがある。この場合、ＣＰＵ１０１は、正解部分画像「Ｄ」と対象部分画像「ｄ」の各画素を上から順に比較し、正解部分画像「Ｄ」のすべての画素との比較が終わった時点で、両画像が一致するか否かを判定する。これにより、下側にサイズがわからない余白が生じた場合であっても、対象部分画像「ｄ」と正解部分画像「Ｄ」との比較により両画像が一致か否かを判定することができる。
　なお、テスト装置１００は、対象部分画像の上部、右側、左側に余白が生じる場合においても、これらの余白のサイズに関わらず、両画像が一致するか否かを判定するような判定条件も設定可能とする。
　また、逆に、正解部分画像に余白が含まれていたのに対し、対応する対象部分画像において、余白がなくなる場合がある。このような場合に対応し、ＣＰＵ１０１は、正解部分画像の上部、右側、左側に余白が生じる場合においても、これらの余白のサイズに関わらず、両画像が一致するか否かを判定するような判定条件も設定可能とする。
　４つ目の判定条件は、２つの対象部分画像の間の余白のサイズが変化している場合に、余白を除いた上で２つの対象部分画像を対応する正解部分画像と比較し、一致か否かを判定するものである。図９は、４つ目の判定条件の説明図である。正解全体画像９００中の正解部分画像「Ｆ」と「Ｇ」の間の余白が対象全体画像９１０において、正解部分画像「Ｈ」から対象部分画像「ｈ」に拡大したのに伴い、正解部分画像「Ｆ」と「Ｇ」の間の余白９０１が余白９１１に拡大したとする。この場合においても、テスト装置１００は、余白を除いた（トリミングした）上で、正解部分画像「Ｆ」と「Ｇ」の画像と、対象部分画像「ｆ」と「ｇ」の画像とを比較する。これにより、余白を無視した一致判定を行うことができる。
　５つ目の判定条件は、正解部分画像と対象部分画像の一部の領域が不一致であっても両画像が一致すると判定するものである。図１０Ａ及び図１０Ｂは、５つ目の判定条件の説明図である。正解部分画像１０００の領域「Ｊ」と、これに対応する対象部分画像の１０１０の領域「ｊ」には、例えばログイン日時等、プログラム実行毎に異なる情報が表示されるとする。この場合、ＣＰＵ１０１は、これら領域「Ｊ」と領域「ｊ」をマスク領域として、マスク領域以外の正解部分画像「Ｉ」と対象部分画像「ｉ」とが一致した場合に、両画像が一致と判定する。なお、マスク領域は、対象部分画像等と同様に、プログラムにおいて画像ＩＤに対応付けられているものとする。したがって、ＣＰＵ１０１は、ブラウザに問い合わせることにより、マスク領域を特定することができる。なお、他の例としては、ＣＰＵ１０１は、マスク領域「Ｊ」，「ｊ」の画素をすべて黒画素とするなど等しい画素とした上で、マスク領域を含む正解部分画像「Ｉ」と対象部分画像「ｉ」との一致判定を行ってもよい。
　６つ目の判定条件は、マスク領域のサイズが変化している場合においても、マスク領域を除いた上で、対象部分画像と正解部分画像とを比較するものである。図１１は、６つ目の判定条件の説明図である。正解全体画像１１００の正解部分画像「Ｋ」のマスク領域「Ｌ」に対応する、対象全体画像１１１０のマスク領域「ｌ」が部分画像「ｍ」の縦方向への拡大に伴い拡大したとする。この場合においても、テスト装置１００は、正解部分画像「Ｋ」からマスク領域「Ｌ」を除いた部分と、対象部分画像「ｋ」からマスク領域「ｌ」を除いた部分とを比較する。これにより、マスク領域を無視した一致判定を行うことができる。テスト装置１００は、上述のようにマスク領域についても、画像ＩＤをキーとしてその領域を特定するため、このように、マスク領域のサイズが変化した場合であっても、サイズ変化後のマスク領域を正しく特定することができる。
　本実施形態に係るテスト装置１００においては、対象部分画像に対し、対象全体画像単位で、上述の判定条件のうち一の判定条件を設定することができる。また、テスト装置１００は、対象全体画像に含まれる複数の対象部分画像それぞれに対し、異なる判定条件を設定することができる。なお、検証処理の実行前に、既に各対象部分画像への判定条件の設定が完了しているものとする。また、各対象部分画像への判定条件の設定は、例えば、ユーザ操作に応じて、ＣＰＵ１０１が、画像ＩＤに対応付けて判定条件を例えばＲＯＭ１０２に記録することにより行われる。また、他の例としては、検証プログラムにおいて、検証対象の特定情報としての画像ＩＤに対応付けて判定条件が定義されていてもよい。
　図１２は、第２の実施形態に係るテスト装置１００による検証処理を示すフローチャートである。なお、第１の実施形態に係る検証処理（図２）の各処理と同一の処理には同一の番号を付している。Ｓ２０３において、部分画像の組を選択した後、ＣＰＵ１０１は、処理をＳ１２００へ進める。そして、Ｓ１２００において、ＣＰＵ１０１は、選択された対象部分画像に対して設定されている判定条件を特定する。その後、ＣＰＵ１０１は、処理をＳ２０４に進める。そして、Ｓ２０４において、ＣＰＵ１０１は、Ｓ１２００において特定された判定条件に従い、両画像が一致するか否かを判定する。なお、第２の実施形態に係るテスト装置１００のこれ以外の構成及び処理は、第１の実施形態に係るテスト装置１００の構成及び処理と同様である。以上のように、第２の実施形態に係るＣＰＵ１０１は、複数の対象部分画像それぞれを異なる判定条件に従い、正解部分画像と一致するか否かを判定することができる。
（第３の実施形態）
　次に、第３の実施形態に係るテスト装置１００について説明する。第３の実施形態に係るテスト装置１００において実行される検証プログラムにおいては、検証対象の特定情報として、クラスが定義されている。そして、ＣＰＵ１０１は、対象プログラムのＨＴＭＬテキストの記述のうち、検証プログラムにおいて定義されたクラスに対応付けられた記述に従い描画された複数の正解部分画像からなる正解部分画像群を抽出する。同様に、ＣＰＵ１０１は、対象プログラムのＴＨＭＬテキストの記述のうち、検証プログラムにおいて定義されたクラスに対応付けられた記述に従い描画された複数の対象部分画像からなる対象部分画像群を抽出する。ここで、クラスは、属性の一例である。以下、第３の実施形態に係るテスト装置１００について、他の実施形態に係るテスト装置１００と異なる点について説明する。
　図１３は、第３の実施形態に係るテスト装置１００による検証処理を示すフローチャートである。なお、第１の実施形態に係る検証処理（図２）の各処理と同一の処理には同一の番号を付している。Ｓ２０１の処理の後、ＣＰＵ１０１は、処理をＳ１３００へ進める。Ｓ１３００において、ＣＰＵ１０１は、正解全体画像から、予め定められたクラスにより特定される部分画像を正解部分画像として抽出する。ＣＰＵ１０１はまた、正解部分画像を抽出する際に参照したクラスと同一のクラスにより特定される部分画像を対象部分画像として対象全体画像から抽出する。
　次に、Ｓ１３０１において、ＣＰＵ１０１は、Ｓ１３００において抽出された各対象部分画像とＳ１３００において抽出された正解部分画像とを比較することにより、各対象部分画像と対になる正解部分画像を特定する。ＣＰＵ１０１は、Ｓ１３００において抽出したすべての対象部分画像と正解部分画像が対になったか否かを確認する。ＣＰＵ１０１は、正解部分画像を全探索することにより、各対象部分画像と対になる正解部分画像を検出する。
　例えば、図１４に示すように、正解全体画像１４００から、正解部分画像「Ｎ」、「Ｏ」、「Ｐ」を含む正解部分画像群が抽出され、対象全体画像１４１０から、対象部分画像「ｎ」、「ｐ」、「ｏ」を含む対象部分画像群が抽出されたとする。この場合、ＣＰＵ１０１は、まず対象部分画像「ｐ」と対になる正解部分画像を検索する。すなわち、ＣＰＵ１０１は、３つの正解部分画像のうち一の部分画像を選択する。例えば、正解部分画像「Ｎ」を選択した場合、ＣＰＵ１０１は、対象部分画像「ｐ」と正解部分画像「Ｎ」とを比較する。両画像が一致しない場合、ＣＰＵ１０１は、正解部分画像「Ｏ」を選択し、再び両画像が一致しない場合、正解部分画像「Ｐ」を選択する。そして、ＣＰＵ１０１は、対象部分画像「ｐ」と正解部分画像「Ｐ」が一致すると、両画像が対になると判断する。同様の処理により、ＣＰＵ１０１は、対象部分画像「ｏ」、「ｎ」と対になる正解部分画像を検索する。
　ＣＰＵ１０１は、Ｓ１３００において抽出されたすべての対象部分画像及び正解部分画像が対になった場合には（Ｓ１３０１でＹｅｓ）、処理をＳ１３０３へ進める。ＣＰＵ１０１は、対にならない対象部分画像及び対にならない正解部分画像の少なくとも一方が存在する場合は（Ｓ１３０１でＮｏ）、処理をＳ１３０２へ進める。ここで、対にならない場合とは、対象部分画像と正解部分画像の一部又は全部が一致しない場合と、対象部分画像と正解部分画像の数が一致せず、対応する部分画像（対象部分画像又は正解部分画像）が存在しない場合が挙げられる。
　Ｓ１３０２において、ＣＰＵ１０１は、不一致部分に強調処理を施す。例えば、対象部分画像と正解部分画像の一部又は全部が一致しない場合には、ＣＰＵ１０１は、一致しない部分又は画像全体を不一致部分とし、この部分に強調処理を施す。また、対象部分画像と正解部分画像の数が一致しない場合には、ＣＰＵ１０１は、対になる部分画像が見つからなかった部分画像（対象部分画像又は正解部分画像）を不一致部分とし、この部分に強調処理を施す。なお、第３の実施形態に係るテスト装置１００のこれ以外の構成及び処理は、他の実施形態に係るテスト装置１００の構成及び処理と同様である。
　なお、本実施形態において説明したテスト装置１００は、ネットワークを介して接続された複数の装置からなるシステムにより実現されてもよい。すなわち、テスト装置１００による検証プログラム、正解プログラム及び対象プログラムの実行は、それぞれ異なる装置により実行されていてもよい。また、プログラムの実行、画像表示、画像ファイルの保存は、それぞれ異なる装置により行われてもよい。
　以上、上述した各実施形態によれば、画像の描画に係る記述を含むプログラムの検証を適切に実行することができる。
　以上、本発明の好ましい実施形態について詳述したが、本発明は係る特定の実施形態に限定されるものではなく、特許請求の範囲に記載された本発明の要旨の範囲内において、種々の変形・変更が可能である。

Claims (12)

  1. 　テスト対象となる対象プログラムの実行に応じて表示手段に表示された第１の画像を取得する第１の取得手段と、
    　前記第１の画像に含まれ、正解画像に対応する部分画像を特定する第１の特定情報に基づいて、前記第１の画像から前記部分画像を対象画像として抽出する対象画像抽出手段と、
    　前記対象画像と前記正解画像とが一致するか否かを判定する判定手段と、
    　前記判定手段による判定結果を表示する表示処理手段と
    を有することを特徴とする情報処理装置。
  2. 　正解プログラムの実行に応じて前記表示手段に表示された第２の画像を取得する第２の取得手段と、
    　前記第２の画像の部分画像を特定する第２の特定情報に基づいて、前記第２の画像から前記部分画像を正解画像として抽出する正解画像抽出手段と
    をさらに有することを特徴とする請求項１に記載の情報処理装置。
  3. 　前記対象画像抽出手段は、前記対象プログラムにおいて前記第１の特定情報としての第１の識別子に対応付けられた記述に従い描画された部分画像を前記対象画像として抽出し、
    　前記正解画像抽出手段は、前記正解プログラムにおいて前記第２の特定情報としての第２の識別子に対応付けられた記述に従い描画された部分画像を前記正解画像として抽出することを特徴とする請求項２に記載の情報処理装置。
  4. 　前記対象画像抽出手段は、前記対象プログラムにおいて前記第１の特定情報としての属性に対応付けられた記述に従い描画された部分画像を前記対象画像として抽出し、
    　前記正解画像抽出手段は、前記正解プログラムにおいて前記第２の特定情報としての属性に対応付けられた記述に従い描画された部分画像を前記正解画像として抽出することを特徴とする請求項２に記載の情報処理装置。
  5. 　前記第１の特定情報は、前記対象プログラム中の構造化文書の位置を示す情報であり、
    　前記第２の特定情報は、前記正解プログラム中の構造化文書の位置を示す情報であり、
    　前記対象画像抽出手段は、前記第１の特定情報により特定される記述に従い描画された部分画像を前記対象画像として抽出し、
    　前記正解画像抽出手段は、前記第２の特定情報により特定される記述に従い描画された部分画像を前記正解画像として抽出することを特徴とする請求項２に記載の情報処理装置。
  6. 　前記判定手段は、前記対象画像と前記正解画像の各画素の比較結果に基づいて、前記対象画像と前記正解画像とが一致するか否かを判定することを特徴とする請求項１乃至５何れか１項に記載の情報処理装置。
  7. 　前記判定手段は、前記対象画像から検出されたエッジと前記正解画像から検出されたエッジの比較結果に基づいて、前記対象画像と前記正解画像とが一致するか否かを判定することを特徴とする請求項１乃至５何れか１項に記載の情報処理装置。
  8. 　前記判定手段は、前記対象画像の一部と前記正解画像とが一致する場合に、前記対象画像と前記正解画像とが一致すると判定することを特徴とする請求項１乃至７何れか１項に記載の情報処理装置。
  9. 　前記判定手段は、前記対象画像のうち一部を除いた領域と、前記正解画像のうち一部を除いた領域が一致する場合に、前記対象画像と前記正解画像とが一致すると判定することを特徴とする請求項１乃至７何れか１項に記載の情報処理装置。
  10. 　前記判定手段は、複数の対象画像それぞれに対して予め設定された異なる判定条件に従い、各対象画像と正解画像とが一致するか否かを判定することを特徴とする請求項１乃至５何れか１項に記載の情報処理装置。
  11. 　情報処理装置が実行する情報処理方法であって、
    　テスト対象となる対象プログラムの実行に応じて表示手段に表示された第１の画像を取得する第１の取得ステップと、
    　前記第１の画像に含まれ、正解画像に対応する部分画像を特定する第１の特定情報に基づいて、前記第１の画像から前記部分画像を対象画像として抽出する対象画像抽出ステップと、
    　前記対象画像と前記正解画像とが一致するか否かを判定する判定ステップと、
    　前記判定ステップにおける判定結果を表示する表示処理ステップと
    を含むことを特徴とする情報処理方法。
  12. 　コンピュータを、
    　テスト対象となる対象プログラムの実行に応じて表示手段に表示された第１の画像を取得する第１の取得手段と、
    　前記第１の画像に含まれ、正解画像に対応する部分画像を特定する第１の特定情報に基づいて、前記第１の画像から前記部分画像を対象画像として抽出する対象画像抽出手段と、
    　前記対象画像と前記正解画像とが一致するか否かを判定する判定手段と、
    　前記判定手段による判定結果を表示する表示処理手段と
    して機能させるためのプログラム。
PCT/JP2016/065978 2015-06-03 2016-05-31 情報処理装置、情報処理方法及びプログラム WO2016194889A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
SG11201709992UA SG11201709992UA (en) 2015-06-03 2016-05-31 Information processing device, information processing method, and program
US15/579,537 US10491756B2 (en) 2015-06-03 2016-05-31 Information processing apparatus, information processing method, and non-transitory computer readable recording medium
CN201680032178.1A CN107615251B (zh) 2015-06-03 2016-05-31 信息处理装置、信息处理方法及存储介质

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2015-113338 2015-06-03
JP2015113338A JP6491959B2 (ja) 2015-06-03 2015-06-03 情報処理装置、情報処理方法及びプログラム

Publications (1)

Publication Number Publication Date
WO2016194889A1 true WO2016194889A1 (ja) 2016-12-08

Family

ID=57440229

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2016/065978 WO2016194889A1 (ja) 2015-06-03 2016-05-31 情報処理装置、情報処理方法及びプログラム

Country Status (5)

Country Link
US (1) US10491756B2 (ja)
JP (1) JP6491959B2 (ja)
CN (1) CN107615251B (ja)
SG (1) SG11201709992UA (ja)
WO (1) WO2016194889A1 (ja)

Families Citing this family (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180068578A (ko) 2016-12-14 2018-06-22 삼성전자주식회사 복수의 센서를 이용하여 객체를 인식하는 전자 기기 및 방법
JP6514244B2 (ja) * 2017-01-18 2019-05-15 日本電信電話株式会社 差異検出装置及びプログラム
JP6535038B2 (ja) * 2017-01-18 2019-06-26 日本電信電話株式会社 画面判定装置、画面判定方法及びプログラム
JP6718473B2 (ja) * 2017-12-05 2020-07-08 日本電信電話株式会社 画面差異抽出装置及びプログラム
US10909024B2 (en) * 2018-04-19 2021-02-02 Think Research Corporation System and method for testing electronic visual user interface outputs
CN108536605B (zh) * 2018-04-19 2021-08-10 广州慧通编程教育科技有限公司 自动测试绘图程序的方法、装置以及系统
JPWO2020202337A1 (ja) * 2019-03-29 2021-12-23 三菱電機株式会社 画像生成装置、テストシステム、画像生成方法及びプログラム
JP6656664B1 (ja) * 2019-05-15 2020-03-04 モリカトロン株式会社 表示誤り検出支援プログラム、表示誤り検出支援方法、および、表示誤り検出支援装置
JP6802320B2 (ja) * 2019-05-16 2020-12-16 メタウォーター株式会社 情報処理システム、情報処理装置、プログラム、及び情報処理方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273168A (ja) * 2000-03-24 2001-10-05 Hitachi Information Systems Ltd ソフトウエア自動テストシステム
JP2005266954A (ja) * 2004-03-16 2005-09-29 Hitachi Software Eng Co Ltd 操作情報記録・再生装置
JP2011076152A (ja) * 2009-09-29 2011-04-14 Hitachi Solutions Ltd キャプチャシステム

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6647139B1 (en) * 1999-02-18 2003-11-11 Matsushita Electric Industrial Co., Ltd. Method of object recognition, apparatus of the same and recording medium therefor
JP2000253337A (ja) * 1999-02-24 2000-09-14 Sony Corp 画面の制御方法および画面の制御装置および映像再生方法および映像再生装置および映像情報の記録方法および映像情報の記録装置およびコンピュータが読み取り可能な記録媒体
US7076491B2 (en) * 2001-11-09 2006-07-11 Wuxi Evermore Upward and downward compatible data processing system
CA2491727A1 (en) * 2002-07-10 2004-01-22 Nec Corporation Image matching system using 3-dimensional object model, image matching method, and image matching program
CN102298778B (zh) * 2003-10-30 2015-06-17 日本电气株式会社 用于估计对象状态的估计系统、估计方法和估计程序
KR100727938B1 (ko) * 2005-06-08 2007-06-14 삼성전자주식회사 화상형성 방지 문서의 검출장치 및 방법
US20070140529A1 (en) * 2005-12-21 2007-06-21 Fujifilm Corporation Method and device for calculating motion vector between two images and program of calculating motion vector between two images
JP2009008807A (ja) * 2007-06-27 2009-01-15 Sharp Corp 画像比較装置、プログラム及び画像比較方法
US9239958B2 (en) 2007-11-09 2016-01-19 The Nielsen Company (Us), Llc Methods and apparatus to measure brand exposure in media streams
JP2009134406A (ja) * 2007-11-29 2009-06-18 Nomura Research Institute Ltd コンピュータプログラムの実行結果を検証するためのテスト装置及び方法
JP5975281B2 (ja) * 2012-09-06 2016-08-23 カシオ計算機株式会社 画像処理装置及びプログラム
US9152872B2 (en) 2012-11-12 2015-10-06 Accenture Global Services Limited User experience analysis system to analyze events in a computer desktop
JP6128204B2 (ja) * 2013-02-26 2017-05-17 日本電気株式会社 診断支援システム、診断支援方法及びそのプログラム
CN103365967B (zh) * 2013-06-21 2017-02-08 百度在线网络技术（北京）有限公司 一种基于爬虫的自动化差异检测方法及装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001273168A (ja) * 2000-03-24 2001-10-05 Hitachi Information Systems Ltd ソフトウエア自動テストシステム
JP2005266954A (ja) * 2004-03-16 2005-09-29 Hitachi Software Eng Co Ltd 操作情報記録・再生装置
JP2011076152A (ja) * 2009-09-29 2011-04-14 Hitachi Solutions Ltd キャプチャシステム

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
SHIN'YA KASATANI: "Test o Jidoka suru Chumoku no Tool Selenium Komamena Test ga Bug Soki Hakken no Kimete ni", NIKKEI SOFTWARE, vol. 10, no. 4, 24 February 2007 (2007-02-24), pages 70 - 79, ISSN: 1347-4685 *

Also Published As

Publication number Publication date
US10491756B2 (en) 2019-11-26
CN107615251A (zh) 2018-01-19
US20180159988A1 (en) 2018-06-07
JP6491959B2 (ja) 2019-03-27
CN107615251B (zh) 2020-11-10
SG11201709992UA (en) 2017-12-28
JP2016224868A (ja) 2016-12-28

Similar Documents

Publication Publication Date Title
WO2016194889A1 (ja) 情報処理装置、情報処理方法及びプログラム
CN108664364B (zh) 一种终端测试方法及装置
BR112016017262B1 (pt) Método para busca de objeto e terminal acoplado de forma comunicativa a um servidor.
US20160266731A1 (en) Method, apparatus, and storage medium for playing control processing of audio file
WO2016139964A1 (ja) 注目領域抽出装置および注目領域抽出方法
JP5436104B2 (ja) 画像検索装置及び画像検索方法
KR101462473B1 (ko) 이미지상의 객체 인식을 통한 검색방법 및 그 검색방법에 의한 검색서버
CN112445693A (zh) 一种页面更新检测方法、装置、设备及存储介质
US9600495B2 (en) Image search system, image search method, image search device, program, and information recording medium
Mozgovoy et al. Using image recognition for testing hand-drawn graphic user interfaces
US20180336243A1 (en) Image Search Method, Apparatus and Storage Medium
CN106910207B (zh) 用于识别图像局部区域的方法、装置及终端设备
KR102259704B1 (ko) 특징점 간 삼각형 닮음 조건 기반 영상 유사도 평가 알고리즘
JP2018160003A (ja) 画面差異検出装置及びプログラム
JP6476145B2 (ja) 画面差異合否判定装置、画面差異合否判定方法、及びプログラム
JP2018055256A (ja) 情報処理装置、情報処理方法及びプログラム
JP6446945B2 (ja) 非互換検出装置、非互換検出方法、及びプログラム
US9772768B2 (en) Touch page control method and system
JP6608719B2 (ja) 画面差異抽出装置、画面差異抽出方法、及びプログラム
JP6619891B2 (ja) 画面試験装置および画面試験プログラム
JP6476144B2 (ja) 画面差異確認支援装置、画面差異確認支援方法、及びプログラム
JP6476147B2 (ja) 画面差異抽出装置、画面差異抽出方法、及びプログラム
KR101635054B1 (ko) 복수의 단말을 일괄적으로 제어하는 단말 제어 방법
KR20190001873A (ko) 객체 탐지 및 추적 장치 및 그 방법
JP4609936B2 (ja) オブジェクト検出方式

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16803323

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 11201709992U

Country of ref document: SG

WWE Wipo information: entry into national phase

Ref document number: 15579537

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 16803323

Country of ref document: EP

Kind code of ref document: A1