WO2012111387A1 - 試験装置 - Google Patents

試験装置 Download PDF

Info

Publication number
WO2012111387A1
WO2012111387A1 PCT/JP2012/051355 JP2012051355W WO2012111387A1 WO 2012111387 A1 WO2012111387 A1 WO 2012111387A1 JP 2012051355 W JP2012051355 W JP 2012051355W WO 2012111387 A1 WO2012111387 A1 WO 2012111387A1
Authority
WO
WIPO (PCT)
Prior art keywords
scenario
execution
unit
executed
determination unit
Prior art date
Application number
PCT/JP2012/051355
Other languages
English (en)
French (fr)
Inventor
浅野　浩一
辻　宏幸
Original Assignee
株式会社 エヌ・ティ・ティ・ドコモ
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社 エヌ・ティ・ティ・ドコモ filed Critical 株式会社 エヌ・ティ・ティ・ドコモ
Priority to EP12746751.2A priority Critical patent/EP2642394B1/en
Priority to CN201280005464.0A priority patent/CN103329108B/zh
Priority to US13/997,280 priority patent/US9280451B2/en
Publication of WO2012111387A1 publication Critical patent/WO2012111387A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3684—Test management for test design, e.g. generating new test cases
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3692—Test management for test results analysis
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/24—Arrangements for testing

Definitions

  • the present invention relates to a mobile terminal test apparatus.
  • the operation procedure has become complicated due to the advanced functionality of mobile terminals.
  • the number of operations for executing a certain function is also increasing.
  • the capacity of software to be stored in the mobile terminal is also increasing.
  • the number of defects is also increasing.
  • an evaluation method using an automatic evaluation tool is known.
  • a predetermined operation procedure is incorporated in the software installed in the mobile terminal to be evaluated as one of the operation methods of the software. Needed.
  • the user needs to be able to use a desired function by pressing a menu button or a numeric keypad.
  • the method of evaluation using the automatic evaluation tool includes a functional method and a random method.
  • a specific function of the mobile terminal is evaluated by a predetermined operation procedure. By evaluating a specific function, it is possible to confirm that the specific function of the software installed in the mobile terminal functions correctly as required.
  • the function to be evaluated is not specified. Instead, the computer randomly generates an operation to be evaluated. By generating an operation to be a random evaluation target by the computer, it can be confirmed that the software installed in the mobile terminal continues to operate correctly. For example, an unexpected operation procedure is generated (as much as possible) in the software installed in the mobile terminal. By generating an unexpected operation procedure, it is possible to detect a software defect or the like.
  • Patent Document 1 For example, a method for evaluating software installed in a mobile terminal is known (for example, see Patent Document 1).
  • keys to be operated randomly are generated. Since keys to be randomly generated are generated, there is a possibility that a procedure for operating a specific function of software to be evaluated cannot be correctly executed as expected.
  • Failure detection is possible by evaluating the mobile terminal for a certain period of time using the random method. However, it is difficult to solve the above problems.
  • the present invention has been made in view of the above-described problems, and an object thereof is to efficiently evaluate the function of software installed in a mobile terminal.
  • a test device for evaluating the operation of software installed in a mobile terminal A scenario selection unit for selecting a scenario including information for causing a mobile terminal to execute a function to be operated; A scenario execution determination unit that determines whether the scenario selected by the scenario selection unit can be executed; A scenario execution unit that executes a scenario determined to be executable by the scenario execution determination unit; A scenario execution result determination unit for determining whether or not the execution result of the scenario executed by the scenario execution unit is the same as a result assumed in advance;
  • the scenario execution determination unit is configured to determine whether or not the scenario selected by the scenario selection unit can be executed based on the execution result of the scenario executed by the scenario execution unit in the past. Is provided.
  • the automatic evaluation tool according to the present embodiment is mounted on a PC (Personal Computer) or the like. Moreover, you may mount in the apparatus for testing the software mounted in the mobile terminal.
  • PC Personal Computer
  • the PC functions as the test apparatus 100 of the mobile terminal.
  • the test apparatus 100 randomly generates a target function, determines whether a scenario corresponding to the function can be executed, and automatically omits a scenario that cannot be executed from the test items based on the determination result. The test is performed efficiently.
  • FIG. 1 shows an example of a test apparatus 100 in which an automatic evaluation tool according to this embodiment is stored.
  • the test apparatus 100 includes a central processing unit (CPU: “Central Processing Unit”) 102, a storage unit 104, an input unit 106, and an output unit 108.
  • CPU central processing unit
  • the CPU 102, the storage unit 104, the input unit 106, and the output unit 108 are connected by a bus 150.
  • the CPU 102 controls the storage unit 104, the input unit 106, and the output unit 108.
  • the CPU 102 functions in accordance with a program stored in the storage unit 104 and performs predetermined processing.
  • the storage unit 104 stores an application, an operating system (OS: Operating System), and an automatic evaluation tool.
  • OS Operating System
  • the storage unit 104 is an external storage device that stores data and programs in a computer.
  • hard disk hard disk, fixed disk
  • floppy disk floppy disk
  • MO Magnetic-Optical disk
  • CD-R Compact Disk Recordable
  • the application is software having a function of performing a work executed by the user on the test apparatus 100.
  • the application includes a word processor, spreadsheet software, database management system (DBMS: Data Base Management System), media player, and the like.
  • the operating system is software that provides the application software with an interface that abstracts hardware in the test apparatus 100.
  • the automatic evaluation tool is a tool for evaluating at least one of the quality and function of the software by operating the software installed in the mobile terminal by operating the mobile terminal instead of the user. is there.
  • the input unit 106 includes, for example, a keyboard and a mouse, and inputs instructions and data to the test apparatus 100.
  • the instruction includes an instruction for an operating system, an application, and an automatic evaluation tool.
  • the output unit 108 is configured by a display, for example, and displays the processing state and processing result by the test apparatus 100.
  • the processing state and the processing result include an operating system, an application, and an automatic evaluation tool.
  • the display includes a liquid crystal display, a CRT (Cathode Ray Tube) display, a plasma (PDP) display, an organic EL (Electro-Luminescence) display, and the like.
  • FIG. 2 shows a configuration example of an evaluation system for evaluating software installed in the mobile terminal 200.
  • the mobile terminal 200 and the test apparatus 100 are connected. For example, it may be connected by a cable (not shown).
  • the mobile terminal 200 preferably has a user interface (UI) for accepting a user operation by the input unit.
  • the input unit includes a numeric keypad.
  • the mobile terminal 200 may be a handset type or a headset type.
  • the mobile terminal 200 does not necessarily need an input unit as long as the internal operation can be changed by an electrical signal, for example.
  • the mobile terminal 200 may be a card type or a module type.
  • the test system is also provided with a camera 300 for photographing the display unit of the mobile terminal 200.
  • the camera 300 captures at least one of an image displayed on the display unit of the mobile terminal 200 and a moving image. At least one of the image on the display unit and the moving image captured by the camera 300 is input to the test apparatus 100.
  • the camera 300 and the test apparatus 100 are connected by a cable (not shown), and at least one of an image and a moving image is transmitted and received between the camera 300 and the test apparatus 100 via the cable. It may be done.
  • FIG. 3 shows a configuration example of the automatic evaluation tool.
  • the automatic evaluation tool has a key operation driver.
  • the key operation driver is software for providing an interface with the mobile terminal 200 to the CPU 102 functioning as an operating system.
  • the automatic evaluation tool has an automatic evaluation engine.
  • the automatic evaluation engine is software for causing the CPU 102 functioning as an automatic evaluation tool to execute a function of evaluating software installed in the mobile terminal 200.
  • the automatic evaluation tool has OCR (Optical Character Reader).
  • OCR optical Character Reader
  • the OCR optically reads a character from an image photographed by the camera 300 and specifies the character by collating it with a previously stored pattern.
  • the OCR may identify characters by optically reading characters from a moving image photographed by the camera 300 and comparing them with a pattern stored in advance.
  • the automatic evaluation tool has a test scenario.
  • the test scenario represents an operation procedure to be executed by the mobile terminal 200 when the target function is evaluated by the automatic evaluation tool.
  • the test scenario is created by executing an automatic evaluation tool.
  • FIG. 4 is a diagram showing an example of a test scenario.
  • FIG. 4 shows two functions (function 1 and function 2) as an example.
  • a name (function name) for defining the scenario is created. For example, “function 1” and “function 2” are created as function names. Further, for each function, “operation” representing a key for executing the function and “command” representing the flow of the key are described. For example, for a function whose function name is represented by “function 1”, information indicating the key to be operated (“operation 1”... “Operation n”) and the operation order of the key to be operated are indicated. Instructions for control (“instruction 1”... “Instruction m”) are included. The function whose function name is represented by “function 2” includes information indicating the key to be operated (“operation 1”... “Operation x”) and the operation order of the key to be operated. Instructions for control (“instruction 1”... “Instruction y”) are included.
  • one function may be defined by grouping a plurality of functions. For example, a plurality of functions to be evaluated may be collectively defined as one new function.
  • FIG. 5 shows an example in which a new function is defined as one function by combining a plurality of functions.
  • a plurality of functions (“function X”, “function Y”... “Function Z”) are combined to define a new function as one function (“function 1”).
  • functions (“function X”, “function Y”... “Function Z”) are nested in “function 1”.
  • ⁇ Scenario management information> The scenario management information that should be managed by the automatic evaluation tool is explained.
  • the automatic evaluation engine registers scenario management information in advance.
  • FIG. 6 shows an example of scenario management information stored in the storage unit 104.
  • the scenario definition name shown in FIG. 6 stores the scenario definition name.
  • the scenario definition name stores at least one of the function described with reference to FIG. 4 and the function described with reference to FIG.
  • the scenario management information stores the function hierarchy, input parameters, importance, and operation contents corresponding to the stored scenario definition name.
  • the function hierarchy represents an operation procedure for executing a function, and represents each operation procedure with a numerical value.
  • “function 2” related to the call origination is stored as the scenario definition name, and the function hierarchy, input parameters, importance, and operation contents corresponding to the “function 2” are respectively “1-2-3-4”. ”,“ 03-1234-5678 ”,“ 2 ”, and“ voice transmission ”are stored.
  • “function A” for causing a plurality of functions to function is stored as the scenario definition name, and “function nested”, “input parameter”, “importance”, and operation content corresponding to “function A” are “nested”, “ Function 1 + function 2 ”,“ ⁇ ”,“ ⁇ ”are stored.
  • FIG. 7 shows functions of the test apparatus 100.
  • the test apparatus 100 includes a scenario selection unit 1022.
  • the scenario selection unit 1022 selects a scenario to be executed by the mobile terminal 200.
  • the scenario selection unit 1022 may select a scenario to be executed by the mobile terminal at random from a plurality of preset scenarios. In selecting a scenario, a function that outputs a random value may be used.
  • the test apparatus 100 includes a scenario execution determination unit 1024.
  • the scenario execution determination unit 1024 is connected to the scenario selection unit 1022.
  • the scenario execution determination unit 1024 determines whether the scenario selected by the scenario selection unit 1022 can be executed.
  • the scenario execution determination unit 1024 refers to the scenario management information described with reference to FIG. 6 and acquires “operation content” corresponding to the scenario selected by the scenario selection unit 1022.
  • the scenario execution determination unit 1024 refers to the scenario execution information and determines whether the acquired operation content is suppressed.
  • FIG. 8 shows an example of scenario execution information stored in the storage unit.
  • the scenario execution information includes deterrence contents and deterrence status.
  • “phone call (normal time)”, “phone call (emergency)”, “packet call”, and “use of paid service” are stored as the suppression contents.
  • “None”, “suppression”, “none”, and “suppression” are stored.
  • the scenario execution determination unit 1024 determines that the scenario is not executable when the operation content corresponding to the scenario selected by the scenario selection unit 1022 is inhibition. On the other hand, when the “operation content” corresponding to the scenario selected by the scenario selection unit 1022 is not inhibited, the scenario execution determination unit 1024 determines that the scenario is an executable scenario. The scenario execution determination unit 1024 deletes the scenario determined to be an unexecutable scenario from the scenario set by the scenario selection unit 1022.
  • the test apparatus 100 includes a scenario execution unit 1026.
  • the scenario execution unit 1026 is connected to the scenario execution determination unit 1024.
  • the scenario execution unit 1026 executes the remaining scenario from which the scenario determined to be unexecutable by the scenario execution determination unit 1024 is deleted from the scenario selected by the scenario selection unit 1022.
  • the scenario execution unit 1026 inputs the scenario execution result to the scenario execution result determination unit 1028.
  • the test apparatus 100 includes a scenario execution result determination unit 1028.
  • the scenario execution result determination unit 1028 is connected to the scenario execution unit 1026.
  • the scenario execution result determination unit 1028 determines whether or not the execution result of the scenario is the same as the expected result based on the execution result of the scenario to be input by the scenario execution unit 1026. When it is determined that the scenario execution result is the same as the expected result, it is determined that the scenario execution is successful. On the other hand, when it is determined that the scenario execution result is different from the expected result, it is determined that the scenario execution has failed.
  • the scenario execution result determination unit 1028 reflects the execution result of the scenario in the execution result information.
  • the execution result information stores the number of times that execution of the scenario has failed for each scenario. For example, a result assumed in advance by execution of a scenario is stored in advance in the storage unit 104 for each scenario.
  • FIG. 9 shows an example of execution result information stored in the storage unit 104.
  • the scenario definition name and the number of failures are associated with the execution result information.
  • the scenario execution result determination unit 1028 refers to the execution result information and determines whether there is a scenario in which the number of failures is equal to or greater than a predetermined threshold.
  • the scenario execution result determination unit 1028 adds a scenario in which the number of failures is equal to or greater than a predetermined threshold to the scenario execution information.
  • FIG. 10 shows a case where the predetermined threshold is set to “10”.
  • the scenario execution result determination unit 1028 adds “setting execution” to the scenario execution information as “suppression” because the failure count of “setting execution” included in the execution result information is “10”.
  • FIG. 10 shows an example in which “setting execution” is added to the scenario execution information.
  • FIG. 11 shows the operation of the test apparatus 100.
  • the test apparatus 100 selects a scenario definition name (step S1102).
  • a plurality of scenario definition names may be selected.
  • the scenario selection unit 1022 selects a scenario definition name.
  • the test apparatus 100 determines whether or not the function corresponding to the scenario definition name selected in step S1102 can be executed (step S1104).
  • the scenario execution determination unit 1024 determines whether or not the scenario execution can be executed by referring to the scenario execution information and determining whether or not the scenario selected in step S1102 is suppressed. If it is set to be suppressed, it is determined that it cannot be executed. If it is not set to be suppressed, it is determined that it can be executed.
  • step S1104 determines that the scenario can be executed.
  • step S1106 determines that the scenario can be executed.
  • the scenario execution unit 1026 executes a scenario that can be executed.
  • step S1104 NO
  • the process returns to step S1102.
  • the test apparatus 100 determines a scenario execution result (step S1108).
  • the scenario execution result determination unit 1028 determines whether or not the scenario execution result is successful by determining whether or not the scenario execution result is the same as a result assumed in advance.
  • step S1108 After the scenario execution result is determined in step S1108, the process returns to step S1102.
  • FIG. 12 shows details of operations executed by the scenario execution determination unit 1024.
  • Scenario execution information may be generated by the user when the operation by the scenario execution determination unit 1024 is executed. That is, in addition to the scenario execution information to be stored in the test apparatus 100, scenario execution information to be set for the user is generated each time. Here, it is determined whether the scenario can be executed based on the scenario execution information to be set by the user.
  • the scenario execution determination unit 1024 determines whether or not the “operation content” of the scenario being executed is included in the suppression content of the scenario execution information (step S1202).
  • step S1204 If it is determined that the “operation content” of the scenario being executed is included in the suppression content of the scenario execution information (step S1202: YES), it is determined whether the “suppression state” is suppression (step S1204).
  • step S1204 When the “inhibition state” is inhibition (step S1204: YES), it is recognized as an unexecutable scenario (step S1206).
  • a scenario recognized as an inexecutable scenario may be added to the scenario execution information to be stored in the test apparatus 100.
  • step S1202 When it is not determined that the “operation content” of the scenario being executed is included in the suppression content of the scenario execution information in step S1202 (step S1202: NO), and when the “suppression state” is not suppression in step S1204 (step S1204: NO) ), It is recognized as an executable scenario (step S1208).
  • FIG. 13 shows details of operations executed by the scenario execution result determination unit 1028.
  • the scenario execution result determination unit 1028 determines whether or not the scenario execution result is a failure (step S1302).
  • step S1302 If it is determined that the scenario execution result is unsuccessful (step S1302: YES), it is reflected in the execution result information (step S1304).
  • step S1306 It is determined whether there is a scenario in which the number of failures exceeds a predetermined threshold.
  • step S1306 If it is determined that there is a scenario in which the number of failures exceeds a predetermined threshold (step S1306: YES), it is reflected in the scenario execution information (step S1308).
  • step S1306 NO If it is not determined in step 1302 that the scenario execution result is unsuccessful (step S1302: NO), or if it is not determined in step 1302 that there is a scenario in which the number of failures exceeds a predetermined threshold (step S1306: NO), the process ends.
  • the operation procedure has become complicated due to the advanced functionality of mobile terminals.
  • the number of operations for executing a certain function is also increasing.
  • the capacity of software to be stored in the mobile terminal is also increasing.
  • the number of defects is also increasing.
  • “functions” to be operated are randomly generated. By generating the function randomly, the key to be operated and the order of operation of the key are specified as compared with the case of generating the key to be operated.
  • the function can be evaluated regardless. It is possible to improve the use comprehensiveness of the function to be evaluated. You can determine whether to suppress each function. The usage rate of a specific function can be controlled.
  • a test apparatus for evaluating the operation of software installed in a mobile terminal A scenario selection unit for selecting a scenario including information for causing a mobile terminal to execute a function to be operated; A scenario execution determination unit that determines whether the scenario selected by the scenario selection unit can be executed; A scenario execution unit that executes a scenario determined to be executable by the scenario execution determination unit; A scenario execution result determination unit for determining whether or not the execution result of the scenario executed by the scenario execution unit is the same as a result assumed in advance; The scenario execution determination unit determines whether or not the scenario selected by the scenario selection unit can be executed based on the execution result of the scenario executed by the scenario execution unit in the past.
  • the scenario execution determination unit is configured such that the number of times that the scenario selected by the scenario selection unit is determined to be different from a result assumed in advance in a scenario executed by the scenario execution unit is a predetermined threshold value. If the scenario is as described above, it is determined that it cannot be executed.
  • a first table associating a scenario with the number of times the execution result of the scenario is determined to be different from a result assumed in advance by the execution result determination unit;
  • the scenario in which the execution result of the scenario executed by the scenario execution unit is determined to be different from a result assumed in advance is associated with information indicating whether or not the scenario can be executed
  • a second table When the scenario execution result determination unit determines that the execution result of the scenario executed by the scenario execution unit is different from a result assumed in advance, it is reflected in the first table,
  • the scenario execution determination unit refers to the second table to determine whether the scenario selected by the scenario selection unit corresponds to a scenario that cannot be executed.
  • the scenario includes one or more functions to be operated by the mobile terminal.
  • the scenario selection unit randomly selects from preset scenarios.
  • Test Equipment 100 Central Processing Unit (CPU) 1022 Scenario selection unit 1024 Scenario execution determination unit 1026 Scenario execution unit 1028 Scenario execution result determination unit 104 Storage unit 106 Input unit 108 Output unit 150 Bus 200 Mobile terminal 300 Camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Hardware Design (AREA)
  • Quality & Reliability (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Telephone Function (AREA)
  • Debugging And Monitoring (AREA)
  • Stored Programmes (AREA)

Abstract

　移動端末に搭載されたソフトウェアの動作を評価する試験装置は、移動端末に動作させるべき機能を実行させるための情報を含むシナリオを選択するシナリオ選択部と、該シナリオ選択部により選択されたシナリオが実行できるかどうかを判定するシナリオ実行判定部と、該シナリオ実行判定部により実行できると判定されたシナリオを実行するシナリオ実行部と、該シナリオ実行部により実行されたシナリオの実行結果が予め想定された結果と同じかどうかを判定するシナリオ実行結果判定部とを有する。シナリオ実行判定部は、過去に、前記シナリオ実行部により実行されたシナリオの実行結果に基づいて、前記シナリオ選択部により選択されたシナリオが実行できるかどうかを判定する。

Description

試験装置
　本発明は、移動端末の試験装置に関する。
　移動端末の高機能化により操作手順が複雑になっている。また、高機能化に伴い、ある機能を実行させるための操作数も増加している。さらに、移動端末に格納されるべきソフトウェアの容量も増大傾向にある。ソフトウェアの容量の増大に伴い、不具合数も増加傾向にある。
　さらに、移動端末の高機能化により、いわゆる、「リセット／フリーズ」問題を発生させるソフトウェア等の不具合が増大しつつある。これらの不具合について、事前に、全不具合を検出することは事実上不可能である。
　このため、移動端末に搭載されたソフトウェアを評価することが行われている。
　例えば、自動評価ツールにより評価する方法が知られている。自動評価ツールによりソフトウェアを評価する方法を利用するには、評価対象の移動端末に搭載されたソフトウェアに、該ソフトウェアの動作方法の１つとして、予め決められた操作手順が組み込まれていることが必要とされる。さらに、利用者は、メニューボタンの押下や、テンキーボタンなどの押下によって、所望する機能を利用できることが必要である。
　自動評価ツールにより評価する方法には、機能方式と、ランダム方式とが含まれる。
　機能方式では、予め決められた操作手順によって、移動端末の特定の機能が評価される。特定の機能を評価することにより、移動端末に搭載されたソフトウェアの特定の機能が要求された仕様通りに正しく機能することを確認できる。
　ランダム方式では、評価対象となる機能を特定することは行われない。その代わり、計算機によってランダムに評価対象となる操作を発生させる。計算機によってランダム評価対象となる操作を発生させることにより、移動端末に搭載されたソフトウェアが正しく動作し続けることを確認することができる。例えば、移動端末に搭載されたソフトウェアにおいて（可能な限り）想定外となる動作手順を発生させる。想定外となる動作手順を発生させることにより、ソフトウェアの不具合等を検出することができる。
　例えば、携帯端末に搭載されたソフトウェアを評価する方法が知られている（例えば、特許文献１参照）。
特開2009-290852号公報
　ランダム方式では、ランダムに操作すべきキーが発生する。ランダムに操作すべきキーが発生するため、評価対象となるソフトウェアの特定の機能を動作させるための手順を期待通りに正しく実行することができないおそれがある。
　さらに、特定の機能を動作させるための操作数が多い場合には、さらに、該特定の機能を動作させるための手順が実行される可能性が低くなる。このため、評価対象となるソフトウェアの機能の使用網羅性をあげることが困難となる。
　また、ランダムに操作すべきキーが発生するため、本来発生させたくない操作、例えば、１１０番への発信や、有料サービスを利用するための発信等の抑止が不可能となる。
　ランダム方式により、一定時間、移動端末を評価することにより、不具合検出は可能となる。しかし、上記問題点を解決することは困難である。
　そこで、本発明は上述した問題点に鑑みてなされたものであり、効率的に、移動端末に搭載されたソフトウェアの機能を評価することを目的とする。
　本発明の一実施例によれば、
　移動端末に搭載されたソフトウェアの動作を評価する試験装置であって、
　移動端末に動作させるべき機能を実行させるための情報を含むシナリオを選択するシナリオ選択部と、
　該シナリオ選択部により選択されたシナリオが実行できるかどうかを判定するシナリオ実行判定部と、
　該シナリオ実行判定部により実行できると判定されたシナリオを実行するシナリオ実行部と、
　該シナリオ実行部により実行されたシナリオの実行結果が予め想定された結果と同じかどうかを判定するシナリオ実行結果判定部と
　を有し、
　前記シナリオ実行判定部は、過去に、前記シナリオ実行部により実行されたシナリオの実行結果に基づいて、前記シナリオ選択部により選択されたシナリオが実行できるかどうかを判定するように構成された試験装置が提供される。
　開示の実施例によれば、効率的に、移動端末に搭載されたソフトウェアの機能を試験することができる。
試験装置の一実施例を示す図である。 移動端末の試験システムの一実施例を示す図である。 自動評価ツールの一実施例を示す図である。 シナリオの一実施例を示す図である。 シナリオの一実施例を示す図である。 シナリオ管理情報の一実施例を示す図である。 試験装置の一実施例を示す機能ブロック図である。 シナリオ実行情報の一実施例を示す機能ブロック図である。 シナリオ実行結果情報の一実施例を示す機能ブロック図である。 シナリオ実行情報の一実施例を示す機能ブロック図である。 試験装置の動作の一実施例を示すフロー図である。 試験装置の動作の一実施例を示すフロー図である。 試験装置の動作の一実施例を示すフロー図である。
　以下、図面に基づいて、実施例を説明する。
　なお、実施例を説明するための全図において、同一機能を有するものは同一符号を用い、繰り返しの説明は省略する。
　＜実施例＞
　本実施例に係る自動評価ツールは、PC(Personal Computer)等に搭載される。また、移動端末に搭載されたソフトウェアを試験するための装置に搭載されてもよい。
　本実施例では、一例として、PCに搭載される場合について説明する。自動評価ツールがPCに搭載されることにより、該PCは移動端末の試験装置１００として機能する。
　本試験装置１００は、対象となる機能をランダムに発生させ、該機能に対応するシナリオが実行できるかどうかを判定し、該判定結果に基づいて、実行できないシナリオを試験項目から自動的に省くことにより、試験を効率的に行う。
　図１は、本実施例に係る自動評価ツールが格納される試験装置１００の一例を示す。
　該試験装置１００は、中央演算処理ユニット(CPU: Central Processing Unit)１０２と、記憶部１０４と、入力部１０６と、出力部１０８とを有する。CPU１０２、記憶部１０４、入力部１０６、出力部１０８は、バス１５０により接続される。
　CPU１０２は、記憶部１０４、入力部１０６、及び出力部１０８の制御を行う。CPU１０２は、記憶部１０４に記憶されたプログラムに従って機能し、所定の処理を行う。
　記憶部１０４には、アプリケーションと、オペレーティングシステム(OS:　Operating　System)と、自動評価ツールとが格納される。例えば、記憶部１０４は、コンピュータ内でデータやプログラムを記憶する外部記憶装置である。例えば、ハードディスク(hard disk,　fixed disk)やフロッピーディスク(floppy　disk)、MO(Magneto-Optical　disk)、CD-R(Compact　Disk　Recordable)、磁気テープなどが含まれる。アプリケーションは、ユーザが本試験装置１００上で実行する作業を実施する機能を有するソフトウェアである。例えば、アプリケーションには、ワードプロセッサ、表計算ソフト、データベース管理システム(DBMS:　Data　Base　Management　System)、メディアプレーヤーなどが含まれる。オペレーティングシステムは、本試験装置１００において、ハードウェアを抽象化したインターフェースをアプリケーションソフトウェアに提供するソフトウェアである。自動評価ツールは、ユーザに変わって、移動端末を操作することにより、該移動端末に搭載されたソフトウェアを動作させることにより、該ソフトウェアの品質、及び機能のうち、少なくとも一方の評価を行うツールである。
　入力部１０６は、例えば、キーボードやマウスにより構成され、本試験装置１００への指示や、データの入力を行う。該指示は、オペレーティングシステムに対するものや、アプリケーションに対するものや、自動評価ツールに対するものが含まれる。
　出力部１０８は、例えば、ディスプレイにより構成され、本試験装置１００による処理状態や処理結果を表示する。該処理状態や処理結果には、オペレーティングシステムやアプリケーションや自動評価ツールによるものが含まれる。ディスプレイには、液晶ディスプレイ、CRT(Cathode　Ray　Tube)ディスプレイ、プラズマ(PDP:　Plasma　Display　Panel)ディスプレイ、有機EL(Electro-Luminescence)ディスプレイなどが含まれる。
　図２は、移動端末２００に搭載されたソフトウェアを評価する評価システムの構成例を示す。
＜試験システムの構成例＞
　該試験システムでは、移動端末２００と試験装置１００とが接続される。例えば、ケーブル（図示なし）により接続されてもよい。移動端末２００は、入力部によるユーザの操作を受け付けるためのユーザインターフェース(UI: User Interface)を有するものであることが好ましい。例えば、入力部には、テンキー等が含まれる。移動端末２００には、ハンドセット型であってもよいし、ヘッドセット型でもよい。また、移動端末２００は、例えば、電気的な信号により内部の動作を変更することができるものであれば、必ずしも入力部は必要ない。例えば、移動端末２００は、カード型であってもよいし、モジュール型であってもよい。
　また、該試験システムには、移動端末２００の表示部を撮影するためのカメラ３００が用意される。該カメラ３００は、移動端末２００の表示部に表示される画像、及び動画の少なくとも一方を撮影する。該カメラ３００により撮影された表示部の画像、及び動画の少なくとも一方は、試験装置１００に入力される。例えば、ケーブル（図示なし）により、カメラ３００と、試験装置１００との間を接続し、該ケーブルを介してカメラ３００と、試験装置１００との間で、画像、及び動画の少なくとも一方の送受信が行われてもよい。
＜自動評価ツール＞
　図３は、自動評価ツールの構成例を示す。
　自動評価ツールは、キー操作ドライバを有する。キー操作ドライバは、オペレーティングシステムとして機能するCPU１０２に対して、移動端末２００との間のインターフェースを提供するためのソフトウェアである。
　自動評価ツールは、自動評価エンジンを有する。自動評価エンジンは、自動評価ツールとして機能するCPU１０２に対して、移動端末２００に搭載されたソフトウェアを評価する機能を実行させるためのソフトウェアである。
　自動評価ツールは、OCR(Optical Character Reader)を有する。OCRは、カメラ３００により撮影された画像から、文字を光学的に読み取り、予め記憶されたパターンと照合することにより文字を特定する。OCRは、カメラ３００により撮影された動画から、文字を光学的に読み取り、予め記憶されたパターンと照合することにより文字を特定するものであってもよい。
　＜試験用シナリオ＞
　自動評価ツールは、試験用シナリオを有する。試験用シナリオは、自動評価ツールにより対象機能を評価する際に、移動端末２００に実行させるべき操作の手順を表したものである。例えば、試験用シナリオは、自動評価ツールが実行されることにより、作成される。
　図４は、試験用シナリオの一例を示す図である。図４には、一例として、２つの機能（機能１、機能２）が示される。
　試験用シナリオが作成される際には、シナリオを定義するための名称（機能名）が作成される。例えば、機能名として、「機能１」、「機能２」が作成される。さらに、各機能に対して、該機能を実行させるためのキーを表す「操作」、及び該キーの流れを表す「命令」とが記述される。例えば、機能名が「機能１」により表される機能には、操作されるべきキーを表す情報（「操作１」・・・「操作ｎ」）と、該操作されるべきキーの操作順序を制御するための命令（「命令１」・・・「命令ｍ」）とが含まれる。また、機能名が「機能２」により表される機能には、操作されるべきキーを表す情報（「操作１」・・・「操作ｘ」）と、該操作されるべきキーの操作順序を制御するための命令（「命令１」・・・「命令ｙ」）とが含まれる。
　また、複数の機能をまとめて、１つの機能が定義されてもよい。例えば、評価の対象となる複数の機能をまとめて１つの新たな機能として定義されてもよい。
　図５は、複数の機能をまとめて１つの機能として、新たな機能が定義される例を示す。
　図５に示される例では、複数の機能（「機能Ｘ」、「機能Ｙ」・・・「機能Ｚ」）がまとめられて１つの機能（「機能１」）として、新たな機能が定義される。換言すれば、「機能１」には、複数の機能（「機能Ｘ」、「機能Ｙ」・・・「機能Ｚ」）が入れ子となっている。
　＜シナリオ管理情報＞
　自動評価ツールにより管理されるべきシナリオ管理情報について説明する。例えば、自動評価エンジンは、シナリオ管理情報を事前に登録する。
　図６は、記憶部１０４に格納されるシナリオ管理情報の一例を示す。
　図６に示されるシナリオ管理情報には、シナリオ定義名が格納される。シナリオ定義名は、図４を参照して説明した機能と、図５を参照して説明した機能のうち少なくとも一方が格納される。
　シナリオ管理情報には、格納されたシナリオ定義名に対応する機能階層、入力パラメータ、重要度、及び動作内容が格納される。機能階層とは、機能を実行させるための操作手順を表したものであって、各操作手順を数値で表したものである。
　図６に示される例では、シナリオ定義名として、メール送信に関する「機能１」が格納され、該「機能１」に対応する機能階層、入力パラメータ、重要度、及び動作内容として、それぞれ、「1-1-1」、「こんにちは、はじめまして・・・」、「１」「パケット発信」が格納される。
　また、シナリオ定義名として、電話発信に関する「機能２」が格納され、該「機能２」に対応する機能階層、入力パラメータ、重要度、及び動作内容として、それぞれ、「1-2-3-4」、「０３－１２３４－５６７８」、「２」、「音声発信」が格納される。
　また、シナリオ定義名として、複数の機能を機能させる「機能Ａ」が格納され、該「機能Ａ」に対応する機能階層、入力パラメータ、重要度、及び動作内容として、それぞれ、「入れ子」、「機能１＋機能２」、「－」、「－」が格納される。
　また、シナリオ定義名として、複数の機能を機能させる「機能Ｎ」が格納され、該「機能Ｎ」に対応する機能階層、入力パラメータ、重要度、及び動作内容として、それぞれ、「a-b-c-d」、「parameter x」、「Ｚ」、「なし」が格納される。
＜自動評価ツールの機能＞
　図７は、本試験装置１００の機能を示す。
　本試験装置１００は、シナリオ選択部１０２２を有する。シナリオ選択部１０２２は、移動端末２００に実行させるべきシナリオを選択する。例えば、シナリオ選択部１０２２は、予め設定された複数のシナリオから、ランダムに移動端末に実行させるべきシナリオを選択するようにしてもよい。シナリオを選択する際に、ランダムな値を出力する関数が利用されてもよい。
　本試験装置１００は、シナリオ実行判定部１０２４を有する。シナリオ実行判定部１０２４は、シナリオ選択部１０２２と接続される。シナリオ実行判定部１０２４は、シナリオ選択部１０２２により選択されたシナリオが実行できるかどうかを判定する。例えば、シナリオ実行判定部１０２４は、図６を参照して説明したシナリオ管理情報を参照し、シナリオ選択部１０２２により選択されたシナリオに対応する「動作内容」を取得する。シナリオ実行判定部１０２４は、シナリオ実行情報を参照し、取得した動作内容が抑止されているものであるかどうかを判定する。
　図８は、記憶部に格納されるシナリオ実行情報の一例を示す。
　シナリオ実行情報には、抑止内容と、抑止状態とが含まれる。図８に示される例では、抑止内容として、「電話発信（通常時）」、「電話発信（緊急時）」、「パケット発信」、及び「有料サービス利用」が格納され、抑止状態として、それぞれ「無し」、「抑止」、「無し」、及び「抑止」が格納される。
　シナリオ実行判定部１０２４は、シナリオ選択部１０２２により選択されたシナリオに対応する動作内容が抑止である場合には、実行不可能なシナリオであると判定する。一方、シナリオ実行判定部１０２４は、シナリオ選択部１０２２により選択されたシナリオに対応する「動作内容」が抑止でない場合には、実行可能なシナリオであると判定する。シナリオ実行判定部１０２４は、実行不可能なシナリオであると判定されたシナリオをシナリオ選択部１０２２により設定されたシナリオから削除する。
　本試験装置１００は、シナリオ実行部１０２６を有する。シナリオ実行部１０２６は、シナリオ実行判定部１０２４と接続される。シナリオ実行部１０２６は、シナリオ選択部１０２２により選択されたシナリオから、シナリオ実行判定部１０２４により実行不可能なシナリオであると判定されたシナリオが削除された残りのシナリオを実行する。シナリオ実行部１０２６は、シナリオの実行結果をシナリオ実行結果判定部１０２８に入力する。
　本試験装置１００は、シナリオ実行結果判定部１０２８を有する。シナリオ実行結果判定部１０２８は、シナリオ実行部１０２６と接続される。シナリオ実行結果判定部１０２８は、シナリオ実行部１０２６により入力されるべきシナリオの実行結果に基づいて、該シナリオの実行結果が予め想定される結果と同じかどうかを判定する。シナリオの実行結果が予め想定される結果と同じであると判定される場合、シナリオの実行が成功したと判定する。一方、シナリオの実行結果が予め想定される結果と異なると判定される場合、シナリオの実行が失敗したと判定する。シナリオ実行結果判定部１０２８は、実行結果情報に、シナリオの実行結果を反映する。実行結果情報には、シナリオ毎に、該シナリオの実行が失敗した回数が格納される。なお、例えば、シナリオの実行により予め想定される結果は、シナリオ毎に記憶部１０４に予め格納されている。
　図９は、記憶部１０４に格納される実行結果情報の一例が示される。
　実行結果情報には、シナリオ定義名と、失敗回数とが対応付けられる。
　図９に示される例では、シナリオ定義名として、「ウェブページ接続」、「設定実行」が格納され、失敗回数として、それぞれ「２」、「１０」が格納される。
　シナリオ実行結果判定部１０２８は、実行結果情報を参照し、失敗回数が所定の閾値以上となるシナリオがあるかどうかを判定する。シナリオ実行結果判定部１０２８は、シナリオ実行情報に、失敗回数が所定の閾値以上となるシナリオを追加する。
　図１０は、所定の閾値が「１０」に設定されている場合を示す。この場合、シナリオ実行結果判定部１０２８は、実行結果情報に含まれる「設定実行」の失敗回数が「１０」であるため、該「設定実行」をシナリオ実行情報に、「抑止」として追加する。
　図１０は、シナリオ実行情報に、「設定実行」が追加された例を示す。
　＜本試験装置の動作＞
　図１１は、本試験装置１００の動作を示す。
　本試験装置１００は、シナリオ定義名を選択する（ステップＳ１１０２）。選択されるシナリオ定義名は複数であってもよい。例えば、シナリオ選択部１０２２は、シナリオ定義名を選択する。
　本試験装置１００は、ステップＳ１１０２により選択されたシナリオ定義名に対応する機能を実行できるかどうかを判定する（ステップＳ１１０４）。例えば、シナリオ実行判定部１０２４は、シナリオ実行情報を参照し、ステップＳ１１０２により選択されたシナリオが抑止されていないかどうかを判定することにより、実行できるかどうかを判定する。抑止とされている場合には実行できないと判定し、抑止とされていない場合には実行できると判定する。
　シナリオが実行できると判定された場合(ステップＳ１１０４：ＹＥＳ)、本試験装置１００は、シナリオを実行する（ステップＳ１１０６）。ここで、ステップＳ１１０２により複数のシナリオが選択された場合には、実行できるシナリオがある場合、シナリオが実行できると判定される。例えば、シナリオ実行部１０２６は、実行できるシナリオを実行する。
　一方、シナリオが実行できないと判定された場合（ステップＳ１１０４：ＮＯ）、ステップＳ１１０２に戻る。
　本試験装置１００は、シナリオの実行結果を判定する（ステップＳ１１０８）。例えば、シナリオ実行結果判定部１０２８は、シナリオの実行結果が、予め想定される結果と同じであるかどうかを判定することにより、シナリオの実行結果が成功であるかどうかを判定する。
　ステップＳ１１０８によるシナリオの実行結果の判定後、ステップＳ１１０２に戻る。
　＜シナリオ実行判定部による動作の詳細＞
　図１２は、シナリオ実行判定部１０２４により実行される動作の詳細を示す。
　シナリオ実行判定部１０２４による動作が実行される際に、ユーザによりシナリオ実行情報が生成されてもよい。つまり、試験装置１００に格納されるべきシナリオ実行情報に加えて、その都度ユーザに設定されるべきシナリオ実行情報を生成される。ここでは、ユーザに設定されるべきシナリオ実行情報に基づいて、シナリオが実行できるかどうかが判定される。
　シナリオ実行判定部１０２４は、実行中のシナリオの「動作内容」がシナリオ実行情報の抑止内容に含まれるかどうかを判定する（ステップＳ１２０２）。
　実行中のシナリオの「動作内容」がシナリオ実行情報の抑止内容に含まれると判定される場合（ステップＳ１２０２：ＹＥＳ）、「抑止状態」が抑止であるかどうかを判定する（ステップＳ１２０４）。
　「抑止状態」が抑止である場合（ステップＳ１２０４：ＹＥＳ）、実行不可能なシナリオと認識する（ステップＳ１２０６）。ここで、試験装置１００に格納されるべきシナリオ実行情報に、実行不可能なシナリオと認識されたシナリオが追加されてもよい。
　ステップＳ１２０２において実行中のシナリオの「動作内容」がシナリオ実行情報の抑止内容に含まれると判定されない場合（ステップＳ１２０２：ＮＯ）、及びステップＳ１２０４において「抑止状態」が抑止でない場合（ステップＳ１２０４：ＮＯ）、実行可能なシナリオと認識する（ステップＳ１２０８）。
　＜シナリオ実行結果判定部による動作の詳細＞
　図１３は、シナリオ実行結果判定部１０２８により実行される動作の詳細を示す。
　シナリオ実行結果判定部１０２８は、シナリオ実行結果が失敗であるかどうかを判定する（ステップＳ１３０２）。
　シナリオ実行結果が失敗であると判定された場合（ステップＳ１３０２：ＹＥＳ）、実行結果情報に反映する（ステップＳ１３０４）。
　失敗回数が所定の閾値以上となるシナリオがあるかどうかを判定する（ステップＳ１３０６）。
　失敗回数が所定の閾値以上となるシナリオがあると判定された場合（ステップＳ１３０６：ＹＥＳ）、シナリオ実行情報に反映する（ステップＳ１３０８）。
　ステップ１３０２においてシナリオ実行結果が失敗であると判定されない場合（ステップＳ１３０２：ＮＯ）、ステップ１３０２において失敗回数が所定の閾値以上となるシナリオがあると判定されない場合（ステップＳ１３０６：ＮＯ）、終了する。
　＜本実施例の効果＞
　シナリオの実行結果を記録し、実行が失敗した回数が所定の閾値以上となるシナリオを、試験項目から自動的に削除することにより、効率的に試験を行うことができる。
　移動端末の高機能化により操作手順が複雑になっている。また、高機能化に伴い、ある機能を実行させるための操作数も増加している。さらに、移動端末に格納されるべきソフトウェアの容量も増大傾向にある。ソフトウェアの容量の増大に伴い、不具合数も増加傾向にある。
　移動端末の高機能化により、いわゆる、「リセット／フリーズ」問題を発生させるソフトウェア等の不具合が増大しつつある。これらの不具合について、事前に、全不具合を検出することは事実上不可能である。
　本実施例では、ソフトウェアを評価する際に、操作対象となる「機能」をランダムに発生させる。機能をランダムに発生させることにより、操作すべきキーを発生させる場合と比較して、操作すべきキーと該キーの操作の順番が指定されるため、特定の機能の操作方法（操作数）によらず、機能の評価ができる。評価対象となる機能の使用網羅性を向上させることができる。機能毎に抑止するかどうかを判定できる。特定の機能の使用率を制御することができる。
　以上の実施例を含む実施形態に関し、更に以下の項目を開示する。
　（１）移動端末に搭載されたソフトウェアの動作を評価する試験装置であって、
　移動端末に動作させるべき機能を実行させるための情報を含むシナリオを選択するシナリオ選択部と、
　該シナリオ選択部により選択されたシナリオが実行できるかどうかを判定するシナリオ実行判定部と、
　該シナリオ実行判定部により実行できると判定されたシナリオを実行するシナリオ実行部と、
　該シナリオ実行部により実行されたシナリオの実行結果が予め想定された結果と同じかどうかを判定するシナリオ実行結果判定部と
　を有し、
　前記シナリオ実行判定部は、過去に、前記シナリオ実行部により実行されたシナリオの実行結果に基づいて、前記シナリオ選択部により選択されたシナリオが実行できるかどうかを判定する。
　（２）（１）に記載の試験装置において、
　前記シナリオ実行判定部は、前記シナリオ選択部により選択されたシナリオが、過去に、前記シナリオ実行部により実行されたシナリオの実行結果が予め想定された結果と異なると判定された回数が所定の閾値以上であるシナリオである場合、実行できないと判定する。
　（３）（１）又は（２）に記載の試験装置において、
　シナリオと、前記実行結果判定部により該シナリオの実行結果が予め想定された結果と異なると判定された回数とを対応付けた第１のテーブルと、
　前記シナリオ実行部により実行されたシナリオの実行結果が予め想定された結果と異なると判定された回数が所定の閾値以上であるシナリオと、該シナリオが実行できるかどうかを表す情報とを対応付けた第２のテーブルと
　を有し、
　前記シナリオ実行結果判定部は、前記シナリオ実行部により実行されたシナリオの実行結果が予め想定された結果と異なると判定した場合、前記第１のテーブルに反映し、
　前記シナリオ実行判定部は、前記第２のテーブルを参照し、前記シナリオ選択部により選択されたシナリオが、実行できないシナリオに該当するかどうかを判定する。
　（４）（１）ないし（３）のいずれか１項に記載の試験装置において、
　前記シナリオには、移動端末に動作させるべき機能が１又は複数含まれる。
　（５）（１）ないし（４）のいずれか１項に記載の試験装置において、
　前記シナリオ選択部は、予め設定されたシナリオから、ランダムに選択する。
　説明の便宜上、発明の理解を促すため具体的な数値例を用いて説明されるが、特に断りのない限り、それらの数値は単なる一例に過ぎず適切な如何なる値が使用されてよい。
　以上、本発明は特定の実施例を参照しながら説明されてきたが、各実施例は単なる例示に過ぎず、当業者は様々な変形例、修正例、代替例、置換例等を理解するであろう。説明の便宜上、本発明の実施例に係る装置は機能的なブロック図を用いて説明されたが、そのような装置はハードウエアで、ソフトウエアで又はそれらの組み合わせで実現されてもよい。本発明は上記実施例に限定されず、本発明の精神から逸脱することなく、様々な変形例、修正例、代替例、置換例等が包含される。
　本国際出願は２０１１年２月１４日に出願した日本国特許出願２０１１－０２９１３７号に基づく優先権を主張するものであり、日本国特許出願２０１１－０２９１３７号の全内容を本国際出願に援用する。
１００　試験装置
１０２　中央演算処理装置(CPU: Central Processing Unit)
１０２２　シナリオ選択部
１０２４　シナリオ実行判定部
１０２６　シナリオ実行部
１０２８　シナリオ実行結果判定部
１０４　記憶部
１０６　入力部
１０８　出力部
１５０　バス
２００　移動端末
３００　カメラ

Claims (5)

  1. 　移動端末に搭載されたソフトウェアの動作を評価する試験装置であって、
    　移動端末に動作させるべき機能を実行させるための情報を含むシナリオを選択するシナリオ選択部と、
    　該シナリオ選択部により選択されたシナリオが実行できるかどうかを判定するシナリオ実行判定部と、
    　該シナリオ実行判定部により実行できると判定されたシナリオを実行するシナリオ実行部と、
    　該シナリオ実行部により実行されたシナリオの実行結果が予め想定された結果と同じかどうかを判定するシナリオ実行結果判定部と
    　を有し、
    　前記シナリオ実行判定部は、過去に、前記シナリオ実行部により実行されたシナリオの実行結果に基づいて、前記シナリオ選択部により選択されたシナリオが実行できるかどうかを判定する、試験装置。
  2. 　請求項１に記載の試験装置において、
    　前記シナリオ実行判定部は、前記シナリオ選択部により選択されたシナリオが、過去に、前記シナリオ実行部により実行されたシナリオの実行結果が予め想定された結果と異なると判定された回数が所定の閾値以上であるシナリオである場合、実行できないと判定する、試験装置。
  3. 　請求項１に記載の試験装置において、
    　シナリオと、前記実行結果判定部により該シナリオの実行結果が予め想定された結果と異なると判定された回数とを対応付けた第１のテーブルと、
    　前記シナリオ実行部により実行されたシナリオの実行結果が予め想定された結果と異なると判定された回数が所定の閾値以上であるシナリオと、該シナリオが実行できるかどうかを表す情報とを対応付けた第２のテーブルと
    　を有し、
    　前記シナリオ実行結果判定部は、前記シナリオ実行部により実行されたシナリオの実行結果が予め想定された結果と異なると判定した場合、前記第１のテーブルに反映し、
    　前記シナリオ実行判定部は、前記第２のテーブルを参照し、前記シナリオ選択部により選択されたシナリオが、実行できないシナリオに該当するかどうかを判定する、試験装置。
  4. 　請求項１に記載の試験装置において、
    　前記シナリオには、移動端末に動作させるべき機能が１又は複数含まれる、試験装置。
  5. 　請求項１に記載の試験装置において、
    　前記シナリオ選択部は、予め設定されたシナリオから、ランダムに選択する、試験装置。
PCT/JP2012/051355 2011-02-14 2012-01-23 試験装置 WO2012111387A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP12746751.2A EP2642394B1 (en) 2011-02-14 2012-01-23 Test device
CN201280005464.0A CN103329108B (zh) 2011-02-14 2012-01-23 测试装置
US13/997,280 US9280451B2 (en) 2011-02-14 2012-01-23 Testing device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011029137A JP5490036B2 (ja) 2011-02-14 2011-02-14 試験装置
JP2011-029137 2011-02-14

Publications (1)

Publication Number Publication Date
WO2012111387A1 true WO2012111387A1 (ja) 2012-08-23

Family

ID=46672326

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/051355 WO2012111387A1 (ja) 2011-02-14 2012-01-23 試験装置

Country Status (5)

Country Link
US (1) US9280451B2 (ja)
EP (1) EP2642394B1 (ja)
JP (1) JP5490036B2 (ja)
CN (1) CN103329108B (ja)
WO (1) WO2012111387A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103425579A (zh) * 2013-07-26 2013-12-04 南方电网科学研究院有限责任公司 基于势函数的移动终端系统安全测评方法
EP2760234A1 (en) 2013-01-25 2014-07-30 Telefonaktiebolaget L M Ericsson (publ) Technique for monitoring wireless terminal behavior
US8838093B2 (en) 2012-05-04 2014-09-16 Telefonaktiebolaget L M Ericsson (Publ) Method and device for monitoring wireless terminal behavior according to terminal type
CN104077211A (zh) * 2013-03-25 2014-10-01 腾讯科技（深圳）有限公司 一种移动终端软件的测试方法及测试系统
CN104866414A (zh) * 2014-02-24 2015-08-26 腾讯科技（深圳）有限公司 应用程序的测试方法、装置及系统
CN104881356A (zh) * 2014-02-28 2015-09-02 北京谊安医疗系统股份有限公司 呼吸机的异常检测方法及呼吸机
CN106250318A (zh) * 2016-08-11 2016-12-21 浪潮电子信息产业股份有限公司 一种软件更新智能风险分析系统
CN106502893A (zh) * 2016-10-20 2017-03-15 郑州云海信息技术有限公司 一种对软件功能进行测试的方法及装置
CN106714212A (zh) * 2016-12-23 2017-05-24 江苏中利电子信息科技有限公司 智能自组网数据终端通信台站的制备方法
CN107305511A (zh) * 2016-04-18 2017-10-31 展讯通信（上海）有限公司 共享终端测试仪表的移动终端测试方法及系统
US10360141B2 (en) 2013-08-06 2019-07-23 Barclays Services Limited Automated application test system

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104765678B (zh) * 2014-01-08 2018-06-22 阿里巴巴集团控股有限公司 对移动终端设备上的应用进行测试的方法及装置
CN104301481B (zh) * 2014-09-24 2017-12-08 福建联迪商用设备有限公司 一种手机兼容性测试结果生成的方法及系统
GB2532508B (en) * 2014-11-24 2017-03-15 Anritsu Corp Mobile communication terminal test device and a test analysis unit therefor
CN105930261B (zh) * 2016-01-16 2018-06-22 平安科技（深圳）有限公司 测试方法及测试终端
US10353803B2 (en) * 2017-08-21 2019-07-16 Facebook, Inc. Dynamic device clustering
CN108052444A (zh) * 2017-11-13 2018-05-18 北京百度网讯科技有限公司 一种用于移动应用的性能测试的方法与装置
CN110661911B (zh) * 2019-09-29 2020-12-18 东莞市欧珀精密电子有限公司 移动终端检测用的防护治具

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265806A (ja) * 1992-03-16 1993-10-15 Nec Corp 情報処理装置の試験装置
JP2001331542A (ja) * 2000-05-22 2001-11-30 Hitachi Ltd 論理シミュレーションジョブ制御方式
JP2006268666A (ja) * 2005-03-25 2006-10-05 Fujitsu Ltd 補正機能を持つ自動試験システム、自動試験方法、およびプログラム
JP2009290852A (ja) 2008-04-30 2009-12-10 Japan Novel Corp 機器、装置の機能チェック装置
JP2010190851A (ja) * 2009-02-20 2010-09-02 Hitachi Kokusai Electric Inc 試験システム

Family Cites Families (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB2353610A (en) 1999-08-21 2001-02-28 Ibm Computerised testcase management system
US7334162B1 (en) * 2003-01-29 2008-02-19 Sun Microsystems, Inc. Dynamic distribution of test execution
US8671394B1 (en) * 2003-11-26 2014-03-11 The Mathworks, Inc. Monitoring test steps in test environments
US7379600B2 (en) * 2004-01-28 2008-05-27 Microsoft Corporation Method and system for automatically determining differences in a user interface throughout a development cycle
US7320090B2 (en) * 2004-06-09 2008-01-15 International Business Machines Corporation Methods, systems, and media for generating a regression suite database
US7610578B1 (en) * 2004-08-24 2009-10-27 The Math Works, Inc. Test manager for integrated test environments
US7630708B2 (en) * 2005-03-11 2009-12-08 Yahoo! Inc. Tester for determining the validity of a feature in a remote device
JP2007102475A (ja) * 2005-10-04 2007-04-19 Dainippon Screen Mfg Co Ltd ソフトウェアシステムのテストケース抽出装置、テストケース抽出プログラムおよびテストケース抽出方法
US20070263773A1 (en) * 2006-03-03 2007-11-15 Symbol Technologies, Inc. Methods and apparatus for automated testing of a device through a command line interface
WO2008074529A2 (en) * 2006-12-21 2008-06-26 International Business Machines Corporation Method, system and computer program for performing regression tests
CN100472472C (zh) * 2007-07-26 2009-03-25 南京大学 Windows平台下基于MSAA的GUI测试驱动方法
US8572568B2 (en) * 2008-10-14 2013-10-29 Hewlett-Packard Development Company, L.P. Test tool for concurrent web services and user interface testing
US8635092B2 (en) * 2010-06-02 2014-01-21 Asurion, Llc Method for offering a protection policy for a mobile device
US8606262B1 (en) * 2012-02-16 2013-12-10 The Board Room, Inc. Testing or recording system for a mobile telephone
US8930767B2 (en) * 2012-12-07 2015-01-06 Software Ag Techniques for test automation in emergent systems

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05265806A (ja) * 1992-03-16 1993-10-15 Nec Corp 情報処理装置の試験装置
JP2001331542A (ja) * 2000-05-22 2001-11-30 Hitachi Ltd 論理シミュレーションジョブ制御方式
JP2006268666A (ja) * 2005-03-25 2006-10-05 Fujitsu Ltd 補正機能を持つ自動試験システム、自動試験方法、およびプログラム
JP2009290852A (ja) 2008-04-30 2009-12-10 Japan Novel Corp 機器、装置の機能チェック装置
JP2010190851A (ja) * 2009-02-20 2010-09-02 Hitachi Kokusai Electric Inc 試験システム

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8838093B2 (en) 2012-05-04 2014-09-16 Telefonaktiebolaget L M Ericsson (Publ) Method and device for monitoring wireless terminal behavior according to terminal type
EP2760234A1 (en) 2013-01-25 2014-07-30 Telefonaktiebolaget L M Ericsson (publ) Technique for monitoring wireless terminal behavior
CN104077211A (zh) * 2013-03-25 2014-10-01 腾讯科技（深圳）有限公司 一种移动终端软件的测试方法及测试系统
CN103425579A (zh) * 2013-07-26 2013-12-04 南方电网科学研究院有限责任公司 基于势函数的移动终端系统安全测评方法
US10360141B2 (en) 2013-08-06 2019-07-23 Barclays Services Limited Automated application test system
CN104866414A (zh) * 2014-02-24 2015-08-26 腾讯科技（深圳）有限公司 应用程序的测试方法、装置及系统
CN104881356A (zh) * 2014-02-28 2015-09-02 北京谊安医疗系统股份有限公司 呼吸机的异常检测方法及呼吸机
CN107305511A (zh) * 2016-04-18 2017-10-31 展讯通信（上海）有限公司 共享终端测试仪表的移动终端测试方法及系统
CN106250318A (zh) * 2016-08-11 2016-12-21 浪潮电子信息产业股份有限公司 一种软件更新智能风险分析系统
CN106502893A (zh) * 2016-10-20 2017-03-15 郑州云海信息技术有限公司 一种对软件功能进行测试的方法及装置
CN106502893B (zh) * 2016-10-20 2019-06-04 郑州云海信息技术有限公司 一种对软件功能进行测试的方法及装置
CN106714212A (zh) * 2016-12-23 2017-05-24 江苏中利电子信息科技有限公司 智能自组网数据终端通信台站的制备方法

Also Published As

Publication number Publication date
JP2012168727A (ja) 2012-09-06
US9280451B2 (en) 2016-03-08
EP2642394B1 (en) 2018-07-18
US20130283100A1 (en) 2013-10-24
CN103329108A (zh) 2013-09-25
CN103329108B (zh) 2016-01-06
EP2642394A1 (en) 2013-09-25
EP2642394A4 (en) 2015-05-06
JP5490036B2 (ja) 2014-05-14

Similar Documents

Publication Publication Date Title
JP5490036B2 (ja) 試験装置
JP5324638B2 (ja) 試験装置及び試験方法
JP2011192296A (ja) ヘルプユーティリティアプリケーションプログラム
US20130290934A1 (en) Monitoring applications executing on a computer device using programmatic triggers
JP6891780B2 (ja) ソフトウェア品質判定装置、ソフトウェア品質判定方法、及びソフトウェア品質判定プログラム
KR101460860B1 (ko) 상태 기반의 테스트 시나리오 모델을 이용한 gui 테스트 장치 및 방법
JP2009177828A (ja) 複合機、ユーザインタフェース提供装置、及びユーザインタフェース提供方法
US8922491B2 (en) Method and apparatus enabling keystroke acceleration
KR101796009B1 (ko) 프로그램 자동 분석 시스템 및 이를 이용한 자동분석 방법
JP2008033407A (ja) サーバ装置、クライアント装置、サーバベースコンピューティングシステムおよびプログラム
US10114518B2 (en) Information processing system, information processing device, and screen display method
CN108563485B (zh) 输入面板显示方法及装置
CN109376085B (zh) 测试用例生成方法、装置及计算机可读存储介质
JP2009223568A (ja) シナリオ生成装置及びプログラム
JP2007066077A (ja) Ｇｕｉ生成方法、ｇｕｉ生成装置、コンピュータプログラム及び記憶媒体
JP4748982B2 (ja) 表示機器テストシステム及び方法並びにプログラム
US8793703B2 (en) Mobile terminal, method and program for providing a virtual setup screen
CN111221723B (zh) 测试记录生成方法、装置、存储介质及电子设备
JPH10301809A (ja) Ｇｕｉ操作手順の自動生成方法
JP5330302B2 (ja) 操作記録プログラム及び装置
JP2009259064A (ja) 評価装置および操作画面改善装置
CN117827357B (zh) 一种终端设备的远程操作方法、装置及设备
CN113821424A (zh) 应用软件的操作录制、回放方法、装置及电子设备
US20190057017A1 (en) Correlation Of Function Calls To Functions In Asynchronously Executed Threads
JP6569425B2 (ja) 表示装置及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12746751

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 2012746751

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 13997280

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE