WO2021208512A1 - 用户界面的控件信息的获取方法、装置、终端及存储介质 - Google Patents

用户界面的控件信息的获取方法、装置、终端及存储介质 Download PDF

Info

Publication number
WO2021208512A1
WO2021208512A1 PCT/CN2020/140839 CN2020140839W WO2021208512A1 WO 2021208512 A1 WO2021208512 A1 WO 2021208512A1 CN 2020140839 W CN2020140839 W CN 2020140839W WO 2021208512 A1 WO2021208512 A1 WO 2021208512A1
Authority
WO
WIPO (PCT)
Prior art keywords
interface
control
control information
user
target
Prior art date
Application number
PCT/CN2020/140839
Other languages
English (en)
French (fr)
Inventor
周得水
Original Assignee
上海闻泰信息技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 上海闻泰信息技术有限公司 filed Critical 上海闻泰信息技术有限公司
Publication of WO2021208512A1 publication Critical patent/WO2021208512A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F11/00—Error detection; Error correction; Monitoring
    • G06F11/36—Preventing errors by testing or debugging software
    • G06F11/3668—Software testing
    • G06F11/3672—Test management
    • G06F11/3688—Test management for test execution, e.g. scheduling of test suites
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F8/00—Arrangements for software engineering
    • G06F8/30—Creation or generation of source code
    • G06F8/38—Creation or generation of source code for implementing user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces

Definitions

  • This application relates to the technical field of computer software testing, and in particular to a method, device, terminal and storage medium for obtaining control information of a user interface.
  • the tools provided in the related technologies generally need to connect the mobile terminal to be tested to a personal computer (PC) and operate on the PC side. Therefore, the mobile terminal is often unable to connect due to the connection and interaction problems, and thus cannot work properly. At the same time, due to the need to complete the process of data transmission, it reduces the efficiency and convenience of developers to obtain information.
  • PC personal computer
  • the technical problem to be solved by this application is to solve the problem of low efficiency and convenience of information acquisition by existing developers.
  • the embodiments of the present application provide a user interface that can view the interface control information of all applications in the terminal only through the mobile terminal itself, thereby improving the efficiency and convenience of the developer to obtain the interface control information Method, device, terminal and storage medium for obtaining control information of.
  • the embodiment of the present application provides a method for obtaining control information of a user interface, and the method includes:
  • determining the target interface control corresponding to the first touch position in the at least one interface control includes:
  • the interface control includes the root node interface control and the child node interface control;
  • the control information of the interface control includes the response area corresponding to the interface control;
  • control information of the interface control further includes attribute information corresponding to the interface control, and the attribute information includes whether the attribute is visible; the response area of each root node interface control and the response area of each child node interface control are divided into The smallest response area that covers the first touch position is used as the target response area, including:
  • the test interface includes an upper-level view and a lower-level view
  • the control information includes the attribute information of the target interface control and the response area of the target interface control
  • control information of the target interface control and display the control information on the test interface, including:
  • the method further includes:
  • the method before inserting the test interface on the user interface, the method further includes:
  • the method further includes:
  • An embodiment of the present application also provides a device for acquiring control information of a user interface, the device including:
  • the interface insertion module is set to insert a test interface on the user interface, and the user interface includes at least one interface control;
  • the position determining module is configured to receive the first touch action of the user on the test interface, and determine the first touch position of the first touch action;
  • a control determining module configured to determine the target interface control corresponding to the first touch position in the at least one interface control
  • the information display module is set to obtain the control information of the target interface control and display the control information on the test interface.
  • control determining module includes:
  • An information acquisition unit configured to acquire control information of each interface control;
  • the interface control includes a root node interface control and a child node interface control;
  • the control information of the interface control includes a response area corresponding to the interface control;
  • the area determining unit is configured to set the response area of each root node interface control and the response area of each child node interface control, which has the smallest area and covers the first touch position as the target response area ;
  • the control determining unit is configured to use the root node interface control or the child node interface control corresponding to the target response area as the target interface control.
  • control information of the interface control further includes attribute information corresponding to the interface control, and the attribute information includes a visible attribute;
  • the area determining unit includes:
  • a filtering subunit configured to filter the child node interface control according to whether the child node interface control is visible or not;
  • the screening subunit is set to select the response area with the smallest screening area and covering the first touch position from the response area of each of the root node interface controls and the filtered response area of the child node interface controls;
  • the area determination sub-unit is set to take the filtered response area as the target response area.
  • the test interface includes an upper-level view and a lower-level view
  • the control information includes attribute information of the target interface control and a response area of the target interface control
  • the information display module includes:
  • a response area display unit configured to display the response area and the first touch position in the upper view
  • the attribute information display unit is configured to display the attribute information in the lower-level view.
  • the device for acquiring control information of the user interface further includes:
  • the location update module is configured to, after acquiring the control information of the target interface control and displaying the control information on the test interface, receive a second touch action of the user on the test interface, and determine the The second touch position of the second touch action;
  • a control update module configured to determine a target interface control corresponding to the second touch position in the at least one interface control
  • the information update module is configured to obtain control information of the target interface control corresponding to the second touch position, and update the control information displayed on the test interface.
  • the device for acquiring control information of the user interface further includes:
  • a window display module configured to display a floating window on the user interface before inserting the test interface on the user interface
  • the first instruction receiving module is configured to receive a user's first operation instruction on the floating window, and insert it into the test interface.
  • the device for acquiring control information of the user interface further includes:
  • the second instruction receiving module is configured to receive a second operation instruction performed by the user on the test interface after inserting the test interface on the user interface, remove the test interface, and restore the original user interface The function of handling user operation events.
  • the embodiment of the present application also provides a mobile terminal, which includes:
  • One or more processors are One or more processors;
  • Memory set to store one or more programs
  • the one or more processors When the one or more programs are executed by the one or more processors, the one or more processors implement the steps of the method for obtaining control information of the user interface provided by any embodiment of the present application.
  • the embodiment of the present application also provides a computer-readable storage medium on which a computer program is stored.
  • the computer program is executed by a processor, the steps of the method for obtaining control information of a user interface provided by any embodiment of the present application are implemented.
  • the method, device, terminal, and storage medium for obtaining control information of the user interface provided by the embodiments of the present application, by inserting a test interface on the user interface, receive the first touch action of the user on the test interface, and determine the first touch The first touch position of the action is determined, and the target interface control corresponding to the first touch position is determined, and then the information of the target interface control is obtained and displayed in the test interface.
  • the mobile terminal applying the technical solutions of the embodiments of the present application realizes that the interface control information of all applications in the terminal can be viewed only through the mobile terminal itself without connecting to the PC, thereby improving the application layout of developers The efficiency and convenience of obtaining interface control information during optimization or automated testing.
  • FIG. 1 is a schematic flowchart of a method for acquiring control information of a user interface in an embodiment
  • FIG. 2 is a schematic flowchart of a method for obtaining control information of a user interface in another embodiment
  • 3 is a schematic diagram of the relationship between the root node interface controls and the child node interface controls on the user interface in an embodiment
  • FIG. 4 is a schematic flowchart of a method for obtaining control information of a user interface in another embodiment
  • FIG. 5 is a schematic diagram of the structure when the control information of the target interface control is displayed in the test interface in an embodiment
  • FIG. 6 is a schematic flowchart of a method for obtaining control information of a user interface in another embodiment
  • FIG. 7 is a structural block diagram of a user interface including a floating window in an embodiment
  • FIG. 8 is a structural block diagram of an apparatus for acquiring control information of a user interface in an embodiment
  • Fig. 9 is an internal structure diagram of a mobile terminal in an embodiment.
  • the method for obtaining control information of a user interface provided in this application can be applied to situations where interface control information needs to be obtained in the process of application layout optimization or automated testing of an application on a mobile terminal.
  • This method can be provided by an embodiment of this application.
  • the device for acquiring control information of the user interface can be implemented by means of hardware and/or software, and generally can be integrated in a mobile terminal, which can be, but is not limited to, various smart phones and tablet computers.
  • a method for obtaining control information of a user interface which specifically includes the following steps:
  • the user interface refers to the interface currently displayed by the application to be tested (Application, APP) on the mobile terminal.
  • the user interface includes multiple interface controls to implement various functions.
  • Interface controls refer to visual graphic "elements" that can be placed on the form, such as buttons and file edit boxes. Most interface controls have the function of executing or triggering code to run through “events” and complete the response.
  • the test interface is a transparent interface, so that after the test interface is inserted into the user interface, the user's viewing of the original user interface content is not affected.
  • the test interface is a full-screen interface, so that it can cover the range of all interface controls in the user interface, so that the user can obtain information about any interface control.
  • the method for obtaining control information of the user interface provided in this embodiment can be started to be used in the user interface. Insert the test interface on.
  • the display level of the test interface is the highest level, that is, the test interface is always kept above any interface of the APP to be tested, and all input events (InputEvent) on the current user interface can be intercepted, that is, for The user's operations on the user interface no longer respond, so that the user can view the interface control information.
  • S12 Receive a first touch action of the user on the test interface, and determine a first touch position of the first touch action.
  • the first touch action includes a touch click operation, a touch press operation, or a touch slide operation.
  • the first touch position is the position coordinate corresponding to the position clicked by the first touch action in the test interface.
  • the first touch position can be the position of certain points in the sliding track continuously acquired at a preset time interval (such as 1 second) or a preset interval (such as 1 mm).
  • the corresponding position coordinates in the test interface it may also be the position coordinates corresponding to the end point of the sliding track of the first touch action in the test interface after determining that the sliding of the first touch action stops.
  • the first touch action of the user can be captured through the above-mentioned test interface, and the first touch position of the first touch action can be determined according to the position of the first touch action in the test interface.
  • the attributes of each interface control in the user interface include the bound attribute, which is used to indicate the position and size of the interface control relative to its own coordinate system, that is, it can be used to indicate the location of each interface control in the user interface.
  • Response area the first touch position determined above can be matched with the bound property of each interface control in the user interface to determine the response area with the smallest area among the interface control response areas where the first touch position falls , And determine the interface control corresponding to the response area with the smallest area as the target interface control.
  • the control information may include attribute information of the target interface control, the response area of the target interface control, and the touch position used to determine the target interface control.
  • the control information of the target interface control can be obtained based on the accessibility service provided by Android, including obtaining the attribute information of the target interface control based on the node attribute obtaining method in the aforementioned accessibility service, and obtaining based on the node area in the aforementioned accessibility service Method to get the response area of the target interface control.
  • the above-mentioned node attribute obtaining method may be AccessibilityNodeInfo.getText
  • the above-mentioned node area obtaining method may be AccessibilityNodeInfo.bound.
  • the attribute information may include: name (text), resource identity (resource-id), class (class), package (package), content description (content-desc), optional (checkable), selected (checked), clickable (clickable), enabled (enabled), scrollable (scrollable), long-clickable (long-clickable), password (password), etc.
  • the corresponding text can be directly in the test interface Display.
  • the display of the corresponding text does not obscure the target interface controls, so as to facilitate the user to view.
  • the response area can be information used to indicate the location range of the target interface control in the user interface.
  • the response area of the target interface control can be marked by a border line, where the color of the border line is different from that of the target interface control
  • the original color and the shape of the border line are adapted to the target interface controls.
  • a mark with a relatively obvious color and shape is used to mark the first touch position, for example, a red cross-shaped mark, to feed back the determined first touch position to the user, which is convenient for the user. Determine whether the position of the first touch action is correct.
  • a test interface is inserted into the user interface to receive the user's first touch action on the test interface, and determine the first touch position of the first touch action, and then determine The target interface control corresponding to the first touch position is then obtained and displayed in the test interface.
  • determining the target interface control corresponding to the first touch position in the at least one interface control includes:
  • S133 Use the root node interface control or the child node interface control corresponding to the target response area as the target interface control.
  • the user interface usually includes multiple interface controls, some of which have a parent-child relationship between them.
  • the parent node interface control 32 and the child node The interface control 33 is a parent-child relationship, and the child node interface control is set relative to the coordinate system of its parent node interface control, and the root node interface control does not have a corresponding parent node interface control. Therefore, in this embodiment, you can first Determine the root node interface controls on the user interface, where the number of root node interface controls can be one or more.
  • the first-level child node interface controls of each root node interface control can be determined, and then the second-level child node interface controls subsequent to each first-level child node interface control can be determined. Recursively traverse all the sub-node interface controls on the user interface.
  • the control information of each interface control may be obtained based on the accessibility service (AccessibilityService) provided by Android, including obtaining the control information of the root node interface control on the user interface based on the root node obtaining method in the accessibility service, And based on the child node acquiring method in the accessibility service, the control information of all child node interface controls relative to each root node interface control on the user interface is acquired.
  • the root node obtaining method may be the getRootInActiveWindow() method in the AccessibilityInteractionClient instance class
  • the child node obtaining method may be the getChild method in the AccessibilityNodeInfo instance class.
  • the response area represented by the bound property of each root node interface control and the response area represented by the bound property of each sub-node interface control can be compared with the first determined above.
  • the touch position is matched to determine the target response area with the smallest area among the response areas that can cover the first touch position, and the root node interface control or child node interface control corresponding to the target response area is determined as the target interface control.
  • the technical solution provided by this embodiment achieves simplicity by acquiring the control information of each interface control on the user interface, and respectively matching the response area included in the control information of each interface control with the determined first touch position. And the process of obtaining the target interface controls accurately.
  • the method before obtaining the control information of each interface control, the method further includes: de-duplicating the layout structure in the user interface. Specifically, in the process of designing the user interface of the APP, some repetitive and multi-layer nested layout structures are often used, that is, some interface controls in the user interface are designed for multiple times, thus As a result, in the above process of acquiring all the child node interface controls on the user interface, some interface controls are acquired multiple times.
  • the view type in the accessibility service may be used before obtaining the control information of all sub-node interface controls relative to each root node interface control on the user interface based on the child node acquisition method in the accessibility service.
  • the view type setting method can be the setServiceInfo method in the IAccessibilityServiceConnection instance class, and is implemented by setting the attribute value of AccessibilityServiceInfo.FLAG_INCLUDE_NOT_IMPORTANT_VIEWS.
  • control information of the interface control also includes attribute information corresponding to the interface control, and the attribute information includes whether the attribute is visible;
  • the response areas of the root node interface controls and the response areas of each child node interface control the response area with the smallest area and covering the first touch position is used as the target response area, including:
  • the interface controls that users need to debug are generally visible interface controls. Therefore, by filtering out the child node interface controls that are not visible to the user, you can Reduce the number of interface controls of the child node finally obtained, thereby reducing the time to obtain all interface controls, and the time to match the response area of all interface controls with the first touch position, thereby improving the control information acquisition of the target interface control efficient.
  • the child node interface controls may be filtered based on the user-visible node obtaining method in the accessibility service provided by Android, where the user-visible node obtaining method may be getChild.isVisibleToUser.
  • the test interface includes an upper view 51 and a lower view 52.
  • the control information includes the attribute information of the target interface control and the response area of the target interface control. Both the view 51 and the lower view 52 can be of full screen size.
  • the border in Figure 5 is only used to illustrate the layer relationship; correspondingly, the control information of the target interface control is obtained, and the control information is displayed on the test interface, including: the response area 53 and The first touch position 54 is displayed in the upper view 51; the attribute information ("text" in the figure) is displayed in the lower view 52.
  • FIG. 5 also includes interface controls 55 included in the APP to be tested in the user interface 31.
  • the type (Type) of the upper-level view is the phone window (TYPE_PHONE), which is generally set on all applications. It can be implemented by customizing the view and reconstructing the onMeasure and onDraw methods.
  • the onMeasure method is mainly used for self Define the size of the upper view.
  • the onDraw method is used to draw the custom upper view.
  • the type (Type) of the lower view is the system window (TYPE_SYSTEM_ALERT), which is generally set above the application window.
  • the upper view is used to capture the user's first touch action, and display the first touch position of the first touch action and the response area of the target interface control, etc.
  • the method further includes: receiving a second touch action of the user on the test interface, and determining the second touch of the second touch action. Determine the target interface control corresponding to the second touch position in at least one interface control; obtain control information of the target interface control corresponding to the second touch position, and update the control information displayed on the test interface.
  • the process of obtaining the control information of the target interface control corresponding to the second touch position may be the control of the target interface control corresponding to the first touch position.
  • the information acquisition process is the same, so I won’t repeat it here.
  • the control information originally displayed on the test interface can be updated to realize the process of obtaining the control information on the user interface multiple times.
  • S102 Receive a first operation instruction performed by the user on the floating window, and insert a test interface.
  • the type of the floating window is the system window (TYPE_SYSTEM_ALERT), its display level is higher than any interface of the APP under test, and it can move on the user interface and listen to user operation events.
  • the floating window can be any shape and any color , It can be set at a size that the user can conveniently perform a click or drag operation.
  • FIG. Specifically, in scenarios where the user needs to optimize application layout or automated testing, after opening the APP to be tested, a floating window can be inserted at the top level of the current user interface of the APP. In some embodiments, the floating window does not affect the normal jump of the APP interface, so that the user can select the interface that needs to be debugged.
  • the first operation instruction is to insert a test interface, that is, when a user's operation event (such as a single click, long press, or double-click, etc.) is monitored, the test interface is inserted to start the process of obtaining control information of the target interface control.
  • the first operation instruction may also be to close the test interface, that is, after the test interface is inserted, the test interface can be closed in response to the same or different operation events performed on the floating window, so as to facilitate the user to change needs. Debug interface.
  • the floating window after inserting the test interface, can be removed by the view removal method to eliminate the influence of the floating window on the control information display of the target interface control.
  • the removal method can be WindowManager.removeView. If you choose to remove the floating window, after inserting the test interface on the user interface, it also includes: receiving a second operation instruction from the user on the test interface, removing the test interface, and restoring the original function of the user interface to handle user operation events . That is, the second operation instruction is to remove the test interface.
  • the second operation instruction referred to by the operation event is executed to remove Test the interface so that users can change the interface that needs to be debugged.
  • the floating window can be loaded again, so as to control the insertion of the test interface again to enter the control information acquisition function of the target interface.
  • a floating window is added to control the insertion action of the test interface, and the function of removing or reinserting the test interface is added, so that the user can use the user interface provided by this embodiment.
  • the user interface that needs to be debugged is replaced at any time, thereby realizing the function of debugging multiple user interfaces at a time, which provides convenience for the user's debugging process and further improves the development The efficiency of personnel obtaining interface control information during application layout optimization or automated testing.
  • a device for acquiring control information of a user interface which specifically includes the following modules:
  • the interface insertion module 81 is configured to insert a test interface on a user interface, and the user interface includes at least one interface control;
  • the position determining module 82 is configured to receive the first touch action of the user on the test interface, and determine the first touch position of the first touch action;
  • the control determining module 83 is configured to determine the target interface control corresponding to the first touch position in the at least one interface control
  • the information display module 84 is configured to obtain control information of the target interface control and display the control information on the test interface.
  • control determining module 83 includes:
  • the information acquisition unit is configured to acquire control information of each interface control;
  • the interface control includes a root node interface control and a child node interface control;
  • the control information of the interface control includes a response area corresponding to the interface control;
  • the area determining unit is set to set the response area of each root node interface control and the response area of each child node interface control, which has the smallest area and covers the first touch position as the target response area;
  • the control determining unit is set to use the root node interface control or the child node interface control corresponding to the target response area as the target interface control.
  • the filter subunit is set to filter the child node interface controls according to whether the child node interface controls are visible or not;
  • the screening subunit is set to select the response area with the smallest screening area and covering the first touch position from the response area of each root node interface control and the filtered response area of the child node interface control;
  • the area determination sub-unit is set to take the filtered response area as the target response area.
  • the test interface includes an upper-level view and a lower-level view
  • the control information includes the attribute information of the target interface control and the response area of the target interface control
  • the information display module 84 includes:
  • the response area display unit is configured to display the response area and the first touch position in the upper view
  • the attribute information display unit is set to display the attribute information in the lower view.
  • the device for acquiring control information of the user interface further includes:
  • the position update module is configured to obtain the control information of the target interface control, and after the control information is displayed on the test interface, receive the second touch action of the user on the test interface, and determine the second touch position of the second touch action;
  • a control update module configured to determine the target interface control corresponding to the second touch position in the at least one interface control
  • the information update module is configured to obtain control information of the target interface control corresponding to the second touch position, and update the control information displayed on the test interface.
  • the device for acquiring control information of the user interface further includes:
  • the window display module is set to display a floating window on the user interface before inserting the test interface on the user interface;
  • the first instruction receiving module is configured to receive the first operation instruction performed by the user on the floating window, and insert the test interface.
  • the device for acquiring control information of the user interface further includes:
  • the second instruction receiving module is configured to receive the second operation instruction of the user on the test interface after inserting the test interface on the user interface, remove the test interface, and restore the original function of the user interface to handle user operation events.
  • the mobile terminal applying the technical solution of this embodiment realizes that without the need to connect with the PC, the interface control information of all applications in the terminal can be viewed only through the mobile terminal itself, thereby improving the application layout optimization of developers Or the efficiency and convenience of obtaining interface control information during automated testing.
  • the apparatus for acquiring control information of a user interface provided by this embodiment can execute the method for acquiring control information of a user interface provided by any of the embodiments, and has functional modules and beneficial effects corresponding to the execution method.
  • the included units and modules are only divided according to functional logic, but are not limited to the above division, as long as the corresponding functions can be realized That is; in addition, the specific names of each functional unit are only for the convenience of distinguishing each other, and are not used to limit the protection scope of the present application.
  • Each module in the device for acquiring control information of the user interface can be implemented in whole or in part by software, hardware, and a combination thereof.
  • the above-mentioned modules can be embedded in the form of hardware or independent of the processor in the mobile terminal, or can be stored in the memory of the mobile terminal in the form of software, so that the processor can call and execute the operations corresponding to the above-mentioned modules.
  • FIG. 9 shows a block diagram of an exemplary mobile terminal suitable for implementing the embodiments of the present application.
  • the mobile terminal shown in FIG. 9 is only an example, and should not bring any limitation to the functions and scope of use of the embodiments of the present application.
  • the mobile terminal includes a processor 91, a memory 92, an input device 93, and an output device 94; the number of processors 91 in the mobile terminal may be one or more.
  • one processor 91 is taken as an example.
  • the processor 91, the memory 92, the input device 93, and the output device 94 in the mobile terminal may be connected through a bus or other methods. In FIG. 9, the connection through a bus is taken as an example.
  • the memory 92 can be configured to store software programs, computer-executable programs, and modules, such as the program instructions/modules corresponding to the method for obtaining control information of the user interface in this embodiment (for example, the user interface).
  • the processor 91 executes various functional applications and data processing of the mobile terminal by running the software programs, instructions, and modules stored in the memory 92, that is, implements the aforementioned method for acquiring control information of the user interface.
  • the memory 92 may mainly include a program storage area and a data storage area.
  • the program storage area may store an operating system and an application program required by at least one function; the data storage area may store data created according to the use of the mobile terminal, and the like.
  • the memory 92 may include a high-speed random access memory, and may also include a non-volatile memory, such as at least one magnetic disk storage device, a flash memory device, or other non-volatile solid-state storage devices.
  • the memory 92 may further include a memory remotely provided with respect to the processor 91, and these remote memories may be connected to the mobile terminal through a network. Examples of the aforementioned networks include, but are not limited to, the Internet, corporate intranets, local area networks, mobile communication networks, and combinations thereof.
  • the input device 93 may be configured to receive operation events and touch actions input by the user on the interface of the mobile terminal, and generate key signal input related to user settings and function control of the mobile terminal.
  • the output device 94 may include a display device such as a display screen, and may be used to display the acquired information of the target interface control to the user.
  • the mobile terminal by inserting a test interface on the user interface, the user's first touch action on the test interface is received, and the first touch position of the first touch action is determined, and then the first touch position is determined Corresponding target interface control, and then obtain the information of the target interface control and display it in the test interface.
  • the mobile terminal provided in this embodiment realizes that without the need to connect with the PC, the interface control information of all applications in the terminal can be viewed only through the mobile terminal itself, thereby improving the application layout optimization or automation of developers. The efficiency and convenience of obtaining interface control information during testing.
  • a storage medium containing computer-executable instructions is provided, the computer-executable instructions are used to execute a method for obtaining control information of a user interface when the computer-executable instructions are executed by a computer processor, and the method includes:
  • Storage medium any of various types of storage devices or storage devices.
  • the term "storage medium” is intended to include: installation media, such as CD-ROM, floppy disk or tape device; computer system memory or random access memory, such as DRAM, DDR RAM, SRAM, EDO RAM, Rambus RAM, etc. ; Non-volatile memory, such as flash memory, magnetic media (such as hard disk or optical storage); registers or other similar types of memory elements.
  • the storage medium may further include other types of memory or a combination thereof.
  • the storage medium may be located in the computer system in which the program is executed, or may be located in a different second computer system connected to the computer system through a network (such as the Internet).
  • the second computer system can provide program instructions to the computer for execution.
  • the term “storage medium” may include two or more storage media that may reside in different locations (for example, in different computer systems connected through a network).
  • the storage medium may store program instructions (for example, embodied as a computer program) executable by one or more processors
  • a storage medium containing computer-executable instructions provided in this embodiment is not limited to the method operations described above, and can also execute the control information of the user interface provided in any embodiment of the present application. Get related operations in the method.
  • the computer-readable signal medium may include a data signal propagated in baseband or as a part of a carrier wave, and computer-readable program code is carried therein. This propagated data signal can take many forms, including but not limited to electromagnetic signals, optical signals, or any suitable combination of the foregoing.
  • the computer-readable signal medium may also be any computer-readable medium other than the computer-readable storage medium, and the computer-readable medium may send, propagate, or transmit the program for use by or in combination with the instruction execution system, apparatus, or device .
  • the program code contained on the computer-readable medium can be transmitted by any suitable medium, including but not limited to wireless, wire, optical cable, RF, etc., or any suitable combination of the above.
  • the method for obtaining control information of the user interface includes: inserting a test interface on the user interface, the user interface including at least one interface control; receiving a user's first touch action on the test interface, and determining the first touch action The first touch position; the target interface control corresponding to the first touch position in at least one interface control is determined; the control information of the target interface control is obtained, and the control information is displayed on the test interface.

Abstract

一种用户界面的控件信息的获取方法、装置、终端及存储介质，涉及计算机软件测试技术领域，该方法包括：在用户界面上插入测试界面，用户界面包括至少一个界面控件（S11）；接收用户在测试界面的第一触控动作，并确定第一触控动作的第一触控位置（S12）；确定至少一个界面控件中第一触控位置对应的目标界面控件（S13）；获取目标界面控件的控件信息，并在测试界面显示控件信息（S14）。采用该方法能够实现在不需与PC端进行连接的情况下，仅通过移动终端自身即可查看终端中所有应用程序的界面控件信息，从而提高了开发人员进行应用布局优化或自动化测试时获取界面控件信息的效率及便利性。

Description

用户界面的控件信息的获取方法、装置、终端及存储介质
本申请要求于2020年04月17日提交中国专利局、申请号为CN202010303717.9、发明名称为“用户界面的控件信息的获取方法、装置、终端及存储介质”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及计算机软件测试技术领域，尤其涉及一种用户界面的控件信息的获取方法、装置、终端及存储介质。
背景技术
在应用程序的开发过程中，为了方便开发人员清晰的查看应用布局以优化布局信息，或者对应用程序进行测试以提升应用性能，通常需要提供一个可以直观查看应用布局以及各个布局控件属性的功能。
相关技术中提供了几种可以查看应用布局及布局控件属性的工具，如基于自动化测试(Uiautomator)框架在软件开发工具包(Software Development Kit，SDK)中提供的布局优化工具(Hierarchy Viewer)和自动化测试工具(UIAutomator Viewer)，以及安卓集成开发工具(Android studio)自带的视图层次结构分析工具(Layout Inspector)等。
相关技术中提供的工具一般需要将待测试的移动终端连接至个人计算机(Personal Computer，PC)端并在PC端进行操作，因此经常会因为连接交互的问题导致移动终端不能正常连接，从而无法正常使用，同时，由于需要完成数据传输的过程从而降低了开发人员获取信息的效率及便利性。
发明内容
(一)要解决的技术问题
本申请要解决的技术问题是解决现有的开发人员获取信息的效率及便利性较低的问题。
(二)技术方案
为了解决上述技术问题，本申请实施例提供了一种能够实现仅通过移动终端自身便可查看终端中所有应用程序的界面控件信息，从而提高开发人员获取界面控件信息的效率及便利性的用户界面的控件信息的获取方法、装置、终端及存储介质。
本申请实施例提供了一种用户界面的控件信息的获取方法，该方法包括：
在用户界面上插入测试界面，用户界面包括至少一个界面控件；
接收用户在测试界面的第一触控动作，并确定第一触控动作的第一触控位置；
确定至少一个界面控件中第一触控位置对应的目标界面控件；
获取目标界面控件的控件信息，并在测试界面显示控件信息。
在一个实施例中，确定至少一个界面控件中第一触控位置对应的目标界面控件，包括：
获取每个界面控件的控件信息；界面控件包括根节点界面控件和子节点界面控件；界面控件的控件信息包括与界面控件对应的响应区域；
将每个根节点界面控件的响应区域和每个子节点界面控件的响应区域中，面积最小且覆盖第一触控位置的响应区域作为目标响应区域；
将目标响应区域对应的根节点界面控件或子节点界面控件作为目标界面控件。
在一个实施例中，界面控件的控件信息还包括与界面控件对应的属性信息，属性信息包括是否可见属性；将每个根节点界面控件的响应区域和每个子节点界面控件的响应区域中，面积最小且覆盖第一触控位置的响应区域作为目标响应区域，包括：
根据子节点界面控件的是否可见属性过滤子节点界面控件；
从每个根节点界面控件的响应区域以及过滤后的子节点界面控件的响应区域中，筛选面积最小且覆盖第一触控位置的响应区域；
将筛选出的响应区域作为目标响应区域。
在一个实施例中，测试界面包括上层视图和下层视图，控件信息包括目标界面控件的属性信息和目标界面控件的响应区域；
相应的，获取目标界面控件的控件信息，并在测试界面显示控件信息，包括：
将响应区域以及第一触控位置在上层视图中显示；
将属性信息在下层视图中显示。
在一个实施例中，在获取目标界面控件的控件信息，并在测试界面显示控件信息之后，该方法还包括：
接收用户在测试界面的第二触控动作，并确定第二触控动作的第二触控位置；
确定至少一个界面控件中第二触控位置对应的目标界面控件；
获取第二触控位置对应的目标界面控件的控件信息，并更新在测试界面显示的控件信息。
在一个实施例中，在用户界面上插入测试界面之前，该方法还包括：
在用户界面上显示悬浮窗口；
接收用户对悬浮窗口进行的第一操作指令，并插入测试界面。
在一个实施例中，在用户界面上插入测试界面之后，该方法还包括：
接收用户对测试界面进行的第二操作指令，移除测试界面，并恢复用户界面原有的处理用户操作事件的功能。
本申请实施例还提供了一种用户界面的控件信息的获取装置，该装置包括：
界面插入模块，设置为在用户界面上插入测试界面，用户界面包括至少一个界面控件；
位置确定模块，设置为接收用户在测试界面的第一触控动作，并确定第一触控动作的第一触控位置；
控件确定模块，设置为确定至少一个界面控件中第一触控位置对应的目标界面控件；
信息显示模块，设置为获取目标界面控件的控件信息，并在测试界面显示控件信息。
在一个实施例中，所述控件确定模块，包括：
信息获取单元，设置为获取每个所述界面控件的控件信息；所述界面控件包括根节 点界面控件和子节点界面控件；所述界面控件的控件信息包括与所述界面控件对应的响应区域；
区域确定单元，设置为将每个所述根节点界面控件的响应区域和每个所述子节点界面控件的响应区域中，面积最小且覆盖所述第一触控位置的响应区域作为目标响应区域；
控件确定单元，设置为将所述目标响应区域对应的根节点界面控件或子节点界面控件作为所述目标界面控件。
在一个实施例中，所述界面控件的控件信息还包括与所述界面控件对应的属性信息，所述属性信息包括是否可见属性；所述区域确定单元，包括：
过滤子单元，设置为根据所述子节点界面控件的是否可见属性过滤所述子节点界面控件；
筛选子单元，设置为从每个所述根节点界面控件的响应区域以及过滤后的子节点界面控件的响应区域中，筛选面积最小且覆盖所述第一触控位置的响应区域；
区域确定子单元，设置为将筛选出的响应区域作为目标响应区域。
在一个实施例中，所述测试界面包括上层视图和下层视图，所述控件信息包括所述目标界面控件的属性信息和所述目标界面控件的响应区域；
相应的，所述信息显示模块，包括：
响应区域显示单元，设置为将所述响应区域以及所述第一触控位置在所述上层视图中显示；
属性信息显示单元，设置为将所述属性信息在所述下层视图中显示。
在一个实施例中，该用户界面的控件信息的获取装置还包括：
位置更新模块，设置为在所述获取所述目标界面控件的控件信息，并在所述测试界面显示所述控件信息之后，接收用户在所述测试界面的第二触控动作，并确定所述第二触控动作的第二触控位置；
控件更新模块，设置为确定所述至少一个界面控件中所述第二触控位置对应的目标界面控件；
信息更新模块，设置为获取所述第二触控位置对应的目标界面控件的控件信息，并更新在所述测试界面显示的控件信息。
在一个实施例中，该用户界面的控件信息的获取装置还包括：
窗口显示模块，设置为在所述在用户界面上插入测试界面之前，在所述用户界面上显示悬浮窗口；
第一指令接收模块，设置为接收用户对所述悬浮窗口进行的第一操作指令，并插入所述测试界面。
在一个实施例中，用户界面的控件信息的获取装置还包括：
第二指令接收模块，设置为在所述在用户界面上插入测试界面之后，接收用户对所述测试界面进行的第二操作指令，移除所述测试界面，并恢复所述用户界面原有的处理用户操作事件的功能。
本申请实施例还提供了一种移动终端，该终端包括：
一个或多个处理器；
存储器，设置为存储一个或多个程序；
当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现本申请任意实施例所提供的用户界面的控件信息的获取方法的步骤。
本申请实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现本申请任意实施例所提供的用户界面的控件信息的获取方法的步骤。
(三)有益效果
本申请实施例提供的上述技术方案与相关技术相比具有如下优点：
本申请实施例提供的该用户界面的控件信息的获取方法、装置、终端及存储介质，通过在用户界面上插入测试界面，接收用户在测试界面的第一触控动作，并确定第一触控动作的第一触控位置，再确定与第一触控位置对应的目标界面控件，进而获取目标界面控件的信息并在测试界面中进行展示。应用本申请实施例技术方案的移动终端实现了在不需与PC端进行连接的情况下，仅通过移动终端自身即可查看终端中所有应用程序的界面控件信息，从而提高了开发人员进行应用布局优化或自动化测试时获取界面控件信息的效率及便利性。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本申请。
附图说明
图1为一个实施例中用户界面的控件信息的获取方法的流程示意图；
图2为另一个实施例中用户界面的控件信息的获取方法的流程示意图；
图3为一个实施例中用户界面上根节点界面控件与子节点界面控件的关系示意图；
图4为另一个实施例中用户界面的控件信息的获取方法的流程示意图；
图5为一个实施例中在测试界面中显示目标界面控件的控件信息时的结构示意图；
图6为另一个实施例中用户界面的控件信息的获取方法的流程示意图；
图7为一个实施例中包括悬浮窗口的用户界面的结构框图；
图8为一个实施例中用户界面的控件信息的获取装置的结构框图；
图9为一个实施例中移动终端的内部结构图。
具体实施方式
为了使本申请的目的、技术方案及优点更加清楚明白，以下面结合附图和实施例对本申请作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本申请，而非对本申请的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本申请相关的部分而非全部结构。
在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各步骤描述成顺序的处理，但是其中的许多步骤可以被并行地、并发地或者同时实施。此外，各步骤的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。
本申请提供的用户界面的控件信息的获取方法，可以应用于在对移动终端上的应用程序进行应用布局优化或自动化测试的过程中需要获取界面控件信息的情况，该方法可以由本申请实施例提供的用户界面的控件信息的获取装置来执行，该装置可以由硬件和/或软件的方式来实现，一般可集成于移动终端中，移动终端可以但不限于是各种智能手机和平板电脑。
在一个实施例中，如图1所示，提供了一种用户界面的控件信息的获取方法，具体包括如下步骤：
S11、在用户界面上插入测试界面，用户界面包括至少一个界面控件。
具体的，用户界面是指移动终端上待测应用程序(Application，APP)当前展示的界面，一般用户界面上包括多个界面控件，以实现各种功能。界面控件是指可在窗体上放置的可视化图形“元件”，如按钮和文件编辑框等，大多数界面控件是具有执行功能或通过“事件”引发代码运行并完成响应的功能。
在一些实施例中，测试界面为透明界面，以使在用户界面上插入测试界面后，不影响用户对原有用户界面内容的观看。在一些实施例中，测试界面为全屏界面，从而可以覆盖到用户界面中所有的界面控件的范围，以便于用户获取任意界面控件的信息。具体的，可以在用户需要进行应用布局优化或自动化测试等场景中，打开待测APP并进入需要调试的用户界面之后，开始应用本实施例提供的用户界面的控件信息的获取方法以在用户界面上插入该测试界面。
在本实施例中，测试界面的显示层级为最高级，即保持该测试界面始终处于待测APP任何界面的上方，并可将当前的用户界面上所有的输入事件(InputEvent)进行拦截，即针对用户在用户界面上的操作不再进行响应，以便用户对界面控件信息的查看。
S12、接收用户在测试界面的第一触控动作，并确定第一触控动作的第一触控位置。
其中，第一触控动作包括触摸点击操作、触摸按压操作或者触摸滑动操作。当第一触控动作为触摸点击操作时，第一触控位置即为第一触控动作所点击的位置在测试界面中对应的位置坐标。当第一触控动作为触摸滑动操作时，第一触控位置可以是按照预设时间间隔(如1秒)或预设间距(如1毫米)不断获取的滑动轨迹中某些点的位置在测试界面中对应的位置坐标；也可以是在确定第一触控动作滑动停止后，该第一触控动作的滑动轨迹终点在测试界面中对应的位置坐标。具体的，可通过上述的测试界面对用户的第一触控动作进行捕捉，并根据第一触控动作在测试界面中的位置确定第一触控动作的第一触控位置。
S13、确定至少一个界面控件中第一触控位置对应的目标界面控件。
具体的，用户界面中的各个界面控件的属性包括区域(bound)属性，用于表示界面控件在相对于自身坐标系中的位置和大小，即可以用来表示各个界面控件在用户界面中所处的响应区域。在本实施例中，可以将上述确定的第一触控位置与用户界面中的各个界面控件的bound属性进行匹配，以确定第一触控位置落在的界面控件响应区域中面积最小的响应区域，并将该面积最小的响应区域对应的界面控件确定为目标界面控件。
S14、获取目标界面控件的控件信息，并在测试界面显示控件信息。
在一些实施例中，控件信息可包括目标界面控件的属性信息、目标界面控件的响应区域以及用于确定目标界面控件的触控位置等。具体的，可基于安卓提供的无障碍服务获取目标界面控件的控件信息，包括基于上述无障碍服务中的节点属性获取方法获取目标界面控件的属性信息，以及基于上述无障碍服务中的节点区域获取方法获取目标界面控件的响应区域。其中，上述节点属性获取方法可以是AccessibilityNodeInfo.getText，上述节点区域获取方法可以是AccessibilityNodeInfo.bound。
示例性的，其中，属性信息可包括：名称(text)、资源身份(resource-id)、类(class)、包(package)、内容描述(content-desc)、可选(checkable)、被选(checked)、可点击(clickable)、启用(enabled)、可滚动(scrollable)、可长按(long-clickable)以及密码(password)等等，具体的，可以将相应的文本直接在测试界面中显示，在一些实施例中，相应的文本的显示不遮挡目标界面控件，以便于用户查看。
响应区域可以是用于表示目标界面控件在用户界面中所处的位置范围的信息，具体的，可以通过边框线对目标界面控件的响应区域进行标示，其中，边框线的颜色不同于目标界面控件原有颜色，边框线的形状与目标界面控件相适应。
在一些实施例中，用一颜色及形状较为明显的标记对第一触控位置进行标示，示例性的，如红色的十字形标记，以将确定的第一触控位置反馈给用户，便于用户确定第一触控动作的位置是否正确。
在上述的用户界面的控件信息的获取方法中，通过在用户界面上插入测试界面，接收用户在测试界面的第一触控动作，并确定第一触控动作的第一触控位置，再确定与第一触控位置对应的目标界面控件，进而获取目标界面控件的信息并在测试界面中进行展示。应用本实施例技术方案的移动终端实现了在不需与PC端进行连接的情况下，仅通过移动终端自身即可查看终端中所有应用程序的界面控件信息，从而提高了开发人员进行应用布局优化或自动化测试时获取界面控件信息的效率及便利性。
在一个实施例中，如图2所示，在上述实施例的基础上，在一些实施例中，确定至少一个界面控件中第一触控位置对应的目标界面控件，包括：
S131、获取每个界面控件的控件信息；界面控件包括根节点界面控件和子节点界面控件；界面控件的控件信息包括与界面控件对应的响应区域。
S132、将每个根节点界面控件的响应区域和每个子节点界面控件的响应区域中，面积最小且覆盖第一触控位置的响应区域作为目标响应区域。
S133、将目标响应区域对应的根节点界面控件或子节点界面控件作为目标界面控件。
具体的，针对某个APP来说，用户界面上通常包括多个界面控件，其中一些界面控件之间存在父子关系，如图3所示，在用户界面31中，父节点界面控件32与子节点界面控件33即为父子关系，子节点界面控件是相对其父节点界面控件的坐标系进行设置的，而根节点界面控件不存在对应的父节点界面控件，因此，在本实施例中，可以首先确定用户界面上的根节点界面控件，其中，根节点界面控件的数量可以是一个或多个。再根据界面控件之间的父子关系确定每个根节点界面控件的第一层子节点界 面控件，进而可以确定每个第一层子节点界面控件后续的第二层子节点界面控件，并可通过递归的方式遍历用户界面上所有的子节点界面控件。
在一些实施例中，可基于安卓提供的无障碍服务(AccessibilityService)获取每个界面控件的控件信息，包括基于该无障碍服务中的根节点获取方法获取用户界面上根节点界面控件的控件信息，以及基于该无障碍服务中的子节点获取方法获取用户界面上相对于每个根节点界面控件的所有子节点界面控件的控件信息。其中，根节点获取方法可以是AccessibilityInteractionClient实例类中的getRootInActiveWindow()方法，子节点获取方法可以是AccessibilityNodeInfo实例类中的getChild方法。
在获取了用户界面上每个界面控件的控件信息之后，即可将每个根节点界面控件的bound属性表征的响应区域和每个子节点界面控件的bound属性表征的响应区域与上述确定的第一触控位置进行匹配，以确定可以覆盖第一触控位置的响应区域中面积最小的目标响应区域，并将该目标响应区域对应的根节点界面控件或子节点界面控件确定为目标界面控件。
本实施例所提供的技术方案，通过获取用户界面上每个界面控件的控件信息，并分别将每个界面控件的控件信息包括的响应区域与确定的第一触控位置进行匹配，实现了简单且准确的获取目标界面控件的过程。
在一些实施例中，在获取每个界面控件的控件信息之前，该方法还包括：对用户界面中的布局结构进行去重。具体而言，在对APP的用户界面进行设计的过程中，经常会使用到一些重复且多层嵌套的布局结构，即对用户界面中的某些界面控件进行了多次的布局设计，从而造成在上述获取用户界面上所有的子节点界面控件的过程中，某些界面控件被获取了多次。
通过首先对用户界面中的布局结构进行去重，可以避免对某些子节点界面控件重复获取的情况，进而减少获取所有的界面控件的时间，以及将界面控件的响应区域与第一触控位置进行匹配的时间，从而提高目标界面控件的控件信息获取的效率。
在一些实施例中，可以在基于无障碍服务中的子节点获取方法获取用户界面上相对于每个根节点界面控件的所有子节点界面控件的控件信息之前，基于该无障碍服务中的视图类型设置方法来实现是否进行布局去重。其中，视图类型设置方法可以是IAccessibilityServiceConnection实例类中的setServiceInfo方法，并通过设置AccessibilityServiceInfo.FLAG_INCLUDE_NOT_IMPORTANT_VIEWS的属性值来实现。
在一个实施例中，如图4所示，在上述实施例的基础上，在一些实施例中，界面控件的控件信息还包括与界面控件对应的属性信息，属性信息包括是否可见属性；将每个根节点界面控件的响应区域和每个子节点界面控件的响应区域中，面积最小且覆盖第一触控位置的响应区域作为目标响应区域，包括：
S1321、根据子节点界面控件的是否可见属性过滤子节点界面控件。
S1322、从每个根节点界面控件的响应区域以及过滤后的子节点界面控件的响应区域中，筛选面积最小且覆盖第一触控位置的响应区域。
S1323、将筛选出的响应区域作为目标响应区域。
具体的，在进行应用布局优化或自动化测试等场景的过程中，用户需要调试的界面控件一般为可见的界面控件，因此，通过过滤掉子节点界面控件中用户不可见的子节点界面控件，可以减少最终获取到的子节点界面控件的数量，进而减少获取所有界面控件的时间，以及将所有界面控件的响应区域与第一触控位置进行匹配的时间，从而提高目标界面控件的控件信息获取的效率。
在一些实施例中，可基于安卓提供的无障碍服务中的用户可见节点获取方法过滤子节点界面控件，其中，用户可见节点获取方法可以是getChild.isVisibleToUser。
在上述技术方案的基础上，在一些实施例中，如图5所示，测试界面包括上层视图51和下层视图52，控件信息包括目标界面控件的属性信息和目标界面控件的响应区域，其中上层视图51与下层视图52均可为全屏大小，图5中的边框仅用于示意图层关系；相应的，获取目标界面控件的控件信息，并在测试界面显示控件信息，包括：将响应区域53以及第一触控位置54在上层视图51中显示；将属性信息(如图中的“text”)在下层视图52中显示。另外，图5中还包括用户界面31中待测APP包含的界面控件55。
具体的，上层视图的类型(Type)为电话窗口(TYPE_PHONE)，一般设置在所有应用之上，可通过自定义视图(view)，重构onMeasure和onDraw方法来实现，其中onMeasure方法主要用于自定义上层视图的尺寸，onDraw方法用于对自定义的上层视图进行绘制。而下层视图的类型(Type)为系统窗口(TYPE_SYSTEM_ALERT)，一般设置在应用窗口之上。其中，上层视图用于捕捉用户的第一触控动作，并显示第一触控动作的第一触控位置以及目标界面控件的响应区域等，同时，上层视图还用于处理当前的用户界面上的触摸事件(TouchEvent)，即原有的用户界面不再进行响应。而下层视图可用于根据目标界面控件的响应区域选取合适的位置将获取的目标界面控件的属性信息进行显示。通过将测试界面分为上层视图和下层视图，以使目标界面控件的响应区域与属性信息分别单独的进行显示，更好的实现了目标界面控件的控件信息的显示过程。
在一些实施例中，在获取目标界面控件的控件信息，并在测试界面显示控件信息之后，还包括：接收用户在测试界面的第二触控动作，并确定第二触控动作的第二触控位置；确定至少一个界面控件中第二触控位置对应的目标界面控件；获取第二触控位置对应的目标界面控件的控件信息，并更新在测试界面显示的控件信息。
具体的，可以接收用户的另一次也即第二触控动作的输入，对于第二触控位置对应的目标界面控件的控件信息的获取过程可以与第一触控位置对应的目标界面控件的控件信息的获取过程相同，在此将不再累述。在获取到第二触控位置对应的目标界面控件的控件信息之后，可以将测试界面上原有显示的控件信息进行更新，以实现多次获取用户界面上的控件信息的过程。
在一个实施例中，如图6所示，在上述实施例的基础上，在一些实施例中，在用户界面上插入测试界面之前，用户界面的控件信息的获取方法还包括：
S101、在用户界面上显示悬浮窗口。
S102、接收用户对悬浮窗口进行的第一操作指令，并插入测试界面。
其中，悬浮窗口的类型(Type)为系统窗口(TYPE_SYSTEM_ALERT)，其显示层级高于待测APP的任何界面，并且可以在用户界面上移动并监听用户操作事件，悬浮窗口可以是任意形状及任意颜色，可以用户能够方便的进行点击或拖拽操作的大小进行设置，示例性的，如图7所示，悬浮窗口71为圆形，位于用户界面31中相对于界面控件55的任意位置。具体的，可以在用户需要进行应用布局优化或自动化测试等场景中，打开待测APP后，即在APP当前用户界面的顶层插入悬浮窗口。在一些实施例中，该悬浮窗口不影响APP界面的正常跳转，以便于用户选择需要调试的界面。
第一操作指令为插入测试界面，即当监听到用户的操作事件(如单击、长按或双击等)时，插入测试界面以开始获取目标界面控件的控件信息的过程。在一些实施例中，第一操作指令还可以是关闭测试界面，即在插入测试界面之后，可以对在悬浮窗口上进行的同样或不同的操作事件响应关闭测试界面的动作，以便于用户更换需要调试的界面。
在上述技术方案的基础上，在一些实施例中，在插入测试界面之后，可通过视图移除方法移除悬浮窗口，以消除悬浮窗口对目标界面控件的控件信息显示的影响，其中，视图移除方法可以是WindowManager.removeView。若选择移除悬浮窗口，则在用户界面上插入测试界面之后，还包括：接收用户对测试界面进行的第二操作指令，移除测试界面，并恢复用户界面原有的处理用户操作事件的功能。即第二操作指令为移除测试界面，当测试界面监听到用户的操作事件(如双击、长按或右键单击等)时，执行该操作事件所指代的第二操作指令，以移除测试界面，以便于用户更换需要调试的界面。在一些实施例中，在移除测试界面之后，可以再次加载悬浮窗口，以便于再次控制插入测试界面以进入目标界面控件信息的获取功能。
在上述的用户界面的控件信息的获取方法中，通过增加一悬浮窗口来控制测试界面的插入动作，并增加了移除或重新插入测试界面的功能，使得用户可以在应用本实施例提供的用户界面的控件信息的获取方法的过程中，随时更换需要进行调试的用户界面，从而实现了单次对多个用户界面进行调试的功能，为用户的调试过程提供了便利，并进一步的提高了开发人员在进行应用布局优化或自动化测试时获取界面控件信息的效率。
在一个实施例中，如图8所示，提供了一种用户界面的控件信息的获取装置，具体包括如下模块：：
界面插入模块81，设置为在用户界面上插入测试界面，用户界面包括至少一个界面控件；
位置确定模块82，设置为接收用户在测试界面的第一触控动作，并确定第一触控动作的第一触控位置；
控件确定模块83，设置为确定至少一个界面控件中第一触控位置对应的目标界面控件；
信息显示模块84，设置为获取目标界面控件的控件信息，并在测试界面显示控件信息。
在上述技术方案的基础上，在一些实施例中，控件确定模块83，包括：
信息获取单元，设置为获取每个界面控件的控件信息；界面控件包括根节点界面控件和子节点界面控件；界面控件的控件信息包括与界面控件对应的响应区域；
区域确定单元，设置为将每个根节点界面控件的响应区域和每个子节点界面控件的响应区域中，面积最小且覆盖第一触控位置的响应区域作为目标响应区域；
控件确定单元，设置为将目标响应区域对应的根节点界面控件或子节点界面控件作为目标界面控件。
在上述技术方案的基础上，在一些实施例中，界面控件的控件信息还包括与界面控件对应的属性信息，属性信息包括是否可见属性；区域确定单元，包括：
过滤子单元，设置为根据子节点界面控件的是否可见属性过滤子节点界面控件；
筛选子单元，设置为从每个根节点界面控件的响应区域以及过滤后的子节点界面控件的响应区域中，筛选面积最小且覆盖第一触控位置的响应区域；
区域确定子单元，设置为将筛选出的响应区域作为目标响应区域。
在上述技术方案的基础上，在一些实施例中，测试界面包括上层视图和下层视图，控件信息包括目标界面控件的属性信息和目标界面控件的响应区域；
相应的，信息显示模块84，包括：
响应区域显示单元，设置为将响应区域以及第一触控位置在上层视图中显示；
属性信息显示单元，设置为将属性信息在下层视图中显示。
在上述技术方案的基础上，在一些实施例中，该用户界面的控件信息的获取装置，还包括：
位置更新模块，设置为在获取目标界面控件的控件信息，并在测试界面显示控件信息之后，接收用户在测试界面的第二触控动作，并确定第二触控动作的第二触控位置；
控件更新模块，设置为确定至少一个界面控件中第二触控位置对应的目标界面控件；
信息更新模块，设置为获取第二触控位置对应的目标界面控件的控件信息，并更新在测试界面显示的控件信息。
在上述技术方案的基础上，在一些实施例中，该用户界面的控件信息的获取装置，还包括：
窗口显示模块，设置为在用户界面上插入测试界面之前，在用户界面上显示悬浮窗口；
第一指令接收模块，设置为接收用户对悬浮窗口进行的第一操作指令，并插入测试界面。
在上述技术方案的基础上，在一些实施例中，该用户界面的控件信息的获取装置，还包括：
第二指令接收模块，设置为在用户界面上插入测试界面之后，接收用户对测试界面进行的第二操作指令，移除测试界面，并恢复用户界面原有的处理用户操作事件的功能。
在上述的用户界面的控件信息的获取装置中，通过在用户界面上插入测试界面， 接收用户在测试界面的第一触控动作，并确定第一触控动作的第一触控位置，再确定与第一触控位置对应的目标界面控件，进而获取目标界面控件的信息并在测试界面中进行展示。应用本实施例技术方案的移动终端实现了在不需与PC端进行连接的情况下，仅通过移动终端自身即可查看终端中所有应用程序的界面控件信息，从而提高了开发人员进行应用布局优化或自动化测试时获取界面控件信息的效率及便利性。
本实施例所提供的用户界面的控件信息的获取装置可执行本任意实施例所提供的用户界面的控件信息的获取方法，具备执行方法相应的功能模块和有益效果。
值得注意的是，在上述用户界面的控件信息的获取装置的实施例中，所包括的各个单元和模块只是按照功能逻辑进行划分的，但并不局限于上述的划分，只要能够实现相应的功能即可；另外，各功能单元的具体名称也只是为了便于相互区分，并不用于限制本申请的保护范围。
关于用户界面的控件信息的获取装置的具体限定可以参见上文中对于用户界面的控件信息的获取方法的限定，在此不再赘述。上述用户界面的控件信息的获取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于移动终端中的处理器中，也可以以软件形式存储于移动终端中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
在一个实施例中，如图9所示，提供了一种移动终端，图9示出了适于用来实现本申请实施方式的示例性移动终端的框图。图9显示的移动终端仅仅是一个示例，不应对本申请实施例的功能和使用范围带来任何限制。如图9所示，该移动终端包括处理器91、存储器92、输入装置93及输出装置94；移动终端中处理器91的数量可以是一个或多个，图9中以一个处理器91为例，移动终端中的处理器91、存储器92、输入装置93及输出装置94可以通过总线或其他方式连接，图9中以通过总线连接为例。
存储器92作为一种计算机可读存储介质，可设置为存储软件程序、计算机可执行程序以及模块，如本实施例中的用户界面的控件信息的获取方法对应的程序指令/模块(例如，用户界面的控件信息的获取装置中的界面插入模块81、位置确定模块82、控件确定模块83及信息显示模块84)。处理器91通过运行存储在存储器92中的软件程序、指令以及模块，从而执行移动终端的各种功能应用以及数据处理，即实现上述的用户界面的控件信息的获取方法。
存储器92可主要包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序；存储数据区可存储根据移动终端的使用所创建的数据等。此外，存储器92可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实例中，存储器92可进一步包括相对于处理器91远程设置的存储器，这些远程存储器可以通过网络连接至移动终端。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
输入装置93可设置为接收用户在移动终端界面上输入的操作事件和触控动作，以及产生与移动终端的用户设置以及功能控制有关的键信号输入等。输出装置94可包括 显示屏等显示设备，可用于向用户显示获取的目标界面控件的信息。
在上述的移动终端中，通过在用户界面上插入测试界面，接收用户在测试界面的第一触控动作，并确定第一触控动作的第一触控位置，再确定与第一触控位置对应的目标界面控件，进而获取目标界面控件的信息并在测试界面中进行展示。本实施例提供的移动终端实现了在不需与PC端进行连接的情况下，仅通过移动终端自身即可查看终端中所有应用程序的界面控件信息，从而提高了开发人员进行应用布局优化或自动化测试时获取界面控件信息的效率及便利性。
在一个实施例中，提供了一种包含计算机可执行指令的存储介质，该计算机可执行指令在由计算机处理器执行时用于执行一种用户界面的控件信息的获取方法，该方法包括：
在用户界面上插入测试界面，用户界面包括至少一个界面控件；
接收用户在测试界面的第一触控动作，并确定第一触控动作的第一触控位置；
确定至少一个界面控件中第一触控位置对应的目标界面控件；
获取目标界面控件的控件信息，并在测试界面显示控件信息。
存储介质——任何的各种类型的存储器设备或存储设备。术语“存储介质”旨在包括：安装介质，例如CD-ROM、软盘或磁带装置；计算机系统存储器或随机存取存储器，诸如DRAM、DDR RAM、SRAM、EDO RAM，兰巴斯(Rambus)RAM等；非易失性存储器，诸如闪存、磁介质(例如硬盘或光存储)；寄存器或其它相似类型的存储器元件等。存储介质可以还包括其它类型的存储器或其组合。另外，存储介质可以位于程序在其中被执行的计算机系统中，或者可以位于不同的第二计算机系统中，第二计算机系统通过网络(诸如因特网)连接到计算机系统。第二计算机系统可以提供程序指令给计算机用于执行。术语“存储介质”可以包括可以驻留在不同位置中(例如在通过网络连接的不同计算机系统中)的两个或更多存储介质。存储介质可以存储可由一个或多个处理器执行的程序指令(例如具体实现为计算机程序)。
当然，本实施例所提供的一种包含计算机可执行指令的存储介质，其计算机可执行指令不限于如上所述的方法操作，还可以执行本申请任意实施例所提供的用户界面的控件信息的获取方法中的相关操作。
计算机可读的信号介质可以包括在基带中或者作为载波一部分传播的数据信号，其中承载了计算机可读的程序代码。这种传播的数据信号可以采用多种形式，包括但不限于电磁信号、光信号或上述的任意合适的组合。计算机可读的信号介质还可以是计算机可读存储介质以外的任何计算机可读介质，该计算机可读介质可以发送、传播或者传输用于由指令执行系统、装置或者器件使用或者与其结合使用的程序。
计算机可读介质上包含的程序代码可以用任何适当的介质传输，包括——但不限于无线、电线、光缆、RF等等，或者上述的任意合适的组合。
通过以上关于实施方式的描述，所属领域的技术人员可以清楚地了解到，本申请可借助软件及必需的通用硬件来实现，当然也可以通过硬件实现，但很多情况下前者是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对相关技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机 可读存储介质中，如计算机的软盘、只读存储器(Read-Only Memory,ROM)、随机存取存储器(RandomAccess Memory,RAM)、闪存(FLASH)、硬盘或光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
以上所述实施例仅表达了本申请的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本申请构思的前提下，还可以做出若干变形和改进，这些都属于本申请的保护范围。因此，本申请专利的保护范围应以所附权利要求为准。
工业实用性
本申请提供的用户界面的控件信息的获取方法包括：在用户界面上插入测试界面，用户界面包括至少一个界面控件；接收用户在测试界面的第一触控动作，并确定第一触控动作的第一触控位置；确定至少一个界面控件中第一触控位置对应的目标界面控件；获取目标界面控件的控件信息，并在测试界面显示控件信息。由此，能够实现在不需与PC端进行连接的情况下，仅通过移动终端自身即可查看终端中所有应用程序的界面控件信息，从而提高了开发人员进行应用布局优化或自动化测试时获取界面控件信息的效率及便利性，具有很强的工业实用性。

Claims (16)

  1. 一种用户界面的控件信息的获取方法，包括：
    在用户界面上插入测试界面，所述用户界面包括至少一个界面控件；
    接收用户在所述测试界面的第一触控动作，并确定所述第一触控动作的第一触控位置；
    确定所述至少一个界面控件中所述第一触控位置对应的目标界面控件；
    获取所述目标界面控件的控件信息，并在所述测试界面显示所述控件信息。
  2. 根据权利要求1所述的用户界面的控件信息的获取方法，其中，所述确定所述至少一个界面控件中所述第一触控位置对应的目标界面控件，包括：
    获取每个所述界面控件的控件信息；所述界面控件包括根节点界面控件和子节点界面控件；所述界面控件的控件信息包括与所述界面控件对应的响应区域；
    将每个所述根节点界面控件的响应区域和每个所述子节点界面控件的响应区域中，面积最小且覆盖所述第一触控位置的响应区域作为目标响应区域；
    将所述目标响应区域对应的根节点界面控件或子节点界面控件作为所述目标界面控件。
  3. 根据权利要求2所述的用户界面的控件信息的获取方法，其中，所述界面控件的控件信息还包括与所述界面控件对应的属性信息，所述属性信息包括是否可见属性；所述将每个所述根节点界面控件的响应区域和每个所述子节点界面控件的响应区域中，面积最小且覆盖所述第一触控位置的响应区域作为目标响应区域，包括：
    根据所述子节点界面控件的是否可见属性过滤所述子节点界面控件；
    从每个所述根节点界面控件的响应区域以及过滤后的子节点界面控件的响应区域中，筛选面积最小且覆盖所述第一触控位置的响应区域；
    将筛选出的响应区域作为目标响应区域。
  4. 根据权利要求1所述的用户界面的控件信息的获取方法，其中，所述测试界面包括上层视图和下层视图，所述控件信息包括所述目标界面控件的属性信息和所述目标界面控件的响应区域；
    相应的，所述获取所述目标界面控件的控件信息，并在所述测试界面显示所述控件信息，包括：
    将所述响应区域以及所述第一触控位置在所述上层视图中显示；
    将所述属性信息在所述下层视图中显示。
  5. 根据权利要求1或4所述的用户界面的控件信息的获取方法，在所述获取所述目标界面控件的控件信息，并在所述测试界面显示所述控件信息之后，还包括：
    接收用户在所述测试界面的第二触控动作，并确定所述第二触控动作的第二触控位置；
    确定所述至少一个界面控件中所述第二触控位置对应的目标界面控件；
    获取所述第二触控位置对应的目标界面控件的控件信息，并更新在所述测试界面显示的控件信息。
  6. 根据权利要求1所述的用户界面的控件信息的获取方法，在所述在用户界面上插入测试界面之前，还包括：
    在所述用户界面上显示悬浮窗口；
    接收用户对所述悬浮窗口进行的第一操作指令，并插入所述测试界面。
  7. 根据权利要求1所述的用户界面的控件信息的获取方法，在所述在用户界面上插入测试界面之后，还包括：
    接收用户对所述测试界面进行的第二操作指令，移除所述测试界面，并恢复所述用户界面原有的处理用户操作事件的功能。
  8. 一种用户界面的控件信息的获取装置，包括：
    界面插入模块，设置为在用户界面上插入测试界面，所述用户界面包括至少一个界面控件；
    位置确定模块，设置为接收用户在所述测试界面的第一触控动作，并确定所述第一触控动作的第一触控位置；
    控件确定模块，设置为确定所述至少一个界面控件中所述第一触控位置对应的目标界面控件；
    信息显示模块，设置为获取所述目标界面控件的控件信息，并在所述测试界面显示所述控件信息。
  9. 根据权利要求8所述的用户界面的控件信息的获取装置，其中，所述控件确定模块，包括：
    信息获取单元，设置为获取每个所述界面控件的控件信息；所述界面控件包括根节点界面控件和子节点界面控件；所述界面控件的控件信息包括与所述界面控件对应的响应区域；
    区域确定单元，设置为将每个所述根节点界面控件的响应区域和每个所述子节点界面控件的响应区域中，面积最小且覆盖所述第一触控位置的响应区域作为目标响应区域；
    控件确定单元，设置为将所述目标响应区域对应的根节点界面控件或子节点界面控件作为所述目标界面控件。
  10. 根据权利要求9所述的用户界面的控件信息的获取装置，其中，所述界面控件的控件信息还包括与所述界面控件对应的属性信息，所述属性信息包括是否可见属性；所述区域确定单元，包括：
    过滤子单元，设置为根据所述子节点界面控件的是否可见属性过滤所述子节点界面控件；
    筛选子单元，设置为从每个所述根节点界面控件的响应区域以及过滤后的子节点界面控件的响应区域中，筛选面积最小且覆盖所述第一触控位置的响应区域；
    区域确定子单元，设置为将筛选出的响应区域作为目标响应区域。
  11. 根据权利要求8所述的用户界面的控件信息的获取装置，其中，所述测试界面包括上层视图和下层视图，所述控件信息包括所述目标界面控件的属性信息和所述目标界面控件的响应区域；
    相应的，所述信息显示模块，包括：
    响应区域显示单元，设置为将所述响应区域以及所述第一触控位置在所述上层视图中显示；
    属性信息显示单元，设置为将所述属性信息在所述下层视图中显示。
  12. 根据权利要求8或11所述的用户界面的控件信息的获取装置，还包括：
    位置更新模块，设置为在所述获取所述目标界面控件的控件信息，并在所述测试界面显示所述控件信息之后，接收用户在所述测试界面的第二触控动作，并确定所述第二触控动作的第二触控位置；
    控件更新模块，设置为确定所述至少一个界面控件中所述第二触控位置对应的目标界面控件；
    信息更新模块，设置为获取所述第二触控位置对应的目标界面控件的控件信息，并更新在所述测试界面显示的控件信息。
  13. 根据权利要求8所述的用户界面的控件信息的获取装置，还包括：
    窗口显示模块，设置为在所述在用户界面上插入测试界面之前，在所述用户界面上显示悬浮窗口；
    第一指令接收模块，设置为接收用户对所述悬浮窗口进行的第一操作指令，并插入所述测试界面。
  14. 根据权利要求8所述的用户界面的控件信息的获取装置，还包括：
    第二指令接收模块，设置为在所述在用户界面上插入测试界面之后，接收用户对所述测试界面进行的第二操作指令，移除所述测试界面，并恢复所述用户界面原有的处理用户操作事件的功能。
  15. 一种移动终端，包括：
    一个或多个处理器；
    存储器，设置为存储一个或多个程序；
    当所述一个或多个程序被所述一个或多个处理器执行，使得所述一个或多个处理器实现如权利要求1-7中任一所述的用户界面的控件信息的获取方法。
  16. 一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现如权利要求1-7中任一所述的用户界面的控件信息的获取方法。
PCT/CN2020/140839 2020-04-17 2020-12-29 用户界面的控件信息的获取方法、装置、终端及存储介质 WO2021208512A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010303717.9 2020-04-17
CN202010303717.9A CN111488109A (zh) 2020-04-17 2020-04-17 用户界面的控件信息的获取方法、装置、终端及存储介质

Publications (1)

Publication Number Publication Date
WO2021208512A1 true WO2021208512A1 (zh) 2021-10-21

Family

ID=71795192

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/140839 WO2021208512A1 (zh) 2020-04-17 2020-12-29 用户界面的控件信息的获取方法、装置、终端及存储介质

Country Status (2)

Country Link
CN (1) CN111488109A (zh)
WO (1) WO2021208512A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117389664A (zh) * 2023-09-28 2024-01-12 北京城建智控科技股份有限公司 唯一性控件区域划分方法、装置、电子设备和存储介质

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111488109A (zh) * 2020-04-17 2020-08-04 上海闻泰信息技术有限公司 用户界面的控件信息的获取方法、装置、终端及存储介质
CN112449227B (zh) * 2020-10-26 2022-09-20 广州视源电子科技股份有限公司 触屏应用兼容遥控器操作的交互方法、装置及智能电视
CN112783789B (zh) * 2021-02-05 2024-01-12 腾讯科技（深圳）有限公司 一种适配测试方法、设备及计算机可读存储介质
CN113282488B (zh) * 2021-05-13 2022-11-25 展讯通信（上海）有限公司 终端的测试方法及装置、存储介质、终端
CN113253891B (zh) * 2021-05-13 2022-10-25 展讯通信（上海）有限公司 终端的控制方法及装置、存储介质、终端
CN113296655A (zh) * 2021-06-10 2021-08-24 湖北亿咖通科技有限公司 显示屏幕的控制方法、装置及设备
CN113552992A (zh) * 2021-08-03 2021-10-26 网易（杭州）网络有限公司 一种控件显示控制方法、装置、设备及介质

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130054652A1 (en) * 2009-09-08 2013-02-28 Telecom Italia S.P.A. Method for exploring a catalog of digital information contents
CN107038112A (zh) * 2016-10-13 2017-08-11 腾讯科技（北京）有限公司 应用界面的调试方法及装置
CN109783343A (zh) * 2017-11-13 2019-05-21 北京嘀嘀无限科技发展有限公司 控件测试方法、装置、客户端设备和计算机可读存储介质
CN111488109A (zh) * 2020-04-17 2020-08-04 上海闻泰信息技术有限公司 用户界面的控件信息的获取方法、装置、终端及存储介质

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090044144A1 (en) * 2007-08-06 2009-02-12 Morris Robert P Methods And Apparatus For Sharing User Interface Widget Annotations
CN105912236A (zh) * 2016-04-11 2016-08-31 天脉聚源(北京)传媒科技有限公司 一种测试信息的获取方法及装置
CN108228065B (zh) * 2016-12-09 2021-10-01 阿里巴巴集团控股有限公司 探测ui控件信息的方法、装置和电子设备
CN110377338A (zh) * 2019-07-23 2019-10-25 网易无尾熊（杭州）科技有限公司 信息标注方法、介质、装置和计算设备

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130054652A1 (en) * 2009-09-08 2013-02-28 Telecom Italia S.P.A. Method for exploring a catalog of digital information contents
CN107038112A (zh) * 2016-10-13 2017-08-11 腾讯科技（北京）有限公司 应用界面的调试方法及装置
CN109783343A (zh) * 2017-11-13 2019-05-21 北京嘀嘀无限科技发展有限公司 控件测试方法、装置、客户端设备和计算机可读存储介质
CN111488109A (zh) * 2020-04-17 2020-08-04 上海闻泰信息技术有限公司 用户界面的控件信息的获取方法、装置、终端及存储介质

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117389664A (zh) * 2023-09-28 2024-01-12 北京城建智控科技股份有限公司 唯一性控件区域划分方法、装置、电子设备和存储介质

Also Published As

Publication number Publication date
CN111488109A (zh) 2020-08-04

Similar Documents

Publication Publication Date Title
WO2021208512A1 (zh) 用户界面的控件信息的获取方法、装置、终端及存储介质
US10181981B2 (en) Performance and security management of applications deployed in hosted computing environments
US10114727B2 (en) Display window contextual visualization for application performance monitoring
US9372782B1 (en) Dynamic tracing framework for debugging in virtualized environments
CN107506300B (zh) 一种用户界面测试方法、装置、服务器和存储介质
US10756959B1 (en) Integration of application performance monitoring with logs and infrastructure
US8601442B2 (en) Marker correlation of application constructs with visualizations
CN111897740B (zh) 用户界面的测试方法、装置、电子设备及计算机可读介质
CN109947635B (zh) 一种数据上报方法、装置、存储介质及终端设备
CN110865898B (zh) 崩溃调用栈聚合的方法、装置、介质和设备
CN111045653B (zh) 系统生成方法、装置、计算机可读介质及电子设备
CN110377341B (zh) 一种监听无响应异常的方法、装置、介质和电子设备
WO2023116216A1 (zh) 数据可视化方法、装置、设备及存储介质
CN111782490A (zh) 数据采集方法及装置
CN108023905B (zh) 物联网应用系统及方法
CN112286782A (zh) 控件遮挡检测方法、软件检测方法、装置及介质
WO2018205392A1 (zh) 控制响应区域显示控制方法、电子装置及存储介质
CN105975306A (zh) 电子设备的应用程序启动管理方法和装置
CN113094236A (zh) 一种系统数据采集方法、装置、计算机设备及存储介质
CN111045926B (zh) 一种应用程序卡顿的检测方法、装置、介质和电子设备
CN110889116B (zh) 一种广告拦截方法、装置及电子设备
CN112241373A (zh) 自动化测试方法、测试装置、处理器和测试系统
US9069899B2 (en) Integrating diagnostic information in development environment
CN108520063A (zh) 事件日志的处理方法、装置及终端设备
US9612802B1 (en) Contextual interactive program feedback

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20931145

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20931145

Country of ref document: EP

Kind code of ref document: A1