WO2021088865A1 - 手势操作方法和设备 - Google Patents

手势操作方法和设备 Download PDF

Info

Publication number
WO2021088865A1
WO2021088865A1 PCT/CN2020/126477 CN2020126477W WO2021088865A1 WO 2021088865 A1 WO2021088865 A1 WO 2021088865A1 CN 2020126477 W CN2020126477 W CN 2020126477W WO 2021088865 A1 WO2021088865 A1 WO 2021088865A1
Authority
WO
WIPO (PCT)
Prior art keywords
gesture operation
gesture
terminal device
computing node
instruction
Prior art date
Application number
PCT/CN2020/126477
Other languages
English (en)
French (fr)
Inventor
赵哲
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2021088865A1 publication Critical patent/WO2021088865A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72406—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by software upgrading or downloading
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72469—User interfaces specially adapted for cordless or mobile telephones for operating the device by selecting functions from two or more displayed items, e.g. menus or icons
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/725—Cordless telephones
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M2250/00—Details of telephonic subscriber devices
    • H04M2250/22—Details of telephonic subscriber devices including a touch pad, a touch sensor or a touch detector

Definitions

  • the embodiments of the present application relate to the field of terminal technology, and in particular, to a gesture operation method and device.
  • the mobile device can support users to access the computer's operating system for office work, it can greatly improve the user's office convenience.
  • the user accesses the computer's operating system and operates the application software installed on the computer, based on the usage habit of the mobile phone device, the user will operate the application software through the habitual gestures of operating the mobile phone device, such as: drag the screen with two fingers in reverse Gestures to express the need to magnify the contents of the window. How to respond to the user's operation gestures is a problem that needs to be solved urgently at present.
  • the present application provides a gesture operation method and device, which can make the user's gesture of operating the mobile phone device always be responsive, thereby improving the user's experience.
  • the aforementioned gesture information is zoom gesture information.
  • the switching module includes a hook program, and the switching module is used to detect whether the application software corresponding to the front window generates response information for executing the gesture operation instruction within the preset time range through the hook program.
  • an embodiment of the present application provides a computing node, including:
  • a memory for storing executable instructions of the processor
  • an embodiment of the present application provides a communication system including the foregoing computing node and terminal equipment.
  • the terminal device sends a gesture operation instruction to the computing node.
  • the gesture operation instruction includes gesture information for the user to operate the terminal device.
  • the gesture operation instruction is used to instruct the computing node to contact the computing node.
  • the front-end window of the computing node performs gesture operations; after receiving the above-mentioned gesture operation instruction, the computing node detects whether the above-mentioned gesture operation is performed on the front-end window; if the front-end window is not performed the above-mentioned gesture operation, the computing node sends the instruction to the terminal device, and the terminal device Instruct to execute the gesture operation corresponding to the gesture information.
  • the user's gestures for operating the terminal device can always be responded to, which makes up for the defect that the user's gestures for operating the terminal device cannot be responded when the software operated by the user does not support the corresponding function, and improves the user experience.
  • FIG. 1a is the first structural diagram of the system 10 provided by an embodiment of this application.
  • FIG. 2 is a schematic diagram of an application program APP provided by an embodiment of the application
  • Embodiment 4 is a signaling flowchart of Embodiment 1 of a gesture operation method provided by an embodiment of this application;
  • FIG. 5 is a schematic diagram of a zoom-in gesture provided by an embodiment of the application.
  • FIG. 6 is a schematic diagram of the response of the virtual machine 13 provided by an embodiment of the application to the zoom-in gesture shown in FIG. 5;
  • FIG. 9 is a schematic structural diagram of a terminal device 11 provided by an embodiment of this application.
  • FIG. 10 is a schematic diagram of the hardware structure of the computing node 12 provided by an embodiment of the application.
  • FIG. 12 is a schematic structural diagram of a communication system 100 provided by an embodiment of this application.
  • FIG. 1a is an architecture diagram of a system 10 provided by an embodiment of the application.
  • the system 10 includes: a terminal device 11 and a computing node 12, and a connection is established between the terminal device 11 and the computing node 12 through wireless communication technology.
  • the terminal device 11 may be a mobile phone, a tablet computer, a smart watch, a television, or other electronic devices with a display screen, as long as it has the function of installing and running an application program APP.
  • the terminal device 11 may also be a wearable device.
  • Wearable devices can also be called wearable smart devices. It is a general term for using wearable technology to intelligently design everyday wear and develop wearable devices, such as glasses, gloves, watches, clothing and shoes.
  • a wearable device is a portable device that is directly worn on the body or integrated into the user's clothes or accessories. Wearable devices are not only a kind of hardware device, but also realize powerful functions through software support, data interaction, and cloud interaction.
  • the computing node 12 may be a device capable of running application software, such as a virtual machine or a server.
  • FIG. 1b illustrates the architecture diagram of the system 10 when the computing node 12 is a virtual machine.
  • a cloud computer module can also be installed on the virtual machine 13.
  • the cloud computer module is used to transmit the desktop of the virtual machine 13 to the user, and convert the user's operation on the terminal device 11 to the operation of the virtual machine 13 in the window system.
  • the user can operate the virtual machine 13 on the terminal device 11.
  • the cloud computer module can convert the gesture information sent by the terminal device 11 into a format that can be recognized by the Window system.
  • the terminal device 11 can install an application APP that supports the terminal device 11 to access the virtual machine 13. After the user accesses the virtual machine 13 through the application APP, the user can operate various application software installed on the virtual machine 13 under the above-mentioned specific operating system .
  • the terminal device 11 collects the gesture information of the user operating the terminal device 11, and then sends it to the cloud computer module of the virtual machine 13, and the cloud computer module converts the gesture information into a recognizable format, such as the format corresponding to mouse input Or enter the corresponding format with the keyboard, and the cloud computer module further sends the converted gesture information to the Windows system.
  • the virtual machine 13 can detect whether the front-end window is performed with the gesture operation, that is, whether the application software corresponding to the front-end window has the corresponding function is detected, When it is detected that the application software does not have the corresponding function, the terminal device 11 is instructed to execute the local gesture operation instruction, so that the user's gesture operation of the terminal device 11 can always be responded to, which makes up for the user operation when the software operated by the user does not support the corresponding function. The defect that the gestures of the terminal device 11 cannot be responded to improves the user experience.
  • FIG. 4 is a signaling flowchart of Embodiment 1 of a gesture operation method according to an embodiment of the application. As shown in Figure 4, the method of this embodiment may include:
  • the terminal device 11 sends a gesture operation instruction to the virtual machine 13.
  • the gesture operation instruction includes gesture information for the user to operate the terminal device 11, and the gesture operation instruction is used to instruct the virtual machine 13 to perform a gesture operation on the front window of the virtual machine 13 according to the gesture information .
  • the user's gesture for operating the terminal device 11 is a sliding gesture
  • the terminal device 11 collects gesture information as sliding information
  • the terminal device 11 sends a sliding instruction carrying the sliding information to the virtual machine 13, and the sliding The instruction may be used to instruct the virtual machine 13 to slide the front window of the virtual machine 13 according to the sliding information.
  • the following uses the first scenario as an example to describe the process of the virtual machine 13 zooming the front-end window of the virtual machine 13 according to the zooming information:
  • Figures 5 to 6 show schematic diagrams of achieving zooming in the above-mentioned manner.
  • the scenario corresponding to Figure 5 to Figure 6 can be that after the user enters the interface shown in Figure 3 through the cloud computer shown in Figure 2, and edits the document 1 shown in Figure 5 through the office software A, when the user needs to enlarge the content of the document 1, based on The experience of using the mobile phone device will use the zoom-in gesture shown in Figure 5 to express the need to zoom in on the content of the document 1.
  • the terminal device 11 can collect the gesture information of the zoom-in gesture, and carry the collected gesture information in the zoom instruction
  • the virtual machine 13 redraws the window content corresponding to the document 1 in the achievable manner described above, the document 1 jumps to the state shown in FIG. 6.
  • the virtual machine 13 detects whether the gesture operation is performed on the front-end window.
  • not all of the application software installed on the virtual machine 13 supports the zoom function based on the zoom gesture.
  • the virtual machine 13 will not respond to the zoom gesture. In order to compensate for the defect that the user inputs the zoom gesture but does not get a zoom response, it can be detected whether the front-end window has been zoomed or not.
  • the virtual machine 13 After the virtual machine 13 receives the gesture operation instruction, it generates a corresponding response message when the user performs a gesture operation on the front-end window of the virtual machine 13 according to the gesture information of the user operating the terminal device 11. Based on this, you can consider using the The response message implements the above detection process.
  • the virtual machine 13 may include a switching module, which detects whether the application software corresponding to the front-end window generates response information for executing the gesture operation instruction within a preset time range; if not, it determines all The front-end window has not been executed with the gesture operation; if so, it is determined that the front-end window has been executed with the gesture operation.
  • the switching module detects that the front-end window has performed the gesture operation, indicating that the virtual machine 13 has responded to the user's gesture of operating the terminal device 11, and the switching module turns off the timer at this time.
  • the switching module detects that the gesture operation is not performed on the front window, and executes S403.
  • the virtual machine 13 sends an instruction to the terminal device 11.
  • the switching module in the virtual machine 13 detects that the front-end window is not performing the gesture operation, the switching module sends an instruction to the terminal device 11.
  • the virtual machine 13 will grab the entire desktop of the virtual machine 13 every time it finishes drawing, and send the grabbing result to the terminal device 11, and the terminal device 11 will receive the virtual machine. After the instruction is sent by 13, according to the zoom information corresponding to the zoom gesture of the user operating the terminal device 11, the most recently received capture result is zoomed and displayed.
  • FIG. 7 shows a schematic diagram of the terminal device 11 implementing zooming according to the above-mentioned manner.
  • the user's gesture for operating the terminal device 11 is the zooming gesture shown in FIG. 5, and if the current software does not support the zooming function shown in FIG. 6, the zooming result shown in FIG. 7 can be jumped to.
  • Figure 7 since the terminal device 11 uses the desktop display content as a picture for zooming, not only the content of the window where the user’s finger falls is enlarged, other content is also enlarged accordingly, such as: “in the taskbar” "Document 1" and the words “File", “Start”, “Insert", and "Review” in the menu bar.
  • the virtual machine after receiving the gesture operation instruction, the virtual machine can detect whether the application software corresponding to the front-end window has the corresponding function, and when it is detected that the application software does not have the corresponding function, instruct the terminal device to come
  • Executing local gesture operation instructions enables the user's gestures to operate the terminal device to always be responsive, which makes up for the defect that the user's gestures of the terminal device cannot be responded when the application software operated by the user does not support the corresponding function, and improves the user experience.
  • FIG. 8 is a schematic structural diagram of a computing node 12 provided by an embodiment of the application. As shown in FIG. 8, the computing node 12 includes:
  • the cloud computer module 121 may be used to receive the gesture operation instruction of S401 in the foregoing method embodiment.
  • the gesture operation instruction includes gesture information for the user to operate the terminal device 11, and the gesture operation instruction is used to instruct the computing node 12 to perform a gesture operation on the front-end window of the computing node 12;
  • the switching module 122 may be used to execute S402 and S403 in the foregoing method embodiment.
  • the aforementioned gesture information is zoom gesture information.
  • the computing node shown in the embodiment of the present application can execute the steps performed on the computing node side in the foregoing method embodiment, and the implementation principles and beneficial effects are similar, and will not be repeated here.
  • FIG. 9 is a schematic structural diagram of a terminal device 11 provided by an embodiment of the application. As shown in FIG. 9, the terminal device 11 includes:
  • the sending module 111 can be used to send the gesture operation instruction of S401 in the foregoing method embodiment.
  • the gesture operation instruction includes gesture information for the user to operate the terminal device 11, and the gesture operation instruction is used to instruct the computing node 12 to perform a gesture operation on the front-end window of the computing node 12;
  • the receiving module 112 may be used to receive the instruction of S403 in the foregoing method embodiment.
  • the instruction is sent when the computing node 12 detects that the front-end window of the computing node 12 is not performing the gesture operation, and the instruction is used to instruct the terminal device 11 to execute the local gesture operation instruction;
  • the execution module 113 may be used to execute S404 in the foregoing method embodiment.
  • the computing node shown in the embodiment of the present application can execute the steps performed on the terminal device side in the foregoing method embodiment, and the implementation principles and beneficial effects are similar, and will not be repeated here.
  • FIG. 10 is a schematic diagram of the hardware structure of the computing node 12 provided by an embodiment of the application. As shown in FIG. 10, the computing node 12 provided by the embodiment of the present application may include:
  • the memory 123 is used to store program instructions.
  • the processor 124 is configured to implement the steps executed on the computing node side in the foregoing method embodiment when the program instructions are executed.
  • the implementation principles and beneficial effects are similar, and details are not described herein again.
  • the memory 114 is used to store program instructions.
  • the processor 115 is configured to implement the steps executed on the terminal device side in the foregoing method embodiment when the program instructions are executed.
  • the implementation principles and beneficial effects are similar, and details are not described herein again.
  • FIG. 12 is a schematic structural diagram of a communication system 100 provided by an embodiment of this application. As shown in FIG. 12, the communication system 100 includes: the computing node 12 shown in FIG. 10 and the terminal device 11 shown in FIG.
  • the embodiment of the present application also provides a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, the steps performed on the computing node side in the foregoing method embodiment are implemented.
  • the embodiment of the present application also provides a computer-readable storage medium on which a computer program is stored, and when the computer program is executed by a processor, the steps performed on the terminal device side in the foregoing method embodiment are implemented.
  • the embodiment of the present application also provides a program product, the program product includes a computer program, the computer program is stored in a readable storage medium, and at least one processor can read the computer program from the readable storage medium, When the at least one processor executes the computer program, the steps executed on the computing node side in the foregoing method embodiments are implemented.
  • the embodiment of the present application also provides a program product, the program product includes a computer program, the computer program is stored in a readable storage medium, and at least one processor can read the computer program from the readable storage medium, When the at least one processor executes the computer program, the steps executed on the terminal device side in the foregoing method embodiments are implemented.
  • the disclosed device and method may be implemented in other ways.
  • the device embodiments described above are merely illustrative.
  • the division of the modules is only a logical function division, and there may be other division methods in actual implementation, for example, multiple units or components may be combined or It can be integrated into another system, or some features can be ignored or not implemented.
  • the displayed or discussed mutual coupling or direct coupling or communication connection may be indirect coupling or communication connection through some interfaces, devices or units, and may be in electrical, mechanical or other forms.
  • the units described as separate components may or may not be physically separated, and the components displayed as units may or may not be physical units, that is, they may be located in one place, or they may be distributed on multiple network units. Some or all of the units may be selected according to actual needs to achieve the objectives of the solutions of the embodiments.
  • the functional units in the various embodiments of the present application may be integrated into one processing unit, or each unit may exist alone physically, or two or more units may be integrated into one unit.
  • the above-mentioned integrated unit may be implemented in the form of hardware, or may be implemented in the form of hardware plus software functional units.
  • the above-mentioned integrated unit implemented in the form of a software functional unit may be stored in a computer readable storage medium.
  • the above-mentioned software functional unit is stored in a storage medium and includes several instructions to make a computer device (which can be a personal computer, a server, or a network device, etc.) or a processor (English: processor) execute the various embodiments of this application Part of the method.
  • the aforementioned storage media include: U disk, mobile hard disk, read-only memory (English: Read-Only Memory, abbreviated as: ROM), random access memory (English: Random Access Memory, abbreviated as: RAM), magnetic disk or optical disk, etc.
  • ROM Read-Only Memory
  • RAM Random Access Memory
  • magnetic disk or optical disk etc.

Abstract

本申请提供一种手势操作方法和设备。该方法包括：接收终端设备发送的手势操作指令，所述手势操作指令中包括用户操作所述终端设备的手势信息，所述手势操作指令用于指示所述计算节点对所述计算节点的前端窗口进行手势操作；检测所述前端窗口是否被执行了所述手势操作；如果所述前端窗口没有被执行所述手势操作，则发送指令至所述终端设备，指示所述终端设备执行本端的手势操作指令。使得用户操作终端设备的手势始终能够得到响应，弥补了用户操作的应用软件不支持相应功能时，用户操作终端设备的手势无法得到响应的缺陷，提升了用户体验。

Description

手势操作方法和设备 技术领域
本申请实施例涉及终端技术领域，尤其涉及一种手势操作方法和设备。
背景技术
用户在出差、旅行等不方便携带电脑的情况下，手机设备如果能够支持用户接入电脑的操作系统进行办公，可极大提高用户办公便捷度。用户在接入电脑的操作系统并操作电脑上安装的应用软件时，基于对手机设备的使用习惯，会通过操作手机设备的习惯手势来操作应用软件，比如：会用双指反向拖动屏幕的手势来表达放大窗口内容的需求。如何对用户的操作手势进行响应是目前亟待解决的问题。
现有技术中，手机设备对手势信息进行收集，然后发送给远端虚拟机，虚拟机进一步找到前端窗口对应的应用软件，并将该手势信息发送给该应用软件，该应用软件基于收到的手势信息作出响应。
然而，有的应用软件在收到手势信息后，不会作出响应，即不支持对窗口的手势操作，导致用户在手机设备上对这类应用软件的操作手势得不到响应，用户体验不高。
发明内容
本申请提供一种手势操作方法和设备，可以使用户操作手机设备的手势始终能够得到响应，从而可以提高用户的体验。
第一方面，本申请实施例提供一种手势操作方法，可应用于计算节点，计算节点接收终端设备发送的手势操作指令，该手势操作指令中包括用户操作终端设备的手势信息，该手势操作指令用于指示计算节点对计算节点的前端窗口进行手势操作；计算节点接收到上述手势操作指令后，检测前端窗口是否被执行了上述手势操作；如果前端窗口没有被执行上述手势操作，计算节点发送指令至终端设备，指示终端设备在该终端设备执行上述手势信息对应的手势操作。
通过第一方面提供的手势操作方法，计算节点在接收到手势操作指令后，可对前端窗口是否被执行手势操作进行检测，即，对前端窗口对应的应用软件是否具备相应的功能进行检测，在检测到应用软件不具备相应功能时，指示终端设备来执行本端的手势操作指令，使得用户操作终端设备的手势始终能够得到响应，弥补了用户操作的软件不支持相应功能时，用户操作终端设备的手势无法得到响应的缺陷，提升了用户体验。
在一种可能的实现方式中，上述检测前端窗口是否被执行了手势操作包括：检测在预设时间范围内前端窗口对应的应用软件是否产生执行手势操作指令的响应信息；若否，则确定前端窗口没有被执行手势操作；若是，则确定前端窗口被执行了手势操作。
在一种可能的实现方式中，上述手势信息为缩放手势信息。
在一种可能的实现方式中，上述检测在预设时间范围内前端窗口对应的应用软件是否产生执行手势操作指令的响应信息，包括：通过钩子hook程序检测在预设时间范围内前端窗口对应的应用软件是否产生执行手势操作指令的响应信息。
第二方面，本申请实施例提供一种手势操作方法，可应用于终端设备，终端设备向计算节点发送手势操作指令，该手势操作指令中包括用户操作终端设备的手势信息，该 手势操作指令用于指示计算节点对计算节点的前端窗口进行手势操作；终端设备接收计算节点发送的指令，该指令是计算节点检测到计算节点的前端窗口没有被执行手势操作时发送的，终端设备根据接收到的指令在终端设备执行上述手势信息对应的手势操作。
通过第二方面提供的手势操作方法，终端设备向计算节点发送手势操作指令后，接收计算节点检测到前端窗口没有被执行手势操作时发送的指令，并根据该指令执行本端的手势操作。使得用户操作终端设备的手势始终能够得到响应，弥补了用户操作的软件不支持相应功能时，用户操作终端设备的手势无法得到响应的缺陷，提升了用户体验。
在一种可能的实现方式中，上述手势信息为缩放手势信息。
第三方面，本申请实施例提供一种计算节点，包括：云电脑模块和切换模块，云电脑模块用于接收终端设备发送的手势操作指令，该手势操作指令中包括用户操作所述终端设备的手势信息，该手势操作指令用于指示计算节点对计算节点的前端窗口进行手势操作；切换模块用于检测前端窗口是否被执行了手势操作，还用于如果前端窗口没有被执行手势操作，则发送指令至终端设备，指示终端设备在终端设备执行上述手势信息对应的手势操作。
第三方面提供的计算节点，设置有切换模块，云电脑模块接收到终端设备发送的手势操作指令后，可通知该切换模块对前端窗口是否被执行手势操作进行检测，即，对前端窗口对应的应用软件是否具备相应的功能进行检测，在检测到应用软件不具备相应功能时，切换模块可向终端设备发送指令来指示终端设备来执行本端的手势操作，使得用户操作终端设备的手势始终能够得到响应，弥补了用户操作的软件不支持相应功能时，用户操作终端设备的手势无法得到响应的缺陷，提升了用户体验。
在一种可能的实现方式中，切换模块用于检测在预设时间范围内前端窗口对应的应用软件是否产生执行手势操作指令的响应信息；若否，则确定前端窗口没有被执行手势操作；若是，则确定前端窗口被执行了手势操作。
在一种可能的实现方式中，上述手势信息为缩放手势信息。
在一种可能的实现方式中，切换模块包括钩子hook程序，切换模块用于通过所述钩子hook程序检测在预设时间范围内前端窗口对应的应用软件是否产生执行手势操作指令的响应信息。
第四方面，本申请实施例提供一种终端设备，包括：发送模块、接收模块和执行模块。发送模块用于向计算节点发送手势操作指令，该手势操作指令中包括用户操作所述终端设备的手势信息，该手势操作指令用于指示计算节点对计算节点的前端窗口进行手势操作；接收模块用于接收计算节点发送的指令，该指令是计算节点检测到计算节点的前端窗口没有被执行手势操作时发送的，所述指令用于指示终端设备在终端设备执行所述手势信息对应的手势操作；执行模块用于根据所述指令执行所述手势信息对应的手势操作。
第四方面提供的终端设备，设置有接收模块和执行模块，在发送模块向计算节点发送手势操作指令后，通过接收模块接收计算节点检测到前端窗口没有被执行所述手势操作时发送的指令，该接收模块接收到该指令后，通知执行模块根据该指令执行本端的手势操作，使得用户操作终端设备的手势始终能够得到响应，弥补了用户操作的软件不支持相应功能时，用户操作终端设备的手势无法得到响应的缺陷，提升了用户体验。
第五方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述手势操作方法中计算节点侧的步骤。
第五方面提供的计算机可读存储介质，通过执行上述手势操作方法中计算节点侧的步骤，可对前端窗口是否被执行手势操作进行检测，即，对前端窗口对应的应用软件是否具备相应的功能进行检测，在检测到应用软件不具备相应功能时，指示终端设备来执行本端的手势操作指令，使得用户操作终端设备的手势始终能够得到响应，弥补了用户操作的软件不支持相应功能时，用户操作终端设备的手势无法得到响应的缺陷，提升了用户体验。
第六方面，本申请实施例提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述手势操作方法中终端设备侧的步骤。
第六方面提供的计算机可读存储介质，通过执行上述手势操作方法中终端设备侧的步骤，可接收计算节点检测到前端窗口没有被执行手势操作时发送的指令，并根据该指令执行对应的手势操作。使得用户操作终端设备的手势始终能够得到响应，弥补了用户操作的软件不支持相应功能时，用户操作终端设备的手势无法得到响应的缺陷，提升了用户体验。
第七方面，本申请实施例提供一种计算节点，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来实现上述手势操作方法中计算节点侧的步骤。
第七方面提供的计算节点，通过执行上述手势操作方法中计算节点侧的步骤，可对前端窗口是否被执行手势操作进行检测，即，对前端窗口对应的应用软件是否具备相应的功能进行检测，在检测到应用软件不具备相应功能时，指示终端设备来执行本端的手势操作指令，使得用户操作终端设备的手势始终能够得到响应，弥补了用户操作的软件不支持相应功能时，用户操作终端设备的手势无法得到响应的缺陷，提升了用户体验。
第八方面，本申请实施例提供一种终端设备，包括：
处理器；以及
存储器，用于存储所述处理器的可执行指令；
其中，所述处理器配置为经由执行所述可执行指令来实现上述手势操作方法中终端设备侧的步骤。
第八方面提供的终端设备，通过执行上述手势操作方法中终端设备侧的步骤，可接收计算节点检测到前端窗口没有被执行手势操作时发送的指令，并根据该指令执行对应的手势操作。使得用户操作终端设备的手势始终能够得到响应，弥补了用户操作的软件不支持相应功能时，用户操作终端设备的手势无法得到响应的缺陷，提升了用户体验。
第九方面，本申请实施例提供一种通信系统，包括上述计算节点和终端设备。
第九方面提供的通信系统，用户操作终端设备后，终端设备向计算节点发送手势操作指令，该手势操作指令中包括用户操作终端设备的手势信息，该手势操作指令用于指示计算节点对计算节点的前端窗口进行手势操作；计算节点接收到上述手势操作指令后，检测前端窗口是否被执行了上述手势操作；如果前端窗口没有被执行上述手势操作，计算节点发送指令至终端设备，终端设备根据该指令执行手势信息对应的手势操作。使得用户操作终端设备的手势始终能够得到响应，弥补了用户操作的软件不支持相应功能时，用户操作终端设备的手势无法得到响应的缺陷，提升了用户体验。
附图说明
图1a为本申请实施例提供的系统10的架构图一；
图1b为本申请实施例提供的系统10的架构图二；
图2为本申请实施例提供的应用程序APP的示意图；
图3为本申请实施例提供的虚拟机13的桌面示意图；
图4为本申请实施例提供的手势操作方法实施例一的信令流程图；
图5为本申请实施例提供的放大手势示意图；
图6为本申请实施例提供的虚拟机13对图5所示放大手势作出的响应的示意图；
图7为本申请实施例提供的终端设备11对图5所示放大手势作出的响应的示意图；
图8为本申请实施例提供的一种计算节点12的结构示意图；
图9为本申请实施例提供的一种终端设备11的结构示意图；
图10为本申请实施例提供的计算节点12的硬件结构示意图；
图11为本申请实施例提供的终端设备11的硬件结构示意图；
图12为本申请实施例提供的一种通信系统100的结构示意图。
具体实施方式
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
图1a为本申请实施例提供的系统10的架构图。如图1a所示，该系统10中包括：终端设备11和计算节点12，终端设备11和计算节点12之间通过无线通信技术建立连接。终端设备11可以是手机，平板电脑，智能手表，电视机以及其他具有显示屏的电子设备，其只要具备能够安装和运行应用程序APP的功能即可。
作为示例而非限定，在本申请实施例中，该终端设备11还可以是可穿戴设备。可穿戴设备也可以称为穿戴式智能设备，是应用穿戴式技术对日常穿戴进行智能化设计、开发出可以穿戴的设备的总称，如眼镜、手套、手表、服饰及鞋等。可穿戴设备即直接穿在身上，或是整合到用户的衣服或配件的一种便携式设备。可穿戴设备不仅仅是一种硬件设备，更是通过软件支持以及数据交互、云端交互来实现强大的功能。计算节点12可以为虚拟机或者服务器等能够运行应用软件的设备。图1b对计算节点12为虚拟机时系统10的架构图进行示意。图1b所示系统10包括：终端设备11和虚拟机13。本申请实施例以图1b所示架构图为基础，对本申请实施例涉及的手势操作方法进行说明。虚拟机13上可以安装特定的操作系统，该特定操作系统包括但不限于Windows系统、纯DOS系统、LINUX系统以及MAC OSX系统等。虚拟机13上还可安装应用软件，比如：办公软件、游戏软件以及其他功能软件等。
虚拟机13上还可安装云电脑模块，该云电脑模块用于将虚拟机13的桌面传输给用户，并将用户在终端设备11上的操作转换为虚拟机13在window系统中的操作，使用户在终端设备11上可以对虚拟机13进行操作，例如该云电脑模块可将终端设备11发送的手势信息转换为Window系统能够识别的格式。
终端设备11可以安装支持终端设备11接入虚拟机13的应用程序APP，用户通过该 应用程序APP接入虚拟机13后，可在上述特定操作系统下操作虚拟机13上安装的各种应用软件。
通常，用户通过终端设备11上的应用程序APP操作虚拟机13上的应用软件时，基于对终端设备11的使用经验，会通过操作终端设备11的习惯手势来操作应用软件，比如：会用双指反向拖动屏幕的手势来表达放大窗口内容的需求。这种情况下，终端设备11对用户操作终端设备11的手势信息进行收集，然后发送给虚拟机13的云电脑模块，云电脑模块将手势信息转换为可识别的格式，比如鼠标输入对应的格式或者键盘输入对应的格式，云电脑模块进一步将转换格式后的手势信息发送给Windows系统，Windows系统接收到该手势信息后，找到前端窗口对应的应用软件，并将该手势信息发送给该应用软件，该应用软件基于收到的手势信息作出响应。这种方法实现的响应和用户使用电脑有相同的效果，用户体验高。然而，有的应用软件在收到Windows系统发送的手势信息后，不会作出响应，即不支持对窗口的手势操作，这样，用户在终端设备11上对这类应用的操作手势得不到响应，用户体验降低。
本申请实施例考虑到上述情况，提出一种手势操作方法，终端设备11在收集到用户操作终端设备11的手势信息后，向虚拟机13发送手势操作指令，该手势操作指令中包括用户操作终端设备11的手势信息，手势操作指令用于指示虚拟机13对虚拟机13的前端窗口进行手势操作；虚拟机13接收到上述手势操作指令后，检测前端窗口是否被执行了上述手势操作，若检测结果为前端窗口没有被执行上述手势操作，则向终端设备11发送指令，指示终端设备11执行本端的手势操作指令。本申请实施例提供的手势操作方法，虚拟机13在接收到手势操作指令后，可对前端窗口是否被执行手势操作进行检测，即，对前端窗口对应的应用软件是否具备相应的功能进行检测，在检测到应用软件不具备相应功能时，指示终端设备11来执行本端的手势操作指令，使得用户操作终端设备11的手势始终能够得到响应，弥补了用户操作的软件不支持相应功能时，用户操作终端设备11的手势无法得到响应的缺陷，提升了用户体验。
图2对终端设备11上安装的应用程序APP进行示意，其中，本申请实施例涉及到的应用程序APP的名称用云电脑示意；图3对用户通过图2所示云电脑接入特定操作系统的用户界面进行示意，图3所示用户界面提供的应用软件有办公软件A、游戏软件B和社交软件C。用户点击图2中的云电脑后，便可跳转到图3所示用户界面。需要说明的是：图2所示应用程序APP的名称以及图3所示应用软件的类型和名称仅是一种示意，本申请实施例不以此为限。
在上述图1b所示的系统架构的基础上，图4为本申请实施例提供的一种手势操作方法实施例一的信令流程图。如图4所示，本实施例的方法可以包括：
S401、终端设备11向虚拟机13发送手势操作指令。
其中，所述手势操作指令中包括用户操作所述终端设备11的手势信息，所述手势操作指令用于指示所述虚拟机13根据所述手势信息对所述虚拟机13的前端窗口进行手势操作。
具体的，用户对终端设备11操作某手势后，终端设备11收集手势信息，并将该手势信息携带在手势操作指令中发送给虚拟机13。
在第一种可能的场景中，用户操作终端设备11的手势为缩放手势，终端设备11收集到手势信息为缩放信息，终端设备11将携带该缩放信息的缩放指令发送给虚拟机13，该缩放指令可用于指示虚拟机13根据缩放信息对虚拟机13的前端窗口进行缩放操作。
可选的，上述缩放手势可以为双指反向拖动操作，终端设备11收集到的手势信息可以是双指反向拖动操作的角度和长度。
在第二种可能的场景中，用户操作终端设备11的手势为滑动手势，终端设备11收集到手势信息为滑动信息，终端设备11将携带该滑动信息的滑动指令发送给虚拟机13，该滑动指令可用于指示虚拟机13根据滑动信息对虚拟机13的前端窗口进行页面滑动。
可选的，上述滑动手势可以为单指滑动屏幕操作，终端设备11收集到的手势信息可以是手指在屏幕上滑动的长度。
其中，虚拟机13的前端窗口为用户操作终端设备11的手势所落入的窗口。
需要说明的是，本申请实施例还适用于其他场景，比如：用户操作终端设备11的手势为单击手势、双击手势等。本申请实施例在此不再一一列举。
下面以第一种场景为例，对虚拟机13根据缩放信息对虚拟机13的前端窗口进行缩放操作的过程进行说明：
在一种可能的实现方式中，虚拟机13上安装有Windows系统，虚拟机13上还安装有云电脑模块。其中，Windows系统可包括：事件处理模块、窗口管理模块和消息管理模块。上述各模块通过如下方式实现对前端窗口内容的缩放：终端设备11将缩放指令发送给上述云电脑模块，云电脑模块将缩放指令中的缩放信息转换为Windows系统可识别的格式，并将转换格式后的缩放信息传递给事件处理模块，事件处理模块进一步将缩放信息传递给窗口管理模块，窗口管理模块找到前端窗口对应的应用软件，并将缩放信息传递给该应用软件，该应用软件根据该缩放信息重新计算窗口内各控件的大小和位置，根据计算结果重新绘制前端窗口的内容，绘制完成后，向消息管理模块返回对应的响应消息，并将绘制结果返回给终端设备11进行显示。
图5-图6示出了通过上述方式实现缩放的示意图。图5-图6对应的场景可以为，用户通过图2所示云电脑进入图3所示界面后，通过办公软件A编辑了图5所示文档1，用户需要放大文档1的内容时，基于对手机设备的使用经验，会使用图5所示放大手势来表达想要放大文档1的内容的需求，终端设备11可收集该放大手势的手势信息，并将收集到的手势信息携带在缩放指令中发送给虚拟机13，虚拟机13通过上文描述的可实现方式对文档1对应的窗口内容进行重新绘制后，文档1跳转至图6所示状态。由图6可以看出，虚拟机13对文档1对应的窗口内容重新绘制的结果和用户在电脑上实际操作缩放功能产生的效果相同，即，只有用户手指落入的窗口的内容会放大，即，文档1对应的窗口中用户编辑的文字被放大；除窗口内容以外其他部分不变，比如：任务栏中的“文档1”字样，以及菜单栏中的“文件”“开始”“插入”“审阅”等字样；窗口的大小也不变。这种缩放方法可给用户带来和实际操作电脑一致的使用体验，用户体验度高。
S402、虚拟机13检测所述前端窗口是否被执行了所述手势操作。
具体的，以用户操作终端设备11的手势为缩放手势为例，虚拟机13上安装的应用软件中并不是所有软件都支持基于该缩放手势的缩放功能，对于不支持该缩放功能的应用软件来说，用户输入缩放手势后，虚拟机13不会对该缩放手势做出响应，为了弥补用户输入缩放手势却得不到缩放响应的缺陷，可对前端窗口是否被执行了缩放操作进行检测。
具体的，虚拟机13接收到手势操作指令后，根据用户操作终端设备11的手势信息对虚拟机13的前端窗口进行了手势操作的情况下，会产生对应响应消息，基于此，可以考虑利用该响应消息实现上述检测过程。
在一种可能的实现方式中，虚拟机13可以包括切换模块，切换模块检测在预设时间范围内前端窗口对应的应用软件是否产生执行所述手势操作指令的响应信息；若否，则确定所述前端窗口没有被执行所述手势操作；若是，则确定所述前端窗口被执行了所述手势操作。
在一种可能的实现方式中，可以在切换模块中配置定时器，该定时器设定的时间和预设时间范围对应。虚拟机13接收到手势操作指令后，通知切换模块启动该定时器，切换模块检测在定时器设定的时间截止前前端窗口对应的应用软件是否产生执行所述手势操作指令的响应信息，若是，则确定所述前端窗口被执行了所述手势操作；若否，则确定所述前端窗口没有被执行所述手势操作。
钩子Hook程序具有捕获特定消息的功能，可以考虑在切换模块中挂入钩子Hook程序，所述钩子hook程序检测在预设时间范围内前端窗口对应的应用软件是否产生执行所述手势操作指令的响应信息。具体的，若钩子Hook程序能够在预设时间范围内捕获到前端窗口对应的应用软件产生的执行手势操作指令的响应信息，则确定所述前端窗口被执行了所述手势操作；若Hook程序在预设时间范围内没有捕获到前端窗口对应的应用软件产生的执行手势操作指令的响应信息，确定所述前端窗口没有被执行所述手势操作。
钩子Hook程序捕获特定消息的原理可参见现有技术，本申请实施例在此不再赘述。
在一种可能的实现方式中，切换模块检测到前端窗口被执行了所述手势操作，表明虚拟机13已对用户操作终端设备11的手势做出响应，这时切换模块关闭定时器。切换模块检测到前端窗口没有被执行所述手势操作，执行S403。
S403、虚拟机13发送指令至终端设备11。
在一种可能的实现方式中，虚拟机13中的切换模块检测到前端窗口没有被执行所述手势操作时，由该切换模块发送指令至终端设备11。
S404、终端设备11根据所述指令执行本端的手势操作指令。
在一种可能的实现方式中，以用户操作终端设备11的手势为缩放手势为例，终端设备11执行的本端的手势操作指令可以为，终端设备11按照上述缩放手势对应的缩放信息缩放整个桌面。
在一种可能的实现方式中，虚拟机13每执行完一次绘制，就对虚拟机13的整个桌面进行一次抓取，并将抓取的结果发送给终端设备11，终端设备11接收到虚拟机13发送的指令后，按照用户操作终端设备11的缩放手势对应的缩放信息对最近一次接收到的抓取结果进行缩放并显示。
图7示出了终端设备11根据上述方式实现缩放的示意图。用户操作终端设备11的手势为图5所示的放大手势，当前软件不支持图6所示放大功能的情况下，可以跳转到图7所示缩放结果。由图7可以看出，由于终端设备11将桌面显示内容当做图片来进行缩放，因此不仅仅是用户手指落入的窗口的内容得到放大，其他内容也相应被放大，比如：任务栏中的“文档1”字样，以及菜单栏中的“文件”“开始”“插入”“审阅”等字样。
本申请实施例提供的手势操作方法，虚拟机在接收到手势操作指令后，可对前端窗口对应的应用软件是否具备相应功能进行检测，在检测到应用软件不具备相应功能时，指示终端设备来执行本端的手势操作指令，使得用户操作终端设备的手势始终能够得到响应，弥补了用户操作的应用软件不支持相应功能时，用户操作终端设备的手势无法得到响应的缺陷，提升了用户体验。
图8为本申请实施例提供的一种计算节点12的结构示意图，如图8所示，该计算节 点12包括：
云电脑模块121，可用于接收上述方法实施例中S401的手势操作指令。所述手势操作指令中包括用户操作所述终端设备11的手势信息，所述手势操作指令用于指示所述计算节点12对所述计算节点12的前端窗口进行手势操作；
切换模块122，可用于执行上述方法实施例中S402和S403。
具体的，切换模块122，可用于检测所述前端窗口是否被执行了所述手势操作；还用于如果所述前端窗口没有被执行所述手势操作，则发送指令至所述终端设备11，指示所述终端设备11执行本端的手势操作指令。
在一种可能的实现方式中，所述切换模块122用于检测在预设时间范围内所述前端窗口对应的应用软件是否产生执行所述手势操作指令的响应信息；若否，则确定所述前端窗口没有被执行所述手势操作；若是，则确定所述前端窗口被执行了所述手势操作。
在一种可能的实现方式中，所述切换模块122包括钩子hook程序，切换模块122用于通过所述钩子hook程序检测在预设时间范围内所述前端窗口对应的应用软件是否产生执行所述手势操作指令的响应信息。
在一种可能的实现方式中，上述手势信息为缩放手势信息。
本申请实施例所示的计算节点，可以执行上述方法实施例中计算节点侧所执行的步骤，其实现原理以及有益效果类似，此处不再进行赘述。
图9为本申请实施例提供的一种终端设备11的结构示意图，如图9所示，该终端设备11包括：
发送模块111，可用于发送上述方法实施例中S401的手势操作指令。所述手势操作指令中包括用户操作所述终端设备11的手势信息，所述手势操作指令用于指示所述计算节点12对所述计算节点12的前端窗口进行手势操作；
接收模块112，可用于接收上述方法实施例中S403的指令。所述指令是所述计算节点12检测到所述计算节点12的前端窗口没有被执行所述手势操作时发送的，所述指令用于指示所述终端设备11执行本端的手势操作指令；
执行模块113，可用于执行上述方法实施例中S404。
在一种可能的实现方式中，上述手势信息为缩放手势信息。
本申请实施例所示的计算节点，可以执行上述方法实施例中终端设备侧所执行的步骤，其实现原理以及有益效果类似，此处不再进行赘述。
图10为本申请实施例提供的计算节点12的硬件结构示意图。如图10所示，本申请实施例提供的计算节点12可以包括：
存储器123，用于存储程序指令。
处理器124，用于在所述程序指令被执行时实现上述方法实施例中计算节点侧所执行的步骤，其实现原理以及有益效果类似，此处不再进行赘述。
图11为本申请实施例提供的终端设备11的硬件结构示意图。如图11所示，本申请实施例提供的终端设备11可以包括：
存储器114，用于存储程序指令。
处理器115，用于在所述程序指令被执行时实现上述方法实施例中终端设备侧所执行的步骤，其实现原理以及有益效果类似，此处不再进行赘述。
图12为本申请实施例提供的一种通信系统100的结构示意图。如图12所示，通信系统100包括：图10所示的计算节点12和图11所示终端设备11。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法实施例中计算节点侧所执行的步骤。
本申请实施例还提供一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述方法实施例中终端设备侧所执行的步骤。
本申请实施例还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序时实现上述方法实施例中计算节点侧所执行的步骤。
本申请实施例还提供一种程序产品，所述程序产品包括计算机程序，所述计算机程序存储在可读存储介质中，至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序时实现上述方法实施例中终端设备侧所执行的步骤。
在本申请实施例所提供的几个实施例中，应该理解到，所揭露的装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述模块的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
另外，在本申请各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用硬件加软件功能单元的形式实现。
上述以软件功能单元的形式实现的集成的单元，可以存储在一个计算机可读取存储介质中。上述软件功能单元存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)或处理器(英文：processor)执行本申请各个实施例所述方法的部分步骤。而前述的存储介质包括：U盘、移动硬盘、只读存储器(英文：Read-Only Memory，简称：ROM)、随机存取存储器(英文：Random Access Memory，简称：RAM)、磁碟或者光盘等各种可以存储程序代码的介质。
应理解，本申请实施例所描述的处理器可以是中央处理单元(英文：Central Processing Unit，简称：CPU)，还可以是其他通用处理器、数字信号处理器(英文：Digital Signal Processor，简称：DSP)、专用集成电路(英文：Application Specific Integrated Circuit，简称：ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请所公开的方法的步骤可以直接体现为硬件处理器执行完成，或者用处理器中的硬件及软件模块组合执行完成。
最后应说明的是：以上各实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述各实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分或者全部技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施 例技术方案的范围。

Claims (14)

  1. 一种手势操作方法，其特征在于，应用于计算节点，包括：
    接收终端设备发送的手势操作指令，所述手势操作指令中包括用户操作所述终端设备的手势信息，所述手势操作指令用于指示所述计算节点对所述计算节点的前端窗口进行手势操作；
    检测所述前端窗口是否被执行了所述手势操作；
    如果所述前端窗口没有被执行所述手势操作，则发送指令至所述终端设备，指示所述终端设备在所述终端设备执行所述手势信息对应的手势操作。
  2. 根据权利要求1所述的方法，其特征在于，所述检测所述前端窗口是否被执行了所述手势操作包括：
    检测在预设时间范围内所述前端窗口对应的应用软件是否产生执行所述手势操作指令的响应信息；
    若否，则确定所述前端窗口没有被执行所述手势操作；
    若是，则确定所述前端窗口被执行了所述手势操作。
  3. 根据权利要求2所述的方法，其特征在于，所述手势信息为缩放手势信息。
  4. 根据权利要求2或3所述的方法，其特征在于，所述检测在预设时间范围内所述前端窗口对应的应用软件是否产生执行所述手势操作指令的响应信息，包括：
    通过钩子hook程序检测在预设时间范围内所述前端窗口对应的应用软件是否产生执行所述手势操作指令的响应信息。
  5. 一种手势操作方法，其特征在于，应用于终端设备，包括：
    向计算节点发送手势操作指令，所述手势操作指令中包括用户操作所述终端设备的手势信息，所述手势操作指令用于指示所述计算节点对所述计算节点的前端窗口进行手势操作；
    接收所述计算节点发送的指令，所述指令是所述计算节点检测到所述计算节点的前端窗口没有被执行所述手势操作时发送的；
    根据所述指令执行所述手势信息对应的手势操作。
  6. 根据权利要求5所述的方法，其特征在于，所述手势信息为缩放手势信息。
  7. 一种计算节点，其特征在于，包括：
    云电脑模块，用于接收终端设备发送的手势操作指令，所述手势操作指令中包括用户操作所述终端设备的手势信息，所述手势操作指令用于指示所述计算节点对所述计算节点的前端窗口进行手势操作；
    切换模块，用于检测所述前端窗口是否被执行了所述手势操作；还用于如果所述前端窗口没有被执行所述手势操作，则发送指令至所述终端设备，指示所述终端设备在所述终端设备执行所述手势信息对应的手势操作。
  8. 根据权利要求7所述的计算节点，其特征在于，所述切换模块具体用于：
    检测在预设时间范围内所述前端窗口对应的应用软件是否产生执行所述手势操作指令的响应信息；
    若否，则确定所述前端窗口没有被执行所述手势操作；
    若是，则确定所述前端窗口被执行了所述手势操作。
  9. 根据权利要求8所述的计算节点，其特征在于，所述手势信息为缩放手势信息。
  10. 根据权利要求8或9所述的计算节点，其特征在于，所述切换模块包括钩子hook程序，所述切换模块具体用于：
    通过所述钩子hook程序检测在预设时间范围内所述前端窗口对应的应用软件是否产生执行所述手势操作指令的响应信息。
  11. 一种终端设备，其特征在于，包括：
    发送模块，用于向计算节点发送手势操作指令，所述手势操作指令中包括用户操作所述终端设备的手势信息，所述手势操作指令用于指示所述计算节点对所述计算节点的前端窗口进行手势操作；
    接收模块，用于接收所述计算节点发送的指令，所述指令是所述计算节点检测到所述计算节点的前端窗口没有被执行所述手势操作时发送的，所述指令用于指示所述终端设备执行本端的手势操作指令；
    执行模块，用于根据所述指令执行所述手势信息对应的手势操作。
  12. 根据权利要求11所述的终端设备，其特征在于，所述手势信息为缩放手势信息。
  13. 一种计算节点，其特征在于，包括：
    处理器；以及
    存储器，用于存储所述处理器的可执行指令；
    其中，所述处理器配置为经由执行所述可执行指令来实现权利要求1-4任一项所述的方法。
  14. 一种终端设备，其特征在于，包括：
    处理器；以及
    存储器，用于存储所述处理器的可执行指令；
    其中，所述处理器配置为经由执行所述可执行指令来实现权利要求5或6所述的方法。
PCT/CN2020/126477 2019-11-04 2020-11-04 手势操作方法和设备 WO2021088865A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201911067137.8 2019-11-04
CN201911067137.8A CN112839135A (zh) 2019-11-04 2019-11-04 手势操作方法和设备

Publications (1)

Publication Number Publication Date
WO2021088865A1 true WO2021088865A1 (zh) 2021-05-14

Family

ID=75849396

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/126477 WO2021088865A1 (zh) 2019-11-04 2020-11-04 手势操作方法和设备

Country Status (2)

Country Link
CN (1) CN112839135A (zh)
WO (1) WO2021088865A1 (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117311807A (zh) * 2022-06-24 2023-12-29 华为云计算技术有限公司 指令冲突的解决方法、装置及设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866260A (zh) * 2010-01-29 2010-10-20 宇龙计算机通信科技(深圳)有限公司 第二屏幕控制第一屏幕的方法、系统及移动终端
WO2012020486A1 (ja) * 2010-08-11 2012-02-16 Nakamura Yoshikazu アプリケーション端末および注文管理システム
CN203070208U (zh) * 2012-12-04 2013-07-17 冯时 多屏互动系统
CN103869942A (zh) * 2012-12-13 2014-06-18 联想(北京)有限公司 一种输入控制方法及佩戴式电子装置
CN107562342A (zh) * 2017-08-29 2018-01-09 京东方科技集团股份有限公司 一种移动终端控制装置及其控制方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101866260A (zh) * 2010-01-29 2010-10-20 宇龙计算机通信科技(深圳)有限公司 第二屏幕控制第一屏幕的方法、系统及移动终端
WO2012020486A1 (ja) * 2010-08-11 2012-02-16 Nakamura Yoshikazu アプリケーション端末および注文管理システム
CN203070208U (zh) * 2012-12-04 2013-07-17 冯时 多屏互动系统
CN103869942A (zh) * 2012-12-13 2014-06-18 联想(北京)有限公司 一种输入控制方法及佩戴式电子装置
CN107562342A (zh) * 2017-08-29 2018-01-09 京东方科技集团股份有限公司 一种移动终端控制装置及其控制方法

Also Published As

Publication number Publication date
CN112839135A (zh) 2021-05-25

Similar Documents

Publication Publication Date Title
CN111290675B (zh) 截屏图片的分享方法、装置、终端及存储介质
EP3335103B1 (en) Devices, methods, and graphical user interfaces for manipulating user interfaces with physical gestures
WO2019128732A1 (zh) 一种图标管理的方法及装置
CN109976645B (zh) 应用界面的展示方法、装置及电子设备
KR102129374B1 (ko) 사용자 인터페이스 제공 방법 및 기계로 읽을 수 있는 저장 매체 및 휴대 단말
CN107247538B (zh) 触摸操作处理方法及终端设备
KR20220065104A (ko) 주변 장치들과 무선 페어링하고 주변 장치들에 관한 상태 정보를 디스플레이하기 위한 디바이스들, 방법들, 및 그래픽 사용자 인터페이스들
EP2772844A1 (en) Terminal device and method for quickly starting program
EP3335410B1 (en) Electronic apparatus and notification displaying method for electronic apparatus
US10860857B2 (en) Method for generating video thumbnail on electronic device, and electronic device
CN104238927B (zh) 智能终端应用程序的控制方法和装置
US20140071171A1 (en) Pinch-and-zoom, zoom-and-pinch gesture control
WO2022161432A1 (zh) 显示控制方法、装置、电子设备及介质
WO2019128923A1 (zh) 一种控制被选中对象在应用界面中显示的方法及终端设备
US20230078889A1 (en) Cross device interactions
WO2017101445A1 (zh) 一种响应操作轨迹的方法以及操作轨迹响应装置
WO2021203815A1 (zh) 页面操作方法、装置、终端及存储介质
CN110275659A (zh) 一种图像切换方法、装置、电子设备及存储介质
WO2020238815A1 (zh) 显示控制方法及装置、电子设备和存储介质
US20130044061A1 (en) Method and apparatus for providing a no-tap zone for touch screen displays
WO2018086454A1 (zh) 页面数据处理方法和装置
KR20160056827A (ko) 콘텐트를 공유하는 방법 및 콘텐트 공유 시스템
WO2017008646A1 (zh) 一种在触控终端上选择多个目标的方法和设备
JP2015095219A (ja) 情報処理装置、情報処理方法および記憶媒体
WO2022135476A1 (zh) 截图方法、装置及电子设备

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20883699

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20883699

Country of ref document: EP

Kind code of ref document: A1