WO2018120884A1 - Pc端控制移动设备的方法及系统 - Google Patents

Pc端控制移动设备的方法及系统 Download PDF

Info

Publication number
WO2018120884A1
WO2018120884A1 PCT/CN2017/099525 CN2017099525W WO2018120884A1 WO 2018120884 A1 WO2018120884 A1 WO 2018120884A1 CN 2017099525 W CN2017099525 W CN 2017099525W WO 2018120884 A1 WO2018120884 A1 WO 2018120884A1
Authority
WO
WIPO (PCT)
Prior art keywords
mobile device
screen
data
controlling
module
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2017/099525
Other languages
English (en)
French (fr)
Inventor
毛磊
张�杰
刘双
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Qihoo Technology Co Ltd
Original Assignee
Beijing Qihoo Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Qihoo Technology Co Ltd filed Critical Beijing Qihoo Technology Co Ltd
Publication of WO2018120884A1 publication Critical patent/WO2018120884A1/zh
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/015—Input arrangements based on nervous system activity detection, e.g. brain waves [EEG] detection, electromyograms [EMG] detection, electrodermal response detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication

Definitions

  • the present invention relates to the field of communications, and in particular, to a method and system for controlling a mobile device on a PC side.
  • Mobile devices also known as mobile devices, mobile devices, handheld devices, etc.
  • mobile devices are pocket-sized computing devices that typically have a small display screen, touch input, or a small keyboard. . This type of device quickly became popular because it was able to access a variety of information anytime, anywhere.
  • PDAs represent a new field of computers.
  • Mobile devices mainly include: handheld game consoles, mobile phones, smartphones and tablets.
  • the above prior art is disadvantageous in that although the above technology can perform some operations on the mobile device and implement part of the control function, the effect of using the computer to visually display and control the mobile device is not fully achieved, and the touch screen in the prior art is
  • the control interface of the mobile device is different from the operation interface on the mobile device, and the person who is accustomed to the operation interface of the mobile device may be unsuitable when using the computer to operate the mobile device.
  • the purpose of the embodiments of the present invention is to provide a method and a system for controlling a mobile device on a PC end, so that the PC end can visually display the screen content of the mobile device, thereby facilitating the realization of the PC device to the mobile device. operating.
  • a method for controlling a mobile device on a PC side comprising the steps of: (1) establishing a communication connection between the PC end and the mobile device; (2) generating a screen image of the mobile device on the PC side; and (3) operating through the PC end Implement control of mobile devices.
  • the present invention further provides a system for controlling a mobile device on a PC side, which is divided into a PC end and a mobile device, and includes: a communication connection module disposed on the PC end and the mobile device, and is used for the PC end and the mobile device. Establishing a communication connection; a mirror generation module provided on the PC side and the mobile device for generating a screen image of the mobile device on the PC side; and an operation control module provided on the PC side and the mobile device for operating through the PC side Implement control of mobile devices.
  • a computer program comprising computer readable code causing a computing device to perform the method of controlling a mobile device at a PC end as described above when the computer readable code is run on a computing device.
  • a computer readable medium storing the above computer program is provided.
  • the present invention has the following beneficial effects: the PC end control mobile device provided by the embodiment of the present invention
  • the method and system display the screen content of the mobile device on the PC side in a mirrored manner to ensure the consistency between the image content display and the screen display of the mobile device, and facilitate the user who has become accustomed to the screen interface and operation of the mobile device to adapt to the use of the PC end to the mobile device.
  • Control to give users a better experience in the basic functions of the interconnection interaction.
  • the control data and the mirrored display data in the technical solution are transmitted in real time through the data channel of the PC end and the mobile device, and the characteristics of the consistency of the mouse click and the touch screen action are well utilized, and the mouse event is taken as the main input mode.
  • the PC end input is converted into a virtual touch screen action input, so that the mobile device responds to the virtual touch screen action in a manner equivalent to responding to the real touch screen action, thereby realizing the analog control of the mobile device on the PC side.
  • FIG. 1 is a schematic flow chart of a method for controlling a mobile device on a PC side according to an embodiment of the present invention
  • FIG. 2 is a schematic structural diagram of a system for controlling a mobile device at a PC end according to an embodiment of the present invention
  • FIG. 3 is a schematic flowchart of a method for generating a screen image of a mobile device on a PC side according to an embodiment of the present invention
  • FIG. 4 is a schematic structural diagram of a mirror generation module according to an embodiment of the present invention.
  • FIG. 5 is a schematic flowchart of a method for implementing operation control of a mobile device by using a PC end according to an embodiment of the present invention
  • FIG. 6 is a schematic structural diagram of an operation control module according to an embodiment of the present invention.
  • FIG. 7 is a schematic flow chart of a text input step according to an embodiment of the present invention.
  • FIG. 8 is a schematic structural diagram of a text input module according to an embodiment of the present invention.
  • FIG. 9 schematically illustrates a method for performing acquisition of application information according to an embodiment of the present invention.
  • FIG. 10 schematically illustrates a storage unit for holding or carrying program code implementing a method of acquiring application information according to an embodiment of the present invention.
  • a specific embodiment of the present invention discloses a method for controlling a mobile device on a PC side, including the following steps:
  • Mobile device control, S3 is implemented through PC-side operations.
  • the communication connection is established between the PC and the mobile device through the data line, and the communication connection can also be established through the WIFI or the Bluetooth.
  • the main functions of the communication connection include, but are not limited to, implementing the mobile device.
  • the screen displays the transmission of data from the mobile device to the PC and the transmission of control signals and data from the PC to the mobile device. Therefore, the step of establishing a communication connection between the PC and the target mobile device due to other requirements, as long as the transmission function can be covered, can also be regarded as establishing a communication connection between the PC and the mobile device in step S1 in the embodiment.
  • the specific establishment manner of the communication connection is usually that the PC sends a connection request to the mobile device, and after obtaining the confirmation feedback of the mobile device, the PC can obtain the relevant authority to complete the establishment of the communication connection.
  • step S2 After the PC sends the start control request, the process starts to perform step S2, and the method for generating the screen image of the mobile device on the PC side is as shown in FIG. 3, and includes the following specific steps:
  • the PC obtains the screen size, resolution and screen display content data of the mobile device, S201; wherein the screen display content data can be collected by a capture plug-in installed on the mobile device.
  • a mirror window is created, and the screen resolution of the mobile device is converted into a corresponding screen position coordinate of the mobile device according to the obtained screen parameter, and the mirror window position coordinate corresponding to the screen position coordinate of the mobile device is calculated according to the mirror window resolution, S202.
  • the mirrored content display displays the screen display content of the screen position coordinates of the mobile device corresponding to the mirror window coordinate in the mirror window position coordinate according to the acquired screen display content data of the mobile device, S203.
  • the step S201 of parameter and data acquisition may be performed after the mobile device receives the control request as described above, and then performs the subsequent steps of creating the mirror window and the mirror content display. It is also possible to perform parameter and data acquisition when the data connection between the PC end and the mobile device is established, and then perform the steps of subsequently creating the mirror window and the mirror content after the PC sends the start control request.
  • the screen size, the resolution, and the screen display content data of the mobile device acquired in the parameter and data acquisition step S202 substantially satisfy the generation requirement of the image
  • the screen size and the resolution are used as the basis of the generated image size and resolution
  • the screen displays the content data As the basis for generating the image.
  • the data about the mobile device acquired by the parameter and data acquisition module may also include the content and display settings of the mobile device, and the auxiliary image is created on the one hand (for example, according to the brand and model).
  • the appropriate template creation is more in line with the image of the mobile device interface.
  • the brand model of the mobile device can be displayed on the PC side, so that the user can understand the mobile device information.
  • the screen display content data In order to ensure that the image is synchronized with the screen of the mobile device, the screen display content data needs to be updated in real time.
  • the PC receives the screen display content data of the mobile device from the data channel every preset time;
  • the new screen display content data described here that is, the screen display data acquired later may be the same as the previously displayed screen display content data, or may be different
  • the new screen display content data displays the screen display content of the screen position coordinates of the mobile device corresponding to the mirror window coordinate in the mirror window position coordinate to replace the previously displayed screen display content.
  • the continuous static picture can be updated at a frequency of 30 frames per second to achieve the effect of the dynamic image. Therefore, in the embodiment, the preset time is one-third of a second to achieve the display according to the screen display content.
  • Static images form the purpose of a coherent motion picture.
  • the screen display content data of the mobile device can also be monitored, and the new screen display content data can be acquired and replaced only when the screen display content of the mobile device changes.
  • step S3 the method for controlling the mobile device by using the PC terminal operation is as shown in FIG. 5:
  • the PC side collects the user action event data generated in the mirror window, and converts the mirror window position coordinate of the action event data into the mobile device screen position coordinate, S301;
  • the action event data and the mobile device screen position coordinates are transmitted to the mobile device via the data channel of the communication connection to simulate a corresponding action at the corresponding mobile device screen position coordinates, S302.
  • the simulation action can be completed by referring to the conventional analog motion technology by the touch plug-in installed on the mobile device, and running the shell (command line) corresponding to the position of the mobile device according to the screen position coordinates of the mobile device, so that the operating system of the mobile device responds, thereby achieving The effect of performing a simulated action.
  • the user action event data is click event data or drag event data with a mouse as a PC-side input device.
  • the coordinates of the mirror window position clicked by the mouse are converted into the screen position coordinates of the mobile device according to the resolution and size ratio of the mirror and the screen of the mobile device, and the screen position coordinates of the mobile device are simulated click actions when performing the simulation action.
  • the coordinates refer to the time from the start of the mouse click to the end of the click.
  • the touch plug simulates the finger and presses the corresponding position. If the preset time is not exceeded, the touch plug simulates the finger to click the corresponding position.
  • the coordinates of the mirror window position at which the mouse drag action starts are converted into the screen position coordinates (initial) of the mobile device according to the resolution and size ratio of the mirror and the screen of the mobile device, and the image of the mouse dragging action is ended.
  • the window position coordinate is converted into a mobile device screen position coordinate (end) according to the resolution and size ratio of the mirror and the mobile device screen; when the simulation action is performed, the mobile device screen position coordinate (initial) is used as the start coordinate of the simulated drag action,
  • the mobile device screen position coordinate (end) is the end coordinate of the simulated drag action, and the touch plug-in simulates the drag action.
  • Text input is an important way to input information on a mobile device.
  • the touch screen mobile device recognizes the specific by clicking the corresponding location (such as clicking the text box of the input account or password of a certain program interface).
  • the action thereby mobilizing the input method program on the mobile device (the input method program may be an input method provided by the mobile device operating system, or may be an input method software installed by the user), and the program is input at the corresponding position by the input method program. text.
  • the virtual button is displayed on the screen interface. Keyboard, complete text input by clicking the corresponding virtual button.
  • it is necessary to control the mobile device to input text through the PC end including but not limited to two methods for realizing text input.
  • the operation of calling up the input method program and inputting characters by using the virtual key to input the text is performed based on the click operation, and the user action event data recorded in the technical solution of the present invention is described.
  • the function of the mobile device operating system can be converted into a virtual click action. Therefore, when the mobile terminal is controlled to input text by using the PC end, the simulated click action can be used to complete the operation equivalent to the actual touch screen click.
  • the text input function is realized.
  • the technical solution of the present invention can input text information by using the above method.
  • the mouse clicks there is no finger to click on the virtual button, and the user inputs the text information on the PC side. It is more accustomed to use the keyboard of the PC as an input device. Therefore, as shown in FIG. 7, the embodiment of the method for controlling the mobile device at the PC end of the present invention provides another text input step of inputting text to the mobile device on the PC side:
  • the PC side collects the text information data entered by the PC input method, S401;
  • the text information data is sent to the mobile device through the data channel to invoke the input method of the mobile device to enter the corresponding text, S402.
  • the touch plug-in converts the specific user action event data into a specific simulation action (for example, a text box simulating the input account or password of a certain program interface).
  • a specific simulation action for example, a text box simulating the input account or password of a certain program interface.
  • the analog action the input method of the mobile device is set in the input plug-in of the mobile device, and the text information data input by the PC input method is collected and sent to the input method of the mobile device, so that The corresponding text is entered into the mobile device based on the data.
  • the input plug-in program of the mobile device needs to open the input method of the mobile device, and the input plug-in program of the mobile device needs to be opened.
  • the input plug-in is The above mentioned up command can be executed.
  • the program provider will not open the program permissions (the open permissions will cause the program to encounter dangerous situations such as data tampering).
  • this PC side The technical solution for controlling the mobile device also provides another feasible solution, that is, an adapted input method program can be installed on the mobile device before the method is executed, such that the provider of the embodiment of the PC-side mobile device method of the present invention also As a program provider for input method programs, there is no longer any resistance to open permissions, ensuring that the input plug-in has sufficient authority to revive the corresponding input method in the mobile device. It is worth mentioning that after installing the adapted input method, the adapted input method needs to be set as the default input method of the mobile device to implement the above-mentioned function.
  • the setting here may be manually set after the adapted input method program is installed, or a step of determining whether the adapted input method is the default input method may be added during the adjustment process, and if so, the adjustment step is directly performed, if No, the pop-up window prompts "XX input method is not the default input method" to give a prompt, you can also add the option "Do you want to set the XX input method as the default input method” on the prompt, and let the mobile device execute according to the user's "Yes” selection. The corresponding command is used to set the adapted input method as the default input method.
  • the user can use the keyboard of the PC as an input device to realize the function of quickly inputting or copying text in the application of controlling the mobile device on the PC side, which satisfies the convenient and fast requirement of text input.
  • the mobile device includes, but is not limited to, a smart phone or a tablet computer which is most urgently required for intelligent interaction.
  • an embodiment of the present invention further provides a system for controlling a mobile device by using a PC, as shown in FIG. 2 , the system is set on the PC end and moved.
  • the device mainly includes: a communication connection module 100, a mirror generation module 200, and an operation control module 300.
  • the communication connection module 100 is disposed on the PC end and the mobile device, and is used to establish a communication connection between the PC end and the mobile device;
  • the image generation module 200 is configured to generate a screen image of the mobile device on the PC end; and the operation control module 300, for implementing mobile device control through PC-side operations.
  • the communication connection module 100 is a data line connection module, so that the PC end and the mobile device are connected through a data line to establish a wired data connection. .
  • the communication connection module 100 is a WIFI module or a Bluetooth module, so that the PC end and the mobile device pass through the network or A Bluetooth connection establishes a wireless data connection.
  • a specific example of the present invention shows a mirror generation module 200 of a system for controlling a mobile device on a PC side, which specifically includes:
  • the parameter and data acquisition module 201 is disposed on the mobile device and configured to acquire the screen size, the resolution, and the screen display content data of the mobile device; the collection of the screen display content data may be implemented by a capture plug-in installed on the mobile device side (the capture plug-in is A small, practical, and full-featured screen capture tool, in its embodiment of the invention, mainly utilizes its ability to capture still images. Information such as screen size and resolution can be obtained by the system of the mobile device.
  • the data about the mobile device acquired by the parameter and data acquisition module may also include the content and display settings of the mobile device, and the auxiliary image is created on the one hand (for example, according to the brand and model). The appropriate template creation is more in line with the image of the mobile device interface. On the other hand, the brand model of the mobile device can be displayed on the PC side, so that the user can understand the mobile device information.
  • the mirroring window creating module 202 is configured on the PC side, and is configured to create a mirroring window on the PC side, and convert the screen resolution of the mobile device to the corresponding screen position coordinate of the mobile device according to the acquired screen parameters, and calculate and move according to the mirror window resolution.
  • the mirrored content display module 203 is disposed on the PC side, and is configured to display screen display content of the screen position coordinates of the mobile device corresponding to the mirror window coordinate in the mirror window position coordinate according to the screen display content data of the acquired mobile device.
  • the parameter and data acquisition module 201 acquires the screen of the mobile device from the data channel every preset time. Displaying content data so that the PC displays the screen display content data of the mobile device once by the data channel every preset time; when the new screen displays the content data (the new screen display content data described here, that is, afterwards)
  • the screen display data may be the same as or different from the previously displayed screen display content data, and the screen position coordinates of the mobile device corresponding to the mirror window coordinate are displayed in the mirror window position coordinate according to the new screen display content data.
  • the screen displays content to replace the previously displayed screen display.
  • the continuous static picture can be updated at a frequency of 30 frames per second.
  • the preset time is one-third of a second, so as to achieve the purpose of forming a continuous dynamic image according to the static picture formed by the screen display content.
  • the preset time of one-third of a second can also be adjusted according to actual conditions. For example, in order to make the visual effect smoother, the preset time can be set to one-fourth of a second or even shorter, or can be reduced.
  • the power consumption sets the preset time to one-twentieth second or longer.
  • the parameter and data acquisition module 201 may also be added with a monitoring function to monitor the screen display content data of the mobile device, and monitor the mobile device's screen display content to change the new screen display content data. Get and replace.
  • the image generated on the PC side is mainly used to visually display the screen content of the mobile device for the user.
  • the present invention provides an embodiment of the operation control module 300, as shown in FIG.
  • the operation control module 300 includes:
  • the action collection and conversion module 301 is configured on the PC side for collecting user action event data generated in the mirror window on the PC side, and converting the mirror window position coordinates of the action event data into the screen position coordinates of the mobile device;
  • the action event simulation module 302 is disposed on the mobile device, and is configured to simulate a corresponding action on the corresponding mobile device screen position coordinate according to the action event data transmitted through the data channel of the communication connection and the screen position coordinate of the mobile device.
  • the user action event data acquired by the action acquisition and conversion module 301 is click event data or drag event data with the mouse as the PC input device.
  • the motion capture and conversion module 301 collects the data of the mouse click, and converts the position of the mirror window position with the mouse click into the coordinates of the screen of the mobile device and the size of the screen of the mobile device into the coordinates of the screen position of the mobile device.
  • the screen position coordinate of the mobile device is used as the coordinate of the simulated click action
  • the action event simulation module 302 refers to the time from the start of the mouse click to the end of the click.
  • the touch plug simulates the finger and presses the corresponding position to operate.
  • the touch plug-in simulates the operation of clicking the corresponding position with the finger.
  • the motion capture and conversion module 301 collects the data of the mouse click, and converts the position of the mirror window position at which the mouse drag operation starts to the screen position of the mobile device according to the resolution and size ratio of the image and the screen of the mobile device. Coordinate (initial), the mirror window position coordinates at the end of the mouse drag action are converted according to the resolution and size ratio of the image and the mobile device screen.
  • the mobile device screen position coordinate (end); the action event simulation module 302 performs the simulation action with the mobile device screen position coordinate (initial) as the start coordinate of the simulated drag action, and the mobile device screen position coordinate (end) is the analog drag
  • the end coordinates of the ⁇ action are simulated by the touch plug-in.
  • the method further includes:
  • the text collection module 401 is disposed on the PC side, and is configured to collect text information data entered by the PC input method on the PC end, and send the data information to the mobile device through the data channel to invoke the input method of the mobile device to input the corresponding text;
  • the text input module 402 is disposed on the mobile device, and is configured to acquire text information data entered by the PC end input method collected by the PC end on the mobile device, and invoke an input method process of the mobile device to input the corresponding data according to the text information. text.
  • the system provided by the specific embodiment of the present invention is divided into a PC end and a mobile device, except for the above parameters and data acquisition module 201 (such as a capture plug-in, etc.), an action event simulation module 302 (such as a touch plug-in, etc.), and a text input module 402. (For example, input plug-in, etc.)
  • Several modules need to be set on the mobile device, and the rest of the modules can be set to be executed on the PC side to reduce the burden on the mobile device.
  • the modules that need to be installed to the mobile device are only a few hundred kilobytes in total, which does not have a big impact on the operation of the mobile device, and these modules can be pre-installed in the mobile device in advance, or
  • the method for controlling the mobile device on the PC side of the present invention performs the step of establishing a data connection between the PC end and the mobile device end, the installed plug-ins can be retained in the mobile device, and the control of the mobile device by the PC end is temporarily not completed.
  • you need to control again you can also uninstall all the above plug-ins after the connection is disconnected, and install again when you connect again.
  • the method and system for controlling a mobile device on a PC side provided by the embodiment of the present invention, the screen content of the mobile device is displayed on the PC side in a mirror image manner, ensuring consistency between the image content display and the screen display of the mobile device, and facilitating the habit of the mobile device screen.
  • the interface and the user of the operation adapt to use the PC to control the mobile device, and bring a better experience to the user on the basic functions of the interconnection interaction.
  • the control data and the mirrored display data in the technical solution are transmitted in real time through the data channel of the PC end and the mobile device, and the characteristics of the consistency of the mouse click and the touch screen action are well utilized, and the mouse event is taken as the main input mode.
  • PC-side input is converted to virtual touch-screen action input, making the move
  • the device responds to the virtual touch screen action in a manner equivalent to responding to the actual touch screen action, and implements analog control of the mobile device on the PC side.
  • modules in the devices of the embodiments can be adaptively changed and placed in one or more devices different from the embodiment.
  • the modules or units or components of the embodiments may be combined into one module or unit or component, and further they may be divided into a plurality of sub-modules or sub-units or sub-components.
  • any combination of the features disclosed in the specification, including the accompanying claims, the abstract and the drawings, and any methods so disclosed, or All processes or units of the device are combined.
  • Each feature disclosed in this specification (including the accompanying claims, the abstract and the drawings) may be replaced by alternative features that provide the same, equivalent or similar purpose.
  • the various component embodiments of the present invention may be implemented in hardware, or in a software module running on one or more processors, or in a combination thereof.
  • Those skilled in the art will appreciate that some or all of the functionality of some or all of the components of the virtual machine creation device in accordance with embodiments of the present invention may be implemented in practice using a microprocessor or digital signal processor (DSP).
  • DSP digital signal processor
  • the invention can also be implemented as a device or device program (e.g., a computer program and a computer program product) for performing some or all of the methods described herein.
  • Such a program implementing the invention may be stored on a computer readable medium or may be in the form of one or more signals. Such signals may be downloaded from an Internet website, provided on a carrier signal, or provided in any other form.
  • Figure 9 illustrates a computing device that can implement a method of acquiring application information in accordance with the present invention.
  • the computing device traditionally includes a processor 910 and a computer program product or computer readable medium in the form of a storage device 920.
  • Storage device 920 can be an electronic memory such as flash memory, EEPROM (Electrically Erasable Programmable Read Only Memory), EPROM, hard disk, or ROM.
  • Storage device 920 has a storage space 930 that stores program code 931 for performing any of the method steps described above.
  • storage space 930 storing program code may store various program code 931 for implementing various steps in the above methods, respectively.
  • the program code can be read from or written to one or more computer program products.
  • These computer program products include program code carriers such as a hard disk, a compact disk (CD), a memory card, or a floppy disk.
  • a computer program product is typically a portable or fixed storage unit such as that shown in FIG.
  • the storage unit may have storage segments, storage spaces, and the like that are similarly arranged to storage device 920 in the computing device of FIG.
  • the program code can be compressed, for example, in an appropriate form.
  • the storage unit stores computer readable code 931' for performing the steps of the method according to the invention, ie code that can be read by a processor such as 910, which when executed by the computing device causes the computing device Perform the various steps in the method described above.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Software Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Dermatology (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Neurosurgery (AREA)
  • User Interface Of Digital Computer (AREA)
  • Controls And Circuits For Display Device (AREA)

Abstract

一种PC端控制手机的方法及系统，该方法包括以下步骤：在PC端与移动设备之间建立通讯连接（S1）；在PC端生成移动设备的屏幕镜像（S2）；通过PC端操作实现对移动设备控制（S3）。该系统包括：通讯连接模块（100），用于在PC端与移动设备之间建立通讯连接；镜像生成模块（200），用于在PC端生成移动设备的屏幕镜像；操作控制模块（300），用于通过PC端操作实现对移动设备控制。

Description

PC端控制移动设备的方法及系统
相关申请的交叉参考
本申请主张在2016年12月29日在中国提交的中国专利申请号No.201611250183.8的优先权，其全部内容通过引用包含于此。
技术领域
本发明涉及通讯领域，具体涉及一种PC端控制移动设备的方法及系统。
背景技术
移动设备，也被称为行动装置(Mobile device)、流动装置、手持装置(handheld device)等，是一种口袋大小的计算设备，通常有一个小的显示屏幕，触控输入或是小型的键盘。因为通过它可以随时随地通过访问获得各种信息，这一类设备很快变得流行。和诸如手提电脑和智能手机之类的移动计算设备一起，PDA代表了新的计算机领域。移动设备主要包括：掌上游戏机、移动电话、智能手机和平板电脑。
现阶段，移动设备的开发者采用控件解决了界面和交互的展现问题，相对于传统的设备，移动设备支持了手的触碰，形成了越来越普及的触控移动设备(包括但不限于触屏智能手机和平板电脑)，随着智能交互领域的发展和成熟，人们越来越希望在各种设备之间实现互联控制。
在工作生活中，有时会需要将移动设备上的内容在电脑上显示出来的情况，比如在不方便操作移动设备的情况下，手机上某些软件有需要处理的信息，或者进行多人会议需要展示手机上内容，这些情况下实现手机和电脑的交互，将移动设备的内容映射到手机上，无疑会给用户带来更舒适的体验。
考虑到手机软件的不方便的情况，某些移动设备软件的运营商开发了电脑版本以实现其软件在移动设备端与PC端的同步，但是同步内容仅限于其软件，存在该软件的其他移动设备内容则无法展示的弊端。
现有技术中存在利用PC端与移动设备之间的数据连接的技术方案，其主要是在PC端下载移动设备软件安装包(APK)，而后通过该数据连接的数据通道将软件安装包传输至移动设备端进行软件安装，以达到节省流量的目 的。当然，除了下载安装在移动设备上的手机应用外，还可以通过数据连接将电子书、视频、音乐、图片等下载至移动设备。另外，现有技术中还出现了PC端通过数据连接对应用管理、任务管理、短信和联系人进行备份和恢复等功能。
上述现有技术的不足之处在于，尽管上述技术能够对移动设备进行一些操作，实现部分控制功能，但是并不完全达到采用电脑直观展示和控制移动设备的效果，并且现有技术中对触屏移动设备的控制界面是不同于在移动设备上的操作界面的，习惯了移动设备的操作界面的人员使用电脑操作移动设备时会产生不适应情况。
发明内容
针对现有技术中所存在的问题，本发明实施例的目的在于提供一种PC端控制移动设备的方法及系统，使PC端直观显示移动设备的屏幕内容，便于实现PC端对移动设备的直观操作。
为达到上述发明目的，本发明的一个实施例的技术方案如下：
一种PC端控制移动设备的方法，包括以下步骤：(1)在PC端与移动设备之间建立通讯连接；(2)在PC端生成移动设备的屏幕镜像；以及(3)通过PC端操作实现对移动设备控制。
相应地，本发明还提供了一种PC端控制移动设备的系统，分为PC端及移动设备，包括：设在PC端和移动设备上的通讯连接模块，用于在PC端与移动设备之间建立通讯连接；设在PC端和移动设备上的镜像生成模块，用于在PC端生成移动设备的屏幕镜像；以及设在PC端和移动设备上的操作控制模块，用于通过PC端操作实现对移动设备控制。
根据本发明的又一个方面，提供一种计算机程序，其包括计算机可读代码，当计算机可读代码在计算设备上运行时，导致计算设备执行上述的PC端控制移动设备的方法。
根据本发明的再一个方面，提供一种计算机可读介质，其中存储了上述计算机程序。
本发明具有以下有益效果：本发明实施例所提供的PC端控制移动设备 的方法及系统，将移动设备的屏幕内容以镜像方式展现在PC端，保证镜像内容展示与移动设备屏幕展示的一致性，便于已经习惯移动设备屏幕界面及操作的用户适应利用PC端对移动设备进行控制，在实现互联交互的基础功能上给用户带来更好的体验。该技术方案中的控制数据和镜像显示数据通过PC端与移动设备的数据通道实时传输，且很好地利用了鼠标点击与触屏动作的一致性的特点，将以鼠标事件为主要输入方式的PC端输入转换为虚拟的触屏动作输入，使移动设备以等同于响应真实触屏动作的方式响应该虚拟的触屏动作，实现PC端的对移动设备的模拟控制。
附图概述
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，附图仅限于示出优选实施方式的目的，而并不认为是本发明的限制，且对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1为本发明一个具体实施例的PC端控制移动设备的方法的流程示意图；
图2为本发明一个具体实施例的PC端控制移动设备的系统的结构示意图；
图3为本发明一个具体实施例中在PC端生成移动设备的屏幕镜像的方法的流程示意图；
图4为本发明一个具体实施例中镜像生成模块的结构示意图；
图5为本发明一个具体实施例的通过PC端操作实现对移动设备操作控制的方法流程示意图；
图6为本发明一个具体实施例的操作控制模块的结构示意图；
图7为本发明一个具体实施例的文本输入步骤的流程示意图；
图8为本发明一个具体实施例的文本输入模块的结构示意图；
图9示意性地示出了用于执行根据本发明实施例的获取应用信息的方法 的计算设备的框图；
图10示意性地示出了用于保持或者携带实现根据本发明实施例的获取应用信息的方法的程序代码的存储单元。
本发明的较佳实施方式
下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例，对于本发明技术方案的实施不应被以下描述的实施例所限制。基于本发明的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，均属于本发明保护的范围。
如图1所示，本发明的一个具体实施例公开了PC端控制移动设备的方法，包括以下步骤：
在PC端与移动设备之间建立通讯连接，S1；
在PC端生成移动设备的屏幕镜像，S2；
通过PC端操作实现对移动设备控制，S3。
步骤S1中，PC端与移动设备之间通过数据线建立通讯连接，也可以通过WIFI或蓝牙的方式建立通讯连接，在本实施例中，该通讯连接的主要作用包括但不限于在于实现移动设备的屏幕显示数据由移动设备向PC端的传输以及PC端的控制信号及数据向移动设备的传输。故因其他需求而建立PC端与目标移动设备之间建立的通讯连接的步骤，只要能够涵盖上述传输功能，也可视为本实施例中步骤S1的在PC端与移动设备之间建立通讯连接的步骤。该通讯连接的具体建立方式通常为PC端向移动设备发送连接请求，得到移动设备的确认反馈后，PC端得以获取相关权限完成通讯连接的建立。
PC端发送启动控制请求后开始执行步骤S2，在PC端生成移动设备的屏幕镜像的方法如图3所示，包括以下具体步骤：
参数及数据获取，PC端获取移动设备的屏幕大小、分辨率和屏幕显示内容数据，S201；其中，屏幕显示内容数据的采集可以通过安装在移动设备上的capture插件实现。
创建镜像窗口，根据获取的屏幕参数将移动设备的屏幕分辨率转换为对应的移动设备屏幕位置坐标，根据镜像窗口分辨率计算与移动设备屏幕位置坐标对应的镜像窗口位置坐标，S202。
镜像内容显示，根据获取的移动设备的屏幕显示内容数据在镜像窗口位置坐标显示与该镜像窗口坐标对应的移动设备屏幕位置坐标的屏幕显示内容，S203。
参数及数据获取的步骤S201，可如上文所述在移动设备接收到控制请求后进行，而后再进行后续的创建镜像窗口和镜像内容显示的步骤。也可在PC端与移动设备之间的数据连接建立时就进行参数及数据获取，在PC端发送启动控制请求后再进行后续创建镜像窗口和镜像内容显示的步骤。
参数及数据获取步骤S202中获取到的移动设备的屏幕大小、分辨率和屏幕显示内容数据基本满足镜像的生成需求，屏幕大小和分辨率作为生成的镜像尺寸和分辨率的依据，屏幕显示内容数据作为生成镜像的内容依据。作为附件的技术方案，除了上述的内容，参数及数据获取模块获取的关于移动设备的数据还可以包括移动设备的品牌和显示设置等内容，一方面辅助镜像的创建(比如可根据品牌和型号选择合适的模板创建更加符合移动设备界面的镜像)，另一方面可将移动设备的品牌型号在PC端显示出来，方便用户了解移动设备信息。为了保证镜像与移动设备的屏幕同步，上述屏幕显示内容数据需要即时更新，为确保同步效果，本实施例中，PC端每隔预设时间由数据通道获取一次移动设备的屏幕显示内容数据；获取到新的屏幕显示内容数据时(此处所述的新的屏幕显示内容数据，即在后获取到的屏幕显示数据，有可能与之前获取到的屏幕显示内容数据相同，也有可能不同)，根据新的屏幕显示内容数据在镜像窗口位置坐标显示与该镜像窗口坐标对应的移动设备屏幕位置坐标的屏幕显示内容，以替换之前显示的屏幕显示内容。根据人体视觉残留现象，以每秒30帧的频率更新连续的静态画面即可达到动态影像的效果，因此在本实施例中预设时间是30分之一秒，以达到根据屏幕显示内容形成的静态画面形成连贯的动态影像的目的。此外，作为替代方案，还可以对移动设备的屏幕显示内容数据进行监测，监测到移动设备的屏幕显示内容变化时才进行新的屏幕显示内容数据的获取与替换。
进一步地，步骤S3中，通过PC端操作实现对移动设备控制的方法如图5所示：
PC端采集发生在镜像窗口的用户动作事件数据，并将该动作事件数据发生的镜像窗口位置坐标转换成移动设备屏幕位置坐标，S301；
将该动作事件数据和该移动设备屏幕位置坐标通过通讯连接的数据通道发送至移动设备以使其在相应的移动设备屏幕位置坐标模拟相应的动作，S302。模拟动作可由安装在移动设备上的touch插件参照常规的模拟动作技术完成，根据上述移动设备屏幕位置坐标运行移动设备对应位置的shell(命令行)，让移动设备的操作系统做出响应，从而达到执行模拟动作的效果。
一般而言，用户动作事件数据为以鼠标作为PC端输入设备的点击事件数据或拖拽事件数据。
以点击事件数据为例，以鼠标点击的镜像窗口位置坐标根据镜像与移动设备屏幕的分辨率及大小比例转换成移动设备屏幕位置坐标，进行模拟动作时以该移动设备屏幕位置坐标为模拟点击动作的坐标，参照鼠标点击开始至点击结束抬起的时间，超过预设时间即由touch插件模拟手指按住相应位置操作，未超过预设时间则由touch插件模拟手指点击相应位置的操作。
对于拖拽事件数据来说，将鼠标拖拽动作开始的镜像窗口位置坐标根据镜像与移动设备屏幕的分辨率及大小比例转换成移动设备屏幕位置坐标(初始)，将鼠标拖拽动作结束的镜像窗口位置坐标根据镜像与移动设备屏幕的分辨率及大小比例转换成移动设备屏幕位置坐标(结束)；进行模拟动作时以该移动设备屏幕位置坐标(初始)为模拟拖拽动作的开始坐标，该移动设备屏幕位置坐标(结束)为模拟拖拽动作的结束坐标，由touch插件模拟拖拽动作。
文本输入作为移动设备输入信息的一种重要方式，在触屏移动设备上输入文本时是通过点击相应位置(比如点击某程序界面的输入账号或密码的文本框)来使触屏移动设备识别特定动作从而调起该移动设备上的输入法程序(该输入法程序可以是移动设备操作系统自带的输入法，也可以是用户自行安装的输入法软件)，通过该输入法程序在相应位置录入文本。在触屏移动设备中，在该输入法程序录入文本时，会在屏幕界面上显示虚拟按键组成的 键盘，通过点击相应虚拟按键完成文本输入。在本发明的技术方案中，如果遇到需要通过PC端控制移动设备输入文本的情况，包括但不限于两种可以实现文本输入的方法。
由于在触屏移动设备的文本输入时，其调起输入法程序和利用虚拟按键录入字符以输入文本的操作均是基于点击操作完成的，而且，本发明的技术方案记载的上述用户动作事件数据能够转换为虚拟的点击动作得到移动设备操作系统的响应，因此，采用本发明实施例实现利用PC端对移动设备进行控制输入文本时，可利用模拟的点击动作完成等同于实际触屏点击的操作，从而实现调起移动设备的输入法程序和录入字符等功能，以实现文本的输入功能。
本发明的技术方案通过PC端控制移动设备的方法虽然能够通过上述方法录入文本信息，但是，鼠标的移动点击毕竟没有手指在虚拟按键上进行点击方便快捷，而用户在PC端录入文本信息时，更习惯于将PC端的键盘作为输入设备，因此，如图7所示，本发明PC端控制移动设备的方法的实施例给出了另一种在PC端向移动设备录入文本的文本输入步骤：
PC端采集PC端输入法录入的文本信息数据，S401；
该文本信息数据通过数据通道发送给移动设备以调用移动设备的输入法进程录入相应文本，S402。
具体而言，PC端在移动设备的镜像上产生了特定用户动作事件时，touch插件根据该特定用户动作事件数据转换为特定的模拟动作(例如模拟点击某程序界面的输入账号或密码的文本框的模拟动作)，移动设备的输入法程序会被设置在移动设备的input插件调起，而此时PC端输入法输入的文本信息数据则被采集发送给移动设备的输入法程序，以使其根据该数据向移动设备中录入相应文本。
值得注意的是，在本实施例所记载的方法中，input插件调起移动设备的输入法程序时需要移动设备的输入法程序的权限开放，理论上只要获得程序提供商的授权，input插件即可执行上述调起命令。但是在一般情况下，为确保程序的数据安全，程序供应商是不会开放程序权限的(权限开放会导致程序遇到数据篡改等危险情况)。因此，除了请求提供商开放权限，本PC端 控制移动设备的技术方案还提供了另一种可行方案，即可在执行本方法前在移动设备上安装适配的输入法程序，如此本发明PC端控制移动设备方法的实施例的提供商也为输入法程序的程序提供商，权限开放自然不再有阻力，保证input插件有足够权限调起移动设备中的相应输入法。值得一提的是，在安装适配的输入法程序后，需要将该适配的输入法程序设置为移动设备的默认输入法才能实现上述被调起的功能。这里的设置可以是该适配的输入法程序安装后人工设置，也可以在调起过程中增加一个判断适配的输入法是否为默认输入法的步骤，若是，则直接进行调起步骤，若否，则弹窗提示“XX输入法并非默认输入法”给予提示，也可以在提示上增加“是否将XX输入法设置为默认输入法”的选项，根据用户“是”的选择令移动设备执行相应命令，将适配的输入法程序设定为默认输入法。
通过上述输入的方案，用户可通过PC端的键盘作为输入设备，在PC端控制移动设备的应用中实现文本的快速录入或复制的功能，满足了文本输入的方便快捷需求。
正如背景技术部分所述，现有的移动设备主要包括：掌上游戏机、移动电话、智能手机和平板电脑。因此，在本发明的技术方案中，移动设备包括但不限于目前最迫切需求智能交互的智能手机、平板电脑。
对应于图1中所示的PC端控制移动设备的方法，本发明的一个实施例中还提供了一种PC端控制移动设备的系统，如图2所示，该系统设置在PC端和移动设备上，主要包括：通讯连接模块100、镜像生成模块200和操作控制模块300。其中，通讯连接模块100，设在PC端和移动设备上，用于在PC端与移动设备之间建立通讯连接；镜像生成模块200，用于在PC端生成移动设备的屏幕镜像；操作控制模块300，用于通过PC端操作实现对移动设备控制。
具体而言，本发明的一个实施例中记载的PC端控制移动设备的系统，通讯连接模块100为数据线连接模块，以使PC端与移动设备之间通过数据线连接从而建立有线的数据连接。
在本发明的另一个实施例中记载的PC端控制移动设备的系统，通讯连接模块100为WIFI模块或蓝牙模块，以使PC端与移动设备之间通过网络或 蓝牙连接从而建立无线的数据连接。
如图4所示，本发明的一个具体实例展示了PC端控制移动设备的系统的镜像生成模块200，具体包括：
参数及数据获取模块201，设在移动设备上，用于获取移动设备的屏幕大小、分辨率和屏幕显示内容数据；屏幕显示内容数据的采集可以通过安装在移动设备端的capture插件实现(capture插件是一款小巧、实用、功能全面的屏幕捕捉工具，在本发明的实施例中主要是利用其能够捕捉静止图像的功能)，屏幕大小和分辨率等信息可通过移动设备的系统存储信息获得。作为附件的技术方案，除了上述的内容，参数及数据获取模块获取的关于移动设备的数据还可以包括移动设备的品牌和显示设置等内容，一方面辅助镜像的创建(比如可根据品牌和型号选择合适的模版创建更加符合移动设备界面的镜像)，另一方面可将移动设备的品牌型号在PC端显示出来，方便用户了解移动设备信息。
镜像窗口创建模块202，设在PC端，用于在PC端创建镜像窗口，根据获取的屏幕参数将移动设备的屏幕分辨率转换为对应的移动设备屏幕位置坐标，根据镜像窗口分辨率计算与移动设备屏幕位置坐标对应的镜像窗口位置坐标；
镜像内容显示模块203，设在PC端，用于根据获取的移动设备的屏幕显示内容数据在镜像窗口位置坐标显示与该镜像窗口坐标对应的移动设备屏幕位置坐标的屏幕显示内容。
为了保证镜像与移动设备的屏幕同步，上述屏幕显示内容数据需要即时更新，为确保同步效果，本实施例中，参数及数据获取模块201，每隔预设时间由数据通道获取一次移动设备的屏幕显示内容数据以便PC端每隔预设时间由数据通道获取一次移动设备的屏幕显示内容数据；获取到新的屏幕显示内容数据时(此处所述的新的屏幕显示内容数据，即在后获取到的屏幕显示数据，有可能与之前获取到的屏幕显示内容数据相同，也有可能不同)，根据新的屏幕显示内容数据在镜像窗口位置坐标显示与该镜像窗口坐标对应的移动设备屏幕位置坐标的屏幕显示内容，以替换之前显示的屏幕显示内容。根据人体视觉残留现象，以每秒30帧的频率更新连续的静态画面即可 达到动态影像的效果，因此在本实施例中预设时间是30分之一秒，以达到根据屏幕显示内容形成的静态画面形成连贯的动态影像的目的。本发明实施例提供30分之一秒的预设时间还可以根据实际情况进行调整，例如为了使视觉效果更加流畅可以将该预设时间设置为40分之一秒甚至更短，也可为了减少功耗将该预设时间设置为20分之一秒或更长。此外，作为替代方案，还可以给参数及数据获取模块201附加监控的功能，对移动设备的屏幕显示内容数据进行监测，监测到移动设备的屏幕显示内容变化时才进行新的屏幕显示内容数据的获取与替换。
在PC端生成的镜像主要是用于给用户直观的展示移动设备的屏幕内容，若要实现PC端控制移动设备的功能，本发明给出了一个操作控制模块300的实施例，如图6所示，操作控制模块300包括：
动作采集及转换模块301，设在PC端，用于在PC端采集发生在镜像窗口的用户动作事件数据，并将该动作事件数据发生的镜像窗口位置坐标转换成移动设备屏幕位置坐标；
动作事件模拟模块302，设在移动设备，用于根据通过通讯连接的数据通道传递的该动作事件数据和该移动设备屏幕位置坐标在相应的移动设备屏幕位置坐标模拟相应的动作。
上述动作采集及转换模块301获取的用户动作事件数据为以鼠标作为PC端输入设备的点击事件数据或拖拽事件数据。
以点击事件数据为例，动作采集及转换模块301采集鼠标点击的数据，并将以鼠标点击的镜像窗口位置坐标根据镜像与移动设备屏幕的分辨率及大小比例转换成移动设备屏幕位置坐标，进行模拟动作时以该移动设备屏幕位置坐标为模拟点击动作的坐标，动作事件模拟模块302参照鼠标点击开始至点击结束抬起的时间，超过预设时间即由touch插件模拟手指按住相应位置操作，未超过预设时间则由touch插件模拟手指点击相应位置的操作。
对于拖拽事件数据来说，动作采集及转换模块301采集鼠标点击的数据，并将鼠标拖拽动作开始的镜像窗口位置坐标根据镜像与移动设备屏幕的分辨率及大小比例转换成移动设备屏幕位置坐标(初始)，将鼠标拖拽动作结束的镜像窗口位置坐标根据镜像与移动设备屏幕的分辨率及大小比例转换 成移动设备屏幕位置坐标(结束)；动作事件模拟模块302进行模拟动作时以该移动设备屏幕位置坐标(初始)为模拟拖拽动作的开始坐标，该移动设备屏幕位置坐标(结束)为模拟拖拽动作的结束坐标，由touch插件模拟拖拽动作。
本发明实施例提供的与上文文本输入步骤相对应的系统中，如图8所示，还包括：
设在PC端的文本采集模块401，用于在PC端采集PC端输入法录入的文本信息数据，并通过数据通道发送给移动设备以调用移动设备的输入法进程录入相应文本；
设在移动设备上的文本输入模块402，用于在移动设备上通过数据通道获取PC端采集的PC端输入法录入的文本信息数据，并调用移动设备的输入法进程以根据文本信息数据录入相应文本。
本发明具体实施例提供的系统中，分为PC端和移动设备，除了上文参数及数据获取模块201(例如capture插件等)、动作事件模拟模块302(例如touch插件等)和文本输入模块402(例如input插件等)几个模块需要设置在移动设备，其余各部分均可设置在PC端执行，以减轻移动设备的负担。如此，需要安装至移动设备的模块总共也才只有几百k字节大小，不会对移动设备运行造成大的影响，并且，这些模块可以以预装的方式事先安装在移动设备中，也可以在本发明的PC端控制移动设备的方法执行PC端与移动设备端建立数据连接的步骤时一并安装，安装后的各插件可保留在移动设备中，PC端对移动设备的控制完成暂时不需再次控制时，也可在连接断开后将上述插件全部卸载，再次连接时再次安装。
本发明实施例所提供的PC端控制移动设备的方法及系统，将移动设备的屏幕内容以镜像方式展现在PC端，保证镜像内容展示与移动设备屏幕展示的一致性，便于已经习惯移动设备屏幕界面及操作的用户适应利用PC端对移动设备进行控制，在实现互联交互的基础功能上给用户带来更好的体验。该技术方案中的控制数据和镜像显示数据通过PC端与移动设备的数据通道实时传输，且很好地利用了鼠标点击与触屏动作的一致性的特点，将以鼠标事件为主要输入方式的PC端输入转换为虚拟的触屏动作输入，使移动 设备以等同于响应真实触屏动作的方式响应该虚拟的触屏动作，实现PC端的对移动设备的模拟控制。
需要说明的是：
在此提供的算法和显示不与任何特定计算机、虚拟装置或者其它设备固有相关。各种通用装置也可以与基于在此的示教一起使用。根据上面的描述，构造这类装置所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
类似地，应当理解，为了精简本公开并帮助理解各个发明方面中的一个或多个，在上面对本发明的示例性实施例的描述中，本发明的各个特征有时被一起分组到单个实施例、图、或者对其的描述中。然而，并不应将该公开的方法解释成反映如下意图：即所要求保护的本发明要求比在每个权利要求中所明确记载的特征更多的特征。更确切地说，如下面的权利要求书所反映的那样，发明方面在于少于前面公开的单个实施例的所有特征。因此，遵循具体实施方式的权利要求书由此明确地并入该具体实施方式，其中每个权利要求本身都作为本发明的单独实施例。
本领域那些技术人员可以理解，可以对实施例中的设备中的模块进行自适应性地改变并且把它们设置在与该实施例不同的一个或多个设备中。可以把实施例中的模块或单元或组件组合成一个模块或单元或组件，以及此外可以把它们分成多个子模块或子单元或子组件。除了这样的特征和/或过程或者单元中的至少一些是相互排斥之外，可以采用任何组合对本说明书(包括伴随的权利要求、摘要和附图)中公开的所有特征以及如此公开的任何方法或者设备的所有过程或单元进行组合。除非另外明确陈述，本说明书(包括伴随的权利要求、摘要和附图)中公开的每个特征可以由提供相同、等同或相似目的的替代特征来代替。
此外，本领域的技术人员能够理解，尽管在此所述的一些实施例包括其 它实施例中所包括的某些特征而不是其它特征，但是不同实施例的特征的组合意味着处于本发明的范围之内并且形成不同的实施例。例如，在下面的权利要求书中，所要求保护的实施例的任意之一都可以以任意的组合方式来使用。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的虚拟机的创建装置中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图9示出了可以实现根据本发明的获取应用信息的方法的计算设备。该计算设备传统上包括处理器910和以存储设备920形式的计算机程序产品或者计算机可读介质。存储设备920可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储设备920具有存储用于执行上述方法中的任何方法步骤的程序代码931的存储空间930。例如，存储程序代码的存储空间930可以存储分别用于实现上面的方法中的各种步骤的各个程序代码931。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘、紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为例如图10所示的便携式或者固定存储单元。该存储单元可以具有与图9的计算设备中的存储设备920类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元存储有用于执行根据本发明的方法步骤的计算机可读代码931＇，即可以由诸如910之类的处理器读取的代码，当这些代码由计算设备运行时，导致该计算设备执行上面所描述的方法中的各个步骤。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换 实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
显然，本领域的技术人员可以对本发明进行各种改动和变型而不脱离本发明的精神和范围。这样，倘若本发明的这些修改和变型属于本发明权利要求及其同等技术的范围之内，则本发明也意图包含这些改动和变型在内。

Claims (22)

  1. 一种PC端控制移动设备的方法，包括以下步骤：
    (1)在PC端与移动设备之间建立通讯连接；
    (2)在PC端生成移动设备的屏幕镜像；以及
    (3)通过PC端操作实现对移动设备控制。
  2. 如权利要求1所述的PC端控制移动设备的方法，其特征在于：步骤(1)中，PC端与移动设备之间通过数据线建立通讯连接。
  3. 如权利要求1所述的PC端控制移动设备的方法，其特征在于：步骤(1)中，PC端与移动设备之间通过WIFI或蓝牙的方式建立通讯连接。
  4. 如权利要求1所述的PC端控制移动设备的方法，其特征在于：步骤(2)中，在PC端生成移动设备的屏幕镜像的方法包括以下步骤：
    1)参数及数据获取，PC端获取移动设备的屏幕大小、分辨率和屏幕显示内容数据；
    2)创建镜像窗口，根据获取的屏幕参数将移动设备的屏幕分辨率转换为对应的移动设备屏幕位置坐标，根据镜像窗口分辨率计算与移动设备屏幕位置坐标对应的镜像窗口位置坐标；以及
    3)镜像内容显示，根据获取的移动设备的屏幕显示内容数据在镜像窗口位置坐标显示与该镜像窗口坐标对应的移动设备屏幕位置坐标的屏幕显示内容。
  5. 如权利要求1所述的PC端控制移动设备的方法，其特征在于：步骤(3)中，通过PC端操作实现对移动设备控制的方法如下：
    1)PC端采集发生在镜像窗口的用户动作事件数据，并将该动作事件数据发生的镜像窗口位置坐标转换成移动设备屏幕位置坐标；以及
    2)将该动作事件数据和该移动设备屏幕位置坐标通过所述通讯连接的数据通道发送至移动设备以使其在相应的移动设备屏幕位置坐标模拟相应的动作。
  6. 如权利要求1所述的PC端控制移动设备的方法，其特征在于：所述 的移动设备包括智能手机、平板电脑。
  7. 如权利要求4所述的PC端控制移动设备的方法，其特征在于：
    PC端每隔预设时间由所述数据通道获取一次移动设备的屏幕显示内容数据；以及
    获取到新的屏幕显示内容数据时，根据新的屏幕显示内容数据在镜像窗口位置坐标显示与该镜像窗口坐标对应的移动设备屏幕位置坐标的屏幕显示内容，以替换之前显示的屏幕显示内容。
  8. 如权利要求7所述的PC端控制移动设备的方法，其特征在于：预设时间是30分之一秒。
  9. 如权利要求5所述的PC端控制移动设备的方法，其特征在于：所述用户动作事件数据为以鼠标作为PC端输入设备的点击事件数据或拖拽事件数据。
  10. 如权利要求1-9任一所述的PC端控制移动设备的方法，其特征在于，还包括：
    文本的输入步骤：PC端采集PC端输入法录入的文本信息数据，并通过所述数据通道发送给移动设备以调用移动设备的输入法进程录入相应文本。
  11. 一种PC端控制移动设备的系统，包括PC端及移动设备，其特征在于，包括：
    通讯连接模块，用于在PC端与移动设备之间建立通讯连接；
    镜像生成模块，用于在PC端生成移动设备的屏幕镜像；以及
    操作控制模块，用于通过PC端操作实现对移动设备控制。
  12. 如权利要求11所述的PC端控制移动设备的系统，其特征在于：所述通讯连接模块为数据线连接模块。
  13. 如权利要求11所述的PC端控制移动设备的系统，其特征在于：所述通讯连接模块为WIFI模块或蓝牙模块。
  14. 如权利要求11所述的PC端控制移动设备的系统，其特征在于，所述镜像生成模块包括：
    设在移动设备上的参数及数据获取模块，用于获取移动设备的屏幕大小、分辨率和屏幕显示内容数据；
    设在PC端的镜像窗口创建模块，用于在PC端创建镜像窗口，根据获取的屏幕参数将移动设备的屏幕分辨率转换为对应的移动设备屏幕位置坐标，根据镜像窗口分辨率计算与移动设备屏幕位置坐标对应的镜像窗口位置坐标；以及
    设在PC端的镜像内容显示模块，用于根据获取的移动设备的屏幕显示内容数据在镜像窗口位置坐标显示与该镜像窗口坐标对应的移动设备屏幕位置坐标的屏幕显示内容。
  15. 如权利要求11所述的PC端控制移动设备的系统，其特征在于，所述操作控制模块包括：
    设在PC端的动作采集及转换模块，用于在PC端采集发生在镜像窗口的用户动作事件数据，并将该动作事件数据发生的镜像窗口位置坐标转换成移动设备屏幕位置坐标；以及
    设在移动设备的动作事件模拟模块，用于根据通过通讯连接的数据通道传递的该动作事件数据和该移动设备屏幕位置坐标在相应的移动设备屏幕位置坐标模拟相应的动作。
  16. 如权利要求11所述的PC端控制移动设备的系统，其特征在于：所述的移动设备包括智能手机、平板电脑。
  17. 如权利要求14所述的PC端控制移动设备的系统，其特征在于：
    所述参数及数据获取模块，每隔预设时间由所述数据通道获取一次移动设备的屏幕显示内容数据；以及
    所述镜像内容显示模块，还用于在获取到新的屏幕显示内容数据时，根据新的屏幕显示内容数据在镜像窗口位置坐标显示与该镜像窗口坐标对应的移动设备屏幕位置坐标的屏幕显示内容，以替换之前显示的屏幕显示内容。
  18. 如权利要求17所述的PC端控制移动设备的系统，其特征在于：预设时间是30分之一秒。
  19. 如权利要求15所述的PC端控制移动设备的系统，其特征在于：所述用户动作事件数据为以鼠标作为PC端输入设备的点击事件数据或拖拽事件数据。
  20. 如权利要求11-19任一所述的PC端控制移动设备的系统，其特征在于，还包括：
    设在PC端的文本采集模块，用于在PC端采集PC端输入法录入的文本信息数据，并通过所述数据通道发送给移动设备以调用移动设备的输入法进程录入相应文本；以及
    设在移动设备上的文本输入模块，用于在移动设备上通过数据通道获取PC端采集的PC端输入法录入的文本信息数据，并调用移动设备的输入法进程以根据所述文本信息数据录入相应文本。
  21. 一种计算机程序，包括计算机可读代码，当所述计算机可读代码在计算设备上运行时，导致所述计算设备执行根据权利要求1-10中的任一项所述的PC端控制移动设备的方法。
  22. 一种计算机可读介质，其中存储了如权利要求21所述的计算机程序。
PCT/CN2017/099525 2016-12-29 2017-08-29 Pc端控制移动设备的方法及系统 Ceased WO2018120884A1 (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201611250183.8 2016-12-29
CN201611250183.8A CN106873846A (zh) 2016-12-29 2016-12-29 一种pc端控制移动设备的方法及系统

Publications (1)

Publication Number Publication Date
WO2018120884A1 true WO2018120884A1 (zh) 2018-07-05

Family

ID=59164229

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/099525 Ceased WO2018120884A1 (zh) 2016-12-29 2017-08-29 Pc端控制移动设备的方法及系统

Country Status (2)

Country Link
CN (1) CN106873846A (zh)
WO (1) WO2018120884A1 (zh)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111283678A (zh) * 2020-01-19 2020-06-16 路邦科技授权有限公司 一种机器人镜像编程控制系统及其控制方法
CN113663324A (zh) * 2021-08-20 2021-11-19 西安万像电子科技有限公司 终端应用的控制方法、装置以及计算机可读存储介质
CN114025338A (zh) * 2021-11-09 2022-02-08 深圳万兴软件有限公司 一种提升反向控制蓝牙连接效率的方法、装置及相关组件
CN114115629A (zh) * 2020-08-26 2022-03-01 华为技术有限公司 一种界面显示方法及设备
WO2022165939A1 (zh) * 2021-02-04 2022-08-11 华为技术有限公司 一种跨设备认证方法及电子设备
EP4016272A4 (en) * 2019-08-29 2022-11-09 Honor Device Co., Ltd. CONTROL METHOD FOR A SCREEN PROJECTION SCENARIO AND ASSOCIATED DEVICE
CN115657918A (zh) * 2020-07-29 2023-01-31 华为技术有限公司 一种跨设备的对象拖拽方法及设备
CN116028356A (zh) * 2022-12-28 2023-04-28 上海哔哩哔哩科技有限公司 基于蓝牙的终端软件测试方法及装置
US12073071B2 (en) 2020-07-29 2024-08-27 Huawei Technologies Co., Ltd. Cross-device object drag method and device
CN118819450A (zh) * 2024-09-18 2024-10-22 杭州海康威视数字技术股份有限公司 一种投屏反控方法、投屏系统及投屏设备
US12455682B2 (en) 2020-07-29 2025-10-28 Huawei Technologies Co., Ltd. Cross-device object drag method and device

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106873846A (zh) * 2016-12-29 2017-06-20 北京奇虎科技有限公司 一种pc端控制移动设备的方法及系统
CN107317882A (zh) * 2017-08-12 2017-11-03 厦门多米诺数据科技有限公司 一种通过网页端控制移动设备的系统和方法
CN107544465A (zh) * 2017-09-13 2018-01-05 四川谊田集群科技有限公司 一种对控制装置远程调试的系统及方法
CN108108138B (zh) * 2017-12-18 2021-02-02 深圳腾千里科技有限公司 智能笔盒及其画面显示方法和计算机可读存储介质
CN113391782A (zh) * 2021-06-30 2021-09-14 深圳市斯博科技有限公司 计算机控制移动终端的方法、系统、电子设备及存储介质

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101132571A (zh) * 2006-08-22 2008-02-27 薛飞 在手机上显示和操作远程计算机的方法和系统
CN102185861A (zh) * 2011-05-13 2011-09-14 惠州Tcl移动通信有限公司 一种实现平板电脑与智能手机交互的系统及方法
CN103369517A (zh) * 2013-06-20 2013-10-23 张家港保税区润桐电子技术研发有限公司 一种笔记本电脑与手机互控的系统及方法
CN106155976A (zh) * 2016-08-25 2016-11-23 广安欧奇仕电子科技有限公司 一种实现平板电脑与手机交互的装置
CN106873846A (zh) * 2016-12-29 2017-06-20 北京奇虎科技有限公司 一种pc端控制移动设备的方法及系统

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102609192B (zh) * 2012-01-17 2015-05-27 华为终端有限公司 计算机操作移动终端的方法和移动终端
CN103513950A (zh) * 2012-06-29 2014-01-15 深圳市快播科技有限公司 多屏适配器、多屏显示系统及多屏适配器输入方法
CN103488422A (zh) * 2013-09-12 2014-01-01 深圳市同洲电子股份有限公司 一种用于控制终端显示界面的方法及设备
CN104461052B (zh) * 2014-11-24 2018-05-29 东软集团股份有限公司 智能设备间的文字输入方法及装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN101132571A (zh) * 2006-08-22 2008-02-27 薛飞 在手机上显示和操作远程计算机的方法和系统
CN102185861A (zh) * 2011-05-13 2011-09-14 惠州Tcl移动通信有限公司 一种实现平板电脑与智能手机交互的系统及方法
CN103369517A (zh) * 2013-06-20 2013-10-23 张家港保税区润桐电子技术研发有限公司 一种笔记本电脑与手机互控的系统及方法
CN106155976A (zh) * 2016-08-25 2016-11-23 广安欧奇仕电子科技有限公司 一种实现平板电脑与手机交互的装置
CN106873846A (zh) * 2016-12-29 2017-06-20 北京奇虎科技有限公司 一种pc端控制移动设备的方法及系统

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4432274A3 (en) * 2019-08-29 2024-12-11 Honor Device Co., Ltd. Control method applied to screen projection scenario and related device
EP4016272A4 (en) * 2019-08-29 2022-11-09 Honor Device Co., Ltd. CONTROL METHOD FOR A SCREEN PROJECTION SCENARIO AND ASSOCIATED DEVICE
US11809704B2 (en) 2019-08-29 2023-11-07 Honor Device Co., Ltd. Control method applied to screen projection scenario and related device
CN111283678A (zh) * 2020-01-19 2020-06-16 路邦科技授权有限公司 一种机器人镜像编程控制系统及其控制方法
US12073071B2 (en) 2020-07-29 2024-08-27 Huawei Technologies Co., Ltd. Cross-device object drag method and device
US12455682B2 (en) 2020-07-29 2025-10-28 Huawei Technologies Co., Ltd. Cross-device object drag method and device
CN115657918A (zh) * 2020-07-29 2023-01-31 华为技术有限公司 一种跨设备的对象拖拽方法及设备
US12393328B2 (en) 2020-07-29 2025-08-19 Huawei Technologies Co., Ltd. Cross-device object drag method and device
CN114115629A (zh) * 2020-08-26 2022-03-01 华为技术有限公司 一种界面显示方法及设备
US12197693B2 (en) 2020-08-26 2025-01-14 Huawei Technologies Co., Ltd. Method and device for displaying a projection interface
WO2022165939A1 (zh) * 2021-02-04 2022-08-11 华为技术有限公司 一种跨设备认证方法及电子设备
CN113663324A (zh) * 2021-08-20 2021-11-19 西安万像电子科技有限公司 终端应用的控制方法、装置以及计算机可读存储介质
CN114025338B (zh) * 2021-11-09 2024-02-13 深圳万兴软件有限公司 一种提升反向控制蓝牙连接效率的方法、装置及相关组件
CN114025338A (zh) * 2021-11-09 2022-02-08 深圳万兴软件有限公司 一种提升反向控制蓝牙连接效率的方法、装置及相关组件
CN116028356A (zh) * 2022-12-28 2023-04-28 上海哔哩哔哩科技有限公司 基于蓝牙的终端软件测试方法及装置
CN118819450A (zh) * 2024-09-18 2024-10-22 杭州海康威视数字技术股份有限公司 一种投屏反控方法、投屏系统及投屏设备

Also Published As

Publication number Publication date
CN106873846A (zh) 2017-06-20

Similar Documents

Publication Publication Date Title
CN106873846A (zh) 一种pc端控制移动设备的方法及系统
CN106056533B (zh) 一种拍照的方法及终端
CN109388532B (zh) 测试方法、装置、电子设备及计算机可读取存储介质
RU2700188C2 (ru) Представление вычислительной среды на множественных устройствах
CN110168487B (zh) 一种触摸控制方法及装置
CN110673782A (zh) 一种应用于投屏场景的控制方法以及相关设备
US10606367B2 (en) Command relay device, system and method for providing remote assistance/remote control
CN109451141B (zh) 一种操作控制方法及相关终端
WO2020168571A1 (zh) 设备控制方法、装置、系统、电子设备以及云服务器
CN105117337B (zh) 应用调试方法、客户端及调试平台
CN104063164A (zh) 屏幕控制的方法及装置
CN111314441B (zh) 基于多区域控制的终端控制方法、装置和终端
CN109074171A (zh) 输入方法及电子设备
CN103685389A (zh) 一种远程控制数据终端实现用户界面交互的系统及方法
CN113792278A (zh) 一种显示应用、图片的方法、装置及电子设备
CN102932542A (zh) 移动终端工作模式切换方法及移动终端
CN104516640A (zh) 动态设置触控禁闭区域的触控显示装置与方法
CN103729138A (zh) 一种基于显示屏模拟物理按键的方法和电子设备
CN107870666A (zh) 一种终端控制方法及终端
CN105992066A (zh) 一种应用于智能设备的字符输入方法和字符输入装置
WO2017215671A1 (zh) 接入设备的控制方法、装置及系统
CN105635553B (zh) 一种图像拍摄方法和装置
CN105808248A (zh) 生成应用程序的界面的方法及装置
CN107817987A (zh) 一种硬件配置方法、系统、终端及服务器
CN106506936B (zh) 一种移动终端拍摄的方法及移动终端

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17886876

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17886876

Country of ref document: EP

Kind code of ref document: A1