WO2016124012A1 - 一种用于操作对应设备上目标应用的方法与设备 - Google Patents

一种用于操作对应设备上目标应用的方法与设备 Download PDF

Info

Publication number
WO2016124012A1
WO2016124012A1 PCT/CN2015/092880 CN2015092880W WO2016124012A1 WO 2016124012 A1 WO2016124012 A1 WO 2016124012A1 CN 2015092880 W CN2015092880 W CN 2015092880W WO 2016124012 A1 WO2016124012 A1 WO 2016124012A1
Authority
WO
WIPO (PCT)
Prior art keywords
user equipment
screenshot
user
application
desktop
Prior art date
Application number
PCT/CN2015/092880
Other languages
English (en)
French (fr)
Inventor
刘孟
李军
王道龙
刘晓伟
李华明
袁艺
张钰
燕宇飞
易敏文
吕文玉
Original Assignee
百度在线网络技术（北京）有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 百度在线网络技术（北京）有限公司 filed Critical 百度在线网络技术（北京）有限公司
Priority to JP2016565287A priority Critical patent/JP2017526022A/ja
Priority to US15/301,361 priority patent/US20180189083A1/en
Priority to KR1020167030339A priority patent/KR20160138279A/ko
Publication of WO2016124012A1 publication Critical patent/WO2016124012A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/48—Program initiating; Program switching, e.g. by interrupt
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/44—Arrangements for executing specific programs
    • G06F9/451—Execution arrangements for user interfaces
    • G06F9/452—Remote windowing, e.g. X-Window System, desktop virtualisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/541—Interprogram communication via adapters, e.g. between incompatible applications
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G06F9/54—Interprogram communication
    • G06F9/547—Remote procedure calls [RPC]; Web services
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/131—Protocols for games, networked simulations or virtual reality
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72412—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories using two-way short-range wireless interfaces
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units
    • G06F3/1454—Digital output to display device ; Cooperation and interconnection of the display device with other functional units involving copying of the display data of a local workstation or window to a remote workstation or window so that an actual copy of the data is displayed simultaneously on two or more displays, e.g. teledisplay

Definitions

  • the present invention relates to the field of Internet technologies, and in particular, to a technology for operating a target application on a corresponding device.
  • terminals Today, there are more and more terminals available to users, and these terminals can use different operating systems, such as Windows, Linux, Mac OS, iOS, Android, Windows Phone, and so on. Terminals of different operating systems can install multiple apps (applications) to enrich the functions of the terminal to support user needs.
  • apps applications
  • an app suitable for an operating system cannot be used on a terminal of another operating system, so that an app suitable for different operating systems cannot be used across platforms, which reduces the portability of the app;
  • developers need to develop various versions of apps for different terminals, such as developing Windows version, winows phone version, iphone version, ipad version, android version of the app, etc., increasing development costs;
  • the user is using a certain terminal, only the app supported by the terminal can be used, and the app in the terminal of the other operating system cannot be used, which obviously affects the user's app and device use experience.
  • a method for operating at a first user equipment side is provided And a method corresponding to the target application on the second user equipment, where the method includes:
  • the application screenshot is displayed.
  • a method for assisting a first user equipment to operate a target application on the second user equipment at a second user equipment end comprising:
  • a first user equipment for operating a target application on a second user equipment, where the first user equipment includes:
  • a device for receiving a desktop screenshot sent by the second user equipment where the desktop screenshot includes application identification information of a target application displayed on a desktop of the second user equipment;
  • a device for displaying a screenshot of the application A device for displaying a screenshot of the application.
  • a second user equipment for assisting a first user equipment to operate a target application on the second user equipment, where the second user equipment includes:
  • a device for sending a desktop screenshot to the corresponding first user device where the desktop screenshot includes application identification information of the target application displayed on the desktop of the second user device;
  • a system for operating a target application on a corresponding device comprising a method for operating a corresponding second user device according to an aspect of the present invention as described above.
  • a first user device of the application, and a second user device for assisting the first user device to operate the target application on the second user device according to another aspect of the present invention.
  • the first user equipment receives and displays a desktop screenshot sent by the corresponding second user equipment, where the desktop screenshot includes the second user equipment desktop.
  • Displaying the application identification information of the target application; and converting the coordinates of the application identification information on the screen of the first user equipment into a location in response to a selection operation of the application identification information in the desktop screenshot by the corresponding user Decoding coordinates of the application identification information on the screen of the second user equipment; and transmitting coordinates of the application identification information on the screen of the second user equipment to the second user equipment;
  • FIG. 1 shows a schematic diagram of an apparatus for operating a first user equipment and a second user equipment of a target application on a corresponding device, in accordance with an aspect of the present invention
  • FIG. 2 is a schematic diagram of a desktop screenshot sent by a second user equipment to a first user equipment according to an embodiment of the present invention
  • FIG. 3 is a schematic diagram of a desktop screenshot sent by a second user equipment to a first user equipment according to another embodiment of the present invention
  • FIG. 4 is a schematic diagram showing a screenshot of an application sent by a second user equipment to a first user equipment according to an embodiment of the present invention
  • FIG. 5 is a schematic diagram of an apparatus for operating a first user equipment and a second user equipment of a target application on a corresponding device according to a preferred embodiment of the present invention
  • FIG. 6 is a schematic diagram showing a module sent by a second user equipment to a first user equipment according to an embodiment of the present invention
  • FIG. 7 is a flowchart showing a method for operating a target application on a corresponding device in cooperation with a first user device and a second user device according to another aspect of the present invention
  • FIG. 8 illustrates a flow chart for a method for operating a target application on a corresponding device in cooperation with a first user device and a second user device in accordance with a preferred embodiment of the present invention.
  • the first user device 1 includes means for receiving the first a device for sending a desktop screenshot sent by the user equipment (hereinafter referred to as “the first receiving device 11”), wherein the desktop screenshot includes application identification information of the target application displayed on the desktop of the second user device; a device for the desktop screenshot (hereinafter referred to as "the first display device 12"); for responding to the selection operation of the application identification information in the desktop screenshot by the corresponding user, the application identification information in the first user a means for converting coordinates on the screen of the device to coordinates of the application identification information on the screen of the second user equipment (hereinafter referred to as "first conversion means 13"); for using the application identification information in the second a device on the screen of the user equipment is sent to the device of the second user equipment (hereinafter referred to as “second transmitting device 14”); and is configured to receive the sending sent by the first user device 1 includes means for receiving the first a device for sending a desktop screenshot sent by the user equipment (hereinafter referred to as “the first receiving device 11
  • the first sending device 21 of the second user equipment 2 sends a device for uploading a desktop screenshot to the first user device 1, wherein the desktop screenshot includes application identification information of the target application displayed on the desktop of the second user device.
  • the first receiving device 11 of the first user equipment 1 receives the desktop screenshot sent by the second user equipment 2, wherein the desktop screenshot includes the application identifier of the target application displayed on the desktop of the second user equipment.
  • the first display device 12 displays the desktop screenshot; the first conversion device 13 responds to the selection operation of the application identification information in the desktop screenshot by the corresponding user, and uses the application identification information in the first user.
  • the coordinates on the device screen are converted to the corresponding Using the coordinates of the identification information on the screen of the second user equipment; the second transmitting device 14 transmits the coordinates of the application identification information on the screen of the second user equipment to the second user equipment 2; correspondingly, The second receiving device 22 of the second user equipment 2 receives the coordinates of the application identification information sent by the first user equipment 1 on the screen of the second user equipment; the first executing device 23 performs startup at the coordinates.
  • the third sending device 24 sends the activated application screenshot of the target application to the first user device 1; correspondingly, the third receiving device of the first user device 1 15: receiving an application screenshot of the target application after the startup sent by the second user equipment; and displaying, by the second display device 16, the application screenshot.
  • the first user equipment 1 and the second user equipment 2 may be any electronic products that can interact with the user through a keyboard, a mouse, a touch pad, a touch screen or a handwriting device, such as a PC, a mobile phone, or an intelligent device.
  • the first user equipment 1 and the second user equipment 2 are merely examples, and other existing or future user equipments may be applicable to the present invention and should also be included in the scope of the present invention. And is hereby incorporated by reference.
  • the first user equipment 1 and the second user equipment 2 each include an electronic device capable of automatically performing numerical calculation and information processing according to an instruction set or stored in advance, the hardware including but not limited to a microprocessor, dedicated Integrated circuits (ASICs), programmable gate arrays (FPGAs), digital processors (DSPs), embedded devices, and the like.
  • ASICs dedicated Integrated circuits
  • FPGAs programmable gate arrays
  • DSPs digital processors
  • embedded devices and the like.
  • the first sending device 21 of the second user equipment 2 sends a desktop screenshot to the corresponding first user equipment 1, wherein the desktop screenshot includes application identification information of the target application displayed on the desktop of the second user equipment.
  • the desktop screenshot may be all the image information of the desktop that the user sees on the second user device 2, that is, the desktop screenshot is a full-screen screenshot of the desktop of the second user device 2; or the desktop screenshot may also be Is a screenshot of only the application identification information of the target application, that is, the desktop screenshot is a part of the desktop full screen screenshot of the second user device 2.
  • the target application refers to a third-party application installed in the second user device 2, such as 360 Guardian, Youku App, Xinhua Dictionary App, and the like.
  • the application identification information is used to identify the target application, which may
  • the image, the text, the image, the graphic, the animation, and the like are composed of one or more of various forms.
  • the text displayed by the application identification information may be dynamically transformed, for example, the target application is introduced in an animated form.
  • user A has two mobile terminals, a first user equipment 1 and a second user equipment 2, wherein the first user equipment 1 is a tablet UE1, and its operating system is IOS, and the screen resolution is 1536*2304, that is, UE1 has 1536 pixels in the horizontal direction and 2304 pixels in the vertical direction.
  • the second user equipment 2 is a smartphone UE2, and its operating system is Android.
  • the screen resolution is 640*960. It is assumed that the pixel spacing between UE1 and UE2 is equal. Because the app is installed in the UE2, such as the Heart Rate PRO, and the similar application is not installed in the UE1. When the user A wants to use the app through the UE1, in the prior art, the user A has to download the UE1 operating system.
  • the user A can make the connection between the UE1 and the UE2 through the wifi or the Bluetooth on the UE1 and the UE2 device, and then the first sending device 21 of the UE2 can first pass the screen capture or through the installed screen capture software.
  • the screenshot of the desktop that captures the application icon (such as the application icon) containing the target application, ie Heart Rate PRO, is sent to UE1 via wifi or Bluetooth.
  • the screenshot of the desktop can be the desktop of UE2. Screenshots, as shown in FIG.
  • the first receiving device 11 of the first user equipment 1 receives the desktop screenshot sent by the second user equipment 2 by means of wifi or Bluetooth, etc., wherein the desktop screenshot includes the second user equipment displaying on the desktop The application identification information of the target application.
  • the first display device 12 displays the desktop screenshot.
  • the first display device 12 of the first user equipment 1 may first perform equal-scale stretching and reduction adjustment processing on the desktop screenshot, and the adjusted desktop screenshot may be centered, full-screen displayed, etc. on the first user equipment 1.
  • the mode displays, or, after the first user device 1 displays the desktop screenshot, a black blank area may also appear.
  • the first conversion device 13 first acquires the application in the screenshot of the desktop by the corresponding user through an application program interface (API) provided by the first user device 1 or through an application program interface (API) provided by the target application. And a selection operation of the identification information; then, in response to the selection operation, converting coordinates of the application identification information on the first user equipment screen to coordinates of the application identification information on the second user equipment screen.
  • the selecting operation may be an operation of the user to start the target application, such as clicking, etc., or the user may aim to adjust the arrangement position of the target application on the desktop screenshot, such as dragging and the like. For example, if user A sees the desktop screenshot sent by UE2 as shown in FIG.
  • a conversion device 13 obtains a click operation of the application icon of the target application, that is, the Heart Rate PRO of the desktop screenshot through the application program interface (API) provided by the UE1 itself; then, in response to the click operation, the Heart is
  • the coordinate of the application icon of the Rate PRO on the screen of the UE1 is converted to its coordinates on the screen of the UE2, such as the process of the first conversion device 13 of the UE1 converting the coordinates of the target application on the screen of the UE1 to the coordinates on the screen of the UE2.
  • the coordinate of the Rate PRO on the UE1 screen is (x', y'), and accordingly, when UE1 is at the target Applying the Heart Rate PRO's coordinates in the UE1 screen to its coordinates in the UE2 screen, the coordinates of the target application Heart Rate PRO in the UE1 screen are scaled down to the current 1/2.4.
  • the first display device 12 displays the desktop screenshot
  • the first display device 12 may not adjust the desktop screenshot directly.
  • the desktop screenshot is displayed according to its size on the second user device 2.
  • a black area will appear on the screen of the first user device 1, as shown in FIG.
  • the first conversion device 13 converts the coordinates of the application identification information on the screen of the first user equipment to the coordinates of the application identification information on the screen of the second user equipment in response to the selecting operation.
  • the black border on the screen of the first user equipment 1 is used as a reference, and the distance of the application identification information on the screen of the first user equipment 1 from the black border is taken as its corresponding coordinate on the screen of the second user equipment.
  • the second sending device 14 sends the coordinates of the application identification information on the screen of the second user equipment to the second user equipment 2 by means of wifi or Bluetooth.
  • the second receiving device 22 of the second user equipment 2 receives the coordinates of the application identification information sent by the first user equipment 1 on the screen of the second user equipment by means of wifi or Bluetooth.
  • the first execution device 23 performs an operation of launching an application at the coordinates to launch the target application.
  • the second receiving device 22 receives the application identification information sent by the first user equipment 1 on the screen of the second user equipment 2 as (x, y), because the desktop displayed by the second user equipment 2
  • the screenshot is its own, and the second user device 2 can perform an operation of launching the application at the coordinates, thereby actually starting the target application Heart Rate PRO in response to the click operation of the launch application executed by the user A on the UE1.
  • the third transmitting device 24 will start the device through wifi or Bluetooth.
  • An application screenshot of the target application is sent to the first user device 1.
  • the third sending device 24 first captures the application screenshot by means of screen capture, etc., and then, by means of wifi or Bluetooth, Sending an application screenshot of the target application after startup to the first user equipment 1.
  • the third receiving device 15 of the first user equipment 1 receives the application screenshot of the target application after the second user equipment is sent by means of wifi or Bluetooth.
  • the second display device 16 displays the application screenshot.
  • the manner in which the second display device 16 displays the application screenshot is the same as or substantially the same as the manner in which the first display device 12 displays the desktop screenshot.
  • the user can see the activation of the application in the second user equipment 2 on the screen of the first user equipment 1, and the first user equipment 1 displays the activation change of the application on the second user equipment 2 in real time, so that the user is
  • the first user equipment 1 uses an application that is only available in the second user equipment 2, and implements a cross-platform application, thereby improving the user's app experience and reducing the development cost of the app.
  • the second user device 2 is actually performing After the operation and the location-changed desktop screenshot of the target application on the desktop is synchronized to the first user device 1, the user can see the change of the location of the target application on the desktop screenshot on the first user device 1, correspondingly, It also enhances the user's device experience.
  • the first user device 1 may also pre-process the application screenshot, so that the pre-processed application screenshot and The screen attributes of the first user device match.
  • the respective devices of the first user device 1 and the second user device 2 are continuously working.
  • the first sending device 21 of the second user equipment 2 continues to send a device for uploading a desktop screenshot to the corresponding first user device 1, wherein the desktop screenshot includes an application identifier of the target application displayed on the desktop of the second user device Information; accordingly, the first receiving device 11 of the first user equipment 1 continuously receives the desktop sent by the second user equipment 2 a screenshot, wherein the desktop screenshot includes application identification information of a target application displayed on a desktop of the second user device; the first display device 12 continuously displays the desktop screenshot; and the first conversion device 13 continuously responds to the corresponding user a selection operation of the application identification information in the desktop screenshot, converting coordinates of the application identification information on the screen of the first user equipment to coordinates of the application identification information on a screen of the second user equipment;
  • the second transmitting device 14 continuously transmits the coordinates of the application identification information on the second user equipment screen to the second user equipment 2; accordingly, the second receiving device 22 of the second user equipment 2 continues to
  • the “continuation” refers to continuously transmitting, receiving, and displaying desktop screenshots, coordinate conversion, and respectively, between respective devices of the first user equipment 1 and the second user equipment 2, Transmitting and receiving of the converted coordinates, activation of the target application, transmission, reception and display of the application screenshot of the target application after startup, until the second user equipment 2 stops transmitting the first user equipment 1 for a longer period of time Desktop screenshot.
  • the first user equipment 1 further comprises means for pre-processing the desktop screenshot to obtain a desktop screenshot matching the screen attribute of the first user equipment (hereinafter referred to as "pre-processing device", not show).
  • pre-processing device pre-processes the desktop screenshot to obtain a desktop screenshot matching the screen attribute of the first user device; wherein the first display device 12 is configured to display the pre-processed Desktop screenshot.
  • the pre-processing device pre-processes the desktop screenshot to obtain a desktop screenshot that matches the screen attribute of the first user device.
  • the screen attributes include, but are not limited to, information reflecting screen attributes of the first user device such as screen size, resolution, screen scale, and the like.
  • the pre-processing comprises at least one of the following:
  • the pre-processing includes adjusting the desktop screenshot according to the screen size of the first user equipment and the screen size of the second user equipment, for the two mobile terminals UE1 owned by the user A and
  • the screen resolution of UE2 and UE1 is 1536*2304, and the screen resolution of UE2 is 640*960. It is assumed that the pixel spacing between UE1 and UE2 is equal. Because the app is installed in UE2, such as heart rate detection, Heart Rating PRO is not installed in UE1.
  • the UE1 receives the desktop screenshot sent by the UE2. As shown in FIG.
  • the pre-processing device of the UE1 may The desktop screenshot is pre-processed, and the length and width dimensions of the desktop screenshot as shown in FIG. 2 are scaled up by 2.4 times to match the screen attributes of UE1.
  • the first display device 12 is configured to display the pre-processed desktop screenshot.
  • the pre-processing device expands the length and width dimensions of the desktop screenshot as shown in FIG. 2 by a factor of 2.4, and the first display device 12 displays the pre-processed desktop screenshot in full screen.
  • the first user equipment 1 further comprises means for transmitting to the second user equipment the operation request of the user with respect to a target application in the second user equipment
  • the second user equipment 2 further includes means for receiving an operation request of the corresponding user regarding the target application in the second user device sent by the first user device ( Hereinafter referred to as "operation request receiving means", not shown).
  • the operation request sending device of the first user equipment 1 sends the operation request of the user about the target application in the second user equipment to the second user equipment 2; correspondingly, the operation request of the second user equipment 2
  • the receiving device receives an operation request of the corresponding user sent by the first user equipment about the target application in the second user equipment; the first sending device 21 sends a desktop screenshot to the first user equipment in response to the operation request,
  • the desktop screenshot includes application identification information of the target application displayed on the desktop of the second user equipment.
  • the operation request sending device of the first user equipment 1 sends the operation request of the user about the target application in the second user equipment to the second user equipment 2 by means of wifi or Bluetooth.
  • the UE1 can actively send an operation request using the app in the UE2 to the UE2 through the UE1, such as the Bluetooth and the UE2 through the UE1.
  • the Bluetooth is docked, and then the UE1 transmits the agreed information to the UE2 to request to use the detected heart rate application Heart Rate PRO in the UE2.
  • the present invention transmits the operation request of the user about the target application in the second user equipment to the second user equipment 2, so that the second user equipment 2 does not send to the first user equipment 1 in any situation.
  • the desktop screenshot of the application identifier information of the target application displayed on the desktop of the second user equipment avoids that when the UE1 and the UE2 are connected through wifi or Bluetooth, the user does not want the UE2 to send the desktop screenshot to the UE1 but the UE2 actively takes the initiative. Sending desktop screenshots to the user's interference further enhances the user's device and app experience.
  • the operation request receiving device of the second user equipment 2 receives the operation request of the corresponding user sent by the first user equipment regarding the target application in the second user equipment by means of wifi or Bluetooth.
  • the first sending device 21 sends a desktop screenshot to the first user equipment by means of wifi or Bluetooth, etc., in response to the operation request, wherein the desktop screenshot includes the target displayed on the desktop of the second user equipment Application identification information of the application.
  • FIG. 5 is a schematic diagram of a device for operating a first user equipment 1 and a second user equipment 2 of a target application on a corresponding device according to a preferred embodiment of the present invention, wherein the first user equipment 1 includes a first transmitting device 11', a first display device 12', a first conversion device 13', a second transmission device 14', a third receiving device 15' and a second display device 16', the first user equipment 1 further comprising Means for accessing the function module of the target application executed by the user in the application screenshot (hereinafter referred to as "module access operation obtaining means 17'"); for responding to the access operation, the function module a means for converting coordinates on the screen of the first user equipment to coordinates of the function module on the screen of the second user equipment (hereinafter referred to as "second conversion means 18'"); for using the function module Coordinates on the screen of the second user equipment are sent to the second user a device of the household device (hereinafter referred to as "fourth transmitting device
  • the first transmitting device 21', the second receiving device 22', the first executing device 23', and the third transmitting device 24' of the second user equipment 2 are respectively the same or substantially the same as the contents of the corresponding device in the embodiment of FIG.
  • the module access operation obtaining means 17' of the first user equipment 1 acquires the target application executed by the user in the application screenshot by calling an application program interface (API) provided by the first user equipment 1 itself. Access operations of function modules, such as user clicks on the function modules. For example, for user A, after seeing the application screenshot of the target application Heart Rate PRO returned by UE2 on the screen of UE1, clicking the function module of the application, such as “history record”, the module access operation obtaining device 17′ of UE1 By calling the application program interface (API) provided by the first user device 1 itself, the click operation of the function module "history" of the target application Heart Rate PRO executed by the user A in the application screenshot can be obtained.
  • API application program interface
  • the second converting means 18' converts coordinates of the function module on the first user equipment screen to coordinates of the function module on the second user equipment screen in response to the access operation.
  • the second converting means 18' sets the functional module in the
  • the manner in which the coordinates on the screen of the user equipment are converted to the coordinates of the function module on the screen of the second user equipment and the first conversion device 13 in the embodiment of FIG. 1 is the application identifier information in the first user equipment.
  • the coordinates on the screen are converted to the same or substantially the same as the coordinates of the application identification information on the screen of the second user equipment.
  • the details are not described herein again and are included in the reference. this.
  • the fourth transmitting device 19' transmits the coordinates of the function module on the screen of the second user equipment to the second user equipment by means of wifi or Bluetooth.
  • the fourth receiving device 25' of the second user equipment 2 receives, by means of wifi or Bluetooth, a function module of the target application that is accessed by the first user equipment and is accessed by the user, on the second user equipment screen.
  • the coordinates on the top correspond to
  • the second executing device 26' performs a module access operation at coordinates of the functional module on the second user device screen to activate the functional module.
  • the manner in which the second executing device 26' activates the functional module is the same as or substantially the same as the manner in which the first executing device 23 in the embodiment of FIG. 1 starts the target application.
  • it is not here. Further details are included herein by reference.
  • the fifth sending device 27' first captures a screenshot of the module of the function module after the startup by means of screen capture or the like; and then sends the module screenshot to the first user device by means of wifi or Bluetooth.
  • the target application Heart Rate PRO after the second execution device 26' of the second user device 2 activates the function module "History", the screen is as shown in FIG. 6, and the fifth transmitting device 27' sends the module screenshot to The first user equipment 1.
  • the fifth receiving device 1a' of the first user equipment 1 receives a module screenshot of the activated functional module sent by the second user equipment by means of wifi or Bluetooth.
  • the third display device 1b' displays the module screenshot.
  • the manner in which the third display device 1b' displays the screenshot of the module is the same as or substantially the same as the manner in which the first display device 12' in the embodiment of FIG. 1 displays the desktop screenshot.
  • the first display device 12' in the embodiment of FIG. 1 displays the desktop screenshot.
  • I will not repeat them and include them here by reference.
  • first user equipment 1 The first display device 12', the second display device 16', and the third display device 1b' may be separate modules or may be integrated.
  • first executing device 23' and the second executing device 26' of the second user device 2 may be separate modules or may be integrated.
  • FIG. 7 illustrates a flow chart of a method for operating a target application on a corresponding device in cooperation with a first user device and a second user device in accordance with another aspect of the present invention.
  • the method includes step S1, step S2, step S3, step S4, step S5, step S6, and step S7.
  • step S1 the second user equipment 2 sends a device for uploading a desktop screenshot to the first user equipment 1, wherein the desktop screenshot includes application identification information of the target application displayed on the desktop of the second user equipment;
  • the first user equipment 1 receives the desktop screenshot sent by the second user equipment 2, wherein the desktop screenshot includes application identification information of the target application displayed on the desktop of the second user equipment;
  • step S2 The first user equipment 1 displays the desktop screenshot;
  • step S3 the first user equipment 1 responds to the selection operation of the application identification information in the desktop screenshot by the corresponding user, and the application identification information is in the
  • the coordinates on the screen of the first user equipment are converted to the coordinates of the application identification information on the screen of the second user equipment; in step S4, the first user equipment 1 uses the application identification information in the second user equipment.
  • the coordinates on the screen are sent to the second user equipment 2; correspondingly, the second user equipment 2 receives the application identification information sent by the first user equipment 1 at Describe the coordinates on the screen of the second user equipment; in step S5, the second user equipment 2 performs an operation of starting the application at the coordinates to start the target application; in step S6, the second user equipment 2 will start
  • the application screenshot of the target application is sent to the first user device 1; correspondingly, the first user device 1 receives the application screenshot of the target application after the second user device is sent; In S7, the first user equipment 1 displays the application screenshot.
  • the first user equipment 1 and the second user equipment 2 may be any electronic products that can interact with the user through a keyboard, a mouse, a touch pad, a touch screen or a handwriting device, such as a PC, a mobile phone, or an intelligent device.
  • the first user equipment 1 and the second user equipment 2 are merely examples, and other existing or future user equipments may be applicable to the present invention and should also be included in the scope of the present invention. And is hereby incorporated by reference.
  • the first user equipment 1 and the second user equipment 2 each include an electronic device capable of automatically performing numerical calculation and information processing according to an instruction set or stored in advance, the hardware including but not limited to a microprocessor, dedicated Integrated circuits (ASICs), programmable gate arrays (FPGAs), digital processors (DSPs), embedded devices, and the like.
  • ASICs dedicated Integrated circuits
  • FPGAs programmable gate arrays
  • DSPs digital processors
  • embedded devices and the like.
  • the second user equipment 2 sends a desktop screenshot to the corresponding first user equipment 1, wherein the desktop screenshot includes application identification information of the target application displayed on the desktop of the second user equipment.
  • the desktop screenshot may be all the image information of the desktop that the user sees on the second user device 2, that is, the desktop screenshot is a full-screen screenshot of the desktop of the second user device 2; or the desktop screenshot may also be Is a screenshot of only the application identification information of the target application, that is, the desktop screenshot is a part of the desktop full screen screenshot of the second user device 2.
  • the target application refers to a third-party application installed in the second user device 2, such as 360 Guardian, Youku App, Xinhua Dictionary App, and the like.
  • the application identification information is used to identify the target application, which may be composed of one or more of various forms such as icons, characters, images, graphics, animations, etc., preferably, the application identification information is displayed.
  • the text can be dynamically transformed, such as animating the target application.
  • a first user equipment 1 and a second user equipment 2 wherein the first user equipment 1 is a tablet UE1, and its operating system is IOS, and the screen resolution is 1536*2304, that is, UE1 has 1536 pixels in the horizontal direction and 2304 pixels in the vertical direction.
  • the second user equipment 2 is a smartphone UE2, and its operating system is Android.
  • the screen resolution is 640*960. It is assumed that the pixel spacing between UE1 and UE2 is equal.
  • the app Since the app is installed in the UE2, such as the heart rate detection heart rate application, and the similar application is not installed in the UE1, when the user A wants to use the app through the UE1, In the prior art, the user A has to download an app suitable for the UE1 operating system.
  • the user A can make the connection between the UE1 and the UE2 through the wifi or the Bluetooth on the UE1 and the UE2 device, and then, in step S1,
  • the UE2 may first send a screenshot of the desktop that captures the application icon (such as the application icon) including the target rate of the target application (such as the application icon) to the UE1 through the screen capture, or through the installed screen capture software.
  • the desktop screenshot can be a full screen screenshot of UE2's desktop, as shown in Figure 2.
  • the first user equipment 1 receives the desktop screenshot sent by the second user equipment 2 by using a method such as wifi or Bluetooth, wherein the desktop screenshot includes an application identifier of the target application displayed on the desktop of the second user equipment. information.
  • the first user device 1 displays the desktop screenshot.
  • the first user equipment 1 displays the desktop screenshot sent by the second user equipment 2, there are situations in which the screen sizes and ratios of the first user equipment 1 and the second user equipment 2 are not necessarily equal.
  • the first user equipment 1 may first perform equal-scale stretching and reduction adjustment processing on the desktop screenshot, and the adjusted desktop screenshot may be centered, full-screen displayed, etc. on the first user equipment 1. Display, or, after the first user device 1 displays the desktop screenshot, a black blank area may also appear.
  • step S3 the first user equipment 1 first acquires a screenshot of the desktop by the corresponding user through an application program interface (API) provided by the first user equipment 1 or through an application program interface (API) provided by the target application.
  • API application program interface
  • API application program interface
  • the selection operation of the application identification information; and then, in response to the selecting operation, converting coordinates of the application identification information on the screen of the first user equipment to the application identification information at the second user equipment The coordinates on the screen.
  • the selection operation may be that the user aims to activate the target
  • the operation of the application, such as clicking, may also be that the user intends to adjust the arrangement position of the target application on the desktop screenshot, such as drag and drop. For example, suppose that after user A sees the desktop screenshot sent by UE2 as shown in FIG.
  • step S3 the first user equipment 1 obtains the click operation of the application icon of the target application, that is, the Heart Rate PRO of the desktop screenshot through the application program interface (API) provided by the UE1 itself; then, in response to the Clicking the operation to convert the coordinates of the application icon of the Heart Rate PRO on the screen of the UE1 to its coordinates on the screen of the UE2, as the UE1 converts the coordinates of the target application on the screen of the UE1 to the screen on the UE2 screen in step S3.
  • API application program interface
  • the distance is x
  • the distance to the upper side of the screen is y
  • the coordinates of the target application Heart Rate PRO on the UE2 screen are (x, y)
  • the UE1 its screen resolution is 1536 * 2304) when displaying the desktop screenshot ,long
  • the coordinates of the application Heart Rate PRO on the UE1 screen are (x', y'), and correspondingly, when UE1 converts the coordinates of the target application Heart Rate PRO in the UE1 screen to its coordinates in the UE2 screen,
  • the coordinates of the target application Heart Rate PRO in the UE1 screen are scaled down to the current 1/2.4.
  • step S2 when the first user equipment 1 displays the desktop screenshot, if the screen size of the first user equipment 1 is larger than the screen size of the second user equipment 2, the first user equipment 1 may not take a screenshot of the desktop. The adjustment process is performed, and the desktop screenshot is directly displayed according to its size on the second user device 2. At this time, a black area will appear on the screen of the first user device 1, as shown in FIG.
  • step S3 the first user equipment 1 responds to the selection operation, and uses the application identification information in the first use.
  • the black border on the screen of the first user equipment 1 is used as a reference, and the application identification information is in the first user equipment. 1 The distance from the black border on the screen as its corresponding coordinate on the screen of the second user device.
  • step S4 the first user equipment 1 transmits the coordinates of the application identification information on the screen of the second user equipment to the second user equipment 2 by means of wifi or Bluetooth.
  • the second user equipment 2 receives the coordinates of the application identification information sent by the first user equipment 1 on the screen of the second user equipment by means of wifi or Bluetooth.
  • step S5 the second user device 2 performs an operation of launching the application at the coordinates to launch the target application.
  • the second user equipment 2 receives the application identification information sent by the first user equipment 1 on the screen of the second user equipment 2 as (x, y), because the second user The desktop screenshot displayed by the device 2 is its own, and the second user device 2 can perform an operation of launching the application at the coordinates, thereby actually starting the target application Heart Rate PRO in response to the click operation of the launch application executed by the user A on the UE1.
  • step S6 the second user equipment 2 sends the activated application screenshot of the target application to the first user equipment 1 by means of wifi or Bluetooth.
  • the second user equipment 2 first captures the application screenshot by means of screen capture, etc., and then passes the wifi. Or the method of Bluetooth or the like, sending a screenshot of the application of the target application after the startup to the first user equipment 1.
  • the first user equipment 1 receives the application screenshot of the target application after the second user equipment is sent by means of wifi or Bluetooth.
  • step S7 the first user device 1 displays the application screenshot.
  • the manner in which the first user equipment 1 displays the application screenshot is the same as or substantially the same as the manner in which the desktop screenshot is displayed in step S2.
  • no further details are provided herein. The way of reference is included with this.
  • the user is on the screen of the first user device 1
  • the activation of the application in the second user equipment 2 can be seen on the screen, and the first user equipment 1 displays the activation change of the application on the second user equipment 2 in real time, so that the user uses only the first user equipment 1 in the first
  • the application that is only available in the user equipment 2 implements the cross-platform use application, thereby improving the user's app experience and reducing the development cost of the app; meanwhile, when the user displays the desktop on the first user device 1
  • the target application is configured to adjust the position of the target application on the desktop screenshot, such as dragging, etc., when the second user device 2 actually performs the operation and applies the target to the desktop.
  • the transformed desktop screenshot is synchronized to the first user device 1, the user can see the change of the location of the target application on the desktop screenshot on the first user device 1, and correspondingly, the user's device experience is also improved.
  • step S7 before the first user equipment 1 displays the application screenshot, the first user equipment 1 may also pre-process the application screenshot, so that the pre-processed The application screenshot matches the screen attributes of the first user device.
  • step S1 the second user equipment 2 continues to send a device for uploading a desktop screenshot to the corresponding first user equipment 1, wherein the desktop screenshot includes application identification information of the target application displayed on the desktop of the second user equipment.
  • the first user equipment 1 continuously receives the desktop screenshot sent by the second user equipment 2, wherein the desktop screenshot includes application identification information of the target application displayed on the desktop of the second user equipment;
  • the first user equipment 1 continues to display the desktop screenshot; in step S3, the first user equipment 1 continuously responds to the selection operation of the corresponding user identification information in the desktop screenshot, and the application identifier is Converting the coordinates of the information on the screen of the first user equipment to the coordinates of the application identification information on the screen of the second user equipment; in step S4, the first user equipment 1 continues to use the application identification information in the Coordinates on the screen of the second user equipment are sent to the second user equipment 2; correspondingly, the second user equipment 2 continues to receive the first user equipment 1 Sending the coordinates of the application identification information on the screen of the second user equipment; in step S5, the second user equipment 2 continues to perform an operation of starting the application at the coordinates to start the target application; In S6, the second user equipment 2 continuously sends the activated application screenshot of the target application to the first user equipment
  • An application screenshot of the target application in step S7, the first user device 1 continuously displays the application screenshot.
  • the “continuation” refers to continuously sending, receiving, and displaying desktop screenshots, coordinate conversion, and respectively, between respective steps of the first user equipment 1 and the second user equipment 2, Transmitting and receiving of the converted coordinates, activation of the target application, transmission, reception and display of the application screenshot of the target application after startup, until the second user equipment 2 stops transmitting the first user equipment 1 for a longer period of time Desktop screenshot.
  • the method further comprises a step S14 (not shown).
  • step S14 the first user equipment 1 performs pre-processing on the desktop screenshot to obtain a desktop screenshot matching the screen attribute of the first user equipment; wherein, in step S2, the first user Device 1 is used to display the pre-processed screenshot of the desktop.
  • the first user equipment 1 preprocesses the desktop screenshot to obtain a desktop screenshot that matches the screen attribute of the first user equipment.
  • the screen attributes include, but are not limited to, information reflecting screen attributes of the first user device such as screen size, resolution, screen scale, and the like.
  • the pre-processing comprises at least one of the following:
  • the pre-processing includes adjusting the desktop screenshot according to the screen size of the first user equipment and the screen size of the second user equipment, for the two mobile terminals UE1 owned by the user A and
  • the screen resolution of UE2 and UE1 is 1536*2304, and the screen resolution of UE2 is 640*960. It is assumed that the pixel spacing between UE1 and UE2 is equal.
  • the app is installed in UE2, such as heart rate detection, Heart Rating PRO is not installed in UE1.
  • UE1 receives a screenshot of the desktop sent by UE2 as shown in FIG. 2, because the screen size of UE1 is UE2.
  • the screen size of the screen is 2.4 times, and the UE1 can pre-process the desktop screenshot in step S14, and the length and width dimensions of the desktop screenshot as shown in FIG. 2 are expanded by 2.4 times to match the screen attribute of UE1. .
  • step S2 the first user device 1 displays the pre-processed desktop screenshot.
  • the first user equipment 1 expands the length and width dimensions of the desktop screenshot as shown in FIG. 2 by a factor of 2.4, and in step S2, the first user equipment 1 displays in full screen.
  • the pre-processed screenshot of the desktop is the pre-processed desktop screenshot.
  • the method further comprises a step S15 (not shown).
  • step S15 the first user equipment 1 sends an operation request of the user about the target application in the second user equipment to the second user equipment 2; correspondingly, the second user equipment 2 receives the The operation request of the corresponding user sent by the first user equipment about the target application in the second user equipment; in step S1, the second user equipment 2 sends a desktop screenshot to the first user equipment in response to the operation request, The desktop screenshot includes application identification information of the target application displayed on the desktop of the second user equipment.
  • the first user equipment 1 sends an operation request of the user about the target application in the second user equipment to the second user equipment 2 by means of wifi or Bluetooth.
  • the UE1 can actively send an operation request using the app in the UE2 to the UE2 through the UE1, such as the Bluetooth and the UE2 through the UE1.
  • the Bluetooth is docked, and then the UE1 transmits the agreed information to the UE2 to request to use the detected heart rate application Heart Rate PRO in the UE2.
  • the present invention transmits the operation request of the user about the target application in the second user equipment to the second user equipment 2, so that the second user equipment 2 does not send to the first user equipment 1 in any situation.
  • the desktop screenshot of the application identifier information of the target application displayed on the desktop of the second user equipment avoids that when the UE1 and the UE2 are connected through wifi or Bluetooth, the user does not want the UE2 to send the desktop screenshot to the UE1 but the UE2 actively takes the initiative. Sending desktop screenshots to the user's interference further enhances the user's device and app experience.
  • the second user equipment 2 receives the first one by way of wifi or Bluetooth. An operation request of the corresponding user sent by the user equipment regarding the target application in the second user equipment.
  • step S1 the second user equipment 2 sends a desktop screenshot to the first user equipment by means of wifi or Bluetooth, etc., in response to the operation request, wherein the desktop screenshot includes the second user equipment Application identification information of the target application displayed on the desktop.
  • FIG. 8 illustrates a flow chart for a method for operating a target application on a corresponding device in cooperation with a first user device and a second user device in accordance with a preferred embodiment of the present invention.
  • the method includes a step S1 ′, a step S2 ′, a step S3 ′, a step S4 ′, a step S 5 ′, a step S6 ′, a step S 7 ′′, an S 8 ′, a step S9 ′, a step S 10 ′, a step S 11 ′, and a step S12 .
  • a step S1 ′ a step S1 ′
  • a step S2 ′ a step S3 ′
  • a step S4 ′ a step S 5 ′
  • a step S6 ′ a step S 7 ′′
  • an S 8 ′ a step S9 ′
  • a step S 10 ′ a step S 11 ′
  • a step S12 . '.
  • step S1' the second user equipment 2 sends a device for uploading a desktop screenshot to the first user equipment 1, wherein the desktop screenshot includes application identification information of the target application displayed on the desktop of the second user equipment.
  • the first user equipment 1 receives the desktop screenshot sent by the second user equipment 2, wherein the desktop screenshot includes application identification information of the target application displayed on the desktop of the second user equipment; in step S2' The first user equipment 1 displays the desktop screenshot; in step S3', the first user equipment 1 responds to the selection operation of the application identification information in the desktop screenshot by the corresponding user, and uses the application identification information.
  • step S4' Converting coordinates on the screen of the first user equipment to coordinates of the application identification information on the screen of the second user equipment; in step S4', the first user equipment 1 uses the application identification information in the Coordinates on the screen of the second user equipment are sent to the second user equipment 2; correspondingly, the second user equipment 2 receives the application label sent by the first user equipment 1 The coordinates of the information on the screen of the second user device; in step S5', the second user device 2 performs an operation of launching the application at the coordinates to start the target application; in step S6', the second The user equipment 2 sends a screenshot of the application of the target application to the first user equipment 1; correspondingly, the first user equipment 1 receives the activated target application sent by the second user equipment Applying a screenshot; in step S7', the first user device 1 displays the application screenshot; in step S8', the first user device 1 acquires the user executed in the application screenshot An access operation of the function module of the target application; in step S9', the first user
  • step S1', step S2', step S3', step S4', step S5', step S6', and step S7' are respectively the same or substantially the same as the contents of the corresponding steps in the embodiment of Fig. 7, here, For the sake of brevity, it is not repeated here and is hereby incorporated by reference.
  • step S8' the first user equipment 1 acquires a function module of the target application that is executed by the user in the application screenshot by calling an application program interface (API) provided by the first user equipment 1 itself. Access operations, such as user clicks on the function module. For example, for user A, after seeing the application screenshot of the target application Heart Rate PRO returned by UE2 on the screen of UE1, clicking the function module of the application, such as “history record”, UE1 invokes the first step in step S8′.
  • An application program interface (API) provided by the user equipment 1 can obtain a click operation of the function module "history record" of the target application Heart Rate PRO executed by the user A in the application screenshot.
  • step S9' the first user equipment 1 converts the coordinates of the function module on the first user equipment screen to the function module on the second user equipment screen in response to the access operation. coordinate.
  • step S9' the first user equipment 1 converts the coordinates of the function module on the screen of the first user equipment into the coordinates of the function module on the screen of the second user equipment and
  • step S3 the coordinates of the application identifier information on the screen of the first user equipment are converted into the same or substantially the same as the coordinates of the application identifier information on the screen of the second user equipment, where For the sake of reference, it will not be repeated here, and is hereby incorporated by reference.
  • step S10' the first user equipment 1 transmits the coordinates of the function module on the screen of the second user equipment to the second user equipment by means of wifi or Bluetooth.
  • the second user equipment 2 receives, by means of wifi or Bluetooth, coordinates of the function module of the target application that is accessed by the first user equipment and is accessed by the user on the screen of the second user equipment.
  • step S11' the second user device 2 performs a module access operation at the coordinates of the function module on the second user device screen to activate the function module.
  • the manner in which the second user equipment 2 activates the function module is the same or substantially the same as the manner in which the target application is started in step S5 in the embodiment of FIG. 7, here, for the sake of brevity Therefore, it will not be described here, and is included herein by reference.
  • step S12' the second user equipment 2 first captures a screenshot of the module of the function module after the startup by means of screen capture, etc., and then sends the module screenshot to the First user device.
  • the screen is as shown in FIG. 6
  • step S12 ′ the second user equipment 2 A module screenshot is sent to the first user device 1.
  • the first user equipment 1 receives a module screenshot of the activated functional module sent by the second user equipment by means of wifi or Bluetooth.
  • step S13' the first user device 1 displays the module screenshot.
  • the manner in which the first user equipment 1 displays the module screenshot is the same or substantially the same as the manner in which the desktop screenshot is displayed in step 2 in the embodiment of FIG. 7, here, for the sake of brevity Therefore, it will not be described here, and is included herein by reference.
  • the present invention can be implemented in software and/or a combination of software and hardware, for example, an application specific integrated circuit (ASIC), a general purpose computer, or any other Similar to hardware devices to achieve.
  • the software program of the present invention may be executed by a processor to implement the steps or functions described above.
  • the software program (including related data structures) of the present invention can be stored in a computer readable recording medium such as a RAM memory, a magnetic or optical drive or a floppy disk and the like.
  • some of the steps or functions of the present invention may be implemented in hardware, for example, as a circuit that cooperates with a processor to perform various steps or functions.
  • a portion of the invention can be applied as a computer program product, such as computer program instructions, which, when executed by a computer, can invoke or provide a method and/or solution in accordance with the present invention.
  • the program instructions for invoking the method of the present invention may be stored in a fixed or removable recording medium and/or transmitted by a data stream in a broadcast or other signal bearing medium, and/or stored in a The working memory of the computer device in which the program instructions are run.
  • an embodiment in accordance with the present invention includes a device including a memory for storing computer program instructions and a processor for executing program instructions, wherein when the computer program instructions are executed by the processor, triggering
  • the apparatus operates based on the aforementioned methods and/or technical solutions in accordance with various embodiments of the present invention.

Abstract

本发明的目的是提供一种用于操作对应设备上目标应用的方法与设备。具体地，第一用户设备接收第二用户设备发送的桌面截图；显示桌面截图；响应于用户对桌面截图中的应用标识信息的选择操作，将应用标识信息在第一用户设备屏幕上的坐标转换为应用标识信息在第二用户设备屏幕上的坐标；将应用标识信息在第二用户设备屏幕上的坐标发送给第二用户设备；接收第二用户设备发送的启动后的所述目标应用的应用截图；显示应用截图。与现有技术相比，本发明实现了在两个用户设备之间进行简单的静态画面传递，然后通过坐标映射方法，使得用户可在一个用户设备上可以随意使用另一个用户设备上的应用程序，提升了用户使用app的体验，降低了app的开发成本。

Description

一种用于操作对应设备上目标应用的方法与设备
相关申请的交叉引用
本申请享有2015年2月3日提交的专利申请号为201510056807.1、名称为“一种用于操作对应设备上目标应用的方法与设备”的中国专利申请的优先权，该在先申请的内容以引用方式并入本文本中。
技术领域
本发明涉及互联网技术领域，尤其涉及一种用于操作对应设备上目标应用的技术。
背景技术
当今，用户可使用的终端越来越多，而这些终端可使用不同的操作系统，如Windows、Linux、Mac OS、iOS、Android、Windows Phone等。不同操作系统的终端均可安装多个app(application,应用程序)来丰富终端的功能以支持用户需要。然而，现有技术中，适用于某一操作系统的app无法在另一操作系统的终端上使用，从而使得适用于不同操作系统的app之间无法跨平台使用，降低了app的可移植性；同时，为满足不同终端用户的需要，开发者需要开发适用于不同终端的各种版本app，如开发Windows版、winows phone版、iphone版、ipad版、android版的app等，增加了开发成本；而且，当用户在使用某一终端时，只能使用该终端支持的app，无法使用其他操作系统的终端中的app，显然，影响了用户的app和设备使用体验。
发明内容
本发明的一个目的是提供一种用于操作对应设备上目标应用的方法与设备。
根据本发明的一个方面，提供了一种在第一用户设备端用于操作 对应第二用户设备上的目标应用的方法，其中，该方法包括：
接收所述第二用户设备发送的桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；
显示所述桌面截图；
响应于对应用户对所述桌面截图中的所述应用标识信息的选择操作，将所述应用标识信息在所述第一用户设备屏幕上的坐标转换为所述应用标识信息在所述第二用户设备屏幕上的坐标；
将所述应用标识信息在所述第二用户设备屏幕上的坐标发送给所述第二用户设备；
接收所述第二用户设备发送的启动后的所述目标应用的应用截图；
显示所述应用截图。
根据本发明的另一方面，还提供了一种在第二用户设备端用于辅助第一用户设备操作该第二用户设备上的目标应用的方法，其中，该方法包括：
向对应第一用户设备发送桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；
接收所述第一用户设备发送的所述应用标识信息在所述第二用户设备屏幕上的坐标；
在所述坐标处执行启动应用的操作，以启动所述目标应用；
将启动后的所述目标应用的应用截图发送给所述第一用户设备。
根据本发明的一个方面，还提供了一种用于操作对应第二用户设备上的目标应用的第一用户设备，其中，该第一用户设备包括：
用于接收所述第二用户设备发送的桌面截图的装置，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；
用于显示所述桌面截图的装置；
用于响应于对应用户对所述桌面截图中的所述应用标识信息的选择操作，将所述应用标识信息在所述第一用户设备屏幕上的坐标转 换为所述应用标识信息在所述第二用户设备屏幕上的坐标的装置；
用于将所述应用标识信息在所述第二用户设备屏幕上的坐标发送给所述第二用户设备的装置；
用于接收所述第二用户设备发送的启动后的所述目标应用的应用截图的装置；
用于显示所述应用截图的装置。
根据本发明的另一方面，还提供了一种用于辅助第一用户设备操作该第二用户设备上的目标应用的第二用户设备，其中，该第二用户设备包括：
用于向对应第一用户设备发送桌面截图的装置，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；
用于接收所述第一用户设备发送的所述应用标识信息在所述第二用户设备屏幕上的坐标的装置；
用于在所述坐标处执行启动应用的操作，以启动所述目标应用的装置；
用于将启动后的所述目标应用的应用截图发送给所述第一用户设备的装置。
根据本发明的再一方面，还提供了一种用于操作对应设备上目标应用的系统，其中，该系统包括如前述根据本发明一个方面的一种用于操作对应第二用户设备上的目标应用的第一用户设备，以及如前述根据本发明另一方面的一种用于辅助第一用户设备操作该第二用户设备上的目标应用的第二用户设备。
与现有技术相比，本发明的一个实施例中，第一用户设备通过接收并显示其对应的第二用户设备发送的桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；并响应于对应用户对所述桌面截图中的所述应用标识信息的选择操作，将所述应用标识信息在所述第一用户设备屏幕上的坐标转换为所述应用标识信息在所述第二用户设备屏幕上的坐标；以及将所述应用标识信息在所述第二用户设备屏幕上的坐标发送给所述第二用户设备； 接收并显示第二用户设备发送的启动后的所述目标应用的应用截图，实现了在两个用户设备之间进行简单的静态画面传递，然后通过坐标映射方法，使得用户可在一个用户设备上可以随意使用另一个用户设备上的应用程序，从而提升了用户使用app的体验，也降低了app的开发成本。
附图说明
通过阅读参照以下附图所作的对非限制性实施例所作的详细描述，本发明的其它特征、目的和优点将会变得更明显：
图1示出根据本发明一个方面的一种用于操作对应设备上目标应用的第一用户设备和第二用户设备的设备示意图；
图2示出本发明一个实施例的第二用户设备向第一用户设备发送的桌面截图示意图；
图3示出本发明另一个实施例的第二用户设备向第一用户设备发送的桌面截图示意图；
图4示出本发明一个实施例的第二用户设备向第一用户设备发送的应用截图示意图；
图5示出根据本发明一个优选实施例的一种用于操作对应设备上目标应用的第一用户设备和第二用户设备的设备示意图；
图6示出本发明一个实施例的第二用户设备向第一用户设备发送的模块截图示意图；
图7示出根据本发明另一个方面的第一用户设备和第二用户设备配合实现一种用于操作对应设备上目标应用的方法流程图；
图8示出根据本发明一个优选实施例的第一用户设备和第二用户设备配合实现一种用于操作对应设备上目标应用的用于方法流程图。
附图中相同或相似的附图标记代表相同或相似的部件。
具体实施方式
下面结合附图对本发明作进一步详细描述。
图1示出根据本发明一个方面的一种用于操作对应设备上目标应用的第一用户设备1和第二用户设备2的设备示意图，其中，第一用户设备1包括用于接收所述第二用户设备发送的桌面截图的装置(以下简称“第一接收装置11”)，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；用于显示所述桌面截图的装置(以下简称“第一显示装置12”)；用于响应于对应用户对所述桌面截图中的所述应用标识信息的选择操作，将所述应用标识信息在所述第一用户设备屏幕上的坐标转换为所述应用标识信息在所述第二用户设备屏幕上的坐标的装置(以下简称“第一转换装置13”)；用于将所述应用标识信息在所述第二用户设备屏幕上的坐标发送给所述第二用户设备的装置(以下简称“第二发送装置14”)；用于接收所述第二用户设备发送的启动后的所述目标应用的应用截图的装置(以下简称“第三接收装置15”)；用于显示所述应用截图的装置(以下简称“第二显示装置16”)；第二用户设备2包括用于向对应第一用户设备发送桌面截图的装置(以下简称“第一发送装置21”)，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；用于接收所述第一用户设备发送的所述应用标识信息在所述第二用户设备屏幕上的坐标的装置(以下简称“第二接收装置22”)；用于在所述坐标处执行启动应用的操作，以启动所述目标应用的装置(以下简称“第一执行装置23”)；用于将启动后的所述目标应用的应用截图发送给所述第一用户设备的装置(以下简称“第三发送装置24”)。具体地，第二用户设备2的第一发送装置21向对应第一用户设备1发送桌面截图的装置，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；相应地，第一用户设备1的第一接收装置11接收所述第二用户设备2发送的桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；第一显示装置12显示所述桌面截图；第一转换装置13响应于对应用户对所述桌面截图中的所述应用标识信息的选择操作，将所述应用标识信息在所述第一用户设备屏幕上的坐标转换为所述应 用标识信息在所述第二用户设备屏幕上的坐标；第二发送装置14将所述应用标识信息在所述第二用户设备屏幕上的坐标发送给所述第二用户设备2；相应地，第二用户设备2的第二接收装置22接收所述第一用户设备1发送的所述应用标识信息在所述第二用户设备屏幕上的坐标；第一执行装置23在所述坐标处执行启动应用的操作，以启动所述目标应用；第三发送装置24将启动后的所述目标应用的应用截图发送给所述第一用户设备1；相应地，第一用户设备1的第三接收装置15接收所述第二用户设备发送的启动后的所述目标应用的应用截图；第二显示装置16显示所述应用截图。
在此，第一用户设备1和第二用户设备2可以是任何一种可与用户通过键盘、鼠标、触摸板、触摸屏或手写设备等方式进行人机交互的电子产品，例如PC、手机、智能手机、可穿戴设备、PDA、掌上电脑PPC或平板电脑等，其中，第一用户设备1和第二用户设备2可通过wifi、蓝牙等方式连接。本领域技术人员应能理解上述第一用户设备1和第二用户设备2仅为举例，其他现有的或今后可能出现的用户设备如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。在此，第一用户设备1和第二用户设备2均包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。
具体地，第二用户设备2的第一发送装置21向对应第一用户设备1发送桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息。在此，所述桌面截图可以是用户在第二用户设备2上看到的桌面全部图像信息，也即此时桌面截图是第二用户设备2的桌面全屏截图；或者，所述桌面截图也可以是仅包含目标应用的应用标识信息的屏幕截图，也即此时桌面截图是第二用户设备2的桌面全屏截图的一部分。在此，所述目标应用是指安装于第二用户设备2中的第三方应用程序，如360卫士、优酷app、新华字典app等。在此，所述应用标识信息用于标识所述目标应用，其可 由图标、文字、图像、图形、动画等各种形式中的一种或多种组成，优选地，所述应用标识信息所显示的文字可以是动态变换的，例如以动画形式介绍该目标应用。本领域技术人员应能理解上述应用标识信息仅为举例，其他现有的或今后可能出现的应用标识信息如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。
例如，假设用户A拥有两个移动终端，第一用户设备1和第二用户设备2，其中第一用户设备1为平板电脑UE1，其操作系统为IOS，屏幕分辨率为1536*2304，也即UE1水平方向含有像素数1536个，垂直方向像素数为2304个，第二用户设备2为智能手机UE2，其操作系统为Android，屏幕分辨率为640*960，假设UE1和UE2的像素间距相等，因UE2中安装有app如检测心律应用Heart Rate PRO，而UE1中未安装该类似应用，当用户A欲通过UE1使用该app时，现有技术中，用户A不得不需要下载适合UE1操作系统的app，而本发明中，用户A可通过wifi或UE1与UE2设备上的蓝牙，使UE1与UE2取得连接，然后，UE2的第一发送装置21可首先通过抓屏，或者通过安装的抓屏软件，将抓取得到包含目标应用即Heart Rate PRO的应用图标(如应用icon等)的桌面截图通过wifi或蓝牙等方式，发送给UE1，该桌面截图可以是UE2的桌面全屏截图，如图2所示。
相应地，第一用户设备1的第一接收装置11通过wifi或蓝牙等方式，接收所述第二用户设备2发送的桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息。
接着，第一显示装置12显示所述桌面截图。在此，在第一用户设备1显示第二用户设备2发送的所述桌面截图时，存在着第一用户设备1和第二用户设备2的屏幕尺寸大小和比例不一定相等的情形，这时第一用户设备1的第一显示装置12可首先对所述桌面截图进行等比例拉伸、缩小等调整处理，而调整后的所述桌面截图在第一用户设备1上可以居中、全屏显示等方式显示，或者，第一用户设备1对所述桌面截图进行显示后，还可能出现黑色空白区域。例如，接上例，因UE1的屏幕分辨率为1536*2304，而UE2的屏幕分辨率为640*960， 因此，UE1的第一显示装置12显示所述桌面截图时，将原桌面截图的长宽尺寸均按比例扩大2.4倍(因1536/640＝2.4，2304/960＝2.4)，并全屏显示。
本领域技术人员应能理解上述显示所述桌面截图的方式仅为举例，其他现有的或今后可能出现的显示所述桌面截图的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。
第一转换装置13首先通过第一用户设备1自身提供的应用程序接口(API)，或者通过所述目标应用提供的应用程序接口(API)，获取对应用户对所述桌面截图中的所述应用标识信息的选择操作；然后，响应于该选择操作，将所述应用标识信息在所述第一用户设备屏幕上的坐标转换为所述应用标识信息在所述第二用户设备屏幕上的坐标。在此，所述选择操作可以是用户旨在启动所述目标应用的操作如点击等，也可以是用户旨在调整所述目标应用在所述桌面截图上的排列位置，如拖拽等。例如，假设用户A在UE1上看到UE2发送的如图2所示的桌面截图后，其点击了该桌面截图中的目标应用即Heart Rate PRO的应用图标，旨在启动该目标应用，则第一转换装置13通过UE1自身提供的应用程序接口(API)，便获取到用户A对所述桌面截图中目标应用即Heart Rate PRO的应用图标的点击操作；然后，响应于该点击操作，将Heart Rate PRO的应用图标在UE1屏幕上的坐标转换为其在UE2屏幕上的坐标，如UE1的第一转换装置13再将目标应用在UE1屏幕上的坐标转换为其在UE2屏幕上的坐标的过程中，是对UE1对UE2发送的桌面截图进行显示调整处理的反处理，例如，假设目标应用Heart Rate PRO在UE2的屏幕(其屏幕分辨率为640*960)中到屏幕左侧的距离为x，到屏幕上侧的距离为y，即目标应用Heart Rate PRO在UE2屏幕上的坐标为(x,y),而UE1(其屏幕分辨率为1536*2304)在显示该桌面截图时，长宽均扩大为原来的2.4倍，也即，目标应用Heart Rate PRO在UE1中到屏幕左侧的距离为x’＝2.4*x，到屏幕上侧的距离为y’＝2.4*y，即目标应用Heart Rate PRO在UE1屏幕上的坐标为(x’,y’),相应地，当UE1在将该目标 应用Heart Rate PRO在UE1屏幕中的坐标转换为其在UE2屏幕中的坐标过程中，将目标应用Heart Rate PRO在UE1屏幕中的坐标按比例缩小为当前的1/2.4。
本领域技术人员应能理解上述坐标转换的方式仅为举例，其他现有的或今后可能出现的坐标转换的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。
优选地，第一显示装置12显示所述桌面截图时，若第一用户设备1的屏幕尺寸大于第二用户设备2的屏幕尺寸，第一显示装置12可不对所述桌面截图进行调整处理，直接将所述桌面截图按照其在第二用户设备2上的尺寸进行显示，此时，第一用户设备1的屏幕上将出现黑色区域，如图3所示。其中，第一转换装置13响应于所述选择操作，将所述应用标识信息在所述第一用户设备屏幕上的坐标转换为所述应用标识信息在所述第二用户设备屏幕上的坐标时，第一用户设备1屏幕上的黑色边框为基准，将所述应用标识信息在第一用户设备1屏幕上距离黑色边框的距离作为其在所述第二用户设备屏幕上的相应坐标。
然后，第二发送装置14通过wifi或蓝牙等方式，将所述应用标识信息在所述第二用户设备屏幕上的坐标发送给所述第二用户设备2。
相应地，第二用户设备2的第二接收装置22通过wifi或蓝牙等方式，接收所述第一用户设备1发送的所述应用标识信息在所述第二用户设备屏幕上的坐标。
第一执行装置23在所述坐标处执行启动应用的操作，以启动所述目标应用。例如，假设第二接收装置22接收到第一用户设备1发送的所述应用标识信息在所述第二用户设备2屏幕上的坐标为(x,y)，因第二用户设备2展示的桌面截图是其自身的，第二用户设备2可在该坐标处执行启动应用的操作，从而响应用户A在UE1上执行的启动应用的点击操作，真正启动目标应用Heart Rate PRO。
接着，第三发送装置24通过wifi或蓝牙等方式，将启动后的所 述目标应用的应用截图发送给所述第一用户设备1。例如，接上例，假设目标应用Heart Rate PRO启动后的画面如图4所示，则第三发送装置24首先通过抓屏等方式抓取到该应用截图，然后，通过wifi或蓝牙等方式，将启动后的所述目标应用的应用截图发送给所述第一用户设备1。
相应地，第一用户设备1的第三接收装置15通过wifi或蓝牙等方式，接收所述第二用户设备发送的启动后的所述目标应用的应用截图。
第二显示装置16显示所述应用截图。在此，第二显示装置16显示所述应用截图的方式与第一显示装置12显示所述桌面截图的方式相同或基本相同，为简明起见，故在此不再赘述，并以引用的方式包含与此。在此，用户在第一用户设备1的屏幕上即可看到第二用户设备2中应用的启动，第一用户设备1实时展现了第二用户设备2上的应用的启动变化，从而用户在第一用户设备1中使用了只有在第二用户设备2中才有的应用，实现了跨平台的使用应用，从而提升了用户的app使用体验，也降低了app的开发成本；同时，当用户在第一用户设备1上显示所述桌面截图中对目标应用执行了旨在调整所述目标应用在所述桌面截图上的排列位置，如拖拽等操作时，第二用户设备2在真正执行该操作并将目标应用在桌面上的位置变换后的桌面截图同步至第一用户设备1后，用户可在第一用户设备1上看到目标应用在桌面截图上的位置的变化，相应地，也提升了用户的设备使用体验。
在此，本领域技术人员应能理解，在第二显示装置16显示所述应用截图之前，第一用户设备1还可对该应用截图进行预处理，使得经预处理后的所述应用截图与第一用户设备的屏幕属性相匹配。
第一用户设备1和第二用户设备2的各个装置之间是持续不断工作的。具体地，第二用户设备2的第一发送装置21持续向对应第一用户设备1发送桌面截图的装置，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；相应地，第一用户设备1的第一接收装置11持续接收所述第二用户设备2发送的桌面 截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；第一显示装置12持续显示所述桌面截图；第一转换装置13持续响应于对应用户对所述桌面截图中的所述应用标识信息的选择操作，将所述应用标识信息在所述第一用户设备屏幕上的坐标转换为所述应用标识信息在所述第二用户设备屏幕上的坐标；第二发送装置14持续将所述应用标识信息在所述第二用户设备屏幕上的坐标发送给所述第二用户设备2；相应地，第二用户设备2的第二接收装置22持续接收所述第一用户设备1发送的所述应用标识信息在所述第二用户设备屏幕上的坐标；第一执行装置23持续在所述坐标处执行启动应用的操作，以启动所述目标应用；第三发送装置24持续将启动后的所述目标应用的应用截图发送给所述第一用户设备1；相应地，第一用户设备1的第三接收装置15持续接收所述第二用户设备发送的启动后的所述目标应用的应用截图；第二显示装置16持续显示所述应用截图。在此，本领域技术人员应能理解，所述“持续”是指第一用户设备1和第二用户设备2的各个装置之间分别不断地进行桌面截图的发送、接收和显示、坐标转换、转换后的坐标的发送与接收、目标应用的启动、启动后的目标应用的应用截图的发送、接收与显示，直至第二用户设备2在较长时间内停止向第一用户设备1发送所述桌面截图。
优选地，第一用户设备1还包括用于对所述桌面截图进行预处理，以获得与所述第一用户设备的屏幕属性相匹配的桌面截图的装置(以下简称“预处理装置”，未示出)。具体地，预处理装置对所述桌面截图进行预处理，以获得与所述第一用户设备的屏幕属性相匹配的桌面截图；其中，第一显示装置12用于显示经预处理后的所述桌面截图。
具体地，预处理装置对所述桌面截图进行预处理，以获得与所述第一用户设备的屏幕属性相匹配的桌面截图。在此，所述屏幕属性包括但不限于如屏幕尺寸、分辨率、屏幕比例等反映第一用户设备的屏幕属性的信息。优选地，所述预处理包括以下至少任一项：
-根据所述第一用户设备的屏幕尺寸和所述第二用户设备的屏 幕尺寸，对所述桌面截图进行调整处理；
-根据所述第一用户设备的屏幕比例和所述第二用户设备的屏幕比例，对所述桌面截图进行调整处理。
例如，当所述预处理包括根据所述第一用户设备的屏幕尺寸和所述第二用户设备的屏幕尺寸，对所述桌面截图进行调整处理时，对于用户A拥有的两个移动终端UE1和UE2，UE1的屏幕分辨率为1536*2304，UE2的屏幕分辨率为640*960，假设UE1和UE2的像素间距相等，因UE2中安装有app如检测心律应用Heart Rate PRO，而UE1中未安装该类似应用，当用户A欲通过UE1使用该app时，UE1接收到UE2发送的桌面截图如图2所示，因UE1的屏幕尺寸为UE2的屏幕尺寸的2.4倍，则UE1的预处理装置可对该桌面截图进行预处理，将如图2所示的桌面截图的长宽尺寸均按比例扩大2.4倍，从而与UE1的屏幕属性相匹配。
然后，第一显示装置12用于显示经预处理后的所述桌面截图。例如，接上例，预处理装置将如图2所示的桌面截图的长宽尺寸均按比例扩大2.4倍，此时第一显示装置12全屏显示经预处理后的所述桌面截图。
在一个优选实施例中(参考图1)，其中，第一用户设备1还包括用于向所述第二用户设备发送所述用户关于所述第二用户设备中目标应用的操作请求的装置(以下简称“操作请求发送装置”，未示出)，第二用户设备2还包括用于接收所述第一用户设备发送的对应用户关于所述第二用户设备中目标应用的操作请求的装置(以下简称“操作请求接收装置”，未示出)。具体地，第一用户设备1的操作请求发送装置向所述第二用户设备2发送所述用户关于所述第二用户设备中目标应用的操作请求；相应地，第二用户设备2的操作请求接收装置接收所述第一用户设备发送的对应用户关于所述第二用户设备中目标应用的操作请求；第一发送装置21响应于所述操作请求，向所述第一用户设备发送桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的所述目标应用的应用标识信息。
具体地，第一用户设备1的操作请求发送装置通过wifi或蓝牙等方式，向所述第二用户设备2发送所述用户关于所述第二用户设备中目标应用的操作请求。例如，对应用户A，在其欲通过UE1使用UE2中安装的app如检测心律应用Heart Rate PRO时，其可通过UE1向UE2主动发送使用UE2中该app的操作请求，如通过UE1的蓝牙与UE2的蓝牙对接上，然后通过UE1向UE2发送约定的信息以请求使用UE2中的检测心律应用Heart Rate PRO。在此，本发明通过向第二用户设备2发送所述用户关于所述第二用户设备中目标应用的操作请求，使得并非在任意情形下，第二用户设备2均向第一用户设备1发送包含所述第二用户设备桌面上显示的所述目标应用的应用标识信息的桌面截图，避免了当UE1与UE2通过wifi或蓝牙连接后，用户并非希望UE2向UE1发送所述桌面截图而UE2主动发送桌面截图对用户造成的干扰，更进一步提升了用户的设备和app使用体验。
相应地，第二用户设备2的操作请求接收装置通过wifi或蓝牙等方式，接收所述第一用户设备发送的对应用户关于所述第二用户设备中目标应用的操作请求。
第一发送装置21响应于所述操作请求，通过wifi或蓝牙等方式，向所述第一用户设备发送桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的所述目标应用的应用标识信息。
图5示出根据本发明一个优选实施例的一种用于操作对应设备上目标应用的第一用户设备1和第二用户设备2的设备示意图，其中，第一用户设备1包括第一发送装置11’、第一显示装置12’、第一转换装置13’、第二发送装置14’、第三接收装置15’和第二显示装置16’，第一用户设备1还包括用于获取所述用户在所述应用截图中执行的对所述目标应用的功能模块的访问操作的装置(以下简称“模块访问操作获取装置17’”)；用于响应于所述访问操作，将所述功能模块在所述第一用户设备屏幕上的坐标转换为所述功能模块在所述第二用户设备屏幕上的坐标的装置(以下简称“第二转换装置18’”)；用于将所述功能模块在所述第二用户设备屏幕上的坐标发送给所述第二用 户设备的装置(以下简称“第四发送装置19’”)；用于接收所述第二用户设备发送的启动后的所述功能模块的模块截图的装置(以下简称“第五接收装置1a’”)；用于显示所述模块截图的装置(以下简称“第三显示装置1b’”)；第二用户设备2包括第一发送装置21’、第二接收装置22’、第一执行装置23’和第三发送装置24’，第二用户设备2还包括用于接收所述第一用户设备发送的对应用户访问的所述目标应用的功能模块在所述第二用户设备屏幕上的坐标的装置(以下简称“第四接收装置25’”)；用于在所述功能模块在所述第二用户设备屏幕上的坐标处执行模块访问操作，以启动所述功能模块的装置(以下简称“第二执行装置26’”)；用于将启动后的所述功能模块的模块截图发送给所述第一用户设备的装置(以下简称“第五发送装置27’”)。在此，第一用户设备1的第一发送装置11’、第一显示装置12’、第一转换装置13’、第二发送装置14’、第三接收装置15’和第二显示装置16’，以及第二用户设备2的第一发送装置21’、第二接收装置22’、第一执行装置23’和第三发送装置24’分别与图1实施例中对应装置的内容相同或基本相同，在此，为简明起见，故在此不再赘述，并以引用的方式包含于此。
具体地，第一用户设备1的模块访问操作获取装置17’通过调用第一用户设备1自身提供的应用程序接口(API)获取所述用户在所述应用截图中执行的对所述目标应用的功能模块的访问操作，如用户对所述功能模块的点击等。例如，对于用户A，其在UE1的屏幕上看到UE2返回的目标应用Heart Rate PRO的应用截图后，点击了该应用的功能模块如“历史记录”，则UE1的模块访问操作获取装置17’通过调用第一用户设备1自身提供的应用程序接口(API)，便可获取到用户A在所述应用截图中执行的对目标应用Heart Rate PRO的功能模块“历史记录”的点击操作。
第二转换装置18’响应于所述访问操作，将所述功能模块在所述第一用户设备屏幕上的坐标转换为所述功能模块在所述第二用户设备屏幕上的坐标。在此，第二转换装置18’将所述功能模块在所述第 一用户设备屏幕上的坐标转换为所述功能模块在所述第二用户设备屏幕上的坐标的方式与图1实施例中第一转换装置13将所述应用标识信息在所述第一用户设备屏幕上的坐标转换为所述应用标识信息在所述第二用户设备屏幕上的坐标的方式相同或基本相同，在此，为简明起见，故在此不再赘述，并以引用的方式包含于此。
第四发送装置19’通过wifi或蓝牙等方式，将所述功能模块在所述第二用户设备屏幕上的坐标发送给所述第二用户设备。
相应地，第二用户设备2的第四接收装置25’通过wifi或蓝牙等方式，接收所述第一用户设备发送的对应用户访问的所述目标应用的功能模块在所述第二用户设备屏幕上的坐标。
第二执行装置26’在所述功能模块在所述第二用户设备屏幕上的坐标处执行模块访问操作，以启动所述功能模块。在此，第二执行装置26’启动所述功能模块的方式与图1实施例中第一执行装置23启动所述目标应用的方式相同或基本相同，在此，为简明起见，故在此不再赘述，并以引用的方式包含于此。
接着，第五发送装置27’首先通过抓屏等方式，抓取启动后的所述功能模块的模块截图；然后，通过wifi或蓝牙等方式，将该模块截图发送给所述第一用户设备。例如，对于目标应用Heart Rate PRO，第二用户设备2的第二执行装置26’启动功能模块“历史记录”后，画面如图6所示，则第五发送装置27’将该模块截图发送给所述第一用户设备1。
相应地，第一用户设备1的第五接收装置1a’通过wifi或蓝牙等方式，接收所述第二用户设备发送的启动后的所述功能模块的模块截图。
第三显示装置1b’显示所述模块截图。在此，第三显示装置1b’显示所述模块截图的方式与图1实施例中第一显示装置12’显示所述桌面截图的方式相同或基本相同，在此，为简明起见，故在此不再赘述，并以引用的方式包含于此。
本领域技术人员应能理解，在具体实施例中，第一用户设备1的 第一显示装置12’、第二显示装置16’和第三显示装置1b’可以是相独立的模块，也可以集成在一起。
本领域技术人员应能理解，在具体实施例中，第二用户设备2的第一执行装置23’和第二执行装置26’可以是相独立的模块，也可以集成在一起。
图7示出根据本发明另一个方面的第一用户设备和第二用户设备配合实现一种用于操作对应设备上目标应用的方法流程图。
其中，该方法包括步骤S1、步骤S2、步骤S3、步骤S4、步骤S5、步骤S6和步骤S7。
具体地，在步骤S1中，第二用户设备2向对应第一用户设备1发送桌面截图的装置，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；相应地，第一用户设备1接收所述第二用户设备2发送的桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；在步骤S2中，第一用户设备1显示所述桌面截图；在步骤S3中，第一用户设备1响应于对应用户对所述桌面截图中的所述应用标识信息的选择操作，将所述应用标识信息在所述第一用户设备屏幕上的坐标转换为所述应用标识信息在所述第二用户设备屏幕上的坐标；在步骤S4中，第一用户设备1将所述应用标识信息在所述第二用户设备屏幕上的坐标发送给所述第二用户设备2；相应地，第二用户设备2接收所述第一用户设备1发送的所述应用标识信息在所述第二用户设备屏幕上的坐标；在步骤S5中，第二用户设备2在所述坐标处执行启动应用的操作，以启动所述目标应用；在步骤S6中，第二用户设备2将启动后的所述目标应用的应用截图发送给所述第一用户设备1；相应地，第一用户设备1的接收所述第二用户设备发送的启动后的所述目标应用的应用截图；在步骤S7中，第一用户设备1显示所述应用截图。
在此，第一用户设备1和第二用户设备2可以是任何一种可与用户通过键盘、鼠标、触摸板、触摸屏或手写设备等方式进行人机交互的电子产品，例如PC、手机、智能手机、可穿戴设备、PDA、掌上 电脑PPC或平板电脑等，其中，第一用户设备1和第二用户设备2可通过wifi、蓝牙等方式连接。本领域技术人员应能理解上述第一用户设备1和第二用户设备2仅为举例，其他现有的或今后可能出现的用户设备如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。在此，第一用户设备1和第二用户设备2均包括一种能够按照事先设定或存储的指令，自动进行数值计算和信息处理的电子设备，其硬件包括但不限于微处理器、专用集成电路(ASIC)、可编程门阵列(FPGA)、数字处理器(DSP)、嵌入式设备等。
具体地，在步骤S1中，第二用户设备2向对应第一用户设备1发送桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息。在此，所述桌面截图可以是用户在第二用户设备2上看到的桌面全部图像信息，也即此时桌面截图是第二用户设备2的桌面全屏截图；或者，所述桌面截图也可以是仅包含目标应用的应用标识信息的屏幕截图，也即此时桌面截图是第二用户设备2的桌面全屏截图的一部分。在此，所述目标应用是指安装于第二用户设备2中的第三方应用程序，如360卫士、优酷app、新华字典app等。在此，所述应用标识信息用于标识所述目标应用，其可由图标、文字、图像、图形、动画等各种形式中的一种或多种组成，优选地，所述应用标识信息所显示的文字可以是动态变换的，例如以动画形式介绍该目标应用。本领域技术人员应能理解上述应用标识信息仅为举例，其他现有的或今后可能出现的应用标识信息如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。
例如，假设用户A拥有两个移动终端，第一用户设备1和第二用户设备2，其中第一用户设备1为平板电脑UE1，其操作系统为IOS，屏幕分辨率为1536*2304，也即UE1水平方向含有像素数1536个，垂直方向像素数为2304个，第二用户设备2为智能手机UE2，其操作系统为Android，屏幕分辨率为640*960，假设UE1和UE2的像素间距相等，因UE2中安装有app如检测心律应用Heart Rate PRO，而UE1中未安装该类似应用，当用户A欲通过UE1使用该app时，现 有技术中，用户A不得不需要下载适合UE1操作系统的app，而本发明中，用户A可通过wifi或UE1与UE2设备上的蓝牙，使UE1与UE2取得连接，然后，在步骤S1中，UE2可首先通过抓屏，或者通过安装的抓屏软件，将抓取得到包含目标应用即Heart Rate PRO的应用图标(如应用icon等)的桌面截图通过wifi或蓝牙等方式，发送给UE1，该桌面截图可以是UE2的桌面全屏截图，如图2所示。
相应地，第一用户设备1通过wifi或蓝牙等方式，接收所述第二用户设备2发送的桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息。
接着，在步骤S2中，第一用户设备1显示所述桌面截图。在此，在第一用户设备1显示第二用户设备2发送的所述桌面截图时，存在着第一用户设备1和第二用户设备2的屏幕尺寸大小和比例不一定相等的情形，这时在步骤S2中，第一用户设备1可首先对所述桌面截图进行等比例拉伸、缩小等调整处理，而调整后的所述桌面截图在第一用户设备1上可以居中、全屏显示等方式显示，或者，第一用户设备1对所述桌面截图进行显示后，还可能出现黑色空白区域。例如，接上例，因UE1的屏幕分辨率为1536*2304，而UE2的屏幕分辨率为640*960，因此，UE1在步骤S2中显示所述桌面截图时，将原桌面截图的长宽尺寸均按比例扩大2.4倍(因1536/640＝2.4，2304/960＝2.4)，并全屏显示。
本领域技术人员应能理解上述显示所述桌面截图的方式仅为举例，其他现有的或今后可能出现的显示所述桌面截图的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。
在步骤S3中，第一用户设备1首先通过第一用户设备1自身提供的应用程序接口(API)，或者通过所述目标应用提供的应用程序接口(API)，获取对应用户对所述桌面截图中的所述应用标识信息的选择操作；然后，响应于该选择操作，将所述应用标识信息在所述第一用户设备屏幕上的坐标转换为所述应用标识信息在所述第二用户设备屏幕上的坐标。在此，所述选择操作可以是用户旨在启动所述目标 应用的操作如点击等，也可以是用户旨在调整所述目标应用在所述桌面截图上的排列位置，如拖拽等。例如，假设用户A在UE1上看到UE2发送的如图2所示的桌面截图后，其点击了该桌面截图中的目标应用即Heart Rate PRO的应用图标，旨在启动该目标应用，则在步骤S3中，第一用户设备1通过UE1自身提供的应用程序接口(API)，便获取到用户A对所述桌面截图中目标应用即Heart Rate PRO的应用图标的点击操作；然后，响应于该点击操作，将Heart Rate PRO的应用图标在UE1屏幕上的坐标转换为其在UE2屏幕上的坐标，如UE1在步骤S3中再将目标应用在UE1屏幕上的坐标转换为其在UE2屏幕上的坐标的过程中，是对UE1对UE2发送的桌面截图进行显示调整处理的反处理，例如，假设目标应用Heart Rate PRO在UE2的屏幕(其屏幕分辨率为640*960)中到屏幕左侧的距离为x，到屏幕上侧的距离为y，即目标应用Heart Rate PRO在UE2屏幕上的坐标为(x,y),而UE1(其屏幕分辨率为1536*2304)在显示该桌面截图时，长宽均扩大为原来的2.4倍，也即，目标应用Heart Rate PRO在UE1中到屏幕左侧的距离为x’＝2.4*x，到屏幕上侧的距离为y’＝2.4*y，即目标应用Heart Rate PRO在UE1屏幕上的坐标为(x’,y’),相应地，当UE1在将该目标应用Heart Rate PRO在UE1屏幕中的坐标转换为其在UE2屏幕中的坐标过程中，将目标应用Heart Rate PRO在UE1屏幕中的坐标按比例缩小为当前的1/2.4。
本领域技术人员应能理解上述坐标转换的方式仅为举例，其他现有的或今后可能出现的坐标转换的方式如可适用于本发明，也应包含在本发明保护范围以内，并在此以引用方式包含于此。
优选地，在步骤S2中，第一用户设备1显示所述桌面截图时，若第一用户设备1的屏幕尺寸大于第二用户设备2的屏幕尺寸，第一用户设备1可不对所述桌面截图进行调整处理，直接将所述桌面截图按照其在第二用户设备2上的尺寸进行显示，此时，第一用户设备1的屏幕上将出现黑色区域，如图3所示。其中，在步骤S3中，第一用户设备1响应于所述选择操作，将所述应用标识信息在所述第一用 户设备屏幕上的坐标转换为所述应用标识信息在所述第二用户设备屏幕上的坐标时，第一用户设备1屏幕上的黑色边框为基准，将所述应用标识信息在第一用户设备1屏幕上距离黑色边框的距离作为其在所述第二用户设备屏幕上的相应坐标。
然后，在步骤S4中，第一用户设备1通过wifi或蓝牙等方式，将所述应用标识信息在所述第二用户设备屏幕上的坐标发送给所述第二用户设备2。
相应地，第二用户设备2通过wifi或蓝牙等方式，接收所述第一用户设备1发送的所述应用标识信息在所述第二用户设备屏幕上的坐标。
在步骤S5中，第二用户设备2在所述坐标处执行启动应用的操作，以启动所述目标应用。例如，假设在步骤S4中，第二用户设备2接收到第一用户设备1发送的所述应用标识信息在所述第二用户设备2屏幕上的坐标为(x,y)，因第二用户设备2展示的桌面截图是其自身的，第二用户设备2可在该坐标处执行启动应用的操作，从而响应用户A在UE1上执行的启动应用的点击操作，真正启动目标应用Heart Rate PRO。
接着，在步骤S6中，第二用户设备2通过wifi或蓝牙等方式，将启动后的所述目标应用的应用截图发送给所述第一用户设备1。例如，接上例，假设目标应用Heart Rate PRO启动后的画面如图4所示，则在步骤S6中，第二用户设备2首先通过抓屏等方式抓取到该应用截图，然后，通过wifi或蓝牙等方式，将启动后的所述目标应用的应用截图发送给所述第一用户设备1。
相应地，第一用户设备1通过wifi或蓝牙等方式，接收所述第二用户设备发送的启动后的所述目标应用的应用截图。
在步骤S7中，第一用户设备1显示所述应用截图。在此，在步骤S7中，第一用户设备1显示所述应用截图的方式与其在步骤S2中显示所述桌面截图的方式相同或基本相同，为简明起见，故在此不再赘述，并以引用的方式包含与此。在此，用户在第一用户设备1的屏 幕上即可看到第二用户设备2中应用的启动，第一用户设备1实时展现了第二用户设备2上的应用的启动变化，从而用户在第一用户设备1中使用了只有在第二用户设备2中才有的应用，实现了跨平台的使用应用，从而提升了用户的app使用体验，也降低了app的开发成本；同时，当用户在第一用户设备1上显示所述桌面截图中对目标应用执行了旨在调整所述目标应用在所述桌面截图上的排列位置，如拖拽等操作时，第二用户设备2在真正执行该操作并将目标应用在桌面上的位置变换后的桌面截图同步至第一用户设备1后，用户可在第一用户设备1上看到目标应用在桌面截图上的位置的变化，相应地，也提升了用户的设备使用体验。
在此，本领域技术人员应能理解，在步骤S7中，第一用户设备1显示所述应用截图之前，第一用户设备1还可对该应用截图进行预处理，使得经预处理后的所述应用截图与第一用户设备的屏幕属性相匹配。
第一用户设备1和第二用户设备2的各个步骤之间是持续不断工作的。具体地，在步骤S1中，第二用户设备2持续向对应第一用户设备1发送桌面截图的装置，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；相应地，第一用户设备1持续接收所述第二用户设备2发送的桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；在步骤S2中，第一用户设备1持续显示所述桌面截图；在步骤S3中，第一用户设备1持续响应于对应用户对所述桌面截图中的所述应用标识信息的选择操作，将所述应用标识信息在所述第一用户设备屏幕上的坐标转换为所述应用标识信息在所述第二用户设备屏幕上的坐标；在步骤S4中，第一用户设备1持续将所述应用标识信息在所述第二用户设备屏幕上的坐标发送给所述第二用户设备2；相应地，第二用户设备2持续接收所述第一用户设备1发送的所述应用标识信息在所述第二用户设备屏幕上的坐标；在步骤S5中，第二用户设备2持续在所述坐标处执行启动应用的操作，以启动所述目标应用；在步骤 S6中，第二用户设备2持续将启动后的所述目标应用的应用截图发送给所述第一用户设备1；相应地，第一用户设备1持续接收所述第二用户设备发送的启动后的所述目标应用的应用截图；在步骤S7中，第一用户设备1持续显示所述应用截图。在此，本领域技术人员应能理解，所述“持续”是指第一用户设备1和第二用户设备2的各个步骤之间分别不断地进行桌面截图的发送、接收和显示、坐标转换、转换后的坐标的发送与接收、目标应用的启动、启动后的目标应用的应用截图的发送、接收与显示，直至第二用户设备2在较长时间内停止向第一用户设备1发送所述桌面截图。
优选地，该方法还包括步骤S14(未示出)。具体地，在步骤S14中，第一用户设备1对所述桌面截图进行预处理，以获得与所述第一用户设备的屏幕属性相匹配的桌面截图；其中，在步骤S2中，第一用户设备1用于显示经预处理后的所述桌面截图。
具体地，在步骤S14中，第一用户设备1对所述桌面截图进行预处理，以获得与所述第一用户设备的屏幕属性相匹配的桌面截图。在此，所述屏幕属性包括但不限于如屏幕尺寸、分辨率、屏幕比例等反映第一用户设备的屏幕属性的信息。优选地，所述预处理包括以下至少任一项：
-根据所述第一用户设备的屏幕尺寸和所述第二用户设备的屏幕尺寸，对所述桌面截图进行调整处理；
-根据所述第一用户设备的屏幕比例和所述第二用户设备的屏幕比例，对所述桌面截图进行调整处理。
例如，当所述预处理包括根据所述第一用户设备的屏幕尺寸和所述第二用户设备的屏幕尺寸，对所述桌面截图进行调整处理时，对于用户A拥有的两个移动终端UE1和UE2，UE1的屏幕分辨率为1536*2304，UE2的屏幕分辨率为640*960，假设UE1和UE2的像素间距相等，因UE2中安装有app如检测心律应用Heart Rate PRO，而UE1中未安装该类似应用，当用户A欲通过UE1使用该app时，UE1接收到UE2发送的桌面截图如图2所示，因UE1的屏幕尺寸为UE2 的屏幕尺寸的2.4倍，则UE1在步骤S14中可对该桌面截图进行预处理，将如图2所示的桌面截图的长宽尺寸均按比例扩大2.4倍，从而与UE1的屏幕属性相匹配。
然后，在步骤S2中，第一用户设备1显示经预处理后的所述桌面截图。例如，接上例，在步骤S14中，第一用户设备1将如图2所示的桌面截图的长宽尺寸均按比例扩大2.4倍，此时在步骤S2中，第一用户设备1全屏显示经预处理后的所述桌面截图。
在一个优选实施例中(参考图7)，其中，该方法还包括步骤S15(未示出)。具体地，在步骤S15中，第一用户设备1向所述第二用户设备2发送所述用户关于所述第二用户设备中目标应用的操作请求；相应地，第二用户设备2接收所述第一用户设备发送的对应用户关于所述第二用户设备中目标应用的操作请求；在步骤S1中，第二用户设备2响应于所述操作请求，向所述第一用户设备发送桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的所述目标应用的应用标识信息。
具体地，在步骤S15中，第一用户设备1通过wifi或蓝牙等方式，向所述第二用户设备2发送所述用户关于所述第二用户设备中目标应用的操作请求。例如，对应用户A，在其欲通过UE1使用UE2中安装的app如检测心律应用Heart Rate PRO时，其可通过UE1向UE2主动发送使用UE2中该app的操作请求，如通过UE1的蓝牙与UE2的蓝牙对接上，然后通过UE1向UE2发送约定的信息以请求使用UE2中的检测心律应用Heart Rate PRO。在此，本发明通过向第二用户设备2发送所述用户关于所述第二用户设备中目标应用的操作请求，使得并非在任意情形下，第二用户设备2均向第一用户设备1发送包含所述第二用户设备桌面上显示的所述目标应用的应用标识信息的桌面截图，避免了当UE1与UE2通过wifi或蓝牙连接后，用户并非希望UE2向UE1发送所述桌面截图而UE2主动发送桌面截图对用户造成的干扰，更进一步提升了用户的设备和app使用体验。
相应地，第二用户设备2通过wifi或蓝牙等方式，接收所述第一 用户设备发送的对应用户关于所述第二用户设备中目标应用的操作请求。
接着，在步骤S1中，第二用户设备2响应于所述操作请求，通过wifi或蓝牙等方式，向所述第一用户设备发送桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的所述目标应用的应用标识信息。
图8示出根据本发明一个优选实施例的第一用户设备和第二用户设备配合实现一种用于操作对应设备上目标应用的用于方法流程图。
其中，该方法包括步骤S1’、步骤S2’、步骤S3’、步骤S4’、步骤S5’、步骤S6’、步骤S7’、S8’、步骤S9’、步骤S10’、步骤S11’和步骤S12’。
具体地，在步骤S1’中，第二用户设备2向对应第一用户设备1发送桌面截图的装置，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；相应地，第一用户设备1接收所述第二用户设备2发送的桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；在步骤S2’中，第一用户设备1显示所述桌面截图；在步骤S3’中，第一用户设备1响应于对应用户对所述桌面截图中的所述应用标识信息的选择操作，将所述应用标识信息在所述第一用户设备屏幕上的坐标转换为所述应用标识信息在所述第二用户设备屏幕上的坐标；在步骤S4’中，第一用户设备1将所述应用标识信息在所述第二用户设备屏幕上的坐标发送给所述第二用户设备2；相应地，第二用户设备2接收所述第一用户设备1发送的所述应用标识信息在所述第二用户设备屏幕上的坐标；在步骤S5’中，第二用户设备2在所述坐标处执行启动应用的操作，以启动所述目标应用；在步骤S6’中，第二用户设备2将启动后的所述目标应用的应用截图发送给所述第一用户设备1；相应地，第一用户设备1的接收所述第二用户设备发送的启动后的所述目标应用的应用截图；在步骤S7’中，第一用户设备1显示所述应用截图；在步骤S8’中，第一用户设备1获取所述用户在所述应用截图中执行的 对所述目标应用的功能模块的访问操作；在步骤S9’中，第一用户设备1响应于所述访问操作，将所述功能模块在所述第一用户设备屏幕上的坐标转换为所述功能模块在所述第二用户设备屏幕上的坐标；在步骤S10’中，第一用户设备1将所述功能模块在所述第二用户设备屏幕上的坐标发送给所述第二用户设备；相应地，第二用户设备2接收所述第一用户设备发送的对应用户访问的所述目标应用的功能模块在所述第二用户设备屏幕上的坐标；在步骤S11’中，第二用户设备2在所述功能模块在所述第二用户设备屏幕上的坐标处执行模块访问操作，以启动所述功能模块；在步骤S12’中，第二用户设备2将启动后的所述功能模块的模块截图发送给所述第一用户设备1；相应地，第一用户设备1接收所述第二用户设备发送的启动后的所述功能模块的模块截图的装置；在步骤S13’中，第一用户设备1显示所述模块截图。在此，步骤S1’、步骤S2’、步骤S3’、步骤S4’、步骤S5’、步骤S6’、步骤S7’分别与图7实施例中对应步骤的内容相同或基本相同，在此，为简明起见，故在此不再赘述，并以引用的方式包含于此。
具体地，在步骤S8’中，第一用户设备1通过调用第一用户设备1自身提供的应用程序接口(API)获取所述用户在所述应用截图中执行的对所述目标应用的功能模块的访问操作，如用户对所述功能模块的点击等。例如，对于用户A，其在UE1的屏幕上看到UE2返回的目标应用Heart Rate PRO的应用截图后，点击了该应用的功能模块如“历史记录”，则UE1在步骤S8’中通过调用第一用户设备1自身提供的应用程序接口(API)，便可获取到用户A在所述应用截图中执行的对目标应用Heart Rate PRO的功能模块“历史记录”的点击操作。
在步骤S9’中，第一用户设备1响应于所述访问操作，将所述功能模块在所述第一用户设备屏幕上的坐标转换为所述功能模块在所述第二用户设备屏幕上的坐标。在此，在步骤S9’中，第一用户设备1将所述功能模块在所述第一用户设备屏幕上的坐标转换为所述功能模块在所述第二用户设备屏幕上的坐标的方式与图7实施例中其在步 骤S3中将所述应用标识信息在所述第一用户设备屏幕上的坐标转换为所述应用标识信息在所述第二用户设备屏幕上的坐标的方式相同或基本相同，在此，为简明起见，故在此不再赘述，并以引用的方式包含于此。
在步骤S10’中，第一用户设备1通过wifi或蓝牙等方式，将所述功能模块在所述第二用户设备屏幕上的坐标发送给所述第二用户设备。
相应地，第二用户设备2通过wifi或蓝牙等方式，接收所述第一用户设备发送的对应用户访问的所述目标应用的功能模块在所述第二用户设备屏幕上的坐标。
在步骤S11’中，第二用户设备2在所述功能模块在所述第二用户设备屏幕上的坐标处执行模块访问操作，以启动所述功能模块。在此，在步骤S11’中，第二用户设备2启动所述功能模块的方式与图7实施例中其在步骤S5中启动所述目标应用的方式相同或基本相同，在此，为简明起见，故在此不再赘述，并以引用的方式包含于此。
接着，在步骤S12’中，第二用户设备2首先通过抓屏等方式，抓取启动后的所述功能模块的模块截图；然后，通过wifi或蓝牙等方式，将该模块截图发送给所述第一用户设备。例如，对于目标应用Heart Rate PRO，第二用户设备2在在步骤S11’中启动功能模块“历史记录”后，画面如图6所示，则在步骤S12’中，第二用户设备2将该模块截图发送给所述第一用户设备1。
相应地，第一用户设备1通过wifi或蓝牙等方式，接收所述第二用户设备发送的启动后的所述功能模块的模块截图。
在步骤S13’中，第一用户设备1显示所述模块截图。在此，在步骤S13’中，第一用户设备1显示所述模块截图的方式与图7实施例中其在步骤2中显示所述桌面截图的方式相同或基本相同，在此，为简明起见，故在此不再赘述，并以引用的方式包含于此。
需要注意的是，本发明可在软件和/或软件与硬件的组合体中被实施，例如，可采用专用集成电路(ASIC)、通用目的计算机或任何其他 类似硬件设备来实现。在一个实施例中，本发明的软件程序可以通过处理器执行以实现上文所述步骤或功能。同样地，本发明的软件程序(包括相关的数据结构)可以被存储到计算机可读记录介质中，例如，RAM存储器，磁或光驱动器或软磁盘及类似设备。另外，本发明的一些步骤或功能可采用硬件来实现，例如，作为与处理器配合从而执行各个步骤或功能的电路。
另外，本发明的一部分可被应用为计算机程序产品，例如计算机程序指令，当其被计算机执行时，通过该计算机的操作，可以调用或提供根据本发明的方法和/或技术方案。而调用本发明的方法的程序指令，可能被存储在固定的或可移动的记录介质中，和/或通过广播或其他信号承载媒体中的数据流而被传输，和/或被存储在根据所述程序指令运行的计算机设备的工作存储器中。在此，根据本发明的一个实施例包括一个装置，该装置包括用于存储计算机程序指令的存储器和用于执行程序指令的处理器，其中，当该计算机程序指令被该处理器执行时，触发该装置运行基于前述根据本发明的多个实施例的方法和/或技术方案。
对于本领域技术人员而言，显然本发明不限于上述示范性实施例的细节，而且在不背离本发明的精神或基本特征的情况下，能够以其他的具体形式实现本发明。因此，无论从哪一点来看，均应将实施例看作是示范性的，而且是非限制性的，本发明的范围由所附权利要求而不是上述说明限定，因此旨在将落在权利要求的等同要件的含义和范围内的所有变化涵括在本发明内。不应将权利要求中的任何附图标记视为限制所涉及的权利要求。此外，显然“包括”一词不排除其他单元或步骤，单数不排除复数。装置权利要求中陈述的多个单元或装置也可以由一个单元或装置通过软件或者硬件来实现。第一，第二等词语用来表示名称，而并不表示任何特定的顺序。

Claims (20)

  1. 一种在第一用户设备端用于操作对应第二用户设备上的目标应用的方法，其中，该方法包括：
    接收所述第二用户设备发送的桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；
    显示所述桌面截图；
    响应于对应用户对所述桌面截图中的所述应用标识信息的选择操作，将所述应用标识信息在所述第一用户设备屏幕上的坐标转换为所述应用标识信息在所述第二用户设备屏幕上的坐标；
    将所述应用标识信息在所述第二用户设备屏幕上的坐标发送给所述第二用户设备；
    接收所述第二用户设备发送的启动后的所述目标应用的应用截图；
    显示所述应用截图。
  2. 根据权利要求1所述的方法，其中，该方法还包括：
    对所述桌面截图进行预处理，以获得与所述第一用户设备的屏幕属性相匹配的桌面截图；
    其中，显示所述桌面截图包括：
    显示经预处理后的所述桌面截图。
  3. 根据权利要求2所述的方法，其中，所述预处理包括以下至少任一项：
    -根据所述第一用户设备的屏幕尺寸和所述第二用户设备的屏幕尺寸，对所述桌面截图进行调整处理；
    -根据所述第一用户设备的屏幕比例和所述第二用户设备的屏幕比例，对所述桌面截图进行调整处理。
  4. 根据权利要求1至3中任一项所述的方法，其中，该方法还包括：
    获取所述用户在所述应用截图中执行的对所述目标应用的功能 模块的访问操作；
    响应于所述访问操作，将所述功能模块在所述第一用户设备屏幕上的坐标转换为所述功能模块在所述第二用户设备屏幕上的坐标；
    将所述功能模块在所述第二用户设备屏幕上的坐标发送给所述第二用户设备；
    接收所述第二用户设备发送的启动后的所述功能模块的模块截图；
    显示所述模块截图。
  5. 根据权利要求1至4中任一项所述的方法，其中，该方法还包括：
    向所述第二用户设备发送所述用户关于所述第二用户设备中目标应用的操作请求。
  6. 一种在第二用户设备端用于辅助第一用户设备操作该第二用户设备上的目标应用的方法，其中，该方法包括：
    向对应第一用户设备发送桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；
    接收所述第一用户设备发送的所述应用标识信息在所述第二用户设备屏幕上的坐标；
    在所述坐标处执行启动应用的操作，以启动所述目标应用；
    将启动后的所述目标应用的应用截图发送给所述第一用户设备。
  7. 根据权利要求6所述的方法，其中，该方法还包括：
    接收所述第一用户设备发送的对应用户访问的所述目标应用的功能模块在所述第二用户设备屏幕上的坐标；
    在所述功能模块在所述第二用户设备屏幕上的坐标处执行模块访问操作，以启动所述功能模块；
    将启动后的所述功能模块的模块截图发送给所述第一用户设备。
  8. 根据权利要求6或7所述的方法，其中，该方法还包括：
    接收所述第一用户设备发送的对应用户关于所述第二用户设备中目标应用的操作请求；
    其中，向对应第一用户设备发送桌面截图包括：
    响应于所述操作请求，向所述第一用户设备发送桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的所述目标应用的应用标识信息。
  9. 一种用于操作对应第二用户设备上的目标应用的第一用户设备，其中，该第一用户设备包括：
    用于接收所述第二用户设备发送的桌面截图的装置，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；
    用于显示所述桌面截图的装置；
    用于响应于对应用户对所述桌面截图中的所述应用标识信息的选择操作，将所述应用标识信息在所述第一用户设备屏幕上的坐标转换为所述应用标识信息在所述第二用户设备屏幕上的坐标的装置；
    用于将所述应用标识信息在所述第二用户设备屏幕上的坐标发送给所述第二用户设备的装置；
    用于接收所述第二用户设备发送的启动后的所述目标应用的应用截图的装置；
    用于显示所述应用截图的装置。
  10. 根据权利要求9所述的第一用户设备，其中，该第一用户设备还包括：
    用于对所述桌面截图进行预处理，以获得与所述第一用户设备的屏幕属性相匹配的桌面截图的装置；
    其中，显示所述桌面截图的装置用于：
    显示经预处理后的所述桌面截图。
  11. 根据权利要求10所述的第一用户设备，其中，所述预处理包括以下至少任一项：
    -根据所述第一用户设备的屏幕尺寸和所述第二用户设备的屏幕尺寸，对所述桌面截图进行调整处理；
    -根据所述第一用户设备的屏幕比例和所述第二用户设备的屏 幕比例，对所述桌面截图进行调整处理。
  12. 根据权利要求9至11中任一项所述的第一用户设备，其中，该第一用户设备还包括：
    用于获取所述用户在所述应用截图中执行的对所述目标应用的功能模块的访问操作的装置；
    用于响应于所述访问操作，将所述功能模块在所述第一用户设备屏幕上的坐标转换为所述功能模块在所述第二用户设备屏幕上的坐标的装置；
    用于将所述功能模块在所述第二用户设备屏幕上的坐标发送给所述第二用户设备的装置；
    用于接收所述第二用户设备发送的启动后的所述功能模块的模块截图的装置；
    用于显示所述模块截图的装置。
  13. 根据权利要求9至12中任一项所述的第一用户设备，其中，该第一用户设备还包括：
    用于向所述第二用户设备发送所述用户关于所述第二用户设备中目标应用的操作请求的装置。
  14. 一种用于辅助第一用户设备操作该第二用户设备上的目标应用的第二用户设备，其中，该第二用户设备包括：
    用于向对应第一用户设备发送桌面截图的装置，其中，所述桌面截图包含所述第二用户设备桌面上显示的目标应用的应用标识信息；
    用于接收所述第一用户设备发送的所述应用标识信息在所述第二用户设备屏幕上的坐标的装置；
    用于在所述坐标处执行启动应用的操作，以启动所述目标应用的装置；
    用于将启动后的所述目标应用的应用截图发送给所述第一用户设备的装置。
  15. 根据权利要求14所述的第二用户设备，其中，该第二用户设备还包括：
    用于接收所述第一用户设备发送的对应用户访问的所述目标应用的功能模块在所述第二用户设备屏幕上的坐标的装置；
    用于在所述功能模块在所述第二用户设备屏幕上的坐标处执行模块访问操作，以启动所述功能模块的装置；
    用于将启动后的所述功能模块的模块截图发送给所述第一用户设备的装置。
  16. 根据权利要求14或15所述的第二用户设备，其中，该第二用户设备还包括：
    用于接收所述第一用户设备发送的对应用户关于所述第二用户设备中目标应用的操作请求的装置；
    其中，向对应第一用户设备发送桌面截图的装置用于：
    响应于所述操作请求，向所述第一用户设备发送桌面截图，其中，所述桌面截图包含所述第二用户设备桌面上显示的所述目标应用的应用标识信息。
  17. 一种用于操作对应设备上目标应用的系统，其中，该系统包括如权利要求9至13中任一项所述的第一用户设备和如权利要求14至16中任一项所述的第二用户设备。
  18. 一种计算机可读存储介质，所述计算机可读存储介质包括计算机指令，当所述计算机指令被执行时，如权利要求1至8中任一项所述的方法被执行。
  19. 一种计算机程序产品，当所述计算机程序产品被执行时，如权利要求1至8中任一项所述的方法被执行。
  20. 一种计算机设备，所述计算机设备包括存储器和处理器，所述存储器中存储有计算机代码，所述处理器被配置来通过执行所述计算机代码以执行如权利要求1至8中任一项所述的方法。
PCT/CN2015/092880 2015-02-03 2015-10-27 一种用于操作对应设备上目标应用的方法与设备 WO2016124012A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016565287A JP2017526022A (ja) 2015-02-03 2015-10-27 対応機器の対象アプリケーションを操作するための方法及び機器
US15/301,361 US20180189083A1 (en) 2015-02-03 2015-10-27 Method and device for operating target application on corresponding equipment
KR1020167030339A KR20160138279A (ko) 2015-02-03 2015-10-27 대응 장비 상에서 타겟 응용을 동작시키는 방법 및 장치

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201510056807.1A CN104657211A (zh) 2015-02-03 2015-02-03 一种用于操作对应设备上目标应用的方法与设备
CN201510056807.1 2015-02-03

Publications (1)

Publication Number Publication Date
WO2016124012A1 true WO2016124012A1 (zh) 2016-08-11

Family

ID=53248384

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2015/092880 WO2016124012A1 (zh) 2015-02-03 2015-10-27 一种用于操作对应设备上目标应用的方法与设备

Country Status (5)

Country Link
US (1) US20180189083A1 (zh)
JP (1) JP2017526022A (zh)
KR (1) KR20160138279A (zh)
CN (1) CN104657211A (zh)
WO (1) WO2016124012A1 (zh)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11963069B2 (en) * 2008-11-26 2024-04-16 Global Market Development Inc. Integrated telecommunications handset
CN104657211A (zh) * 2015-02-03 2015-05-27 百度在线网络技术（北京）有限公司 一种用于操作对应设备上目标应用的方法与设备
CN106357875A (zh) * 2015-07-15 2017-01-25 中兴通讯股份有限公司 对终端托管、接管的方法及接管终端、托管终端
CN105069119B (zh) * 2015-08-12 2020-06-05 上海触控科技发展有限公司 跨平台同步方法与系统
CN106547561A (zh) * 2016-10-28 2017-03-29 上海斐讯数据通信技术有限公司 一种截屏方法和系统
CN107526479B (zh) * 2017-09-20 2020-08-04 浙江大华技术股份有限公司 一种传感器采集的环境量的显示方法、装置及系统
CN110162349B (zh) * 2019-05-22 2023-11-21 西藏霖栋科技有限公司 桌面启动器加速启动的方法、终端以及存储介质
CN110659076B (zh) * 2019-09-26 2023-06-27 无锡睿勤科技有限公司 操作系统的安装部署方法及装置
JP7400345B2 (ja) 2019-10-28 2023-12-19 株式会社リコー 通信端末、通信システム、データ共有方法およびプログラム
CN111797933B (zh) * 2020-07-10 2023-07-28 百度在线网络技术（北京）有限公司 模板匹配的方法、装置、电子设备和存储介质
CN112148193A (zh) * 2020-09-30 2020-12-29 维沃移动通信有限公司 导航手势的设置方法及装置、电子设备
CN114157753A (zh) * 2021-08-31 2022-03-08 维沃移动通信（杭州）有限公司 消息分享方法、装置和电子设备
CN116149501A (zh) * 2021-11-19 2023-05-23 华为终端有限公司 显示方法和电子设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546905A (zh) * 2010-12-20 2012-07-04 康佳集团股份有限公司 在移动终端中屏幕截图的方法、系统及移动终端
CN103841460A (zh) * 2014-03-17 2014-06-04 联想(北京)有限公司 一种图像数据传输方法及电子设备
CN103873578A (zh) * 2014-03-21 2014-06-18 深圳市东方拓宇科技有限公司 一种终端之间发送和共享内容的方法及对应终端
CN104137474A (zh) * 2011-12-21 2014-11-05 英特尔公司 用于促进计算设备和非计算设备的基于代理用户界面的远程管理和控制的机制
CN104657211A (zh) * 2015-02-03 2015-05-27 百度在线网络技术（北京）有限公司 一种用于操作对应设备上目标应用的方法与设备

Family Cites Families (22)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2001209363A (ja) * 2000-01-26 2001-08-03 Hideyuki Takahashi コンピュータ及びコンピュータ画面制御方法及びインターネットを利用した広告宣伝システム
EP1818812B1 (en) * 2006-01-25 2016-01-06 Brandt Technologies Limited System and method for effecting simultaneous control of remote computers
JP5228651B2 (ja) * 2008-06-27 2013-07-03 株式会社ナカヨ通信機 携帯端末
US20100131868A1 (en) * 2008-11-26 2010-05-27 Cisco Technology, Inc. Limitedly sharing application windows in application sharing sessions
CN101610544A (zh) * 2009-07-20 2009-12-23 中兴通讯股份有限公司 远程控制方法及装置
US8954490B2 (en) * 2010-06-24 2015-02-10 International Business Machines Corporation Speculative and coordinated data access in a hybrid memory server
CN101888608A (zh) * 2010-07-20 2010-11-17 中兴通讯股份有限公司 远程控制方法、装置和系统
JP5621382B2 (ja) * 2010-07-28 2014-11-12 カシオ計算機株式会社 サーバ装置及びプログラム
EP2616901B1 (en) * 2010-09-17 2017-12-06 Google LLC Moving information between computing devices
US8789144B2 (en) * 2010-10-06 2014-07-22 Citrix Systems, Inc. Mediating resource access based on a physical location of a mobile device
JP2012093940A (ja) * 2010-10-27 2012-05-17 Kddi Corp 遠隔操作システム、遠隔操作方法およびプログラム
JP5743523B2 (ja) * 2010-12-15 2015-07-01 アルパイン株式会社 電子装置
CN103294523B (zh) * 2012-02-22 2017-03-22 腾讯科技（深圳）有限公司 一种远程协助方法和系统
JP6074150B2 (ja) * 2012-04-06 2017-02-01 クラリオン株式会社 車載情報システム、情報端末、アプリケーション実行方法、プログラム
JP6124169B2 (ja) * 2012-06-08 2017-05-10 クラリオン株式会社 表示装置
CN103513862B (zh) * 2012-06-29 2016-08-17 联想(北京)有限公司 信息处理方法、本地设备和远程设备
FR2996086B1 (fr) * 2012-09-25 2014-10-24 Kadrige Procede de presentation a distance entre au moins deux terminaux connectes a travers un reseau
CN103984477B (zh) * 2014-04-01 2017-01-25 深圳市云来网络科技有限公司 一种ui界面适配不同屏幕尺寸移动客户端的方法及装置
US9824079B1 (en) * 2014-07-11 2017-11-21 Google Llc Providing actions for mobile onscreen content
EP3163972B1 (en) * 2014-08-04 2020-02-05 Huawei Technologies Co. Ltd. Terminal, server, and terminal control method
US10970118B2 (en) * 2017-08-02 2021-04-06 Advanced Micro Devices, Inc. Shareable FPGA compute engine
US10164639B1 (en) * 2017-11-14 2018-12-25 Advanced Micro Devices, Inc. Virtual FPGA management and optimization system

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN102546905A (zh) * 2010-12-20 2012-07-04 康佳集团股份有限公司 在移动终端中屏幕截图的方法、系统及移动终端
CN104137474A (zh) * 2011-12-21 2014-11-05 英特尔公司 用于促进计算设备和非计算设备的基于代理用户界面的远程管理和控制的机制
CN103841460A (zh) * 2014-03-17 2014-06-04 联想(北京)有限公司 一种图像数据传输方法及电子设备
CN103873578A (zh) * 2014-03-21 2014-06-18 深圳市东方拓宇科技有限公司 一种终端之间发送和共享内容的方法及对应终端
CN104657211A (zh) * 2015-02-03 2015-05-27 百度在线网络技术（北京）有限公司 一种用于操作对应设备上目标应用的方法与设备

Also Published As

Publication number Publication date
JP2017526022A (ja) 2017-09-07
CN104657211A (zh) 2015-05-27
US20180189083A1 (en) 2018-07-05
KR20160138279A (ko) 2016-12-02

Similar Documents

Publication Publication Date Title
WO2016124012A1 (zh) 一种用于操作对应设备上目标应用的方法与设备
US11079895B2 (en) Method and apparatus for providing user interface
KR101356453B1 (ko) 편재형 컴퓨팅 시스템 및 방법
US9389884B2 (en) Method and apparatus for providing adaptive wallpaper display for a device having multiple operating system environments
JP5628300B2 (ja) アニメーションに使用するための望ましい物理的特徴を伴うグラフィックオブジェクトを生成する方法、装置及びコンピュータプログラム製品
US9535595B2 (en) Accessed location of user interface
TWI604375B (zh) 螢幕分享方法以及使用該方法的裝置
WO2020147677A1 (zh) 显示内容的方法、装置、终端及存储介质
WO2021190184A1 (zh) 远程协助方法、装置、存储介质及终端
US20170019459A1 (en) File transmission method, file transmission apparatus, and file transmission system
US11205286B2 (en) Techniques for optimizing creation of digital diagrams
CN108780400B (zh) 数据处理方法及电子设备
CN105991953B (zh) 一种视频信号处理方法及电子设备
WO2019090772A1 (zh) 一种终端的图像处理方法及装置
US20210067476A1 (en) Intelligent chat object sending animations
CN111127469A (zh) 缩略图显示方法、装置、存储介质以及终端
US20150145749A1 (en) Image processing apparatus and image processing method
CN111913614B (zh) 多画面显示控制方法、装置、存储介质及显示器
US20170346672A1 (en) Information processing method and electronic device
CN107291834B (zh) 一种基于可读码的信息输入方法、设备和终端
US8793342B2 (en) Interpreting web application content
CN111949150B (zh) 控制外设切换方法、装置、存储介质及电子设备
US20180189118A1 (en) Systems and methods for transforming applications
CN115698988A (zh) 用于经由远程浏览器实例查看不兼容网页的系统和方法
US20140245181A1 (en) Methods and systems for interacting with an information display panel

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15880954

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20167030339

Country of ref document: KR

Kind code of ref document: A

Ref document number: 2016565287

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 15880954

Country of ref document: EP

Kind code of ref document: A1