WO2021052488A1 - 一种信息处理方法及电子设备 - Google Patents

一种信息处理方法及电子设备 Download PDF

Info

Publication number
WO2021052488A1
WO2021052488A1 PCT/CN2020/116328 CN2020116328W WO2021052488A1 WO 2021052488 A1 WO2021052488 A1 WO 2021052488A1 CN 2020116328 W CN2020116328 W CN 2020116328W WO 2021052488 A1 WO2021052488 A1 WO 2021052488A1
Authority
WO
WIPO (PCT)
Prior art keywords
electronic device
cursor
display
displacement
screen
Prior art date
Application number
PCT/CN2020/116328
Other languages
English (en)
French (fr)
Inventor
薛朝栋
邵凯
徐亚
刘建滨
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201910922739.0A external-priority patent/CN112527174B/zh
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Publication of WO2021052488A1 publication Critical patent/WO2021052488A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/14—Digital output to display device ; Cooperation and interconnection of the display device with other functional units

Definitions

  • This application relates to the field of electronic technology, and in particular to an information processing method and electronic equipment.
  • AR augmented reality
  • VR virtual reality
  • MR mixed reality
  • AR equipment, VR equipment and MR equipment have been widely used in work, entertainment, etc. Scenes. Different from traditional terminal equipment, current AR equipment, VR equipment and MR equipment use independent handles as the main interaction scheme.
  • an embodiment of the present application provides an information processing method, including:
  • the first electronic device establishes a connection with the second electronic device, wherein the second electronic device displays a cursor and the interface content of the first electronic device, wherein the first electronic device includes a touch screen, and the second electronic device
  • augmented display AR equipment virtual reality VR equipment or mixed reality MR equipment
  • the interface content is an interface content of a front-end application of the first electronic device.
  • the second electronic device further displays: a menu bar, and the menu bar does not belong to the interface content of the first electronic device.
  • controlling the display position of the cursor on the second electronic device based on the operation of the first electronic device includes:
  • the cursor is moved on the display content of the second electronic device based on the pose change information.
  • the pose change information includes a first rotation angle of the first electronic device on a horizontal plane and a second rotation angle of the first electronic device on a vertical plane.
  • the angle of rotation said causing the cursor to move on the display content of the second electronic device based on the posture change information, includes:
  • the cursor is moved on the display content of the second electronic device according to the horizontal displacement and the vertical displacement.
  • the pose change information includes a first displacement of the first electronic device in a first direction and a first displacement of the first electronic device in a second direction. Two displacements, the first direction is parallel to the left and right movement direction of the cursor displayed on the second electronic device, and the second direction is parallel to the up and down movement direction of the cursor displayed on the second electronic device, and the The pose change information causes the cursor to move on the display content of the second electronic device, including:
  • the cursor is moved on the display content of the second electronic device according to the horizontal displacement and the vertical displacement.
  • the method further includes:
  • the target object in the display content of the second electronic device is made to respond to the first touch operation.
  • the operation position of the first touch operation corresponds to a second object in the interface content of the first electronic device, and the method further includes:
  • the response of the second object to the first touch operation is shielded.
  • the first touch operation includes at least a click operation and a first sliding operation
  • the target object includes at least an application program and a function control.
  • controlling the display position of the cursor on the second electronic device based on the operation of the first electronic device includes:
  • the cursor is moved in the display content of the second electronic device.
  • the initial operation position corresponding to the second sliding operation corresponds to a third object in the interface content of the first electronic device, and the method further includes:
  • the response of the third object to the second touch operation is shielded.
  • the method further includes:
  • the target object in the display content of the second electronic device is made to respond to the click operation.
  • the operation position of the click operation corresponds to a fourth object in the interface content of the first electronic device, and the method further includes:
  • the second electronic device further displays: a ray, and the end point of the ray is the cursor.
  • the method further includes:
  • the second event is executed on the front-end application of the first electronic device.
  • the method further includes:
  • the first electronic device responds to the second operation.
  • the operating position of the second operation corresponds to a fifth object in the interface content of the second electronic device, and the fifth object does not respond to the first operation .
  • the preset shortcut operations at least include:
  • the method further includes:
  • controlling the display position of the cursor on the second electronic device based on the operation of the first electronic device includes:
  • a second sliding operation on the display screen of the first electronic device is received, the displacement of the cursor is determined according to the second sliding operation, and the displacement is made based on the displacement.
  • the cursor moves in the display content of the second electronic device, and the first application and the second application are different applications.
  • the present application provides an information processing method, the method is applied to a first electronic device, the first electronic device is connected to the second electronic device, the first electronic device includes a touch screen, the The second electronic device is an augmented display AR device, a virtual reality VR device or a mixed reality MR device, and the method includes:
  • the first electronic device When only the first electronic device establishes a connection with the second electronic device, the first electronic device is used as the control device of the second electronic device.
  • the use of the handle or the first electronic device as a control device of the second electronic device includes:
  • control device of the second electronic device is switched from the handle to the first electronic device.
  • the receiving the first interaction mode switching instruction includes:
  • Receive a first interaction mode switching instruction sent by the handle generate a corresponding first interaction mode switching instruction based on receiving a second operation on the first electronic device, or receive a first interaction mode sent by the second electronic device Switch instruction.
  • the use of the handle or the first electronic device as a control device of the second electronic device includes:
  • the first electronic device as a control device of the second electronic device
  • control device of the second electronic device is switched from the first electronic device to the handle.
  • the receiving a second interaction mode switching instruction includes:
  • Receive a second interaction mode switching instruction sent by the handle generate a corresponding second interaction mode switching instruction based on receiving a second operation on the first electronic device, or receive a second interaction mode sent by the second electronic device Switch instruction.
  • the second electronic device displays a cursor and interface content of the first electronic device, and the handle or the first electronic device is used as the first electronic device.
  • Control equipment of electronic equipment including:
  • the interface content is an interface content of a front-end application of the first electronic device.
  • controlling the display position of the cursor on the second electronic device based on the operation of the first electronic device includes:
  • the cursor is moved on the display content of the second electronic device based on the pose change information.
  • the method further includes:
  • the target object in the display content of the second electronic device is made to respond to the first touch operation.
  • controlling the display position of the cursor on the second electronic device based on the operation of the first electronic device includes:
  • the cursor is moved in the display content of the second electronic device.
  • the method further includes:
  • the target object in the display content of the second electronic device is made to respond to the click operation.
  • this application provides an electronic device, including:
  • the sending module is used to establish a connection with a second electronic device, wherein the second electronic device displays a cursor and the interface content of the first electronic device, wherein the first electronic device includes a touch screen, and the second electronic device
  • the equipment is augmented display AR equipment, virtual reality VR equipment or mixed reality MR equipment;
  • the processing module is configured to obtain the operation on the first electronic device, and control the display position of the cursor on the second electronic device based on the operation on the first electronic device.
  • the interface content is an interface content of a front-end application of the first electronic device.
  • the second electronic device further displays: a menu bar, and the menu bar does not belong to the interface content of the first electronic device.
  • the processing module is specifically configured to obtain the pose change information of the first electronic device, and based on the pose change information, make the cursor move in the The display content of the second electronic device moves up.
  • the pose change information includes a first rotation angle of the first electronic device on a horizontal plane and a second rotation angle of the first electronic device on a vertical plane.
  • Rotation angle the processing module is specifically used for:
  • the cursor is moved on the display content of the second electronic device according to the horizontal displacement and the vertical displacement.
  • the pose change information includes a first displacement of the first electronic device in a first direction and a first displacement of the first electronic device in a second direction. Two displacements, the first direction is parallel to the left and right movement direction of the cursor displayed by the second electronic device, and the second direction is parallel to the up and down movement direction of the cursor displayed by the second electronic device, the processing module, Specifically used for:
  • the cursor is moved on the display content of the second electronic device according to the horizontal displacement and the vertical displacement.
  • the processing module is further used for:
  • the target object in the display content of the second electronic device is made to respond to the first touch operation.
  • the operation position of the first touch operation corresponds to a second object in the interface content of the first electronic device, and the processing module is further configured to:
  • the response of the second object to the first touch operation is shielded.
  • the first touch operation includes at least a click operation and a first sliding operation
  • the target object includes at least an application program and a function control.
  • the processing module is specifically used for:
  • the cursor is moved in the display content of the second electronic device.
  • the initial operation position corresponding to the second sliding operation corresponds to the third object in the interface content of the first electronic device, and the processing module further uses in:
  • the response of the third object to the second touch operation is shielded.
  • the processing module is further used for:
  • the target object in the display content of the second electronic device is made to respond to the click operation.
  • the operating position of the click operation corresponds to a fourth object in the interface content of the first electronic device, and the processing module is further configured to:
  • the second electronic device further displays: a ray, and the end point of the ray is the cursor.
  • the processing module is further used for:
  • the second event is executed on the front-end application of the first electronic device.
  • the processing module is further configured to receive a second operation on the display screen of the first electronic device, and the second operation is a preset shortcut operation , And make the first electronic device respond to the second operation.
  • the operating position of the second operation corresponds to a fifth object in the interface content of the second electronic device, and the fifth object does not respond to the first operation .
  • the preset shortcut operations at least include:
  • the processing module is further configured to reduce the display brightness of the display screen of the first electronic device.
  • the processing module is specifically used for:
  • a second sliding operation on the display screen of the first electronic device is received, the displacement of the cursor is determined according to the second sliding operation, and the displacement is made based on the displacement.
  • the cursor moves in the display content of the second electronic device, and the first application and the second application are different applications.
  • the present application provides a first electronic device, the first electronic device is connected to the second electronic device, the first electronic device includes a touch screen, and the second electronic device is an enhanced display AR device , A virtual reality VR device or a mixed reality MR device, the first electronic device includes:
  • a processing module configured to use the handle or the first electronic device as a control device of the second electronic device when the handle establishes a connection with the second electronic device;
  • the first electronic device When only the first electronic device establishes a connection with the second electronic device, the first electronic device is used as the control device of the second electronic device.
  • the processing module is specifically configured to:
  • control device of the second electronic device is switched from the handle to the first electronic device.
  • the processing module is specifically configured to:
  • Receive a first interaction mode switching instruction sent by the handle generate a corresponding first interaction mode switching instruction based on receiving a second operation on the first electronic device, or receive a first interaction mode sent by the second electronic device Switch instruction.
  • the processing module is specifically configured to:
  • the first electronic device as a control device of the second electronic device
  • the first electronic device further includes an acquiring module, configured to receive a second interactive mode switching instruction
  • the processing module is specifically configured to switch the control device of the second electronic device from the first electronic device to the handle in response to the second interaction mode switching instruction.
  • the processing module is specifically configured to:
  • Receive a second interaction mode switching instruction sent by the handle generate a corresponding second interaction mode switching instruction based on receiving a second operation on the first electronic device, or receive a second interaction mode sent by the second electronic device Switch instruction.
  • the second electronic device displays a cursor and interface content of the first electronic device
  • the processing module is specifically configured to:
  • the interface content is an interface content of a front-end application of the first electronic device.
  • the processing module is specifically configured to:
  • the cursor is moved on the display content of the second electronic device based on the pose change information.
  • the processing module is further used for:
  • the target object in the display content of the second electronic device is made to respond to the first touch operation.
  • the processing module is further used for:
  • the cursor is moved in the display content of the second electronic device.
  • the processing module is further used for:
  • the target object in the display content of the second electronic device is made to respond to the click operation.
  • this application provides an information processing method, the method including:
  • Displaying the interface content of the first electronic device in a second electronic device where the first electronic device includes a touch screen, and the second electronic device is an augmented display AR device, a virtual reality VR device, or a mixed reality MR device;
  • the causing the interface content displayed by the second electronic device to respond to the first operation specifically includes:
  • the method further includes:
  • Projecting the cursor on the second electronic device allows the second electronic device to display the cursor.
  • the position corresponding to the cursor in the interface content displayed by the first electronic device is the first position.
  • the determining the first position in the interface content displayed by the first electronic device includes:
  • the first position of the cursor in the interface content displayed by the first electronic device is determined based on the pose change information.
  • the pose change information includes a first rotation angle of the first electronic device on a horizontal plane and a second rotation angle of the first electronic device on a vertical plane.
  • the rotation angle, the determining the first position of the cursor in the interface content displayed by the first electronic device based on the pose change information includes:
  • the first position of the cursor in the interface content displayed by the first electronic device is determined according to the horizontal displacement and the vertical displacement.
  • the pose change information includes a first displacement of the first electronic device in a first direction and a first displacement of the first electronic device in a second direction.
  • the second displacement, the first direction is parallel to the left and right movement direction of the cursor displayed on the second electronic device, and the second direction is parallel to the up and down movement direction of the cursor displayed on the second electronic device
  • the The posture change information determining the first position of the cursor in the interface content displayed by the first electronic device includes:
  • the first position of the cursor in the interface content displayed by the first electronic device is determined according to the horizontal displacement and the vertical displacement.
  • the first operation includes at least a click operation and a first sliding operation
  • the first object includes at least one of an application program and a function control.
  • the determining the first position in the interface content displayed by the first electronic device includes:
  • the first position of the cursor in the interface content displayed by the first electronic device is determined according to the displacement of the cursor.
  • the first operation includes at least a click operation
  • the first object includes at least one of an application program and a function control.
  • the method further includes:
  • the method further includes:
  • the menu bar is displayed in the second electronic device.
  • this application provides an electronic device, including:
  • the sending module is used to display the interface content of the first electronic device in the second electronic device, where the first electronic device includes a touch screen, and the second electronic device is an augmented display AR device, a virtual reality VR device or a hybrid Realistic MR equipment;
  • the processing module is configured to receive a first operation acting on the first display screen of the first electronic device; make the interface content displayed by the second electronic device respond to the first operation; wherein, the The operating position of the first operation corresponds to the first object in the interface content of the first electronic device; the first object does not respond to the first operation.
  • the causing the interface content displayed by the second electronic device to respond to the first operation specifically includes:
  • the method further includes:
  • Projecting the cursor on the second electronic device allows the second electronic device to display the cursor.
  • the position corresponding to the cursor in the interface content displayed by the first electronic device is the first position.
  • the determining the first position in the interface content displayed by the first electronic device includes:
  • the first position of the cursor in the interface content displayed by the first electronic device is determined based on the pose change information.
  • the pose change information includes a first rotation angle of the first electronic device on a horizontal plane and a second rotation angle of the first electronic device on a vertical plane.
  • the rotation angle, the determining the first position of the cursor in the interface content displayed by the first electronic device based on the pose change information includes:
  • the first position of the cursor in the interface content displayed by the first electronic device is determined according to the horizontal displacement and the vertical displacement.
  • the pose change information includes a first displacement of the first electronic device in a first direction and a first displacement of the first electronic device in a second direction. Two displacements, the first direction is parallel to the left and right movement direction of the cursor displayed on the second electronic device, and the second direction is parallel to the up and down movement direction of the cursor displayed on the second electronic device, and the The posture change information determining the first position of the cursor in the interface content displayed by the first electronic device includes:
  • the first position of the cursor in the interface content displayed by the first electronic device is determined according to the horizontal displacement and the vertical displacement.
  • the first operation includes at least a click operation and a first sliding operation
  • the first object includes at least one of an application program and a function control.
  • the determining the first position in the interface content displayed by the first electronic device includes:
  • the first position of the cursor in the interface content displayed by the first electronic device is determined according to the displacement of the cursor.
  • the first operation includes at least a click operation
  • the first object includes at least one of an application program and a function control.
  • the method further includes:
  • the method further includes:
  • the menu bar is displayed in the second electronic device.
  • the present application provides an electronic device that is used as a first electronic device and includes a processor, an input device, an output device, and a memory, where the memory is used to store a computer program, and the computer
  • the program includes program instructions, and when the processor runs the program instructions, the first electronic device executes the method according to any one of the first aspect, the second aspect, or the fifth aspect.
  • the present application provides a screen projection system, including: the first electronic device as described in the first, second, or fifth aspect above, and a second electronic device.
  • the second electronic device is connected.
  • an embodiment of the present application provides a computer-readable storage medium, wherein the computer-readable storage medium stores a computer program, the computer program includes program instructions, and when the program requests to be run by a computer When the computer executes the method according to any one of the first aspect, the second aspect, or the fifth aspect.
  • the present application provides a computer program product containing instructions, which when run on a computer, causes the computer to execute the method described in any one of the first, second, or fifth aspects above.
  • the present application provides a control method applied to a first electronic device connected to a second electronic device, wherein the second electronic device includes an imaging system; the method includes:
  • the first electronic device includes a first display screen, and N is an integer greater than 1;
  • the starting position of the first sliding operation corresponds to a first object in the current interface content of the first electronic device, the first object does not respond to the first sliding operation, and the current interface content is The interface content of one application among the interface contents of the N applications.
  • the second electronic device includes a TV, an AR device, a VR device, or an MR device.
  • the method further includes:
  • a second operation is received, and the first operation object is made to respond to the second operation.
  • the method further includes:
  • the method further includes:
  • the menu bar is displayed in the imaging system; the menu bar includes functional controls used to add or delete the interface content of the application in the imaging system.
  • the present application provides a first electronic device, wherein the first electronic device is connected to a second electronic device; the first electronic device includes a first display screen, and the second electronic device Including an imaging system; the first electronic device includes:
  • the sending module is configured to display the interface content of the N applications running on the first electronic device in the N display areas in the imaging system;
  • the first electronic device includes a first display screen, and N is greater than An integer of 1; also used to display a cursor in the imaging system, and the cursor is used to determine an operation object in the content displayed by the imaging system;
  • a processing module configured to receive a first sliding operation acting on the first display screen; and determine the displacement of the cursor in the content displayed by the imaging system according to the first sliding operation;
  • the starting position of the first sliding operation corresponds to a first object in the current interface content of the first electronic device, the first object does not respond to the first sliding operation, and the current interface content is The interface content of one application among the interface contents of the N applications.
  • the second electronic device includes a TV, an AR device, a VR device, or an MR device.
  • the processing module is further specifically configured to:
  • a second operation is received, and the first operation object is made to respond to the second operation.
  • the processing module is further configured to:
  • the sending module is further configured to:
  • the menu bar is displayed in the imaging system; the menu bar includes functional controls used to add or delete the interface content of the application in the imaging system.
  • the present application provides a first electronic device, wherein the first electronic device includes:
  • this application provides a touch screen-based control method, which is applied to a first electronic device, where the first electronic device includes a touch screen; the touch screen can be used to display an interface; the method includes: the first electronic device and the first electronic device 2.
  • the electronic device When the electronic device establishes a screen projection connection, it generates a cursor, which is displayed on the touch screen interface; generates screen projection content based on the interface content in the touch screen; the projection content includes the cursor; sends the screen projection content to the second electronic device; when When receiving the user's target touch operation on the touch screen, respond to the target touch operation based on the display position of the cursor in the current interface; wherein the display position of the cursor in the current interface is used to indicate the response position of the target touch operation in the current interface; respond The position is not related to the operation position of the target touch operation on the touch screen.
  • the first electronic device includes a mobile phone or a tablet; the second electronic device includes a display, a TV, a projector, an AR device, a VR device, or an MR device.
  • this application provides a touch screen-based control device, which is applied to a first electronic device, where the first electronic device includes a touch screen; the touch screen can be used to display an interface; the device includes: a generation module for when When the first electronic device and the second electronic device establish a projection connection, a cursor is generated, and the cursor is displayed in the interface of the touch screen; the projection module is used to generate the projection content based on the interface content in the touch screen and send the projection content
  • the screen content includes a cursor; the receiving module is used to receive the user's target touch operation on the touch screen; the response module is used to respond to the target touch operation based on the display position of the cursor in the current interface; wherein, the cursor The display position in the current interface is used to indicate the response position of the target touch operation in the current interface; the response position is not related to the operation position of the target touch operation on the touch screen.
  • the interface of the touch screen does not include a cursor.
  • the screencast content includes part or all of the content in the interface, and the screencast content is used to synchronize part or all of the content presented in the display system of the second electronic device with part or all of the content displayed on the touch screen.
  • the screencast content also includes at least one of an interface of a background application running on the first electronic device, a newly drawn menu bar, or a preset function control. Both the first electronic device and the second electronic device can display the cursor.
  • the way to generate the cursor includes: obtaining the interface content of the front-end application corresponding to the current interface, and drawing the cursor in the interface content; or, drawing the cursor, and Add the cursor to the current interface based on the floating window interface; or draw a ray, and intersect the ray with the current interface at the end point based on the floating window interface; the end point is the cursor.
  • This method can be executed by the generation module.
  • a predefined operation may also be received, and the predefined operation is used to activate or hide the display of the cursor.
  • the first event processing system is called and the touch screen event processing system is shielded; the target touch operation is re-parsed as a target event, and the target An event is injected into the first event processing system, so that the first electronic device responds to the target touch operation according to the first event processing system.
  • the method before invoking the first event processing system, the method further includes: detecting that the first electronic device and the second electronic device establish a screen projection connection; or, The first switching command input by the user is detected; the first switching command is used to instruct the first electronic device to invoke the first event processing system and shield the touch screen event processing system.
  • This method can be executed by the detection module.
  • the display brightness of the touch screen can be reduced, or the touch screen can be disabled. Can be executed by the brightness control module.
  • the first electronic device when the target touch operation is a sliding operation, changes the position of the cursor in the current interface according to the sliding operation. position. Can be executed by the response module.
  • the first electronic device when the target touch operation is a click operation, performs confirmation on the object corresponding to the cursor in the current interface operating. Can be executed by the response module.
  • the first electronic device may slide or drag the cursor corresponding to the interface in the interface.
  • Object Can be executed by the response module.
  • the first electronic device executes the shortcut operation command.
  • the target touch operation includes: sliding from a first preset area of the touch screen to a first preset direction; or, sliding from a second preset area of the touch screen to a second preset direction, and the time of contact with the touch screen Greater than a preset time; or, the number of times the touch screen is clicked reaches a preset number; or, the sliding track of the target touch operation satisfies a preset pattern. Can be executed by the response module.
  • the method further includes: starting a multi-screen display mode; creating N virtual screens in the interface of the touch screen; determining N interfaces to be displayed; The virtual screens respectively display N to-be-displayed interfaces; among them, the N to-be-displayed interfaces belong to M applications, M is an integer not greater than N, and N is an integer greater than 1; the cursor can be located anywhere on the N virtual screens. Can be executed by the multi-screen creation module.
  • the first electronic device may also obtain a second switching instruction; the second switching instruction is used to instruct the first electronic device to invoke the second event processing system And shield the first event processing system and the touch screen event processing system; call the second event processing system; wherein, when the posture of the first electronic device changes, the second event processing system
  • the response of the posture change of the first electronic device is to change the position of the cursor in the current interface.
  • the horizontal displacement of the cursor is determined according to the angle of rotation in the left and right directions
  • the vertical displacement of the cursor is determined according to the angle of rotation in the up and down directions.
  • the first event processing system may be a touch panel event processing system
  • the second event processing system may be an air mouse event processing system. Any event processing system can be flexibly defined. Can be executed by the calling module.
  • An embodiment of the present application provides an information processing method, including: establishing a connection between a first electronic device and a second electronic device, wherein the second electronic device displays a cursor and the interface content of the first electronic device, wherein all The first electronic device includes a touch screen, and the second electronic device is an augmented display AR device, a virtual reality VR device, or a mixed reality MR device; acquiring a first operation on the first electronic device; The first operation of the device controls the display position of the cursor on the second electronic device.
  • the first electronic device with a touch screen can be used as the control device of the AR device/VE device/MR device instead of the handle.
  • Figure 1 is a system architecture diagram of a screen projection system provided by an embodiment of the present application.
  • FIG. 2 is a schematic structural diagram of a first electronic device provided by an embodiment of the present application.
  • Fig. 3a is a block diagram of the software structure of an electronic device according to an embodiment of the present application.
  • FIG. 3b is a schematic flowchart of an information processing method provided by an embodiment of this application.
  • FIG. 4a is a schematic diagram of an interface of a first electronic device according to an embodiment of this application.
  • FIG. 4b is a schematic diagram of an interface of a first electronic device according to an embodiment of the application.
  • FIG. 4c is a schematic diagram of an interface of a first electronic device according to an embodiment of the application.
  • FIG. 5a is a schematic diagram of an interface of a first electronic device according to an embodiment of this application.
  • FIG. 5b is a schematic diagram of an interface of a first electronic device according to an embodiment of the application.
  • FIG. 5c is a schematic diagram of an interface of a first electronic device according to an embodiment of this application.
  • Figure 6a is a schematic diagram of an actual scene of screen projection
  • Figure 6b is a schematic diagram of an actual scene of screen projection
  • Figure 6c is a schematic diagram of an actual scene of screen projection
  • Figure 6d is a schematic diagram of an actual scene of a screen projection
  • Figure 7a is a schematic diagram of an actual scene of screen projection
  • FIG. 7b is a schematic diagram of a posture change of a first electronic device rotating in a horizontal direction
  • FIG. 7c is a schematic diagram of the displacement of the cursor displayed by the second electronic device.
  • Figure 7d is a schematic diagram of an actual scene of a screen projection
  • FIG. 7e is a schematic diagram of a posture change of the first electronic device when it rotates in the vertical direction
  • FIG. 7f is a schematic diagram of the displacement of the cursor displayed by the second electronic device.
  • Figure 7g is a schematic diagram of an actual scene of screen projection
  • Figure 7h is a schematic diagram of a user's sliding operation
  • Figure 7i is a schematic diagram of a user's sliding operation
  • FIG. 7j is a schematic diagram of the displacement of the cursor displayed by the second electronic device.
  • FIG. 8a is a schematic diagram of screen projection content of a second electronic device according to an embodiment of this application.
  • FIG. 8b is a schematic diagram of screen projection content of a second electronic device according to an embodiment of the application.
  • FIG. 9a is a schematic diagram of screen projection content of a second electronic device according to an embodiment of this application.
  • FIG. 9b is a schematic diagram of screen projection content of a second electronic device according to an embodiment of the application.
  • FIG. 9c is a schematic diagram of screen projection content of a second electronic device according to an embodiment of the application.
  • FIG. 9d is a schematic diagram of a user operating a first electronic device according to an embodiment of the application.
  • FIG. 10a is a schematic diagram of screen projection content of a second electronic device according to an embodiment of this application.
  • FIG. 10b is a schematic diagram of screen projection of a second electronic device according to an embodiment of the application.
  • FIG. 10c is a schematic diagram of interaction of a first electronic device according to an embodiment of this application.
  • FIG. 10d is a schematic diagram of interface content of a first electronic device according to an embodiment of this application.
  • Figure 11a is a schematic diagram of interaction between a first electronic device and a second electronic device
  • Figure 11b is a schematic diagram of interaction between a first electronic device and a second electronic device
  • Figure 11c is a schematic diagram of interaction between a first electronic device and a second electronic device
  • Figure 11d is a schematic diagram of interaction between a first electronic device and a second electronic device
  • Figure 11e is a schematic diagram of interaction between a first electronic device and a second electronic device
  • Figure 11f is a schematic diagram of interaction between a first electronic device and a second electronic device
  • Figure 11g is a schematic diagram of interaction between a first electronic device and a second electronic device
  • FIG. 12a is a schematic diagram of an interface of a second electronic device according to an embodiment of this application.
  • FIG. 12b is a schematic diagram of an interface of a second electronic device according to an embodiment of this application.
  • FIG. 12c is a schematic diagram of an interface of a second electronic device according to an embodiment of this application.
  • FIG. 12d is a schematic diagram of a user operating a first electronic device according to an embodiment of the application.
  • FIG. 12e is a schematic diagram of an interface of a second electronic device according to an embodiment of this application.
  • FIG. 12f is a schematic diagram of an interface of a second electronic device according to an embodiment of this application.
  • FIG. 12g is a schematic diagram of a user operating a first electronic device according to an embodiment of the application.
  • FIG. 12h is a schematic diagram of an interface of a second electronic device according to an embodiment of the application.
  • FIG. 12i is a schematic diagram of an interface of a second electronic device according to an embodiment of this application.
  • FIG. 12j is a schematic diagram of an interface of a second electronic device according to an embodiment of this application.
  • FIG. 12k is a schematic diagram of an interface of a second electronic device according to an embodiment of the application.
  • FIG. 121 is a schematic diagram of a user operating a first electronic device according to an embodiment of this application.
  • FIG. 12m is a schematic diagram of a user operating a first electronic device according to an embodiment of this application.
  • FIG. 12n is a schematic diagram of an interface of a second electronic device according to an embodiment of this application.
  • FIG. 12o is a schematic diagram of a user operating a first electronic device according to an embodiment of the application.
  • FIG. 12p is a schematic diagram of an interface of a second electronic device according to an embodiment of this application.
  • FIG. 12q is a schematic diagram of a user operating a first electronic device according to an embodiment of the application.
  • FIG. 12r is a schematic diagram of an interface of a second electronic device according to an embodiment of the application.
  • FIG. 12s is a schematic diagram of a user operating a first electronic device according to an embodiment of the application.
  • FIG. 12t is a schematic diagram of an interface of a second electronic device according to an embodiment of the application.
  • FIG. 12u is a schematic diagram of a user operating a first electronic device according to an embodiment of this application.
  • FIG. 13 is a schematic diagram of a screen projection scene provided by an embodiment of the application.
  • FIG. 14a is a schematic diagram of screen projection content of a second electronic device according to an embodiment of the application.
  • FIG. 14b is a schematic diagram of screen projection content of a second electronic device according to an embodiment of this application.
  • FIG. 14c is a schematic diagram of screen projection content of a second electronic device according to an embodiment of the application.
  • FIG. 14d is a schematic diagram of a user operating a first electronic device according to an embodiment of this application.
  • FIG. 14e is a schematic diagram of screen projection content of a second electronic device according to an embodiment of the application.
  • FIG. 14f is a schematic diagram of a user operating a first electronic device according to an embodiment of this application.
  • FIG. 14g is a schematic diagram of screen projection of a second electronic device according to an embodiment of the application.
  • FIG. 16 is a schematic diagram of an architecture of an embodiment of the application.
  • FIG. 17 is a schematic diagram of an architecture of an embodiment of the application.
  • FIG. 18 is a schematic structural diagram of an electronic device provided by an embodiment of this application.
  • FIG. 19 is a schematic structural diagram of an electronic device provided by an embodiment of this application.
  • 20 is a schematic diagram of interaction between a first electronic device and a second electronic device
  • FIG. 21a shows a schematic diagram of a connection mode of a first electronic device connected to a second electronic device
  • FIG. 21b shows a schematic diagram of a connection mode of a first electronic device connected to a second electronic device
  • Figure 22a shows a schematic diagram of a user using a handle as an interactive device
  • Figure 22b is a schematic diagram of a possible software structure of the first electronic device
  • Figure 22c is a schematic diagram of a virtual screen management method in a VR scenario
  • Figure 22d shows a schematic diagram of an Android system processing screen injection events
  • FIG. 23a is a schematic diagram of interaction of a user using a first electronic device
  • FIG. 23b is a schematic diagram of interaction of a user using a first electronic device
  • FIG. 23c is a schematic diagram of interaction of a user using a first electronic device
  • FIG. 23d is a schematic diagram of interaction of a user using the first electronic device
  • FIG. 24a is a schematic diagram of interaction of a user using a first electronic device according to an embodiment of this application.
  • FIG. 24b is a schematic diagram of interaction of a user using a first electronic device according to an embodiment of the application.
  • FIG. 24c is a schematic diagram of interaction of a user using a first electronic device according to an embodiment of the application.
  • FIG. 25 is a schematic diagram of the operation of a first electronic device according to an embodiment of the application.
  • FIG. 26 is a schematic diagram of interaction of a user using a first electronic device according to an embodiment of this application.
  • FIG. 27 is a schematic diagram of a system architecture provided by an embodiment of this application.
  • FIG. 28 is a schematic diagram of a system architecture provided by an embodiment of this application.
  • FIG. 29 is a schematic flowchart of an information processing method provided by an embodiment of this application.
  • FIG. 30 is a schematic diagram of a multi-screen operation provided by an embodiment of the application.
  • FIG. 31 is a flowchart of a manipulation method provided by an embodiment of this application.
  • FIG. 32 is a schematic diagram of an event processing process in an embodiment of this application.
  • FIG. 33 is a schematic diagram of a control device in an embodiment of this application.
  • the embodiments of the present application provide an information processing method and electronic device.
  • a user can use a mobile phone as a control device for an augmented display AR device, a virtual reality VR device, or a mixed reality MR device.
  • the projections involved in this application may include wired projections and wireless projections.
  • the wired projections can establish a connection between electronic devices through a high definition multimedia interface (HDMI), and transmit media data through an HDMI transmission line;
  • the wireless projection can establish a connection between multiple electronic devices through, for example, the Miracast protocol, and transmit media data through, for example, a wireless fidelity (WIFI).
  • HDMI high definition multimedia interface
  • WIFI wireless fidelity
  • the projection system of the present application may include at least two electronic devices and one projection port, where the projection port may include a wired port and/or a wireless port.
  • the wired port can be HDMI; the wireless port can be an application programming interface (API) or a hardware projection module.
  • FIG. 1 is a system architecture diagram of a screen projection system provided by an embodiment of the present application.
  • the projection system includes a first electronic device 100 and a second electronic device 200.
  • the first electronic device 100 may include a first wired port 101 and/or a first wireless port 102, and the second electronic device 200 may include The second wired port 201 and/or the second wireless port 202.
  • the first wired port 101 and the first wireless port 102 can be integrated on the first electronic device 100 or can exist independently of the first electronic device 100; the second wired port 201 and the second wireless port 202 can be integrated on the second electronic device At 200, it may also exist independently of the second electronic device 200, which is not limited in the embodiment of the present application.
  • the first electronic device 100 and the second electronic device 200 can establish a screen projection connection through a screen projection port (a wired port or a wireless port).
  • the first electronic device 100 has at least a screen projection (Source) capability.
  • the first electronic device 100 may include an enhanced interactive service, which may obtain sensor information of the electronic device (for example, it may be obtained from the sensor input in FIG. 1), and the sensor information includes, but is not limited to, the posture of the first electronic device Information, the enhanced interactive service can also obtain the touch screen information of the electronic device (for example, it can be obtained from the touch screen input in FIG. 1).
  • the touch screen information includes but is not limited to touch information on the touch screen. How to use the acquired sensor information and touch screen information for the enhanced interactive service of the first electronic device will be described in the following embodiments, and will not be repeated here.
  • the enhanced interactive service can also obtain the interface content of the front-end application (front-end application) of the first electronic device, and draw other images (such as the cursor and the menu bar) on the interface content, and draw the finished image.
  • the interface content is sent to the screen projection service.
  • the screen projection service can generate the screen projection content based on the drawn interface content, and send the screen projection content to the second electronic device 200, so that the display screen of the second electronic device displays the Projected content.
  • the enhanced interactive service can also add other images (such as the cursor and the menu bar) to the interface content of the front-end application of the first electronic device through the floating window interface of the system, and the screen projection service can be added to the interface content of the front-end application of the first electronic device.
  • the interface content of the first electronic device front-end application of other images is generated, and the screen content is generated based on the acquired interface content of the first electronic device front-end application to which other images are added, and the screen content is sent to the second electronic device 200, So that the display screen of the second electronic device displays the projected content.
  • the first electronic device 100 may include a screencasting service, which is used to realize a source of screencasting.
  • the screencasting service can obtain the interface content of the first electronic device as screencasting data, or enhance interaction
  • the interface content drawn by the service is used as the screencast content, and the screencast content is sent to the second electronic device 200 through the first wireless port or the first wired port.
  • the second electronic device 100 may, but is not limited to, a sink capability and an image display capability.
  • the second electronic device 200 may include a screen casting service for realizing a sink capability, and the screen casting service may display the received screen casting content on the display screen of the second electronic device.
  • Examples of the first electronic device 100 include, but are not limited to, electronic devices equipped with iOS, android, microsoft or other operating systems.
  • the first electronic device 100 may be a mobile phone, a tablet computer, or a personal digital assistant (PDA).
  • PDA personal digital assistant
  • the second electronic device 200 may be an electronic device such as a TV, a tablet computer, or a desktop computer.
  • the first electronic device may be an electronic device with a display function.
  • the size of the display area of the display screen may be larger than the size of the display area of the display screen of the first electronic device.
  • FIG. 2 is a schematic structural diagram of a first electronic device according to an embodiment of the present application.
  • the first electronic device 100 may include a processor 110, an external memory interface 120, an internal memory 121, a universal serial bus (USB) interface 130, a charging management module 140, and a power management module 141, Battery 142, antenna 1, antenna 2, mobile communication module 150, wireless communication module 160, audio module 170, speaker 170A, receiver 170B, microphone 170C, earphone jack 170D, sensor module 180, buttons 190, motor 191, indicator 192, Camera 193, display screen 194, subscriber identification module (SIM) card interface 195, etc.
  • SIM subscriber identification module
  • the sensor module 180 may include a pressure sensor 180A, a gyroscope sensor 180B, an air pressure sensor 180C, a magnetic sensor 180D, an acceleration sensor 180E, a distance sensor 180F, a proximity sensor 180G, a fingerprint sensor 180H, a temperature sensor 180J, a touch sensor 180K, and ambient light Sensor 180L, bone conduction sensor 180M, etc.
  • the structure illustrated in the embodiment of the present application does not constitute a specific limitation on the first electronic device 100.
  • the first electronic device 100 may include more or fewer components than shown, or combine certain components, or disassemble certain components, or arrange different components.
  • the illustrated components can be implemented in hardware, software, or a combination of software and hardware.
  • the processor 110 may include one or more processing units.
  • the processor 110 may include an application processor (AP), a modem processor, a graphics processing unit (GPU), and an image signal processor. (image signal processor, ISP), controller, memory, video codec, digital signal processor (digital signal processor, DSP), baseband processor, and/or neural-network processing unit (NPU) Wait.
  • AP application processor
  • modem processor modem processor
  • GPU graphics processing unit
  • image signal processor image signal processor
  • ISP image signal processor
  • controller memory
  • video codec digital signal processor
  • DSP digital signal processor
  • NPU neural-network processing unit
  • the different processing units may be independent devices or integrated in one or more processors.
  • the controller may be the nerve center and command center of the first electronic device 100.
  • the controller can generate operation control signals according to the instruction operation code and timing signals to complete the control of fetching and executing instructions.
  • a memory may also be provided in the processor 110 to store instructions and data.
  • the memory in the processor 110 is a cache memory.
  • the memory can store instructions or data that the processor 110 has just used or used cyclically. If the processor 110 needs to use the instruction or data again, it can be directly called from the memory. Repeated accesses are avoided, the waiting time of the processor 110 is reduced, and the efficiency of the system is improved.
  • the processor 110 may include one or more interfaces.
  • Interfaces may include integrated circuit (I1C) interfaces, integrated circuit built-in audio (inter-integrated circuit sound, I1S) interfaces, pulse code modulation (PCM) interfaces, universal asynchronous transceivers receiver/transmitter, UART) interface, mobile industry processor interface (MIPI), general-purpose input/output (GPIO) interface, subscriber identity module (SIM) interface, and / Or Universal Serial Bus (USB) interface, etc.
  • I1C integrated circuit
  • I1S integrated circuit built-in audio
  • PCM pulse code modulation
  • UART mobile industry processor interface
  • MIPI mobile industry processor interface
  • GPIO general-purpose input/output
  • SIM subscriber identity module
  • USB Universal Serial Bus
  • the interface connection relationship between the modules illustrated in the embodiment of the present application is merely a schematic description, and does not constitute a structural limitation of the first electronic device 100.
  • the first electronic device 100 may also adopt different interface connection modes in the foregoing embodiments, or a combination of multiple interface connection modes.
  • the charging management module 140 is used to receive charging input from the charger.
  • the charger can be a wireless charger or a wired charger.
  • the charging management module 140 may receive the charging input of the wired charger through the USB interface 130.
  • the power management module 141 is used to connect the battery 142, the charging management module 140 and the processor 110.
  • the power management module 141 receives input from the battery 142 and/or the charge management module 140, and supplies power to the processor 110, the internal memory 121, the external memory, the display screen 194, the camera 193, and the wireless communication module 160.
  • the wireless communication function of the first electronic device 100 may be implemented by the antenna 1, the antenna 2, the mobile communication module 150, the wireless communication module 160, the modem processor, and the baseband processor.
  • the first electronic device 100 may use a wireless communication function to communicate with other devices.
  • the first electronic device 100 can communicate with the second electronic device 200, the first electronic device 100 establishes a projection connection with the second electronic device 200, and the first electronic device 100 outputs projection data to the second electronic device 200 and so on.
  • the projection data output by the first electronic device 100 may be audio and video data.
  • the antenna 1 and the antenna 2 are used to transmit and receive electromagnetic wave signals.
  • Each antenna in the first electronic device 100 can be used to cover a single or multiple communication frequency bands. Different antennas can also be reused to improve antenna utilization.
  • Antenna 1 can be multiplexed as a diversity antenna of a wireless local area network.
  • the antenna can be used in combination with a tuning switch.
  • the mobile communication module 150 may provide a wireless communication solution including 1G/3G/4G/5G and the like applied to the first electronic device 100.
  • the mobile communication module 150 may include at least one filter, switch, power amplifier, low noise amplifier (LNA), etc.
  • the mobile communication module 150 can receive electromagnetic waves by the antenna 1, and perform processing such as filtering, amplifying and transmitting the received electromagnetic waves to the modem processor for demodulation.
  • the mobile communication module 150 can also amplify the signal modulated by the modem processor, and convert it into electromagnetic waves through the antenna 2 for radiation.
  • at least part of the functional modules of the mobile communication module 150 may be provided in the processor 110.
  • at least part of the functional modules of the mobile communication module 150 and at least part of the modules of the processor 110 may be provided in the same device.
  • the modem processor may include a modulator and a demodulator.
  • the modulator is used to modulate the low frequency baseband signal to be sent into a medium and high frequency signal.
  • the demodulator is used to demodulate the received electromagnetic wave signal into a low-frequency baseband signal. Then the demodulator transmits the demodulated low-frequency baseband signal to the baseband processor for processing. After the low-frequency baseband signal is processed by the baseband processor, it is passed to the application processor.
  • the application processor outputs a sound signal through an audio device (not limited to the speaker 170A, the receiver 170B, etc.), or displays an image or video through the display screen 194.
  • the modem processor may be an independent device. In other embodiments, the modem processor may be independent of the processor 110 and be provided in the same device as the mobile communication module 150 or other functional modules.
  • the wireless communication module 160 can provide applications on the first electronic device 100 including wireless local area networks (WLAN) (such as wireless fidelity (Wi-Fi) networks), bluetooth (BT), and global Navigation satellite system (global navigation satellite system, GNSS), frequency modulation (frequency modulation, FM), near field communication technology (near field communication, NFC), infrared technology (infrared, IR) and other wireless communication solutions.
  • WLAN wireless local area networks
  • BT Bluetooth
  • GNSS global Navigation satellite system
  • frequency modulation frequency modulation
  • FM near field communication technology
  • NFC near field communication technology
  • infrared technology infrared, IR
  • the wireless communication module 160 may be one or more devices integrating at least one communication processing module.
  • the wireless communication module 160 receives electromagnetic waves via the antenna 1, frequency modulates and filters the electromagnetic wave signals, and sends the processed signals to the processor 110.
  • the wireless communication module 160 may also receive the signal to be sent from the processor 110, perform frequency modulation, amplify it, and convert it into electromagnetic waves
  • the antenna 1 of the first electronic device 100 is coupled with the mobile communication module 150, and the antenna 2 is coupled with the wireless communication module 160, so that the first electronic device 100 can communicate with the network and other devices through wireless communication technology.
  • the wireless communication technology may include global system for mobile communications (GSM), general packet radio service (GPRS), code division multiple access (CDMA), broadband Code division multiple access (wideband code division multiple access, WCDMA), time-division code division multiple access (TD-SCDMA), long term evolution (LTE), BT, GNSS, WLAN, NFC , FM, and/or IR technology, etc.
  • the GNSS may include global positioning system (GPS), global navigation satellite system (GLONASS), Beidou navigation satellite system (BDS), quasi-zenith satellite system (quasi -zenith satellite system, QZSS) and/or satellite-based augmentation systems (SBAS).
  • GPS global positioning system
  • GLONASS global navigation satellite system
  • BDS Beidou navigation satellite system
  • QZSS quasi-zenith satellite system
  • SBAS satellite-based augmentation systems
  • the first electronic device 100 implements a display function through a GPU, a display screen 194, an application processor, and the like.
  • the GPU is a microprocessor for image processing, connected to the display 194 and the application processor.
  • the GPU is used to perform mathematical and geometric calculations for graphics rendering.
  • the processor 110 may include one or more GPUs, which execute program instructions to generate or change display information.
  • the display screen 194 is used to display images, videos, and the like.
  • the display screen 194 includes a display panel.
  • the display panel can use liquid crystal display (LCD), organic light-emitting diode (OLED), active matrix organic light-emitting diode or active-matrix organic light-emitting diode (active-matrix organic light-emitting diode).
  • LCD liquid crystal display
  • OLED organic light-emitting diode
  • active-matrix organic light-emitting diode active-matrix organic light-emitting diode
  • AMOLED flexible light-emitting diode (FLED), Miniled, MicroLed, Micro-oLed, quantum dot light-emitting diode (QLED), etc.
  • the first electronic device 100 may include one or N display screens 194, and N is a positive integer greater than one.
  • the display screen 194 may be used to display various interfaces output by the system of the first electronic device 100. For each interface output by the first electronic device 100, reference may be made to related descriptions in subsequent embodiments.
  • the first electronic device 100 can implement a shooting function through an ISP, a camera 193, a video codec, a GPU, a display screen 194, and an application processor.
  • the ISP is used to process the data fed back by the camera 193. For example, when taking a picture, the shutter is opened, the light is transmitted to the photosensitive element of the camera through the lens, the light signal is converted into an electrical signal, and the photosensitive element of the camera transmits the electrical signal to the ISP for processing and is converted into an image visible to the naked eye.
  • ISP can also optimize the image noise, brightness, and skin color. ISP can also optimize the exposure, color temperature and other parameters of the shooting scene.
  • the ISP may be provided in the camera 193.
  • the camera 193 is used to capture still images or videos.
  • the object generates an optical image through the lens and is projected to the photosensitive element.
  • the photosensitive element may be a charge coupled device (CCD) or a complementary metal-oxide-semiconductor (CMOS) phototransistor.
  • CMOS complementary metal-oxide-semiconductor
  • the photosensitive element converts the optical signal into an electrical signal, and then transfers the electrical signal to the ISP to convert it into a digital image signal.
  • ISP outputs digital image signals to DSP for processing.
  • DSP converts digital image signals into standard RGB, YUV and other formats of image signals.
  • the first electronic device 100 may include 1 or N cameras 193, and N is a positive integer greater than 1.
  • Digital signal processors are used to process digital signals. In addition to digital image signals, they can also process other digital signals.
  • Video codecs are used to compress or decompress digital video.
  • the first electronic device 100 may support one or more video codecs. In this way, the first electronic device 100 can play or record videos in multiple encoding formats, for example: moving picture experts group (MPEG) 1, MPEG1, MPEG3, MPEG4, etc.
  • MPEG moving picture experts group
  • NPU is a neural-network (NN) computing processor.
  • NN neural-network
  • applications such as intelligent cognition of the first electronic device 100 can be realized, such as image recognition, face recognition, voice recognition, text understanding, and so on.
  • the external memory interface 120 may be used to connect an external memory card, such as a Micro SD card, so as to expand the storage capacity of the first electronic device 100.
  • the external memory card communicates with the processor 110 through the external memory interface 120 to realize the data storage function. For example, save music, video and other files in an external memory card.
  • the internal memory 121 may be used to store computer executable program code, where the executable program code includes instructions.
  • the processor 110 executes various functional applications and data processing of the first electronic device 100 by running instructions stored in the internal memory 121.
  • the internal memory 121 may include a storage program area and a storage data area.
  • the storage program area can store an operating system, at least one application program (such as a sound playback function, an image playback function, etc.) required by at least one function.
  • the data storage area can store data (such as audio data, phone book, etc.) created during the use of the first electronic device 100.
  • the internal memory 121 may include a high-speed random access memory, and may also include a non-volatile memory, such as at least one magnetic disk storage device, a flash memory device, a universal flash storage (UFS), and the like.
  • UFS universal flash storage
  • the first electronic device 100 may implement audio functions through the audio module 170, the speaker 170A, the receiver 170B, the microphone 170C, the earphone interface 170D, and the application processor. For example, music playback, recording, etc.
  • the audio module 170 may be used to play the sound corresponding to the video. For example, when the display screen 194 displays a video playback screen, the audio module 170 outputs the sound of the video playback.
  • the audio module 170 is used to convert digital audio information into an analog audio signal for output, and is also used to convert an analog audio input into a digital audio signal.
  • the speaker 170A also called “speaker” is used to convert audio electrical signals into sound signals.
  • the receiver 170B also called “earpiece” is used to convert audio electrical signals into sound signals.
  • the microphone 170C also called “microphone”, “microphone”, is used to convert sound signals into electrical signals.
  • the earphone interface 170D is used to connect wired earphones.
  • the earphone interface 170D may be a USB interface 130, or a 3.5mm open mobile terminal platform (OMTP) standard interface, or a cellular telecommunications industry association of the USA (CTIA) standard interface.
  • OMTP open mobile terminal platform
  • CTIA cellular telecommunications industry association of the USA
  • the pressure sensor 180A is used to sense the pressure signal and can convert the pressure signal into an electrical signal.
  • the pressure sensor 180A may be provided on the display screen 194.
  • the gyro sensor 180B may be used to determine the movement posture of the first electronic device 100.
  • the air pressure sensor 180C is used to measure air pressure.
  • the acceleration sensor 180E can detect the magnitude of the acceleration of the first electronic device 100 in various directions (generally three axes). When the first electronic device 100 is stationary, the magnitude and direction of gravity can be detected. It can also be used to identify the posture of electronic devices, and apply to applications such as horizontal and vertical screen switching, pedometers and so on.
  • Distance sensor 180F used to measure distance.
  • the ambient light sensor 180L is used to sense the brightness of the ambient light.
  • the fingerprint sensor 180H is used to collect fingerprints.
  • the temperature sensor 180J is used to detect temperature.
  • Touch sensor 180K also called “touch panel”.
  • the touch sensor 180K may be disposed on the display screen 194, and the touch screen is composed of the touch sensor 180K and the display screen 194, which is also called a “touch screen”.
  • the touch sensor 180K is used to detect touch operations acting on or near it.
  • the touch sensor can pass the detected touch operation to the application processor to determine the type of touch event.
  • the visual output related to the touch operation can be provided through the display screen 194.
  • the touch sensor 180K may also be disposed on the surface of the first electronic device 100, which is different from the position of the display screen 194.
  • the button 190 includes a power-on button, a volume button, and so on.
  • the button 190 may be a mechanical button. It can also be a touch button.
  • the first electronic device 100 may receive key input, and generate key signal input related to user settings and function control of the first electronic device 100.
  • the motor 191 can generate vibration prompts.
  • the indicator 192 may be an indicator light, which may be used to indicate the charging status, power change, or to indicate messages, missed calls, notifications, and so on.
  • the SIM card interface 195 is used to connect to the SIM card.
  • the above is the description of the structure of the first electronic device 100, and then the software structure of the first electronic device will be described.
  • the software system of the first electronic device 100 may adopt a layered architecture, an event-driven architecture, a microkernel architecture, a microservice architecture, or a cloud architecture.
  • Examples of the first electronic device 100 include, but are not limited to, electronic devices equipped with iOS, Android, Microsoft, or other operating systems.
  • the embodiment of the present application takes the first electronic device 100 equipped with the Android system as an example to exemplarily illustrate the Software structure.
  • FIG. 3a is a block diagram of the software structure of the first electronic device 100 according to an embodiment of the present application.
  • the layered architecture divides the software into several layers, each with a clear role and division of labor. Communication between layers through software interface.
  • the Android system is divided into four layers, from top to bottom, the application layer, the application framework layer, the Android runtime and system library, and the kernel layer.
  • the application layer can include a series of application packages.
  • the application package may include applications such as camera, gallery, calendar, call, map, navigation, WLAN, Bluetooth, music, video, short message, etc.
  • the application framework layer provides an application programming interface (application programming interface, API) and a programming framework for applications in the application layer.
  • the application framework layer includes some predefined functions.
  • the application framework layer can include a window manager, a content provider, a view system, a phone manager, a resource manager, and a notification manager.
  • the window manager is used to manage window programs.
  • the window manager can obtain the size of the display, determine whether there is a status bar, lock the screen, take a screenshot, etc.
  • the content provider is used to store and retrieve data and make these data accessible to applications.
  • the data may include videos, images, audios, phone calls made and received, browsing history and bookmarks, phone book, etc.
  • the view system includes visual controls, such as controls that display text, controls that display pictures, and so on.
  • the view system can be used to build applications.
  • the interface content can be composed of one or more views.
  • a display interface that includes a short message notification icon may include a view that displays text and a view that displays pictures.
  • the phone manager is used to provide the communication function of the electronic device 200. For example, the management of the call status (including connecting, hanging up, etc.).
  • the resource manager provides various resources for the application, such as localized strings, icons, pictures, layout files, video files, and so on.
  • the notification manager enables the application to display notification information in the status bar, which can be used to convey notification-type messages, and it can disappear automatically after a short stay without user interaction.
  • the notification manager is used to notify download completion, message reminders, and so on.
  • the notification manager can also be a notification that appears in the status bar at the top of the system in the form of a chart or a scroll bar text, such as a notification of an application running in the background, or a notification that appears on the screen in the form of a dialog window. For example, text messages are prompted in the status bar, prompt sounds, electronic devices vibrate, and indicator lights flash.
  • Android runtime includes core libraries and virtual machines. Android runtime is responsible for the scheduling and management of the Android system.
  • the core library consists of two parts: one part is the function functions that the java language needs to call, and the other part is the core library of Android.
  • the application layer and the application framework layer run in a virtual machine.
  • the virtual machine executes the java files of the application layer and the application framework layer as binary files.
  • the virtual machine is used to perform functions such as object life cycle management, stack management, thread management, security and exception management, and garbage collection.
  • the system library can include multiple functional modules. For example: surface manager (surface manager), media library (media libraries), 3D graphics processing library (for example: OpenGL ES), 2D graphics engine (for example: SGL), etc.
  • surface manager surface manager
  • media library media libraries
  • 3D graphics processing library for example: OpenGL ES
  • 2D graphics engine for example: SGL
  • the surface manager is used to manage the display subsystem and provides a combination of 2D and 3D layers for multiple applications.
  • the media library supports playback and recording of a variety of commonly used audio and video formats, as well as still image files.
  • the media library can support a variety of audio and video encoding formats, such as: MPEG4, H.264, MP3, AAC, AMR, JPG, PNG, etc.
  • the graphics processing library is used to implement drawing, image rendering, compositing, and layer processing for 2D or 3D graphics.
  • the 2D graphics engine is a drawing engine for 2D drawing.
  • the kernel layer is the layer between hardware and software.
  • the kernel layer contains at least display driver, camera driver, audio driver, and sensor driver.
  • the second electronic device may have all or part of the structure shown in FIG. 2 and FIG. 3a, which is not limited here.
  • the following embodiments of the present application will take the first electronic device having the structure shown in FIG. 2 and FIG. 3a as an example, and combine the accompanying drawings and application scenarios to describe in detail a projection method provided by the embodiments of the present application.
  • the second electronic device 200 may be an electronic device such as a television, a tablet computer, or a desktop computer.
  • the screen projection method provided in the embodiment of the present application will be described.
  • the number of second electronic devices can be one or more, that is, the first electronic device can establish a screen projection connection with one second electronic device, or can establish a screen projection connection with multiple second electronic devices at the same time .
  • the first electronic device establishes a screen projection connection with the second electronic device.
  • the first electronic device can realize the screen projection connection with the second electronic device by selecting the screen projection control that comes with the system.
  • FIG. 4a is a schematic diagram of an interface of a first electronic device provided by an embodiment of the application.
  • the user's finger can be on the top of the main interface of the first electronic device 100 The area slides down.
  • the first electronic device 100 detects a sliding operation on the main interface, it displays a notification management interface 40 as shown in FIG. 4b.
  • the notification management interface 40 includes a mobile data icon 402, a wireless network icon 403, a wireless projection icon 401, and so on. The user clicks the wireless projection icon 401 on the notification management interface 40, and the first electronic device 100 can activate the wireless projection function.
  • the first electronic device 100 may prompt or automatically turn on the wireless network, and prompt the user to select one Wi-Fi connection.
  • the first electronic device 100 automatically searches for screen projection devices connected to the WIFI through wireless fidelity (WIFI) (representing electronic devices with projection transmission/reception capabilities).
  • WIFI wireless fidelity
  • the first electronic device 100 may display a search/select box 404 as shown in FIG. 4c on the notification management interface 40.
  • the search/select box 404 includes the names of one or more screen-casting devices found to prompt the user to search Select one of the screencasting devices to establish a screencasting connection.
  • the first electronic device 100 can establish a screen projection connection with the screen projection device selected by the user.
  • the first electronic device may also realize the screen projection connection with the second electronic device by selecting screen projection controls in some applications (for example, a video application or an application for presentation).
  • Fig. 5a is a schematic diagram of an interface of a first electronic device provided by an embodiment of the application.
  • multiple applications may be installed in the first electronic device 100, such as Video applications (application, APP), etc.
  • the video APP can be used to watch videos, live broadcasts, novels and/or comics, etc.
  • the video APP has at least a screen projection function.
  • the video APP may be pre-installed when the first electronic device 100 leaves the factory, or may be installed after being downloaded by the user.
  • the video APP may be a video application developed by a manufacturer of the first electronic device 100, or a video APP developed by a third-party manufacturer.
  • the interface of the first electronic device may further include: a status bar, and a plurality of icons of other applications, such as icons of a social APP, and the like.
  • the status bar may include WiFi icon, signal strength, current remaining power and/or current time, etc.
  • the status bar may also include a Bluetooth icon, an alarm clock icon, and so on.
  • the first electronic device 100 when the first electronic device 100 detects that the user's finger touches the icon 501 of the video APP, the first electronic device 100 starts the video APP in response to the touch event and displays the main interface of the video APP.
  • the user can select a video on the main interface of the video APP. Accordingly, the first electronic device 100 can receive the video selected by the user and display the video playback interface.
  • the user can search or select the video he wants to play in the main interface of the video APP, and the first electronic device 100 searches from the cloud platform
  • the name of the video entered by the user in the search bar, and the icon of the searched video is displayed.
  • the user selects the video that he wants to play, he can click the icon of the video to enter the video play interface.
  • the video APP of the first electronic device 100 obtains the resource (such as a video stream) of the video selected by the user from the cloud platform, and parses and outputs the video image of the video. Referring to FIG. 5b, FIG.
  • FIG. 5b is a schematic diagram of a video playing interface of the video APP of the first electronic device according to an embodiment of the present application.
  • the video selected by the user is the first episode of "Lovely You", and the corresponding video playback interface 50 may be as shown in FIG. 5b.
  • the video playback interface 50 may include a video image 504, a projection control 502, a selection 506, a return control 503, a full-screen control 505, and the like.
  • the video playback interface 40 may also include more content, for example, cache controls, comment controls, and so on.
  • the user can touch the cache control on the video playback interface 50 with a finger to download the video 400; or the user can touch the comment control on the video playback interface 50 with a finger to view comments, post comments, and so on.
  • the description of the above interface is only an example.
  • the corresponding video playback interface, the elements and controls included in the full-screen playback interface, and the arrangement of each element and control may be different.
  • the first electronic device 100 can receive the user's click to cast Screen projection instructions generated by the screen control 502.
  • the first electronic device 100 can detect whether the first electronic device 100 has established a projection connection currently. When the first electronic device 100 detects that the screen projection connection is not currently established, the first electronic device 100 may search for the screen projection device, display the searched screen projection device, and prompt the user to select the screen projection device.
  • the first electronic device 100 when the first electronic device 100 detects that the screen projection connection is not currently established, the first electronic device 100 searches for one or more screen projection devices connected to the wireless network through the wireless network.
  • the screen projection device involved in the embodiment of the present application is an electronic device with a projection (Source)/reception (Sink) capability.
  • FIG. 5c is a schematic diagram of the interface content of a screen projection device selection provided by an embodiment of the application, as shown in FIG. 5c.
  • the first electronic device 100 may display a search/select box 507 as shown in FIG. 5c on the interface.
  • the search/select box 507 includes the name of one or more screen-casting devices found to prompt the user to select from the searched Select one of the projection devices to establish a projection connection.
  • the search/select box 507 includes the searched device names with projection receiving capability: TV in Office 1, TV in Office 2, and My Computer.
  • the first electronic device 100 establishes a screen-casting connection with the device selected by the user through the wireless display standard Miracast protocol in the wireless video display (Wi-Fi display, WFD) technology.
  • the screen projection device selected by the user is the TV in the office 1, and the first electronic device 100 establishes a screen projection connection with the TV in the office 1.
  • the following description refers to the screen projection device selected by the user as the second electronic device 200.
  • the interface content selected by the projection device may also include a refresh control 509 and an exit control 508, which are not limited by this application.
  • the user can also click other controls on the first electronic device 100 to activate the wireless screen projection function of the first electronic device 100, which is not limited in this application.
  • the user can establish a wired screen projection connection between the first electronic device 100 and the second electronic device 200 through a high-definition multimedia interface (HDMI).
  • HDMI high-definition multimedia interface
  • the first electronic device 100 may establish a screen projection connection with the second electronic device 200 through the signal distribution terminal.
  • the signal distribution terminal may include a signal distributor or a signal distributor. Etc., this application does not limit this.
  • the electronic device as the signal distribution terminal can run a certain application to receive the projection data sent by the first electronic device, and further distribute the projection data to the second electronic device, so as to realize the application in this application.
  • the application program may be a screencasting application dedicated to the screencasting function, or may be other applications that include the screencasting function.
  • currently commonly used electronic devices can use conventional processing methods to achieve the function of supporting wireless projection services; for example, configuring smart devices to support wireless projection related protocols, currently commonly used protocols include Miracast, DLNA (digital living network alliance) , Digital Living Network Alliance), AirPlay protocol, etc., among them, the conventional processing method is to install a wireless projection application that conforms to the smart operating system on the electronic device, so that the smart device can support the wireless projection service.
  • the electronic devices (the first electronic device and the second electronic device) can also be configured in other ways to support the wireless screen projection service, which is not specifically limited in this application.
  • the first electronic device may send the projection data to the second electronic device, and the second electronic device may display the first The projection data corresponding to the projection data sent by the electronic device.
  • the first electronic device after the first electronic device establishes a projection connection with the second electronic device, the first electronic device can indirectly send the projection data to the second electronic device: the first electronic device can transmit the projection The screen data is sent to the signal distribution terminal, and the signal distribution terminal further sends the projection data to the second electronic device.
  • this application is just to explain how the projection data comes from the first electronic device, and the projection data is finally obtained and displayed by the second electronic device, and how the projection data is transmitted from the first electronic device to the second electronic device.
  • Equipment this application does not limit this.
  • the above describes the process of establishing a screen projection connection between the first electronic device 100 and the second electronic device 200, and then describes how the user realizes the screen projection content displayed on the second electronic device during the screen projection process based on the operation of the first electronic device.
  • Interactive describes how the user realizes the screen projection content displayed on the second electronic device during the screen projection process based on the operation of the first electronic device.
  • Fig. 3b is a flowchart of an information processing method provided by an embodiment of the application. As shown in Fig. 3b, the information processing method includes:
  • the first electronic device generates screencast content.
  • the first electronic device may generate the screen projection content after detecting that the first electronic device has established a screen projection connection with the second electronic device.
  • the screen projection content may include, but is not limited to, the cursor and the interface content of the first electronic device.
  • the first electronic device may obtain the interface content of the front-end application of the first electronic device, and generate a cursor on the interface content to obtain the screen content.
  • the shape of the cursor may be a mouse shape or other shapes, which is not limited in this application. It should be noted that the cursor can be used to locate the operating position in the interface content, and the cursor can respond to the user's operation on the first electronic device (change the posture information or slide the display screen of the first electronic device). 2. Movement on the display screen of the electronic device. How the cursor moves on the display screen of the second electronic device based on the user's operation on the first electronic device will be described in the following embodiments, and will not be repeated here.
  • the first electronic device may obtain the interface content of the current front-end application.
  • the first electronic device can obtain the interface content of the current front-end application based on the screen recording interface provided by the system (for example, the MediaProjection interface provided by Android), and draw a cursor on the obtained interface content.
  • the first electronic device can draw the above
  • the content of is used as the screencast content
  • the screencast service of the first electronic device can obtain the screencast content, and send the screencast content (which can be encoded and/or the content size conversion) based on a certain screencast protocol
  • the second electronic device so that the display screen of the second electronic device displays the projected content.
  • the first electronic device may also add image information corresponding to the cursor to the interface content of the current front-end application of the first electronic device based on the floating window interface to generate projection data.
  • the first electronic device The projection service of the electronic device can obtain the above-mentioned projection data, and send the projection data (which requires an encoding operation and the size conversion of the content) to the second electronic device based on a certain projection protocol, so that the first 2.
  • the display screen of the electronic device displays the projection content corresponding to the projection data.
  • the second electronic device may directly display the cursor on the display screen of the second electronic device, or may not directly display the cursor on the display screen of the second electronic device.
  • the cursor needs to be displayed on the display screen of the second electronic device only after the user performs a certain operation on the first electronic device.
  • the second electronic device may directly display the cursor in the center area of the displayed projection content or other preset areas.
  • the second electronic device may not display the cursor in the center area of the displayed projection content or other predetermined areas, but detects the posture information of the first electronic device. After detecting that the posture information of the first electronic device has changed, the cursor is displayed in the central area of the displayed projection content or other predetermined areas. From the perspective of the user, if the user does not see the cursor on the display screen of the second electronic device, the user can change the posture information of the first electronic device by waving the first electronic device, thereby triggering the cursor on the second electronic device On the display.
  • the cursor may not be displayed on the second electronic device first, and the user may perform the display on the display screen of the first electronic device.
  • the touch operation activates the cursor display of the second electronic device.
  • the above-mentioned touch operation may be a click operation, a double-click operation or a long-press operation on a preset area on the display screen of the first electronic device, which is not limited by this application.
  • Fig. 6a is a schematic diagram of an actual screen projection, as shown in Fig. 6a.
  • the user holds the first electronic device 100 while the second electronic device 200 displays the first electronic device.
  • the screen content 60 sent by the device 100, where the screen content 60 includes the current interface content of the first electronic device 100 (for example, the interface shown in FIG. 4a).
  • the interface content of the first electronic device 100 may, but is not limited to, the interface content of a front-end application.
  • FIG. 6d is a schematic diagram of an actual screen projection, as shown in FIG. 6d.
  • the second electronic device 200 displays the screencast content 60 sent by the first electronic device 100, where the screencast content 60 includes the current interface content of the first electronic device 100 (the video playback interface shown in FIG. 5b),
  • the projected content 60 also includes a cursor 601.
  • the display brightness of the display screen of the first electronic device may be reduced, or the display of the first electronic device may be reduced.
  • the screen executes the screen-off operation.
  • FIG. 6b is a schematic diagram of an actual screen projection, as shown in FIG. 6b.
  • the interface content of the first electronic device 100 held by the user is shown in FIG. 4a shows the interface (the main interface of the first electronic device), and after the first electronic device and the second electronic device have established a screen projection connection, as shown in Figure 6c, at this time, the first electronic device turns off Screen.
  • the first electronic device may not display the page of FIG. 4a at this time.
  • FIG. 4a is only the page that the first electronic device should present, and the first electronic device displays FIG. 6c at this time.
  • a control for whether to enter the off-screen state can be displayed on the first electronic device (or through other predetermined operations ), the user can make the first electronic device enter the screen-off state by clicking on the control to enter the screen-off state.
  • the first electronic device when the screen is projected, the first electronic device needs to keep the screen on.
  • the first electronic device after the first electronic device and the second electronic device have established a screen projection connection, the first electronic device The display brightness of the display screen can be reduced, or the screen can be turned off directly, thereby reducing the energy consumption of the first electronic device.
  • the brightness adjustment interface of the system can be used to reduce the display brightness of the display screen of the first electronic device. , Or perform a screen-off operation on the display screen of the first electronic device.
  • the first electronic device is only in the off-screen state. At this time, the application in the first electronic device is still running, and the projection control in the first electronic device can still obtain the current front end The interface content of the application.
  • the first electronic device sends the screencast content to the second electronic device, so that the display screen of the second electronic device displays the screencast content, and the screencast content includes a cursor and an interface of the first electronic device Content, the cursor is used to locate the operation position in the interface content.
  • the first electronic device after the first electronic device generates the projection content, it can send the projection content to the second electronic device, so that the display screen of the second electronic device displays the projection content, and the projection
  • the screen content includes a cursor and the interface content of the first electronic device, and the cursor is used to locate an operation position in the interface content.
  • step 302 reference may be made to the related description of the first electronic device sending screen projection data to the second electronic device in the foregoing embodiment, which is not repeated here.
  • the first electronic device in order to reduce the energy consumption of the first electronic device, after the first electronic device and the second electronic device have established a screen projection connection, the first electronic device enters the screen-off state.
  • the first electronic device The display screen of is black, and the user cannot operate the objects on the first electronic device by operating on the interface content.
  • the user wants to click the return control or drag the progress bar, but because The interface content of the first electronic device is black, and the user cannot locate the return control and progress bar in the first electronic device on the display screen of the first electronic device, and thus cannot perform operations such as clicking the return control or dragging the progress bar .
  • the cursor displayed by the second electronic device can be used to locate the operation position in the interface content. Therefore, the user can change the operation position by changing the display position of the cursor on the display screen of the second electronic device. Next, it will be described how the user can change the display position of the cursor on the display screen of the second electronic device.
  • the user can adjust the display position of the cursor on the display screen of the second electronic device by changing the posture of the first electronic device, or adjust the cursor position by performing a sliding operation on the display screen of the first electronic device.
  • the display position on the display screen of the second electronic device is not limited to, but not limited to, a sliding operation on the display screen of the first electronic device.
  • the first electronic device may obtain the posture change information of the first electronic device, and based on the posture change information, make the cursor display the projection content on the second electronic device Moving in.
  • a cursor 601 is displayed on the screen projection content of the second electronic device, and the cursor 601 can perform corresponding displacements as the posture of the first electronic device changes.
  • the user can change the posture of the first electronic device in the three-dimensional space by waving the first electronic device, and then the cursor 601 on the second electronic device can be in the second position according to the change of the posture of the first electronic device in the three-dimensional space.
  • Corresponding displacement is performed on the screen content of the electronic device.
  • Fig. 7a is a schematic diagram of an actual screen projection.
  • the user can change the posture of the first electronic device by waving the first electronic device (horizontal angle And/or the vertical direction angle), correspondingly, the cursor 601 displayed on the second electronic device 200 can be correspondingly displaced in the horizontal direction and/or the vertical direction.
  • the first electronic device may determine the horizontal displacement of the cursor according to the second rotation angle, and according to the horizontal displacement, make the cursor appear on the screen content displayed by the second electronic device Moving in.
  • Fig. 7b is a schematic diagram of the posture change of the first electronic device rotating in the horizontal direction.
  • the first electronic device rotates from posture 1 to posture 2 on the horizontal plane.
  • the angular variation component of the rotation is ⁇ 1 .
  • the first electronic device 100 can monitor the posture change in the three-dimensional space and obtain the spatial orientation parameter. Taking the posture change shown in FIG. 7a as an example, the first electronic device 100 can obtain the spatial orientation parameter ( The angular change component of the horizontal rotation) is ⁇ 1 .
  • the first electronic device may obtain the mapping relationship between the angular change component of the horizontal rotation and the magnitude L1 in the horizontal displacement direction of the cursor 601 in the second electronic device, where the mapping relationship may represent the first electronic device The larger the angular change component of the horizontal rotation, correspondingly, the larger the size L1 in the horizontal displacement direction of the cursor 601 in the second electronic device.
  • the first electronic device may determine the displacement L1 of the cursor 601 in the projection content of the second electronic device based on the acquired angular change component of the horizontal rotation and the mapping relationship.
  • the mapping relationship between the angular change component of the horizontal rotation obtained by the first electronic device and the horizontal displacement of the cursor 601 in the second electronic device is: every time the first electronic device rotates 1° on the horizontal plane, the cursor 601
  • the horizontal pixel coordinate in the projected content of the second electronic device changes by 30 pixels.
  • the horizontal pixel coordinates of the cursor 601 in the projected content of the second electronic device will change 450 pixels.
  • the first electronic device 100 and the second electronic device 200 will exchange and negotiate performance parameters, that is, the first electronic device 100
  • the size parameters of the interface content on the second electronic device 200 and so on can be acquired.
  • the first electronic device may adjust the foregoing mapping relationship based on the size parameter of the interface content on the second electronic device 200. For example, the larger the horizontal size of the interface content on the second electronic device 200, the horizontal pixel coordinates of the cursor 601 in the screen content of the second electronic device when the first electronic device rotates in the horizontal direction by the same angular change component The greater the change.
  • the first electronic device can be rotated to the left or right (from the perspective of the main interface of the first electronic device, that is, counterclockwise or clockwise rotation), correspondingly, the cursor 601 can be in the second electronic device Shift left or right in the screen content of the device.
  • the first electronic device can rotate to the left, and correspondingly, the cursor 601 can be shifted to the left in the projected content of the second electronic device.
  • the first electronic device can rotate to the right, and correspondingly, the cursor 601 can move to the right in the projected content of the second electronic device.
  • Figure 7c is a cursor displacement one second electronic device shown schematically, in Figure 7c as shown, variation component of ⁇ 1 in the first electronic device obtains three-dimensional space in the horizontal direction of the rotational angle
  • the first electronic device may determine that the horizontal pixel coordinate of the cursor 601 in the projection content of the second electronic device changes to L1 according to the foregoing mapping relationship, and send the information carrying the horizontal pixel coordinate change L1 to the second electronic device
  • the second electronic device can change the display position of the cursor 601 based on the horizontal pixel coordinate change L1.
  • the cursor 601 since the first electronic device rotates to the left (counterclockwise) when it rotates from posture 1 to posture 2, the cursor 601 also shifts to the left on the screen content of the second electronic device, which ensures that the cursor 601's movement is consistent with user operations.
  • the first electronic device may determine the vertical displacement of the cursor according to the second rotation angle, and according to the vertical displacement, the cursor may be positioned on the projection displayed by the second electronic device. Move through the screen content.
  • Fig. 7d is a schematic diagram of an actual screen projection.
  • the user can change the posture of the first electronic device by waving the first electronic device (vertical angle ), correspondingly, the cursor 601 displayed on the second electronic device 200 can be correspondingly displaced in the vertical direction.
  • the so-called vertical angle change of the first electronic device in the three-dimensional space may refer to the angular change component of the vertical rotation of the first electronic device in the three-dimensional space.
  • the so-called vertical angle change of the first electronic device in the three-dimensional space may refer to the angular change component of the vertical rotation of the first electronic device in the three-dimensional space.
  • Fig. 7e is a schematic diagram of the posture change of the first electronic device rotating in the vertical direction.
  • the first electronic device is rotated from posture 1 to posture 2 in the vertical direction.
  • the angular variation component of the rotation is ⁇ 2 .
  • the first electronic device 100 can monitor the posture change in the three-dimensional space and obtain the spatial orientation parameter. Taking the posture change shown in FIG. 7a as an example, the first electronic device 100 can obtain the spatial orientation parameter ( The angular change component of the vertical rotation) is ⁇ 2 .
  • the first electronic device may obtain the mapping relationship between the angular change component of the vertical rotation and the vertical displacement L2 of the cursor 601 in the second electronic device, and the mapping relationship is based on the obtained vertical rotation angle
  • the change component and the mapping relationship determine the displacement L2 of the cursor 601 in the screen content of the second electronic device.
  • the first electronic device determines the displacement L2 of the cursor 601 in the projection content of the second electronic device.
  • Fig. 7f is a schematic diagram of the displacement of the cursor displayed by the second electronic device.
  • the first electronic device obtains the angle change of the vertical rotation in the three-dimensional space as ⁇ 2
  • the first electronic device may determine that the vertical pixel coordinate change of the cursor 601 in the projection content of the second electronic device is L2 according to the above-mentioned mapping relationship, and send the information carrying the vertical pixel coordinate change L2 to the first
  • the second electronic device correspondingly, the second electronic device can change the display position of the cursor 601 based on the vertical pixel coordinate change L2.
  • the first electronic device rotates upward when it rotates from posture 1 to posture 2, the cursor 601 also moves upward on the screen content of the second electronic device, which ensures the movement of the cursor 601 and the user's operation Consistency.
  • the first electronic device may obtain the displacement of the first electronic device in the first horizontal direction, and determine that the cursor is on the interface content based on the translation of the first electronic device in the horizontal direction The horizontal displacement.
  • the first horizontal direction may be a horizontal direction parallel to the display screen of the second electronic device.
  • the first electronic device may acquire the mapping relationship between the displacement in the horizontal direction and the horizontal displacement of the cursor 601 in the second electronic device, and determine the cursor 601 based on the acquired displacement in the horizontal direction and the mapping relationship.
  • the horizontal displacement in the screen content of the second electronic device may be acquired.
  • the first electronic device may obtain the magnitude of the displacement of the first electronic device in the first vertical direction, and determine that the cursor is on the interface based on the magnitude of the translation of the first electronic device in the vertical direction.
  • the vertical displacement on the content may be a vertical direction perpendicular to the display screen of the second electronic device.
  • the first electronic device may obtain the mapping relationship between the displacement in the vertical direction and the vertical displacement of the cursor 601 in the second electronic device, and based on the obtained displacement in the vertical direction and the mapping relationship, Determine the vertical displacement of the cursor 601 in the screen content of the second electronic device.
  • the first electronic device can monitor the attitude change through its built-in gravitational acceleration sensor (such as a gyroscope) and obtain the spatial orientation parameters, or it can monitor the attitude change through infrared space detection technology or acoustic wave detection technology. And get the spatial orientation parameters.
  • gravitational acceleration sensor such as a gyroscope
  • This embodiment does not specifically limit the method by which the first electronic device obtains the spatial orientation parameter.
  • the user can adjust the position of the cursor 601 on the projected content of the second electronic device by performing a sliding operation on the display screen of the first electronic device.
  • the first electronic device may receive a second sliding operation on the display screen of the first electronic device, determine the displacement of the cursor according to the second sliding operation, and make the displacement of the cursor based on the displacement The cursor moves in the projected content displayed by the second electronic device.
  • trajectory of the second sliding operation passes through one or more objects in the interface content of the first electronic device, where the “one or more objects” mentioned above may be the same as the trajectory of the second sliding operation. All objects.
  • a cursor 601 may be displayed on the projection content of the second electronic device, and the cursor 601 may be performed based on the user's sliding operation on the display screen of the first electronic device (in the off-screen state) The corresponding displacement.
  • the user can slide on the display screen with a finger or a touch pen, and accordingly, the cursor 601 on the second electronic device can correspondingly shift on the screen content of the second electronic device based on the user's slide operation.
  • FIG. 7g is a schematic diagram of an actual screen projection.
  • the user can slide on the display screen with a finger or a touch pen.
  • the second electronic device The upper cursor 601 can be correspondingly displaced on the screen content of the second electronic device based on the user's sliding operation.
  • the first electronic device may acquire the mapping relationship between the user's sliding displacement L3 on the display screen of the first electronic device and the displacement L3 of the cursor 601 in the second electronic device, and based on the acquired first electronic device
  • the sliding displacement L3 and the mapping relationship on the device display screen determine the displacement L3 of the cursor 601 in the screen content of the second electronic device.
  • the mapping relationship between the sliding displacement L3 on the display screen of the first electronic device acquired by the first electronic device and the displacement L3 of the cursor 601 in the second electronic device is: every time the user is on the display screen of the first electronic device When sliding by 1 pixel, the pixel coordinate of the cursor 601 in the projected content of the second electronic device changes by 30 pixels. It should be noted that the above is only an example and does not constitute a limitation to the application.
  • the first electronic device 100 and the second electronic device 200 will exchange and negotiate performance parameters, that is, the first electronic device 100
  • the size parameters of the interface content on the second electronic device 200 and so on can be acquired.
  • the first electronic device may adjust the foregoing mapping relationship based on the size parameter of the interface content on the second electronic device 200. For example, the larger the horizontal size of the interface content on the second electronic device 200 is, the pixel displacement of the cursor 601 in the projection content of the second electronic device ( The pixel coordinate change) is larger.
  • the sliding displacement of the user on the display screen of the first electronic device may include displacements in two directions (x-direction and y-direction) that are perpendicular to each other.
  • FIG. 7h is a sliding operation of the user.
  • the sliding displacement L3 of the user on the display screen of the first electronic device may include a displacement L5 in a first direction and a displacement L6 in a second direction, where the first direction and the first direction
  • the central axis of the electronic device is vertical, and the second direction is parallel to the central axis of the first electronic device.
  • the pixel displacement of the cursor 601 in the projected content of the second electronic device includes a displacement component in the horizontal direction and a displacement component in the vertical direction.
  • the first electronic device may determine the horizontal displacement and the vertical displacement of the cursor 601 in the projected content of the second electronic device based on the foregoing mapping relationship.
  • FIG. 7j is a schematic diagram of the displacement of the cursor displayed by the second electronic device.
  • the first electronic device obtains the sliding displacement L3 of the user on the display screen of the first electronic device.
  • the first electronic device may determine that the displacement of the cursor 601 in the projection content of the second electronic device is L4 according to the above-mentioned mapping relationship, and send the information carrying L4 to the second electronic device.
  • the second electronic device The device can change the display position of the cursor 601 based on L4.
  • the cursor 601 is also diagonally upward to the right on the screen content of the second electronic device, which ensures that the movement of the cursor 601 and Consistency of user operations.
  • the operation position corresponding to the second sliding operation corresponds to the third object in the interface content of the first electronic device, and the first electronic device may shield the third object from the second touch Operational response
  • the user can realize the movement of the cursor 601 on the display screen of the second electronic device based on the operation of the first electronic device (change the posture or slide on the display screen of the first electronic device) in the above-mentioned manner. .
  • the first touch operation may be a click operation or a sliding operation.
  • the operation position of the first touch operation corresponds to the second object in the interface content of the first electronic device, and the first electronic device can shield the second object from performing the first touch operation the response to.
  • the first electronic device may shield the response of the interface content to the operation position of the first touch operation, but determine that the cursor is at the first touch operation position.
  • the second position on the display screen determines the response position of the interface content to the first touch operation. For example, if the user performs a click operation on the A object on the display screen of the first electronic device, at this time, the cursor is located on the B object in the second electronic device. At this time, the first electronic device can shield the A object from the click operation. Responding, but responding to the above-mentioned click operation on the B object of the interface content.
  • the first touch operation can be, but is not limited to, a click operation or a sliding operation.
  • the first touch operation is a click operation as an example for description.
  • the user after the user moves the cursor 601 on the screen content displayed by the second electronic device to the area where the target object he wants to operate is located, the user can perform a click operation on the display screen of the first electronic device, correspondingly Yes, you can perform a click operation in the area where the cursor 601 is located.
  • the first electronic device can obtain that the cursor 601 is in the screen content of the second electronic device.
  • the pixel coordinate position corresponding to the position in the interface content of the front-end application of the first electronic device is determined according to the specific pixel coordinate position of the cursor 601 in the screen content of the second electronic device.
  • the first electronic device can determine the pixel coordinate position of the cursor 601 corresponding to the interface content in the first electronic device (video APP The pixel coordinate position of the area of the icon).
  • the user performs a click operation on the display screen of the first electronic device.
  • the first electronic device can shield the response of the interface content of the front-end application of the first electronic device to the operation position of the click operation.
  • the event corresponding to the click operation performed at the pixel coordinate position corresponding to the interface content in the first electronic device is equivalent to causing the first electronic device to perform the above click operation at the pixel coordinate position corresponding to the cursor 601 in the first electronic device.
  • the first electronic device can control the video APP in the current interface content.
  • the first touch operation is a sliding operation as an example for description.
  • the first electronic device may generate a sliding event corresponding to the first sliding operation, and execute the sliding event on the target object in the interface content of the first electronic device, so that the second The target object in the projected content displayed by the electronic device responds to the first sliding operation.
  • the first electronic device can control the video APP in the current interface content.
  • the icon performs the drag operation.
  • a menu bar may also be displayed.
  • the first electronic device may obtain the interface content of the front-end application of the first electronic device, and generate a cursor and a menu bar on the interface content to obtain the screen content; wherein, the menu bar does not belong to The interface content of the first electronic device.
  • the menu bar is not the original interface content on the first electronic device, but the newly added content.
  • the first electronic device may add a menu bar to the interface content of the current front-end application of the first electronic device based on the floating window interface to generate screencast content.
  • the screencasting service of the first electronic device can obtain the above-mentioned screencast. Screen content, and send the screen content (encoding operation and size conversion of the content) to the second electronic device based on a certain screen projection protocol, so that the display screen of the second electronic device displays the screen projection content.
  • the first electronic device may also obtain the interface content of the current front-end application.
  • the first electronic device can obtain the interface content of the current front-end application based on the screen recording interface provided by the system (for example, the MediaProjection interface provided by Android), and draw a menu bar on the obtained interface content.
  • the first electronic device can draw the above Good content is used as the screencast content.
  • the screencasting service of the first electronic device can obtain the screencast content, and send the screencast content (which requires encoding operation and/or content size conversion) based on a certain screencasting protocol.
  • the second electronic device so that the display screen of the second electronic device displays the projected content.
  • the screen content of the second electronic device may also include a menu bar that does not belong to the interface content of the first electronic device.
  • the function control 800 shown in FIG. 8a as shown in FIG. 8a.
  • the user can move the cursor 601 on the second electronic device to the area where the function control 800 is located by changing the posture of the first electronic device 100, and perform a click operation 80, and the first electronic device can respond to the aforementioned click operation 80, Perform a click operation on the target object where the cursor 601 is located, and display the function selection area 801.
  • FIG. 8b FIG.
  • FIG. 8b is a schematic diagram of the projected screen content of a second electronic device according to an embodiment of the application, as shown in FIG. 8b
  • the second electronic device displays a function selection area 801, where the function selection area 801 may include a sensitivity adjustment control, a mouse size adjustment control, a sliding mode control 802, a brightness adjustment control, and a normal mode control.
  • the function selection area 801 may include a sensitivity adjustment control, a mouse size adjustment control, a sliding mode control 802, a brightness adjustment control, and a normal mode control.
  • the user may click the sliding mode control 802 to switch between the posture-based interaction mode shown in Figs. 7a and 7d and the sliding interaction mode shown in Fig. 7g.
  • the user can click on the sliding mode control 802.
  • the mode of changing the position of the cursor 601 based on adjusting the posture of the first electronic device can be switched to the sliding interaction mode shown in Figure 7g.
  • the sliding mode control 802 in the function selection area 801 can be replaced with a gesture mode control. If the user clicks the above gesture mode control, it can be replaced by the gesture mode control in Figure 7g.
  • the sliding interaction mode shown is switched to the gesture-based interaction mode shown in FIGS. 7a and 7d.
  • the gesture-based interaction mode shown in FIGS. 7a and 7d can be used by default, or the gesture-based interaction mode shown in Figure 7g can also be used by default.
  • the sliding interaction mode is not limited in this application.
  • FIG. 9a is a schematic diagram of the screen content of a second electronic device provided by an embodiment of the application.
  • the user can click the sensitivity adjustment control 901, and accordingly, the second electronic device can Display sensitivity adjustment area 90
  • FIG. 9b is a schematic diagram of the screen content of a second electronic device provided by an embodiment of the application.
  • the second electronic device displays sensitivity adjustment area 90
  • the sensitivity adjustment area 90 may include a sliding control, and the user can adjust the sensitivity to the manipulation of the cursor 601 by dragging the sliding control.
  • the sensitivity adjustment area 90 may also include a prompt for the size of the sensitivity. It should be noted that the arrangement of the above interface and controls is only an illustration, and this application is not limited.
  • the first electronic device may obtain the amount of change in the angle of rotation in the horizontal direction or the vertical direction, and based on the amount of change in the horizontal direction and the first 2.
  • the mapping relationship between the horizontal displacement of the cursor 601 in the electronic device, and the mapping relationship between the angular change in the vertical direction and the vertical displacement of the cursor 601 in the second electronic device, to determine the cursor 601 in the second electronic device The amount of displacement in the projected content.
  • the mapping relationship between the angular change in the horizontal direction and the horizontal displacement of the cursor 601 in the second electronic device can be adjusted, as well as the angular change in the vertical direction and the vertical displacement of the cursor 601 in the second electronic device.
  • the mapping relationship between the sizes is such that when the first electronic device undergoes the same posture change, the displacement of the cursor 601 on the second electronic device changes.
  • the user can increase the sensitivity of the cursor 601 by dragging the sliding control shown in FIG. 9b to the right. Conversely, if the user is operating the cursor 601 When the user feels that the cursor 601 moves too fast, the user can reduce the sensitivity of the cursor 601 by dragging the sliding control shown in FIG. 9b to the left.
  • the sensitivity is 40
  • the horizontal pixel coordinates of the cursor 601 in the screen content of the second electronic device change by 30 pixels
  • the first electronic device is in the vertical position.
  • the vertical pixel coordinate of the cursor 601 in the projected content of the second electronic device changes by 50 pixels.
  • the user can drag the sliding control shown in Fig.
  • the horizontal pixel coordinates of the cursor 601 in the projected content of the second electronic device A change of 45 pixels, every time the first electronic device rotates 1° on the vertical plane, the vertical pixel coordinate of the cursor 601 in the projected content of the second electronic device changes by 75 pixels. It should be noted that the above description of the mapping relationship is only an example, and does not constitute a limitation to the present application.
  • the first electronic device may add the image data corresponding to the function control 800 to the current interface content through the floating window interface , So that the function control 800 is superimposed on the current interface content of the first electronic device.
  • the screen projection service of the first electronic device can obtain the projection data including the interface content of the function control 800, and cast the above The screen data is sent to the second electronic device based on a certain screen projection protocol.
  • the second electronic device can display the interface content including the function control 800, and the first electronic device can obtain the user's operation (slide/change the first The posture of an electronic device) to change the position of the cursor 601 in the current interface content.
  • the first electronic device can determine that the cursor 601 is currently The position in the interface content of the function control 800 is within the scope of the function control 800. If the user clicks on the display screen of the first electronic device, the first electronic device can add the image data corresponding to the function selection area 801 to the current through the floating window interface. In the interface content of the first electronic device, the function selection area 801 is superimposed on the current interface content of the first electronic device. At this time, the screen projection service of the first electronic device can obtain the screen projection data including the interface content of the above function selection area 801 , And send the above-mentioned screen projection data to the second electronic device based on a certain screen projection protocol. Accordingly, the second electronic device can display the interface content including the function selection area 801.
  • the function selection area 801 may include a sensitivity adjustment control, a mouse size adjustment control, a sliding mode control 802, a brightness adjustment control, and a normal mode control.
  • the first electronic device can obtain the position of each control of the function selection area 801 in the current interface content.
  • the user operates the first electronic device to adjust the position of the cursor 601.
  • the first electronic device can obtain the position of the cursor 601. If the position of the cursor 601 is within the area of a certain control in the function selection area 801, and the first electronic device detects When the user clicks on the display screen, the first electronic device can respond to the user’s operation.
  • the first electronic device can change the sensitivity
  • the image data corresponding to the adjustment area 90 is added to the current interface content through the floating window interface, so that the sensitivity adjustment area 90 is superimposed on the current interface content of the first electronic device, and the original function selection area 801 is removed (or the sensitivity The adjustment area 90 is superimposed on the function selection area 801).
  • the projection service of the first electronic device can obtain the projection data including the interface content of the sensitivity adjustment area 90, and base the projection data on a certain
  • the screen projection protocol is sent to the second electronic device, and accordingly, the second electronic device can display the interface content including the sensitivity adjustment area 90 as shown in FIG. 9b.
  • the user can perform a sliding operation on the display screen of the first electronic device and drag the sliding button in the sensitivity adjustment area 90.
  • the first electronic device responds to the user's sliding operation by dragging the sliding button to correspond to
  • the image data of is added to the current interface content through the floating window interface, and at the same time, based on the user's drag size, the related parameters of the sensitivity of the user's operation cursor 601 are modified.
  • the above description is only an example, and does not constitute a limitation to the application.
  • an end screen projection control can also be set. The user can move the cursor in the second electronic device to the end screen projection control, and Clicking on the display screen of the first electronic device triggers the first electronic device to end the screen projection connection with the second electronic device.
  • the user can also trigger the first electronic device to end the screen projection connection with the second electronic device in other ways, such as pressing the power button, which is not limited here.
  • FIG. 9c is a schematic diagram of the screen content of a second electronic device provided by an embodiment of the application.
  • the user can click the normal mode control 902, and correspondingly, the first An electronic device can change the interaction mode with the user to the normal interaction mode.
  • the display screen of the first electronic device can be turned on, and the user can normally perform operations on the display screen of the first electronic device.
  • FIG. 9d is a schematic diagram of a user operating a first electronic device according to an embodiment of the application.
  • the user can press the power button of the first electronic device, correspondingly ,
  • the first electronic device can change the interaction mode with the user to the normal interaction mode.
  • the display screen of the first electronic device can be turned on, and the user can normally perform operations on the display screen of the first electronic device.
  • FIG. 10a is a schematic diagram of the screen content of a second electronic device provided by an embodiment of the application.
  • the first electronic device receives a chat message sent by another electronic device.
  • a chat prompt window will be displayed on the second electronic device (the data of the prompt window is sent by the first electronic device, and the specific details can refer to the above-mentioned embodiment, which will not be repeated here).
  • the user can move the cursor 601 to the area of the prompt window and perform a click operation on the first electronic device.
  • the second electronic device can display the chat as shown in Figure 10b.
  • Interface the process is realized as the first electronic device detects the user's click operation and executes the above-mentioned click event at the position of the cursor.
  • the chat interface includes an input keyboard At this time, if the sentence input is performed by adjusting the position of the cursor displayed on the second electronic device and performing a click operation on the first electronic device, the user experience will be very poor (due to the size of the display screen of the second electronic device, It is very large, and the user is not suitable for using the input keyboard through the above-mentioned interactive methods).
  • FIG. 10c is a schematic diagram of the interaction of a first electronic device provided by an embodiment of the application.
  • the user can press the power button of the first electronic device.
  • the first electronic device The interaction mode with the user can be changed to the normal interaction mode.
  • the display screen of the first electronic device can be turned on, and the user can normally perform operations on the display screen of the first electronic device.
  • FIG. 10d is a schematic diagram of the interface content of a first electronic device provided by an embodiment of the application.
  • the user can directly perform operations on the input keyboard displayed on the first electronic device.
  • the power button of the first electronic device can be pressed again to switch the first electronic device to the screen off and the aforementioned interactive mode.
  • a call request from another electronic device can be received, and the call request is a voice call request.
  • the second electronic device may display the interface content corresponding to the call request of the first electronic device, and the interface content includes a call receiving control and a call rejecting control.
  • the user can move the cursor displayed on the second electronic device to the call receiving control by operating the first electronic device, and click on the display screen of the first electronic device, and then the user can make a call through the first electronic device.
  • the user can switch the current interaction mode to the normal mobile phone interaction mode by pressing the power button of the first electronic device or other methods (by clicking on the display of the first electronic device to display on the second electronic device). Move the cursor to the call receiving control and click the call receiving control on the display screen of the first electronic device, and then the user can make a call through the first electronic device.
  • the first electronic device may set the cursor 601 at a preset position in the interface content, for example, it may be the geometric center of the interface content
  • Figure 11a is a schematic diagram of the interaction between a first electronic device and a second electronic device. After the first electronic device and the second electronic device establish a screen projection connection, the first electronic device can set the cursor 601 At the geometric center of the interface content, correspondingly, the display content of the second electronic device can be as shown in Figure 11a. However, since the first electronic device establishes a projection connection with the second electronic device, the first electronic device The front end of the device may not face the center position of the second electronic device.
  • the front end of the first electronic device faces leftward.
  • the position is shifted to the right.
  • the orientation of the first electronic device is all left, which does not conform to the user's ideal operation method (the ideal user operation method is: the front end of the first electronic device can be oriented as far as possible Consistent with the display position of the cursor on the second electronic device).
  • the ideal user operation method is: the front end of the first electronic device can be oriented as far as possible Consistent with the display position of the cursor on the second electronic device.
  • the cursor on the second electronic device The display position is at the right edge. At this time, the user can continue to swipe the first electronic device to the right. As shown in Figure 11c, the cursor can stay on the right edge of the second electronic device. After the device rotates to the right by a certain angle, the user can turn the first electronic device to the left. As shown in Figure 11d, the cursor on the second electronic device shifts to the left. When the front end of the first electronic device faces the second When the electronic device is in the center position, the cursor is at the display position of the second electronic device, which is more to the left than before the adjustment.
  • the user can adjust the cursor to be near the center position of the second electronic device when the front end of the first electronic device is facing the center position of the second electronic device in the above-mentioned manner, and combined with the above sensitivity adjustment, the user is waving the first electronic device.
  • the orientation of the front end of the first electronic device can be as consistent as possible with the display position of the cursor on the second electronic device.
  • the first electronic device can obtain the size of the display area of the display screen of the second electronic device, and further, the first electronic device can obtain the size of the display area of the display screen of the second electronic device and the cursor At the pixel coordinate position of the screen content displayed by the second electronic device, it is determined whether the cursor has moved to the boundary of the display area of the second electronic device, when the first electronic device determines whether the cursor has moved to the display area of the second electronic device , The display position of the cursor on the display screen of the second electronic device can stay at the boundary of the display area of the second electronic device.
  • the cursor when the cursor moves to the left and right boundaries of the display area on the display screen of the second electronic device, although the cursor does not exceed the left and right boundaries of the display area on the display screen, the cursor can still move up and down. Similarly, when the cursor moves to the upper and lower boundaries of the display area on the display screen of the second electronic device, although the cursor does not exceed the upper and lower boundaries of the display area on the display screen, the cursor can still move left and right.
  • the cursor moves to the corner point of the display area on the display screen of the second electronic device (the upper left corner, the lower left corner, the upper right corner, or the lower right corner), although the cursor will not exceed the display on the display screen Area boundary, but the cursor can still move in a certain direction. For example, when the cursor moves to the upper left corner of the display area on the display screen of the second electronic device, the cursor can still move to the right, downward, and Move in the lower right direction.
  • a quick adjustment mechanism for the cursor position can be set. For example, when the user touches the display screen of the first electronic device for more than a preset time, the first electronic device can respond to the user's above operation , Initialize the position of the cursor in the interface content.
  • FIG. 11e is a schematic diagram of interaction between a first electronic device and a second electronic device.
  • the first electronic device and the second electronic device establish a screen projection connection .
  • the user swings the first electronic device to the right, and makes the front end of the first electronic device face near the center position of the second electronic device
  • the display position of the cursor is near the center position of the second electronic device.
  • the user can press and hold the display screen of the first electronic device for 5 seconds or more than 5 seconds, as shown in Fig.
  • the first electronic device can adjust the display position of the cursor to the geometric center of the interface content in response to the user's long-press operation of the display screen 5S.
  • the user can adjust the cursor to be near the center position of the second electronic device when the front end of the first electronic device is facing the center position of the second electronic device in the above-mentioned manner, and combined with the above sensitivity adjustment, the user is waving the first electronic device.
  • the orientation of the front end of the first electronic device can be as consistent as possible with the display position of the cursor on the second electronic device.
  • the cursor displayed on the second electronic device may be Hidden, the user can activate the cursor display on the display screen of the second electronic device through the aforementioned touch operation and/or by changing the posture of the first electronic device.
  • the first electronic device may also receive a first operation on the display screen of the first electronic device, and the first operation is a preset shortcut operation, and the first electronic device may respond to The first operation.
  • the first electronic device may detect the first operation on the display screen of the first electronic device, and recognize that the first operation is a preset shortcut operation. At this time, the first electronic device may generate The first event corresponding to the first electronic device, and the first electronic device can also generate another event according to the position of the cursor and the first operation (to distinguish it from the first operation, referred to as the second operation here), the first electronic device The priority of the first operation and the second operation can be determined, and based on the priority of the first operation and the second operation, it is determined whether to perform the first operation or the second operation.
  • the first electronic device may generate the first event corresponding to the first electronic device, and the first electronic device The device may also generate a second operation according to the position of the cursor and the first operation. If the execution priority of the first event is higher than the execution priority of the second event, the first electronic device executes the above-mentioned first event. At this time, the operating position of the first operation corresponds to the fifth object in the interface content of the second electronic device. Since the execution priority of the second event is lower than the execution priority of the first event, the fifth The object does not respond to the first operation.
  • Figure 12a is a schematic diagram of the interface of a second electronic device provided by an embodiment of the application.
  • the user can click on the video APP application by operating the first electronic device.
  • the second electronic device may display a video play interface as shown in FIG. 12b.
  • Figure 12a is a schematic diagram of the interface of a second electronic device provided by an embodiment of the application.
  • the user can click the full-screen control in the interface to achieve full-screen playback of the video.
  • the user can rotate the first electronic device (rotate from the vertical screen to the horizontal screen) to achieve full-screen playback of the video.
  • the playback interface may include, but is not limited to, video images, pause/play controls, switch to the next set of controls, and so on.
  • the user can click on the video play area in Figure 12e.
  • the screen content of the second electronic device may only include video images, or if the user has not operated the first electronic device for a long time.
  • the device correspondingly, the projection content of the second electronic device may only include video images (refer to FIG. 12f).
  • FIG. 12g is a schematic diagram of the operation of a first electronic device provided by an embodiment of the application.
  • the second electronic device displays a video playback interface
  • the user is in the first electronic device Perform a horizontal sliding operation on the display screen
  • the video displayed by the second electronic device can be fast forwarded or rewinded
  • the second electronic device displays an interface as shown in Figure 12e
  • the screen content of the second electronic device includes a fast-forward preview image and a fast-forward progress bar.
  • the screen content of the second electronic device includes The fast-forward preview image and the fast-forward progress bar.
  • the sliding operation on the display screen of the first electronic device can be ended, as shown in Figure 12j
  • the video displayed by the second electronic device is fast forwarded to the target position determined by the user to fast forward (10:03).
  • FIG. 121 is a schematic diagram of the operation of a first electronic device according to an embodiment of the application.
  • the user can perform vertical orientation on the right area of the display screen of the first electronic device.
  • Slide operation to adjust the volume of the currently played video or as shown in Figure 12m, the user can adjust the volume of the currently played video through the physical volume adjustment button 1201 of the first electronic device, as shown in Figure 12n
  • Figure 12n shows the volume adjustment interface of the second electronic device.
  • Figure 12o is a schematic diagram of the operation of a first electronic device provided by an embodiment of the application. As shown in Figure 12o, the user can perform vertical operations on the left area of the display screen of the first electronic device. A sliding operation is used to adjust the display brightness of the currently played video, as shown in FIG. 12p, which shows the brightness adjustment interface of the second electronic device.
  • FIG. 12q is a schematic diagram of the operation of a first electronic device provided by an embodiment of the application.
  • the user can move from the right boundary area to the display screen of the first electronic device. Slide the center of the screen.
  • the second electronic device can display the interface content of the upper level (that is, the first electronic device performs the return operation and returns to the previous interface content), as shown in Figure 12r.
  • the second electronic device The screen content of the electronic device is the upper level interface (video playback interface) of the full-screen video playback interface.
  • FIG. 12s is a schematic diagram of the operation of a first electronic device provided by an embodiment of the application.
  • the user can move from the lower boundary area to the display screen of the first electronic device. Slide the center of the screen.
  • the second electronic device can display the main interface (that is, the first electronic device executes the operation of returning to the main interface), as shown in Figure 12t.
  • the screen content of the second electronic device is the first The main interface of an electronic device.
  • the first electronic device may also receive a first operation on the display screen of the first electronic device, and the first operation is a preset shortcut operation, and the first electronic device may respond to The first operation.
  • the first electronic device may detect the first operation on the display screen of the first electronic device, and recognize that the first operation is a preset shortcut operation. At this time, the first electronic device may generate The first event corresponding to the first electronic device, and the first electronic device can also generate another event according to the position of the cursor and the first operation (to distinguish it from the first operation, referred to as the second operation here), the first electronic device The priority of the first operation and the second operation can be determined, and based on the priority of the first operation and the second operation, it is determined whether to perform the first operation or the second operation.
  • the first electronic device may generate the first event corresponding to the first electronic device, and the first electronic device The device may also generate a second operation according to the position of the cursor and the first operation. If the execution priority of the first event is higher than the execution priority of the second event, the first electronic device executes the above-mentioned first event. At this time, the operating position of the first operation corresponds to the fifth object in the interface content of the second electronic device. Since the execution priority of the second event is lower than the execution priority of the first event, the fifth The object does not respond to the first operation.
  • Figure 12u is a schematic diagram of the operation of a first electronic device provided by an embodiment of the application.
  • the first electronic device can also support common full-screen gesture operations (shortcut operations). ), consistent with the original way of using the first electronic device, reducing the user's learning cost.
  • sliding from the left or right edge to the middle represents the back button
  • sliding from the bottom edge to the middle represents the home button
  • sliding from the bottom edge to the middle and staying represents the menu button
  • the up, down, left, and right sliding operations are available To achieve fast forward and rewind in the video scene.
  • sliding from the left or right edge to the middle represents the return key.
  • the first electronic device is in the off-screen state, if a sliding operation from the left or right edge to the middle is detected, it can be intercepted.
  • the sliding operation performed at the current cursor position directly injects the return event into the current front-end application.
  • the system's interface content returns to the previous level, which is equivalent to the user from the left edge in the normal mode. Or the return operation performed by the phone when the right edge slides to the middle.
  • sliding from the lower edge to the middle represents the home button.
  • the sliding performed at the current cursor position can be intercepted Operation, but directly inject the event of returning to the main interface into the current front-end application.
  • the system interface content returns to the main interface at this time, which is equivalent to when the user clicks the home button in the normal mode.
  • sliding from the lower edge to the middle and staying represents the menu key.
  • the current cursor position can be intercepted Perform the above operation, but directly inject the event of the display menu into the current front-end application.
  • the system's interface content displays the pull-up menu at this time, which is equivalent to when the user clicks from the bottom in the normal mode. Slide the edge to the middle and stay there, and the mobile phone will display a pull-up menu (this menu may include a list of currently running applications, or a list of historical running applications, etc., which is not limited by this application).
  • the first electronic device may receive a second touch operation on the display screen of the first electronic device, and determine the corresponding third event according to the operation form of the second touch operation, where different operations The form corresponds to a different third event, and the third event is executed on the front-end application of the first electronic device, wherein the operation form of the second touch operation includes at least one of the following operation forms: The first preset area of the display screen and slide from the first preset area to the first preset direction; the second preset area of the display screen of the first electronic device is contacted by the second preset area The area slides in the second preset direction, and the time of contacting the display screen of the first electronic device is longer than the preset time.
  • the enhanced interactive service can identify whether the first operation is a preset shortcut operation, and based on the first operation conforming to the preset shortcut operation, generate the preset shortcut operation For the corresponding event, the enhanced interactive service can directly inject the event into the front-end application instead of executing it at the position of the cursor (that is, the first electronic device can directly respond to the first operation). For details, reference may be made to FIG. 12u and the description of the corresponding embodiment, which will not be repeated here.
  • the display screen can be divided into two areas (for example, the upper half area and the off-duty area). If the user touches the display screen in the upper half area of the display screen, the cursor can be controlled to The display position of the interface content, if the user touches the display screen in the lower half of the display screen, the operation mode similar to that in Figure 12u can be followed.
  • the second electronic device can directly play the video in full screen.
  • the first electronic device 100 may obtain the video 400 corresponding to the current video playback interface, and process the video 400 into a video stream.
  • the first electronic device 100 obtains the image data of the video, and compresses the image corresponding to each image frame in the image data of the video, and the compressed image size of the image corresponding to each image frame is the same as the second image size.
  • the image size on the electronic device is the same.
  • the first electronic device when the image size is in pixels, assuming that the image size on the second electronic device is 400 ⁇ 800 pixels, and the image size of the image corresponding to each image frame is 800 ⁇ 800 pixels, then When the first electronic device compresses the image corresponding to each image frame, it can compress the image size of the image corresponding to each image frame from 800 ⁇ 800 pixels to 400 ⁇ 800 pixels to obtain the compressed image corresponding to each image frame. image.
  • the first electronic device may perform video compression encoding on the compressed images corresponding to the multiple image frames to obtain a video stream.
  • the multiple image frames may be image frames of the image data of the video at multiple consecutive time nodes, where the image data of the video has one image frame at one time node. In other feasible implementation manners, after obtaining the image data of the video, the first electronic device may directly perform video compression encoding on multiple image frames of the image data at multiple consecutive time nodes to obtain a video stream.
  • the first electronic device may obtain audio data of the video within a period of time, and this period of time is determined by the foregoing multiple consecutive time nodes.
  • the first electronic device may perform audio compression coding on the audio data in this period of time, such as advanced audio coding (AAC).
  • AAC advanced audio coding
  • the first electronic device mixes the multiple image frames into a video stream after undergoing video compression encoding with the audio data within the period of time after undergoing audio compression encoding.
  • the data format of the video stream is any data format that can be received by the second electronic device, such as a video stream in MP4 (MPEG-4 part 14) format.
  • the image and audio corresponding to the video stream are synchronously presented on the second electronic device.
  • the first electronic device may send the video stream to the second electronic device.
  • the second electronic device processes the video stream into images and audio output.
  • the first electronic device can use the video stream as the projection data to output to the second electronic device through a video streaming protocol (such as real-time streaming protocol (RTSP)) through the projection port. equipment.
  • RTSP real-time streaming protocol
  • the second electronic device performs video streaming protocol reception processing and video and audio decoding processing on the projection data (ie, video stream), and then renders and outputs.
  • the second electronic device displays the image corresponding to the projection data in full screen and/or plays the projection screen The audio corresponding to the data.
  • the screen width of the first electronic device 100 is S-W1 and the screen height is SH1; the screen width of the second electronic device 100 is S-W2, and the screen height is S-H2.
  • the aspect ratio of the image corresponding to the projection data may be adjusted to be the same as the screen aspect ratio S-W2:S-H2 of the second electronic device 200. , Then show again.
  • the video 400 is played in full screen on the first electronic device 100 without black or white borders, and the screen aspect ratio of the first electronic device 100 is S-W1:S-H1 and the screen aspect ratio of the second electronic device 200 is S- W2: S-H2 is the same, then the video playback screen displayed by the second electronic device 200 also has no black or white borders, and the first electronic device 100 and the second electronic device 200 display the same image and play the same audio.
  • the first electronic device responds to the above operation and pauses the video 400 Play.
  • the first electronic device 100 will suspend the transmission of the video stream of the video 400, and the second electronic device 200 will also suspend the playback because no video stream is transmitted.
  • the first electronic device responds to the above operation and continues playing from the current playback progress of the video 400, and , The first electronic device 100 continues to transmit the video stream of the video 400, so the second electronic device 200 continues to play the video stream received. If the transmission of the video stream is transmitted in fragments, each time the first electronic device 100 transmits a video stream, only the video stream within a fixed period of time is transmitted. Exemplarily, if the playing time of the video 400 is 25 minutes and 34 seconds, the first electronic device 100 can transmit a 10-second video stream at a time, and the video 400 needs to be transmitted 154 times to be all transmitted to the second electronic device 200.
  • FIG. 13 is a schematic diagram of a screen projection scenario provided by an embodiment of the application.
  • user A suppose that in the conference room of a certain enterprise, user A, user B, user C, user D, user E, user F, user G, user H, and user I hold a meeting; among them, user A passes The first electronic device sends the projection data containing the meeting information to the second electronic device 200, and the second electronic device 200 displays the projection data.
  • the device screen of the first electronic device 100 is small, and it is difficult for the user A to share meeting information with other users through the first electronic device 100, while the second electronic device 200 (such as a TV) can project on a larger screen.
  • the data is displayed so that other users can view it.
  • the meeting information shared by user A can be viewed by watching the display content of the second electronic device 200, without Carry separately and use additional electronic equipment for assistance.
  • the screen size of the second electronic device 200 due to the limitation of the screen size of the second electronic device 200, and some users may have vision problems such as myopia, users such as user F, user G, user H, and user I may not be able to see the display of the second electronic device 200 clearly.
  • the content affects the normal progress of the meeting.
  • the first electronic device 100 can establish a screen projection connection with multiple second electronic devices 200 at the same time.
  • users F, G, H, and I can use their respective second electronic devices. 200.
  • the processing procedure in this application is the same.
  • Figure 14a is a schematic diagram of the screen content of a second electronic device provided by an embodiment of the application.
  • the user can click on the PPT application by operating the first electronic device.
  • the second electronic device may display the PPT display interface as shown in FIG. 14b.
  • the PPT display interface may include a presentation control 1403, a current film display area 1404, and a film list area 1405.
  • the current film display area 1404 is the film currently to be demonstrated.
  • the film list area 1405 can include a list of films.
  • the user can select the film to be demonstrated in the film list area 1405. For example, the user can select the film by operating the first electronic device. C, correspondingly, the film displayed in the film display area 1404 at this time is the selected film C.
  • FIG. 14d is a schematic diagram of the operation of a first electronic device provided by an embodiment of the application.
  • the user can perform a leftward movement operation on the display screen of the first electronic device.
  • the second electronic device may display a presentation interface as shown in FIG. 14e (the presentation film is switched to the next one).
  • Fig. 14f is a schematic diagram of the operation of a first electronic device provided by an embodiment of the application.
  • the user can provide to rotate the first electronic device (rotate from the vertical screen to the horizontal screen),
  • a full-screen presentation interface of the film is shown in FIG. 14g.
  • FIG. 15 is a schematic flowchart of an information processing method provided by an embodiment of the present application, as shown in FIG. 15.
  • the information processing methods provided in this application include:
  • the first electronic device monitors the screen projection connection status.
  • the first electronic device may install an enhanced interactive service, and the enhanced interactive service may monitor the screen projection connection status of the first electronic device.
  • the first electronic device detects that a screen projection connection is established with the second electronic device.
  • the enhanced interactive service can detect that the first electronic device and the second electronic device have established a screen projection connection.
  • the method of establishing a screen projection between the first electronic device and the second electronic device refer to Figures 4a to 5c. The description of the embodiment will not be repeated here.
  • the first electronic device generates screen projection content.
  • the enhanced interactive service of the first electronic device can obtain the interface content of the front-end application of the first electronic device, generate the cursor on the interface content, and obtain the screencast content.
  • the enhanced interactive service of the first electronic device may also generate the cursor and the menu bar on the interface content to obtain the screencast content.
  • FIG. 16 is a schematic diagram of an architecture of an embodiment of the application.
  • the enhanced interactive service can add the cursor and the menu bar to the front end of the current first electronic device based on the floating window interface.
  • the projection data is generated.
  • the projection service of the first electronic device can obtain the above-mentioned projection data, and base the projection data (which requires encoding operations and the size conversion of the content) on a certain A projection protocol is sent to the second electronic device, so that the display screen of the second electronic device displays the projection content corresponding to the projection data.
  • the first electronic device may obtain the posture change information of the first electronic device input by the sensor, and move the position of the cursor in the interface content based on the posture change information of the first electronic device, and how the enhanced interactive service is based on
  • the posture change information of the first electronic device moves the cursor on the display screen of the second electronic device, and reference may be made to the description in the foregoing embodiment, which will not be repeated here.
  • the first electronic device may receive a second sliding operation on the display screen of the first electronic device, determine the displacement of the cursor according to the second sliding operation, and display the cursor on the projection screen based on the displacement.
  • a second sliding operation on the display screen of the first electronic device, determine the displacement of the cursor according to the second sliding operation, and display the cursor on the projection screen based on the displacement.
  • the first electronic device may obtain the first touch operation input on the touch screen, and generate a corresponding first event according to the first touch operation, and place the target object in the interface content (where the cursor is at this time).
  • the target object executes the first event.
  • the first touch operation may be a click operation or a sliding operation
  • the first event may be a click event or a sliding event.
  • the first electronic device may shield the response of the interface content to the operating position of the first touch operation. Specifically, after receiving the first touch operation on the display screen of the first electronic device, the first electronic device may mask the response of the interface content of the current front-end application to the operation position of the first touch operation, and instead determine the cursor The position on the second display screen determines the response position of the interface content to the first touch operation. For example, if the user performs a click operation on the A object on the display screen of the first electronic device, at this time, the cursor is located on the B object in the second electronic device. At this time, the first electronic device can shield the A object from the click operation. Responding, but responding to the above-mentioned click operation on the B object of the interface content.
  • the first electronic device may receive a pressing operation on a physical button of the first electronic device, generate a corresponding second event according to the pressing operation, and execute the first electronic device front-end application The second event.
  • the first electronic device may receive a pressing operation (for example, volume reduction) on the volume key of the first electronic device, generate a corresponding volume reduction event according to the pressing operation, and report to the front end of the first electronic device
  • the application executes the volume reduction event, so that the volume played by the front-end application of the first electronic device is reduced.
  • the first electronic device may receive a second touch operation on the display screen of the first electronic device, and determine the corresponding third event according to the operation form of the second touch operation, where different operation forms correspond to A different third event, and execute the third event on the front-end application of the first electronic device, wherein the operation form of the second touch operation includes at least one of the following operation forms: contacting the display screen of the first electronic device The first preset area of the first preset area, and slide from the first preset area to the first preset direction; contact the second preset area of the display screen of the first electronic device, from the second preset area to Sliding in the second preset direction, and the time of contacting the display screen of the first electronic device is longer than the preset time.
  • the enhanced interactive service can recognize whether the touch operation conforms to the preset operation form, and based on the touch operation conforms to the preset operation form, generate events corresponding to the preset operation form, At this time, the enhanced interactive service can directly inject the event into the front-end application instead of executing it at the position of the cursor.
  • the enhanced interactive service can obtain the interface content of the current front-end application.
  • the enhanced interactive service can obtain the interface content of the current front-end application based on the screen recording interface provided by the system (for example, the MediaProjection interface provided by Android), and draw the cursor and menu bar on the obtained interface content.
  • the enhanced interactive service can change The above-mentioned drawn content is sent to the projection service of the first electronic device as the projection data.
  • the projection service of the first electronic device obtains the projection data, and the projection data (need to undergo coding operation and/or The size conversion of the content) is sent to the second electronic device based on a certain projection protocol.
  • the first electronic device sends the screencast content to the second electronic device.
  • the display screen of the second electronic device may display the projection content corresponding to the projection data, and the projection content includes a cursor And the interface content of the first electronic device, the cursor is used to locate the operation position in the interface content.
  • step 1504 reference may be made to the related description of the first electronic device sending screen projection data to the second electronic device in the foregoing embodiment, which is not repeated here.
  • steps 1503 and 1504 can be implemented independently, instead of being executed after the steps 1501 and 1502 have been executed.
  • the embodiment of the present application provides an information processing method, including: generating screen projection content; sending the screen projection content to a second electronic device, so that the display screen of the second electronic device displays the screen projection content, so
  • the screencast content includes a cursor and interface content of the first electronic device, and the cursor is used to locate an operation position in the interface content.
  • the cursor is added to the screen content, so that the user can determine the position to be operated through the cursor displayed by the second electronic device, so that the user can ignore the interface content of the first electronic device, based on the second electronic device
  • the position of the cursor in the projection content displayed on the display screen can determine the position to be operated, and then perform the operation at the position of the cursor.
  • FIG. 18 is a schematic structural diagram of an electronic device provided by an embodiment of the present application.
  • the electronic device includes:
  • the processing module 1801 is used to generate projected content
  • a sending module 1802 configured to send the screencast content to a second electronic device, so that the screen of the second electronic device displays the screencast content, and the screencast content includes a cursor and an interface of the first electronic device Content, the cursor is used to locate the operation position in the interface content.
  • processing module 1801 is specifically configured to:
  • processing module 1801 is specifically configured to:
  • the processing module 1801 is further configured to detect that the first electronic device establishes a screen projection connection with the second electronic device.
  • processing module 1801 is further configured to obtain pose change information of the first electronic device
  • the cursor is caused to move in the projected content displayed by the second electronic device.
  • the pose change information includes a first rotation angle of the first electronic device on a horizontal plane and a second rotation angle of the first electronic device on a vertical plane, and the processing module 1801 specifically Used for:
  • the cursor is moved in the projected content displayed by the second electronic device.
  • the pose change information includes a first displacement of the first electronic device in a first direction and a second displacement of the first electronic device in a second direction.
  • the left and right movement directions of the cursor displayed on the display screen of the second electronic device are parallel, and the second direction is parallel to the up and down movement directions of the cursor displayed on the display screen of the second electronic device.
  • the processing module 1801 also Used for:
  • the cursor is moved in the projected content displayed by the second electronic device.
  • processing module 1801 is further configured to:
  • the target object in the projected content displayed by the second electronic device is made to respond to the first touch operation.
  • processing module 1801 is further configured to:
  • the response of the second object to the first touch operation is shielded.
  • the first touch operation includes at least a click operation and a first sliding operation
  • the target object includes at least an application program and a function control.
  • processing module 1801 is further configured to:
  • the cursor is moved in the projected content displayed by the second electronic device.
  • the operation position corresponding to the second sliding operation corresponds to a third object in the interface content of the first electronic device, and the processing module 1801 is further configured to:
  • the response of the third object to the second touch operation is shielded.
  • processing module 1801 is further configured to:
  • the target object in the projected content displayed by the second electronic device is made to respond to the click operation.
  • the operation position of the click operation corresponds to a fourth object in the interface content of the first electronic device, and the processing module 1801 is further configured to:
  • processing module 1801 is further configured to:
  • the second event is executed on the front-end application of the first electronic device.
  • processing module 1801 is further configured to:
  • the first electronic device responds to the first operation.
  • the operation position of the first operation corresponds to a fifth object in the interface content of the second electronic device, and the fifth object does not respond to the first operation.
  • the preset shortcut operations include at least:
  • processing module 1801 is further configured to:
  • the display area of the display screen of the first electronic device is smaller than the display area of the display screen of the second electronic device.
  • FIG. 19 is a schematic structural diagram of an electronic device provided by an embodiment of the present application.
  • the electronic device 1900 may specifically be represented as a mobile phone, a tablet, or a smart wearable device. Etc., it is not limited here.
  • the electronic device 1900 includes: a receiver 1901, a transmitter 1902, a processor 1903, and a memory 1904 (the number of processors 1903 in the electronic device 1900 may be one or more, and one processor is taken as an example in FIG. 19) , Where the processor 1903 may include an application processor 19031 and a communication processor 19032.
  • the receiver 1901, the transmitter 1902, the processor 1903, and the memory 1904 may be connected by a bus or other methods.
  • the memory 1904 may include a read-only memory and a random access memory, and provides instructions and data to the processor 1903. A part of the memory 1904 may also include a non-volatile random access memory (NVRAM).
  • NVRAM non-volatile random access memory
  • the memory 1904 stores a processor and operating instructions, executable modules or data structures, or a subset of them, or an extended set of them.
  • the operating instructions may include various operating instructions for implementing various operations.
  • the processor 1903 controls the operation of the electronic device.
  • the various components of the electronic device are coupled together through a bus system, where the bus system may include a power bus, a control bus, and a status signal bus in addition to a data bus.
  • bus system may include a power bus, a control bus, and a status signal bus in addition to a data bus.
  • various buses are referred to as bus systems in the figure.
  • the method disclosed in the foregoing embodiment of the present application may be applied to the processor 1903 or implemented by the processor 1903.
  • the processor 1903 may be an integrated circuit chip with signal processing capabilities. In the implementation process, the steps of the foregoing method can be completed by an integrated logic circuit of hardware in the processor 1903 or instructions in the form of software.
  • the aforementioned processor 1903 may be a general-purpose processor, a digital signal processing (digital signal processing, DSP), a microprocessor or a microcontroller, and may further include an application specific integrated circuit (ASIC), field programmable Field-programmable gate array (FPGA) or other programmable logic devices, discrete gates or transistor logic devices, discrete hardware components.
  • DSP digital signal processing
  • FPGA field programmable Field-programmable gate array
  • the processor 1903 may implement or execute the methods, steps, and logical block diagrams disclosed in the embodiments of the present application.
  • the general-purpose processor may be a microprocessor or the processor may also be any conventional processor or the like.
  • the steps of the method disclosed in the embodiments of the present application may be directly embodied as being executed and completed by a hardware decoding processor, or executed and completed by a combination of hardware and software modules in the decoding processor.
  • the software module can be located in a mature storage medium in the field, such as random access memory, flash memory, read-only memory, programmable read-only memory, or electrically erasable programmable memory, registers.
  • the storage medium is located in the memory 1904, and the processor 1903 reads the information in the memory 1904, and completes the steps of the foregoing method in combination with its hardware.
  • the receiver 1901 can be used to receive input digital or character information, and to generate signal input related to the relevant settings and function control of the electronic device.
  • the transmitter 1902 can be used to output digital or character information through the first interface; the transmitter 1902 can also be used to send instructions to the disk group through the first interface to modify the data in the disk group; the transmitter 1902 can also include display devices such as a display screen .
  • the processor 1903 is configured to execute the information processing method in the corresponding embodiment in the foregoing embodiment.
  • the head-mounted display may be a VR device display, an AR device display, or MR equipment display.
  • the user can be immersed in an augmented reality environment, a virtual reality environment, or a hybrid display environment by wearing a head-mounted display (HMD).
  • HMD head-mounted display
  • the user can be immersed in a 3D virtual environment and interact with each other through various types of inputs.
  • these inputs may include physical interactions, such as manipulation of the first electronic device 100 separated from the HMD, manipulation of the HMD itself (based on head movement), and the like.
  • Figure 20a is a schematic diagram of the interaction between a first electronic device and a second electronic device.
  • a user wearing a second electronic device 200 HMD
  • the first electronic device 100 As the control device of the second electronic device 200.
  • two (or more) additional external devices may also be connected to the HMD 100. Pairing and/or interaction in a virtual environment.
  • the first electronic device 100 (and/or other external devices) can be connected via, for example, a wired connection, or a wireless connection such as, for example, a WiFi or Bluetooth connection, or other communication modes that can be used for the two devices. Communicate with the second electronic device 200.
  • FIG. 21a shows a schematic diagram of connecting the first electronic device 100 to the second electronic device 200 using a cable 1600.
  • the first electronic device 100 may be connected to the second electronic device 200 using one or more high-speed communication protocols (for example, USB 2.0, USB 3.0, and USB 3.1).
  • the first electronic device 100 may be connected to the second electronic device 200 using an audio/video interface such as a high-definition multimedia interface (HDMI).
  • the first electronic device 100 may be connected to the second electronic device 200 using the DisplayPort standby mode for the USB Type C standard interface.
  • the DisplayPort standby mode may include high-speed USB communication interface and DisplayPort function.
  • the cable 2100 may include suitable connectors that plug into the second electronic device 200 and the first electronic device 100 at either end.
  • the cable may include Universal Serial Bus (USB) connectors at both ends.
  • USB connectors may be the same USB type connector, or each USB connector may be a different type of USB connector.
  • Various types of USB connectors can include, but are not limited to, USB Type A connectors, USB Type B connectors, micro-USB A connectors, micro-USB B connectors, micro-USB AB connectors, USB five-pin Mini -b connector, USB four-pin Mini-b connector, USB 3.0A type connector, USB 3.0B type connector, USB 3.0 Micro B connector and USB C type connector, etc.
  • FIG. 21b is a schematic diagram showing the use of a wireless connection 1601 to connect the first electronic device 100 to the second electronic device 100 without a cable (for example, the cable 102 shown in FIG. 21a is not needed).
  • the first electronic device 100 may connect to the second electronic device 200 using a wireless connection 1601 by implementing one or more high-speed communication protocols (for example, WiFi, Bluetooth, or Bluetooth Low Energy (LE)).
  • high-speed communication protocols for example, WiFi, Bluetooth, or Bluetooth Low Energy (LE)
  • the second electronic device 200 can also be connected to other control devices at the same time, such as a handle.
  • the user uses the handle as an interactive device.
  • the portability of the handle is poor, and the independent handle needs to use a battery, and is connected to the first electronic device 100 via wireless, which requires additional functions.
  • the handles of some AR/VR devices are relatively large and heavier, and long-term use may easily lead to user fatigue.
  • the software system of the electronic device 100 may adopt a layered architecture, an event-driven architecture, a microkernel architecture, a microservice architecture, or a cloud architecture.
  • the embodiment of the present application takes an Android system with a layered architecture as an example to illustrate the software structure of the electronic device 100 by way of example.
  • FIG. 22b is a block diagram of a software structure of the first electronic device 100 according to an embodiment of the present application.
  • the layered architecture divides the software into several layers, and each layer has a clear role and division of labor. Communication between layers through software interface.
  • the Android system is divided into four layers, from top to bottom, the application layer, the application framework layer, the Android runtime and system library, and the kernel layer.
  • the application layer can include a series of application packages.
  • the application package may include applications such as phone, camera, gallery, calendar, call, map, navigation, WLAN, Bluetooth, music, video, short message, VR glasses application, etc.
  • the VR glasses application includes a 3D background drawing module, a handle event management module, an application icon loading module, a virtual screen management module, and a virtual screen content acquisition module.
  • the 3D background drawing module is used to complete the drawing of the background picture displayed in the 3D virtual environment, so that the user can get the feeling of being in a real scene.
  • the handle event management module is used to process events from the handle so that the user can touch the controls in the virtual display interface by operating the handle.
  • the application icon loading module is used to load and display several application icons (such as WeChat, Weibo, Douyin, etc.) on the electronic device in the virtual environment of the VR glasses.
  • application icons such as WeChat, Weibo, Douyin, etc.
  • the virtual screen management module is used to create a virtual screen when the user clicks the application icon to start the application, and can destroy the virtual screen when the user closes the application.
  • the virtual screen content acquisition module is used to acquire the content in the application when the user clicks on the launched application, and render the content in the application through distortion to achieve display in a virtual environment.
  • the application framework layer provides an application programming interface (application programming interface, API) and a programming framework for applications in the application layer.
  • the application framework layer includes some predefined functions.
  • the application framework layer can include a window manager, a content provider, a view system, a phone manager, a resource manager, a notification manager, and so on.
  • the window manager is used to manage window programs.
  • the window manager can obtain the size of the display, determine whether there is a status bar, lock the screen, take a screenshot, etc.
  • the content provider is used to store and retrieve data and make these data accessible to applications.
  • the data may include videos, images, audios, phone calls made and received, browsing history and bookmarks, phone book, etc.
  • the view system includes visual controls, such as controls that display text, controls that display pictures, and so on.
  • the view system can be used to build applications.
  • the display interface can be composed of one or more views.
  • a display interface that includes a short message notification icon may include a view that displays text and a view that displays pictures.
  • the phone manager is used to provide the communication function of the electronic device 100. For example, the management of the call status (including connecting, hanging up, etc.).
  • the resource manager provides various resources for the application, such as localized strings, icons, pictures, layout files, video files, and so on.
  • the notification manager enables the application to display notification information in the status bar, which can be used to convey notification-type messages, and it can disappear automatically after a short stay without user interaction.
  • the notification manager is used to notify download completion, message reminders, and so on.
  • the notification manager can also be a notification that appears in the status bar at the top of the system in the form of a chart or a scroll bar text, such as a notification of an application running in the background, or a notification that appears on the screen in the form of a dialog window. For example, text messages are prompted in the status bar, prompt sounds, electronic devices vibrate, and indicator lights flash.
  • the activity content management service (Activity Manager Service, AMS), the window management service (Window Manager Service, WMS) and the download management service (Download Manager Service, DMS) in the application framework layer may also include application security services. Live module, event injection module, virtual screen management module.
  • the application keep-alive module is used to control the electronic device to enter the VR multi-screen display mode after the application with the multi-screen display mode function is started.
  • the electronic device can run multiple applications at the same time, and support each application to be active at the same time.
  • the event injection module is used to obtain the event corresponding to the user's operation in the multi-screen display mode, and distribute the event to the virtual screen corresponding to the application.
  • the virtual screen management module is used to provide electronic devices with the ability to create and destroy virtual screens.
  • Android Runtime includes core libraries and virtual machines. Android runtime is responsible for the scheduling and management of the Android system.
  • the core library consists of two parts: one part is the function functions that the java language needs to call, and the other part is the core library of Android.
  • the application layer and the application framework layer run in a virtual machine.
  • the virtual machine executes the java files of the application layer and the application framework layer as binary files.
  • the virtual machine is used to perform functions such as object life cycle management, stack management, thread management, security and exception management, and garbage collection.
  • the system library can include multiple functional modules. For example: surface manager (surface manager), media library (Media Libraries), three-dimensional graphics processing library (for example: OpenGL ES), 2D graphics engine (for example: SGL), etc.
  • the surface manager is used to manage the display subsystem and provides a combination of 2D and 3D layers for multiple applications.
  • the media library supports playback and recording of a variety of commonly used audio and video formats, as well as still image files.
  • the media library can support a variety of audio and video encoding formats, such as: MPEG4, H.264, MP3, AAC, AMR, JPG, PNG, etc.
  • the 3D graphics processing library is used to realize 3D graphics drawing, image rendering, synthesis, and layer processing.
  • the 2D graphics engine is a drawing engine for 2D drawing.
  • the kernel layer is the layer between hardware and software.
  • the kernel layer contains at least display driver, camera driver, audio driver, and sensor driver.
  • the VR scene display adaptation module (HwVRDisplayAdaper) realizes the creation and destruction of virtual screens in multi-screen mode, realizes the management of virtual screens, and provides other services (such as display management).
  • Module DisplayManager
  • DisplayManagerGlobal display management global module
  • DisplayManagerService display management service module
  • open to create a virtual screen interface createVRDisplay ⁇
  • destroy a virtual screen interface denotes a virtual screen interface.
  • the display management module, the display management global module and the display management service module complete the function of creating a virtual screen when entering the VR multi-screen display mode through layer-by-layer call to create a virtual screen interface.
  • the display management module the display management global module and the display management service module
  • the function of destroying the virtual screen after exiting the VR multi-screen display mode is completed by calling the interface of creating a virtual screen through layers.
  • the display management service module registers the callback required to create a virtual screen when the electronic device is initialized. That is, the display management service module first calls the interface of the registered VR scene display adapter module (registerVRDisplayAdapterLoked ⁇ ), and then Call the registration interface (registerLocked ⁇ ) to complete the registration and create a virtual screen.
  • Android supports injecting events to a specified screen, and a custom interface opens the screen injecting event capability to other services.
  • the input management module IputManager
  • the injectInputEvent(event, mode, displayid) interface the injectInputEventToDisplay(event, mode, displayid) interface
  • the injectInputEventInternal(event, displayId, mode)) interface to inject events into the specified virtual screen.
  • Figure 23a is an interactive schematic diagram of a user using the first electronic device.
  • the user operates the VR/AR application on the first electronic device based on the handle.
  • the display of the second electronic device The interface includes the current display image 2300 of the first electronic device, a function selection area 2302, and an interactive mode display area 2301.
  • the interactive mode display area 2301 indicates that the current interactive mode is a handle, and the user can operate the handle to operate the current interface.
  • Figure 23b is a schematic diagram of a user's interaction using the first electronic device.
  • the user can tap the interactive display area 2301 by sliding the touch screen 2303 on the handle to make it
  • the interaction mode of is switched to the interaction mode based on the first electronic device (the interface shown in FIG. 23d).
  • the handle or the first electronic device when the handle is connected to the second electronic device, can be used as the control device of the second electronic device; when only the first electronic device is When the device establishes a connection with the second electronic device, the first electronic device may be used as a control device of the second electronic device.
  • the handle may be used as the control device of the second electronic device, and based on receiving the first interaction mode switching instruction, in response to the first interaction mode switching instruction, the second electronic device The control device is switched from the handle to the first electronic device.
  • the first electronic device may receive the first interactive mode switching instruction sent by the handle, generate a corresponding first interactive mode switching instruction based on receiving the second operation on the first electronic device, or receive the corresponding first interactive mode switching instruction.
  • a corresponding physical button can be set on the handle to realize the function of switching to the interaction mode based on the first electronic device.
  • the user can press the above physical button to switch to Based on the interaction mode of the first electronic device (switching the control device of the second electronic device from the handle to the first electronic device).
  • the user can click the aforementioned power button to switch to the interactive mode based on the first electronic device.
  • the user can press the above physical button to Switch to the interactive mode based on the first electronic device.
  • the interaction mode based on the first electronic device can be used directly.
  • the first electronic device can switch to the handle-based interaction mode in the same way.
  • the user can control the display position of the cursor on the second electronic device based on the operation of the handle.
  • the user can control the display position of the cursor on the second electronic device based on the operation of the first electronic device.
  • the second electronic device may display a line from the bottom of the screen (or from the second electronic device).
  • the mobile phone image displayed by the device emits a ray to the currently displayed content.
  • the ray includes an end point, which can indicate the position currently selected by the user (equivalent to the above-mentioned cursor).
  • the user can adjust the direction of the ray by adjusting the posture of the first electronic device, so that the user can adjust the position of the end point of the ray to the target object that he wants to operate.
  • FIG. 24a which is an implementation of this application.
  • the example provides an interactive schematic of the user using the first electronic device. As shown in Figure 24a, if the user wants to operate the position corresponding to area A, he can adjust the direction of the rays by adjusting the posture of the first electronic device. This allows the user to adjust the position of the end point of the ray to the target position (area A) to be operated.
  • FIG. 24b is a schematic diagram of the interaction of a user using a first electronic device according to an embodiment of the application.
  • the user can rotate the first electronic device on a horizontal plane, and correspondingly, the second electronic device
  • the direction of the ray displayed by the device will change accordingly, and the end position of the ray will be displaced in the horizontal direction.
  • FIG. 24c is an interactive schematic diagram of a user using a first electronic device according to an embodiment of the application.
  • the user can rotate the first electronic device on a vertical plane.
  • the first electronic device 2 correspondsly, the first electronic device 2.
  • the end position of the ray displayed by the electronic device will be displaced in the vertical direction.
  • the user after the user adjusts the position of the end point of the ray to the target position that he wants to operate, the user can click on the display screen of the first electronic device, and correspondingly, click on the position of the end point of the ray operating.
  • the first electronic device can obtain the position of the end point of the ray in the display interface of the second electronic device.
  • the specific pixel coordinate position is determined, and the pixel coordinate position corresponding to the display interface of the first electronic device is determined according to the specific pixel coordinate position of the end point of the ray in the display interface of the second electronic device.
  • the user performs a click operation on the display screen of the first electronic device.
  • the click operation will not be responded to by the foreground application (the display interface of the first electronic device at this time), and the first electronic device will inject the event corresponding to the click operation
  • the end point of the ray is at the pixel coordinate position corresponding to the display interface in the first electronic device, which is equivalent to making the first electronic device perform the above-mentioned click operation at the pixel coordinate position corresponding to the end point of the ray in the first electronic device.
  • the user performs a sliding operation on the display screen of the first electronic device.
  • the sliding operation will not be responded to by the foreground application (the display interface of the first electronic device at this time).
  • An electronic device will inject the event corresponding to the sliding operation into the end point of the ray.
  • the pixel coordinate position corresponding to the display interface in the first electronic device is equivalent to making the first electronic device at the end of the ray corresponding to the end point in the first electronic device.
  • the pixel coordinate position performs the above sliding operation.
  • Figure 25 is a schematic diagram of the operation of a first electronic device provided by an embodiment of the application.
  • the first electronic device can also support common full-screen gesture operations, which is different from the original use of the handle. The method is consistent and reduces the learning cost for users.
  • sliding from the left or right edge to the middle represents the return button (corresponding to the return button in the handle), sliding from the bottom edge to the middle represents the home button (corresponding to the home button in the handle), up, down, left, and right
  • the sliding operation of can be used to fast forward and rewind in the video scene (corresponding to the touch screen sliding in the handle), the volume button to adjust the volume (corresponding to the volume adjustment button in the handle), slide and stay from the bottom edge to the middle to achieve the perspective Back to center (corresponding to the long press operation of the home button in the handle to achieve the viewing angle back to center), press the volume down button and the power button at the same time to achieve screenshots, etc.
  • FIG. 26 is a schematic diagram of a user's interaction using a first electronic device according to an embodiment of the application.
  • the user can perform a sliding operation on the display screen of the first electronic device.
  • the pointer displacement displayed by the second electronic device how the user implements a sliding operation on the display screen of the first electronic device to achieve the pointer displacement displayed by the second electronic device can refer to the description in the foregoing embodiment, which will not be repeated here.
  • FIG. 27 is a schematic diagram of a system architecture provided by an example of this application.
  • the system architecture includes: AR device/VR device/MR device , Mobile phone and independent handle.
  • the independent handle can be connected to the AR device/VR device/MR device
  • the mobile phone can be connected to the AR device/VR device/MR device.
  • the user can realize the interaction with the first electronic device by operating an independent handle, and control the display content of the AR device/VR device/MR device.
  • the independent handle can obtain its own posture information or sliding information on the touchpad, and send the obtained posture information or sliding information to the mobile phone through the AR device/VR device/MR device, and the mobile phone can be based on the independent handle interaction mode , Process the above posture information or sliding information, and move the pointer in the interface content based on the posture information or sliding information.
  • the independent handle can obtain the selection instruction (for example, through the physical button on the independent handle), and send the selection instruction to the mobile phone.
  • the above selection instructions can be processed based on the independent handle interaction mode.
  • the user can realize the interaction with the first electronic device by operating the mobile phone, and control the display content of the AR device/VR device/MR device.
  • the mobile phone can obtain its own posture information or sliding information on the display.
  • the mobile phone can process the above posture information or sliding information based on the mobile phone interaction mode, and move the pointer in the interface content based on the posture information or sliding information.
  • independent The handle can obtain touch operations, generate corresponding events, execute the generated events, and execute the events in the current front-end application.
  • FIG. 28 is a schematic diagram of a system architecture provided by an embodiment of the application.
  • the system architecture includes a system (for example, an Android system), an enhanced interactive service, a screen-off and screen-off service, AR/VR/MR services.
  • the system can send the information input by the sensor (such as gesture information) to the enhanced interactive service, the system can send the information input by the touch screen (such as touch events) to the AR/VR/MR service, and the AR/VR/MR service can send the touch screen to the AR/VR/MR service.
  • the input information is sent to the enhanced interactive service.
  • the enhanced interactive service can send the instruction to turn off or turn on the screen to the on-screen off service, and the on-screen off service can send the instruction to turn off or on the screen to the system to achieve the first An off or bright screen of an electronic device.
  • the enhanced interactive service can process the received information (sensor input or touch screen input), draw pointers, and execute corresponding events for AR/VR/MR applications (for example, it may be based on the position of the pointer).
  • An embodiment of the present application also provides an electronic device, which includes:
  • the sending module is used to establish a connection with a second electronic device, wherein the second electronic device displays a cursor and the interface content of the first electronic device, wherein the first electronic device includes a touch screen, and the second electronic device
  • the equipment is augmented display AR equipment, virtual reality VR equipment or mixed reality MR equipment;
  • the processing module is configured to obtain the operation on the first electronic device, and control the display position of the cursor on the second electronic device based on the operation on the first electronic device.
  • the interface content is the interface content of the front-end application of the first electronic device.
  • the second electronic device further displays: a menu bar, and the menu bar does not belong to the interface content of the first electronic device.
  • the processing module is specifically configured to obtain the pose change information of the first electronic device, and based on the pose change information, cause the cursor to move on the display content of the second electronic device.
  • the pose change information includes a first rotation angle of the first electronic device on a horizontal plane and a second rotation angle of the first electronic device on a vertical plane.
  • the processing module is specifically used in:
  • the cursor is moved on the display content of the second electronic device according to the horizontal displacement and the vertical displacement.
  • the pose change information includes a first displacement of the first electronic device in a first direction and a second displacement of the first electronic device in a second direction.
  • the left and right movement direction of the cursor displayed by the second electronic device is parallel, and the second direction is parallel to the up and down movement direction of the cursor displayed by the second electronic device, and the processing module is specifically configured to:
  • the cursor is moved on the display content of the second electronic device according to the horizontal displacement and the vertical displacement.
  • processing module is further used for:
  • the target object in the display content of the second electronic device is made to respond to the first touch operation.
  • the operation position of the first touch operation corresponds to a second object in the interface content of the first electronic device
  • the processing module is further configured to:
  • the response of the second object to the first touch operation is shielded.
  • the first touch operation includes at least a click operation and a first sliding operation
  • the target object includes at least an application program and a function control.
  • processing module is specifically used for:
  • the cursor is moved in the display content of the second electronic device.
  • the starting operation position corresponding to the second sliding operation corresponds to a third object in the interface content of the first electronic device, and the processing module is further configured to:
  • the response of the third object to the second touch operation is shielded.
  • processing module is further used for:
  • the target object in the display content of the second electronic device is made to respond to the click operation.
  • the operating position of the click operation corresponds to a fourth object in the interface content of the first electronic device, and the processing module is further configured to:
  • the second electronic device further displays: a ray, and the end point of the ray is the cursor.
  • processing module is further used for:
  • the second event is executed on the front-end application of the first electronic device.
  • the processing module is further configured to receive a second operation on the display screen of the first electronic device, and the second operation is a preset shortcut operation, and causes the first electronic device to respond In the second operation.
  • the operation position of the second operation corresponds to a fifth object in the interface content of the second electronic device, and the fifth object does not respond to the first operation.
  • the preset shortcut operations include at least:
  • the processing module is further configured to reduce the display brightness of the display screen of the first electronic device.
  • processing module is specifically used for:
  • a second sliding operation on the display screen of the first electronic device is received, the displacement of the cursor is determined according to the second sliding operation, and the displacement is made based on the displacement.
  • the cursor moves in the display content of the second electronic device, and the first application and the second application are different applications.
  • An embodiment of the present application also provides a first electronic device, the first electronic device is connected to the second electronic device, the first electronic device includes a touch screen, and the second electronic device is an enhanced display AR device, a virtual A reality VR device or a mixed reality MR device, the first electronic device includes:
  • a processing module configured to use the handle or the first electronic device as a control device of the second electronic device when the handle establishes a connection with the second electronic device;
  • the first electronic device When only the first electronic device establishes a connection with the second electronic device, the first electronic device is used as the control device of the second electronic device.
  • processing module is specifically used for:
  • control device of the second electronic device is switched from the handle to the first electronic device.
  • processing module is specifically used for:
  • Receive a first interaction mode switching instruction sent by the handle generate a corresponding first interaction mode switching instruction based on receiving a second operation on the first electronic device, or receive a first interaction mode sent by the second electronic device Switch instruction.
  • processing module is specifically used for:
  • the first electronic device as a control device of the second electronic device
  • the first electronic device further includes an acquiring module, configured to receive a second interactive mode switching instruction
  • the processing module is specifically configured to switch the control device of the second electronic device from the first electronic device to the handle in response to the second interaction mode switching instruction.
  • processing module is specifically used for:
  • Receive a second interaction mode switching instruction sent by the handle generate a corresponding second interaction mode switching instruction based on receiving a second operation on the first electronic device, or receive a second interaction mode sent by the second electronic device Switch instruction.
  • the second electronic device displays a cursor and interface content of the first electronic device
  • the processing module is specifically configured to:
  • the interface content is the interface content of the front-end application of the first electronic device.
  • processing module is specifically used for:
  • the cursor is moved on the display content of the second electronic device based on the pose change information.
  • processing module is further used for:
  • the target object in the display content of the second electronic device is made to respond to the first touch operation.
  • processing module is further used for:
  • the cursor is moved in the display content of the second electronic device.
  • processing module is further used for:
  • the target object in the display content of the second electronic device is made to respond to the click operation.
  • An embodiment of the application also provides an electronic device, including:
  • the sending module is used to display the interface content of the first electronic device in the second electronic device, where the first electronic device includes a touch screen, and the second electronic device is an augmented display AR device, a virtual reality VR device or a hybrid Realistic MR equipment;
  • the processing module is configured to receive a first operation acting on the first display screen of the first electronic device; make the interface content displayed by the second electronic device respond to the first operation; wherein, the The operating position of the first operation corresponds to the first object in the interface content of the first electronic device; the first object does not respond to the first operation.
  • the causing the interface content displayed by the second electronic device to respond to the first operation specifically includes:
  • the electronic device further includes:
  • Projecting the cursor on the second electronic device allows the second electronic device to display the cursor.
  • the position corresponding to the cursor in the interface content displayed by the first electronic device is the first position.
  • the determining the first position in the interface content displayed by the first electronic device includes:
  • the first position of the cursor in the interface content displayed by the first electronic device is determined based on the pose change information.
  • the pose change information includes a first rotation angle of the first electronic device on a horizontal plane and a second rotation angle of the first electronic device on a vertical plane, and the pose is based on the
  • the change information determining the first position of the cursor in the interface content displayed by the first electronic device includes:
  • the first position of the cursor in the interface content displayed by the first electronic device is determined according to the horizontal displacement and the vertical displacement.
  • the pose change information includes a first displacement of the first electronic device in a first direction and a second displacement of the first electronic device in a second direction.
  • the left and right movement direction of the cursor displayed on the second electronic device is parallel, the second direction is parallel to the up and down movement direction of the cursor displayed on the second electronic device, and it is determined based on the pose change information that the cursor is at.
  • the first position in the interface content displayed by the first electronic device includes:
  • the first position of the cursor in the interface content displayed by the first electronic device is determined according to the horizontal displacement and the vertical displacement.
  • the first operation includes at least a click operation and a first sliding operation
  • the first object includes at least one of an application program and a function control.
  • the determining the first position in the interface content displayed by the first electronic device includes:
  • the first position of the cursor in the interface content displayed by the first electronic device is determined according to the displacement of the cursor.
  • the first operation includes at least a click operation
  • the first object includes at least one of an application program and a function control.
  • the electronic device further includes:
  • the electronic device further includes:
  • the menu bar is displayed in the second electronic device.
  • FIG. 29 is a schematic flowchart of an operation method applied to screen projection according to an embodiment of the application, in which the first electronic device has a first display screen, and the second electronic device has a second display screen; As shown in 29, the operation method applied to screen projection provided by the embodiment of the present application includes:
  • the first electronic device projects the interface content of the first electronic device on the second electronic device, so that the second display screen of the second electronic device displays the interface content.
  • the first electronic device may install an enhanced interactive service, and the enhanced interactive service may monitor the screen projection connection status of the first electronic device.
  • the enhanced interactive service can detect that the first electronic device and the second electronic device establish a screen projection connection.
  • the first electronic device after detecting that the first electronic device and the second electronic device have established a screen projection connection, projects the content of the interface displayed on the first display screen on the second electronic device, so that all The second display screen displays the interface content.
  • the first electronic device may generate a cursor, and project the cursor on the second electronic device, so that the second display screen displays the cursor.
  • the first electronic device may generate a cursor, and project the cursor on the second electronic device, so that the second display screen displays the cursor.
  • the first electronic device may generate a menu bar, and project the menu bar on the second electronic device, so that the second display screen displays the menu bar.
  • the first electronic device may generate a menu bar, and project the menu bar on the second electronic device, so that the second display screen displays the menu bar.
  • the first electronic device may obtain the pose change information of the first electronic device, and based on the pose change information, cause the cursor to move on the content displayed on the second display screen.
  • the cursor may move on the display screen of the second electronic device based on the posture change information of the first electronic device, reference may be made to the description in the foregoing embodiment, which will not be repeated here.
  • the first electronic device may determine the first position in the interface content displayed by the first electronic device, so that the interface content displayed on the second display screen is based on the first position. Respond to an operation; wherein the first position has nothing to do with the operation position of the first operation.
  • the first electronic device may obtain the pose change information of the first electronic device, and determine the first position of the cursor in the interface content displayed by the first electronic device based on the pose change information . At this time, the position corresponding to the cursor in the interface content displayed by the first electronic device is the first position.
  • the first electronic device may also receive a second sliding operation acting on the first display screen, determine the displacement of the cursor according to the second sliding operation, and make the cursor move based on the displacement of the cursor Move on the content displayed on the second display screen.
  • a second sliding operation acting on the first display screen
  • determine the displacement of the cursor according to the second sliding operation and make the cursor move based on the displacement of the cursor Move on the content displayed on the second display screen.
  • the first electronic device may receive a second sliding operation on the display screen of the first electronic device, determine the displacement of the cursor according to the second sliding operation, and determine the displacement of the cursor according to the displacement of the cursor The first position of the cursor in the interface content displayed by the first electronic device.
  • the interface content displayed on the second display screen may be compared to the first position based on the first position.
  • the operation responds.
  • the display brightness of the first display screen may be reduced; or, the first display screen may be turned off. Screen operation.
  • the first electronic device receives a first operation acting on the first display screen of the first electronic device; causes the interface content displayed on the second display screen to respond to the first operation; wherein The operation position of the first operation corresponds to the first object in the interface content of the first electronic device; the first object does not respond to the first operation.
  • the first object may include at least one of an application program and a function control.
  • the first electronic device can shield the response of the content of the current application to the operating position of the first operation, that is, the operating position of the first operation is on the interface of the first electronic device
  • the content corresponds to the first object, and the first object does not respond to the first operation.
  • the first electronic device may shield the response of the interface content to the operation position of the first operation, but determine that the cursor is in the second display
  • the position on the screen determines the response position (first position) of the interface content to the first operation.
  • the first electronic device can shield the A object from clicking
  • the response of the operation is to respond to the above-mentioned click operation on the B object of the interface content.
  • the first position is not related to the operating position of the first operation, but only related to the position of the cursor on the second display screen of the second electronic device.
  • the first electronic device responds to the first operation at the first position of the content displayed on the first display screen, and the second display screen of the second electronic device also simultaneously displays the first display screen
  • the displayed content is the content updated after responding to the first operation at the first position, that is, the content displayed on the second display screen is made to respond to the first operation.
  • the interface content of the first electronic device is projected on the second electronic device, so that the second display screen of the second electronic device displays the interface content; The first operation on the first display screen; making the interface content displayed on the second display screen respond to the first operation; wherein the operation position of the first operation is on the first electronic device
  • the interface content corresponds to the first object; the first object does not respond to the first operation.
  • the content in the first display screen does not respond to the first object corresponding to the operating position where the first operation is located, and the second display The content displayed on the screen responds to the first operation, so that the user can operate the first display screen based on the content displayed on the second display screen instead of watching the content on the first display screen of the first electronic device. content.
  • An embodiment of the present application also provides a first electronic device, and the first electronic device includes:
  • a processing module configured to project the interface content of the first electronic device on the second electronic device, so that the second display screen of the second electronic device displays the interface content
  • the processing module is further configured to receive a first operation acting on the first display screen of the first electronic device; make the interface content displayed on the second display screen respond to the first operation; wherein The operation position of the first operation corresponds to the first object in the interface content of the first electronic device; the first object does not respond to the first operation.
  • processing module is specifically used for:
  • a first position is determined in the interface content displayed by the first electronic device; the interface content displayed on the second display screen is made to respond to the first operation based on the first position; wherein, all The first position is independent of the operating position of the first operation.
  • processing module is further used for:
  • Projecting the cursor on the second electronic device causes the second display screen to display the cursor.
  • the position corresponding to the cursor in the interface content displayed by the first electronic device is the first position.
  • processing module is specifically used for:
  • the first position of the cursor in the interface content displayed by the first electronic device is determined based on the pose change information.
  • the pose change information includes a first rotation angle of the first electronic device on a horizontal plane and a second rotation angle of the first electronic device on a vertical plane.
  • the processing module is specifically used in:
  • the first position of the cursor in the interface content displayed by the first electronic device is determined according to the horizontal displacement and the vertical displacement.
  • the pose change information includes a first displacement of the first electronic device in a first direction and a second displacement of the first electronic device in a second direction.
  • the left and right movement direction of the cursor displayed on the display screen of the second electronic device is parallel, and the second direction is parallel to the up and down movement direction of the cursor displayed on the display screen of the second electronic device.
  • the processing module is specifically used in:
  • the first position of the cursor in the interface content displayed by the first electronic device is determined according to the horizontal displacement and the vertical displacement.
  • the first operation includes at least a click operation and a first sliding operation
  • the first object includes at least one of an application program and a function control.
  • processing module is specifically used for:
  • the first position of the cursor in the interface content displayed by the first electronic device is determined according to the displacement of the cursor.
  • the first operation includes at least a click operation
  • the first object includes at least one of an application program and a function control.
  • the first operation is a preset shortcut operation
  • the processing module is further used for:
  • the first electronic device is caused to respond to the first operation.
  • the operation position of the first operation corresponds to a third object in the interface content of the second electronic device, and the third object does not respond to the first operation.
  • the preset shortcut operations include at least:
  • processing module is further used for:
  • processing module is further used for:
  • Projecting the menu bar on the second electronic device causes the second display screen to display the menu bar.
  • processing module is further used for:
  • the embodiment of the present application also provides a method for controlling multi-application display.
  • the second electronic device (such as a large screen, TV, AR, VR, or MR device, etc.) may display multiple display interfaces of the first electronic device in an imaging system (such as a display screen, glasses, etc. imaging system) therein.
  • an imaging system such as a display screen, glasses, etc. imaging system
  • the first electronic device can generate a menu bar when the second electronic device establishes content transmission, and this menu bar can be displayed in the imaging system of the second electronic device.
  • a new independent display interface such as a mobile phone interface
  • an independent mobile phone interface can be added to the imaging system.
  • the state of the new interface can be the home interface of the mobile phone, or the current display interface of the mobile phone, or it can be preset
  • the predetermined default interface may also be an interface of a certain preset application, a copy interface of the mobile phone interface currently displayed by the imaging system, or a random interface; the present invention is only an example and is not limited. Since multiple independent interfaces (such as the first interface and the second interface) of the mobile phone can be presented in the imaging system, the content on the large screen will become richer.
  • the user can also choose to run a new application in the imaging system, and a new independent application interface will be generated in the imaging system of the second electronic device.
  • the user can click on a title in the application to open a new independent interface at the second level of the application extension, such as a chat with a specific contact in WeChat, such as a specific article in a news app.
  • the interface content of the N applications can be displayed on the imaging device respectively.
  • the N display areas in the system when the user establishes content connection and transmission between the first electronic device and the second electronic device, and the first electronic device has already run N applications, correspondingly, the interface content of the N applications can be displayed on the imaging device respectively.
  • the foregoing multiple interface contents may be distributed without overlap, or may be distributed in a layered manner (maintaining the display interface of the frontmost application currently running to be displayed at the front end), which is not limited by this application.
  • the first electronic device may generate a cursor when the second electronic device establishes content transmission (as in the above-mentioned method for generating a cursor), which can be displayed in the imaging system through data transmission.
  • the moving range of the cursor can be adapted to the entire range of the imaging system.
  • the first electronic device may first obtain parameter information of the imaging system, such as the size of the large-screen display screen, the field of view parameters of the ARVR device, etc.; based on the parameter information, the cursor's movement range and mapping rules are determined, and no more It is limited to a single first electronic device display interface, but can be operated across multiple different first electronic device display interfaces, which can reach the display boundary of the entire imaging system.
  • the operating range of the cursor in the imaging system can cover the content in the multiple first electronic device display interfaces, and the display interfaces can be displayed on the multiple first electronic devices. Move freely in.
  • the cursor is used to determine the operation object in the content of the entire display range of the imaging system.
  • the operation object may be an object in the display interface of the first electronic device, or may be another object in the imaging system that does not belong to the object in the display interface of the first electronic device.
  • the user can control the position of the cursor in the imaging system by adjusting the position and posture of the first electronic device (which can also be understood as posture in this embodiment) or sliding the screen of the first electronic device to control the position of the cursor in the imaging system.
  • the operation target is determined in the content displayed in the imaging system according to the user's operation.
  • the starting position of the sliding operation corresponds to the first object in the interface content of the first electronic device; the first object does not respond to the sliding operation. It should be understood that the sliding operation is a random operation that can be performed multiple times. The longer the trajectory of the first sliding operation, the larger the moving range of the corresponding cursor in the imaging system.
  • the cursor when the cursor is located on an object in the imaging system (including but not limited to application icons, function keys, unrestricted types of options, or preset positions (such as blanks, ), etc.), it indicates that the The object is confirmed as an operation object.
  • the user inputs an operation indicating "confirmation" on the terminal, such as a button, touch, click, or special sliding, etc., and the operation object will respond to the "confirmation" command .
  • entering an application enabling a certain function key, selecting a certain option, generating a certain shortcut operation, etc., are not exhaustively listed in the present invention.
  • the content of the interface of the first electronic device can be adapted to the content in the imaging system.
  • the current interface content of the first electronic device may be "single screen". For example, if the cursor in the display interface of the imaging system is located on the first application interface, then the interface content of the first electronic device is also synchronized to the first application interface at this time; if the cursor in the imaging system is switched from the first application interface to the second application interface Interface, the interface content of the first electronic device is also switched from the first application interface to the second application interface at this time.
  • the content of the interface of the first electronic device may be "multi-screen", for example, the display interface of the first electronic device keeps corresponding to all the display interfaces in the second electronic device.
  • the display interface in the imaging system includes the first application interface and the second application interface
  • the interface content of the first electronic device is also synchronized to the first application interface and the second application interface at this time; if the display interface in the imaging system
  • the first application interface, the second application interface, and the third application interface are included in the application interface.
  • the interface content of the first electronic device is also synchronized to the first application interface, the second application interface, and the third application interface.
  • the display brightness of the first electronic device can be reduced; or, the screen of the first electronic device can be turned off.
  • this application proposes a novel touch screen-based control method.
  • the method can be applied to screen projection scenarios, which can include smart terminal devices such as mobile phones, tablets, notebooks, etc., transmitting and projecting data content to large display terminals such as TVs and large screens; and can also include the above smart terminals
  • the device performs data content transmission and projection to imaging devices such as AR, VR, MR, etc.; this application is only illustrative and does not constitute any limitation.
  • This method can be applied to both universal screen projection application scenarios and demonstration application scenarios; for example, a user explains the content of the terminal to multiple audiences. At this time, the user needs to interact more with the audience. Interaction is not suitable for always staring at the terminal screen.
  • the terminal itself is transformed into a content source device and a control device at the same time.
  • the present invention can also be applied to the blind operation of AR, VR and other equipment; for example, when the user wears AR, VR, MR equipment, the user’s eyes have been blocked, and the terminal screen is invisible to the user at this time, but the mobile phone usually It is the content input source of AR, VR, MR equipment, so users need to operate the mobile phone.
  • the existing technology needs to use the handle to realize the control, and the present invention creatively combines
  • the touch screen of the mobile phone becomes a touchpad, and the user can control the first electronic device by looking at the cursor perception and feedback in the display of the second electronic device.
  • the first electronic device can be used as both a content source and a touch device. Help users realize blind operation and streamline the entire communication system.
  • This method can be applied to a first electronic device, where the first electronic device can include, but is not limited to, mobile phones, tablets, notebooks, and other portable small smart terminals; the first electronic device includes one or more touch screens, which can be used On the interface of the display terminal; referring to Figure 31, the method may include:
  • the second electronic device may include, but is not limited to, the above-mentioned televisions, large screens, displays, AR, VR or MR and other display devices; it should be understood that AR, VR or MR do not have a large display volume, but they are when the user wears them.
  • the glasses that are close to the user will also produce a considerable viewing field, so it can also be understood as a kind of projection screen.
  • the first electronic device includes, but is not limited to, the aforementioned smart terminals such as mobile phones, tablet computers, and notebooks.
  • the method for establishing a screen projection connection can refer to the related description in the foregoing embodiment, such as wireless direct connection or command switching in setting options, which will not be repeated here.
  • the first electronic device and the second electronic device when the first electronic device and the second electronic device establish a screen projection connection, it can be understood as any moment when the first electronic device and the second electronic device are in the screen projection state; for example, it can include the establishment of the projection connection between the first electronic device and the second electronic device.
  • the touch screen of the first electronic device can be used as a touch panel immediately, that is, the first electronic device is triggered to call the preset touch panel event processing System, and shield the factory default touch screen event processing system of the first electronic device.
  • the interface of the first electronic device or related settings may include a first function control; the first function control may be used to respond to the user's first switching command and instruct the first electronic device to call
  • the preset touch panel event processing system also shields the factory default touch screen event processing system of the first electronic device.
  • touch screen event processing system and the touch panel event processing system are both mature existing technologies when viewed individually.
  • the touch screen is a set of command system/event processing system for positioning based on absolute coordinates. You can directly click where you want to locate, without a cursor; the response position of the touch is related to the actual operation position of the touch.
  • the touchpad is a set of command system/event processing system for positioning based on relative coordinates. It requires a cursor to indicate the operating position in the interface in real time, and senses the movement of the user's finger to move the cursor, or senses the touch of the user's finger to perform confirmation Such operations can be understood as a substitute for a mouse; the response position to the touch is not related to the actual operation position of the touch, but is related to the cursor position.
  • touch operations on a touch screen can include the most basic three operations:
  • xy can represent the actual touch position or actual operation position of the touch operation on the screen.
  • the relative position of the touch operation is used to control the cursor, and the initial position of the cursor is default or random.
  • an air mouse event processing system similar to the touchpad event processing system can be defined in advance, and the position of the cursor in the interface can be changed by changing the posture of the mobile phone; the specific implementation method can refer to the related description in the foregoing embodiment.
  • a possible implementation of the touch screen event processing system and the air mouse event processing system can refer to Table 2 below:
  • the operation mode of the air mouse event processing system Change cursor position / Change the phone posture confirm Press down Press at the cursor the end Lift up Lift up Drag object slide After long press, change the phone posture return Click the back button Full screen gestures: slide the side of the screen to the center Enter the main interface Click the Home button Full screen gestures: swipe up at the bottom of the screen To ... ...
  • the event processing systems in Table 1 and Table 2 can be called independently or in combination.
  • the position of the cursor in the interface can be changed by sliding operation, or the position of the cursor in the interface can be changed by changing the posture of the mobile phone, and the position of the cursor in the interface can also be changed by sliding operation and changing the posture of the mobile phone. That is, the touchpad event processing system is used in conjunction with the air mouse event processing system; some of the same command definitions can be reused.
  • touchpad event processing system or the air mouse event processing system mentioned above may include more or less function definitions than those in the related examples.
  • Any preset event processing system can be defined in advance, The number, type, and trigger mode can be flexibly defined by users or developers based on experience or needs, so that consumers can freely define and call the preset event processing system according to different scenarios when using the terminal.
  • the examples of this application are not exhaustive and limited.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Position Input By Displaying (AREA)

Abstract

一种信息处理方法，包括：第一电子设备与第二电子设备建立连接，其中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强显示AR设备、虚拟现实VR设备或混合现实MR设备；基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。通过上述方式，可以将带有触摸屏的第一电子设备代替手柄作为AR设备/VE设备/MR设备的控制设备。

Description

一种信息处理方法及电子设备 技术领域
本申请涉及电子技术领域，尤其涉及一种信息处理方法及电子设备。
背景技术
随着增强现实(augmented reality，AR)、虚拟现实(virtual reality，VR)技术和混合现实(mix reality，MR)的普及，AR设备、VR设备和MR设备已经被广泛使用在工作、娱乐等许多场景。与传统的终端设备不同，当前AR设备、VR设备和MR设备使用独立手柄作为主要交互方案。
然而，AR设备、VR设备和MR设备的手柄较大较重，操控系统复杂，长时间使用容易导致疲劳。
一些演示场景中，用户需要额外的激光笔等控制设备来演示，也同样导致操控系统对于第三方硬件有较高依赖。
发明内容
第一方面，本申请实施例提供了一种信息处理方法，包括：
第一电子设备与第二电子设备建立连接，其中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强显示AR设备、虚拟现实VR设备或混合现实MR设备；
获取对所述第一电子设备的第一操作；
基于对所述第一电子设备的第一操作，控制所述光标在所述第二电子设备的显示位置。
可选的，在第一方面的一种设计中，所述界面内容为所述第一电子设备前端应用的界面内容。
可选的，在第一方面的一种设计中，所述第二电子设备还显示：菜单栏，所述菜单栏不属于所述第一电子设备的界面内容。
可选的，在第一方面的一种设计中，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备上的显示位置，包括：
获取所述第一电子设备的位姿变化信息，即姿态变化；
基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
可选的，在第一方面的一种设计中，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动，包括：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上 移动。
可选的，在第一方面的一种设计中，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动，包括：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
可选的，在第一方面的一种设计中，所述方法还包括：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
可选的，在第一方面的一种设计中，所述第一触摸操作的操作位置对应于所述第一电子设备的界面内容中的第二对象，所述方法还包括：
屏蔽所述第二对象对所述第一触摸操作的响应。
可选的，在第一方面的一种设计中，所述第一触摸操作至少包括点击操作和第一滑动操作，所述目标对象至少包括应用程序和功能控件。
可选的，在第一方面的一种设计中，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置包括：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
可选的，在第一方面的一种设计中，所述第二滑动操作对应的起始操作位置对应于所述第一电子设备的界面内容中的第三对象，所述方法还包括：
屏蔽所述第三对象对所述第二触摸操作的响应。
可选的，在第一方面的一种设计中，所述方法还包括：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
可选的，在第一方面的一种设计中，所述点击操作的操作位置对应于所述第一电子设备的界面内容中的第四对象，所述方法还包括：
屏蔽所述第四对象对所述点击操作的响应。
可选的，在第一方面的一种设计中，所述第二电子设备还显示：射线，所述射线的终点为所述光标。
可选的，在第一方面的一种设计中，所述方法还包括：
接收到对第一电子设备的物理按键的按压操作；
根据所述按压操作生成对应的第二事件；
对所述第一电子设备前端应用执行所述第二事件。
可选的，在第一方面的一种设计中，所述方法还包括：
接收对所述第一电子设备的显示屏的第二操作，且所述第二操作为预设的快捷操作；
所述第一电子设备响应于所述第二操作。
可选的，在第一方面的一种设计中，所述第二操作的操作位置对应所述第二电子设备的界面内容中的第五对象，所述第五对象不响应所述第一操作。
可选的，在第一方面的一种设计中，所述预设的快捷操作至少包括：
接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设方向滑动；
接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏的时间大于预设时间。
可选的，在第一方面的一种设计中，所述方法还包括：
降低所述第一电子设备的显示屏的显示亮度；或，
对所述第一电子设备的显示屏执行熄屏操作。
可选的，在第一方面的一种设计中，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备上的显示位置，包括：
基于所述第二电子设备上显示第一应用，获取所述第一电子设备的位姿变化信息，基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动；
基于所述第二电子设备上显示第二应用，接收对所述第一电子设备的显示屏的第二滑动操作，根据所述第二滑动操作确定所述光标的位移，基于所述位移使得所述光标在所述第二电子设备的显示内容中移动，所述第一应用与所述第二应用为不同的应用。
第二方面，本申请提供了一种信息处理方法，所述方法应用于第一电子设备，所述第一电子设备与所述第二电子设备连接，所述第一电子设备包括触摸屏，所述第二电子设备为增强显示AR设备、虚拟现实VR设备或混合现实MR设备，所述方法包括：
当手柄与所述第二电子设备建立连接时，将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备；
当仅有所述第一电子设备与所述第二电子设备建立连接时，将所述第一电子设备作为所述第二电子设备的控制设备。
可选的，在第二方面的一种设计中，所述将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备，包括：
将所述手柄作为所述第二电子设备的控制设备；
接收第一交互模式切换指令；
响应于所述第一交互模式切换指令，将所述第二电子设备的控制设备由所述手柄切换为所述第一电子设备。
可选的，在第二方面的一种设计中，所述接收第一交互模式切换指令，包括：
接收所述手柄发送的第一交互模式切换指令、基于接收对所述第一电子设备的第二操作，生成对应的第一交互模式切换指令或接收所述第二电子设备发送的第一交互模式切换 指令。
可选的，在第二方面的一种设计中，所述将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备，包括：
将所述第一电子设备作为所述第二电子设备的控制设备；
接收第二交互模式切换指令；
响应于所述第二交互模式切换指令，将所述第二电子设备的控制设备由所述第一电子设备切换为所述手柄。
可选的，在第二方面的一种设计中，所述接收第二交互模式切换指令，包括：
接收所述手柄发送的第二交互模式切换指令、基于接收对所述第以电子设备的第二操作，生成对应的第二交互模式切换指令或接收所述第二电子设备发送的第二交互模式切换指令。
可选的，在第二方面的一种设计中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，所述将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备，包括：
基于对所述手柄的操作，控制所述光标在所述第二电子设备的显示位置；
基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。
可选的，在第二方面的一种设计中，所述界面内容为所述第一电子设备前端应用的界面内容。
可选的，在第二方面的一种设计中，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备上的显示位置，包括：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
可选的，在第二方面的一种设计中，所述方法还包括：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
可选的，在第二方面的一种设计中，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置包括：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
可选的，在第二方面的一种设计中，所述方法还包括：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
第三方面，本申请提供了一种电子设备，包括：
发送模块，用于与第二电子设备建立连接，其中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，其中，所述第一电子设备包括触摸屏，所述第二电子设备为 增强显示AR设备、虚拟现实VR设备或混合现实MR设备；
处理模块，用于获取对所述第一电子设备的操作，基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。
可选的，在第三方面的一种设计中，所述界面内容为所述第一电子设备前端应用的界面内容。
可选的，在第三方面的一种设计中，所述第二电子设备还显示：菜单栏，所述菜单栏不属于所述第一电子设备的界面内容。
可选的，在第三方面的一种设计中，所述处理模块，具体用于获取所述第一电子设备的位姿变化信息，并基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
可选的，在第三方面的一种设计中，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述处理模块，具体用于：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
可选的，在第三方面的一种设计中，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述处理模块，具体用于：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
可选的，在第三方面的一种设计中，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
可选的，在第三方面的一种设计中，所述第一触摸操作的操作位置对应于所述第一电子设备的界面内容中的第二对象，所述处理模块，还用于：
屏蔽所述第二对象对所述第一触摸操作的响应。
可选的，在第三方面的一种设计中，所述第一触摸操作至少包括点击操作和第一滑动操作，所述目标对象至少包括应用程序和功能控件。
可选的，在第三方面的一种设计中，所述处理模块，具体用于：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
可选的，在第三方面的一种设计中，所述第二滑动操作对应的起始操作位置对应于所述第一电子设备的界面内容中的第三对象，所述处理模块，还用于：
屏蔽所述第三对象对所述第二触摸操作的响应。
可选的，在第三方面的一种设计中，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
可选的，在第三方面的一种设计中，所述点击操作的操作位置对应于所述第一电子设备的界面内容中的第四对象，所述处理模块，还用于：
屏蔽所述第四对象对所述点击操作的响应。
可选的，在第三方面的一种设计中，所述第二电子设备还显示：射线，所述射线的终点为所述光标。
可选的，在第三方面的一种设计中，所述处理模块，还用于：
接收到对第一电子设备的物理按键的按压操作；
根据所述按压操作生成对应的第二事件；
对所述第一电子设备前端应用执行所述第二事件。
可选的，在第三方面的一种设计中，所述处理模块，还用于接收对所述第一电子设备的显示屏的第二操作，且所述第二操作为预设的快捷操作，并使得所述第一电子设备响应于所述第二操作。
可选的，在第三方面的一种设计中，所述第二操作的操作位置对应所述第二电子设备的界面内容中的第五对象，所述第五对象不响应所述第一操作。
可选的，在第三方面的一种设计中，所述预设的快捷操作至少包括：
接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设方向滑动；
接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏的时间大于预设时间。
可选的，在第三方面的一种设计中，所述处理模块，还用于降低所述第一电子设备的显示屏的显示亮度；或，
对所述第一电子设备的显示屏执行熄屏操作。
可选的，在第三方面的一种设计中，所述处理模块，具体用于：
基于所述第二电子设备上显示第一应用，获取所述第一电子设备的位姿变化信息，基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动；
基于所述第二电子设备上显示第二应用，接收对所述第一电子设备的显示屏的第二滑动操作，根据所述第二滑动操作确定所述光标的位移，基于所述位移使得所述光标在所述第二电子设备的显示内容中移动，所述第一应用与所述第二应用为不同的应用。
第四方面，本申请提供了一种第一电子设备，所述第一电子设备与所述第二电子设备连接，所述第一电子设备包括触摸屏，所述第二电子设备为增强显示AR设备、虚拟现实VR设备或混合现实MR设备，所述第一电子设备包括：
处理模块，用于当手柄与所述第二电子设备建立连接时，将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备；
当仅有所述第一电子设备与所述第二电子设备建立连接时，将所述第一电子设备作为所述第二电子设备的控制设备。
可选的，在第四方面的一种设计中，所述处理模块，具体用于：
将所述手柄作为所述第二电子设备的控制设备；
接收第一交互模式切换指令；
响应于所述第一交互模式切换指令，将所述第二电子设备的控制设备由所述手柄切换为所述第一电子设备。
可选的，在第四方面的一种设计中，所述处理模块，具体用于：
接收所述手柄发送的第一交互模式切换指令、基于接收对所述第一电子设备的第二操作，生成对应的第一交互模式切换指令或接收所述第二电子设备发送的第一交互模式切换指令。
可选的，在第四方面的一种设计中，所述处理模块，具体用于：
将所述第一电子设备作为所述第二电子设备的控制设备；
所述第一电子设备还包括获取模块，用于接收接收第二交互模式切换指令；
所述处理模块，具体用于响应于所述第二交互模式切换指令，将所述第二电子设备的控制设备由所述第一电子设备切换为所述手柄。
可选的，在第四方面的一种设计中，所述处理模块，具体用于：
接收所述手柄发送的第二交互模式切换指令、基于接收对所述第以电子设备的第二操作，生成对应的第二交互模式切换指令或接收所述第二电子设备发送的第二交互模式切换指令。
可选的，在第四方面的一种设计中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，所述处理模块，具体用于：
基于对所述手柄的操作，控制所述光标在所述第二电子设备的显示位置；
基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。
可选的，在第四方面的一种设计中，所述界面内容为所述第一电子设备前端应用的界面内容。
可选的，在第四方面的一种设计中，所述处理模块，具体用于：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
可选的，在第四方面的一种设计中，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
可选的，在第四方面的一种设计中，所述处理模块，还用于：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
可选的，在第四方面的一种设计中，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
第五方面，本申请提供了一种信息处理方法，所述方法包括：
将第一电子设备的界面内容显示在第二电子设备中，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强显示AR设备、虚拟现实VR设备或混合现实MR设备；
接收作用于所述第一电子设备的第一显示屏上的第一操作；使得所述第二电子设备显示的所述界面内容响应于所述第一操作；其中，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象；所述第一对象不响应所述第一操作。
可选的，在第五方面的一种设计中，所述使得所述第二电子设备显示的所述界面内容响应于所述第一操作，具体包括：
在所述第一电子设备显示的界面内容中确定出第一位置；使得所述第二电子设备显示的所述界面内容基于所述第一位置对所述第一操作做出响应；其中，所述第一位置与所述第一操作的操作位置无关。
可选的，在第五方面的一种设计中，所述方法还包括：
将所述光标投屏在所述第二电子设备中，使得所述第二电子设备显示所述光标。
可选的，在第五方面的一种设计中，所述光标在所述第一电子设备显示的界面内容中对应的位置为第一位置。
可选的，在第五方面的一种设计中，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，在第五方面的一种设计中，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，在第五方面的一种设计中，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备上显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，在第五方面的一种设计中，所述第一操作至少包括点击操作和第一滑动操作，所述第一对象至少包括应用程序和功能控件中的一种。
可选的，在第五方面的一种设计中，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
根据所述光标的位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，在第五方面的一种设计中，所述第一操作至少包括点击操作，所述第一对象至少包括应用程序和功能控件中的一种。
可选的，在第五方面的一种设计中，所述方法还包括：
降低所述第一显示屏的显示亮度；或，
对所述第一显示屏执行熄屏操作。
可选的，在第五方面的一种设计中，所述方法还包括：
将所述菜单栏显示在所述第二电子设备中。
第六方面，本申请提供了一种电子设备，包括：
发送模块，用于将第一电子设备的界面内容显示在第二电子设备中，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强显示AR设备、虚拟现实VR设备或混合现实MR设备；
处理模块，用于接收作用于所述第一电子设备的第一显示屏上的第一操作；使得所述第二电子设备显示的所述界面内容响应于所述第一操作；其中，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象；所述第一对象不响应所述第一操作。
可选的，在第六方面的一种设计中，所述使得所述第二电子设备显示的所述界面内容响应于所述第一操作，具体包括：
在所述第一电子设备显示的界面内容中确定出第一位置；使得所述第二电子设备显示的所述界面内容基于所述第一位置对所述第一操作做出响应；其中，所述第一位置与所述第一操作的操作位置无关。
可选的，在第六方面的一种设计中，所述方法还包括：
将所述光标投屏在所述第二电子设备中，使得所述第二电子设备显示所述光标。
可选的，在第六方面的一种设计中，所述光标在所述第一电子设备显示的界面内容中对应的位置为第一位置。
可选的，在第六方面的一种设计中，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一 位置。
可选的，在第六方面的一种设计中，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，在第六方面的一种设计中，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备上显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，在第六方面的一种设计中，所述第一操作至少包括点击操作和第一滑动操作，所述第一对象至少包括应用程序和功能控件中的一种。
可选的，在第六方面的一种设计中，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
根据所述光标的位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，在第六方面的一种设计中，所述第一操作至少包括点击操作，所述第一对象至少包括应用程序和功能控件中的一种。
可选的，在第六方面的一种设计中，所述方法还包括：
降低所述第一显示屏的显示亮度；或，
对所述第一显示屏执行熄屏操作。
可选的，在第六方面的一种设计中，所述方法还包括：
将所述菜单栏显示在所述第二电子设备中。
第七方面，本申请提供了一种电子设备，所述电子设备用作第一电子设备，包括处理器、输入设备、输出设备和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述第一电子设备执行如上述第一方面、第二方面或第五方面任一项所述的方法。
第八方面，本申请提供一种投屏系统，包括：如上述第一方面、第二方面或第五方面所述的第一电子设备，以及第二电子设备，所述第一电子设备与所述第二电子设备连接。
第九方面，本申请的实施例提供一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，当所述程序请求被计算机运行时使所述计算机执行如上述第一方面、第二方面或第五方面任一项所述的方法。
第十方面，本申请提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行如上述第一方面、第二方面或第五方面任一项所述的方法。
第十一方面，本申请提供一种操控方法，应用于与第二电子设备连接的第一电子设备，其中，所述第二电子设备包括成像系统；所述方法包括：
将所述第一电子设备运行的N个应用的界面内容分别显示在所述成像系统中的N个显示区域中；所述第一电子设备包括第一显示屏，N为大于1的整数；
将光标显示在所述成像系统中，所述光标用于在所述成像系统显示的内容中确定操作对象；
接收作用于所述第一显示屏上的第一滑动操作；
根据所述第一滑动操作确定所述光标在所述成像系统显示的内容中的位移；
其中，所述第一滑动操作的起始位置在所述第一电子设备的当前界面内容中对应于第一对象，所述第一对象不响应所述第一滑动操作，所述当前界面内容为所述N个应用的界面内容中的一个应用的界面内容。
可选的，在第十一方面的一种设计中，所述第二电子设备包括电视、AR设备、VR设备或MR设备。
可选的，在第十一方面的一种设计中，所述方法还包括：
根据所述光标在所述成像系统显示的N个应用的界面内容中确定第一操作对象，所述第一对象至少包括应用程序和功能控件；
接收第二操作，使所述第一操作对象响应于所述第二操作。
可选的，在第十一方面的一种设计中，所述方法还包括：
降低所述第一显示屏的显示亮度；或，
对所述第一显示屏执行熄屏操作。
可选的，在第十一方面的一种设计中，所述方法还包括：
将菜单栏显示在所述成像系统中；所述菜单栏包括用于在所述成像系统中增加或删减应用的界面内容的功能控件。
第十二方面，本申请提供一种第一电子设备，其特征在于，所述第一电子设备与第二电子设备连接；所述第一电子设备包括第一显示屏，所述第二电子设备包括成像系统；所述第一电子设备包括：
发送模块，用于将所述第一电子设备运行的N个应用的界面内容分别显示在所述成像系统中的N个显示区域中；所述第一电子设备包括第一显示屏，N为大于1的整数；还用于将光标显示在所述成像系统中，所述光标用于在所述成像系统显示的内容中确定操作对象；
处理模块，用于接收作用于所述第一显示屏上的第一滑动操作；并根据所述第一滑动操作确定所述光标在所述成像系统显示的内容中的位移；
其中，所述第一滑动操作的起始位置在所述第一电子设备的当前界面内容中对应于第 一对象，所述第一对象不响应所述第一滑动操作，所述当前界面内容为所述N个应用的界面内容中的一个应用的界面内容。
可选的，在第十二方面的一种设计中，所述第二电子设备包括电视、AR设备、VR设备或MR设备。
可选的，在第十二方面的一种设计中，所述处理模块还具体用于：
根据所述光标在所述成像系统显示的N个应用的界面内容中确定第一操作对象，所述第一对象至少包括应用程序和功能控件；
接收第二操作，使所述第一操作对象响应于所述第二操作。
可选的，在第十二方面的一种设计中，所述处理模块还用于：
降低所述第一显示屏的显示亮度；或，
对所述第一显示屏执行熄屏操作。
可选的，在第十二方面的一种设计中，所述发送模块还用于：
将菜单栏显示在所述成像系统中；所述菜单栏包括用于在所述成像系统中增加或删减应用的界面内容的功能控件。
第十三方面，本申请提供一种第一电子设备，其特征在于，所述第一电子设备包括：
处理器、输入设备、输出设备和存储器；
其中，所述输入设备用于接收数据和指令；所述输出设备用于发送数据和指令；所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述第一电子设备执行如第十一方面所述的方法。
第十四方面，本申请提供一种基于触摸屏的控制方法，该方法应用于第一电子设备，其中，第一电子设备包括触摸屏；触摸屏可以用于显示界面；方法包括：第一电子设备与第二电子设备建立投屏连接时，生成光标，光标显示在触摸屏的界面中；基于触摸屏中的界面内容生成投屏内容；投屏内容中包括光标；将投屏内容发送给第二电子设备；当接收用户在触摸屏上的目标触摸操作时，基于光标在当前界面中的显示位置响应目标触摸操作；其中，光标在当前界面中的显示位置用于指示当前界面中对于目标触摸操作的响应位置；响应位置与目标触摸操作在触摸屏上的操作位置不相关。所述第一电子设备包括手机或平板；所述第二电子设备包括显示器、电视、投影仪、AR设备、VR设备或者MR设备。
第十五方面，本申请提供一种基于触摸屏的控制装置，该装置应用于第一电子设备，其中，第一电子设备包括触摸屏；触摸屏可以用于显示界面；装置包括：生成模块，用于当第一电子设备与第二电子设备建立投屏连接时生成光标，光标显示在所述触摸屏的界面中；投屏模块，用于基于触摸屏中的界面内容生成投屏内容，并将投屏内容发送给第二电子设备，投屏内容中包括光标；接收模块，用于接收用户在触摸屏上的目标触摸操作；响应模块，用于基于光标在当前界面中的显示位置响应目标触摸操作；其中，光标在当前界面中的显示位置用于指示当前界面中对于目标触摸操作的响应位置；响应位置与目标触摸操作在触摸屏上的操作位置不相关。
根据第十四方面或第十五方面，在一种可能的设计中，当第一电子设备未与第二电子设备建立投屏连接时，触摸屏的界面中不包含有光标。投屏内容包括界面中的部分或全部内容，所述投屏内容用于使得所述第二电子设备的显示系统中呈现的部分或全部内容与所 述触摸屏中显示的部分或全部内容同步。投屏内容还包括所述第一电子设备运行的后台应用的界面，新绘制的菜单栏，或者预设功能控件中的至少一项。第一电子设备和第二电子设备都可以显示所述光标。
根据第十四方面或第十五方面，在一种可能的设计中，生成光标的方式包括：获取当前界面对应的前端应用的界面内容，并在界面内容中绘制光标；或者，绘制光标，并基于悬浮窗接口将光标添加到当前界面中；或者，绘制射线，并基于悬浮窗接口将射线与当前界面相交于终点；终点为光标。该方法可以由生成模块来执行。在后续的操作中，还可以接收预定义操作，所述预定义操作用于激活或隐藏所述光标的显示。
根据第十四方面或第十五方面，在一种可能的设计中，调用第一事件处理系统，并屏蔽触摸屏事件处理系统；将所述目标触摸操作重新解析为目标事件，并将所述目标事件注入所述第一事件处理系统，使得所述第一电子设备按照所述第一事件处理系统响应所述目标触摸操作。或者；调用第一事件处理系统；在所述当前界面上绘制一个透明的目标悬浮窗；所述目标悬浮窗用于屏蔽触摸屏事件处理系统；通过所述目标悬浮窗解析所述目标触摸操作对应的目标事件，并将所述目标事件注入所述第一事件处理系统，使得所述第一电子设备按照所述第一事件处理系统响应所述目标触摸操作；其中，基于所述触摸屏事件处理系统对所述目标触摸操作的响应与所述目标触摸操作在所述触摸屏上的操作位置有关；基于所述第一事件处理系统对所述目标触摸操作的响应与所述光标的位置有关，与所述目标触摸操作在所述触摸屏上的操作位置不相关。该方法可以由调用模块来执行。
根据第十四方面或第十五方面，在一种可能的设计中，在调用第一事件处理系统之前，方法还包括：检测到第一电子设备与第二电子设备建立投屏连接；或者，检测到用户输入的第一切换命令；第一切换命令用于指示第一电子设备调用第一事件处理系统并屏蔽触摸屏事件处理系统。该方法可以由检测模块执行。
根据第十四方面或第十五方面，在一种可能的设计中，可以降低所述触摸屏的显示亮度，或者将所述触摸屏息屏。可以由亮度控制模块执行。
根据第十四方面或第十五方面，在一种可能的设计中，当所述目标触摸操作为滑动操作时，第一电子设备根据所述滑动操作改变所述光标在所述当前界面中的位置。可以由响应模块执行。
根据第十四方面或第十五方面，在一种可能的设计中，当所述目标触摸操作为点击操作时，第一电子设备针对所述光标在所述当前界面中所对应的对象执行确认操作。可以由响应模块执行。
根据第十四方面或第十五方面，在一种可能的设计中，当所述目标触摸操作为长按后滑动操作时，第一电子设备可以滑动或拖动所述光标在界面中对应的对象。可以由响应模块执行。
根据第十四方面或第十五方面，在一种可能的设计中，当所述目标触摸操作使得所述光标在当前界面中的运动轨迹匹配预设快捷操作命令时，或者当所述目标触摸操作匹配预设快捷操作命令时，第一电子设备用执行所述快捷操作命令。目标触摸操作包括：由所述触摸屏的第一预设区域向第一预设方向滑动；或者，由所述触摸屏的第二预设区域向第二预设方向滑动，且接触所述触摸屏的时间大于预设时间；或者，点击所述触摸屏的次数达 到预设数量；或者，所述目标触摸操作的滑动轨迹满足预设图案。可以由响应模块执行。
根据第十四方面或第十五方面，在一种可能的设计中，方法还包括：启动多屏显示模式；在触摸屏的界面中创建N个虚拟屏幕；确定N个待显示界面；在N个虚拟屏幕中分别显示N个待显示界面；其中，N个待显示界面属于M个应用，M为不大于N的整数，N为大于1的整数；光标可位于N个虚拟屏幕中的任意位置。可以由多屏创建模块执行。
根据第十四方面或第十五方面，在一种可能的设计中，第一电子设备还可以获取第二切换指令；第二切换指令用于指示所述第一电子设备调用第二事件处理系统并屏蔽所述第一事件处理系统与所述触摸屏事件处理系统；调用所述第二事件处理系统；其中，当所述第一电子设备的姿态发生变化时，基于所述第二事件处理系统对所述第一电子设备的姿态变化的响应为改变所述光标在所述当前界面中的位置。例如，根据左右方向上的旋转角确定光标的水平位移，根据上下方向的旋转角确定光标的竖直位移。第一事件处理系统可以是触摸板事件处理系统，第二事件处理系统可以是空鼠事件处理系统。任一事件处理系统可以被灵活定义。可以由调用模块执行。
本申请实施例提供了一种信息处理方法，包括：第一电子设备与第二电子设备建立连接，其中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强显示AR设备、虚拟现实VR设备或混合现实MR设备；获取对所述第一电子设备的第一操作；基于对所述第一电子设备的第一操作，控制所述光标在所述第二电子设备的显示位置。通过上述方式，可以将带有触摸屏的第一电子设备代替手柄作为AR设备/VE设备/MR设备的控制设备。
附图说明
图1是本申请实施例提供的投屏系统的系统架构图；
图2是本申请实施例提供的第一电子设备的结构示意图；
图3a是本申请实施例的电子设备的软件结构框图；
图3b为本申请实施例提供的一种信息处理方法的流程图示意图；
图4a为本申请实施例提供的一种第一电子设备的界面示意图；
图4b为本申请实施例提供的一种第一电子设备的界面示意图；
图4c为本申请实施例提供的一种第一电子设备的界面示意图；
图5a为本申请实施例提供的一种第一电子设备的界面示意图；
图5b为本申请实施例提供的一种第一电子设备的界面示意图；
图5c为本申请实施例提供的一种第一电子设备的界面示意图；
图6a为一种投屏的实际场景示意图；
图6b为一种投屏的实际场景示意图；
图6c为一种投屏的实际场景示意图；
图6d为一种投屏的实际场景示意图；
图7a为一种投屏的实际场景示意图；
图7b为一种第一电子设备在水平方向上转动的姿态变化示意图；
图7c为一种第二电子设备显示的光标的位移示意图；
图7d为一种投屏的实际场景示意图；
图7e为一种第一电子设备在竖直方向上转动的姿态变化示意图；
图7f为一种第二电子设备显示的光标的位移示意图；
图7g为一种投屏的实际场景示意图；
图7h为一种用户的滑动操作示意图；
图7i为一种用户的滑动操作示意图；
图7j为一种第二电子设备显示的光标的位移示意图；
图8a为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图8b为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图9a为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图9b为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图9c为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图9d为本申请实施例提供的一种用户操作第一电子设备的示意图；
图10a为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图10b为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图10c为本申请实施例提供的一种第一电子设备的交互示意图；
图10d为本申请实施例提供的一种第一电子设备的界面内容示意图；
图11a为一种第一电子设备和第二电子设备的交互示意图；
图11b为一种第一电子设备和第二电子设备的交互示意图；
图11c为一种第一电子设备和第二电子设备的交互示意图；
图11d为一种第一电子设备和第二电子设备的交互示意图；
图11e为一种第一电子设备和第二电子设备的交互示意图；
图11f为一种第一电子设备和第二电子设备的交互示意图；
图11g为一种第一电子设备和第二电子设备的交互示意图；
图12a为本申请实施例提供的一种第二电子设备的界面示意图；
图12b为本申请实施例提供的一种第二电子设备的界面示意图；
图12c为本申请实施例提供的一种第二电子设备的界面示意图；
图12d为本申请实施例提供的一种用户操作第一电子设备的示意图；
图12e为本申请实施例提供的一种第二电子设备的界面示意图；
图12f为本申请实施例提供的一种第二电子设备的界面示意图；
图12g为本申请实施例提供的一种用户操作第一电子设备的示意图；
图12h为本申请实施例提供的一种第二电子设备的界面示意图；
图12i为本申请实施例提供的一种第二电子设备的界面示意图；
图12j为本申请实施例提供的一种第二电子设备的界面示意图；
图12k为本申请实施例提供的一种第二电子设备的界面示意图；
图12l为本申请实施例提供的一种用户操作第一电子设备的示意图；
图12m为本申请实施例提供的一种用户操作第一电子设备的示意图；
图12n为本申请实施例提供的一种第二电子设备的界面示意图；
图12o为本申请实施例提供的一种用户操作第一电子设备的示意图；
图12p为本申请实施例提供的一种第二电子设备的界面示意图；
图12q为本申请实施例提供的一种用户操作第一电子设备的示意图；
图12r为本申请实施例提供的一种第二电子设备的界面示意图；
图12s为本申请实施例提供的一种用户操作第一电子设备的示意图；
图12t为本申请实施例提供的一种第二电子设备的界面示意图；
图12u为本申请实施例提供的一种用户操作第一电子设备的示意图；
图13为本申请实施例提供的一种投屏场景的示意图；
图14a为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图14b为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图14c为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图14d为本申请实施例提供的一种用户操作第一电子设备的示意图；
图14e为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图14f为本申请实施例提供的一种用户操作第一电子设备的示意图；
图14g为本申请实施例提供的一种第二电子设备的投屏内容示意图；
图15为本申请实施例提供的一种信息处理方法的流程图示意；
图16为本申请实施例的一种架构示意图；
图17为本申请实施例的一种架构示意图；
图18为本申请实施例提供的电子设备的一种结构示意图；
图19为本申请实施例提供的电子设备的一种结构示意图；
图20为一种第一电子设备与第二电子设备的交互示意图；
图21a示出了第一电子设备连接到第二电子设备的连接方式示意图；
图21b示出了第一电子设备连接到第二电子设备的连接方式示意图；
图22a示出了用户以手柄作为交互设备的示意图；
图22b为第一电子设备一种可能的软件结构示意图；
图22c为一种VR场景下虚拟屏幕管理方法示意图；
图22d示出了一种安卓系统对于屏幕注入事件的处理示意图；
图23a为一种用户使用第一电子设备的交互示意图；
图23b为一种用户使用第一电子设备的交互示意图；
图23c为一种用户使用第一电子设备的交互示意图；
图23d为一种用户使用第一电子设备的交互示意图；
图24a为本申请实施例提供的一种用户使用第一电子设备的交互示意图；
图24b为本申请实施例提供的一种用户使用第一电子设备的交互示意图；
图24c为本申请实施例提供的一种用户使用第一电子设备的交互示意图；
图25为本申请实施例提供的一种第一电子设备的操作示意图；
图26为本申请实施例提供的一种用户使用第一电子设备的交互示意图；
图27为本申请实施例提供的一种系统架构的示意图；
图28为本申请实施例提供的一种系统架构的示意图；
图29为本申请实施例提供的一种信息处理方法的流程图示意；
图30为本申请实施例提供的一种多屏幕的操控示意图；
图31为本申请实施例提供的一种操控方法流程图；
图32为本申请实施例中一种事件处理过程示意图；
图33为本申请实施例中一种操控装置示意图。
具体实施方式
本申请实施例提供了一种信息处理方法及电子设备，用户可以使用手机作为增强显示AR设备、虚拟现实VR设备或混合现实MR设备的控制设备。
下面结合附图，对本申请的实施例进行描述。本领域普通技术人员可知，随着技术的发展和新场景的出现，本申请实施例提供的技术方案对于类似的技术问题，同样适用。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的术语在适当情况下可以互换，这仅仅是描述本申请的实施例中对相同属性的对象在描述时所采用的区分方式。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，以便包含一系列单元的过程、方法、系统、产品或设备不必限于那些单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它单元。
本申请所涉及的投屏可包括有线投屏和无线投屏，其中有线投屏可以通过高清多媒体接口(high definition multimedia interface，HDMI)建立电子设备之间的连接，并通过HDMI传输线传输媒体数据；无线投屏可以通过例如Miracast协议建立多个电子设备之间的连接，并通过例如无线局域网(wireless fidelity，WIFI)传输媒体数据。
本申请的投屏系统可以至少包括两个电子设备和一个投屏端口，这里的投屏端口可包括有线端口和/或无线端口。有线端口可以为HDMI；无线端口可以为应用编程接口(application programming interface，API)，也可以为硬件投屏模块。参见图1，图1是本申请实施例提供的投屏系统的系统架构图。如图1所示，投屏系统包括第一电子设备100和第二电子设备200，第一电子设备100可以包括第一有线端口101和/或第一无线端口102，第二电子设备200可以包括第二有线端口201和/或第二无线端口202。第一有线端口101和第一无线端口102可以集成在第一电子设备100上，也可独立于第一电子设备100存在；第二有线端口201和第二无线端口202可以集成在第二电子设备200上，也可以独立于第二电子设备200存在，本申请实施例不做限定。第一电子设备100与第二电子设备200可通过投屏端口(有线端口或无线端口)建立投屏连接。其中，第一电子设备100至少具备投屏发送(Source)能力。
第一电子设备100可以包括增强交互服务，该增强交互服务可以获取到电子设备的传感器信息(例如可以是从图1中的传感器输入获取)，该传感器信息包括但不限于第一电子设备的姿态信息，该增强交互服务还可以获取到电子设备的触摸屏信息(例如可以是从图1中的触摸屏输入获取)，该触摸屏信息包括但不限于对触摸屏的触摸信息。关于第一 电子设备的增强交互服务如何使用获取到的传感器信息以及触摸屏信息，将在后面的实施例中说明，这里不再赘述。
在一种实现方式中，该增强交互服务也可以获取到第一电子设备前端应用(前台应用)的界面内容，并在界面内容上绘制其他图像(例如光标以及菜单栏)，并将绘制好的界面内容发送至投屏服务，投屏服务可以基于绘制好的界面内容生成投屏内容，并将投屏内容发送至第二电子设备200，以使得所述第二电子设备的显示屏显示所述投屏内容。
在另一种实现方式中，该增强交互服务也可以通过系统的悬浮窗接口将其他图像(例如光标以及菜单栏)添加至第一电子设备前端应用的界面内容，投屏服务可以获取到添加有其他图像的第一电子设备前端应用的界面内容，并基于获取到的添加有其他图像的第一电子设备前端应用的界面内容生成投屏内容，并将投屏内容发送至第二电子设备200，以使得所述第二电子设备的显示屏显示所述投屏内容。
第一电子设备100可包括投屏服务，该投屏服务用于实现投屏发送(source)能力，例如，投屏服务可以获取到第一电子设备的界面内容作为投屏数据，或者将增强交互服务绘制好的界面内容作为投屏内容，并将投屏内容通过第一无线端口或第一有线端口发送至第二电子设备200。
第二电子设备100可以但不限于具备投屏接收(Sink)能力和图像显示能力。第二电子设备200可包括投屏服务，该投屏服务用于实现投屏接收(sink)能力，该投屏服务可以将接收到的投屏内容显示在第二电子设备的显示屏上。
第一电子设备100的示例包括但不限于搭载iOS、android、microsoft或者其他操作系统的电子设备，可选的，第一电子设备100可以为手机、平板电脑、个人数字助理(personal digital assistant，PDA)或台式电脑等电子设备。第二电子设备200可以为电视、平板电脑或台式电脑等电子设备。
需要说明的是，第一电子设备可以为具有显示功能的电子设备。
需要说明的是，在一些场景中，若第二电子设备为电视、平板电脑或台式电脑，其显示屏的显示区域的尺寸可以大于第一电子设备的显示屏的显示区域的尺寸。
为便于理解，下面将对本申请实施例提供的第一电子设备100的结构进行示例说明。参见图2，图2是本申请实施例提供的第一电子设备的结构示意图。
如图2所示，第一电子设备100可以包括处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，以及用户标识模块(subscriber identification module，SIM)卡接口195等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本申请实施例示意的结构并不构成对第一电子设备100的具体限定。在本申请另一些实施例中，第一电子设备100可以包括比图示更多或更少的部件，或者组 合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是第一电子设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I1C)接口，集成电路内置音频(inter-integrated circuit sound，I1S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purpose input/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，和/或通用串行总线(universal serial bus，USB)接口等。
可以理解的是，本申请实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对第一电子设备100的结构限定。在本申请另一些实施例中，第一电子设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。在一些有线充电的实施例中，充电管理模块140可以通过USB接口130接收有线充电器的充电输入。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。
第一电子设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
在一些可行的实施方式中，第一电子设备100可以使用无线通信功能和其他设备通信。例如，第一电子设备100可以和第二电子设备200通信，第一电子设备100与第二电子设备200建立投屏连接，第一电子设备100输出投屏数据至第二电子设备200等。其中，第一电子设备100输出的投屏数据可以为音视频数据。第一电子设备100与第二电子设备200的通信过程可参照后续实施例的相关描述，在此暂不赘述。
天线1和天线2用于发射和接收电磁波信号。第一电子设备100中的每个天线可用于 覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在第一电子设备100上的包括1G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线2转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在第一电子设备100上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth，BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线1接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，第一电子设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得第一电子设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
第一电子设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode的，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，第一电子设备100可以包括1个或N个显示屏194，N为大于1的正整数。
在一些可行的实施方式中，显示屏194可用于显示第一电子设备100的系统输出的各个界面。第一电子设备100输出的各个界面可参考后续实施例的相关描述。
第一电子设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实施例中，第一电子设备100可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。
视频编解码器用于对数字视频压缩或解压缩。第一电子设备100可以支持一种或多种视频编解码器。这样，第一电子设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG1，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现第一电子设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展第一电子设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。 处理器110通过运行存储在内部存储器121的指令，从而执行第一电子设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用程序(比如声音播放功能，图像播放功能等)等。存储数据区可存储第一电子设备100使用过程中所创建的数据(比如音频数据，电话本等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
第一电子设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。在一些可行的实施方式中，音频模块170可用于播放视频对应的声音。例如，显示屏194显示视频播放画面时，音频模块170输出视频播放的声音。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。
扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。
受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。
麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动电子设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。陀螺仪传感器180B可以用于确定第一电子设备100的运动姿态。气压传感器180C用于测量气压。
加速度传感器180E可检测第一电子设备100在各个方向上(一般为三轴)加速度的大小。当第一电子设备100静止时可检测出重力的大小及方向。还可以用于识别电子设备姿态，应用于横竖屏切换，计步器等应用。
距离传感器180F，用于测量距离。
环境光传感器180L用于感知环境光亮度。
指纹传感器180H用于采集指纹。
温度传感器180J用于检测温度。
触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于第一电子设备100的表面，与显示屏194所处的位置不同。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。第一电子设备100可以接收按键输入，产生与第一电子设备100的用户设置以及功能控制 有关的键信号输入。
马达191可以产生振动提示。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口195用于连接SIM卡。
以上是对第一电子设备100的结构进行的描述，接下来对第一电子设备的软件结构进行说明。第一电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。第一电子设备100的示例包括但不限于搭载iOS、android、microsoft或者其他操作系统的电子设备，本申请实施例以第一电子设备100搭载Android系统为例，示例性说明第一电子设备100的软件结构。
图3a是本申请实施例的第一电子设备100的软件结构框图。
如图3a所示，分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。应用程序层可以包括一系列应用程序包。
如图3a所示，应用程序包可以包括相机，图库，日历，通话，地图，导航，WLAN，蓝牙，音乐，视频，短信息等应用程序。
应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图3a所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。界面内容可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备200的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
Android runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(media libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。
图形处理库用于实现对2D或3D图形进行绘图，图像渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
需要说明的是，第二电子设备可以具有图2和图3a所示结构的全部或一部分，这里并不限定。为了便于理解，本申请以下实施例将以具有图2和图3a所示结构的第一电子设备为例，结合附图和应用场景，对本申请实施例提供的一种投屏方法进行具体阐述。
本申请实施例中，第二电子设备200可以为电视、平板电脑或台式电脑等电子设备，接下来以第二电子设备为电视为例，对本申请实施例提供的投屏方法进行说明。
首先介绍第一电子设备100和第二电子设备200建立投屏连接的过程。
需要说明的是，第二电子设备的数量可以为一个或多个，即，第一电子设备可以与一个第二电子设备建立投屏连接，也可以同时与多个第二电子设备建立投屏连接。
接下来说明，第一电子设备如何与第二电子设备建立投屏连接。
在一种可选方式中，第一电子设备可以通过选择系统自带的投屏控件来实现与第二电子设备的投屏连接。
可选地，参照图4a，图4a为本申请实施例提供的一种第一电子设备的界面示意图，如图4a中示出的那样，用户的手指可以在第一电子设备100主界面的顶部区域向下滑动。当第一电子设备100在主界面上检测到下滑操作时，显示如图4b所示的通知管理界面40。如图4b所示，通知管理界面40包括移动数据图标402、无线网络图标403以及无线投屏图标401等等。用户在通知管理界面40上点击无线投屏图标401，第一电子设备100可以启动无线投屏功能。
可选地，本申请实施例中，如果用户在通知管理界面40上点击无线投屏图标401时，无线网络未打开，则第一电子设备100可以提示或自动打开无线网络，并提示用户选择一个无线网络连接。本申请实施例中，第一电子设备100通过无线保真(wireless fidelity， WIFI)自动搜索连接到该WIFI上的投屏设备(表示具有投屏发送/接收能力的电子设备)。第一电子设备100可以在通知管理界面40上显示如图4c所示的搜索/选择框404，搜索/选择框404中包括搜索到的一个或多个投屏设备的名称，以提示用户从搜索到的投屏设备中选择一个投屏设备建立投屏连接。用户选定想要投屏的投屏设备后，第一电子设备100可以与用户选定的投屏设备建立投屏连接。
在一种可选方式中，第一电子设备还可以通过选择一些应用(例如，视频应用或用于演示的应用)中的投屏控件来实现与第二电子设备的投屏连接。
可选地，参照图5a，图5a为本申请实施例提供的一种第一电子设备的界面示意图，如图5a中示出的那样，第一电子设备100中可以安装有多个应用，例如视频应用(application，APP)等。其中，该视频APP可用于观看视频、直播、小说和/或漫画等。该视频APP至少具备投屏发送功能。该视频APP可以是第一电子设备100出厂时预装的，也可以是用户下载后安装的。该视频APP可以是第一电子设备100的厂商开发的视频应用，也可以是第三方厂商开发的视频APP。
如图5a中示出的那样，第一电子设备的界面还可以包括：状态栏、以及多个其他应用程序的图标，例如社交APP的图标等。其中，状态栏可包括WiFi图标、信号强度、当前的剩余电量和/或当前的时间等。在一些可行的实施方式中，状态栏还可包括蓝牙图标、闹钟图标等。当第一电子设备100检测到用户的手指或者触控笔针对某一个应用图标的点击事件后，响应于该点击事件，第一电子设备100启动应用，显示与该应用图标对应的用户界面。例如，当第一电子设备100检测到用户的手指触摸视频APP的图标501时，第一电子设备100响应于该触摸事件启动视频APP，并显示视频APP的主界面。用户可以在视频APP的主界面上选定视频，相应的，第一电子设备100可以接收用户选定的视频并显示视频播放界面。
可选地，在一种实施方式中，第一电子设备100启动视频APP之后，用户可以在视频APP的主界面中搜索或选择自己想要播放的视频，第一电子设备100从云平台中搜索用户在搜索栏中输入的视频名称，并显示搜索到的视频的图标。在用户选定想要播放的视频之后，可以点击视频的图标进入视频播放界面。第一电子设备100的视频APP从云平台获取用户选定的视频的资源(如视频流)，并解析输出该视频的视频图像。参见图5b，图5b是本申请实施例提供的第一电子设备的视频APP的视频播放界面的示意图。示例性地，用户选定的视频为《可爱的自己》第一集，对应的视频播放界面50可以如图5b所示。示例性的，视频播放界面50可包括视频图像504、投屏控件502、选集506、返回控件503以及全屏控件505等。
除了上述元素以及控件，视频播放界面40还可包括更多内容，例如还可包括缓存控件、评论控件等。用户可通过手指在视频播放界面50上触摸缓存控件下载视频400；或用户可通过手指在视频播放界面50上触摸评论控件查看评论、发表评论等。可理解的，上述界面的描述仅为示例，不同的视频APP或者不同视频，其对应的视频播放界面、全屏播放界面包含的元素及控件、各个元素及控件的排布方式等有可能不同，这里不做限制。
如果用户想要将视频投屏到第二电子设备200上播放，则可以通过手指或触控笔在视频播放界面50上点击投屏控件502，相应的，第一电子设备100可以接收用户点击投屏控件502所产生的投屏指示。第一电子设备100可以探测第一电子设备100当前是否已经建立投 屏连接。当第一电子设备100探测到当前未建立投屏连接时，第一电子设备100可以搜索投屏设备，并显示搜索到的投屏设备并提示用户选择投屏设备。
示例性的，当第一电子设备100探测到当前未建立投屏连接时，第一电子设备100会通过无线网络搜索连接到该无线网络上的一个或多个投屏设备。本申请实施例所涉及的投屏设备为具备投屏发送(Source)/接收(Sink)能力的电子设备。当第一电子设备100搜索到一个或多个投屏设备时，参照图5c，图5c为本申请实施例提供的一种投屏设备选择的界面内容示意，如图5c中示出的那样，第一电子设备100可以在该界面上显示如图5c所示的搜索/选择框507，搜索/选择框507中包括搜索到的一个或多个投屏设备的名称，以提示用户从搜索到的投屏设备中选择一个投屏设备建立投屏连接。示例性地，搜索/选择框507包括搜索到的具备投屏接收能力的设备名称：办公室1的电视、办公室2的电视、我的电脑。用户选定想要投屏的设备后，第一电子设备100与用户选定的设备通过无线视频显示(Wi-Fi display，WFD)技术中的无线显示标准Miracast协议建立投屏连接。示例性地，用户选定的投屏设备为办公室1的电视，则第一电子设备100与办公室1的电视建立投屏连接。为方便描述，以下描述将用户选定的投屏设备称为第二电子设备200。
需要说明的是，投屏设备选择的界面内容还可以包括刷新控件509和退出控件508，本申请并不限定。
可选地，在另一种实施例中，用户还可以在第一电子设备100的上通过其他控件的点击来启动第一电子设备100的无线投屏功能，本申请并不限定。
接下来说明，第一电子设备与第二电子设备建立投屏连接的实现过程。
可选地，在一种实施例中，用户可以将第一电子设备100与第二电子设备200通过高清多媒体接口(high Definition multimedia interface，HDMI)来建立有线投屏连接。
可选地，在另一种实施例中，第一电子设备100可以与第二电子设备200通过信号分发端建立投屏连接，本实施例中，信号分发端可以包括信号分发器或信号分配器等，本申请并不对此进行限制。在运行过程中，作为信号分发端的电子设备可以运行某一应用程序，从而接收第一电子设备发送的投屏数据，并将该投屏数据进一步分发至第二电子设备，以实现本申请中的投屏功能。其中，应用程序可以为专用于投屏功能的投屏应用，也可以为包含投屏功能的其他应用。
需要说明的是，目前常用的电子设备已能够利用常规处理方式达到支持无线投屏服务的功能；如，配置智能设备支持无线投屏相关协议，目前常用的协议有Miracast、DLNA(digital living network alliance，数字生活网络联盟)、AirPlay协议等，其中，常规处理方式是在电子设备上安装符合智能操作系统的无线投屏应用，这样，智能设备就能够支持无线投屏服务。当然，也可以采用其他方式配置电子设备(第一电子设备和第二电子设备)，使其支持无线投屏服务，在本申请中对此不作具体限制。
可选地，在本实施例中，第一电子设备在与第二电子设备建立投屏连接后，第一电子设备可以将投屏数据发送至第二电子设备，第二电子设备可以显示第一电子设备发送的投屏数据对应的投屏数据。
可选地，在本实施例中，第一电子设备在与第二电子设备建立投屏连接后，第一电子 设备可以将投屏数据间接发送至第二电子设备：第一电子设备可以将投屏数据发送至信号分发端，然后由信号分发端将投屏数据进一步发送至第二电子设备。
实际上，本申请只是为了说明投屏数据来源于第一电子设备，并且最终由第二电子设备获得并展示该投屏数据，而对于该投屏数据如何由第一电子设备传输至第二电子设备，本申请并不对此进行限制。
以上描述了第一电子设备100和第二电子设备200建立投屏连接的过程，接下来描述用户如何基于对第一电子设备的操作实现投屏过程中与第二电子设备显示的投屏内容的交互。
参照图3b，图3b为本申请实施例提供的一种信息处理方法的流程图，如图3b中示出的那样，信息处理方法包括：
301、第一电子设备生成投屏内容。
本申请实施例中，第一电子设备可以在检测到第一电子设备与第二电子设备建立投屏连接后，生成投屏内容。
本申请实施例中，所述投屏内容可以但不限于包括光标以及第一电子设备的界面内容。
可选的，本申请实施例中，第一电子设备可以获取所述第一电子设备前端应用的界面内容，并在所述界面内容上生成光标，得到投屏内容。
其中，光标的形状可以是鼠标形状或者是其他形状，本申请并不限定。需要说明的是，光标可以用于定位在所述界面内容中的操作位置，且光标可以响应于用户对第一电子设备的操作(改变姿态信息或滑动第一电子设备的显示屏)，在第二电子设备的显示屏上移动，关于光标如何基于用户对第一电子设备的操作在第二电子设备的显示屏上移动将在后面的实施例中描述，这里不再赘述。
具体的，第一电子设备可以获取当前前端应用的界面内容。例如，第一电子设备可以基于系统提供的录屏接口(例如Android提供的MediaProjection接口)来获取当前前端应用的界面内容，并在获取的界面内容上绘制光标，第一电子设备可以将上述绘制好的内容作为投屏内容，第一电子设备的投屏服务可以获取到该投屏内容，并将投屏内容(可以经过编码操作和/或内容的尺寸大小变换)基于某一投屏协议发送至第二电子设备，以使得所述第二电子设备的显示屏显示所述投屏内容。
可选的，本申请实施例中，第一电子设备还可以基于悬浮窗接口将光标对应的图像信息添加到当前第一电子设备前端应用的界面内容中，生成投屏数据，此时，第一电子设备的投屏服务可以获取到上述投屏数据，并将投屏数据(需要经过编码操作，以及内容的尺寸大小变换)基于某一投屏协议发送至第二电子设备，以使得所述第二电子设备的显示屏显示所述投屏数据对应的投屏内容。
需要说明的是，第二电子设备在与第一电子设备建立连接后，可以直接在第二电子设备的显示屏上显示光标，也可以不直接在第二电子设备的显示屏上显示光标，而是需要基于用户对第一电子设备执行一定的操作后，才在第二电子设备的显示屏上显示光标。
具体的，第二电子设备在与第一电子设备建立连接后，可以直接在显示的投屏内容的中心区域或者是其他预设的区域显示光标。
此外，第二电子设备在与第一电子设备建立连接后，也可以先不在显示的投屏内容的 中心区域或者是其他预先确定的区域显示光标，而是检测第一电子设备的姿态信息，若检测到第一电子设备的姿态信息发生改变，则在显示的投屏内容的中心区域或者是其他预先确定的区域显示光标。从用户的角度来说，若用户未在第二电子设备的显示屏上看到光标，则用户可以通过挥动第一电子设备来改变第一电子设备的姿态信息，进而触发光标在第二电子设备上的显示。
可选地，在一种实施例中，第一电子设备和第二电子设备建立投屏连接后，可以先不在第二电子设备上显示光标，用户可以通过在第一电子设备的显示屏上进行触摸操作，来激活第二电子设备的光标显示，上述触摸操作可以为在第一电子设备显示屏上的预设区域进行点击操作、双击操作或长按操作，本申请并不限定。
示例性的，参照图6a，图6a为一种投屏的实际场景示意，如图6a中示出的那样，此时用户手持第一电子设备100，而第二电子设备200显示了第一电子设备100发送的投屏内容60，其中，投屏内容60包括第一电子设备100当前的界面内容(例如，图4a示出的界面)。需要说明的是，第一电子设备100的界面内容可以但不限于是前端应用的界面内容。
可选地，在另一种实施例中，基于图5c中示出的那样，用户选择投屏设备之后，参照图6d，图6d为一种投屏的实际场景示意，如图6d中示出的那样，第二电子设备200显示了第一电子设备100发送的投屏内容60，其中，投屏内容60包括第一电子设备100当前的界面内容(图5b中示出的视频播放界面)，此外，投屏内容60还包括：光标601。
本申请实施例中，在第一电子设备检测到与第二电子设备建立投屏连接后，还可以降低所述第一电子设备的显示屏的显示亮度，或者对所述第一电子设备的显示屏执行熄屏操作。
可选地，本申请实施例中，参照图6b，图6b为一种投屏的实际场景示意，如图6b中示出的那样，此时用户手持的第一电子设备100的界面内容为图4a示出的界面(第一电子设备的主界面)，而在第一电子设备和第二电子设备建立了投屏连接后，如图6c中示出的那样，此时，第一电子设备熄屏。需要说明的是，此时第一电子设备可以并不显示图4a的页面，图4a仅仅是第一电子设备本应该呈现的页面，第一电子设备此时显示的是图6c。
可选地，在另一种实施例中，第一电子设备和第二电子设备建立了投屏连接后，可以在第一电子设备上显示是否进入熄屏状态的控件(或者是通过其他预定操作)，用户可以通过点击进入熄屏状态的控件来使得第一电子设备进入熄屏状态。
相比于现有技术中，在投屏时，第一电子设备需要保持亮屏的状态，本申请实施例中，第一电子设备和第二电子设备建立了投屏连接后，第一电子设备可以降低显示屏的显示亮度，或者直接进入熄屏状态，从而降低了第一电子设备的能耗。
需要说明的是，本申请实施例中，在第一电子设备检测到与第二电子设备建立投屏连接后，可以通过系统的亮度调节接口来降低所述第一电子设备的显示屏的显示亮度，或者对所述第一电子设备的显示屏执行熄屏操作。
需要说明的是，本申请实施例中，第一电子设备仅仅处于熄屏状态，此时，第一电子设备中的应用还在运行，第一电子设备中的投屏控件仍然可以获取到当前前端应用的界面内容。
302、第一电子设备向第二电子设备发送所述投屏内容，以使得所述第二电子设备的显示屏显示所述投屏内容，所述投屏内容包括光标以及第一电子设备的界面内容，所述光标用于定位在所述界面内容中的操作位置。
本申请实施例中，第一电子设备生成投屏内容之后，可以向第二电子设备发送所述投屏内容，以使得所述第二电子设备的显示屏显示所述投屏内容，所述投屏内容包括光标以及第一电子设备的界面内容，所述光标用于定位在所述界面内容中的操作位置。
步骤302的实现方式可以参考上述实施例中，第一电子设备向第二电子设备发送投屏数据的相关描述，这里不再赘述。
本申请实施例中，为了降低第一电子设备的耗能，可以在第一电子设备和第二电子设备建立了投屏连接后，第一电子设备进入熄屏状态，此时，第一电子设备的显示屏是黑的，用户无法通过在界面内容上操作来操作第一电子设备上的对象，例如，在图6d示出的场景中，用户想点击返回控件，或者拖动进度条，然而由于第一电子设备的界面内容是黑的，用户无法在第一电子设备的显示屏上定位到第一电子设备中的返回控件和进度条，进而无法执行点击返回控件，或者拖动进度条的操作。接下来论述本申请实施例中，在第一电子设备处于熄屏的状态下，用户如何对第二电子设备显示的投屏内容进行操作。
首先介绍，用户如何调整光标在第二电子设备显示屏上的显示位置。
本申请实施例中，第二电子设备显示的光标进可以用于定位在所述界面内容中的操作位置，因此，用户可以通过改变光标在第二电子设备显示屏上的显示位置来改变操作位置，接下来描述，用户如何改变光标在第二电子设备显示屏上的显示位置。
本申请实施例中，用户可以通过改变第一电子设备的姿态来调节光标在第二电子设备显示屏上的显示位置，也可以通过在第一电子设备的显示屏上执行滑动操作来调节光标在第二电子设备显示屏上的显示位置。
一、通过改变第一电子设备的姿态来调节光标在第二电子设备显示屏上的显示位置。
本申请实施例中，第一电子设备可以获取所述第一电子设备的位姿变化信息，并基于所述位姿变化信息使得所述光标在所述第二电子设备显示的所述投屏内容中移动。
本申请实施例中，第二电子设备的投屏内容上显示有光标601，该光标601可以随着第一电子设备的姿态的变化而进行对应的位移。具体的，用户可以通过挥动第一电子设备来改变第一电子设备在三维空间中的姿态，进而第二电子设备上的光标601可以根据第一电子设备在三维空间中的姿态变化而在第二电子设备的投屏内容上进行相应的位移。
可选地，参照图7a，图7a为一种投屏的实际场景示意，如图7a中示出的那样，用户可以通过挥动第一电子设备来该改变第一电子设备的姿态(水平方向角度和/或竖直方向角度)，相应的，第二电子设备200上显示的光标601可以在水平方向和/或竖直方向上进行相应的位移。
接下来分别说明第二电子设备200上显示的光标601如何在水平方向以及竖直方向上进行相应的位移。
1)、水平方向：
本申请实施例中，第一电子设备可以根据所述第二旋转角确定所述光标的水平位移， 并根据所述水平位移使得所述光标在所述第二电子设备显示的所述投屏内容中移动。
具体的，参照图7b，图7b为一种第一电子设备在水平方向上转动的姿态变化示意，如图7b中示出的那样，第一电子设备在水平面上由姿态1转动到姿态2，转动的角度变化分量为θ 1。本申请实施例中，第一电子设备100可以监测在三维空间中的姿态变化，并获得空间方位参数，以图7a示出的姿态变化为例，第一电子设备100可以获取到空间方位参数(水平方向转动的角度变化分量)为θ 1。
本申请实施例中，第一电子设备可以获取水平方向转动的角度变化分量与第二电子设备中光标601水平位移方向上的大小L1之间的映射关系，其中，映射关系可以表示第一电子设备水平方向转动的角度变化分量越大，相应的，第二电子设备中光标601水平位移方向上的大小L1可以越大。第一电子设备可以基于获取到的水平方向转动的角度变化分量以及映射关系，确定光标601在第二电子设备的投屏内容中的位移大小L1。
示例性的，第一电子设备获取到的水平方向转动的角度变化分量与第二电子设备中光标601水平位移大小之间的映射关系为：第一电子设备在水平面上每转动1°时，光标601在第二电子设备的投屏内容中的水平像素坐标变化30个像素。
例如，若用户挥动第一电子设备以使得第一电子设备在水平面上转动15°时，则光标601在第二电子设备的投屏内容中的水平像素坐标变化450个像素。
需要说明的是，第一电子设备100与第二电子设备200建立投屏连接的过程中，第一电子设备100与第二电子设备200会进行性能参数的交换与协商，即第一电子设备100可以获取第二电子设备200上界面内容的尺寸参数等等。第一电子设备可以基于第二电子设备200上界面内容的尺寸参数调整上述映射关系。例如，第二电子设备200上界面内容的水平尺寸越大，则第一电子设备在水平方向转动相同的角度变化分量的情况下，光标601在第二电子设备的投屏内容中的水平像素坐标变化越大。
需要说明的是，第一电子设备可以向左或向右转动(从第一电子设备的主界面的视角上看即为逆时针或顺时针转动)，相应的，光标601可以在第二电子设备的投屏内容中向左或向右位移。例如，第一电子设备可以向左转动，相应的，光标601可以在第二电子设备的投屏内容中向左位移。又例如，第一电子设备可以向右转动，相应的，光标601可以在第二电子设备的投屏内容中向右位移。
参照图7c，图7c为一种第二电子设备显示的光标的位移示意，如图7c中示出的那样，在第一电子设备获取到三维空间中水平方向转动的角度变化分量为θ 1的情况下，第一电子设备可以根据上述映射关系确定光标601在第二电子设备的投屏内容中的水平像素坐标变化为L1，并将携带有水平像素坐标变化L1的信息发送至第二电子设备，相应的，第二电子设备可以基于水平像素坐标变化L1来改变光标601的显示位置。此时，由于第一电子设备从姿态1转动到姿态2时，是向左(逆时针)转动的，因此，光标601在第二电子设备的投屏内容上也是向左位移的，保证了光标601的移动与用户操作的一致性。
2)、竖直方向：
本申请实施例中，第一电子设备可以根据所述第二旋转角确定所述光标的竖直位移，并根据所述竖直位移使得所述光标在所述第二电子设备显示的所述投屏内容中移动。
类似的，参照图7d，图7d为一种投屏的实际场景示意，如图7d中示出的那样，用户可 以通过挥动第一电子设备来该改变第一电子设备的姿态(竖直方向角度)，相应的，第二电子设备200上显示的光标601可以在竖直方向上进行相应的位移。
需要说明的是，所谓第一电子设备在三维空间中竖直方向角度的变化，可以指第一电子设备在三维空间中竖直方向转动的角度变化分量。
需要说明的是，所谓第一电子设备在三维空间中竖直方向角度的变化，可以指第一电子设备在三维空间中竖直方向转动的角度变化分量。参照图7e，图7e为一种第一电子设备在竖直方向上转动的姿态变化示意，如图7b中示出的那样，第一电子设备在竖直方向上由姿态1转动到姿态2，转动的角度变化分量为θ 2。本申请实施例中，第一电子设备100可以监测在三维空间中的姿态变化，并获得空间方位参数，以图7a示出的姿态变化为例，第一电子设备100可以获取到空间方位参数(竖直方向转动的角度变化分量)为θ 2。
本申请实施例中，第一电子设备可以获取竖直方向转动的角度变化分量与第二电子设备中光标601竖直位移大小L2之间的映射关系，并基于获取到的竖直方向转动的角度变化分量以及映射关系，确定光标601在第二电子设备的投屏内容中的位移大小L2。
关于第一电子设备如何确定光标601在第二电子设备的投屏内容中的位移大小L2可以参照上述实施例中的描述，这里不再赘述。
参照图7f，图7f为一种第二电子设备显示的光标的位移示意，如图7f中示出的那样，在第一电子设备获取到三维空间中竖直方向转动的角度变化量为θ 2的情况下，第一电子设备可以根据上述映射关系确定光标601在第二电子设备的投屏内容中的竖直像素坐标变化为L2，并将携带有竖直像素坐标变化L2的信息发送至第二电子设备，相应的，第二电子设备可以基于竖直像素坐标变化L2来改变光标601的显示位置。此时，由于第一电子设备从姿态1转动到姿态2时，是向上转动的，因此，光标601在第二电子设备的投屏内容上也是向上位移的，保证了光标601的移动与用户操作的一致性。
可选的，在另一种实施例中，第一电子设备可以获取到第一电子设备在第一水平方向的位移大小，并基于第一电子设备在水平方向的平移大小确定光标在界面内容上的水平位移。其中，第一水平方向可以为与第二电子设备的显示屏平行的水平方向。
本申请实施例中，第一电子设备可以获取水平方向的位移大小与第二电子设备中光标601水平位移之间的映射关系，并基于获取到的水平方向的位移大小以及映射关系，确定光标601在第二电子设备的投屏内容中的水平位移。
可选的，在另一种实施例中，第一电子设备可以获取到第一电子设备在第一竖直方向的位移大小，并基于第一电子设备在竖直方向的平移大小确定光标在界面内容上的竖直位移。其中，第一水平方向可以为与第二电子设备的显示屏垂直的竖直方向。
本申请实施例中，第一电子设备可以获取竖直方向的位移大小与第二电子设备中光标601竖直位移之间的映射关系，并基于获取到的竖直方向的位移大小以及映射关系，确定光标601在第二电子设备的投屏内容中的竖直位移。
需要说明的是，在实际应用中，第一电子设备可以通过其内置的重力加速度传感器(例如陀螺仪)监测姿态变化并获得空间方位参数，也可以通过红外线空间检测技术或声波检测技术监测姿态变化并获得空间方位参数。本实施例不对第一电子设备获取空间方位参数的手段进行具体限制。
二、用户可以通过在第一电子设备中的显示屏上执行滑动操作来调整光标601在第二电子设备的投屏内容的位置。
本申请实施例中，第一电子设备可以接收对所述第一电子设备的显示屏的第二滑动操作，根据所述第二滑动操作确定所述光标的位移，并基于所述位移使得所述光标在所述第二电子设备显示的所述投屏内容中移动。
需要说明的是，第二滑动操作的轨迹在所述第一电子设备的界面内容中经过的一个或多个对象，其中，上述“一个或多个对象“可以是与第二滑动操作的轨迹经过的所有对象。
具体的，本申请实施例中，第二电子设备的投屏内容上可以显示有光标601，该光标601可以基于用户在第一电子设备的显示屏(处于熄屏状态)上的滑动操作而进行对应的位移。具体的，用户可以通过手指或者触摸笔在显示屏上进行滑动，相应的，第二电子设备上的光标601可以基于用户的滑动操作在第二电子设备的投屏内容上进行相应的位移。
可选地，参照图7g，图7g为一种投屏的实际场景示意，如图7g中示出的那样，用户可以通过手指或者触摸笔在显示屏上进行滑动，相应的，第二电子设备上的光标601可以基于用户的滑动操作在第二电子设备的投屏内容上进行相应的位移。
本申请实施例中，第一电子设备可以获取用户在第一电子设备显示屏上的滑动位移L3与第二电子设备中光标601位移大小L3之间的映射关系，并基于获取到的第一电子设备显示屏上的滑动位移L3以及映射关系，确定光标601在第二电子设备的投屏内容中的位移大小L3。
示例性的，第一电子设备获取到的第一电子设备显示屏上的滑动位移L3与第二电子设备中光标601位移大小L3之间的映射关系为：用户每在第一电子设备的显示屏滑动1像素时，光标601在第二电子设备的投屏内容中的像素坐标变化30个像素。需要说明的是，以上仅为一种举例，并不构成对本申请的限定。
需要说明的是，第一电子设备100与第二电子设备200建立投屏连接的过程中，第一电子设备100与第二电子设备200会进行性能参数的交换与协商，即第一电子设备100可以获取第二电子设备200上界面内容的尺寸参数等等。第一电子设备可以基于第二电子设备200上界面内容的尺寸参数调整上述映射关系。例如，第二电子设备200上界面内容的水平尺寸越大，则用户在第一电子设备显示屏上滑动相同的位移的情况下，光标601在第二电子设备的投屏内容中的像素位移(像素坐标变化)越大。
需要说明的是，上述用户在第一电子设备显示屏上的滑动位移可以包括互为垂直的两个方向(x方向和y方向)的位移，参照图7h，图7h为一种用户的滑动操作示意，相应的，如图7i中示出的那样，用户在第一电子设备显示屏上的滑动位移L3可以包括第一方向的位移L5和第二方向的位移L6，其中第一方向与第一电子设备的中轴线垂直，第二方向与第一电子设备的中轴线平行。相应的，光标601在第二电子设备的投屏内容中的像素位移包括水平方向的位移分量和竖直方向的位移分量。此时，第一电子设备可以基于上述映射关系分别确定光标601在第二电子设备的投屏内容中水平方向的位移大小和竖直方向的位移大小。
参照图7j，图7j为一种第二电子设备显示的光标的位移示意，如图7j中示出的那样， 在第一电子设备获取到用户在第一电子设备显示屏上的滑动位移L3的情况下，第一电子设备可以根据上述映射关系确定光标601在第二电子设备的投屏内容中的位移为L4，并将携带有L4的信息发送至第二电子设备，相应的，第二电子设备可以基于L4来改变光标601的显示位置。此时，由于用户在第一电子设备的显示屏上是向右斜上方滑动的，因此，光标601在第二电子设备的投屏内容上也是向右斜上方的，保证了光标601的移动与用户操作的一致性。
本申请实施例中，所述第二滑动操作对应的操作位置对应于所述第一电子设备的界面内容中的第三对象，第一电子设备可以屏蔽所述第三对象对所述第二触摸操作的响应
本申请实施例中，用户可以通过上述方式，基于对第一电子设备的操作(改变姿态或在第一电子设备的显示屏上滑动)，实现了光标601在第二电子设备显示屏中的移动。
402
接下来说明，用户如何通过对第一电子设备的操作，在光标所在的对象上执行点击、滑动等操作。
本申请实施例中，当所述光标移动至所述第二电子设备显示的所述投屏内容中的目标对象时，若第一电子设备接收到对所述第一电子设备的显示屏的第一触摸操作，则使得所述第二电子设备显示的所述投屏内容中的目标对象响应所述第一触摸操作。
示例性的，第一触摸操作可以是点击操作或滑动操作。
本申请实施例中，所述第一触摸操作的操作位置对应于所述第一电子设备的界面内容中的第二对象，第一电子设备可以屏蔽所述第二对象对所述第一触摸操作的响应。
具体的，第一电子设备在接收到对第一电子设备显示屏的第一触摸操作后，可以屏蔽所述界面内容对所述第一触摸操作的操作位置上的响应，而是确定光标在第二显示屏上的位置确定所述界面内容对所述第一触摸操作的响应位置。例如，若用户对第一电子设备的显示屏的A对象执行了点击操作，此时，光标在第二电子设备中位于B对象上，此时，第一电子设备可以屏蔽A对象对于点击操作的响应，而是在界面内容的B对象上响应上述点击操作。
第一触摸操作可以但不限于是点击操作或者是滑动操作，接下来以第一触摸操作为点击操作为例进行说明。
本申请实施例中，用户在通过将光标601在第二电子设备显示的投屏内容上移动到想操作的目标对象所在的区域后，用户可以对第一电子设备的显示屏进行点击操作，相应的，可以在光标601所在的区域执行点击操作。
具体的，在一种实施例中，光标601在第二电子设备的投屏内容上移动到想操作的对象区域后，第一电子设备可以获取到光标601在第二电子设备的投屏内容中的具体像素坐标位置，并根据光标601在第二电子设备的投屏内容中的具体像素坐标位置确定该位置在第一电子设备前端应用的界面内容中所对应的像素坐标位置。
例如，若用户将第二电子设备中的光标601移动到视频APP图标的区域内，此时，第一电子设备可以确定光标601在第一电子设备中界面内容所对应的像素坐标位置(视频APP图标的区域的像素坐标位置)。
用户对第一电子设备的显示屏执行点击操作，此时，第一电子设备可以屏蔽第一电子 设备前端应用的界面内容对点击操作的操作位置上的响应，第一电子设备会在光标601在第一电子设备中界面内容所对应的像素坐标位置执行点击操作对应的事件，相当于使得第一电子设备在光标601在第一电子设备中所对应的像素坐标位置执行上述点击操作。
例如，若用户将第二电子设备中的光标601移动到视频APP图标的区域内，并在第一电子设备的显示屏上执行点击操作，则第一电子设备可以对当前界面内容中的视频APP执行点击操作，并将打开后的界面(投屏数据)发送到第二电子设备，第二电子设备可以将接收到的投屏数据进行显示。
接下来以第一触摸操作为滑动操作为例进行说明。
本申请实施例中，第一电子设备可以生成所述第一滑动操作对应的滑动事件，在所述第一电子设备的界面内容中的目标对象上执行所述滑动事件，以使得所述第二电子设备显示的所述投屏内容中的目标对象响应所述第一滑动操作。
例如，若用户将第二电子设备中的光标601移动到视频APP图标的区域内，并在第一电子设备的显示屏上执行滑动操作，则第一电子设备可以对当前界面内容中的视频APP图标执行拖动的操作。
需要说明的，第二电子设备的显示屏上除了显示光标601，还可以显示菜单栏。
本申请实施例中，第一电子设备可以获取所述第一电子设备前端应用的界面内容，并在所述界面内容上生成光标和菜单栏，得到投屏内容；其中，所述菜单栏不属于所述第一电子设备的界面内容。也就是说，菜单栏并非是原本第一电子设备上的界面内容，而是新增的内容。
具体的，第一电子设备可以基于悬浮窗接口将菜单栏添加到当前第一电子设备前端应用的界面内容中，生成投屏内容，此时，第一电子设备的投屏服务可以获取到上述投屏内容，并将投屏内容(需要经过编码操作，以及内容的尺寸大小变换)基于某一投屏协议发送至第二电子设备，以使得所述第二电子设备的显示屏显示所述投屏内容。
可选地，第一电子设备也可以获取当前前端应用的界面内容。例如，第一电子设备可以基于系统提供的录屏接口(例如Android提供的MediaProjection接口)来获取当前前端应用的界面内容，并在获取的界面内容上绘制菜单栏，第一电子设备可以将上述绘制好的内容作为投屏内容，第一电子设备的投屏服务可以获取到投屏内容，并将投屏内容(需要经过编码操作和/或内容的尺寸大小变换)基于某一投屏协议发送至第二电子设备，以使得所述第二电子设备的显示屏显示所述投屏内容。
本申请实施例中，第二电子设备的投屏内容上还可以包括不属于第一电子设备的界面内容的菜单栏，例如参照图8a中示出的功能控件800，如图8a中示出的那样，用户可以通过改变第一电子设备100的姿态来使得第二电子设备上的光标601移动至功能控件800所在的区域，并执行点击操作80，第一电子设备可以响应于上述点击操作80，在光标601所在的目标对象上执行点击操作，并显示功能选择区域801，相应的，参照图8b，图8b为本申请实施例提供的一种第二电子设备的投屏内容示意，如图8b中示出的那样，第二电子设备显示功能选择区域801，其中，功能选择区域801可以包括灵敏度调节控件、鼠标大小调节控件、滑动模式控件802、亮度调节控件和普通模式控件。
示例性的，用户可以通过点击滑动模式控件802来实现图7a和图7d中的示出的基于姿 态的交互模式和图7g中的示出的滑动交互模式之间的模式切换。如图8b示出的那样，用户可以点击滑动模式控件802，此时可以由基于调整第一电子设备的姿态来改变光标601位置的模式，切换到图7g中的示出的滑动交互模式，需要说明的是，在一种实施例中，切换到滑动交互模式后，功能选择区域801中的滑动模式控件802可以替换为姿态模式控件，若用户点击上述姿态模式控件，则可以由图7g中的示出的滑动交互模式切换到图7a和图7d中的示出的基于姿态的交互模式。
需要说明的是，在第一电子设备和第二电子设备建立投屏连接后，可以默认使用图7a和图7d中的示出的基于姿态的交互模式，也可以默认使用图7g中的示出的滑动交互模式，本申请并不限定。
参照图9a，图9a为本申请实施例提供的一种第二电子设备的投屏内容示意，如图9a中示出的那样，用户可以点击灵敏度调节控件901，相应的，第二电子设备可以显示灵敏度调节区域90，参照图9b，图9b为本申请实施例提供的一种第二电子设备的投屏内容示意，如图9b中示出的那样，第二电子设备显示灵敏度调节区域90，灵敏度调节区域90可以包括滑动控件，用户可以通过拖动滑动控件来调节对于光标601操控的敏感度。此外，灵敏度调节区域90还可以包括灵敏度的大小提示，需要说明的是，以上界面和控件的排布仅为一种示意，本申请并不限定。
可选的，在基于第一电子设备的姿态来调整光标601的位置的模式中，第一电子设备可以获取水平方向或竖直方向转动的角度变化量，并基于水平方向的角度变化量与第二电子设备中光标601水平位移大小之间的映射关系，以及竖直方向的角度变化量与第二电子设备中光标601竖直位移大小之间的映射关系，确定光标601在第二电子设备的投屏内容中的位移大小。通过上述的灵敏度调节可以调整上述水平方向的角度变化量与第二电子设备中光标601水平位移大小之间的映射关系，以及竖直方向的角度变化量与第二电子设备中光标601竖直位移大小之间的映射关系，以使得当第一电子设备发生了同样的姿态变化时，第二电子设备上的光标601的位移大小发生改变。
示例性的，若用户在操作光标601时，觉得光标601的移动过于缓慢，用户可以通过向右拖动图9b示出的滑动控件，增加光标601的灵敏度，相反的，若用户在操作光标601时，觉得光标601的移动过快，用户可以通过向左拖动图9b示出的滑动控件，减小光标601的灵敏度。
示例性的，在灵敏度为40时，第一电子设备在水平面上每转动1°时，光标601在第二电子设备的投屏内容中的水平像素坐标变化30个像素，第一电子设备在竖直面上每转动1°时，光标601在第二电子设备的投屏内容中的竖直像素坐标变化50个像素。用户可以通过向右拖动图9b示出的滑动控件，调整灵敏度至58时，第一电子设备在水平面上每转动1°时，光标601在第二电子设备的投屏内容中的水平像素坐标变化45个像素，第一电子设备在竖直面上每转动1°时，光标601在第二电子设备的投屏内容中的竖直像素坐标变化75个像素。需要说明的是，以上映射关系的描述仅为一种实例，并不构成对本申请的限定。
可选的，在一种实施例中，第一电子设备和第二电子设备建立了投屏连接后，第一电子设备可以将功能控件800对应的图像数据通过悬浮窗接口加到当前的界面内容中，以使得第一电子设备当前的界面内容中叠加了功能控件800，此时，第一电子设备的投屏服务 可以获取到包括上述功能控件800的界面内容的投屏数据，并将上述投屏数据基于某一投屏协议发送至第二电子设备，相应的，第二电子设备上就可以显示有包括功能控件800的界面内容，第一电子设备可以获取到用户的操作(滑动/改变第一电子设备的姿态)来改变光标601在当前的界面内容中的位置，当用户控制第二电子设备上的光标601移动至功能控件800的范围内时，第一电子设备可以确定光标601在当前的界面内容中的位置在功能控件800的范围内，若用户对第一电子设备的显示屏进行了点击操作，第一电子设备可以将功能选择区域801对应的图像数据通过悬浮窗接口加到当前的界面内容中，以使得第一电子设备当前的界面内容中叠加了功能选择区域801，此时，第一电子设备的投屏服务可以获取到包括上述功能选择区域801的界面内容的投屏数据，并将上述投屏数据基于某一投屏协议发送至第二电子设备，相应的，第二电子设备上就可以显示有包括功能选择区域801的界面内容。
以图8b示出的功能选择区域801为例，功能选择区域801可以包括灵敏度调节控件、鼠标大小调节控件、滑动模式控件802、亮度调节控件和普通模式控件。此时，第一电子设备可以获取到功能选择区域801各个控件在当前界面内容中的位置。用户操作第一电子设备来调整光标601的位置，第一电子设备可以获取到光标601的位置，若光标601的位置在功能选择区域801中某一个控件的区域内，且第一电子设备检测到了用户在显示屏上的点击操作，第一电子设备可以响应用户的操作，例如，如图9a示出的那样，若用户点击了灵敏度控件，响应于用户的点击操作，第一电子设备可以将灵敏度调节区域90对应的图像数据通过悬浮窗接口加到当前的界面内容中，以使得第一电子设备当前的界面内容中叠加了灵敏度调节区域90，并去除原有的功能选择区域801(或者将灵敏度调节区域90叠加在功能选择区域801之上)，此时，第一电子设备的投屏服务可以获取到包括上述灵敏度调节区域90的界面内容的投屏数据，并将上述投屏数据基于某一投屏协议发送至第二电子设备，相应的，第二电子设备上就可以显示如图9b中示出的包括灵敏度调节区域90的界面内容。此时，用户可以在第一电子设备的显示屏上进行滑动操作，并拖动灵敏度调节区域90中的滑动按钮，相应地，第一电子设备响应于用户的滑动操作，将拖动滑动按钮对应的图像数据通过悬浮窗接口加到当前的界面内容中，同时，基于用户的拖动大小，修改用户操作光标601的灵敏度的相关参数。以上描述仅为一种示例，并不构成对本申请的限定。
需要说明的是，上述功能选择区域801包括的控件今为一种示意，实际应用中，还可以设置结束投屏控件，用户可以通过将第二电子设备中的光标移动到结束投屏控件，并点击第一电子设备的显示屏来触发第一电子设备结束与第二电子设备的投屏连接。
可选的，用户还可以通过其他方式来触发第一电子设备结束与第二电子设备的投屏连接，例如按压电源键等，这里并不限定。
可选的，参照图9c，图9c为本申请实施例提供的一种第二电子设备的投屏内容示意，如图9c中示出的那样，用户可以点击普通模式控件902，相应的，第一电子设备可以将与用户的交互模式变为普通交互模式，此时，第一电子设备的显示屏可以亮屏，用户可以正常在第一电子设备的显示屏上进行操作。
可选的，参照图9d，图9d为本申请实施例提供的一种用户操作第一电子设备的示意，如图9d中示出的那样，用户可以按压第一电子设备的电源按键，相应的，第一电子设备可 以将与用户的交互模式变为普通交互模式，此时，第一电子设备的显示屏可以亮屏，用户可以正常在第一电子设备的显示屏上进行操作。
需要说明的是，以上将第一电子设备切换为普通交互模式的方式今为一种示意，并不构成对本申请的限定。
接下来结合一个具体的场景对上述将第一电子设备切换为普通交互模式进行描述。
参照图10a，图10a为本申请实施例提供的一种第二电子设备的投屏内容示意，如图10a中示出的那样，第一电子设备接收到其他电子设备发送的聊天消息，此时第二电子设备上会显示聊天的提示窗口(该提示窗口的数据是由第一电子设备发送的，具体细节可参照上述实施例，这里不再赘述)。
如图10a中示出的那样，用户可以将光标601移动至提示窗口的区域内，并在第一电子设备上执行点击操作，相应的，第二电子设备可以显示如图10b中示出的聊天界面(该过程的实现为第一电子设备检测到用户的点击操作，并在光标所在的位置上执行上述点击事件，具体细节可参照上述实施例，这里不再赘述)，该聊天界面包括输入键盘，此时，如果通过调整第二电子设备上显示的光标的位置结合对第一电子设备执行点击操作，来进行语句输入，用户的体验性会很差(由于第二电子设备的显示屏大小会很大，且用户并不适应通过上述交互方式来使用输入键盘)。
参照图10c，图10c为本申请实施例提供的一种第一电子设备的交互示意，如图10c中示出的那样，用户可以按压第一电子设备的电源按键，相应的，第一电子设备可以将与用户的交互模式变为普通交互模式，此时，第一电子设备的显示屏可以亮屏，用户可以正常在第一电子设备的显示屏上进行操作。参照图10d，图10d为本申请实施例提供的一种第一电子设备的界面内容示意，如图10d中示出的那样，用户可以直接在第一电子设备显示的输入键盘上进行操作。可选的，在完成语句的输入后，可以再次按压第一电子设备的电源按键，将第一电子设备切换到熄屏以及上述交互模式。
需要说明的是，以上仅为一种场景的示意性描述，在实际应用中，只要为需要通过面向第一电子设备显示屏进行操作的场景，用户都可以通过上述方式，切换到投屏的普通模式。
可选的，第一电子设备与第二电子设备建立了投屏连接之后，可以接收到其他电子设备的通话请求(例如可以是语音通话请求或视频通话请求)，以通话请求为语音通话请求为例，此时第二电子设备上可以显示第一电子设备的通话请求对应的界面内容，该界面内容包括接收通话控件和拒绝通话控件。
可选的，用户可以通过操作第一电子设备将第二电子设备上显示的光标移动到接收通话控件，并点击第一电子设备的显示屏上，进而，用户可以通过第一电子设备进行通话。
可选的，用户可以通过按压第一电子设备的电源键或其他方式，将当前的交互方式切换为正常手机交互方式(通过点击第一电子设备的显示屏中的将第二电子设备上显示的光标移动到接收通话控件，并点击第一电子设备的显示屏上的接收通话控件，进而，用户可以通过第一电子设备进行通话。
接下来说明，如何结合上述灵敏度的调节，使得用户在挥动第一电子设备时，第一电 子设备的前端朝向可以尽可能的与光标在第二电子设备上的显示位置一致。
本申请实施例中，在第一电子设备与第二电子设备建立投屏连接后，第一电子设备可以将光标的601设置在界面内容中的预设位置上，例如可以是界面内容的几何中心处，参照图11a，图11a为一种第一电子设备和第二电子设备的交互示意，在第一电子设备与第二电子设备建立投屏连接后，第一电子设备可以将光标的601设置在界面内容的几何中心处，相应的，第二电子设备的显示内容可以如图11a中示出的那样，然而，由于在第一电子设备与第二电子设备建立投屏连接时，第一电子设备的前端可能并不朝向第二电子设备的中心位置，此时，第一电子设备的前端朝向偏左，此时，用户向右挥动第一电子设备，使得第二电子设备上的光标的显示位置向右位移，此时用户控制光标进行位移时，第一电子设备的朝向都偏左，不符合用户的理想操作方式(理想的用户操作方式为：第一电子设备的前端朝向可以尽可能的与光标在第二电子设备上的显示位置一致)。为了解决上述技术问题，当用户向右挥动第一电子设备，使得第一电子设备的前端朝向第二电子设备的中心位置附近，如图11b中示出的那样，第二电子设备上的光标的显示位置在右端的边界处，此时用户可以继续向右挥动第一电子设备，如图11c中示出的那样，光标可以停留在第二电子设备上的右端边界处，在用户将第一电子设备向右转动一定的角度后，用户可以向左转动第一电子设备，如图11d示出的那样，第二电子设备上的光标向左位移，当第一电子设备的前端朝向第二电子设备的中心位置时，光标在第二电子设备的显示位置，相比调整前更靠左。用户可以通过上述方式将第一电子设备的前端朝向第二电子设备的中心位置时，光标调整至位于第二电子设备的中心位置附近，并结合上述灵敏度的调节，使得用户在挥动第一电子设备时，第一电子设备的前端朝向可以尽可能的与光标在第二电子设备上的显示位置一致。
本申请实施例中，第一电子设备可以获取到第二电子设备的显示屏的显示区域的尺寸大小，进而，第一电子设备可以根据第二电子设备的显示屏的显示区域的尺寸大小以及光标在第二电子设备显示的投屏内容的像素坐标位置，判断出光标是否移动至第二电子设备的显示区域的边界处，当第一电子设备判断出光标是否移动至第二电子设备的显示区域的边界，则光标在第二电子设备的显示屏上的显示位置可以停留在第二电子设备的显示区域的边界处。此处应当理解，当光标移动至第二电子设备的显示屏上的显示区域的左右边界时，虽然光标不会超出显示屏上的显示区域的左右边界，但光标仍然可以上下移动。类似的，当光标移动至第二电子设备的显示屏上的显示区域的上下边界时，虽然光标不会超出显示屏上的显示区域的上下边界，但光标仍然可以左右移动。类似的，当光标移动至第二电子设备的显示屏上的显示区域的角点(左上角点、左下角点、右上角点或右下角点)时，虽然光标不会超出显示屏上的显示区域的边界，但光标仍然可以朝某一方向移动，例如，当光标移动至第二电子设备的显示屏上的显示区域的左上角点时，光标仍然可以朝右方向、向下的方向以及向右下的方向移动。
可选的，在另一种实施例中，可以设置光标位置的快捷调节机制，例如，当用户触摸第一电子设备的显示屏超过预设时间后，第一电子设备可以响应于用户的上述操作，初始化光标在界面内容中的位置。
示例性的，参照图11e，图11e为一种第一电子设备和第二电子设备的交互示意，如图 11e中示出的那样，在第一电子设备与第二电子设备建立投屏连接后，由于第一电子设备的前端朝向第二电子设备的几何中心偏左的位置，此时，用户向右挥动第一电子设备，并使得第一电子设备的前端朝向第二电子设备的中心位置附近，如图11f中示出的那样，光标的显示位置在第二电子设备的中心位置附近，此时，用户可以长按第一电子设备的显示屏5秒或超过5秒，如图11g中示出的那样，第一电子设备可以响应于用户长按显示屏5S的操作，将光标的显示位置调整为界面内容的几何中心处。用户可以通过上述方式将第一电子设备的前端朝向第二电子设备的中心位置时，光标调整至位于第二电子设备的中心位置附近，并结合上述灵敏度的调节，使得用户在挥动第一电子设备时，第一电子设备的前端朝向可以尽可能的与光标在第二电子设备上的显示位置一致。
需要说明的是，以上调整光标位置的方式仅为一种示例，并不构成对本申请的限定。
可选地，在一种实施例中，若第一电子设备和第二电子设备建立投屏连接后，用户在一定时间内都没有操作第一电子设备，则第二电子设备上显示的光标可以隐藏，用户可以通过上述触摸操作和/或通过改变第一电子设备的姿态来激活第二电子设备显示屏中的光标显示。
本申请实施例中，第一电子设备还可以接收对所述第一电子设备的显示屏的第一操作，且所述第一操作为预设的快捷操作，所述第一电子设备可以响应于所述第一操作。
本申请实施例中，第一电子设备可以检测到对所述第一电子设备的显示屏的第一操作，并识别出第一操作为预设的快捷操作，此时，第一电子设备可以生成第一电子设备对应的第一事件，且第一电子设备也可以根据光标所在的位置以及第一操作生成另一个事件(为了与第一操作区分，这里称作第二操作)，第一电子设备可以确定出第一操作与第二操作的优先级，并基于第一操作与第二操作的优先级高低，确定到底是执行第一操作还是第二操作。
可选的，本申请实施例中，若第一电子设备识别出第一操作为预设的快捷操作，此时，第一电子设备可以生成第一电子设备对应的第一事件，且第一电子设备也可以根据光标所在的位置以及第一操作生成第二操作，第一事件的执行优先级高于第二事件的执行优先级，则第一电子设备执行上述第一事件。此时，所述第一操作的操作位置对应所述第二电子设备的界面内容中的第五对象，由于第二事件的执行优先级低于第一事件的执行优先级，则所述第五对象不响应所述第一操作。
接下来，结合两个应用场景对本申请提供的投屏方法进行进一步的描述。
一、视频播放
参照图12a，图12a为本申请实施例提供的一种第二电子设备的界面示意图，如图12a中示出的那样，用户可以通过操作第一电子设备来点击视频APP应用，在用户点击了想播放的视频后，第二电子设备可以显示如图12b中示出的视频播放界面。
参照图12a，图12a为本申请实施例提供的一种第二电子设备的界面示意图，如图12a中示出的那样，用户可以点击界面中的全屏控件，来实现视频的全屏播放，在另一种实施例中，如图12d中示出的那样，用户可以旋转第一电子设备(由竖屏旋转至横屏)，来实现视频的全屏播放，视频的全屏播放界面可以参照图12e，全屏播放界面可以包括但不限 于视频图像、暂停/播放控件、切换下一集控件等。
本申请实施例中，用户可以点击图12e中的视频播放区域，相应的，参照图12f，第二电子设备的投屏内容中可以仅包括视频图像，或者，若用户长时间未操作第一电子设备，相应的，第二电子设备的投屏内容中可以仅包括视频图像(参照图12f)。
参照图12g，图12g为本申请实施例提供的一种第一电子设备的操作示意图，如图12g中示出的那样，在第二电子设备显示视频播放界面时，用户在第一电子设备的显示屏上执行横向的滑动操作，第二电子设备显示的视频可以快进或快退，第二电子设备显示如图12e所示的界面，且用户在第一电子设备的显示屏上向右滑动时，如图12h中示出的那样，第二电子设备的投屏内容包括快进的预览图像，以及快进的进度条，如图12i示出的那样，第二电子设备的投屏内容包括快进的预览图像，以及快进的进度条，当用户基于第二电子设备上显示的预览图像确定快进的目标位置后，可以结束在第一电子设备显示屏上的滑动操作，如图12j和图12k示中示出的那样，第二电子设备显示的视频快进至用户确定快进的目标位置(10:03)。
参照图12l，图12l为本申请实施例提供的一种第一电子设备的操作示意图，如图12l中示出的那样，用户可以在第一电子设备显示屏的右侧区域进行竖直方向的滑动操作来调节当前播放的视频的音量大小，或者如图12m中示出的那样，用户可以通过第一电子设备的物理音量调节按键1201来调节当前播放的视频的音量大小，如图12n中示出的那样，图12n示出了第二电子设备的音量调节界面。
参照图12o，图12o为本申请实施例提供的一种第一电子设备的操作示意图，如图12o中示出的那样，用户可以在第一电子设备显示屏的左侧区域进行竖直方向的滑动操作来调节当前播放的视频的显示亮度大小，如图12p中示出的那样，图12p示出了第二电子设备的亮度调节界面。
参照图12q，图12q为本申请实施例提供的一种第一电子设备的操作示意图，如图12q中示出的那样，用户可以在第一电子设备的显示屏上，从右侧边界区域向屏幕中心滑动，此时，第二电子设备可以显示上一级的界面内容(即第一电子设备执行返回操作，返回至前一次的界面内容)，如图12r示出的那样，此时第二电子设备的投屏内容为视频全屏播放界面的上一级界面(视频播放界面)。
参照图12s，图12s为本申请实施例提供的一种第一电子设备的操作示意图，如图12s中示出的那样，用户可以在第一电子设备的显示屏上，从下侧边界区域向屏幕中心滑动，此时，第二电子设备可以显示主界面(即第一电子设备执行返回至主界面的操作)，如图12t示出的那样，此时第二电子设备的投屏内容为第一电子设备的主界面。
本申请实施例中，第一电子设备还可以接收对所述第一电子设备的显示屏的第一操作，且所述第一操作为预设的快捷操作，所述第一电子设备可以响应于所述第一操作。
本申请实施例中，第一电子设备可以检测到对所述第一电子设备的显示屏的第一操作，并识别出第一操作为预设的快捷操作，此时，第一电子设备可以生成第一电子设备对应的第一事件，且第一电子设备也可以根据光标所在的位置以及第一操作生成另一个事件(为了与第一操作区分，这里称作第二操作)，第一电子设备可以确定出第一操作与第二操作 的优先级，并基于第一操作与第二操作的优先级高低，确定到底是执行第一操作还是第二操作。
可选的，本申请实施例中，若第一电子设备识别出第一操作为预设的快捷操作，此时，第一电子设备可以生成第一电子设备对应的第一事件，且第一电子设备也可以根据光标所在的位置以及第一操作生成第二操作，第一事件的执行优先级高于第二事件的执行优先级，则第一电子设备执行上述第一事件。此时，所述第一操作的操作位置对应所述第二电子设备的界面内容中的第五对象，由于第二事件的执行优先级低于第一事件的执行优先级，则所述第五对象不响应所述第一操作。
示例性的，参照图12u，图12u为本申请实施例提供的一种第一电子设备的操作示意图，第一电子设备除了单击的确认操作，还可以支持常用的全面屏手势操作(快捷操作)，与原有使用第一电子设备的方式保持一致，减少用户的学习成本。如图12u中示出的那样，从左边缘或右边缘向中间滑动代表返回键，从下边缘向中间滑动代表home键，从下边缘向中间滑动并停留代表菜单键，上下左右的滑动操作可用来在视频场景中实现快进和快退。
接下来介绍一下实现上述全面屏手势操作的原理：
1、返回键
本申请实施例中，从左边缘或右边缘向中间滑动代表返回键，具体的，第一电子设备在熄屏状态时，若检测到从左边缘或右边缘向中间的滑动操作，可以拦截在当前光标位置执行的滑动操作，而是直接将返回事件注入到当前的前端应用中，响应于该返回事件，此时系统的界面内容返回至上一级，相当于在普通模式时，用户从左边缘或右边缘向中间滑动时，手机执行的返回操作。
2、home键
本申请实施例中，从下边缘向中间滑动代表home键，具体的，第一电子设备在熄屏状态时，若检测到从下边缘向中间的滑动操作，可以拦截在当前光标位置执行的滑动操作，而是直接将返回主界面的事件注入到当前的前端应用中，响应于该返回主界面的事件，此时系统的界面内容返回主界面，相当于在普通模式时，用户点击home键。
3、菜单键
本申请实施例中，从下边缘向中间滑动并停留代表菜单键，具体的，第一电子设备在熄屏状态时，若检测到从下边缘向中间并停留的操作，可以拦截在当前光标位置执行上述操作，而是直接将显示菜单的事件注入到当前的前端应用中，响应于该显示菜单的事件，此时系统的界面内容显示上拉菜单，相当于在普通模式时，用户点击从下边缘向中间滑动并停留，手机会显示上拉菜单(该菜单可以包括当前运行的应用列表，或应用的历史运行列表等，本申请并不限定)。
本申请实施例中，第一电子设备可以接收对所述第一电子设备的显示屏的第二触摸操作，根据所述第二触摸操作的操作形式确定对应的第三事件，其中，不同的操作形式对应不同的第三事件，并对所述第一电子设备前端应用执行所述第三事件，其中第二触摸操作的操作形式至少包括如下的一种操作形式：接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设方向滑动；接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏 的时间大于预设时间。
具体的，增强交互服务在获取到触摸屏输入的第一操作后，可以识别该第一操作是否为预设的快捷操作，并基于第一操作符合预设的快捷操作，生成与预设的快捷操作对应的事件，此时增强交互服务可以直接将该事件注入到前端应用中，而不是在光标所在的位置上执行(即第一电子设备可以直接响应于所述第一操作)。具体可以参照图12u以及对应的实施例的描述，这里不再赘述。
可选的，在另一种实现方式中，可以将显示屏划分为两个区域(例如是上半区域和下班区域)，若用户在显示屏的上半区域触摸显示屏，则可以控制光标在界面内容的显示位置，若用户在显示屏的下半区域触摸显示屏，则可以按照类似于图12u中的操作方式。
此外，需要说明的是，在上述视频播放的场景中，在用户选择要播放的视频后，第二电子设备可以直接全屏播放视频。
可选地，第一电子设备100可以获取当前视频播放界面所对应视频400，并将视频400处理成视频流。在一些可行的实施方式中，第一电子设备100获取视频的图像数据，并将视频的图像数据中各个图像帧对应的图像进行压缩，该各个图像帧对应的图像压缩后的图像尺寸与第二电子设备上的图像尺寸相同。示例性地，当图像尺寸以像素点为单位时，假设第二电子设备上的图像尺寸为400×800个像素点，该各个图像帧对应的图像的图像尺寸为800×800个像素点，则第一电子设备将各图像帧对应的图像进行压缩时，可将各图像帧对应的图像的图像尺寸800×800个像素点压缩至400×800个像素点以得到各图像帧对应的压缩后的图像。第一电子设备可以将多个图像帧对应的压缩后的图像进行视频压缩编码后得到视频流。该多个图像帧可以为视频的图像数据在多个连续的时间节点上的图像帧，其中视频的图像数据在一个时间节点上存在一个图像帧。在另一些可行的实施方式中，第一电子设备在获得视频的图像数据之后，可以直接将该图像数据在多个连续的时间节点上的多个图像帧进行视频压缩编码后得到视频流。
在一些可行的实施方式中，第一电子设备可以获取视频在一段时间内的音频数据，这一段时间由上述多个连续的时间节点确定。第一电子设备可以对这一段时间内的音频数据进行音频压缩编码，如高级音频编码(advanced audio coding，AAC)。第一电子设备将上述多个图像帧经过视频压缩编码后与该段时间内的音频数据经过音频压缩编码后混成视频流。该视频流的数据格式为第二电子设备能够接收的任一数据格式，如MP4(MPEG-4part 14)格式的视频流。该视频流对应的图像和音频在第二电子设备上同步呈现。
第一电子设备可以将视频流发送给第二电子设备。相应的，第二电子设备接收到视频流后，将视频流处理成图像和音频输出。在一些可行的实施方式中，第一电子设备可将视频流作为投屏数据通过投屏端口以视频流媒体协议(如实时流传输协议(real time streaming protocol，RTSP))承载输出给第二电子设备。第二电子设备对投屏数据(即视频流)进行视频流媒体协议接收处理以及视频音频解码处理，再渲染输出，此时第二电子设备全屏显示投屏数据对应的图像和/或播放投屏数据对应的音频。例如，第一电子设备100的屏幕宽为S-W1，屏幕高为SH1；第二电子设备100的屏幕宽为S-W2，屏幕高为S-H2。第二电子设备200在显示投屏数据对应的图像时，可以将该投屏数据对应的图像的宽高比例调整至与第二电子设备200的屏幕宽高比例S-W2:S-H2相同后，再显示。假设视频400在 第一电子设备100上全屏播放且无黑或白边，且第一电子设备100的屏幕宽高比例S-W1:S-H1与第二电子设备200的屏幕宽高比例S-W2:S-H2相同，那么第二电子设备200显示的视频播放画面也无黑边或白边，第一电子设备100与第二电子设备200显示相同的图像且播放相同的音频。
在一些可行的实施方式中，如果用户通过移动第二电子设备上的光标至暂停控件，并在第一电子设备的显示屏上执行点击操作，则第一电子设备响应上述操作，暂停视频400的播放。同时，第一电子设备100会暂停视频400的视频流的传输，第二电子设备200会因为没有视频流传输过来也暂停播放。如果用户通过移动第二电子设备上的光标至暂停控件，并在第一电子设备的显示屏上执行点击操作，则第一电子设备响应上述操作，从视频400的当前播放进度开始继续播放，并且，第一电子设备100继续视频400的视频流的传输，故第二电子设备200接收到视频流也继续播放。如果视频流的传输是分片传输的，所以第一电子设备100每次传输视频流时，只传输固定时间段内的视频流。示例性地，如果视频400的播放时长为25分34秒，第一电子设备100可以每次传输10秒长的视频流，那么视频400需要传输154次才能全部传输到第二电子设备200中。
以上介绍了在视频播放场景中，本申请提供的投屏方法的一种实施例的描述，接下来介绍另一种应用场景下，本申请提供的投屏方法的一种实施例。
二、演示场景
图13为本申请实施例提供的一种投屏场景的示意图。如图13所示，假定在某一企业的会议室中，用户A、用户B、用户C、用户D、用户E、用户F、用户G、用户H和用户I召开会议；其中，用户A通过第一电子设备将包含会议信息的投屏数据发送至第二电子设备200上，并由第二电子设备200对该投屏数据进行展示。通常而言，第一电子设备100的设备屏幕较小，用户A难以通过第一电子设备100向其他用户分享会议信息，而第二电子设备200(例如电视)则可以通过较大屏幕对投屏数据进行展示，以便于其他用户进行查看。
对于与第二电子设备200的距离较近的用户B、用户C、用户D和用户E等而言，可以通过观看第二电子设备200的展示内容，查看到用户A分享的会议信息，而无需单独携带和使用额外的电子设备予以辅助。然而，基于第二电子设备200的屏幕尺寸限制，以及一些用户可能存在的近视等视力问题，导致诸如用户F、用户G、用户H和用户I等用户可能无法看清第二电子设备200的展示内容，影响会议的正常进行。
因此，第一电子设备100可以同时与多个第二电子设备200建立投屏连接，基于本申请的技术方案，用户F、用户G、用户H和用户I等可以分别使用各自的第二电子设备200，接收并展示第一电子设备100发送的投屏数据，以便于相应的用户进行查看。其中，对于多个第二电子设备200中的每一设备，在本申请中的处理过程相同。
参照图14a，图14a为本申请实施例提供的一种第二电子设备的投屏内容示意图，如图14a示出的那样，用户可以通过操作第一电子设备来点击PPT应用，在用户点击了想演示的PPT后，第二电子设备可以显示如图14b中示出的PPT展示界面。
如图14a中示出的那样，PPT展示界面可以包括演示控件1403、当前胶片展示区域1404、胶片列表区域1405。当前胶片展示区域1404为当前要演示的胶片，胶片列表区域1405中可 以包括胶片的列表，用户可以在胶片列表区域1405中选择要演示的胶片，例如，用户可以通过操作第一电子设备来选择胶片C，相应的，此时胶片展示区域1404中显示的胶片为选择的胶片C。
如图14b中示出的那样，用户可以点击PPT展示界面中的演示控件1403，来实现胶片的演示，胶片的演示界面可以参照图14c。参照图14d，图14d为本申请实施例提供的一种第一电子设备的操作示意，如图14d中示出的那样，用户可以在第一电子设备的显示屏上执行向左的活动操作，此时，第二电子设备可以显示如图14e中示出的演示界面(其中的演示胶片切换为下一张)。参照图14f，图14f为本申请实施例提供的一种第一电子设备的操作示意，如图14f中示出的那样，用户可以提供旋转第一电子设备(由竖屏旋转至横屏)，来实现胶片的全屏演示，如图14g中示出的那样，图14g中示出了一种胶片的全屏演示界面。
接下来针对于本申请实施例提供的信息处理方法的具体流程进行介绍，参照图15，图15为本申请实施例提供的一种信息处理方法的流程图示意，如图15中示出的那样，本申请提供的信息处理方法包括：
1501、第一电子设备监听投屏连接状态。
本申请实施例中，第一电子设备可以安装增强交互服务，增强交互服务可以监听第一电子设备的投屏连接状态。
1502、第一电子设备检测到与第二电子设备建立投屏连接。
本申请实施例中，增强交互服务可以检测到第一电子设备与第二电子设备建立投屏连接，关于第一电子设备与第二电子设备建立投屏的方式可参照图4a至图5c对应的实施例的描述，这里不再赘述。
1503、第一电子设备生成投屏内容。
本申请实施例中，第一电子设备的增强交互服务可以获取所述第一电子设备前端应用的界面内容，在所述界面内容上生成所述光标，得到所述投屏内容。
本申请实施例中，第一电子设备的增强交互服务还可以在所述界面内容上生成所述光标和所述菜单栏，得到投屏内容。
具体的，参照图16，图16为本申请实施例的一种架构示意图，如图16中示出的那样，增强交互服务可以基于悬浮窗接口将光标和菜单栏添加到当前第一电子设备前端应用的界面内容中，生成投屏数据，此时，第一电子设备的投屏服务可以获取到上述投屏数据，并将投屏数据(需要经过编码操作，以及内容的尺寸大小变换)基于某一投屏协议发送至第二电子设备，以使得所述第二电子设备的显示屏显示所述投屏数据对应的投屏内容。
可选的，第一电子设备可以获取到传感器输入的第一电子设备的姿态变化信息，并基于第一电子设备的姿态变化信息移动所述光标在界面内容中的位置，关于增强交互服务如何基于第一电子设备的姿态变化信息将所述光标在第二电子设备显示屏中移动，可以参照上述实施例中的描述，这里不再赘述。
可选的，第一电子设备可以接收对所述第一电子设备的显示屏的第二滑动操作，根据所述第二滑动操作确定所述光标的位移，并基于所述位移在所述投屏内容上移动所述光标，关于增强交互服务如何根据所述第二滑动操作将所述光标在第二电子设备显示屏中移动， 可以参照上述实施例中的描述，这里不再赘述。
可选的，第一电子设备可以获取到触摸屏输入的第一触摸操作，并根据所述第一触摸操作生成对应的第一事件，在所述界面内容的所述目标对象处(此时光标所在的目标对象)执行所述第一事件。例如，第一触摸操作可以是点击操作或滑动操作，相应的，第一事件可以是点击事件或滑动事件。
可选的，第一电子设备可以屏蔽所述界面内容对所述第一触摸操作的操作位置上的响应。具体的，第一电子设备在接收到对第一电子设备显示屏的第一触摸操作后，可以屏蔽当前前端应用的界面内容对所述第一触摸操作的操作位置上的响应，而是确定光标在第二显示屏上的位置确定所述界面内容对所述第一触摸操作的响应位置。例如，若用户对第一电子设备的显示屏的A对象执行了点击操作，此时，光标在第二电子设备中位于B对象上，此时，第一电子设备可以屏蔽A对象对于点击操作的响应，而是在界面内容的B对象上响应上述点击操作。
可选地，第一电子设备可以接收到对所述第一电子设备的物理按键的按压操作，根据所述按压操作生成对应的第二事件，并对所述第一电子设备前端应用执行所述第二事件。例如，第一电子设备可以接收到对所述第一电子设备的音量键的按压操作(例如是音量降低)，根据所述按压操作生成对应的降低音量事件，并对所述第一电子设备前端应用执行降低音量事件，使得第一电子设备前端应用播放的音量降低。
可选的，第一电子设备可以接收对所述第一电子设备的显示屏的第二触摸操作，根据所述第二触摸操作的操作形式确定对应的第三事件，其中，不同的操作形式对应不同的第三事件，并对所述第一电子设备前端应用执行所述第三事件，其中第二触摸操作的操作形式至少包括如下的一种操作形式：接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设方向滑动；接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏的时间大于预设时间。
具体的，增强交互服务在获取到触摸屏输入的触摸操作后，可以识别该触摸操作是否符合预设的操作形式，并基于触摸操作符合预设的操作形式，生成预设的操作形式对应的事件，此时增强交互服务可以直接将该事件注入到前端应用中，而不是在光标所在的位置上执行。
可选的，参照图17，图17为本申请实施例的一种架构示意图，如图17中示出的那样，增强交互服务可以获取当前前端应用的界面内容。可选的，增强交互服务可以基于系统提供的录屏接口(例如Android提供的MediaProjection接口)来获取当前前端应用的界面内容，并在获取的界面内容上绘制光标和菜单栏，增强交互服务可以将上述绘制好的内容作为投屏数据发送至第一电子设备的投屏服务，此时，第一电子设备的投屏服务获取到投屏数据，并将投屏数据(需要经过编码操作和/或内容的尺寸大小变换)基于某一投屏协议发送至第二电子设备。
1504、第一电子设备向第二电子设备发送投屏内容。
本申请实施例中，第一电子设备向第二电子设备发送投屏数据之后，所述第二电子设备的显示屏可以显示所述投屏数据对应的投屏内容，所述投屏内容包括光标以及第一电子 设备的界面内容，所述光标用于定位在所述界面内容中的操作位置。
步骤1504的实现方式可以参考上述实施例中，第一电子设备向第二电子设备发送投屏数据的相关描述，这里不再赘述。
需要说明的是，以上步骤1503和步骤1504可以独立实现，而不是需要建立在步骤1501以及步骤1502执行完的基础上再执行。
本申请实施例提供了一种信息处理方法，包括：生成投屏内容；向第二电子设备发送所述投屏内容，以使得所述第二电子设备的显示屏显示所述投屏内容，所述投屏内容包括光标以及第一电子设备的界面内容，所述光标用于定位在所述界面内容中的操作位置。通过上述方式，将光标添加至投屏内容中，以使得用户可以通过第二电子设备显示的光标来确定要操作的位置，使得用户可以不看第一电子设备的界面内容，基于第二电子设备显示屏显示的投屏内容中的光标的位置就可以确定要操作的位置，进而在光标所在的位置上执行操作。
本申请实施例还提供一种电子设备，请参阅图18，图18为本申请实施例提供的电子设备的一种结构示意图，电子设备包括：
处理模块1801，用于生成生成投屏内容；
发送模块1802，用于向第二电子设备发送所述投屏内容，以使得所述第二电子设备的显示屏显示所述投屏内容，所述投屏内容包括光标以及第一电子设备的界面内容，所述光标用于定位在所述界面内容中的操作位置。
可选的，所述处理模块1801，具体用于：
获取所述第一电子设备前端应用的界面内容，并在所述界面内容上生成光标，得到投屏内容。
可选的，所述处理模块1801，具体用于：
获取所述第一电子设备前端应用的界面内容，并在所述界面内容上生成光标和菜单栏，得到投屏内容；其中，所述菜单栏不属于所述第一电子设备的界面内容。
可选的，所述处理模块1801，还用于检测到所述第一电子设备与所述第二电子设备建立投屏连接。
可选的，所述处理模块1801，还用于获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息使得所述光标在所述第二电子设备显示的所述投屏内容中移动。
可选的，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述处理模块1801，具体用于：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备显示的所述投屏内容中移动。
可选的，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备的显示屏上显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备的显示屏上显示的光标的 上下移动方向平行，所述处理模块1801，还用于：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备显示的所述投屏内容中移动。
可选的，所述处理模块1801，还用于：
当所述光标移动至所述第二电子设备显示的所述投屏内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备显示的所述投屏内容中的目标对象响应所述第一触摸操作。
可选的，所述处理模块1801，还用于：
屏蔽所述第二对象对所述第一触摸操作的响应。
可选的，所述第一触摸操作至少包括点击操作和第一滑动操作，所述目标对象至少包括应用程序和功能控件。
可选的，所述处理模块1801，还用于：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备显示的所述投屏内容中移动。
可选的，所述第二滑动操作对应的操作位置对应于所述第一电子设备的界面内容中的第三对象，所述处理模块1801，还用于：
屏蔽所述第三对象对所述第二触摸操作的响应。
可选的，所述处理模块1801，还用于：
当所述光标移动至所述第二电子设备显示的所述投屏内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备显示的所述投屏内容中的目标对象响应所述点击操作。
可选的，所述点击操作的操作位置对应于所述第一电子设备的界面内容中的第四对象，所述处理模块1801，还用于：
屏蔽所述第四对象对所述点击操作的响应。
可选的，所述处理模块1801，还用于：
接收到对所述第一电子设备的物理按键的按压操作；
根据所述按压操作生成对应的第二事件；
对所述第一电子设备前端应用执行所述第二事件。
可选的，所述处理模块1801，还用于：
接收对所述第一电子设备的显示屏的第一操作，且所述第一操作为预设的快捷操作；
所述第一电子设备响应于所述第一操作。
可选的，所述第一操作的操作位置对应所述第二电子设备的界面内容中的第五对象，所述第五对象不响应所述第一操作。
可选的，所述预设的快捷操作至少包括：
接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设 方向滑动；
接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏的时间大于预设时间。
可选的，所述处理模块1801，还用于：
降低所述第一电子设备的显示屏的显示亮度；或，
对所述第一电子设备的显示屏执行熄屏操作。
可选的，所述第一电子设备的显示屏的显示区域小于所述第二电子设备的显示屏的显示区域。
接下来介绍本申请实施例提供的一种电子设备，请参阅图19，图19为本申请实施例提供的电子设备的一种结构示意图，电子设备1900具体可以表现为手机、平板、智能穿戴设备等，此处不做限定。具体的，电子设备1900包括：接收器1901、发射器1902、处理器1903和存储器1904(其中电子设备1900中的处理器1903的数量可以一个或多个，图19中以一个处理器为例)，其中，处理器1903可以包括应用处理器19031和通信处理器19032。在本申请的一些实施例中，接收器1901、发射器1902、处理器1903和存储器1904可通过总线或其它方式连接。
存储器1904可以包括只读存储器和随机存取存储器，并向处理器1903提供指令和数据。存储器1904的一部分还可以包括非易失性随机存取存储器(non-volatile random access memory，NVRAM)。存储器1904存储有处理器和操作指令、可执行模块或者数据结构，或者它们的子集，或者它们的扩展集，其中，操作指令可包括各种操作指令，用于实现各种操作。
处理器1903控制电子设备的操作。具体的应用中，电子设备的各个组件通过总线系统耦合在一起，其中总线系统除包括数据总线之外，还可以包括电源总线、控制总线和状态信号总线等。但是为了清楚说明起见，在图中将各种总线都称为总线系统。
上述本申请实施例揭示的方法可以应用于处理器1903中，或者由处理器1903实现。处理器1903可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器1903中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器1903可以是通用处理器、数字信号处理器(digital signal processing，DSP)、微处理器或微控制器，还可进一步包括专用集成电路(application specific integrated circuit，ASIC)、现场可编程门阵列(field-programmable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。该处理器1903可以实现或者执行本申请实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本申请实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器1904，处理器1903读取存储器1904中的信息，结合其硬件完成上述方法的步骤。
接收器1901可用于接收输入的数字或字符信息，以及产生与电子设备的相关设置以及功能控制有关的信号输入。发射器1902可用于通过第一接口输出数字或字符信息；发 射器1902还可用于通过第一接口向磁盘组发送指令，以修改磁盘组中的数据；发射器1902还可以包括显示屏等显示设备。
本申请实施例中，在一种情况下，处理器1903，用于执行上述实施例中对应的实施例中的信息处理方法。
接下来以第二电子设备200为头戴式显示器(head-mounted display，HMD)为例，描述本申请提供的一种实施例，其中该头戴式显示器可以是VR设备显示器，AR设备显示器或MR设备显示器。
本申请实施例中，用户可以通过佩戴头戴式显示器(HMD)来沉浸在增强现实环境、虚拟现实环境或混合显示环境中，用户可以沉浸在3D虚拟环境并且通过各种不同类型的输入来与虚拟环境进行交互。例如，这些输入可以包括物理交互，例如对与HMD分离的第一电子设备100的操纵、对HMD本身的操纵(基于头部移动)等。
参照图20a，图20a为一种第一电子设备与第二电子设备的交互示意，如图20a中示出的那样，佩戴第二电子设备200(HMD)的用户正拿着第一电子设备100作为第二电子设备200的控制设备。需要说明的是，尽管在图20a所示的示例中仅图示一个第一电子设备100作为第二电子设备200的控制设备，但是两个(或多个)额外的外部装置也可以与HMD100在虚拟环境中进行配对和/或交互。在操作过程中(在配对之后)，第一电子设备100(和/或其它外部装置)可以经由例如有线连接、或者无线连接诸如例如WiFi或者蓝牙连接、或者可用于两个装置的其它通信模式来与第二电子设备200通信。
图21a示出了使用电缆1600将第一电子设备100连接到第二电子设备200的示意图。第一电子设备100可以使用一个或多个高速通信协议(例如USB 2.0、USB 3.0和USB 3.1)连接到第二电子设备200。在一些情况下，第一电子设备100可以使用例如高清晰度多媒体接口(HDMI)的音频/视频接口连接到第二电子设备200。在一些情况下，第一电子设备100可以使用用于USB C型标准接口的DisplayPort备用模式连接到第二电子设备200。DisplayPort备用模式可以包括高速USB通信接口和DisplayPort功能。
电缆2100可以包括在任一端插入到第二电子设备200和第一电子设备100中的合适连接器。例如，电缆可以在两端包括通用串行总线(USB)连接器。USB连接器可以是相同的USB型连接器，或者每个USB连接器可以是不同类型的USB连接器。各种类型的USB连接器可以包括但不限于USB A型连接器、USB B型连接器、micro-USB A连接器、micro-USB B连接器、micro-USB AB连接器、USB五引脚Mini-b连接器、USB四引脚Mini-b连接器、USB 3.0A型连接器、USB 3.0B型连接器、USB 3.0Micro B连接器和USB C型连接器等。
图21b是示出了在不需要电缆(例如，不需要图21a所示的电缆102)的情况下使用无线连接1601将第一电子设备100连接到第二电子设备100的示意图。第一电子设备100可以通过实现一个或多个高速通信协议(例如WiFi、蓝牙或低功耗蓝牙(LE))使用无线连接1601连接到第二电子设备200。
需要说明的是，第二电子设备200还可以同时与其他控制设备连接，例如手柄等。
如图22a所示，此时，用户以手柄作为交互设备，然而，在一些场景中，手柄的便携性较差，独立手柄需要使用电池，并通过无线连接到第一电子设备100，需要额外功耗， 且一些AR/VR设备的手柄较大较重，长时间使用容易导致用户疲劳。
电子设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明电子设备100的软件结构。
图22b是本申请实施例的第一电子设备100的一种软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。
应用程序层可以包括一系列应用程序包。
如图22b所示，应用程序包可以包括电话、相机，图库、日历、通话、地图、导航、WLAN、蓝牙、音乐、视频、短信息、VR眼镜应用等应用程序。其中，VR眼镜应用中包括3D背景绘制模块、手柄事件管理模块、应用图标加载模块、虚拟屏幕管理模块、虚拟屏幕内容获取模块。
其中，3D背景绘制模块，用于完成在3D虚拟环境中显示背景画面的绘制，使用户可获得仿佛置身在某个真实场景中的感觉。
手柄事件管理模块，用于处理来自手柄的事件，以达到用户可通过操作手柄触控虚拟显示界面中控件的目的。
应用图标加载模块，用于在VR眼镜的虚拟环境中加载并显示电子设备上的若干应用的图标(例如微信、微博、抖音等)。
虚拟屏幕管理模块，用于在用户点击应用图标启动应用时，可以创建虚拟屏幕，在用户关闭应用时可以销毁虚拟屏幕。
虚拟屏幕内容获取模块，用于在用户点击启动的应用时，获取应用中的内容，并将应用中的内容通过畸变渲染，以实现在虚拟环境中显示。
应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图22b所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供电子设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话窗口形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，电子设备振动，指示灯闪烁等。
本申请实施例中，应用程序框架层中活动内容管理服务(Activity Manager Service，AMS)、窗口管理服务(Window Manager Service，WMS)和下载管理服务(Download Manager Service，DMS)中还可以包括应用保活模块、事件注入模块、虚拟屏幕管理模块。
其中，应用保活模块，用于在具有多屏显示模式功能的应用启动之后，控制电子设备进入VR多屏显示模式。在该模式下，电子设备可以同时运行多个应用，并支持各应用同时处于活动状态。
事件注入模块，用于在多屏显示模式下，获取用户的操作对应事件，并将事件分发到应用对应的虚拟屏幕上。
虚拟屏幕管理模块，用于为电子设备提供创建虚拟屏幕和销毁虚拟屏幕的能力。
Android Runtime包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，2D图形引擎(例如：SGL)等。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了2D和3D图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如：MPEG4,H.264,MP3,AAC,AMR,JPG,PNG等。
三维图形处理库用于实现三维图形绘图，图像渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动。
如图22c所示，本申请实施例中，VR场景显示适配模块(HwVRDisplayAdaper)实现在多屏模式下创建虚拟屏幕和销毁虚拟屏幕，实现对虚拟屏幕的管理，并为其它服务(例如显示管理模块(DisplayManager)、显示管理全局模块(DisplayManagerGlobal)和显示管理服务模块(DisplayManagerService)等)开放创建虚拟屏幕接口(createVRDisplay{})和销毁虚拟屏幕接口(destroyVRDisplay{})。显示管理模块、显示管理全局模块和显示管理服务模块通过层层调用创建虚拟屏幕接口完成在进入VR多屏显示模式时创建虚拟屏幕的功能，另外显示管理模块、显示管理全局模块和显示管理服务 模块通过层层调用创建虚拟屏幕接口完成在退出VR多屏显示模式下销毁虚拟屏幕的功能。在图22c中，显示管理服务模块会在电子设备的开机初始化时注册创建虚拟屏幕所需的回调，即显示管理服务模块先通过调用注册VR场景显示适配模块的接口(registerVRDisplayAdapterLoked{})，然后调用注册接口(registerLocked{})完成注册创建虚拟屏幕。
如图22d所示，本申请实施例中，Android支持对指定的屏幕注入事件，并自定义接口将该屏幕注入事件能力开放给其它服务。图22d中，输入管理模块(IputManager)依次调用injectInputEvent(event,mode,displayid)接口、injectInputEventToDisplay(event,mode,displayid)接口、injectInputEventInternal(event,displayId,mode))接口注入事件到指定虚拟屏幕。
参照图23a，图23a为一种用户使用第一电子设备的交互示意，用户基于手柄来操作第一电子设备上的VR/AR应用，如图23a中示出的那样，第二电子设备的显示界面上包括第一电子设备当前的显示图像2300、功能选择区域2302以及交互方式显示区域2301，其中，交互方式显示区域2301表示当前的交互方式为手柄，用户可以操作手柄对当前界面进行操作。
参照图23b，图23b为一种用户使用第一电子设备的交互示意，如图23b中示出的那样，用户可以通过滑动手柄上的触摸屏2303来点击交互方式显示区域2301，使其由基于手柄的交互模式切换为基于第一电子设备的交互模式(如图23d示出的界面)。
本申请实施例中，当手柄与所述第二电子设备建立连接时，可以将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备；当仅有所述第一电子设备与所述第二电子设备建立连接时，可以将所述第一电子设备作为所述第二电子设备的控制设备。
本申请实施例中，可以将所述手柄作为所述第二电子设备的控制设备，并基于接收第一交互模式切换指令，响应于所述第一交互模式切换指令，将所述第二电子设备的控制设备由所述手柄切换为所述第一电子设备。
本申请实施例中，第一电子设备可以接收所述手柄发送的第一交互模式切换指令、基于接收对所述第一电子设备的第二操作，生成对应的第一交互模式切换指令或接收所述第二电子设备发送的第一交互模式切换指令。
可选地，在一种实施例中，还可以在手柄设置对应的物理按键来实现切换到基于第一电子设备的交互模式的功能，本申请实施例中，用户可以按压上述物理按键来切换到基于第一电子设备的交互模式(将所述第二电子设备的控制设备由所述手柄切换为所述第一电子设备)。
可选地，在另一种实施例中，还可以通过按压第一电子设备上的物理按键来切换到基于第一电子设备的交互模式(例如图23c中示出的电源按键)，本申请实施例中，用户可以点击上述电源按键来切换到基于第一电子设备的交互模式。
可选地，在另一种实施例中，还可以通过按压第二电子设备上的物理按键来切换到基于第一电子设备的交互模式，本申请实施例中，用户可以按压击上述物理按键来切换到基于第一电子设备的交互模式。
可选地，在另一种实施例中，若检测到手柄未与第二电子设备建立连接，则可以直接 使用基于第一电子设备的交互模式。
类似的，第一电子设备可以基于相同的方式，切换到基于手柄的交互模式。
在基于手柄的交互模式中，用户可以基于对所述手柄的操作，控制所述光标在所述第二电子设备的显示位置。
在基于第一电子设备的交互模式中，用户可以基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。
关于用户如何通过基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置可以参照上述实施例中的描述，这里不再赘述。
可选地，在一种实施例中，和上述通过显示光标来表示用户操作对象方式不同的是，本申请实施例中，第二电子设备中可以显示一条由屏幕底侧(或者从第二电子设备显示的手机图像)出射到当前显示内容的射线，射线包括一终点，该终点可以表示用户当前选择的位置(相当于上述的光标)。
此时，用户可以通过调整第一电子设备的姿态，来调整射线的方向，以使得用户可以将该射线的终点的位置调整到想要操作的目标对象，参照图24a，图24a为本申请实施例提供的一种用户使用第一电子设备的交互示意，如图24a示出的那样，用户若想操作区域A对应的位置，则可以通过调整第一电子设备的姿态，来调整射线的方向，以使得用户可以将该射线的终点的位置调整到想要操作的目标位置(区域A)。
参照图24b，图24b为本申请实施例提供的一种用户使用第一电子设备的交互示意，如图24b示出的那样，用户可以在水平面上转动第一电子设备，相应的，第二电子设备显示的射线的方向会发生相应的改变，且射线的终点位置会在水平方向上位移。
参照图24c，图24c为本申请实施例提供的一种用户使用第一电子设备的交互示意，如图24c示出的那样，用户可以在竖直面上转动第一电子设备，相应的，第二电子设备显示的射线的终点位置会在竖直方向上位移。
本申请实施例中，用户在将射线的终点的位置调整到想要操作的目标位置后，用户可以对第一电子设备的显示屏进行点击操作，相应的，可以在射线的终点的位置执行点击操作。
具体的，在一种实施例中，用户在将射线的终点的位置调整到想要操作的目标位置后，第一电子设备可以获取到射线的终点的位置在第二电子设备的显示界面中的具体像素坐标位置，并根据射线的终点的位置在第二电子设备的显示界面中的具体像素坐标位置确定其在第一电子设备中显示界面所对应的像素坐标位置。
用户对第一电子设备的显示屏执行点击操作，此时，点击操作并不会被前台应用(此时第一电子设备的显示界面)响应，第一电子设备会将该点击操作对应的事件注入到射线的终点在第一电子设备中显示界面所对应的像素坐标位置，相当于使得第一电子设备在射线的终点在第一电子设备中所对应的像素坐标位置执行上述点击操作。
可选地，在另一种实施例中，用户对第一电子设备的显示屏执行滑动操作，此时，滑动操作并不会被前台应用(此时第一电子设备的显示界面)响应，第一电子设备会将滑动操作对应的事件注入到射线的终点在第一电子设备中显示界面所对应的像素坐标位置，相当于使得第一电子设备在射线的终点在第一电子设备中所对应的像素坐标位置执行上述 滑动操作。更多细节描述可以参照上述实施例，这里不再赘述。
参照图25，图25为本申请实施例提供的一种第一电子设备的操作示意图，第一电子设备除了单击的确认操作，还可以支持常用的全面屏手势操作，与原有使用手柄的方式保持一致，减少用户的学习成本。如图25中示出的那样，从左边缘或右边缘向中间滑动代表返回键(对应手柄中的返回按键)，从下边缘向中间滑动代表home键(对应手柄中的home按键)，上下左右的滑动操作可用来在视频场景中实现快进和快退(对应手柄中的触摸屏滑动)，音量键调整音量大小(对应手柄中的音量调节按键)，从下边缘向中间滑动并停留来实现视角回中(对应手柄中的home键长按操作来实现视角回中)，音量下键和电源键的同时按压来实现截图等。
实现上述全面屏手势操作的原理可以参照投屏场景中实施例的描述，这里不再赘述。
参照图26，图26为本申请实施例提供的一种用户使用第一电子设备的交互示意，如图26示出的那样，用户可以在第一电子设备的显示屏上进行滑动操作，相应的，第二电子设备显示的指针位移，关于用户如何通过在第一电子设备的显示屏上进行滑动操作来实现第二电子设备显示的指针位移可以参照上述实施例中的描述，这里不再赘述。
参照图27，图27为本申请实例提供的一种系统架构的示意图，如图27中示出的那样，以第一电子设备为手机为例，系统架构包括：AR设备/VR设备/MR设备，手机以及独立手柄。其中，独立手柄可以与AR设备/VR设备/MR设备连接，手机可以与AR设备/VR设备/MR设备连接。
在一种实现方式中，用户可以通过操作独立手柄来实现与第一电子设备的交互，并控制AR设备/VR设备/MR设备的显示内容。
具体的，独立手柄可以获取自身的姿态信息或在触摸板上的滑动信息，并将获取到的姿态信息或滑动信息通过AR设备/VR设备/MR设备发送至手机，手机可以基于独立手柄交互方式，处理上述姿态信息或滑动信息，并基于姿态信息或滑动信息在界面内容中移动指针，此外，独立手柄可以获取选择指令(例如通过独立手柄上的物理按键)，并将选择指令发送至手机，手机可以基于独立手柄交互方式，处理上述选择指令。
在一种实现方式中，用户可以通过操作手机来实现与第一电子设备的交互，并控制AR设备/VR设备/MR设备的显示内容。
具体的，手机可以获取自身的姿态信息或在显示屏中的滑动信息，手机可以基于手机交互方式，处理上述姿态信息或滑动信息，并基于姿态信息或滑动信息在界面内容中移动指针，此外，独立手柄可以获取触摸操作，生成相应的事件，并执行生成的事件，并在当前的前端应用中执行事件。
参照图28，图28为本申请实施例提供的一种系统架构的示意图，如图28中示出的那样，系统架构包括系统(例如是Android系统)、增强交互服务、熄屏亮屏服务、AR/VR/MR服务。
其中，系统可以将传感器输入的信息(例如姿态信息)发送至增强交互服务，系统可以将触摸屏输入的信息(例如触摸事件)发送至AR/VR/MR服务，AR/VR/MR服务可以将触摸屏输入的信息发送至增强交互服务，增强交互服务可以将熄屏或亮屏的指令发送至亮屏熄屏服务，亮屏熄屏服务可以将熄屏或亮屏的指令发送至系统，以实现第一电子设备的熄 屏或亮屏。
增强交互服务可以处理接收到的信息(传感器输入的信息或触摸屏输入的信息)，进行指针的绘制，并对AR/VR/MR应用执行相应的事件(例如可以是基于指针的位置)。
本申请实施例还提供一种电子设备，电子设备包括：
发送模块，用于与第二电子设备建立连接，其中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强显示AR设备、虚拟现实VR设备或混合现实MR设备；
处理模块，用于获取对所述第一电子设备的操作，基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。
可选的，所述界面内容为所述第一电子设备前端应用的界面内容。
可选的，所述第二电子设备还显示：菜单栏，所述菜单栏不属于所述第一电子设备的界面内容。
可选的，所述处理模块，具体用于获取所述第一电子设备的位姿变化信息，并基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
可选的，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述处理模块，具体用于：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
可选的，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述处理模块，具体用于：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
可选的，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
可选的，所述第一触摸操作的操作位置对应于所述第一电子设备的界面内容中的第二对象，所述处理模块，还用于：
屏蔽所述第二对象对所述第一触摸操作的响应。
可选的，所述第一触摸操作至少包括点击操作和第一滑动操作，所述目标对象至少包括应用程序和功能控件。
可选的，所述处理模块，具体用于：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
可选的，所述第二滑动操作对应的起始操作位置对应于所述第一电子设备的界面内容中的第三对象，所述处理模块，还用于：
屏蔽所述第三对象对所述第二触摸操作的响应。
可选的，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
可选的，所述点击操作的操作位置对应于所述第一电子设备的界面内容中的第四对象，所述处理模块，还用于：
屏蔽所述第四对象对所述点击操作的响应。
可选的，所述第二电子设备还显示：射线，所述射线的终点为所述光标。
可选的，所述处理模块，还用于：
接收到对第一电子设备的物理按键的按压操作；
根据所述按压操作生成对应的第二事件；
对所述第一电子设备前端应用执行所述第二事件。
可选的，所述处理模块，还用于接收对所述第一电子设备的显示屏的第二操作，且所述第二操作为预设的快捷操作，并使得所述第一电子设备响应于所述第二操作。
可选的，所述第二操作的操作位置对应所述第二电子设备的界面内容中的第五对象，所述第五对象不响应所述第一操作。
可选的，所述预设的快捷操作至少包括：
接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设方向滑动；
接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏的时间大于预设时间。
可选的，所述处理模块，还用于降低所述第一电子设备的显示屏的显示亮度；或，
对所述第一电子设备的显示屏执行熄屏操作。
可选的，所述处理模块，具体用于：
基于所述第二电子设备上显示第一应用，获取所述第一电子设备的位姿变化信息，基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动；
基于所述第二电子设备上显示第二应用，接收对所述第一电子设备的显示屏的第二滑动操作，根据所述第二滑动操作确定所述光标的位移，基于所述位移使得所述光标在所述第二电子设备的显示内容中移动，所述第一应用与所述第二应用为不同的应用。
本申请实施例还提供一种第一电子设备，所述第一电子设备与所述第二电子设备连接，所述第一电子设备包括触摸屏，所述第二电子设备为增强显示AR设备、虚拟现实VR设备或混合现实MR设备，所述第一电子设备包括：
处理模块，用于当手柄与所述第二电子设备建立连接时，将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备；
当仅有所述第一电子设备与所述第二电子设备建立连接时，将所述第一电子设备作为所述第二电子设备的控制设备。
可选的，所述处理模块，具体用于：
将所述手柄作为所述第二电子设备的控制设备；
接收第一交互模式切换指令；
响应于所述第一交互模式切换指令，将所述第二电子设备的控制设备由所述手柄切换为所述第一电子设备。
可选的，所述处理模块，具体用于：
接收所述手柄发送的第一交互模式切换指令、基于接收对所述第一电子设备的第二操作，生成对应的第一交互模式切换指令或接收所述第二电子设备发送的第一交互模式切换指令。
可选的，所述处理模块，具体用于：
将所述第一电子设备作为所述第二电子设备的控制设备；
所述第一电子设备还包括获取模块，用于接收接收第二交互模式切换指令；
所述处理模块，具体用于响应于所述第二交互模式切换指令，将所述第二电子设备的控制设备由所述第一电子设备切换为所述手柄。
可选的，所述处理模块，具体用于：
接收所述手柄发送的第二交互模式切换指令、基于接收对所述第以电子设备的第二操作，生成对应的第二交互模式切换指令或接收所述第二电子设备发送的第二交互模式切换指令。
可选的，所述第二电子设备显示光标以及所述第一电子设备的界面内容，所述处理模块，具体用于：
基于对所述手柄的操作，控制所述光标在所述第二电子设备的显示位置；
基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。
可选的，所述界面内容为所述第一电子设备前端应用的界面内容。
可选的，所述处理模块，具体用于：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
可选的，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
可选的，所述处理模块，还用于：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
可选的，所述处理模块，还用于：
当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
本申请实施例还提供了一种电子设备，包括：
发送模块，用于将第一电子设备的界面内容显示在第二电子设备中，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强显示AR设备、虚拟现实VR设备或混合现实MR设备；
处理模块，用于接收作用于所述第一电子设备的第一显示屏上的第一操作；使得所述第二电子设备显示的所述界面内容响应于所述第一操作；其中，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象；所述第一对象不响应所述第一操作。
可选的，所述使得所述第二电子设备显示的所述界面内容响应于所述第一操作，具体包括：
在所述第一电子设备显示的界面内容中确定出第一位置；使得所述第二电子设备显示的所述界面内容基于所述第一位置对所述第一操作做出响应；其中，所述第一位置与所述第一操作的操作位置无关。
可选的，所述电子设备还包括：
将所述光标投屏在所述第二电子设备中，使得所述第二电子设备显示所述光标。
可选的，所述光标在所述第一电子设备显示的界面内容中对应的位置为第一位置。
可选的，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备上显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内 容中的第一位置。
可选的，所述第一操作至少包括点击操作和第一滑动操作，所述第一对象至少包括应用程序和功能控件中的一种。
可选的，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
根据所述光标的位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，所述第一操作至少包括点击操作，所述第一对象至少包括应用程序和功能控件中的一种。
可选的，所述电子设备还包括：
降低所述第一显示屏的显示亮度；或，
对所述第一显示屏执行熄屏操作。
可选的，所述电子设备还包括：
将所述菜单栏显示在所述第二电子设备中。
参照图29，图29为本申请实施例提供的一种应用于投屏的操作方法的流程示意图，其中，第一电子设备具有第一显示屏，第二电子设备具有第二显示屏；如图29中示出的那样，本申请实施例提供的应用于投屏的操作方法，包括：
2901、所述第一电子设备将第一电子设备的界面内容投屏在第二电子设备中，使得所述第二电子设备的第二显示屏显示所述界面内容。
本申请实施例中，第一电子设备可以安装增强交互服务，增强交互服务可以监听第一电子设备的投屏连接状态。增强交互服务可以检测到第一电子设备与第二电子设备建立投屏连接，关于第一电子设备与第二电子设备建立投屏的方式可参照图4a至图5c对应的实施例的描述，这里不再赘述。
本申请实施例中，在检测到第一电子设备与第二电子设备建立投屏连接之后，第一电子设备将第一显示屏显示的界面内容投屏在所述第二电子设备中，使得所述第二显示屏显示所述界面内容。
可选地，第一电子设备可以生成光标，并将所述光标投屏在所述第二电子设备中，使得所述第二显示屏显示所述光标。关于第一电子设备如何生成光标可以参照步骤301中对应的实施例描述，这里不再赘述。
可选地，第一电子设备可以生成菜单栏，并将所述菜单栏投屏在所述第二电子设备中，使得所述第二显示屏显示所述菜单栏。关于第一电子设备如何生成菜单栏可以参照步骤301中对应的实施例描述，这里不再赘述。
可选地，第一电子设备可以获取所述第一电子设备的位姿变化信息，并基于所述位姿变化信息使得所述光标在所述第二显示屏显示的所述内容上移动。关于如何基于第一电子设备的姿态变化信息将所述光标在第二电子设备显示屏中移动，可以参照上述实施例中的描述，这里不再赘述。
可选地，第一电子设备可以在所述第一电子设备显示的界面内容中确定出第一位置，使所述第二显示屏显示的所述界面内容基于所述第一位置对所述第一操作做出响应；其中，所述第一位置与所述第一操作的操作位置无关。
可选的，第一电子设备可以获取所述第一电子设备的位姿变化信息，并基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置。此时，所述光标在所述第一电子设备显示的界面内容中对应的位置为第一位置。
可选地，第一电子设备还可以接收作用于所述第一显示屏的第二滑动操作，根据所述第二滑动操作确定所述光标的位移，并基于所述光标的位移使得所述光标在所述第二显示屏显示的所述内容上移动。关于如何根据所述第二滑动操作将所述光标在第二电子设备显示屏中移动，可以参照上述实施例中的描述，这里不再赘述。
可选的，第一电子设备可以接收对所述第一电子设备的显示屏的第二滑动操作，根据所述第二滑动操作确定所述光标的位移，并根据所述光标的位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
本申请实施例中，在所述第一电子设备显示的界面内容中确定出第一位置之后，可以使所述第二显示屏显示的所述界面内容基于所述第一位置对所述第一操作做出响应。关于第一位置如何对所述第一操作做出响应，可以参照上述实施例中步骤302的描述，这里不再赘述。
可选地，第一电子设备在检测到第一电子设备与第二电子设备建立投屏连接之后，还可以降低所述第一显示屏的显示亮度；或，对所述第一显示屏执行熄屏操作。
2902、所述第一电子设备接收作用于所述第一电子设备的第一显示屏上的第一操作；使得所述第二显示屏显示的所述界面内容响应于所述第一操作；其中，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象；所述第一对象不响应所述第一操作。
本申请实施例中，所述第一对象可以至少包括应用程序和功能控件中的一种。
本实施例中，第一电子设备可以屏蔽当前端应用的所述内容对所述第一操作的操作位置上的响应，即，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象，而所述第一对象不响应所述第一操作。
具体的，第一电子设备在接收到对第一电子设备显示屏的第一操作后，可以屏蔽所述界面内容对所述第一操作的操作位置上的响应，而是确定光标在第二显示屏上的位置确定所述界面内容对所述第一操作的响应位置(第一位置)。例如，若用户对第一电子设备的第一显示屏的A对象执行了点击操作，此时，光标在第二电子设备中位于B对象上，此时，第一电子设备可以屏蔽A对象对于点击操作的响应，而是在界面内容的B对象上响应上述点击操作。相当于，第一位置与第一操作的操作位置无关，而只是与光标在第二电子设备的第二显示屏上的位置有关。
本申请实施例中，第一电子设备在所述第一显示屏显示的内容的所述第一位置上响应第一操作，第二电子设备的第二显示屏上也会同步显示第一显示屏显示的内容在所述第一位置上响应第一操作后更新的内容，即，使得所述第二显示屏显示的所述内容响应于所述第一操作。
本申请实施例中，将第一电子设备的界面内容投屏在第二电子设备中，使得所述第二电子设备的第二显示屏显示所述界面内容；接收作用于所述第一电子设备的第一显示屏上的第一操作；使得所述第二显示屏显示的所述界面内容响应于所述第一操作；其中，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象；所述第一对象不响应所述第一操作。通过上述方式，第一电子设备和第二电子设备建立投屏连接后，第一显示屏中的所述内容对所述第一操作所在的操作位置对应的第一对象不作响应，而第二显示屏显示的所述内容响应于所述第一操作，使得用户可以不看第一电子设备的第一显示屏的内容，而是可以通过基于第二显示屏显示的内容来操作第一显示屏的内容。
本申请实施例还提供一种第一电子设备，第一电子设备包括：
处理模块，用于将第一电子设备的界面内容投屏在第二电子设备中，使得所述第二电子设备的第二显示屏显示所述界面内容；
所述处理模块，还用于接收作用于所述第一电子设备的第一显示屏上的第一操作；使得所述第二显示屏显示的所述界面内容响应于所述第一操作；其中，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象；所述第一对象不响应所述第一操作。
可选的，所述处理模块，具体用于：
在所述第一电子设备显示的界面内容中确定出第一位置；使所述第二显示屏显示的所述界面内容基于所述第一位置对所述第一操作做出响应；其中，所述第一位置与所述第一操作的操作位置无关。
可选的，所述处理模块，还用于：
将所述光标投屏在所述第二电子设备中，使得所述第二显示屏显示所述光标。
可选的，所述光标在所述第一电子设备显示的界面内容中对应的位置为第一位置。
可选的，所述处理模块，具体用于：
获取所述第一电子设备的位姿变化信息；
基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述处理模块，具体用于：
根据所述第一旋转角确定所述光标的水平位移；
根据所述第二旋转角确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备的显示屏上显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备的显示屏上显示的光标的上下移动方向平行，所述处理模块，具体用于：
根据所述第一位移确定所述光标的水平位移；
根据所述第二位移确定所述光标的竖直位移；
根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，所述第一操作至少包括点击操作和第一滑动操作，所述第一对象至少包括应用程序和功能控件中的一种。
可选的，所述处理模块，具体用于：
接收对所述第一电子设备的显示屏的第二滑动操作；
根据所述第二滑动操作确定所述光标的位移；
根据所述光标的位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
可选的，所述第一操作至少包括点击操作，所述第一对象至少包括应用程序和功能控件中的一种。
可选的，所述第一操作为预设的快捷操作，所述处理模块，还用于：
使得所述第一电子设备响应于所述第一操作。
可选的，所述第一操作的操作位置对应所述第二电子设备的界面内容中的第三对象，所述第三对象不响应所述第一操作。
可选的，所述预设的快捷操作至少包括：
接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设方向滑动；
接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏的时间大于预设时间。
可选的，所述处理模块，还用于：
降低所述第一显示屏的显示亮度；或，
对所述第一显示屏执行熄屏操作。
可选的，所述处理模块，还用于：
生成菜单栏；
将所述菜单栏投屏在所述第二电子设备中，使得所述第二显示屏显示所述菜单栏。
可选的，所述处理模块，还用于：
检测到所述第一电子设备与所述第二电子设备建立投屏连接。
本申请实施例还提供一种多应用显示的操控方法。
具体的，第二电子设备(如大屏、电视、AR、VR、或MR设备等)可以在其中的成像系统(如显示屏、眼镜等成像系统)显示第一电子设备的多个显示界面。
可选的，第一电子设备可以在于第二电子设备建立内容传输时，生成一个菜单栏，这个菜单栏可以在第二电子设备中成像系统中显示，用户根据菜单栏中的“添加”按钮，就可以在第二电子设备的成像系统中增加一个新的独立的第一电子设备的显示界面(如手机界面)。如图30所示；
可选的，用户每点击一个添加，就可以在成像系统中新增一个独立的手机界面，新增 界面的状态可以是手机的home界面，也可以是手机当前的显示界面，也可以是预先设定的默认界面，也可以是某一个预设应用的界面，可以是成像系统当前已显示的手机界面的一个复制界面，还可以是一个随机的界面；本发明中仅做举例，不做限定。由于成像系统中可以呈现出手机的多个独立的界面(如第一界面、第二界面)，因此大屏中的内容会变得更加丰富。
可选的，用户还可以成像系统中，选择运行一个新的应用，就会在第二电子设备的成像系统中生成一个新的独立的应用界面。
可选的，用户点击应用中某个标题，还可以打开该应用扩展的第二层级的一个新的独立界面，例如微信中某个具体联系人的聊天，例如新闻APP中某个具体的文章。
可选的，用户将第一电子设备与第二电子设备建立内容连接和传输时，第一电子设备已经运行了N个应用，则对应地可以将N个应用的界面内容分别显示在所述成像系统中的N个显示区域中。
可选的，上述多个界面内容可以无重叠的分布，也可以层叠分布(保持当前正在运行的最前端的应用的显示界面显示在最前端)，本申请不予以限定。
第一电子设备可以在于第二电子设备建立内容传输时，第一电子设备可以生成一个光标(如上述生成光标的方法)，通过数据传输，并可以显示在成像系统中。光标的移动范围可以适配于成像系统的全部范围。具体地，第一电子设备可以先获取到成像系统的参数信息，如大屏的显示屏的大小规格，ARVR设备的视野参数等；基于该参数信息确定出光标的移动范围和映射规则，不再限于单个的第一电子设备显示界面，而是能够跨多个不同的第一电子设备显示界面进行操作，可以达到整个成像系统的显示边界。这样，在成像系统中生成多个第一电子设备显示界面时，光标在成像系统中的操作范围可以覆盖到多个第一电子设备显示界面中的内容，可以在多个第一电子设备显示界面中自由移动。光标用于在成像系统的整个显示范围的内容中确定操作对象。操作对象可以是第一电子设备显示界面中的对象，也可以是成像系统中不属于第一电子设备显示界面中的对象中的其他对象。
可选的，用户可以通过前述的调整第一电子设备的位姿(本实施例中也可以理解为姿态)或对第一电子设备的屏幕进行滑动，控制光标在成像系统中的位置，进而可以根据用户的操作在成像系统中显示的内容中确定操作对象。其中，滑动操作的起始位置在第一电子设备的界面内容中对应于第一对象；第一对象不响应该滑动操作。应理解，滑动操作是可以多次执行的随机操作。第一滑动操作的轨迹越长，对应光标在成像系统中的移动范围越大。
可选的，当在成像系统中光标位于某一对象(包括但不限于应用图标、功能键、不限定类型的选项、或预设位置(如空白处、)等)上的时候，表明已经将该对象确认为操作对象了，此时，用户在终端上输入表示“确认”的操作，如按键、触摸、点击或特殊的滑动等，则该操作对象将会响应于所述“确认”的命令。例如，进入应用、某功能键使能、某种选项的选择、产生某种快捷方式的操作等等，本发明不予以穷举。应理解，此时，“确认”操作若为对触摸屏的操作，且“确认”操作的触摸位置在第一电子设备的界面内容中 对应于第二对象；则第二对象不响应该“确认”操作。
在具体实现过程中，第一电子设备界面的内容可以与成像系统中的内容适配。
可选的，第一电子设备当前的界面内容可以是“单屏”。例如，如果成像系统中显示界面中光标位于第一应用界面，则此时第一电子设备的界面内容也同步为第一应用界面；如果成像系统中的光标从第一应用界面转换到第二应用界面，则此时第一电子设备的界面内容也从第一应用界面切换到第二应用界面。
可选的，在具体实现过程中，第一电子设备界面的内容可以是“多屏”，例如，第一电子设备的显示界面与第二电子设备中的全部显示界面保持对应。具体地，如果成像系统中显示界面中包含第一应用界面和第二应用界面，则此时第一电子设备的界面内容也同步为第一应用界面和第二应用界面；如果成像系统中显示界面中包含第一应用界面、第二应用界面和第三应用界面，则此时第一电子设备的界面内容也同步为第一应用界面、第二应用界面和第三应用界面。
为了节约功耗，在第一电子设备传输内容显示到成像系统时，可以降低第一电子设备的显示亮度；或，对第一电子设备执行熄屏操作。
结合前述实施例，本申请提出了一种新颖的基于触摸屏的控制方法。所述方法可以应用于投屏场景，所述投屏场景可以包括手机、平板电脑、笔记本等智能终端设备向电视、大屏等大型显示终端进行属于数据内容传输与放映；还可以包括上述智能终端设备向AR、VR、MR等成像设备进行数据内容传输与放映；本申请中仅做示意性举例，不构成任何限定。本方法既可以应用于普适性的投屏应用场景中，也可以应用于演示的应用场景中；如某用户给多个听众讲解终端中的内容，此时，用户需要更多地与听众进行互动，而不适合始终盯着终端屏幕，而此时终端本身摇身一变，既是内容源设备又同时是一个控制设备。本发明还可以应用于AR、VR等设备的盲操；如当用户带上AR、VR、MR设备时，用户的眼睛已经被被遮挡，此时终端屏幕对于用户是不可见的，然而手机通常是AR、VR、MR设备的内容输入源，因此用户需要对手机进行操作，此时现有技术需要借助于手柄来实现操控，而本发明在不增加其他手柄等设备的前提下，创造性地将手机的触摸屏变为触摸板，用户可以通过看第二电子设备显示屏中的光标感知和反馈对第一电子设备进行操控，此时第一电子设备既可以当做内容来源又可以当做触控设备，帮助用户实现盲操，精简了整个通信系统。
该方法可以应用于第一电子设备，其中，第一电子设备可以包括但不限于手机、平板电脑、笔记本等方便携带的小型智能终端；第一电子设备中包括一个或多个触摸屏，触摸屏可以用于显示终端的界面；参见图31，该方法可以包括：
S1001：第一电子设备与第二电子设备建立投屏连接时，生成光标，并将光标显示在触摸屏的界面中。第二电子设备可以包括但不限于上述提到的电视、大屏、显示器、AR、VR或MR等显示设备；应理解AR、VR或MR并没有超大的显示体积，但是它们在用户佩戴时是近距离地靠近用户的眼镜，进而也会产生相当大的观看视野，因此也可以理解为一种投屏。第一电子设备包括但不限于上述提到的手机、平板电脑、笔记本等智能终端。
建立投屏连接的方法可参考前述实施例中的相关描述，如无线直连或设置选项中的命令切换，此处不再赘述。其中，第一电子设备与第二电子设备建立投屏连接时可以理解为第一电子设备与第二电子设备处于投屏状态的任意时刻；如可以包括第一电子设备与第二电子设备建立投屏成功的时刻，或者，第一电子设备与第二电子设备建立投屏成功之后的某个时刻或时段；本发明不予以限定。
可选地，当第一电子设备与第二电子设备建立投屏连接成功后，第一电子设备的触摸屏可以立即被当做触摸板来使用，即触发第一电子设备调用预设的触摸板事件处理系统，并屏蔽第一电子设备出厂默认的触摸屏事件处理系统。
可选地，建立投屏连接后，第一电子设备的界面中或者相关设置中可以包括有第一功能控件；第一功能控件可以用于响应用户的第一切换命令，指示第一电子设备调用预设的触摸板事件处理系统并屏蔽第一电子设备出厂默认的触摸屏事件处理系统。
应理解，触摸屏事件处理系统与触摸板事件处理系统单独来看都是成熟的现有技术。
从技术原理角度来讲，触摸屏是一套基于绝对坐标进行定位的指令系统/事件处理系统，想定位到哪就直接点哪，不需要光标；对于触摸的响应位置与触摸的实际操作位置相关。而触摸板是一套基于相对坐标进行定位的指令系统/事件处理系统，需要光标来实时指示界面中的操作位置，并感应用户手指的移动来移动光标，或者感应用户手指的触碰来执行确认等操作，可以理解为是一种鼠标的代替；对于触摸的响应位置与触摸的实际操作位置不相关，与光标位置相关。因此，有没有光标可以作为第一电子设备是采用触摸屏事件处理系统还是采用触摸板事件处理系统的区别要素；触摸屏事件处理系统中无需光标；触摸板事件处理系统需要光标。应理解，现有技术中终端的触摸屏只配置有触摸屏事件处理系统。
通常，触摸屏上的触摸操作可以包括最基本的三个操作：
Touchdown(xy)，即“按下”；
Touch ing(xy)，即“滑动”或“长按”；
Touchup(xy)，即“抬起”。
xy可以表示触摸操作在屏幕中的实际触摸位置或实际操作位置。
触摸板事件处理系统中，利用触摸操作的相对位置来控制光标，光标的初始位置是默认或者随机的。
对于第一电子设备，一种可能的触摸屏事件处理系统与触摸板事件处理系统的实现方式可参照下表1所示：
表1
Figure PCTCN2020116328-appb-000001
Figure PCTCN2020116328-appb-000002
可选地，可以预先定义一种与触摸板事件处理系统相似的空鼠事件处理系统，可以通过改变手机姿态来改变光标在界面中的位置；具体实现方式可以参照前述实施例中的相关描述。一种可能的触摸屏事件处理系统与空鼠事件处理系统的实现方式可参照下表2所示：
表2
功能/指令 触摸屏事件处理系统的操作方式 空鼠事件处理系统的操作方式
改变光标位置 / 改变手机姿态
确认 按下 在光标处按下
结束 抬起 抬起
拖动对象 滑动 长按后，改变手机姿态
返回 单击返回键 全面屏手势：屏幕侧边向中心滑动
进入主界面 单击Home键 全面屏手势：屏幕底部向上滑动
  …… ……
应理解，对于第一电子设备，表1和表2中的事件处理系统既可以独立调用，还可以进行组合调用。例如，既可以通过滑动操作来改变光标在界面中的位置，也可以通过改变手机姿态改变光标在界面中位置，还可以滑动操作与改变手机姿态配合改变光标在界面中的位置。即触摸板事件处理系统与空鼠事件处理系统结合使用；其中，一些相同的指令定义可以复用。
应理解，上述提到的触摸板事件处理系统或空鼠事件处理系统可能包括上述比相关示例中更多或更少的功能定义，任意一种预设的事件处理系统都可以事先定义，命令的数量、类型与触发方式可以由用户或开发者根据经验或需求灵活定义，以供消费者用户在使用终端时根据不同场景，终端可以自由定义和调用预设事件处理系统。本申请实施例中不予以穷举和限定。
应理解，当第一电子设备没有与任何电子设备建立投屏连接时，触摸屏的界面中是不包含有光标的。第一电子设备没有任何电子设备建立投屏连接前，工作在正常模式下，即第一电子设备应用常规的触摸屏事件处理系统，此时触摸屏事件处理系统不需要光标作为指示。当第一电子设备与第二电子设备建立投屏连接时，第一电子设备可以调用新的事件处理系统，如上述的触摸板事件处理系统或者空鼠事件处理系统；此时，界面中需要生成光标，用以提示新指令系统下的实时操作位置。
可选地，第一电子设备获取当前界面对应的前端应用的界面内容，并在界面内容中绘制光标。
可选地，第一电子设备可以绘制光标，并基于悬浮窗接口将所述光标添加到当前界面中。
可选地，第一电子设备可以绘制射线，并基于悬浮窗接口将射线与当前界面或当前界面的虚拟平面/面板相交于终点；终点为光标。射线可以广泛地应用于带有AR/VR引擎的3D沉浸显示场景中。
应理解，绘制出来的光标与当前正在运行的前台应用不属于同一个进程。
应理解，当终端调用触摸板事件处理系统或者空鼠事件处理系统的过程中，光标可以显示在第一电子设备的界面中，以清楚地为用户做操作提示。具体地，生成光标的方法、光标的呈现形式可以参考前述实施例中的相关描述，此处不再赘述。
S1002：建立投屏连接后，第一电子设备生成投屏内容，并将投屏内容实时发送给所述第二电子设备，其中，投屏内容包括光标；
通常来说，投屏是为了在另一个“视野更加宽广”的显示设备中显示投屏源设备中显示的内容；使两个电子设备的显示内容基本保持一致。
具体地，当第一电子设备与第二电子设备建立投屏连接成功后，第一电子设备将实时生成投屏内容；投屏内容可以包括触摸屏的界面中的部分或全部内容；例如投屏内容还可以包括第一电子设备运行的后台应用的界面，新绘制的菜单栏，或者预设功能控件等内容。第一电子设备将投屏内容实时发送给第二电子设备；其中，投屏内容用于使得第二电子设备的显示系统中呈现的部分或全部内容与触摸屏中显示的部分或全部内容同步。
可选地，第一电子设备生成投屏的内容可以是显示界面的全部，第二电子设备同步显示该投屏内容。此外，第二电子设备的显示界面中可以不仅包括投屏内容，还可以显示有更多的功能选项、背景或菜单。可选地，第一电子设备生成投屏的内容可以是显示界面的部分，例如，当第一电子设备在观看新闻或者视频时，投屏内容可以只是新闻应用或视频应用对应的内容，终端界面中的其他部分，例如信号、电量、网络等上方的提示图标可以不在投屏内容中。
应理解，当第一电子设备与第二电子设备中建立连接后，第一电子设备与第二电子设备的显示界面都可以包括实时的投屏内容。第一电子设备中界面的变化、内容的变化也可以全部或部分跟随投屏内容实时显示和反映在第二电子设备中。因此，第一电子设备中的光标同样也显示在第二电子设备中，另外，第一电子设备中光标的移动、针对某一对象的操作都可以同步地显示到第二电子设备中。因此，用户可以通过观看第二电子设备中同步显示的投屏内容，从而回馈和感知对第一电子设备的操作。
应理解，第一电子设备所接收到的操作或指令，首先响应在第一电子设备中，第一电子设备所发生的响应于变化都会跟随界面内容的投屏同步显示在第二电子设备的显示系统中。
S1003：接收用户在触摸屏上的触摸操作。
如上所述，基于触摸屏的操作可以包括：
Touchdown(xy)，即“按下”；
Touching(xy)，即“滑动”或“长按”；
Touchup(xy)，即“抬起”。
通常一次快速的“Touchdown+Touchup”称为一次点击操作；一次位置不变的“Touching”可以理解为一次长按操作；一次变换位置的“Touching”可以理解为一次滑动操作。
基于触摸屏的操作通常可以包括上述三种基本操作；或结合时间、次数、位置、方向和/或力度的自由组合。
应理解，用户在使用第一电子设备的过程中，除了触摸操作，还可以输入其他的操作，例如摇晃、按键、触摸其他机身等，本发明并不做限定。
S1004：基于光标在当前界面中的显示位置响应目标触摸操作；
其中，光标在当前界面中的显示位置用于指示当前界面中对于目标触摸操作的响应位置；该响应位置与目标触摸操作在触摸屏上的操作位置不相关。
可选地，当第一电子设备调用预设的事件处理系统之后，便屏蔽触摸屏事件处理系统；使得目标触摸操作无法注入触摸屏事件处理系统形成通路；并将目标触摸操作重新解析为目标事件，并将目标事件注入预设事件处理系统，使得第一电子设备按照预设事件处理系统响应目标触摸操作。
具体地，以linux系统为例进行说明，参见图32，一个普通的事件处理过程如下：
1)Linux内核将原始事件(例如，触屏操作)写入到设备节点中。在Linux中，所有设备都以文件的形式存放在/dev目录下，都是通过文件的方式进行访问，设备节点是Linux内核对设备的抽象。
2)Input Reader(也可称为Reader)在其线程循环中不断地从底层如EventHub中抽取原始输入事件，进行加工处理后将加工所得的事件临时放入派发队列中
3)InputDispatcher(也可称为Dispatcher)在线程循环中将派发队列中的事件取出，查找合适的窗口，将事件写入到窗口的事件接收管道(APP)中。即InputDispatcher负责分发输入事件到应用层。
4)窗口事件接收线程Looper从管道中将事件取出，交由事件处理函数进行事件响应。应用才会响应函数，接收。InputDispatcher和各个应用不在同一进程，窗口管道InputChannel主要完成跨进程通信，将输入数据传递到应用。
5)Looper是应用中的循环，不断的取消息，然后调用事件接收者处理。其中，事件接收者主要包括应用中的View，例如按钮、输入框等。
整个过程共有三个线程首尾相接，像三台水泵似的一层层地将事件交付给事件处理函数。修改其中任意一个环节，就可以将这三个线程的通路切断，进而将输入事件注入该事件处理系统的通路屏蔽。
这时，第一电子设备可以将输入事件拦截并转发到新调用的事件处理系统，转换成新的操作事件，再将新的事件注入到新的事件处理系统的相关环节，形成新的事件处理线程通路，从而实现新的事件命令。
可选地，当第一电子设备调用预设的事件处理系统之后，在当前界面上绘制一个透明的目标悬浮窗；目标悬浮窗用于屏蔽触摸屏事件处理系统；具体应目标触摸操作。使得触摸操作无法注入触摸屏事件处理系统形成通路；通过目标悬浮窗解析目标触摸操作对应的 目标事件，并将目标事件注入预设事件处理系统，使得第一电子设备按照预设事件处理系统响
具体地，开发者可以开发一个APP，运行时会在当前运行的应用界面上面显示一个透明的悬浮窗，这样既能拦截到触摸事件，优先获得输入事件，又能不影响当前应用界面的显示。事件处理的通路可以参照上述的线程。此处不予以赘述。
举一些具体例子，如下：
具体地，当第一电子设备调用了触摸板事件处理系统时，若触摸操作为滑动操作，该滑动操作用于改变光标在当前界面中的位置。而屏蔽了基于触摸屏事件处理系统在滑动操作实际操作位置上产生的类似“翻页”“上滑”“下拉”等滑动对象等功能。其中，本申请所指的对象包括但不限于应用程序、图标、菜单选项、界面中感兴趣内容、空白区域或功能控件等。
具体地，当第一电子设备调用了触摸板事件处理系统时，若触摸操作为点击操作，该点击操作用于针对光标在当前界面中所对应的对象执行确认操作。而屏蔽了基于触摸屏事件处理系统产生的类似“对于点击的绝对位置上的对象进行确认”等功能。
具体地，当第一电子设备调用了触摸板事件处理系统时，若触摸操作为“长按加滑动”操作时，该操作用于针对光标在当前界面中所对应的对象执行“翻页”“上滑”“下拉”“移动图标”或“调整进度条/强弱”等滑动界面中的对象的操作。相当于模拟了触摸屏事件处理系统中的滑动操作。而屏蔽了基于触摸屏事件处理系统产生的对于长按操作的绝对位置上的对象进行类似“选中对象后移动”等功能。
具体地，当目标触摸操作使得所述光标在当前界面中的运动轨迹匹配预设快捷操作命令时，或者当所述目标触摸操作匹配预设快捷操作命令时，所述目标触摸操作用于执行所述快捷操作命令。而屏蔽了基于触摸屏事件处理系统产生的对于目标触摸操作实际操作位置对应的对象进行类似“翻页”“上滑”“下拉”或“调整进度条/强弱”等滑动界面中的对象的操作。
具体地，匹配预设快捷操作命令的目标触摸操作包括：由触摸屏的第一预设区域向第一预设方向滑动；或者，由触摸屏的第二预设区域向第二预设方向滑动，且接触所述触摸屏的时间大于预设时间；或者，点击触摸屏的次数达到预设数量；或者，目标触摸操作的滑动轨迹满足预设图案。
具体的功能响应可以参考但不限于上述表1和表2中记录的触摸板事件处理系统和空鼠事件处理系统中的命令对应方式，也可以参见前述相关实施例中的描述，例如如何通过具体的滑动和改变电子设备的姿态来控制光标的具体移动，如何触发快捷方式等。应理解，对于任意一种事件处理系统，都有一套预先设定的功能/指令与操作方式的对应关系表，当第一电子设备接收或识别到与目标功能/指令相对应的操作，就可以响应该事件处理系统下相对应目标功能/指令。此处不予以穷举和赘述。
除了上述步骤外，该技术方案还可以进一步包括以下可选实施方式。
S1005，当第一电子设备调用新的事件处理系统后，用户不在需要实时观看第一电子设备中的显示内容。此时，第一电子设备可以降低触摸屏的显示亮度，或者将触摸屏息屏。 具体可以参见前述实施例中的描述。变暗的时机可以是第一电子设备与第二电子设备建立投屏连接成功后，或者可以是用户点击投屏切换命令时，还可以是用户建立投屏连接达到预设时长。
S1006，检测到第一电子设备与第二电子设备建立投屏连接时，触发调用第一事件处理系统；或者，检测到用户输入的第一切换命令；该第一切换命令用于指示或触发第一电子设备调用第一事件处理系统并屏蔽触摸屏事件处理系统。
S1007，降低触摸屏的显示亮度，或者将触摸屏息屏。以使得用户无需注视第一电子设备的屏幕时，降低第一电子设备的功耗。
S1008，参见图30，当所述第一电子设备与所述第二电子设备建立投屏连接后，上述方法还包括：启动多屏显示模式；在触摸屏的界面中创建N个虚拟屏幕；确定N个待显示界面；在N个虚拟屏幕中分别显示N个待显示界面；其中，N个待显示界面属于M个应用，M个应用可同时运行；M为不大于N的整数，N为大于1的整数。这N个界面可以包括但不限于第一应用的本征界面，或者所述第一应用的一级界面或二级扩展界面，播放悬浮窗，画中画，并列页面、分屏或者其他显示界面；另外，主界面、负一屏等桌面界面也可以被认为是一种应用。光标可位于N个虚拟屏幕中的任意位置，即光标可以跨界面游离，可以对多个界面产生操控作用，增强第一电子设备的操控能力。可选地，界面中还可以包括菜单栏；所述菜单栏包括用于在所述成像系统中增加或删减应用的界面内容的功能控件。
S1009，若光标停留在第二应用的时间超过预设时长，或者第二应用为用户临时选择的应用；则第一电子设备可以关闭多屏显示模式，并保留或放大第二应用对应的界面作为前端应用界面；而将其他的应用切换至后台。上述的第一应用或第二应用属于M个应用中的一个。可选地，若第一电子设备长时间未接收外部输入，可以隐藏光标，例如用户播放视频或音乐时。当第一电子设备接收到预定义操作时，可以重新激活光标。具体如前述实施例中的相关描述。可以在多屏幕显示界面中实现多应用或多界面之间的无缝操控。利用“更宽广的视野”呈现更多元的界面。
S1010，第一电子设备接收第二切换命令；第二切换命令用于指示第一电子设备关闭预设事件处理系统并恢复启用触摸屏事件处理系统，或者切换到另一个预定义的事件处理系统。其中，第二切换命令可以是用户输入的，或者是满足了预设的切换条件，使得第一电子设备触发的。例如通过摇一摇等操作触发。
S1011，还可以绘制悬浮窗菜单栏，菜单栏可以包括用于多种预定义的功能控件。例如前面实施例中所述的将“射线”操控变为空鼠操控的切换控件。在具体实现过程中，还可以通过摇一摇来实现“射线”操控与空鼠操控之间的切换。
应理解，上述提到的“绘制”既可以由第一电子设备的投屏服务来实现，也可以由底层系统中预设的服务来实现，也可以由正在运行的特定应用来实现。
对于本申请而言，对于第一电子设备而言，触摸屏可以显示界面即显示内容源，又集成了触摸传感器以响应触摸操作；通常情况下，针对触摸屏而言，第一电子设备只有一套用户常规使用的触摸屏事件处理系统。而本发明创造性地针对触摸屏还至少提供一套新的事件处理系统。这一套新的事件处理系统，可以是终端出厂前预先写入，可以是开发者写入，或者可以是某应用程序来写入。本发明能够为手机等终端的系统中预先写入预定义的 触摸板、空鼠或类似事件处理系统；使得消费者使用终端的过程中，可以根据场景需求将常规的触摸屏事件处理系统转换为新的事件处理系统，使得第一电子设备即当做内容源，又可以将第一电子设备当做触摸板；进行投屏、演示或盲操，无需额外的控制设备。尤其是针对用户无法观看或注视第一电子设备的应用场景，可以通过第二电子设备的投屏内容的变化来反馈来进一步准确操控第一电子设备中的内容源，将触摸屏这一触感极好的屏幕当做触摸板，仅靠一个终端几乎可以集成和完成所有对内容源的操作，为用户提供极大的便利性。
相对应地，本申请还提供了一种基于触摸屏的控制装置2000，请参照图33，该装置可以应用于第一电子设备，其中，第一电子设备包括触摸屏；触摸屏可以用于显示界面；该装置包括：
生成模块2001，用于当第一电子设备与第二电子设备建立投屏连接时生成光标，光标显示在触摸屏的界面中；该生成模块2001可以由处理器调用相应的程序指令实现。
投屏模块2002，用于基于触摸屏中的界面内容生成投屏内容；并将投屏内容发送给第二电子设备；投屏内容中包括光标；该投屏模块2002可以由处理器调用相应的程序指令、协同相关的录屏接口、投屏接口和/或收发器进行实现。
接收模块2003，用于接收用户在触摸屏上的目标触摸操作；该接收模块2003可以由处理器调用相应的程序指令协同触摸屏感知事件来实现。
响应模块2004，用于基于光标在当前界面中的显示位置响应目标触摸操作；
其中，光标在当前界面中的显示位置用于指示当前界面中对于目标触摸操作的响应位置；响应位置与目标触摸操作在触摸屏上的操作位置不相关。
在具体实现过程中，上述装置还可以包括调用模块2005，用于在生成模块生成光标之前，调用第一事件处理系统，并屏蔽触摸屏事件处理系统；或者调用第一事件处理系统；并在当前界面对应的前端应用上绘制一个透明的目标悬浮窗；目标悬浮窗用于屏蔽触摸屏事件处理系统。其中，基于触摸屏事件处理系统对目标触摸操作的响应与目标触摸操作在触摸屏上的操作位置有关；基于第一事件处理系统对目标触摸操作的响应与光标的位置有关，与目标触摸操作在触摸屏上的操作位置不相关。响应模块对于第一事件处理系统的具体响应可以参见前述方法中的实施例，此处不再赘述。
在具体实现过程中，装置还可以包括检测模块2006，用于在调用模块调用第一事件处理系统之前，检测到第一电子设备与第二电子设备建立投屏连接；或者，检测到用户输入的第一切换命令；该第一切换命令用于指示第一电子设备调用第一事件处理系统并屏蔽触摸屏事件处理系统。
在具体实现过程中，装置还可以包括亮度控制模块2007，用于降低触摸屏的显示亮度，或者将触摸屏息屏。以使得用户无需注视第一电子设备的屏幕时，降低第一电子设备的功耗。
在具体实现过程中，装置还可以包括多屏创建模块2008，用于启动多屏显示模式；在触摸屏的界面中创建N个虚拟屏幕；确定N个待显示界面；在N个虚拟屏幕中分别显示N个待 显示界面；其中，N个待显示界面属于M个应用，M为不大于N的整数，N为大于1的整数；光标可位于N个虚拟屏幕中的任意位置。
在具体实现过程中，装置还可以包括激活模块2009，用于接收预定义操作，预定义操作用于激活或隐藏光标的显示。关于光标的隐藏与激活的部分场景可以参考前述实施例。
在具体实现过程中，装置还可以包括切换模块2010，接收第二切换命令；第二切换命令用于指示第一电子设备关闭预设事件处理系统并恢复启用触摸屏事件处理系统，或者切换到另一个预定义的事件处理系统。其中，第二切换命令可以是用户输入的，或者是满足了预设的切换条件，使得第一电子设备触发的；例如通过摇一摇等操作触发。可选地，切换模块可以在不同的事件处理系统中切换。不同系统中光标的形式可以复用或有所不同，例如前面提到的射线或者光标。
在具体实现过程中，生成模块2001具体用于执行S1001中所提到的方法以及可以等同替换的方法；投屏模块2002具体用于执行S1002中所提到的方法以及可以等同替换的方法；接收模块2003具体用于执行S1003中所提到的方法以及可以等同替换的方法；响应模块2004具体用于执行S1004中所提到的方法以及可以等同替换的方法；调用模块2005具体用于执行S1005中所提到的方法以及可以等同替换的方法。检测模块2006具体用于执行S1006中所提到的方法以及可以等同替换的方法。亮度控制模块2007具体用于执行S1007中所提到的方法以及可以等同替换的方法。多屏创建模块2008具体用于执行S1008中所提到的方法以及可以等同替换的方法。激活模块2009具体用于执行S1009中所提到的方法以及可以等同替换的方法。切换模块2010具体用于执行S1010中所提到的方法以及可以等同替换的方法。
其中，前述述具体的方法实施例，应用场景，技术特征的解释、表述，以及多种实现形式的扩展、追加也同样适用于装置中各模块所涉及到的相关方法执行，装置实施例中不予以赘述。
应理解以上装置2000中的各个模块的划分仅仅是一种逻辑功能的划分，实际实现时可以全部或部分集成到一个物理实体上，也可以物理上分开。例如，以上各个模块可以为单独设立的处理元件，也可以集成在终端的某一个芯片中实现，此外，也可以以程序代码的形式存储于控制器的存储元件中，由处理器的某一个处理元件调用并执行以上各个模块的功能。此外各个模块可以集成在一起，也可以独立实现。这里所述的处理元件可以是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤或以上各个模块可以通过处理器元件中的硬件的集成逻辑电路或者软件形式的指令完成。该处理元件可以是通用处理器，例如中央处理器(英文：central processing unit，简称：CPU)，还可以是被配置成实施以上方法的一个或多个集成电路，例如：一个或多个特定集成电路(英文：application-specific integrated circuit，简称：ASIC)，或，一个或多个微处理器(英文：digital signal processor，简称：DSP)，或，一个或者多个现场可编程门阵列(英文：field-programmable gate array，简称：FPGA)等。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际 的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
应理解，本发明中实施例极度丰富，在不违背自然规律的前提下，以上任意步骤可以自由组合，本申请中无法针对所有的可能的场景和实现进行一一赘述。相关特征的描述也可以适用于另外的实施例。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、ROM、RAM、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，训练设备，或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、训练设备或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、训练设备或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的训练设备、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(Solid State Disk，SSD))等。
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
尽管已描述了本发明的部分实施例，但本领域内的技术人员一旦得知了基本创造性概念，则可对这些实施例作出另外的变更和修改。所以，所附权利要求意欲解释为包括已列举实施例以及落入本发明范围的所有变更和修改。显然，本领域的技术人员可以对本发明实施例进行各种改动和变型而不脱离本发明实施例的精神和范围。倘若本发明实施例的这些修改和变型属于本发明权利要求及其等同技术的范围之内，则本发明也包含这些改动和变型在内。

Claims (92)

  1. 一种信息处理方法，其特征在于，包括：
    第一电子设备与第二电子设备建立连接，其中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强显示AR设备、虚拟现实VR设备或混合现实MR设备；
    获取对所述第一电子设备的第一操作；
    基于对所述第一电子设备的第一操作，控制所述光标在所述第二电子设备的显示位置。
  2. 根据权利要求1所述的方法，其特征在于，所述界面内容为所述第一电子设备前端应用的界面内容。
  3. 根据权利要求1或2所述的方法，其特征在于，所述第二电子设备还显示：菜单栏，所述菜单栏不属于所述第一电子设备的界面内容。
  4. 根据权利要求1至3任一所述的方法，其特征在于，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备上的显示位置，包括：
    获取所述第一电子设备的位姿变化信息；
    基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
  5. 根据权利要求4所述的方法，其特征在于，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动，包括：
    根据所述第一旋转角确定所述光标的水平位移；
    根据所述第二旋转角确定所述光标的竖直位移；
    根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
  6. 根据权利要求4所述的方法，其特征在于，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动，包括：
    根据所述第一位移确定所述光标的水平位移；
    根据所述第二位移确定所述光标的竖直位移；
    根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
  7. 根据权利要求4至6任一所述的方法，其特征在于，所述方法还包括：
    当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
    则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
  8. 根据权利要求7所述的方法，其特征在于，所述第一触摸操作的操作位置对应于所述第一电子设备的界面内容中的第二对象，所述方法还包括：
    屏蔽所述第二对象对所述第一触摸操作的响应。
  9. 根据权利要求7或8所述的方法，其特征在于，所述第一触摸操作至少包括点击操作和第一滑动操作，所述目标对象至少包括应用程序和功能控件。
  10. 根据权利要求1至3任一所述的方法，其特征在于，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置包括：
    接收对所述第一电子设备的显示屏的第二滑动操作；
    根据所述第二滑动操作确定所述光标的位移；
    基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
  11. 根据权利要求10所述的方法，其特征在于，所述第二滑动操作对应的起始操作位置对应于所述第一电子设备的界面内容中的第三对象，所述方法还包括：
    屏蔽所述第三对象对所述第二触摸操作的响应。
  12. 根据权利要求10或11所述的方法，其特征在于，所述方法还包括：
    当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
    则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
  13. 根据权利要求12所述的方法，其特征在于，所述点击操作的操作位置对应于所述第一电子设备的界面内容中的第四对象，所述方法还包括：
    屏蔽所述第四对象对所述点击操作的响应。
  14. 根据权利要求1至13任一所述的方法，其特征在于，所述第二电子设备还显示：射线，所述射线的终点为所述光标。
  15. 根据权利要求1至14任一所述的方法，其特征在于，所述方法还包括：
    接收到对第一电子设备的物理按键的按压操作；
    根据所述按压操作生成对应的第二事件；
    对所述第一电子设备前端应用执行所述第二事件。
  16. 根据权利要求1至15任一所述的方法，其特征在于，所述方法还包括：
    接收对所述第一电子设备的显示屏的第二操作，且所述第二操作为预设的快捷操作；
    所述第一电子设备响应于所述第二操作。
  17. 根据权利要求16所述的方法，其特征在于，所述第二操作的操作位置对应所述第二电子设备的界面内容中的第五对象，所述第五对象不响应所述第一操作。
  18. 根据权利要求16或17所述的方法，其特征在于，所述预设的快捷操作至少包括：
    接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设方向滑动；
    接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏的时间大于预设时间。
  19. 根据权利要求1至18任一所述的方法，其特征在于，所述方法还包括：
    降低所述第一电子设备的显示屏的显示亮度；或，
    对所述第一电子设备的显示屏执行熄屏操作。
  20. 根据权利要求1至3任一所述的方法，其特征在于，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备上的显示位置，包括：
    基于所述第二电子设备上显示第一应用，获取所述第一电子设备的位姿变化信息，基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动；
    基于所述第二电子设备上显示第二应用，接收对所述第一电子设备的显示屏的第二滑动操作，根据所述第二滑动操作确定所述光标的位移，基于所述位移使得所述光标在所述第二电子设备的显示内容中移动，所述第一应用与所述第二应用为不同的应用。
  21. 一种信息处理方法，其特征在于，所述方法应用于第一电子设备，所述第一电子设备与所述第二电子设备连接，所述第一电子设备包括触摸屏，所述第二电子设 备为增强显示AR设备、虚拟现实VR设备或混合现实MR设备，所述方法包括：
    当手柄与所述第二电子设备建立连接时，将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备；
    当仅有所述第一电子设备与所述第二电子设备建立连接时，将所述第一电子设备作为所述第二电子设备的控制设备。
  22. 根据权利要求21所述的方法，其特征在于，所述将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备，包括：
    将所述手柄作为所述第二电子设备的控制设备；
    接收第一交互模式切换指令；
    响应于所述第一交互模式切换指令，将所述第二电子设备的控制设备由所述手柄切换为所述第一电子设备。
  23. 根据权利要求22所述的方法，其特征在于，所述接收第一交互模式切换指令，包括：
    接收所述手柄发送的第一交互模式切换指令、基于接收对所述第一电子设备的第二操作，生成对应的第一交互模式切换指令或接收所述第二电子设备发送的第一交互模式切换指令。
  24. 根据权利要求22所述的方法，其特征在于，所述将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备，包括：
    将所述第一电子设备作为所述第二电子设备的控制设备；
    接收第二交互模式切换指令；
    响应于所述第二交互模式切换指令，将所述第二电子设备的控制设备由所述第一电子设备切换为所述手柄。
  25. 根据权利要求24所述的方法，其特征在于，所述接收第二交互模式切换指令，包括：
    接收所述手柄发送的第二交互模式切换指令、基于接收对所述第以电子设备的第二操作，生成对应的第二交互模式切换指令或接收所述第二电子设备发送的第二交互模式切换指令。
  26. 根据权利要求23至25任一所述的方法，其特征在于，所述第二电子设备显示光标以及所述第一电子设备的界面内容，所述将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备，包括：
    基于对所述手柄的操作，控制所述光标在所述第二电子设备的显示位置；
    基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。
  27. 根据权利要求26所述的方法，其特征在于，所述界面内容为所述第一电子设备前端应用的界面内容。
  28. 根据权利要求26或27所述的方法，其特征在于，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备上的显示位置，包括：
    获取所述第一电子设备的位姿变化信息；
    基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
  29. 根据权利要求28所述的方法，其特征在于，所述方法还包括：
    当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
    则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
  30. 根据权利要求26或27所述的方法，其特征在于，所述基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置包括：
    接收对所述第一电子设备的显示屏的第二滑动操作；
    根据所述第二滑动操作确定所述光标的位移；
    基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
  31. 根据权利要求30所述的方法，其特征在于，所述方法还包括：
    当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
    则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
  32. 一种电子设备，其特征在于，包括：
    发送模块，用于与第二电子设备建立连接，其中，所述第二电子设备显示光标以及所述第一电子设备的界面内容，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强显示AR设备、虚拟现实VR设备或混合现实MR设备；
    处理模块，用于获取对所述第一电子设备的操作，基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。
  33. 根据权利要求32所述的电子设备，其特征在于，所述界面内容为所述第一电子设备前端应用的界面内容。
  34. 根据权利要求32或33所述的电子设备，其特征在于，所述第二电子设备还显示：菜单栏，所述菜单栏不属于所述第一电子设备的界面内容。
  35. 根据权利要求32至34任一所述的电子设备，其特征在于，所述处理模块，具体用于获取所述第一电子设备的位姿变化信息，并基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
  36. 根据权利要求35所述的电子设备，其特征在于，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述处理模块，具体用于：
    根据所述第一旋转角确定所述光标的水平位移；
    根据所述第二旋转角确定所述光标的竖直位移；
    根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
  37. 根据权利要求35所述的电子设备，其特征在于，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述处理模块，具体用于：
    根据所述第一位移确定所述光标的水平位移；
    根据所述第二位移确定所述光标的竖直位移；
    根据所述水平位移和所述竖直位移使得所述光标在所述第二电子设备的显示内容上移动。
  38. 根据权利要求35至37任一所述的电子设备，其特征在于，所述处理模块，还用于：
    当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
    则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
  39. 根据权利要求38所述的电子设备，其特征在于，所述第一触摸操作的操作位置对应于所述第一电子设备的界面内容中的第二对象，所述处理模块，还用于：
    屏蔽所述第二对象对所述第一触摸操作的响应。
  40. 根据权利要求38或39所述的电子设备，其特征在于，所述第一触摸操作至 少包括点击操作和第一滑动操作，所述目标对象至少包括应用程序和功能控件。
  41. 根据权利要求32至34任一所述的电子设备，其特征在于，所述处理模块，具体用于：
    接收对所述第一电子设备的显示屏的第二滑动操作；
    根据所述第二滑动操作确定所述光标的位移；
    基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
  42. 根据权利要求41所述的电子设备，其特征在于，所述第二滑动操作对应的起始操作位置对应于所述第一电子设备的界面内容中的第三对象，所述处理模块，还用于：
    屏蔽所述第三对象对所述第二触摸操作的响应。
  43. 根据权利要求41或42所述的电子设备，其特征在于，所述处理模块，还用于：
    当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
    则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
  44. 根据权利要求43所述的电子设备，其特征在于，所述点击操作的操作位置对应于所述第一电子设备的界面内容中的第四对象，所述处理模块，还用于：
    屏蔽所述第四对象对所述点击操作的响应。
  45. 根据权利要求32至44任一所述的电子设备，其特征在于，所述第二电子设备还显示：射线，所述射线的终点为所述光标。
  46. 根据权利要求32至45任一所述的电子设备，其特征在于，所述处理模块，还用于：
    接收到对第一电子设备的物理按键的按压操作；
    根据所述按压操作生成对应的第二事件；
    对所述第一电子设备前端应用执行所述第二事件。
  47. 根据权利要求32至46任一所述的电子设备，其特征在于，所述处理模块，还用于接收对所述第一电子设备的显示屏的第二操作，且所述第二操作为预设的快捷操作，并使得所述第一电子设备响应于所述第二操作。
  48. 根据权利要求47所述的电子设备，其特征在于，所述第二操作的操作位置对应所述第二电子设备的界面内容中的第五对象，所述第五对象不响应所述第一操作。
  49. 根据权利要求47或48所述的电子设备，其特征在于，所述预设的快捷操作至少包括：
    接触所述第一电子设备的显示屏的第一预设区域，并由所述第一预设区域向第一预设方向滑动；
    接触所述第一电子设备的显示屏的第二预设区域，由所述第二预设区域向第二预设方向滑动，且接触所述第一电子设备的显示屏的时间大于预设时间。
  50. 根据权利要求32至49任一所述的电子设备，其特征在于，所述处理模块，还用于降低所述第一电子设备的显示屏的显示亮度；或，
    对所述第一电子设备的显示屏执行熄屏操作。
  51. 根据权利要求32至34任一所述的电子设备，其特征在于，所述处理模块，具体用于：
    基于所述第二电子设备上显示第一应用，获取所述第一电子设备的位姿变化信息，基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动；
    基于所述第二电子设备上显示第二应用，接收对所述第一电子设备的显示屏的第 二滑动操作，根据所述第二滑动操作确定所述光标的位移，基于所述位移使得所述光标在所述第二电子设备的显示内容中移动，所述第一应用与所述第二应用为不同的应用。
  52. 一种第一电子设备，其特征在于，所述第一电子设备与所述第二电子设备连接，所述第一电子设备包括触摸屏，所述第二电子设备为增强显示AR设备、虚拟现实VR设备或混合现实MR设备，所述第一电子设备包括：
    处理模块，用于当手柄与所述第二电子设备建立连接时，将所述手柄或所述第一电子设备作为所述第二电子设备的控制设备；
    当仅有所述第一电子设备与所述第二电子设备建立连接时，将所述第一电子设备作为所述第二电子设备的控制设备。
  53. 根据权利要求52所述的第一电子设备，其特征在于，所述处理模块，具体用于：
    将所述手柄作为所述第二电子设备的控制设备；
    接收第一交互模式切换指令；
    响应于所述第一交互模式切换指令，将所述第二电子设备的控制设备由所述手柄切换为所述第一电子设备。
  54. 根据权利要求53所述的第一电子设备，其特征在于，所述处理模块，具体用于：
    接收所述手柄发送的第一交互模式切换指令、基于接收对所述第一电子设备的第二操作，生成对应的第一交互模式切换指令或接收所述第二电子设备发送的第一交互模式切换指令。
  55. 根据权利要求54所述的第一电子设备，其特征在于，所述处理模块，具体用于：
    将所述第一电子设备作为所述第二电子设备的控制设备；
    所述第一电子设备还包括获取模块，用于接收接收第二交互模式切换指令；
    所述处理模块，具体用于响应于所述第二交互模式切换指令，将所述第二电子设备的控制设备由所述第一电子设备切换为所述手柄。
  56. 根据权利要求54所述的第一电子设备，其特征在于，所述处理模块，具体用于：
    接收所述手柄发送的第二交互模式切换指令、基于接收对所述第以电子设备的第二操作，生成对应的第二交互模式切换指令或接收所述第二电子设备发送的第二交互模式切换指令。
  57. 根据权利要求54至56任一所述的第一电子设备，其特征在于，所述第二电子设备显示光标以及所述第一电子设备的界面内容，所述处理模块，具体用于：
    基于对所述手柄的操作，控制所述光标在所述第二电子设备的显示位置；
    基于对所述第一电子设备的操作，控制所述光标在所述第二电子设备的显示位置。
  58. 根据权利要求57所述的第一电子设备，其特征在于，所述界面内容为所述第一电子设备前端应用的界面内容。
  59. 根据权利要求57或58所述的第一电子设备，其特征在于，所述处理模块，具体用于：
    获取所述第一电子设备的位姿变化信息；
    基于所述位姿变化信息使得所述光标在所述第二电子设备的显示内容上移动。
  60. 根据权利要求57至59任一所述的第一电子设备，其特征在于，所述处理模块，还用于：
    当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的第一触摸操作；
    则使得所述第二电子设备的显示内容中的目标对象响应所述第一触摸操作。
  61. 根据权利要求57或58所述的第一电子设备，其特征在于，所述处理模块，还用于：
    接收对所述第一电子设备的显示屏的第二滑动操作；
    根据所述第二滑动操作确定所述光标的位移；
    基于所述位移使得所述光标在所述第二电子设备的显示内容中移动。
  62. 根据权利要求61所述的第一电子设备，其特征在于，所述处理模块，还用于：
    当所述光标移动至所述第二电子设备的显示内容中的目标对象时，若接收到对所述第一电子设备的显示屏的点击操作；
    则使得所述第二电子设备的显示内容中的目标对象响应所述点击操作。
  63. 一种信息处理方法，其特征在于，所述方法包括：
    将第一电子设备的界面内容显示在第二电子设备中，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强显示AR设备、虚拟现实VR设备或混合现实MR设备；
    接收作用于所述第一电子设备的第一显示屏上的第一操作；使得所述第二电子设备显示的所述界面内容响应于所述第一操作；其中，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象；所述第一对象不响应所述第一操作。
  64. 根据权利要求63所述的方法，其特征在于，所述使得所述第二电子设备显示的所述界面内容响应于所述第一操作，具体包括：
    在所述第一电子设备显示的界面内容中确定出第一位置；使得所述第二电子设备显示的所述界面内容基于所述第一位置对所述第一操作做出响应；其中，所述第一位置与所述第一操作的操作位置无关。
  65. 根据权利要求64所述的方法，其特征在于，所述方法还包括：
    将所述光标投屏在所述第二电子设备中，使得所述第二电子设备显示所述光标。
  66. 根据权利要求65所述的方法，其特征在于，所述光标在所述第一电子设备显示的界面内容中对应的位置为第一位置。
  67. 根据权利要求65或66所述的方法，其特征在于，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
    获取所述第一电子设备的位姿变化信息；
    基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
  68. 根据权利要求67所述的方法，其特征在于，所述位姿变化信息包括所述第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
    根据所述第一旋转角确定所述光标的水平位移；
    根据所述第二旋转角确定所述光标的竖直位移；
    根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
  69. 根据权利要求67所述的方法，其特征在于，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备上显示的光标的左右移动方向平行，所述第二方向与 所述第二电子设备显示的光标的上下移动方向平行，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
    根据所述第一位移确定所述光标的水平位移；
    根据所述第二位移确定所述光标的竖直位移；
    根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
  70. 根据权利要求63至69任一所述的方法，其特征在于，所述第一操作至少包括点击操作和第一滑动操作，所述第一对象至少包括应用程序和功能控件中的一种。
  71. 根据权利要求65或66所述的方法，其特征在于，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
    接收对所述第一电子设备的显示屏的第二滑动操作；
    根据所述第二滑动操作确定所述光标的位移；
    根据所述光标的位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
  72. 根据权利要求71所述的方法，其特征在于，所述第一操作至少包括点击操作，所述第一对象至少包括应用程序和功能控件中的一种。
  73. 根据权利要求63至72任一所述的方法，其特征在于，所述方法还包括：
    降低所述第一显示屏的显示亮度；或，
    对所述第一显示屏执行熄屏操作。
  74. 根据权利要求63至73任一所述的方法，其特征在于，所述方法还包括：
    将所述菜单栏显示在所述第二电子设备中。
  75. 一种电子设备，其特征在于，包括：
    发送模块，用于将第一电子设备的界面内容显示在第二电子设备中，其中，所述第一电子设备包括触摸屏，所述第二电子设备为增强显示AR设备、虚拟现实VR设备或混合现实MR设备；
    处理模块，用于接收作用于所述第一电子设备的第一显示屏上的第一操作；使得所述第二电子设备显示的所述界面内容响应于所述第一操作；其中，所述第一操作的操作位置在所述第一电子设备的界面内容中对应于第一对象；所述第一对象不响应所述第一操作。
  76. 根据权利要求75所述的电子设备，其特征在于，所述使得所述第二电子设备显示的所述界面内容响应于所述第一操作，具体包括：
    在所述第一电子设备显示的界面内容中确定出第一位置；使得所述第二电子设备显示的所述界面内容基于所述第一位置对所述第一操作做出响应；其中，所述第一位置与所述第一操作的操作位置无关。
  77. 根据权利要求76所述的电子设备，其特征在于，所述电子设备还包括：
    将所述光标投屏在所述第二电子设备中，使得所述第二电子设备显示所述光标。
  78. 根据权利要求77所述的电子设备，其特征在于，所述光标在所述第一电子设备显示的界面内容中对应的位置为第一位置。
  79. 根据权利要求77或78所述的电子设备，其特征在于，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
    获取所述第一电子设备的位姿变化信息；
    基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
  80. 根据权利要求79所述的电子设备，其特征在于，所述位姿变化信息包括所述 第一电子设备在水平面上的第一旋转角和所述第一电子设备在竖直面上的第二旋转角，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
    根据所述第一旋转角确定所述光标的水平位移；
    根据所述第二旋转角确定所述光标的竖直位移；
    根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
  81. 根据权利要求79所述的电子设备，其特征在于，所述位姿变化信息包括所述第一电子设备在第一方向上的第一位移和所述第一电子设备在第二方向上的第二位移，所述第一方向与所述第二电子设备上显示的光标的左右移动方向平行，所述第二方向与所述第二电子设备显示的光标的上下移动方向平行，所述基于所述位姿变化信息确定所述光标在所述第一电子设备显示的界面内容中的第一位置，包括：
    根据所述第一位移确定所述光标的水平位移；
    根据所述第二位移确定所述光标的竖直位移；
    根据所述水平位移和所述竖直位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
  82. 根据权利要求75至81任一所述的电子设备，其特征在于，所述第一操作至少包括点击操作和第一滑动操作，所述第一对象至少包括应用程序和功能控件中的一种。
  83. 根据权利要求77或78所述的电子设备，其特征在于，所述在所述第一电子设备显示的界面内容中确定出第一位置，包括：
    接收对所述第一电子设备的显示屏的第二滑动操作；
    根据所述第二滑动操作确定所述光标的位移；
    根据所述光标的位移确定所述光标在所述第一电子设备显示的界面内容中的第一位置。
  84. 根据权利要求83所述的电子设备，其特征在于，所述第一操作至少包括点击操作，所述第一对象至少包括应用程序和功能控件中的一种。
  85. 根据权利要求75至84任一所述的电子设备，其特征在于，所述电子设备还包括：
    降低所述第一显示屏的显示亮度；或，
    对所述第一显示屏执行熄屏操作。
  86. 根据权利要求75至85任一所述的电子设备，其特征在于，所述电子设备还包括：
    将所述菜单栏显示在所述第二电子设备中。
  87. 一种第一电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述第一电子设备执行如权利要求1至31任一项所述的方法。
  88. 一种第一电子设备，其特征在于，包括处理器、输入设备、输出设备和存储器，其中，所述存储器用于存储计算机程序，所述计算机程序包括程序指令，当所述处理器运行所述程序指令时，使所述第一电子设备执行如权利要求63至74任一项所述的方法。
  89. 一种投屏系统，其特征在于，包括：如权利要求87所述的第一电子设备，以及第二电子设备，所述第二电子设备为增强显示AR设备、虚拟现实VR设备或混合 现实MR设备，所述第一电子设备与所述第二电子设备连接。
  90. 一种投屏系统，其特征在于，包括：如权利要求88所述的第一电子设备，以及第二电子设备，所述第二电子设备为增强显示AR设备、虚拟现实VR设备或混合现实MR设备，所述第一电子设备与所述第二电子设备连接。
  91. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，当所述程序请求被计算机运行时使所述计算机执行如权利要求1至31任一项所述的方法。
  92. 一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序包括程序指令，当所述程序请求被计算机运行时使所述计算机执行如权利要求63至74任一项所述的方法。
PCT/CN2020/116328 2019-09-19 2020-09-19 一种信息处理方法及电子设备 WO2021052488A1 (zh)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201910888955.8 2019-09-19
CN201910888955 2019-09-19
CN201910922739.0 2019-09-26
CN201910922739.0A CN112527174B (zh) 2019-09-19 2019-09-26 一种信息处理方法及电子设备

Publications (1)

Publication Number Publication Date
WO2021052488A1 true WO2021052488A1 (zh) 2021-03-25

Family

ID=74884318

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2020/116328 WO2021052488A1 (zh) 2019-09-19 2020-09-19 一种信息处理方法及电子设备

Country Status (1)

Country Link
WO (1) WO2021052488A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022229737A1 (en) 2021-04-26 2022-11-03 Agco Corporation Methods and systems for labeling hay bales with corrected yield
WO2022229736A1 (en) 2021-04-26 2022-11-03 Agco Corporation Methods and systems for labeling hay with corrected yield

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095235A (zh) * 2016-06-07 2016-11-09 腾讯科技（深圳）有限公司 基于虚拟现实的控制方法和装置
CN106896920A (zh) * 2017-03-01 2017-06-27 网易（杭州）网络有限公司 虚拟现实系统、虚拟现实设备、虚拟现实控制装置及方法
CN107977083A (zh) * 2017-12-20 2018-05-01 北京小米移动软件有限公司 基于vr系统的操作执行方法及装置
CN108646997A (zh) * 2018-05-14 2018-10-12 刘智勇 一种虚拟及增强现实设备与其他无线设备进行交互的方法
US20190018444A1 (en) * 2016-06-16 2019-01-17 JRD Communication (Shenzhen) Ltd. Wearable apparatus and method for controlling vr apparatus

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106095235A (zh) * 2016-06-07 2016-11-09 腾讯科技（深圳）有限公司 基于虚拟现实的控制方法和装置
US20190018444A1 (en) * 2016-06-16 2019-01-17 JRD Communication (Shenzhen) Ltd. Wearable apparatus and method for controlling vr apparatus
CN106896920A (zh) * 2017-03-01 2017-06-27 网易（杭州）网络有限公司 虚拟现实系统、虚拟现实设备、虚拟现实控制装置及方法
CN107977083A (zh) * 2017-12-20 2018-05-01 北京小米移动软件有限公司 基于vr系统的操作执行方法及装置
CN108646997A (zh) * 2018-05-14 2018-10-12 刘智勇 一种虚拟及增强现实设备与其他无线设备进行交互的方法

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022229737A1 (en) 2021-04-26 2022-11-03 Agco Corporation Methods and systems for labeling hay bales with corrected yield
WO2022229736A1 (en) 2021-04-26 2022-11-03 Agco Corporation Methods and systems for labeling hay with corrected yield

Similar Documents

Publication Publication Date Title
WO2021057830A1 (zh) 一种信息处理方法及电子设备
WO2022100315A1 (zh) 应用界面的生成方法及相关装置
WO2022052772A1 (zh) 多窗口投屏场景下的应用界面显示方法及电子设备
WO2021227770A1 (zh) 应用窗口显示方法和电子设备
WO2021129253A1 (zh) 显示多窗口的方法、电子设备和系统
WO2021013158A1 (zh) 显示方法及相关装置
US20230325067A1 (en) Cross-device object drag method and device
WO2021063343A1 (zh) 语音交互方法及装置
US20240053879A1 (en) Object Drag Method and Device
CN112527174B (zh) 一种信息处理方法及电子设备
WO2020062294A1 (zh) 系统导航栏的显示控制方法、图形用户界面及电子设备
CN112527222A (zh) 一种信息处理方法及电子设备
WO2022105445A1 (zh) 基于浏览器的应用投屏方法及相关装置
WO2022017393A1 (zh) 显示交互系统、显示方法及设备
WO2022127661A1 (zh) 应用共享方法、电子设备和存储介质
WO2023030099A1 (zh) 跨设备交互的方法、装置、投屏系统及终端
WO2024021519A1 (zh) 卡片显示方法、终端设备
WO2021052488A1 (zh) 一种信息处理方法及电子设备
WO2021254113A1 (zh) 一种三维界面的控制方法和终端
WO2022142674A1 (zh) 一种快捷方式的创建方法及相关设备
CN110889060A (zh) 网页显示方法、装置、计算机设备及存储介质
US20230236714A1 (en) Cross-Device Desktop Management Method, First Electronic Device, and Second Electronic Device
WO2023040775A1 (zh) 一种预览方法、电子设备及系统
WO2023005751A1 (zh) 渲染方法及电子设备
WO2024099206A1 (zh) 一种图形界面处理方法以及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20864984

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20864984

Country of ref document: EP

Kind code of ref document: A1