WO2021218707A1 - 一种确定操控目标的方法、移动设备及网关 - Google Patents

一种确定操控目标的方法、移动设备及网关 Download PDF

Info

Publication number
WO2021218707A1
WO2021218707A1 PCT/CN2021/088395 CN2021088395W WO2021218707A1 WO 2021218707 A1 WO2021218707 A1 WO 2021218707A1 CN 2021088395 W CN2021088395 W CN 2021088395W WO 2021218707 A1 WO2021218707 A1 WO 2021218707A1
Authority
WO
WIPO (PCT)
Prior art keywords
gateway
mobile device
information
smart
smart device
Prior art date
Application number
PCT/CN2021/088395
Other languages
English (en)
French (fr)
Inventor
刘建军
Original Assignee
华为技术有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 华为技术有限公司 filed Critical 华为技术有限公司
Priority to JP2022564765A priority Critical patent/JP7437534B2/ja
Priority to EP21797539.0A priority patent/EP4131859A4/en
Priority to US17/920,646 priority patent/US20230141356A1/en
Publication of WO2021218707A1 publication Critical patent/WO2021218707A1/zh

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • H04W4/026—Services making use of location information using location based information parameters using orientation information, e.g. compass
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/025—Services making use of location information using location based information parameters
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C17/00—Arrangements for transmitting signals characterised by the use of a wireless electrical link
    • G08C17/02—Arrangements for transmitting signals characterised by the use of a wireless electrical link using a radio link
    • G—PHYSICS
    • G08—SIGNALLING
    • G08C—TRANSMISSION SYSTEMS FOR MEASURED VALUES, CONTROL OR SIMILAR SIGNALS
    • G08C23/00—Non-electrical signal transmission systems, e.g. optical systems
    • G08C23/04—Non-electrical signal transmission systems, e.g. optical systems using light waves, e.g. infrared
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/28—Data switching networks characterised by path configuration, e.g. LAN [Local Area Networks] or WAN [Wide Area Networks]
    • H04L12/2803—Home automation networks
    • H04L12/2816—Controlling appliance services of a home automation network by calling their functionalities
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • H04W4/023—Services making use of location information using mutual or relative location information between multiple location based services [LBS] targets or of distance thresholds
    • G—PHYSICS
    • G01—MEASURING; TESTING
    • G01S—RADIO DIRECTION-FINDING; RADIO NAVIGATION; DETERMINING DISTANCE OR VELOCITY BY USE OF RADIO WAVES; LOCATING OR PRESENCE-DETECTING BY USE OF THE REFLECTION OR RERADIATION OF RADIO WAVES; ANALOGOUS ARRANGEMENTS USING OTHER WAVES
    • G01S3/00—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received
    • G01S3/02—Direction-finders for determining the direction from which infrasonic, sonic, ultrasonic, or electromagnetic waves, or particle emission, not having a directional significance, are being received using radio waves
    • G01S3/14—Systems for determining direction or deviation from predetermined direction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L12/00—Data switching networks
    • H04L12/02—Details
    • H04L12/12—Arrangements for remote connection or disconnection of substations or of equipment thereof
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/12—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks
    • H04L67/125—Protocols specially adapted for proprietary or special-purpose networking environments, e.g. medical networks, sensor networks, networks in vehicles or remote metering networks involving control of end-device applications over a network
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72403—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality
    • H04M1/72409—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories
    • H04M1/72415—User interfaces specially adapted for cordless or mobile telephones with means for local support of applications that increase the functionality by interfacing with external accessories for remote control of appliances
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04M—TELEPHONIC COMMUNICATION
    • H04M1/00—Substation equipment, e.g. for use by subscribers
    • H04M1/72—Mobile telephones; Cordless telephones, i.e. devices for establishing wireless links to base stations without route selection
    • H04M1/724—User interfaces specially adapted for cordless or mobile telephones
    • H04M1/72448—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions
    • H04M1/72457—User interfaces specially adapted for cordless or mobile telephones with means for adapting the functionality of the device according to specific conditions according to geographic location

Definitions

  • This application relates to the field of terminals and artificial intelligence, and in particular to a method, mobile device and gateway for determining a control target.
  • the entire process of determining the control target requires at least 3 to 4 steps, and the operation is cumbersome. If there are many smart devices to be selected, the process of determining the operation target may be more complicated and easier to use.
  • the present application provides a method, a mobile device, and a gateway for determining a manipulation target.
  • the manipulation target is intelligently determined according to the pointing of the mobile device, which can greatly simplify the process of determining the manipulation target and improve the ease of use of human-computer interaction.
  • the mobile terminal, the gateway and the smart device cooperate to independently construct a smart network containing three-dimensional location information.
  • the control target can be intelligently determined according to the direction of the user holding the mobile device, which greatly simplifies The process of determining the control target is improved, and the ease of use of human-computer interaction is improved.
  • the location information of the at least two smart devices relative to the gateway and their punctuation information are combined with the gateway and each smart device measured at at least two mobile location points by the mobile device.
  • the mobile device and/or the gateway determine the position information of other smart devices relative to the gateway, which specifically includes: the mobile device measures the distance to the gateway and the smart devices at at least two moving locations; The mobile device and/or the gateway according to the determined position information of the at least two smart devices relative to the gateway and their punctuation information, and the distance between the at least two mobile location points and the at least two smart devices and the gateway, Determine the location information and punctuation information of the at least two mobile location points relative to the gateway; the mobile device and/or the gateway according to the location information and punctuation information of the at least two mobile location points relative to the gateway, and the at least The distance between the two mobile location points and other smart devices except the at least two smart devices determines the position information of the other smart devices relative to the gateway.
  • the mobile device and/or the gateway determines that the smart device in the current pointing direction of the mobile device is the target of manipulation based on the current pointing direction information, punctuation information, and orientation information of the mobile device, Specifically, the mobile device and/or the gateway determine the current pointing direction information, punctuation information, and position information of the mobile device in response to the operation of the user holding the mobile device to point to the smart device; The current pointing direction information, punctuation information, and orientation information of the mobile device, the punctuation information and orientation information of each smart device, and the pointing target calculation model to determine the smart device in the current pointing direction of the mobile device as the control target; the pointing target calculation model It is used to determine the pointed point under the condition that the punctuation information and azimuth information of each point in the space and the direction information of the pointed point to the pointed point are known.
  • an embodiment of the present application provides a mobile device, which includes: one or more processors and a memory; the memory is coupled with the one or more processors, and the memory is used to store computer program codes,
  • the computer program code includes computer instructions, and the one or more processors call the computer instructions to make the mobile device execute: determine the punctuation information of each smart device; wherein, the mobile device and each smart device are interconnected through a gateway, and the punctuation
  • the information includes the linear distance to the gateway and the vertical distance to the horizontal plane of the gateway; according to the pointing operation of the mobile device on the at least two smart devices, the position information of the at least two smart devices relative to the gateway is determined, and the position information is used for Indicates the position of the projection on the horizontal plane of the gateway relative to the gateway; according to the position information of the at least two smart devices relative to the gateway and their punctuation information, combined with the mobile device’s measurements at at least two mobile location points with the gateway and each The distance of the smart device determines the location information of other smart devices
  • the one or more processors are specifically configured to invoke the computer instructions to make the mobile device execute: determine the distance between three moving position points and the three moving position points The straight-line distance to each smart device, where the three moving position points are not on the same straight line; according to the distance between the three moving position points and the straight-line distance from the three moving position points to each smart device, determine the respective Punctuation information for smart devices.
  • the one or more processors are specifically configured to invoke the computer instructions to cause the mobile device to execute: in response to the operation of the user holding the mobile device pointing to the first smart device, obtaining the current
  • the pointing direction information and punctuation information includes the elevation angle of the mobile device and the direction to which the mobile device points.
  • the first smart device is one of the smart devices interconnected with the gateway; in response to the user determining the first The smart device is the operation of the control target.
  • the punctuation information of the first smart device determines the position information of the first smart device relative to the gateway; adopt the same steps as above to determine the second The position information of the smart device relative to the gateway, and the second smart device is another smart device that is different from the first smart device among smart devices interconnected with the gateway.
  • the one or more processors are specifically configured to invoke the computer instructions to make the mobile device execute: according to the punctuation information of the first smart device, the current pointing direction information and the punctuation information, And the position information calculation model to determine the position information of the first smart device relative to the gateway; the position information calculation model is used for the punctuation information of the pointing point and the pointed point in the known space, and the pointing point points to the pointed point The position information of the pointed point relative to the gateway is determined under the condition of the pointing position information of the point.
  • the one or more processors are specifically configured to invoke the computer instructions to cause the mobile device to execute: measure the relationship between the gateway and the smart device at at least two mobile locations. Distance; Determine the at least two smart devices based on the determined position information of the at least two smart devices relative to the gateway and their punctuation information, and the distance between the at least two moving location points and the at least two smart devices and the gateway The location information of the mobile location point relative to the gateway and its punctuation information; according to the location information of the at least two mobile location points relative to the gateway and its punctuation information, and the at least two mobile location points and the at least two smart devices The distance of the other smart devices outside, determines the position information of the other smart devices relative to the gateway.
  • the one or more processors are specifically configured to invoke the computer instructions to cause the mobile device to execute: in response to the operation of the user holding the mobile device pointing to the smart device, determining that the mobile device Current pointing direction information, punctuation information and position information; according to the current pointing direction information, punctuation information and position information of the mobile device, the punctuation information and position information of each smart device, and the pointing target calculation model, determine the current direction of the mobile device
  • the smart device in the direction is the control target; the pointing target calculation model is used to determine the pointed point under the condition that the punctuation information and azimuth information of each point in the space and the pointing direction information of the pointed point to the pointed point are known.
  • the one or more processors are further configured to invoke the computer instruction to cause the mobile device to execute: in response to the user triggering the operation of the pointing control function, the pointing control function is activated.
  • the embodiments of the present application provide a chip that is applied to a mobile device.
  • the chip includes one or more processors for invoking computer instructions to make the mobile device execute the first aspect and the first aspect.
  • the embodiments of the present application provide a computer program product containing instructions.
  • the computer program product When the computer program product is run on a mobile device, the mobile device can execute the first aspect and any one of the possible implementation manners of the first aspect. Described method.
  • an embodiment of the present application provides a computer-readable storage medium, including instructions, which when the foregoing instructions run on a mobile device, cause the mobile device to execute the first aspect and any possible implementation manner in the first aspect Described method.
  • the mobile device provided in the second aspect, the chip provided in the third aspect, the computer program product provided in the fourth aspect, and the computer storage medium provided in the fifth aspect are all used to implement the methods provided in the embodiments of the present application. Therefore, the beneficial effects that can be achieved can refer to the beneficial effects in the corresponding method, which will not be repeated here.
  • an embodiment of the present application provides a gateway.
  • the gateway includes: one or more processors and a memory; the memory is coupled with the one or more processors, and the memory is used to store computer program codes.
  • the program code includes computer instructions, and the one or more processors call the computer instructions to make the gateway execute: determine the punctuation information of each smart device; wherein, the mobile device and each smart device are interconnected through the gateway, and the punctuation information includes The straight-line distance of the gateway and the vertical distance to the horizontal plane of the gateway; according to the pointing operation of the mobile device on at least two smart devices, the position information of the at least two smart devices relative to the gateway is determined, and the position information is used to indicate that the The orientation of the projection on the horizontal plane with respect to the gateway; according to the orientation information of the at least two smart devices relative to the gateway and their punctuation information, combined with the measurement of the mobile device at at least two mobile location points with the gateway and each smart device To determine the position information of other smart devices relative to the gateway, the moving location point
  • the one or more processors are specifically configured to call the computer instructions to cause the gateway to execute: accept the distance between the three mobile location points sent by the mobile device and the three The straight-line distance from a moving location point to each smart device, where the three moving location points are not on the same straight line; according to the distance between the three moving location points and the straight-line distance from the three moving location points to each smart device , To determine the punctuation information of each smart device.
  • the one or more processors are specifically configured to invoke the computer instructions to cause the gateway to execute: according to the distance between the three moving location points and the distance between the three moving location points
  • the straight-line distance of the smart device and the vertical height calculation model determine the punctuation information of each smart device; the vertical height calculation model is used to determine the height of the Mitsubishi cone under the condition that each side length of the Mitsubishi cone is known.
  • the one or more processors are specifically configured to call the computer instructions to make the gateway execute: when the user holds the mobile device and points to the first smart device, the mobile device sends The current pointing direction information and punctuation information of the current pointing direction information includes the elevation angle of the mobile device and the direction the mobile device points to.
  • the first smart device is one of the smart devices interconnected with the gateway; in response to the user determining the The first smart device is the operation of the control target.
  • the punctuation information of the first smart device determines the position information of the first smart device relative to the gateway; adopt the same steps as above to determine Position information of the second smart device relative to the gateway, and the second smart device is another smart device that is different from the first smart device among smart devices interconnected with the gateway.
  • the one or more processors are specifically configured to invoke the computer instructions to cause the gateway to execute: according to the punctuation information of the first smart device, the current pointing direction information and the punctuation information, and The position information calculation model determines the position information of the first smart device relative to the gateway; the position information calculation model is used for the punctuation information of the pointing point and the pointed point in a known space, and the pointing point points to the pointed point The position information of the pointed point relative to the gateway is determined under the condition of the pointing position information at the time.
  • the one or more processors are specifically configured to invoke the computer instructions to cause the gateway to execute: receiving measurements sent by the mobile device at least two mobile location points and the gateway and The distance of each smart device; according to the determined position information and punctuation information of the at least two smart devices relative to the gateway, and the distance between the at least two moving location points and the at least two smart devices and the gateway, Determine the position information and punctuation information of the at least two mobile position points relative to the gateway; according to the position information and punctuation information of the at least two mobile position points relative to the gateway, and the difference between the at least two mobile position points and the The distance between at least two smart devices and other smart devices determines the position information of the other smart devices relative to the gateway.
  • the one or more processors are specifically configured to invoke the computer instructions to cause the gateway to execute: in response to the operation of the user holding the mobile device pointing to the smart device, determining that the mobile device is currently Pointing direction information, punctuation information and position information; According to the current pointing direction information, punctuation information and position information of the mobile device, the punctuation information and position information of each smart device, and the pointing target calculation model, determine the current pointing direction of the mobile device
  • the smart device on the computer is the control target; the pointing target calculation model is used to determine the pointed point under the condition that the punctuation information and orientation information of each point in the space, and the pointing direction information of the pointing point to the pointed point are known.
  • the embodiments of the present application provide a chip that is applied to a gateway, the chip includes one or more processors, and the processor is used to invoke computer instructions to make the gateway execute the first aspect and the first aspect.
  • the processor is used to invoke computer instructions to make the gateway execute the first aspect and the first aspect. The method described in any of the possible implementations.
  • an embodiment of the present application provides a computer-readable storage medium, including instructions.
  • the gateway executes the operations described in the first aspect and any possible implementation manner in the first aspect. method.
  • the gateway provided in the sixth aspect, the chip provided in the seventh aspect, the computer program product provided in the eighth aspect, and the computer storage medium provided in the ninth aspect are all used to implement the methods provided in the embodiments of the present application. Therefore, the beneficial effects that can be achieved can refer to the beneficial effects in the corresponding method, which will not be repeated here.
  • FIG. 1 is a schematic diagram of a scene of controlling smart devices in the prior art
  • FIG. 2 is a schematic diagram of using a three-dimensional rectangular coordinate system to represent three-dimensional position information according to an embodiment of the present application
  • Fig. 3 is a schematic diagram of using a cylindrical coordinate system to represent three-dimensional position information according to an embodiment of the present application
  • FIG. 7 is a schematic structural diagram of a mobile device 100 provided by an embodiment of the present application.
  • FIG. 10 is a block diagram of the software structure of the gateway 900 provided by an embodiment of the present application.
  • FIG. 11 is a schematic structural diagram of a smart device 1100 provided by an embodiment of the present application.
  • FIG. 12 is a software structure block diagram of a smart device 1100 provided by an embodiment of the present application.
  • FIG. 13 is a schematic diagram of a scenario for controlling a smart device provided by an embodiment of the present application.
  • FIG. 14 is a schematic flowchart of a method for determining a manipulation target provided by an embodiment of the present application.
  • FIG. 16 is a schematic diagram of a vertical height calculation model provided by an embodiment of the present application.
  • FIG. 17 is an exemplary schematic diagram of determining punctuation information provided by an embodiment of the present application.
  • FIG. 18 is an exemplary schematic diagram of a smart device location from a gateway perspective after determining punctuation information according to an embodiment of the present application.
  • FIG. 19 is a schematic diagram of an exemplary process for determining the orientation information of a smart device provided by an embodiment of the present application.
  • FIG. 20 is a schematic diagram of an orientation information calculation model provided by an embodiment of the present application.
  • 21 is a schematic diagram of an exemplary process for determining the position information of other smart devices relative to the gateway provided by an embodiment of the present application;
  • FIG. 22 is a schematic diagram of an example of determining the position information of a moving location point and its punctuation information provided by an embodiment of the present application.
  • FIG. 23 is an exemplary schematic diagram of determining the location information of other smart devices provided by an embodiment of the present application.
  • FIG. 25 is a schematic diagram of a pointing target calculation model provided by an embodiment of the present application.
  • FIG. 26 is another schematic flowchart of a method for determining a manipulation target provided by an embodiment of the present application.
  • FIG. 27 is a schematic diagram of another exemplary process for determining punctuation information of each smart device provided by an embodiment of the present application.
  • FIG. 28 is a schematic diagram of another exemplary process for determining the location information of a smart device provided by an embodiment of the present application.
  • FIG. 29 is another exemplary flowchart of determining the position information of other smart devices relative to the gateway provided by an embodiment of the present application.
  • FIG. 30 is a schematic diagram of another exemplary flow chart for determining a control target according to an embodiment of the present application.
  • FIG. 32 is another exemplary flowchart of determining punctuation information of each smart device provided by an embodiment of the present application.
  • FIG. 33 is a schematic diagram of another exemplary process for determining the orientation information of a smart device provided by an embodiment of the present application.
  • FIG. 34 is another exemplary flowchart of determining the position information of other smart devices relative to the gateway provided by an embodiment of the present application.
  • first and second are only used for descriptive purposes, and cannot be understood as implying or implying relative importance or implicitly specifying the number of indicated technical features. Therefore, the features defined with “first” and “second” may explicitly or implicitly include one or more of these features. In the description of the embodiments of the present application, unless otherwise specified, “multiple” The meaning is two or more.
  • three-dimensional position information to the position information of the object in the three-dimensional space.
  • three-dimensional space refers to a space system composed of a vector representing the up and down direction added to the plane two-dimensional system.
  • the three-dimensional Cartesian coordinates (X, Y, Z) are similar to the two-dimensional Cartesian coordinates (X, Y), that is, the Z value is added to the X and Y values. It is also possible to use the absolute coordinate value based on the origin of the current coordinate system or the relative coordinate value based on the last input point.
  • FIG 2 it is a schematic diagram of using a three-dimensional rectangular coordinate system to represent three-dimensional position information.
  • a three-dimensional rectangular coordinate system For example, if you need to describe the position information of a certain point A in three-dimensional space, you can use a certain point O in the three-dimensional space as the origin, and use the three mutually perpendicular vectors from this point as the X, Y, and Z coordinate axes.
  • a three-dimensional rectangular coordinate system is established. Then, the value (Ax, Ay, Az) of the projection point of the point A on the three coordinate axes can be used to represent the three-dimensional position information of the point A.
  • Cylindrical coordinates are similar to two-dimensional polar coordinates, but the distance from the point to be determined to the XY plane is increased. That is, the cylindrical coordinates of a three-dimensional point can be determined by the projection length of the line connecting the point and the origin on the XY plane, the angle between the projection and the X axis, and the Z value of the point perpendicular to the XY plane.
  • the length La1 of the projection Oa1 of the line OA between the point A and the origin O on the XY plane, the angle ⁇ ax between the projection and the X axis, and the value Az of the point A projected on the Z axis can be used to form "La1 ⁇ ax, Az" to indicate the three-dimensional coordinates of the point A.
  • the coordinates are "15 ⁇ 40, 20”
  • the Z value of the projection point Az on the Z axis is 20.
  • Spherical coordinates are also similar to two-dimensional polar coordinates.
  • FIG 4 it is a schematic diagram of using a spherical coordinate system to represent three-dimensional position information. If you need to describe the position information of a certain point A in three-dimensional space, you can use a certain point O in the three-dimensional space as the origin, and the three mutually perpendicular vectors from this point are the positive directions of the X, Y, and Z coordinate axes. , Establish a spherical coordinate system.
  • the distance Lao between the point A and the origin O, the angle ⁇ ax between the projection line Oa1 of AO on the XY plane and the X axis, and the angle ⁇ a1 between AO and its projection line Oa1 on the XY plane can be used to form "Lao ⁇ ax ⁇ a1" To represent the three-dimensional coordinates of the point A. For example, if the coordinates are "20 ⁇ 45 ⁇ 50", it means that the distance between point A and origin O is 20 units, and the angle between its projection Oa1 on the XY plane and the X axis is 45 degrees, and the projection between AO and the XY plane The angle of Oa1 is 50 degrees.
  • the essence of the three-dimensional position information and the three-dimensional position relationship represented by it are the same, and both indicate that the smart device is at a certain three-dimensional space position. And because the content of the representation is essentially the same, the various representations can be converted to each other through the corresponding function and parameter modification.
  • the representation form of the three-dimensional rectangular coordinate system and the point that is convenient for description and understanding are used as the origin for exemplary feasibility description. It can be understood that the embodiments of the present application do not limit which representation form is adopted in actual applications to represent the three-dimensional position information.
  • the punctuation information can directly include the device-gateway horizontal distance, or it can directly calculate the device-gateway horizontal distance when needed based on the device-gateway straight-line distance and the device-gateway vertical distance. Not limited.
  • the gateway uses the gateway as the origin of the coordinates, the positive direction of the X axis points to the true east, the positive direction of the Y axis points to the true south, and the positive direction of the Z axis is perpendicular to the XY horizontal plane pointing upwards to establish a three-dimensional rectangular coordinate system
  • the punctuation information includes: equipment- Gateway linear distance, device-gateway vertical distance, and device-gateway horizontal distance, and the orientation information is the angle between the device-gateway projection line and the X axis as an example, and the punctuation information and orientation information in the embodiments of the present application are exemplified:
  • the punctuation information of smart device A includes: the straight-line distance AO from smart device A to gateway O, the vertical distance Aa1 from smart device A to its projection point a1 on the gateway horizontal plane, and the projection point a1 of smart device A on the gateway horizontal plane to the gateway The horizontal distance a1O.
  • the spatial position of smart device A cannot be completely determined. It may be based on the projection point Az of smart device A on the coordinate axis OZ Is the center of the circle, and any point on the circle with the device-gateway horizontal distance a1O as the radius.
  • the addition of the position information can make the spatial position of the smart device A determined.
  • the orientation information of the smart device A is the angle between the device-gateway projection line a1O and the X axis ⁇ a1OX, then according to the punctuation information and orientation information of the smart device A, the smart device A can be completely positioned relative to the gateway O shown in Figure 5 The location of this space.
  • the pointing direction information of the mobile device includes the elevation angle of the mobile device and the direction in which the mobile device is pointed.
  • the elevation angle of the mobile device can be represented by the angle between the central axis of the mobile device (that is, the pointing direction line of the mobile device) and the horizontal plane, and the direction of the mobile device can be expressed by the projection of the central axis of the mobile device on the horizontal plane and the reference coordinate axis of the horizontal plane.
  • the angle of one coordinate axis is expressed as the angle of one of the coordinate axes.
  • coordinate axis of the reference coordinate axis is used for expressing, since the displayed information is substantially the same, the embodiment of the present application does not limit this.
  • the following uses the mobile device as the origin of the coordinates, the positive direction of the X axis points to the true east, the positive direction of the Y axis points to true north, and the positive direction of the Z axis is perpendicular to the XY horizontal plane pointing upwards to establish a three-dimensional rectangular coordinate system, and the direction in which the mobile device points
  • the angle between the projection of the central axis of the mobile device on the horizontal plane and the Y axis is used as an example to illustrate the pointing direction information in the embodiment of the present application:
  • the pointing direction information of the mobile device P includes: the angle ⁇ APa1 between the pointing direction line PA of the mobile device P and its projection Pa1 on the horizontal plane, and the angle ⁇ a1PY between the projection Pa1 of the pointing direction line PA on the horizontal plane and the Y axis.
  • the angle value of the azimuth to which the mobile device is pointed is generally the direction line of the mobile device in the horizontal plane.
  • the projection of is and the angle of the Y axis pointing to true north (magnetic north pole).
  • the angle returned from the direction sensor can be converted into the same coordinate axis direction as the current 3D position information construction process angle.
  • the Azimuth angle returned by the direction sensor of the mobile device is 30 degrees, the Y-axis direction of the angle is true north.
  • the mobile device 100 may have more or fewer components than shown in the figure, may combine two or more components, or may have different component configurations.
  • the various components shown in the figure may be implemented in hardware, software, or a combination of hardware and software including one or more signal processing and/or application specific integrated circuits.
  • the sensor module 180 may include a pressure sensor 180A, a gyroscope sensor 180B, an air pressure sensor 180C, a magnetic sensor 180D, an acceleration sensor 180E, a distance sensor 180F, a proximity light sensor 180G, a fingerprint sensor 180H, a temperature sensor 180J, a touch sensor 180K, and ambient light Sensor 180L, bone conduction sensor 180M, etc.
  • the structure illustrated in the embodiment of the present invention does not constitute a specific limitation on the mobile device 100.
  • the mobile device 100 may include more or fewer components than shown, or combine certain components, or split certain components, or arrange different components.
  • the illustrated components can be implemented in hardware, software, or a combination of software and hardware.
  • the PCM interface can also be used for audio communication to sample, quantize and encode analog signals.
  • the audio module 170 and the wireless communication module 160 may be coupled through a PCM bus interface.
  • the audio module 170 may also transmit audio signals to the wireless communication module 160 through the PCM interface, so as to realize the function of answering calls through the Bluetooth headset. Both the I2S interface and the PCM interface can be used for audio communication.
  • the GPIO interface can be configured through software.
  • the GPIO interface can be configured as a control signal or as a data signal.
  • the GPIO interface can be used to connect the processor 110 with the camera 193, the display screen 194, the wireless communication module 160, the audio module 170, the sensor module 180, and so on.
  • the GPIO interface can also be configured as an I2C interface, I2S interface, UART interface, MIPI interface, etc.
  • the SIM interface can be used to communicate with the SIM card interface 195 to realize the function of transmitting data to the SIM card or reading data in the SIM card.
  • the power management module 141 is used to connect the battery 142, the charging management module 140 and the processor 110.
  • the power management module 141 receives input from the battery 142 and/or the charging management module 140, and supplies power to the processor 110, the internal memory 121, the external memory, the display screen 194, the camera 193, and the wireless communication module 160.
  • the mobile communication module 150 may provide a wireless communication solution including 2G/3G/4G/5G and the like applied to the mobile device 100.
  • the mobile communication module 150 may include at least one filter, a switch, a power amplifier, a low noise amplifier (LNA), and the like.
  • the mobile communication module 150 can receive electromagnetic waves by the antenna 1, and perform processing such as filtering, amplifying and transmitting the received electromagnetic waves to the modem processor for demodulation.
  • the mobile communication module 150 can also amplify the signal modulated by the modem processor, and convert it into electromagnetic waves for radiation via the antenna 1.
  • at least part of the functional modules of the mobile communication module 150 may be provided in the processor 110.
  • at least part of the functional modules of the mobile communication module 150 and at least part of the modules of the processor 110 may be provided in the same device.
  • the wireless communication module 160 can provide applications on the mobile device 100 including wireless local area networks (WLAN) (such as wireless fidelity (Wi-Fi) networks), bluetooth (BT), and global navigation satellites. System (global navigation satellite system, GNSS), frequency modulation (FM), near field communication (NFC), infrared technology (infrared, IR) and other wireless communication solutions.
  • the wireless communication module 160 may be one or more devices integrating at least one communication processing module.
  • the wireless communication module 160 receives electromagnetic waves via the antenna 2, frequency modulates and filters the electromagnetic wave signals, and sends the processed signals to the processor 110.
  • the wireless communication module 160 may also receive a signal to be sent from the processor 110, perform frequency modulation, amplify, and convert it into electromagnetic waves to radiate through the antenna 2.
  • the mobile device 100 can implement a shooting function through an ISP, a camera 193, a video codec, a GPU, a display screen 194, and an application processor.
  • the camera 193 is used to capture still images or videos.
  • the object generates an optical image through the lens and is projected to the photosensitive element.
  • the photosensitive element may be a charge coupled device (CCD) or a complementary metal-oxide-semiconductor (CMOS) phototransistor.
  • CMOS complementary metal-oxide-semiconductor
  • the photosensitive element converts the optical signal into an electrical signal, and then transfers the electrical signal to the ISP to convert it into a digital image signal.
  • ISP outputs digital image signals to DSP for processing.
  • DSP converts digital image signals into standard RGB, YUV and other formats of image signals.
  • the mobile device 100 may include one or N cameras 193, and N is a positive integer greater than one.
  • Digital signal processors are used to process digital signals. In addition to digital image signals, they can also process other digital signals. For example, when the mobile device 100 selects a frequency point, the digital signal processor is used to perform Fourier transform on the energy of the frequency point.
  • NPU is a neural-network (NN) computing processor.
  • NN neural-network
  • applications such as intelligent cognition of the mobile device 100 can be realized, such as image recognition, face recognition, voice recognition, text understanding, and so on.
  • the internal memory 121 may be used to store computer executable program code, where the executable program code includes instructions.
  • the processor 110 executes various functional applications and data processing of the mobile device 100 by running instructions stored in the internal memory 121.
  • the internal memory 121 may include a storage program area and a storage data area.
  • the storage program area can store an operating system, at least one application required for a function (such as a face recognition function, a fingerprint recognition function, a mobile payment function, etc.) and so on.
  • the storage data area can store data created during the use of the mobile device 100 (such as face information template data, fingerprint information template, etc.) and the like.
  • the internal memory 121 may include a high-speed random access memory, and may also include a non-volatile memory, such as at least one magnetic disk storage device, a flash memory device, a universal flash storage (UFS), and the like.
  • UFS universal flash storage
  • the audio module 170 is used to convert digital audio information into an analog audio signal for output, and is also used to convert an analog audio input into a digital audio signal.
  • the audio module 170 can also be used to encode and decode audio signals.
  • the audio module 170 may be provided in the processor 110, or part of the functional modules of the audio module 170 may be provided in the processor 110.
  • the speaker 170A also called “speaker” is used to convert audio electrical signals into sound signals.
  • the mobile device 100 can listen to music through the speaker 170A, or listen to a hands-free call.
  • the earphone interface 170D is used to connect wired earphones.
  • the earphone interface 170D may be a USB interface 130, or a 3.5mm open mobile terminal platform (OMTP) standard interface, and a cellular telecommunications industry association (cellular telecommunications industry association of the USA, CTIA) standard interface.
  • OMTP open mobile terminal platform
  • CTIA cellular telecommunications industry association of the USA, CTIA
  • the pressure sensor 180A is used to sense the pressure signal and can convert the pressure signal into an electrical signal.
  • the pressure sensor 180A may be provided on the display screen 194.
  • the capacitive pressure sensor may include at least two parallel plates with conductive materials.
  • the mobile device 100 determines the strength of the pressure according to the change in capacitance.
  • the mobile device 100 detects the intensity of the touch operation according to the pressure sensor 180A.
  • the mobile device 100 may also calculate the touched position based on the detection signal of the pressure sensor 180A.
  • touch operations that act on the same touch position but have different touch operation strengths may correspond to different operation instructions. For example: when a touch operation whose intensity of the touch operation is less than the first pressure threshold is applied to the short message application icon, an instruction to view the short message is executed. When a touch operation with a touch operation intensity greater than or equal to the first pressure threshold acts on the short message application icon, an instruction to create a new short message is executed.
  • the gyro sensor 180B may be used to determine the movement posture of the mobile device 100.
  • the angular velocity of the mobile device 100 around three axes ie, x, y, and z axes
  • the gyro sensor 180B can be used for image stabilization.
  • the gyroscope sensor 180B detects the shake angle of the mobile device 100, calculates the distance that the lens module needs to compensate according to the angle, and allows the lens to counteract the shake of the mobile device 100 through reverse movement to achieve anti-shake.
  • the gyro sensor 180B can also be used for navigation and somatosensory game scenes.
  • the acceleration sensor 180E can detect the magnitude of the acceleration of the mobile device 100 in various directions (generally three axes). When the mobile device 100 is stationary, the magnitude and direction of gravity can be detected. It can also be used to identify the posture of the mobile device, applied to the horizontal and vertical screen switching, pedometer and other applications.
  • the mobile device 100 can measure the distance by infrared or laser. In some embodiments, when shooting a scene, the mobile device 100 may use the distance sensor 180F to measure the distance to achieve fast focusing.
  • the proximity light sensor 180G may include, for example, a light emitting diode (LED) and a light detector such as a photodiode.
  • the light emitting diode may be an infrared light emitting diode.
  • the mobile device 100 emits infrared light to the outside through the light emitting diode.
  • the mobile device 100 uses a photodiode to detect infrared reflected light from nearby objects. When sufficient reflected light is detected, it can be determined that there is an object near the mobile device 100. When insufficient reflected light is detected, the mobile device 100 can determine that there is no object near the mobile device 100.
  • the mobile device 100 can use the proximity light sensor 180G to detect that the user holds the mobile device 100 close to the ear to talk, so as to automatically turn off the screen to save power.
  • the proximity light sensor 180G can also be used in leather case mode, and the pocket mode will automatically unlock and lock the screen.
  • the ambient light sensor 180L is used to sense the brightness of the ambient light.
  • the mobile device 100 can adjust the brightness of the display screen 194 automatically according to the perceived brightness of the ambient light.
  • the ambient light sensor 180L can also be used to automatically adjust the white balance when taking pictures.
  • the ambient light sensor 180L can also cooperate with the proximity light sensor 180G to detect whether the mobile device 100 is in a pocket to prevent accidental touch.
  • the fingerprint sensor 180H is used to collect fingerprints.
  • the mobile device 100 can use the collected fingerprint characteristics to implement fingerprint unlocking, access application locks, fingerprint photographs, fingerprint answering calls, and so on.
  • the temperature sensor 180J is used to detect temperature.
  • the mobile device 100 uses the temperature detected by the temperature sensor 180J to execute a temperature processing strategy. For example, when the temperature reported by the temperature sensor 180J exceeds a threshold, the mobile device 100 performs a reduction in the performance of a processor located near the temperature sensor 180J, so as to reduce power consumption and implement thermal protection.
  • the mobile device 100 when the temperature is lower than another threshold, the mobile device 100 heats the battery 142 to prevent the mobile device 100 from shutting down abnormally due to low temperature.
  • the mobile device 100 boosts the output voltage of the battery 142 to avoid abnormal shutdown caused by low temperature.
  • Touch sensor 180K also called “touch panel”.
  • the touch sensor 180K may be disposed on the display screen 194, and the touch screen is composed of the touch sensor 180K and the display screen 194, which is also called a “touch screen”.
  • the touch sensor 180K is used to detect touch operations acting on or near it.
  • the touch sensor can pass the detected touch operation to the application processor to determine the type of touch event.
  • the visual output related to the touch operation can be provided through the display screen 194.
  • the touch sensor 180K may also be disposed on the surface of the mobile device 100, which is different from the position of the display screen 194.
  • the button 190 includes a power-on button, a volume button, and so on.
  • the button 190 may be a mechanical button. It can also be a touch button.
  • the mobile device 100 may receive key input, and generate key signal input related to user settings and function control of the mobile device 100.
  • the motor 191 can generate vibration prompts.
  • the motor 191 can be used for incoming call vibration notification, and can also be used for touch vibration feedback.
  • touch operations applied to different applications can correspond to different vibration feedback effects.
  • Acting on touch operations in different areas of the display screen 194, the motor 191 can also correspond to different vibration feedback effects.
  • Different application scenarios for example: time reminding, receiving information, alarm clock, games, etc.
  • the touch vibration feedback effect can also support customization.
  • the indicator 192 may be an indicator light, which may be used to indicate the charging status, power change, or to indicate messages, missed calls, notifications, and so on.
  • the SIM card interface 195 is used to connect to the SIM card.
  • the SIM card can be inserted into the SIM card interface 195 or pulled out from the SIM card interface 195 to achieve contact and separation with the mobile device 100.
  • the mobile device 100 may support 1 or N SIM card interfaces, and N is a positive integer greater than 1.
  • the SIM card interface 195 can support Nano SIM cards, Micro SIM cards, SIM cards, etc.
  • the same SIM card interface 195 can insert multiple cards at the same time. The types of the multiple cards can be the same or different.
  • the SIM card interface 195 can also be compatible with different types of SIM cards.
  • the SIM card interface 195 may also be compatible with external memory cards.
  • the mobile device 100 interacts with the network through the SIM card to implement functions such as call and data communication.
  • the software system of the mobile device 100 may adopt a layered architecture, an event-driven architecture, a microkernel architecture, a microservice architecture, or a cloud architecture.
  • the embodiment of the present application takes an Android system with a layered architecture as an example to illustrate the software structure of the mobile device 100 by way of example.
  • FIG. 8 is a block diagram of the software structure of the mobile device 100 according to an embodiment of the present application.
  • the layered architecture divides the software into several layers, and each layer has a clear role and division of labor. Communication between layers through software interface.
  • the Android system is divided into four layers, from top to bottom, the application layer, the application framework layer, the Android runtime and system library, and the kernel layer.
  • the application layer can include a series of application packages.
  • the smart device control module is used to trigger control instructions to control smart devices according to user operations.
  • WLAN used to construct a wireless local area network.
  • Bluetooth is used to build short-range wireless communication connections.
  • the logic processing module is used to process sensor information and participate in the calculation of the construction of three-dimensional position information.
  • the application framework layer can include a window manager, a content provider, a view system, a phone manager, a resource manager, and a notification manager.
  • the phone manager is used to provide the communication function of the mobile device 100. For example, the management of the call status (including connecting, hanging up, etc.).
  • the notification manager enables the application to display notification information in the status bar, which can be used to convey notification-type messages, and it can automatically disappear after a short stay without user interaction.
  • the notification manager is used to notify download completion, message reminders, and so on.
  • the notification manager can also be a notification that appears in the status bar at the top of the system in the form of a chart or a scroll bar text, such as a notification of an application running in the background, or a notification that appears on the screen in the form of a dialogue interface.
  • the status bar prompts text messages, sounds prompts, mobile devices vibrate, and indicator lights flash.
  • the system library can include multiple functional modules. For example: surface manager (surface manager), media library (Media Libraries), three-dimensional graphics processing library (for example: OpenGL ES), two-dimensional graphics engine (for example: SGL), etc.
  • the surface manager is used to manage the display subsystem and provides a combination of two-dimensional (2-Dimensional, 2D) and three-dimensional (3-Dimensional, 3D) layers for multiple applications.
  • the media library supports playback and recording of a variety of commonly used audio and video formats, as well as still image files.
  • the media library can support multiple audio and video encoding formats, such as: MPEG4, H.264, MP3, AAC, AMR, JPG, PNG, etc.
  • the kernel layer is the layer between hardware and software.
  • the kernel layer contains at least display driver, camera driver, audio driver, sensor driver, and virtual card driver.
  • FIG. 9 is a schematic structural diagram of a gateway 900 provided by an embodiment of the present application.
  • processor 1110-level wireless communication module 1120 For the description of the processor 1110-level wireless communication module 1120, reference may be made to the processor 110 and the wireless communication module 160 shown in FIG. 7, which will not be repeated here.
  • the specific process of determining the punctuation information of each smart device includes steps S1501 to S1508.
  • S1501 ⁇ S1503 can determine the vertical distance between the mobile device and the gateway;
  • S1504 ⁇ S1505 can determine the vertical distance between the mobile device and each smart device;
  • S1506 ⁇ S1508 can determine the vertical distance of each smart device according to the vertical distance obtained in the previous two stages. Punctuation information.
  • the mobile device can determine the distance between these three mobile location points, and wireless ranging from these three mobile location points.
  • the technology determines the distance from the device D, and then the vertical height from the device D to the horizontal plane of the mobile device can be determined according to the vertical height calculation model.
  • the mobile device determines the distance between three moving position points.
  • the mobile device determines the straight-line distance from the three moving location points to each smart device;
  • the mobile device can directly communicate with each smart device at each mobile location point, and the straight-line distance from the current location to each smart device is calculated through wireless ranging technology.
  • step S1504 and step S1505 for each smart device, the same three moving location points can be used for calculation, or after step S1501 is re-executed, three different moving location points can be used for calculation.
  • the calculation is not limited here.
  • the distance from each smart device to the horizontal plane of the gateway can be determined.
  • the distance value below the gateway level can be represented by a negative value
  • the distance value above the gateway level can be represented by a positive value.
  • the value Cc2 of the vertical distance from the smart device C to the horizontal plane of the gateway can be Cc1-Oo1
  • the value of the vertical distance Bb2 from the smart device B to the horizontal plane of the gateway can be Bb1-b2b1, that is, Bb1-Oo1.
  • the mobile device and/or the gateway determine the horizontal distance from the projection point of each smart device on the horizontal plane of the gateway to the gateway.
  • the distance between each smart device and the gateway horizontal plane determined in step S1506 and the straight-line distance between each smart device and the gateway determined in step S1507 are necessary components of the punctuation information in the embodiment of this application. It is understandable that the punctuation information may include the horizontal distance between the projection point of each smart device on the horizontal plane of the gateway and the gateway determined in step S1508, or it may not include the horizontal distance.
  • Step S1508 can be executed after steps S1506 and S1508 are executed. , Or based on requirements, step S1508 can be executed when the horizontal distance needs to be used, which is not limited here.
  • the position of each smart device relative to the gateway is not completely determined.
  • FIG. 18 an exemplary schematic diagram of the location of the smart device from the perspective of the gateway after the punctuation information is determined in the embodiment of this application.
  • the punctuation information of smart device A and smart device B have been determined, but compared to gateway O, it can only be determined that smart device A may be centered on its projection point a1 on the Z axis and its horizontal distance to gateway O Aa1 is any point on a circle with a radius; in the same way, it can only be determined that the smart device B may be at any point on a circle with its projection point b1 on the Z axis as the center and the horizontal distance Bb1 from the gateway O as the radius.
  • the position information of the smart device relative to the gateway can be calculated.
  • the content of the position information please refer to the specific description of the position information in the above term, which will not be repeated here.
  • the specific process of determining the position information of the smart device includes steps S1901 to 1908.
  • S1901 ⁇ S1903 can obtain the current pointing position information and punctuation information of the mobile device
  • S1904 ⁇ S1907 can determine the smart device pointed by the mobile device
  • S1908 can determine the position information of the smart device pointed by the mobile device based on the data obtained in the previous two stages .
  • this exemplary calculation model takes the mobile device P and the gateway O on the same horizontal plane, and takes the need to calculate the position information of the smart device B as an example to introduce:
  • This information is obtained by the direction sensor in the mobile device P, and then according to whether the positive direction of the horizontal plane reference coordinate axis of the angle obtained in the direction sensor is consistent with the positive direction of the horizontal plane coordinate axis during the construction of the overall 3D position information of the intelligent network. Adjust and determine.
  • the pointing direction information of the mobile device please refer to the pointing direction information in the above terminology, which will not be repeated here.
  • the straight-line distance PB from the mobile device P to the smart device B can be determined by the mobile device P using wireless ranging technology for the smart device B.
  • the orientation information of the smart device B the angle between the projection point b2 of the smart device B on the gateway horizontal plane and the connection b2O of the gateway O and the Y coordinate axis of the gateway horizontal plane.
  • the spatial position of the smart device B relative to the gateway O is determined.
  • the pointing control function is used to intelligently determine the pointing smart device as the control target according to the pointing of the user holding the mobile device.
  • the mobile device may be preset to shake as an operation mode for triggering the pointing control function, and if the mobile device detects the shaking motion of the user holding the mobile device, the pointing control function is activated.
  • the mobile device in response to the user determining the operation of pointing to the first smart device, the mobile device obtains current pointing direction information;
  • the mobile device may have built-in operation modes for determining the target smart device, such as different gestures, pause times, and so on.
  • the mobile device can be preset to pause for 1 second in a pointing direction to determine the operation mode of pointing to the target smart device. After the pointing control function is activated, the user holds the mobile device to point to a smart device and in the pointing direction After a pause of 1 second, when the mobile device detects the operation, it will obtain the current pointing direction information of the mobile device.
  • the mobile device and/or the gateway determine the current punctuation information of the mobile device
  • the mobile device and/or the gateway can determine the current punctuation information of the mobile device in real time according to the above steps S1501 to S1503, which will not be repeated here.
  • the mobile device and/or the gateway determine the smart device that may be pointed to;
  • the mobile device and/or the gateway can determine that all networked intelligent devices are the intelligent devices that may be directed at this time .
  • the mobile device and/or the gateway may determine the current usage scenario of the mobile device according to the location of the mobile device, so as to determine the smart device to which the mobile device may be directed.
  • the mobile device and/or the gateway can determine that the mobile device is in the bedroom, it can be determined that the smart device that the mobile device may point to is a curtain, an air conditioner, or a desk lamp.
  • the mobile device and/or the gateway can determine that the mobile device is in the living room, and then can determine that the smart device that the mobile device may point to is a TV or a ceiling light.
  • the mobile device judges whether the number of smart devices that may be pointed to is 1;
  • step S1904 is executed by the mobile device, the mobile device can directly execute step S1905 according to the determined result of step S1904.
  • step S1904 the gateway can send the identification of the smart device that may be pointed to to the mobile device after determining the smart device to which the mobile device may be pointed.
  • the identification of the device determines whether the number of smart devices that may be pointed to is 1.
  • Step S1906 needs to be performed to display the smart devices that may be pointed to for the user to select and determine;
  • step S1907 may be executed to directly determine that the smart device is the manipulation target.
  • the mobile device displays the smart device that may be pointed to;
  • the mobile device determines that the number of smart devices that may be pointed to is not 1, the mobile device displays the smart devices that may be pointed to for the user to select.
  • the mobile device determines that the first smart device is the control target
  • the mobile device and/or the gateway determine the position information of the first smart device relative to the gateway according to the punctuation information of the first smart device, the current pointing direction information of the mobile device, and the punctuation information.
  • the position information of the first smart device relative to the gateway can be determined according to the above-mentioned position information calculation model.
  • orientation information please refer to the description in the above term orientation information, which will not be repeated here.
  • the spatial position of the first smart device relative to the gateway can be completely determined. Reflected on the three-dimensional coordinate system, that is, the value of the coordinate point of the first smart device in the coordinate system has been determined.
  • the specific process of determining the position information of other smart devices relative to the gateway includes steps S2101 to 2103.
  • S2101 can determine the distance between the mobile device and each smart device measured at at least two mobile location points;
  • S2102 can determine the punctuation information and orientation information of the at least two mobile location points;
  • S2103 can determine the location information of other smart devices.
  • the mobile device measures the distance to the gateway and each smart device at at least two mobile location points;
  • the mobile device can measure the distance to the gateway and each smart device through wireless ranging technology.
  • each mobile device can measure the distance from the gateway and each smart device at the mobile location point where it has moved, and then share the distance information for use.
  • the mobile device and/or the gateway determine the position information of the at least two smart devices relative to the gateway and their punctuation information, and the distance between the at least two mobile location points and the at least two smart devices and the gateway. Position information of at least two mobile location points relative to the gateway and their punctuation information;
  • step S1401 has determined the punctuation information of each smart device
  • step S1402 has determined the position information of at least two smart devices.
  • step S2101 the distance to each smart device and gateway at least two moving location points has been determined, that is, the spatial position of three points (at least two smart devices and the gateway) in the known three-dimensional space and the distance from these three points to a certain The distance to move the location point. Taking these three points as the center of the sphere, the distance from these three points to a moving location point is the radius of the sphere, and the intersection of the three spheres is the spatial position of the moving location point, which determines the position information of the moving location point relative to the gateway and Its punctuation information.
  • FIG. 22 it is a schematic diagram of an example of determining the position information of the moving position point and its punctuation information.
  • the mobile location point A and the gateway O on the same horizontal plane as an example.
  • the punctuation information and orientation information of the smart device B and the smart device C that is, the spatial position of the smart devices B and C relative to the gateway O as the origin is determined in the three-dimensional space.
  • the distance AB from the mobile location point A to the smart device B, the distance AC to the smart device C, and the distance AO from the gateway O are also known.
  • the positions of the gateway O, the projection point b1 of the smart device B, and the projection point b2 of the smart device C are determined, and at the same time Ab1, AO, and Ab2 are determined. Therefore, the position information and punctuation information of the moving position point A can be the intersection of a circle with O as the center and AO as the radius, a circle with b1 as the center and Ab1 as the radius, and the intersection of the circle with b2 as the center and Ab2 as the radius.
  • the mobile device and/or the gateway determine the location information of the other smart devices relative to the gateway based on the location information of the at least two mobile location points relative to the gateway and their punctuation information, as well as the distances from other smart devices.
  • the other smart devices are used to indicate smart devices that have connected to the gateway but have not yet determined the location information.
  • step S2101 the distance from the at least two mobile location points to each smart device and the gateway is determined, and in step S2102, the spatial positions of the at least two mobile location points are determined. Therefore, in a three-dimensional space, the gateway is used as a reference point, and the spatial positions of the gateway and the at least two moving position points are determined, and the distances of each smart device to these three points are known. Taking these three points as the center of the sphere and the distance as the radius of the sphere, the intersection is the spatial position of each smart device, that is, the orientation information of other smart devices relative to the gateway is determined.
  • FIG. 23 it is an exemplary schematic diagram of determining the position information of other smart devices.
  • the mobile location points A1 and A2 are located on the same horizontal plane as the gateway O.
  • the punctuation information of smart device D that is, Dd1, DO, and Od1 are all determined.
  • A1D and A2D are also confirmed, so A1d1 and A2d2 are also confirmed. Therefore, the orientation information of the smart device D can be determined by the intersection of a circle with O as the center and Od1 as the radius, A1 as the center and A1d1 as the radius, and A2 as the center and A2d2 as the radius of the circle.
  • the smart network containing three-dimensional location information is completed, and the spatial locations of all smart devices connected to the gateway relative to the gateway have been determined. Based on this, you can point and locate intelligently determine the control target:
  • the mobile device and/or the gateway determine the smart device in the current pointing direction of the mobile device as the control target according to the current pointing direction information, punctuation information, and orientation information of the mobile device.
  • the spatial positions of all smart devices connected to the gateway relative to the gateway have been determined.
  • the mobile device and/or the gateway can determine the smart device in the direction as the control target according to the pointing direction.
  • the specific process of pointing and determining the manipulation target includes steps S2401 to 2407. Among them, S2401 to S2403 determine the current pointing position information, punctuation information, and position information of the mobile device; S2404 to S2407 determine the control target.
  • this exemplary calculation model takes the mobile device P and the gateway O on the same horizontal plane, and takes the mobile device P pointing to the smart device B as an example to introduce:
  • the pointing direction information at this time can be obtained through the direction sensor in the mobile device.
  • the direction sensor in the mobile device please refer to the description of the pointing direction information in the above terminology, which will not be repeated here.
  • the mobile device P can use wireless ranging technology to determine the distance to at least two smart devices and the gateway, and then determine the punctuation information and position information of the mobile device P at this time according to the method similar to the determination of the punctuation information and position information of the mobile location point in S2102. The location information will not be repeated here.
  • a smart device through which the pointing direction line of the mobile device P passes.
  • the punctuation information and orientation information of smart devices B, C, and D are determined, and represented by data in the three-dimensional rectangular coordinate axis with gateway O as the origin, that is, the coordinate values of the three coordinate points of B, C, and D are all determined, and the mobile device The coordinate value of P is also determined.
  • the pointing direction information of the mobile device P at this time is determined, that is, the angle ⁇ BPb1 between the pointing direction line of the mobile device P and the horizontal plane of the gateway, and the angle between the projection line b1P of the pointing direction line on the horizontal plane of the gateway and the coordinate axis ⁇ a1Pb1 is determined, thus,
  • the equation of the pointing direction line of the mobile device P at this time can be constructed. Then bring the coordinate points of each smart device into the equation of the pointing direction line for calculation to determine which smart device is on the pointing direction line. As shown in FIG. 25, it can be determined that the smart device B is on the pointing direction line.
  • the above-mentioned pointing target calculation model can be used to determine the smart device in the pointing direction of the mobile device.
  • step S1901 It is similar to step S1901 and will not be repeated here.
  • the mobile device in response to the user determining the operation of pointing to the second smart device, the mobile device obtains current pointing direction information;
  • step S1902 It is similar to step S1902 and will not be repeated here.
  • the mobile device and/or the gateway determine the current punctuation information and direction information of the mobile device
  • the mobile device can determine the distance to at least two smart devices and the gateway at the location through wireless ranging technology, and then use step S2102 to determine the punctuation information of the mobile location point And the method of location information to determine the current punctuation information and location information of the mobile device, which will not be repeated here.
  • the mobile device and/or the gateway determine the smart device that may be pointed to;
  • the mobile device and/or the gateway can use the above-mentioned pointing target calculation model to determine the smart device that may be pointed.
  • the determination can also be made based on the location of the mobile device. , To determine the current usage scenario of the mobile device, and to further screen and confirm the results determined according to the pointing target calculation model, so as to finally determine the smart device that the mobile device may point to.
  • the mobile device and/or the gateway determine through the execution target calculation model that the smart devices that may be directed to are the TV and the desk lamp, at the same time, it is determined that the mobile device is currently located in the living room, and there is no desk lamp in the living room, and the desk lamp is in the bedroom, it can be finally determined
  • the smart device that the mobile device may point to is the TV.
  • the mobile device judges whether the number of smart devices that may be pointed to is 1;
  • step S1905 It is similar to step S1905 and will not be repeated here.
  • S2406 The mobile device displays the smart device that may be pointed to;
  • the mobile device determines that the number of smart devices that may be pointed to is not 1, the mobile device displays the smart devices that may be pointed to for the user to select.
  • the mobile device determines that the second smart device is the manipulation target.
  • step S2405 When the mobile device determines that the number of smart devices that may be pointed to is 1 in step S2405, or the mobile device displays the smart devices that may be pointed to in step S1906, and then detects that the user clicks on the second smart device, the mobile device determines that the user is holding the mobile device and is pointing The second smart device is the control target.
  • steps S1401 to S1403 can be repeated to construct a smart network.
  • the process of middle three-dimensional position information enables the three-dimensional position information to be optimized and more accurate.
  • the mobile terminal, the gateway and the smart device cooperate to independently construct a smart network containing three-dimensional location information.
  • the control target can be intelligently determined according to the direction of the user holding the mobile device, which greatly simplifies The process of determining the control target improves the ease of use of human-computer interaction.
  • the mobile device may have a variety of different triggering methods to manipulate the manipulation target:
  • control interface of the control target can be directly displayed, and the user can select items on the control interface to perform touch operations such as clicking or adjusting operations. Based on the operation, corresponding control instructions can be initiated.
  • the mobile device determines that the air conditioner is the control target, and displays the control interface of the air conditioner.
  • the command to turn on the air conditioner is triggered.
  • the mobile device sends the startup instruction to the air conditioner through the gateway or through its own infrared transmitter, and the air conditioner executes the startup operation after receiving the startup instruction.
  • the mobile device After the mobile device determines the manipulation target, it can monitor the user's actions, and based on the user's actions, according to the preset correspondence between the action and the manipulation instruction, the mobile device section triggers the corresponding manipulation instruction.
  • the mobile device is preset to determine that the control target is the air conditioner and then the shake action corresponds to the power-on instruction. After the user holds the mobile device and points to the air conditioner, the mobile device determines that the air conditioner is the control target. The mobile device monitors the user's actions, and detects that the user holds the mobile device for a shaking motion, then the mobile device triggers the power-on instruction of the air conditioner. The mobile device sends the startup instruction to the air conditioner through the gateway or through its own infrared transmitter, and the air conditioner executes the startup operation after receiving the startup instruction.
  • triggering methods to manipulate the manipulation target, and these triggering methods may be used alone or in combination with each other, and are not limited here.
  • the mobile device may send the manipulation instruction to the manipulation target through the gateway.
  • the mobile device may also send the control instruction to the control target through its own infrared transmitter.
  • some steps are executed by the mobile device and/or the gateway device, that is, they can be executed by the mobile device, the gateway device, or the mobile device and the gateway in cooperation.
  • the mobile device can be used as the main computing center, and the gateway and smart device only provide necessary data collection functions.
  • the mobile device determines the punctuation information of each smart device
  • step S1401 It is similar to step S1401 and will not be repeated here.
  • the mobile device determines the distance between three moving position points.
  • the mobile device determines the straight-line distance from the three mobile location points to the gateway;
  • the mobile device determines the vertical distance between the horizontal plane of the mobile device and the horizontal plane of the gateway;
  • the mobile device determines the straight-line distance from the three moving location points to each smart device.
  • the mobile device determines the vertical distance between the horizontal plane of the mobile device and the horizontal plane of each smart device;
  • S2706 The mobile device determines the vertical distance from each smart device to the horizontal plane of the gateway;
  • the gateway determines the straight-line distance to each smart device
  • the gateway sends the linear distance to each smart device to the mobile device;
  • the mobile device determines the horizontal distance from the projection point of each smart device on the horizontal plane of the gateway to the gateway.
  • steps S2701 to S2709 please refer to steps S1501 to S1508, which will not be repeated here.
  • the mobile device determines the location information of the at least two smart devices relative to the gateway;
  • step S1402 It is similar to step S1402 and will not be repeated here.
  • the mobile device determines the current punctuation information of the mobile device
  • the mobile device determines the smart device that it may point to;
  • the mobile device determines the position information of the first smart device relative to the gateway according to the punctuation information of the first smart device, the current pointing direction information of the mobile device, and the punctuation information.
  • the mobile device measures the distance to the gateway and each smart device at at least two mobile location points;
  • the mobile device determines the at least two mobile devices based on the determined position information of the at least two smart devices relative to the gateway and their punctuation information, and the distance between the at least two mobile location points and the at least two smart devices and the gateway.
  • the mobile device sends the distance between the three mobile location points and the straight-line distance to the gateway to the gateway;
  • the mobile device in response to the user determining the operation of pointing to the first smart device, the mobile device obtains current pointing direction information;
  • the gateway determines that other smart devices are relative to the gateway Location information
  • the mobile device measures the distance to the gateway and each smart device at at least two mobile location points;
  • the gateway determines the at least two mobile locations according to the determined position information of the at least two smart devices relative to the gateway and their punctuation information, and the distances between the at least two mobile location points and the at least two smart devices and the gateway.
  • the gateway determines the position information of the other smart devices relative to the gateway according to the position information of the at least two mobile location points relative to the gateway and their punctuation information, as well as the distances from other smart devices.
  • the mobile device In response to the user triggering the operation of the pointing control function, the mobile device starts the pointing control function;
  • the mobile device determines the current punctuation information and direction information of the mobile device
  • the mobile device sends the current pointing direction information and punctuation information of the mobile device to the gateway;
  • S3507 The mobile device judges whether the number of smart devices that may be pointed to is 1;
  • the mobile device determines that the second smart device is the manipulation target.
  • the gateway is used as the main computing center and the three-dimensional position information is stored in the gateway, so that the newly added mobile device only needs to interact with the gateway to realize the pointing and positioning function without the mobile device itself. Calculation improves the ease of use of the pointing and positioning function.
  • the computer program product includes one or more computer instructions.
  • the computer may be a general-purpose computer, a special-purpose computer, a computer network, or other programmable devices.
  • the computer instructions may be stored in a computer-readable storage medium or transmitted from one computer-readable storage medium to another computer-readable storage medium. For example, the computer instructions may be transmitted from a website, computer, server, or data center.
  • the computer-readable storage medium may be any available medium that can be accessed by a computer or a data storage device such as a server or a data center integrated with one or more available media.
  • the usable medium may be a magnetic medium, (for example, a floppy disk, a hard disk, and a magnetic tape), an optical medium (for example, a DVD), or a semiconductor medium (for example, a solid state hard disk).
  • the process can be completed by a computer program instructing relevant hardware.
  • the program can be stored in a computer readable storage medium. , May include the processes of the above-mentioned method embodiments.
  • the aforementioned storage media include: ROM or random storage RAM, magnetic disks or optical disks and other media that can store program codes.

Landscapes

  • Engineering & Computer Science (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Automation & Control Theory (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Position Input By Displaying (AREA)
  • Mobile Radio Communication Systems (AREA)
  • Telephone Function (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种确定操控目标的方法。在该方法中，移动设备、网关与智能设备协同工作，自主构建含有三维位置信息的智能网络，在完成网络构建后，即可智能的根据用户持移动设备的指向确定操控目标，简化了确定操控目标的过程，提升了人机交互的易用性。

Description

一种确定操控目标的方法、移动设备及网关
本申请要求于2020年4月26日提交中国专利局、申请号为202010340394.0、申请名称为“一种确定操控目标的方法、移动设备及网关”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本申请涉及终端及人工智能领域，尤其涉及一种确定操控目标的方法、移动设备及网关。
背景技术
随着电子技术和计算机技术的发展，可直接通过移动设备进行控制的智能设备成为了人们日常生活的一部分。智能设备便捷了人们的日常安排并丰富了人们的日常生活，但是用户与智能设备之间的交互依然不够便捷。
如图1所示，为目前控制智能设备的一个场景示意图。用户往往需要先打开手机，再打开智能设备控制应用程序(Application，APP)，在其中选择需要控制的智能设备，才能在打开的智能设备控制界面上选择项目进行操作，将操作指令通过路由器发送给智能设备进行控制。
现在整个确定操控目标的过程需要至少3至4个步骤，操作繁琐。若待选择的智能设备较多，则确定操作目标的过程可能会更复杂，易用性更差。
发明内容
本申请提供了一种确定操控目标的方法、移动设备及网关，根据移动设备的指向智能确定操控目标，可以极大的简化确定操控目标的过程，提升人机交互的易用性。
第一方面，本申请实施例提供了一种确定操控目标的方法，该方法包括：移动设备和/或网关确定各智能设备的标点信息；其中，该移动设备与该各智能设备通过该网关互联，该标点信息包括到该网关的直线距离以及到网关水平面的垂直距离；根据该移动设备对至少两个智能设备的指向操作，该移动设备和/或该网关确定该至少两个智能设备相对于该网关的方位信息，该方位信息用于表示在网关水平面上的投影相对于该网关的方位；根据该至少两个智能设备相对于网关的方位信息及其标点信息，结合该移动设备在至少两个移动位置点测量的与该网关和各智能设备的距离，该移动设备和/或该网关确定其他各智能设备相对于该网关的方位信息，该移动位置点为该移动设备在移动过程中经过的位置点；该移动设备和/或该网关根据该移动设备当前的指向方向信息、标点信息和方位信息，确定该移动设备当前指向方向上的智能设备为操控目标。
本申请实施例中，移动终端、网关与智能设备协同，自主构建含有三维位置信息的智能网络，在完成网络构建后，即可智能的根据用户持移动设备的指向确定操控目标，极大的简化了确定操控目标的过程，提升了人机交互的易用性。
结合第一方面，在一些实施例中，该移动设备和/或网关确定各智能设备的标点信息， 具体包括：该移动设备确定三个移动位置点之间的距离和该三个移动位置点到各智能设备的直线距离，其中该三个移动位置点不在同一条直线上；该移动设备和/或该网关根据该三个移动位置点之间的距离和该三个移动位置点到各智能设备的直线距离，确定该各智能设备的标点信息。
具体的，在一些实施例中，该移动设备和/或该网关根据该三个移动位置点之间的距离和该三个移动位置点到各智能设备的直线距离，确定该各智能设备的标点信息，具体包括：该移动设备和/或该网关根据该三个移动位置点之间的距离和该三个移动位置点到各智能设备的直线距离，以及垂直高度计算模型，确定该各智能设备的标点信息；该垂直高度计算模型用于在已知三菱锥各边长的条件下确定三菱锥的高度。
结合第一方面，在一些实施例中，该根据该移动设备对至少两个智能设备的指向操作，该移动设备和/或该网关确定该至少两个智能设备相对于该网关的方位信息，具体包括：响应于用户持该移动设备指向第一智能设备的操作，该移动设备获取当前的指向方向信息及标点信息，该指向方向信息包括移动设备的仰角以及移动设备指向的方位，该第一智能设备为与该网关互联的智能设备中的一个智能设备；响应于用户确定该第一智能设备为操控目标的操作，该移动设备和/或该网关根据第一智能设备的标点信息、该当前的指向方向信息及标点信息，确定该第一智能设备相对于该网关的方位信息；采用上述相同的方法，该移动设备和/或该网关确定第二智能设备相对于该网关的方位信息，该第二智能设备为与该网关互联的智能设备中与该第一智能设备不同的另一个智能设备。
具体的，在一些实施例中，该移动设备和/或该网关根据第一智能设备的标点信息、该当前的指向方向信息及标点信息，确定该第一智能设备相对于该网关的方位信息，具体包括：该移动设备和/或该网关根据第一智能设备的标点信息、该当前的指向方向信息及标点信息，以及方位信息计算模型，确定该第一智能设备相对于该网关的方位信息；该方位信息计算模型用于在已知空间中指向点和被指向点的标点信息，以及该指向点指向该被指向点时的指向方位信息的条件下确定被指向点相对于该网关的方位信息。
结合第一方面，在一些实施例中，该根据该至少两个智能设备相对于网关的方位信息及其标点信息，结合该移动设备在至少两个移动位置点测量的与该网关和各智能设备的距离，该移动设备和/或该网关确定其他各智能设备相对于该网关的方位信息，具体包括：该移动设备在至少两个移动位置点测量与该网关和该各智能设备的距离；该移动设备和/或该网关根据已确定的该至少两个智能设备相对于该网关的方位信息及其标点信息，以及该至少两个移动位置点距该至少两个智能设备和该网关的距离，确定该至少两个移动位置点相对于该网关的方位信息及其标点信息；该移动设备和/或该网关根据该至少两个移动位置点相对于网关的方位信息及其标点信息，以及该至少两个移动位置点与除该至少两个智能设备外的其他各智能设备的距离，确定该其他各智能设备相对于该网关的方位信息。
结合第一方面，在一些实施例中，该移动设备和/或该网关根据该移动设备当前的指向方向信息、标点信息和方位信息，确定该移动设备当前指向方向上的智能设备为操控目标，具体包括：响应于用户持该移动设备指向智能设备的操作，该移动设备和/或该网关确定该移动设备当前的指向方向信息、标点信息和方位信息；该移动设备和/或该网关根据该移动设备当前的指向方向信息、标点信息和方位信息、各智能设备的标点信息和方位信息，以 及指向目标计算模型，确定该移动设备当前指向方向上的智能设备为操控目标；该指向目标计算模型用于在已知空间中各点的标点信息和方位信息，以及指向点指向被指向点的指向方向信息的条件下确定被指向点。
结合第一方面，在一些实施例中，该移动设备和/或该网关根据该移动设备当前的指向方向信息、标点信息和方位信息，确定该移动设备当前指向方向上的智能设备为操控目标的步骤之前，该方法还包括：响应于用户触发指向操控功能的操作，该移动设备启动指向操控功能。
结合第一方面，在一些实施例中，该移动设备和/或该网关根据该移动设备当前的指向方向信息、标点信息和方位信息，确定该移动设备当前指向方向上的智能设备为操控目标的步骤之后，该方法还包括：该移动设备显示操控目标的操控界面，响应于用户的触控操作，触发相应的操作指令；或，该移动设备监测用户动作，响应于用户的动作，触发相应的操控指令。
在本申请第一方面提供的一种确定操控目标的方法中，有很多步骤都是既可以由移动设备执行，也可以由网关执行的，本申请实施例对此不作限定。可以理解的是，若一个步骤需要由网关执行，但执行该步骤需要移动设备获取的相关数据，则在网关执行该步骤前，移动设备会将相关数据发送给网关。同理，若一个步骤需要由移动设备执行，但执行该步骤需要网关获取的相关数据，则在移动设备执行该步骤前，网关会将相关数据发送给移动设备。
第二方面，本申请实施例提供了一种移动设备，该移动设备包括：一个或多个处理器和存储器；该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该移动设备执行：确定各智能设备的标点信息；其中，该移动设备与该各智能设备通过网关互联，该标点信息包括到该网关的直线距离以及到网关水平面的垂直距离；根据该移动设备对至少两个智能设备的指向操作，确定该至少两个智能设备相对于该网关的方位信息，该方位信息用于表示在网关水平面上的投影相对于该网关的方位；根据该至少两个智能设备相对于网关的方位信息及其标点信息，结合该移动设备在至少两个移动位置点测量的与该网关和各智能设备的距离，确定其他各智能设备相对于该网关的方位信息，该移动位置点为该移动设备在移动过程中经过的位置点；根据该移动设备当前的指向方向信息、标点信息和方位信息，确定该移动设备当前指向方向上的智能设备为操控目标。
结合第二方面，在一些实施例中，该一个或多个处理器，具体用于调用该计算机指令以使得该移动设备执行：确定三个移动位置点之间的距离和该三个移动位置点到各智能设备的直线距离，其中该三个移动位置点不在同一条直线上；根据该三个移动位置点之间的距离和该三个移动位置点到各智能设备的直线距离，确定该各智能设备的标点信息。
具体的，在一些实施例中，该一个或多个处理器，具体用于调用该计算机指令以使得该移动设备执行：根据该三个移动位置点之间的距离和该三个移动位置点到各智能设备的直线距离，以及垂直高度计算模型，确定该各智能设备的标点信息；该垂直高度计算模型用于在已知三菱锥各边长的条件下确定三菱锥的高度。
结合第二方面，在一些实施例中，该一个或多个处理器，具体用于调用该计算机指令以使得该移动设备执行：响应于用户持该移动设备指向第一智能设备的操作，获取当前的指向方向信息及标点信息，该指向方向信息包括移动设备的仰角以及移动设备指向的方位，该第一智能设备为与该网关互联的智能设备中的一个智能设备；响应于用户确定该第一智能设备为操控目标的操作，根据第一智能设备的标点信息、该当前的指向方向信息及标点信息，确定该第一智能设备相对于该网关的方位信息；采用上述相同的步骤，确定第二智能设备相对于该网关的方位信息，该第二智能设备为与该网关互联的智能设备中与该第一智能设备不同的另一个智能设备。
具体的，在一些实施例中，该一个或多个处理器，具体用于调用该计算机指令以使得该移动设备执行：根据第一智能设备的标点信息、该当前的指向方向信息及标点信息，以及方位信息计算模型，确定该第一智能设备相对于该网关的方位信息；该方位信息计算模型用于在已知空间中指向点和被指向点的标点信息，以及该指向点指向该被指向点时的指向方位信息的条件下确定被指向点相对于该网关的方位信息。
结合第二方面，在一些实施例中，该一个或多个处理器，具体用于调用该计算机指令以使得该移动设备执行：在至少两个移动位置点测量与该网关和该各智能设备的距离；根据已确定的该至少两个智能设备相对于该网关的方位信息及其标点信息，以及该至少两个移动位置点距该至少两个智能设备和该网关的距离，确定该至少两个移动位置点相对于该网关的方位信息及其标点信息；根据该至少两个移动位置点相对于网关的方位信息及其标点信息，以及该至少两个移动位置点与除该至少两个智能设备外的其他各智能设备的距离，确定该其他各智能设备相对于该网关的方位信息。
结合第二方面，在一些实施例中，该一个或多个处理器，具体用于调用该计算机指令以使得该移动设备执行：响应于用户持该移动设备指向智能设备的操作，确定该移动设备当前的指向方向信息、标点信息和方位信息；根据该移动设备当前的指向方向信息、标点信息和方位信息、各智能设备的标点信息和方位信息，以及指向目标计算模型，确定该移动设备当前指向方向上的智能设备为操控目标；该指向目标计算模型用于在已知空间中各点的标点信息和方位信息，以及指向点指向被指向点的指向方向信息的条件下确定被指向点。
结合第二方面，在一些实施例中，该一个或多个处理器，还用于调用该计算机指令以使得该移动设备执行：响应于用户触发指向操控功能的操作，启动指向操控功能。
结合第二方面，在一些实施例中，该一个或多个处理器，还用于调用该计算机指令以使得该移动设备执行：显示操控目标的操控界面，响应于用户的触控操作，触发相应的操作指令；或，监测用户动作，响应于用户的动作，触发相应的操控指令。
第三方面，本申请实施例提供了一种芯片，该芯片应用于移动设备，该芯片包括一个或多个处理器，该处理器用于调用计算机指令以使得该移动设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第四方面，本申请实施例提供一种包含指令的计算机程序产品，当上述计算机程序产品在移动设备上运行时，使得上述移动设备执行如第一方面以及第一方面中任一可能的实 现方式描述的方法。
第五方面，本申请实施例提供一种计算机可读存储介质，包括指令，当上述指令在移动设备上运行时，使得上述移动设备执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
可以理解地，上述第二方面提供的移动设备、第三方面提供的芯片、第四方面提供的计算机程序产品和第五方面提供的计算机存储介质均用于执行本申请实施例所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。
第六方面，本申请实施例提供了一种网关，该网关包括：一个或多个处理器和存储器；该存储器与该一个或多个处理器耦合，该存储器用于存储计算机程序代码，该计算机程序代码包括计算机指令，该一个或多个处理器调用该计算机指令以使得该网关执行：确定各智能设备的标点信息；其中，移动设备与该各智能设备通过该网关互联，该标点信息包括到该网关的直线距离以及到网关水平面的垂直距离；根据该移动设备对至少两个智能设备的指向操作，确定该至少两个智能设备相对于该网关的方位信息，该方位信息用于表示在网关水平面上的投影相对于该网关的方位；根据该至少两个智能设备相对于网关的方位信息及其标点信息，结合该移动设备在至少两个移动位置点测量的与该网关和各智能设备的距离，确定其他各智能设备相对于该网关的方位信息，该移动位置点为该移动设备在移动过程中经过的位置点；根据该移动设备当前的指向方向信息、标点信息和方位信息，确定该移动设备当前指向方向上的智能设备为操控目标。
结合第六方面，在一些实施例中，该一个或多个处理器，具体用于调用该计算机指令以使得该网关执行：接受该移动设备发送的三个移动位置点之间的距离和该三个移动位置点到各智能设备的直线距离，其中该三个移动位置点不在同一条直线上；根据该三个移动位置点之间的距离和该三个移动位置点到各智能设备的直线距离，确定该各智能设备的标点信息。
具体的，在一些实施例中，该一个或多个处理器，具体用于调用该计算机指令以使得该网关执行：根据该三个移动位置点之间的距离和该三个移动位置点到各智能设备的直线距离，以及垂直高度计算模型，确定该各智能设备的标点信息；该垂直高度计算模型用于在已知三菱锥各边长的条件下确定三菱锥的高度。
结合第六方面，在一些实施例中，该一个或多个处理器，具体用于调用该计算机指令以使得该网关执行：当用户持该移动设备指向第一智能设备后，接收该移动设备发送的当前的指向方向信息及标点信息，该指向方向信息包括移动设备的仰角以及移动设备指向的方位，该第一智能设备为与该网关互联的智能设备中的一个智能设备；响应于用户确定该第一智能设备为操控目标的操作，根据第一智能设备的标点信息、该当前的指向方向信息及标点信息，确定该第一智能设备相对于该网关的方位信息；采用上述相同的步骤，确定第二智能设备相对于该网关的方位信息，该第二智能设备为与该网关互联的智能设备中与该第一智能设备不同的另一个智能设备。
具体的，在一些实施例中，该一个或多个处理器，具体用于调用该计算机指令以使得该网关执行：根据第一智能设备的标点信息、该当前的指向方向信息及标点信息，以及方 位信息计算模型，确定该第一智能设备相对于该网关的方位信息；该方位信息计算模型用于在已知空间中指向点和被指向点的标点信息，以及该指向点指向该被指向点时的指向方位信息的条件下确定被指向点相对于该网关的方位信息。
结合第六方面，在一些实施例中，该一个或多个处理器，具体用于调用该计算机指令以使得该网关执行：接收该移动设备发送的在至少两个移动位置点测量与该网关和该各智能设备的距离；根据已确定的该至少两个智能设备相对于该网关的方位信息及其标点信息，以及该至少两个移动位置点距该至少两个智能设备和该网关的距离，确定该至少两个移动位置点相对于该网关的方位信息及其标点信息；根据该至少两个移动位置点相对于网关的方位信息及其标点信息，以及该至少两个移动位置点与除该至少两个智能设备外的其他各智能设备的距离，确定该其他各智能设备相对于该网关的方位信息。
结合第六方面，在一些实施例中，该一个或多个处理器，具体用于调用该计算机指令以使得该网关执行：响应于用户持该移动设备指向智能设备的操作，确定该移动设备当前的指向方向信息、标点信息和方位信息；根据该移动设备当前的指向方向信息、标点信息和方位信息、各智能设备的标点信息和方位信息，以及指向目标计算模型，确定该移动设备当前指向方向上的智能设备为操控目标；该指向目标计算模型用于在已知空间中各点的标点信息和方位信息，以及指向点指向被指向点的指向方向信息的条件下确定被指向点。
第七方面，本申请实施例提供了一种芯片，该芯片应用于网关，该芯片包括一个或多个处理器，该处理器用于调用计算机指令以使得该网关执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第八方面，本申请实施例提供一种包含指令的计算机程序产品，当上述计算机程序产品在网关上运行时，使得上述网关执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
第九方面，本申请实施例提供一种计算机可读存储介质，包括指令，当上述指令在网关上运行时，使得上述网关执行如第一方面以及第一方面中任一可能的实现方式描述的方法。
可以理解地，上述第六方面提供的网关、第七方面提供的芯片、第八方面提供的计算机程序产品和第九方面提供的计算机存储介质均用于执行本申请实施例所提供的方法。因此，其所能达到的有益效果可参考对应方法中的有益效果，此处不再赘述。
附图说明
图1是现有技术中控制智能设备的一个场景示意图；
图2是本申请实施例提供的使用三维直角坐标系表示三维位置信息的一个示意图；
图3是本申请实施例提供的使用圆柱坐标系表示三维位置信息的一个示意图；
图4是本申请实施例提供的使用球面坐标系表示三维位置信息的一个示意图；
图5是本申请实施例提供的标点信息与方位信息一个示意图；
图6是本申请实施例提供的指向方向信息一个示意图；
图7是本申请实施例提供的移动设备100的结构示意图；
图8是本申请实施例提供的移动设备100的软件结构框图；
图9是本申请实施例提供的网关900的结构示意图；
图10是本申请实施例提供的网关900的软件结构框图；
图11是本申请实施例提供的智能设备1100的结构示意图；
图12是本申请实施例提供的智能设备1100的软件结构框图；
图13是本申请实施例提供的控制智能设备的一个场景示意图；
图14是本申请实施例提供的确定操控目标的方法一个流程示意图；
图15是本申请实施例提供的确定各智能设备的标点信息的一个示例性流程示意图；
图16是本申请实施例提供的一个垂直高度计算模型示意图；
图17是本申请实施例提供的确定标点信息的一个示例性示意图；
图18是本申请实施例提供的确定标点信息后网关视角的智能设备位置一个示例性示意图；
图19是本申请实施例提供的确定智能设备方位信息的一个示例性流程示意图；
图20是本申请实施例提供的一个方位信息计算模型示意图；
图21是本申请实施例提供的确定其他各智能设备相对于网关的方位信息的一个示例性流程示意图；
图22是本申请实施例提供的确定移动位置点的方位信息及其标点信息的一个示例示意图；
图23是本申请实施例提供的确定其他智能设备的方位信息的一个示例性示意图；
图24是本申请实施例提供的指向确定操控目标的一个示例性流程示意图；
图25是本申请实施例提供的一个指向目标计算模型示意图；
图26是本申请实施例提供的确定操控目标的方法另一个流程示意图；
图27是本申请实施例提供的确定各智能设备的标点信息的另一个示例性流程示意图；
图28是本申请实施例提供的确定智能设备方位信息的另一个示例性流程示意图；
图29是本申请实施例提供的确定其他各智能设备相对于网关的方位信息的另一个示例性流程示意图；
图30是本申请实施例提供的指向确定操控目标的另一个示例性流程示意图；
图31是本申请实施例提供的确定操控目标的方法另一个流程示意图；
图32是本申请实施例提供的确定各智能设备的标点信息的另一个示例性流程示意图；
图33是本申请实施例提供的确定智能设备方位信息的另一个示例性流程示意图；
图34是本申请实施例提供的确定其他各智能设备相对于网关的方位信息的另一个示例性流程示意图；
图35是本申请实施例提供的指向确定操控目标的另一个示例性流程示意图。
具体实施方式
本申请以下实施例中所使用的术语只是为了描述特定实施例的目的，而并非旨在作为对本申请的限制。如在本申请的说明书和所附权利要求书中所使用的那样，单数表达形式“一个”、“一种”、“所述”、“上述”、“该”和“这一”旨在也包括复数表达形式，除非其上下文中明确地有相反指示。还应当理解，本申请中使用的术语“和/或”是指并包含一个 或多个所列出项目的任何或所有可能组合。
以下，术语“第一”、“第二”仅用于描述目的，而不能理解为暗示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括一个或者更多个该特征，在本申请实施例的描述中，除非另有说明，“多个”的含义是两个或两个以上。
由于本申请实施例涉及构建含有三维位置信息的智能网络，为了便于理解，下面先对本申请实施例涉及的相关术语及相关概念进行介绍。
(1)三维位置信息
三维位置信息至三维空间中物体的位置信息。通常三维空间是指在平面二维系中又加入了一个表示上下方向的向量构成的空间系。
而对三维位置信息的描述，可以有多种不同的表示方式。下面描述三种常用的表示三维位置信息的坐标系：
1、三维直角坐标系(三维笛卡尔坐标系)
三维笛卡尔坐标(X，Y，Z)与二维笛卡尔坐标(X，Y)相似，即在X和Y值基础上增加Z值。同样还可以使用基于当前坐标系原点的绝对坐标值或基于上个输入点的相对坐标值。
如图2所示，为使用三维直角坐标系表示三维位置信息的一个示意图。例如，若需要描述某一点A在三维空间中的位置信息时，可以以该三维空间中某一点O为原点，以从该点出发的相互垂直的3个向量为X、Y、Z坐标轴的正方向，建立三维直角坐标系。则可以使用该点A在三个坐标轴上的投影点的值(Ax，Ay，Az)来表示该点A的三维位置信息。
2、圆柱坐标系
圆柱坐标与二维极坐标类似，但增加了从所要确定的点到XY平面的距离值。即三维点的圆柱坐标可通过该点与原点连线在XY平面上的投影长度，该投影与X轴夹角、以及该点垂直于XY平面的Z值来确定。
如图3所示，为使用圆柱坐标系表示三维位置信息的一个示意图。例如，若需要描述某一点A在三维空间中的位置信息时，可以以该三维空间中某一点O为原点，以从该点出发的相互垂直的3个向量为X、Y、Z坐标轴的正方向，建立圆柱坐标系。则可以使用该点A与原点O的连线OA在XY平面的投影Oa1的长度La1、该投影与X轴夹角θax、以及该点A投影在Z轴的值Az，形成“La1<θax，Az”来表示该点A的三维坐标。例如，若坐标为“15<40，20”，则表示点A与原点O的连线OA在XY平面上的投影Oa1的长度La1为15个单位，其投影Oa1与X轴的夹角为40度，在Z轴上的投影点Az的Z值为20。
3、球面坐标系
球面坐标也类似于二维极坐标。在确定某点时，应分别指定该点与当前坐标系原点的距离、二者连线在XY平面上的投影与X轴的角度、以及二者连线与XY平面的角度。
如图4所述，为使用球面坐标系表示三维位置信息的一个示意图。若需要描述某一点A在三维空间中的位置信息时，可以以该三维空间中某一点O为原点，以从该点出发的相互垂直的3个向量为X、Y、Z坐标轴的正方向，建立球面坐标系。则可以使用该点A与原点O的距离Lao、AO在XY平面的投影线Oa1与X轴的角度θax、以及AO与其在XY 平面的投影线Oa1的角度θa1，形成“Lao<θax<θa1”来表示该点A的三维坐标。例如，若坐标为“20<45<50”，则表示点A与原点O的距离为20个单位，其在XY平面的投影Oa1与X轴的夹角为45度，AO与XY平面的投影Oa1的夹角为50度。
可以理解的是，对于处在固定三维空间位置上的智能设备，基于采用不同类型的坐标系、坐标系使用不同的原点、各坐标轴使用不同的正方向，其三维位置信息以及智能设备间的三维位置关系的表示形式可能都不相同。
在有些情况下，甚至可以不使用坐标系，仅仅以空间中某一位置为基础位置，通过描述其他位置与该基础位置间的距离和角度关系来表示其他位置在三维空间中的三维位置信息。
然而不管表示形式如何，其表示的三维位置信息和三维位置关系的实质都是相同的，均为表示该智能设备在某个确定的三维空间位置上。且由于表示的内容实质相同，因此各种不同的表示形式之间，均可以通过相应的函数和参数修正从而进行相互的转换。
为便于描述与理解，本申请实施例在后续描述中，均使用三维直角坐标系的表示形式以及便于描述和理解的点作为原点来进行示例性的可行性描述。可以理解的是，本申请实施例中并不限定在实际应用中采取何种表示形式来对三维位置信息进行表示。
(2)标点信息和方位信息
在本申请实施例中，一个设备(移动设备或智能设备)的标点信息至少包括该设备到网关的直线距离(以下简称设备-网关直线距离)以及到网关水平面的垂直距离(以下简称设备-网关垂直距离)，该标点信息还可以包括该设备在网关水平面的映射点到网关的水平距离(以下简称设备-网关水平距离)。
可以理解的是，即使标点信息中不包括设备-网关水平距离，根据设备-网关直线距离、设备-网关垂直距离，结合勾股定理，也很容易计算出设备-网关水平距离。因此，在实际应用中，该标点信息中可以直接包含设备-网关水平距离，也可以根据设备-网关直线距离与设备-网关垂直距离，在需要的时候直接计算出设备-网关水平距离，此处不作限定。
一个设备的方位信息用于表示该设备在网关水平面上的投影相对于网关的方位。该方位信息可以用该设备在网关水平面上的投影和网关的连线(以下简称设备-网关投影线)与该网关水平面的参考坐标轴中一个坐标轴的角度来表示，至于采用与参考坐标轴中哪一个坐标轴的角度来表示，由于表示的信息实质相同，本申请实施例对此并不限定。
网关水平面的参考坐标轴的方向可以根据实际情况预设，例如可以预设为X轴正方向指向正东，Y轴正方向指向正南；再如也可以预设为X轴的正方向指向正北、Y轴的正方向指向正东等等。不管参考坐标轴的正方向如何预设，其所表示的实质信息是相同的。具体使用何种参考坐标轴，选择哪一点作为坐标原点，对本申请实施例的方案实质没有影响，本申请实施例对此不作限定。
下面以采用网关为坐标原点，以X轴的正方向指向正东，Y轴的正方向指向正南，Z轴的正方向垂直XY水平面指向上方建立三维直角坐标系，且标点信息包含：设备-网关直线距离、设备-网关垂直距离以及设备-网关水平距离，方位信息为设备-网关投影线与X轴的角度为例，对本申请实施例中的标点信息和方位信息进行示例性说明：
如图5所示，为本申请实施例中标点信息与方位信息一个示意图。其中智能设备A的标点信息包括：智能设备A到网关O的直线距离AO、智能设备A到其在网关水平面的投影点a1的垂直距离Aa1、以及智能设备A在网关水平面的投影点a1到网关的水平距离a1O。
可以理解的是，当仅有智能设备A的标点信息确定时，从网关来看，智能设备A的空间位置是无法完全确定的，它可能在以智能设备A在坐标轴OZ上的投影点Az为圆心，以设备-网关水平距离a1O为半径的圆上的任一点。
而方位信息的加入即可使智能设备A的空间位置确定。智能设备A的方位信息为设备-网关投影线a1O与X轴的角度∠a1OX，则根据该智能设备A的标点信息以及方位信息可以将智能设备A完全定位在图5所示的相对于网关O的该空间位置。
(3)指向方向信息
本申请实施例中，移动设备的指向方向信息包括移动设备的仰角以及移动设备指向的方位。
其中移动设备的仰角可以用移动设备的中轴线(也即移动设备的指向方向线)与水平面的角度来表示，移动设备指向的方位可以用移动设备中轴线在水平面的投影与水平面的参考坐标轴中一个坐标轴的角度来表示，至于采用与参考坐标轴中哪一个坐标轴的角度来表示，由于表示的信息实质相同，本申请实施例对此并不限定。
下面以采用移动设备为坐标原点，以X轴的正方向指向正东，Y轴的正方向指向正北，Z轴的正方向垂直XY水平面指向上方建立三维直角坐标系，且移动设备指向的方位使用移动设备中轴线在水平面的投影与Y轴的夹角来表示为例，对本申请实施例中的指向方向信息进行示例性说明：
如图6所示，为本申请实施例中指向方向信息一个示意图。其中移动设备P的指向方向信息包括：移动设备P的指向方向线PA与其在水平面的投影Pa1的角度∠APa1，以及指向方向线PA在水平面的投影Pa1与Y轴的角度∠a1PY。
移动设备的指向方向信息数据来源于移动设备中的方向传感器。而移动设备中的方向传感器可以为移动设备中根据算法生产的传感器，主要运用磁场传感器和加速度传感器来计算方向。方向传感器一般返回三个角度值(Azimuth，Pitch，Roll)，以度数为单位。其中，Azimuth即表示移动设备指向的方位，示例性的，为如图6中所示的指向方向线PA在水平面的投影Pa1与Y轴的角度∠a1PY；Pitch即表示移动设备的仰角，示例性的，为如图6中所示的移动设备P的指向方向线PA与其在水平面的投影Pa1的角度∠APa1；Roll表示移动设备左右翘起的角度，本申请实施例中一般不需要使用，此处不作赘述。
可以理解的是，由于方向传感器反馈的角度值是基于磁场传感器及加速度传感器计算的，因此，其返回的移动设备指向的方位的角度值(如上述Azimuth)一般是移动设备的指向方向线在水平面的投影与以指向正北(地磁北极)的Y轴的角度。若在智能网络的整体三维位置信息构建过程中，水平面的Y轴指向的是其他方向，则可以将从方向传感器返回的该角度换算成与当前三维位置信息构建过程中采用的坐标轴方向统一的角度。示例性的，若移动设备方向传感器返回的Azimuth角度为30度，该角度的Y轴方向是正北。而构建整体三维位置信息的参考坐标系中Y轴正方向是正南，则可以将该角度在构建整体三 维位置信息的参考坐标系中转换为-150度，作为移动设备指向的方位。若移动设备方向传感器得到角度的Y轴正方向与构建整体三维位置信息的参考坐标系中Y轴正方向是相同的，则返回的值不需要进行转换。
(4)无线测距技术
在两个通过无线信号直接通信的设备中，可以根据发送无线信号和接收无线信号的时间来确定两个设备之间的距离。
在本申请实施例中，网关与移动设备均能直接与其他设备进行直接通信，从而可以通过无线测距技术，得到网关与其他设备、移动设备与其他设备之间的实时直线距离。
下面首先介绍本申请实施例提供的示例性移动设备、网关和智能设备。
图7是本申请实施例提供的移动设备100的结构示意图。
下面以移动设备100为例对实施例进行具体说明。应该理解的是，移动设备100可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
移动设备100可以包括：处理器110，外部存储器接口120，内部存储器121，通用串行总线(universal serial bus，USB)接口130，充电管理模块140，电源管理模块141，电池142，天线1，天线2，移动通信模块150，无线通信模块160，音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，传感器模块180，按键190，马达191，指示器192，摄像头193，显示屏194，用户标识模块(subscriber identification module，SIM)卡接口195以及eSIM芯片196等。其中传感器模块180可以包括压力传感器180A，陀螺仪传感器180B，气压传感器180C，磁传感器180D，加速度传感器180E，距离传感器180F，接近光传感器180G，指纹传感器180H，温度传感器180J，触摸传感器180K，环境光传感器180L，骨传导传感器180M等。
可以理解的是，本发明实施例示意的结构并不构成对移动设备100的具体限定。在本申请另一些实施例中，移动设备100可以包括比图示更多或更少的部件，或者组合某些部件，或者拆分某些部件，或者不同的部件布置。图示的部件可以以硬件，软件或软件和硬件的组合实现。
处理器110可以包括一个或多个处理单元，例如：处理器110可以包括应用处理器(application processor，AP)，调制解调处理器，图形处理器(graphics processing unit，GPU)，图像信号处理器(image signal processor，ISP)，控制器，存储器，视频编解码器，数字信号处理器(digital signal processor，DSP)，基带处理器，和/或神经网络处理器(neural-network processing unit，NPU)等。其中，不同的处理单元可以是独立的器件，也可以集成在一个或多个处理器中。
其中，控制器可以是移动设备100的神经中枢和指挥中心。控制器可以根据指令操作码和时序信号，产生操作控制信号，完成取指令和执行指令的控制。
处理器110中还可以设置存储器，用于存储指令和数据。在一些实施例中，处理器110 中的存储器为高速缓冲存储器。该存储器可以保存处理器110刚用过或循环使用的指令或数据。如果处理器110需要再次使用该指令或数据，可从所述存储器中直接调用。避免了重复存取，减少了处理器110的等待时间，因而提高了系统的效率。
在一些实施例中，处理器110可以包括一个或多个接口。接口可以包括集成电路(inter-integrated circuit，I2C)接口，集成电路内置音频(inter-integrated circuit sound，I2S)接口，脉冲编码调制(pulse code modulation，PCM)接口，通用异步收发传输器(universal asynchronous receiver/transmitter，UART)接口，移动产业处理器接口(mobile industry processor interface，MIPI)，通用输入输出(general-purpose input/output，GPIO)接口，用户标识模块(subscriber identity module，SIM)接口，嵌入式通用集成电路卡(Embedded-Universal Integrated Circuit Card，eUICC)接口，和/或通用串行总线(universal serial bus，USB)接口等。
I2C接口是一种双向同步串行总线，包括一根串行数据线(serial data line，SDA)和一根串行时钟线(derail clock line，SCL)。在一些实施例中，处理器110可以包含多组I2C总线。处理器110可以通过不同的I2C总线接口分别耦合触摸传感器180K，充电器，闪光灯，摄像头193等。例如：处理器110可以通过I2C接口耦合触摸传感器180K，使处理器110与触摸传感器180K通过I2C总线接口通信，实现移动设备100的触摸功能。
I2S接口可以用于音频通信。在一些实施例中，处理器110可以包含多组I2S总线。处理器110可以通过I2S总线与音频模块170耦合，实现处理器110与音频模块170之间的通信。在一些实施例中，音频模块170可以通过I2S接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。
PCM接口也可以用于音频通信，将模拟信号抽样，量化和编码。在一些实施例中，音频模块170与无线通信模块160可以通过PCM总线接口耦合。在一些实施例中，音频模块170也可以通过PCM接口向无线通信模块160传递音频信号，实现通过蓝牙耳机接听电话的功能。所述I2S接口和所述PCM接口都可以用于音频通信。
UART接口是一种通用串行数据总线，用于异步通信。该总线可以为双向通信总线。它将要传输的数据在串行通信与并行通信之间转换。在一些实施例中，UART接口通常被用于连接处理器110与无线通信模块160。例如：处理器110通过UART接口与无线通信模块160中的蓝牙模块通信，实现蓝牙功能。在一些实施例中，音频模块170可以通过UART接口向无线通信模块160传递音频信号，实现通过蓝牙耳机播放音乐的功能。
MIPI接口可以被用于连接处理器110与显示屏194，摄像头193等外围器件。MIPI接口包括摄像头串行接口(camera serial interface，CSI)，显示屏串行接口(display serial interface，DSI)等。在一些实施例中，处理器110和摄像头193通过CSI接口通信，实现移动设备100的拍摄功能。处理器110和显示屏194通过DSI接口通信，实现移动设备100的显示功能。
GPIO接口可以通过软件配置。GPIO接口可以被配置为控制信号，也可被配置为数据信号。在一些实施例中，GPIO接口可以用于连接处理器110与摄像头193，显示屏194，无线通信模块160，音频模块170，传感器模块180等。GPIO接口还可以被配置为I2C接口，I2S接口，UART接口，MIPI接口等。
SIM接口可以被用于与SIM卡接口195通信，实现传送数据到SIM卡或读取SIM卡中数据的功能。
eUICC接口可以被用于与eSIM芯片196通信，实现发送数据到eSIM芯片或读取eSIM芯片中数据的功能。
USB接口130是符合USB标准规范的接口，具体可以是Mini USB接口，Micro USB接口，USB Type C接口等。USB接口130可以用于连接充电器为移动设备100充电，也可以用于移动设备100与外围设备之间传输数据。也可以用于连接耳机，通过耳机播放音频。该接口还可以用于连接其他移动设备，例如AR设备等。
可以理解的是，本发明实施例示意的各模块间的接口连接关系，只是示意性说明，并不构成对移动设备100的结构限定。在本申请另一些实施例中，移动设备100也可以采用上述实施例中不同的接口连接方式，或多种接口连接方式的组合。
充电管理模块140用于从充电器接收充电输入。其中，充电器可以是无线充电器，也可以是有线充电器。
电源管理模块141用于连接电池142，充电管理模块140与处理器110。电源管理模块141接收电池142和/或充电管理模块140的输入，为处理器110，内部存储器121，外部存储器，显示屏194，摄像头193，和无线通信模块160等供电。
移动设备100的无线通信功能可以通过天线1，天线2，移动通信模块150，无线通信模块160，调制解调处理器以及基带处理器等实现。
天线1和天线2用于发射和接收电磁波信号。移动设备100中的每个天线可用于覆盖单个或多个通信频带。不同的天线还可以复用，以提高天线的利用率。例如：可以将天线1复用为无线局域网的分集天线。在另外一些实施例中，天线可以和调谐开关结合使用。
移动通信模块150可以提供应用在移动设备100上的包括2G/3G/4G/5G等无线通信的解决方案。移动通信模块150可以包括至少一个滤波器，开关，功率放大器，低噪声放大器(low noise amplifier，LNA)等。移动通信模块150可以由天线1接收电磁波，并对接收的电磁波进行滤波，放大等处理，传送至调制解调处理器进行解调。移动通信模块150还可以对经调制解调处理器调制后的信号放大，经天线1转为电磁波辐射出去。在一些实施例中，移动通信模块150的至少部分功能模块可以被设置于处理器110中。在一些实施例中，移动通信模块150的至少部分功能模块可以与处理器110的至少部分模块被设置在同一个器件中。
调制解调处理器可以包括调制器和解调器。其中，调制器用于将待发送的低频基带信号调制成中高频信号。解调器用于将接收的电磁波信号解调为低频基带信号。随后解调器将解调得到的低频基带信号传送至基带处理器处理。低频基带信号经基带处理器处理后，被传递给应用处理器。应用处理器通过音频设备(不限于扬声器170A，受话器170B等)输出声音信号，或通过显示屏194显示图像或视频。在一些实施例中，调制解调处理器可以是独立的器件。在另一些实施例中，调制解调处理器可以独立于处理器110，与移动通信模块150或其他功能模块设置在同一个器件中。
无线通信模块160可以提供应用在移动设备100上的包括无线局域网(wireless local area networks，WLAN)(如无线保真(wireless fidelity，Wi-Fi)网络)，蓝牙(bluetooth， BT)，全球导航卫星系统(global navigation satellite system，GNSS)，调频(frequency modulation，FM)，近距离无线通信技术(near field communication，NFC)，红外技术(infrared，IR)等无线通信的解决方案。无线通信模块160可以是集成至少一个通信处理模块的一个或多个器件。无线通信模块160经由天线2接收电磁波，将电磁波信号调频以及滤波处理，将处理后的信号发送到处理器110。无线通信模块160还可以从处理器110接收待发送的信号，对其进行调频，放大，经天线2转为电磁波辐射出去。
在一些实施例中，移动设备100的天线1和移动通信模块150耦合，天线2和无线通信模块160耦合，使得移动设备100可以通过无线通信技术与网络以及其他设备通信。所述无线通信技术可以包括全球移动通讯系统(global system for mobile communications，GSM)，通用分组无线服务(general packet radio service，GPRS)，码分多址接入(code division multiple access，CDMA)，宽带码分多址(wideband code division multiple access，WCDMA)，时分码分多址(time-division code division multiple access，TD-SCDMA)，长期演进(long term evolution，LTE)，BT，GNSS，WLAN，NFC，FM，和/或IR技术等。所述GNSS可以包括全球卫星定位系统(global positioning system，GPS)，全球导航卫星系统(global navigation satellite system，GLONASS)，北斗卫星导航系统(beidou navigation satellite system，BDS)，准天顶卫星系统(quasi-zenith satellite system，QZSS)和/或星基增强系统(satellite based augmentation systems，SBAS)。
移动设备100通过GPU，显示屏194，以及应用处理器等实现显示功能。GPU为图像处理的微处理器，连接显示屏194和应用处理器。GPU用于执行数学和几何计算，用于图形渲染。处理器110可包括一个或多个GPU，其执行程序指令以生成或改变显示信息。
显示屏194用于显示图像，视频等。显示屏194包括显示面板。显示面板可以采用液晶显示屏(liquid crystal display，LCD)，有机发光二极管(organic light-emitting diode，OLED)，有源矩阵有机发光二极体或主动矩阵有机发光二极体(active-matrix organic light emitting diode，AMOLED)，柔性发光二极管(flex light-emitting diode，FLED)，Miniled，MicroLed，Micro-oLed，量子点发光二极管(quantum dot light emitting diodes，QLED)等。在一些实施例中，移动设备100可以包括1个或N个显示屏194，N为大于1的正整数。
移动设备100可以通过ISP，摄像头193，视频编解码器，GPU，显示屏194以及应用处理器等实现拍摄功能。
ISP用于处理摄像头193反馈的数据。例如，拍照时，打开快门，光线通过镜头被传递到摄像头感光元件上，光信号转换为电信号，摄像头感光元件将所述电信号传递给ISP处理，转化为肉眼可见的图像。ISP还可以对图像的噪点，亮度，肤色进行算法优化。ISP还可以对拍摄场景的曝光，色温等参数优化。在一些实施例中，ISP可以设置在摄像头193中。
摄像头193用于捕获静态图像或视频。物体通过镜头生成光学图像投射到感光元件。感光元件可以是电荷耦合器件(charge coupled device，CCD)或互补金属氧化物半导体(complementary metal-oxide-semiconductor，CMOS)光电晶体管。感光元件把光信号转换成电信号，之后将电信号传递给ISP转换成数字图像信号。ISP将数字图像信号输出到DSP加工处理。DSP将数字图像信号转换成标准的RGB，YUV等格式的图像信号。在一些实 施例中，移动设备100可以包括1个或N个摄像头193，N为大于1的正整数。
数字信号处理器用于处理数字信号，除了可以处理数字图像信号，还可以处理其他数字信号。例如，当移动设备100在频点选择时，数字信号处理器用于对频点能量进行傅里叶变换等。
视频编解码器用于对数字视频压缩或解压缩。移动设备100可以支持一种或多种视频编解码器。这样，移动设备100可以播放或录制多种编码格式的视频，例如：动态图像专家组(moving picture experts group，MPEG)1，MPEG2，MPEG3，MPEG4等。
NPU为神经网络(neural-network，NN)计算处理器，通过借鉴生物神经网络结构，例如借鉴人脑神经元之间传递模式，对输入信息快速处理，还可以不断的自学习。通过NPU可以实现移动设备100的智能认知等应用，例如：图像识别，人脸识别，语音识别，文本理解等。
外部存储器接口120可以用于连接外部存储卡，例如Micro SD卡，实现扩展移动设备100的存储能力。外部存储卡通过外部存储器接口120与处理器110通信，实现数据存储功能。例如将音乐，视频等文件保存在外部存储卡中。
内部存储器121可以用于存储计算机可执行程序代码，所述可执行程序代码包括指令。处理器110通过运行存储在内部存储器121的指令，从而执行移动设备100的各种功能应用以及数据处理。内部存储器121可以包括存储程序区和存储数据区。其中，存储程序区可存储操作系统，至少一个功能所需的应用(比如人脸识别功能，指纹识别功能、移动支付功能等)等。存储数据区可存储移动设备100使用过程中所创建的数据(比如人脸信息模板数据，指纹信息模板等)等。此外，内部存储器121可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件，闪存器件，通用闪存存储器(universal flash storage，UFS)等。
移动设备100可以通过音频模块170，扬声器170A，受话器170B，麦克风170C，耳机接口170D，以及应用处理器等实现音频功能。例如音乐播放，录音等。
音频模块170用于将数字音频信息转换成模拟音频信号输出，也用于将模拟音频输入转换为数字音频信号。音频模块170还可以用于对音频信号编码和解码。在一些实施例中，音频模块170可以设置于处理器110中，或将音频模块170的部分功能模块设置于处理器110中。
扬声器170A，也称“喇叭”，用于将音频电信号转换为声音信号。移动设备100可以通过扬声器170A收听音乐，或收听免提通话。
受话器170B，也称“听筒”，用于将音频电信号转换成声音信号。当移动设备100接听电话或语音信息时，可以通过将受话器170B靠近人耳接听语音。
麦克风170C，也称“话筒”，“传声器”，用于将声音信号转换为电信号。当拨打电话或发送语音信息时，用户可以通过人嘴靠近麦克风170C发声，将声音信号输入到麦克风170C。移动设备100可以设置至少一个麦克风170C。在另一些实施例中，移动设备100可以设置两个麦克风170C，除了采集声音信号，还可以实现降噪功能。在另一些实施例中，移动设备100还可以设置三个，四个或更多麦克风170C，实现采集声音信号，降噪，还可以识别声音来源，实现定向录音功能等。
耳机接口170D用于连接有线耳机。耳机接口170D可以是USB接口130，也可以是3.5mm的开放移动移动设备平台(open mobile terminal platform，OMTP)标准接口，美国蜂窝电信工业协会(cellular telecommunications industry association of the USA，CTIA)标准接口。
压力传感器180A用于感受压力信号，可以将压力信号转换成电信号。在一些实施例中，压力传感器180A可以设置于显示屏194。压力传感器180A的种类很多，如电阻式压力传感器，电感式压力传感器，电容式压力传感器等。电容式压力传感器可以是包括至少两个具有导电材料的平行板。当有力作用于压力传感器180A，电极之间的电容改变。移动设备100根据电容的变化确定压力的强度。当有触摸操作作用于显示屏194，移动设备100根据压力传感器180A检测所述触摸操作强度。移动设备100也可以根据压力传感器180A的检测信号计算触摸的位置。在一些实施例中，作用于相同触摸位置，但不同触摸操作强度的触摸操作，可以对应不同的操作指令。例如：当有触摸操作强度小于第一压力阈值的触摸操作作用于短消息应用图标时，执行查看短消息的指令。当有触摸操作强度大于或等于第一压力阈值的触摸操作作用于短消息应用图标时，执行新建短消息的指令。
陀螺仪传感器180B可以用于确定移动设备100的运动姿态。在一些实施例中，可以通过陀螺仪传感器180B确定移动设备100围绕三个轴(即，x，y和z轴)的角速度。陀螺仪传感器180B可以用于拍摄防抖。示例性的，当按下快门，陀螺仪传感器180B检测移动设备100抖动的角度，根据角度计算出镜头模组需要补偿的距离，让镜头通过反向运动抵消移动设备100的抖动，实现防抖。陀螺仪传感器180B还可以用于导航，体感游戏场景。
气压传感器180C用于测量气压。在一些实施例中，移动设备100通过气压传感器180C测得的气压值计算海拔高度，辅助定位和导航。
磁传感器180D包括霍尔传感器。移动设备100可以利用磁传感器180D检测翻盖皮套的开合。在一些实施例中，当移动设备100是翻盖机时，移动设备100可以根据磁传感器180D检测翻盖的开合。进而根据检测到的皮套的开合状态或翻盖的开合状态，设置翻盖自动解锁等特性。
加速度传感器180E可检测移动设备100在各个方向上(一般为三轴)加速度的大小。当移动设备100静止时可检测出重力的大小及方向。还可以用于识别移动设备姿态，应用于横竖屏切换，计步器等应用。
距离传感器180F，用于测量距离。移动设备100可以通过红外或激光测量距离。在一些实施例中，拍摄场景，移动设备100可以利用距离传感器180F测距以实现快速对焦。
接近光传感器180G可以包括例如发光二极管(LED)和光检测器，例如光电二极管。发光二极管可以是红外发光二极管。移动设备100通过发光二极管向外发射红外光。移动设备100使用光电二极管检测来自附近物体的红外反射光。当检测到充分的反射光时，可以确定移动设备100附近有物体。当检测到不充分的反射光时，移动设备100可以确定移动设备100附近没有物体。移动设备100可以利用接近光传感器180G检测用户手持移动设备100贴近耳朵通话，以便自动熄灭屏幕达到省电的目的。接近光传感器180G也可用于皮套模式，口袋模式自动解锁与锁屏。
环境光传感器180L用于感知环境光亮度。移动设备100可以根据感知的环境光亮度自 适应调节显示屏194亮度。环境光传感器180L也可用于拍照时自动调节白平衡。环境光传感器180L还可以与接近光传感器180G配合，检测移动设备100是否在口袋里，以防误触。
指纹传感器180H用于采集指纹。移动设备100可以利用采集的指纹特性实现指纹解锁，访问应用锁，指纹拍照，指纹接听来电等。
温度传感器180J用于检测温度。在一些实施例中，移动设备100利用温度传感器180J检测的温度，执行温度处理策略。例如，当温度传感器180J上报的温度超过阈值，移动设备100执行降低位于温度传感器180J附近的处理器的性能，以便降低功耗实施热保护。在另一些实施例中，当温度低于另一阈值时，移动设备100对电池142加热，以避免低温导致移动设备100异常关机。在其他一些实施例中，当温度低于又一阈值时，移动设备100对电池142的输出电压执行升压，以避免低温导致的异常关机。
触摸传感器180K，也称“触控面板”。触摸传感器180K可以设置于显示屏194，由触摸传感器180K与显示屏194组成触摸屏，也称“触控屏”。触摸传感器180K用于检测作用于其上或附近的触摸操作。触摸传感器可以将检测到的触摸操作传递给应用处理器，以确定触摸事件类型。可以通过显示屏194提供与触摸操作相关的视觉输出。在另一些实施例中，触摸传感器180K也可以设置于移动设备100的表面，与显示屏194所处的位置不同。
按键190包括开机键，音量键等。按键190可以是机械按键。也可以是触摸式按键。移动设备100可以接收按键输入，产生与移动设备100的用户设置以及功能控制有关的键信号输入。
马达191可以产生振动提示。马达191可以用于来电振动提示，也可以用于触摸振动反馈。例如，作用于不同应用(例如拍照，音频播放等)的触摸操作，可以对应不同的振动反馈效果。作用于显示屏194不同区域的触摸操作，马达191也可对应不同的振动反馈效果。不同的应用场景(例如：时间提醒，接收信息，闹钟，游戏等)也可以对应不同的振动反馈效果。触摸振动反馈效果还可以支持自定义。
指示器192可以是指示灯，可以用于指示充电状态，电量变化，也可以用于指示消息，未接来电，通知等。
SIM卡接口195用于连接SIM卡。SIM卡可以通过插入SIM卡接口195，或从SIM卡接口195拔出，实现和移动设备100的接触和分离。移动设备100可以支持1个或N个SIM卡接口，N为大于1的正整数。SIM卡接口195可以支持Nano SIM卡，Micro SIM卡，SIM卡等。同一个SIM卡接口195可以同时插入多张卡。所述多张卡的类型可以相同，也可以不同。SIM卡接口195也可以兼容不同类型的SIM卡。SIM卡接口195也可以兼容外部存储卡。移动设备100通过SIM卡和网络交互，实现通话以及数据通信等功能。
移动设备100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构的Android系统为例，示例性说明移动设备100的软件结构。
图8是本申请实施例的移动设备100的软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件 接口通信。在一些实施例中，将Android系统分为四层，从上至下分别为应用程序层，应用程序框架层，安卓运行时(Android runtime)和系统库，以及内核层。
应用程序层可以包括一系列应用程序包。
如图8所示，应用程序包可以包括智能设备控制模块、WLAN、蓝牙、连接及测距模块、逻辑处理模块等应用程序(也可以称为应用)。
智能设备控制模块，用于根据用户操作，触发操控指令，对智能设备进行控制。
WLAN，用于构建无线局域网。
蓝牙，用于构建短距离无线通信连接。
连接和测距模块，用于与网关、智能设备进行无线通信连接和无线通信测距，并将获取的数据传递到逻辑处理模块进行后续处理。
逻辑处理模块，用于进行传感器信息处理，参与构建三维位置信息的计算等。
应用程序框架层为应用程序层的应用程序提供应用编程接口(application programming interface，API)和编程框架。应用程序框架层包括一些预先定义的函数。
如图8所示，应用程序框架层可以包括窗口管理器，内容提供器，视图系统，电话管理器，资源管理器，通知管理器等。
窗口管理器用于管理窗口程序。窗口管理器可以获取显示屏大小，判断是否有状态栏，锁定屏幕，截取屏幕等。
内容提供器用来存放和获取数据，并使这些数据可以被应用程序访问。所述数据可以包括视频，图像，音频，拨打和接听的电话，浏览历史和书签，电话簿等。
视图系统包括可视控件，例如显示文字的控件，显示图片的控件等。视图系统可用于构建应用程序。显示界面可以由一个或多个视图组成的。例如，包括短信通知图标的显示界面，可以包括显示文字的视图以及显示图片的视图。
电话管理器用于提供移动设备100的通信功能。例如通话状态的管理(包括接通，挂断等)。
资源管理器为应用程序提供各种资源，比如本地化字符串，图标，图片，布局文件，视频文件等等。
通知管理器使应用程序可以在状态栏中显示通知信息，可以用于传达告知类型的消息，可以短暂停留后自动消失，无需用户交互。比如通知管理器被用于告知下载完成，消息提醒等。通知管理器还可以是以图表或者滚动条文本形式出现在系统顶部状态栏的通知，例如后台运行的应用程序的通知，还可以是以对话界面形式出现在屏幕上的通知。例如在状态栏提示文本信息，发出提示音，移动设备振动，指示灯闪烁等。
安卓运行时(Android Runtime)包括核心库和虚拟机。Android runtime负责安卓系统的调度和管理。
核心库包含两部分：一部分是java语言需要调用的功能函数，另一部分是安卓的核心库。
应用程序层和应用程序框架层运行在虚拟机中。虚拟机将应用程序层和应用程序框架层的java文件执行为二进制文件。虚拟机用于执行对象生命周期的管理，堆栈管理，线程管理，安全和异常的管理，以及垃圾回收等功能。
系统库可以包括多个功能模块。例如：表面管理器(surface manager)，媒体库(Media Libraries)，三维图形处理库(例如：OpenGL ES)，二维图形引擎(例如：SGL)等。
表面管理器用于对显示子系统进行管理，并且为多个应用程序提供了二维(2-Dimensional，2D)和三维(3-Dimensional，3D)图层的融合。
媒体库支持多种常用的音频，视频格式回放和录制，以及静态图像文件等。媒体库可以支持多种音视频编码格式，例如:MPEG4，H.264，MP3，AAC，AMR，JPG，PNG等。
三维图形处理库用于实现3D图形绘图，图像渲染，合成，和图层处理等。
2D图形引擎是2D绘图的绘图引擎。
内核层是硬件和软件之间的层。内核层至少包含显示驱动，摄像头驱动，音频驱动，传感器驱动，虚拟卡驱动。
下面结合捕获拍照场景，示例性说明移动设备100软件以及硬件的工作流程。
当触摸传感器180K接收到触摸操作，相应的硬件中断被发给内核层。内核层将触摸操作加工成原始输入事件(包括触摸坐标，触摸操作的时间戳等信息)。原始输入事件被存储在内核层。应用程序框架层从内核层获取原始输入事件，识别该输入事件所对应的控件。以该触摸操作是触摸单击操作，该单击操作所对应的控件为相机应用图标的控件为例，相机应用调用应用框架层的接口，启动相机应用，进而通过调用内核层启动摄像头驱动，通过摄像头193捕获静态图像或视频。
图9是本申请实施例提供的网关900的结构示意图。
下面以网关900为例对实施例进行具体说明。应该理解的是，网关900可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
网关900可以包括：处理器910，内部存储器930，电源管理模块940，天线1，有线通信模块920，无线通信模块921等。
对处理器910、内部存储器930、无线通信模块921、电源管理模块940的描述可参考前述图7所示的处理器110、内部存储器121、无线通信模块160、电源管理模块141，此处不作赘述。
网关900的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构系统为例，示例性说明网关900的软件结构。
图10是本申请实施例的网关900的软件结构框图。
分层架构将软件分成若干个层，每一层都有清晰的角色和分工。层与层之间通过软件接口通信。在一些实施例中，将系统分为四层，从上至下分别为应用程序层，协议层，系统层，以及内核层。
应用程序层可以包括一系列应用程序包。
如图10所示，应用程序包可以包括Web程序，CGI程序、图形用户界面程序、连接及测距模块、逻辑处理模块等应用程序(也可以称为应用)。
连接及测距模块，用于用于与移动设备、智能设备进行无线通信连接和无线通信测距，并将获取的数据传递到逻辑处理模块进行后续处理。
逻辑处理模块，用于参与构建三维位置信息的计算等。
协议层为应用程序层的应用程序提供支撑的标准化协议执行过程。协议层可以包括TCP/IP协议、短距离无线通信协议。
系统层包括支撑系统运行的嵌入式操作系统。
内核层是硬件和软件之间的层。内核层至少包含网络芯片驱动、无线收发模块驱动和LCD驱动等。
图11是本申请实施例提供的智能设备1100的结构示意图。
下面以智能设备1100为例对实施例进行具体说明。应该理解的是，智能设备1100可以具有比图中所示的更多的或者更少的部件，可以组合两个或多个的部件，或者可以具有不同的部件配置。图中所示出的各种部件可以在包括一个或多个信号处理和/或专用集成电路在内的硬件、软件、或硬件和软件的组合中实现。
智能设备1100可以包括：处理器1110，无线通信模块1120，功能实现模块1130等。
对处理器1110级无线通信模块1120的描述可参考前述图7所示的处理器110、无线通信模块160，此处不作赘述。
功能实现模块1130可在处理器1110的控制下，提供传统家用电器的功能，例如提供电灯、电视、洗衣机、冰箱、空调等电器的功能。
智能设备1100的软件系统可以采用分层架构，事件驱动架构，微核架构，微服务架构，或云架构。本申请实施例以分层架构系统为例，示例性说明智能设备1100的软件结构。
图12是本申请实施例的智能设备1100的软件结构框图。
在一些实施例中，将系统分为四层，从上至下分别为应用程序层，协议层，系统层，以及内核层。
应用程序层可以包括连接模块。
该连接模块，用于与网关、移动设备进行无线通信连接和无线通信测距。
协议层为应用程序层的应用程序提供支撑的标准化协议执行过程。协议层可以包括短距离无线通信协议。
系统层包括支撑系统运行的嵌入式操作系统。
内核层是硬件和软件之间的层。内核层至少包含无线收发模块驱动等。
本申请以下实施例提供了一种确定操控目标的方法，在智能的自主构建所有联网智能设备的三维网络位置信息后，仅需使用移动设备指向待操控目标智能设备，即可确定操控目标，然后进行后续操控，极大的简化了确定操控目标的过程，提升了人机交互的易用性。
如图13所示，为本申请实施例中控制智能设备的一个场景示意图。空调、等、电视等智能设备和移动设备1301均通过路由器接入网络，在移动设备和路由器智能构建完成所有联网智能设备的三维网络位置信息后，用户手持移动设备1301指向电视，此时移动设备智 能确定操控目标为电视，移动设备1301的显示屏上显示的界面直接从待机显示界面1302跳转到电视操控界面1303，可以对该电视进行操控，省去了多次的点击选择操作，提升了用户对智能设备的操控体验。
实施例1：
如图14所示，该确定操控目标的方法包含步骤S1401～S1404。其中S1401～S1403介绍构建含有三维位置信息的智能网络；S1404介绍含有三维位置信息的智能网络构建完成后，指向确定操控目标。以下分别进行描述：
S1401、确定各智能设备的标点信息；
标点信息的内容可参考上述术语中对标点信息的具体描述，此处不作赘述。
可以理解的是，各智能设备的标点信息由移动设备、网关设备和智能设备协同计算得到。其中的计算过程可以在移动设备中进行，也可以在网关中进行，也可以分布式的一部分在移动设备中进行、一部分在网关中进行，具体可以根据实际情况预设或者由移动设备或网关根据当前计算量进行分配，此处不作限定。
下面对确定各智能设备的标点信息的具体过程进行示例性描述：
如图15所示，该确定各智能设备的标点信息的具体过程包含步骤S1501～S1508。其中S1501～S1503可确定移动设备与网关的垂直距离；S1504～S1505可确定移动设备与各智能设备的垂直距离；S1506～S1508即可根据上两个阶段分别得到的垂直距离，确定各智能设备的标点信息。
首先介绍确定其他设备到移动设备水平面的垂直高度的计算模型(以下简称垂直高度计算模型)：
如图16所示，为本申请实施例中一个垂直高度计算模型示意图。以需计算其到移动设备水平面高度的设备D在移动设备水平面上的投影O为原点，建立三维直角坐标系。移动设备移动过程中有三个移动位置点P1、P2、P3位于该移动设备水平面上且不共线。
此时，该计算模型中的4个点形成了一个三棱锥，仅需确定该三菱锥各边的边长，即可根据解析几何，确定该三菱锥的高DO。该三菱锥的高DO即为该设备D到移动设备水平面的距离。
而该三菱锥的各边长分为两类：
第1类为：移动设备各移动位置点间的距离P1P2、P2P3、P3P1；
若这三个移动位置点由一个移动设备产生，则这一类距离可以由该移动设备内的加速度传感器或GPS模块等内部传感器或模块获取到的数据计算得到。
若这三个移动位置点由多个移动设备产生，则多个移动设备产生的移动位置点之间的距离可以根据无线测距技术计算或根据这多个移动设备的GPS数据计算等方式得到。
第2类为：设备D到各移动位置点间的距离DP1、DP2、DP3。
移动设备在各移动位置点均能与设备D直接通信，通过无线测距技术计算得到这一类距离。
因此，只需要确定移动设备位于同一移动设备水平面且不共线的三个移动位置点，移 动设备即可确定这三个移动位置点间的距离，并在这三个移动位置点通过无线测距技术确定与设备D的距离，即可根据该垂直高度计算模型确定设备D到移动设备水平面的垂直高度。
可以理解的是，在接入网关的网络环境中，由于移动环境一般较为平坦，用户持移动设备移动在大多数情况下都可视为在同一水平面上运动。
下面基于该垂直高度计算模型对具体步骤进行描述：
(1)确定移动设备与网关的垂直距离：
S1501、移动设备确定三个移动位置点之间的距离；
移动位置点为移动设备在移动过程中经过的位置点。这三个移动位置点位于同一水平面且不共线。
移动设备在移动过程中，可以检测当前移动位置点是否符合计算需求，如果不符合，则可以忽略，直到找到符合计算需求的移动位置点。
可以理解的是，在本申请实施例中，只要水平面间的垂直距离小于一个预设值，就可以认为是处于同一水平面。
若这三个移动位置点由一个移动设备产生，则这三个移动位置点之间的距离可以由该移动设备内的加速度传感器或GPS模块等内部传感器或模块获取到的数据计算得到。
若这三个移动位置点由多个移动设备产生，则多个移动设备产生的移动位置点之间的距离可以根据无线测距技术计算或根据这多个移动设备的GPS数据计算等方式得到。
S1502、移动设备和/或网关确定这三个移动位置点到网关的直线距离；
根据无线测距技术，移动设备和/或网关可以确定这第三个移动位置点到网关的直线距离。
S1503、移动设备和/或网关确定移动设备水平面和网关水平面的垂直距离；
在确定了三个移动位置点之间的距离以及三个移动位置点到网关的直线距离后，根据上述垂直高度计算模型，移动设备和/或网关即可确定移动设备水平面和网关水平面的垂直距离。
(2)确定移动设备与各智能设备的垂直距离：
S1504、移动设备确定这三个移动位置点到各智能设备的直线距离；
该各智能设备指与移动设备和网关位于同一网络环境的智能设备。
需要说明的是，步骤S1504在步骤S1501之后执行，步骤S1504中使用的三个移动位置点可以与步骤S1502和S1503中使用的三个移动位置点相同，也可以为执行步骤S1501后重新确定的与步骤S1502和S1503中使用的三个移动位置点不同的三个移动位置点，此处不作限定。
移动设备在各移动位置点均能与各智能设备直接通信，通过无线测距技术计算得到在当前位置点到各智能设备的直线距离。
S1505、移动设备确定移动设备水平面和各智能设备水平面的垂直距离；
在确定了三个移动位置点之间的距离以及三个移动位置点到各智能设备的直线距离后，根据上述垂直高度计算模型，移动设备即可确定移动设备水平面和网关水平面的垂直距离。
可以理解的是，执行步骤S1504与步骤S1505时，对每个智能设备，可以使用相同的三个移动位置点进行计算，也可以重新执行步骤S1501后，使用互不相同的三个移动位置点进行计算，此处不作限定。
(3)根据(1)(2)确定的数据，确定各智能设备的标点信息：
S1506、移动设备和/或网关确定各智能设备到网关水平面的距离；
在确定了网关水平面到移动设备水平面的距离，以及各智能设备到移动设备水平面的距离后，即可确定各智能设备到网关水平面的距离。
如图17所示，为本申请实施例中确定标点信息一个示例性示意图。以网关O为原点建立三维直角坐标系。现已确定网关O到移动设备P所在的移动设备水平面的垂直距离Oo1，智能设备C到移动设备水平面的垂直距离Cc1，智能设备B到移动设备水平面的垂直距离Bb1，则可以确定出智能设备C到网关水平面的垂直距离Cc2，智能设备B到网关水平面的垂直距离Bb2。可选的，为了准确表示各智能设备的位置，位于网关水平面以下的距离值可以用负值表示，位于网关水平面以上的距离值可以用正值来表示。则，智能设备C到网关水平面的垂直距离的值Cc2可以为Cc1-Oo1，智能设备B到网关水平面的垂直距离Bb2的值可以为Bb1-b2b1，也即Bb1-Oo1。
S1507、移动设备和/或网关确定到各智能设备的直线距离；
网关可以与各智能设备直接通信，根据无线测距技术，移动设备和/或网关可确定到各智能设备的直线距离。
S1508、移动设备和/或网关确定各智能设备在网关水平面的投影点到网关的水平距离。
在网关确定了到各智能设备的直线距离，并确定了各智能设备到网关水平面的垂直距离的情况下，移动设备和/或网关即可确定各智能设备在网关水平面的投影点到网关的水平距离。
如图17所示，网关O已确定到智能设备B的直线距离OB，以及智能设备B到网关水平面的垂直距离Bb2。明显可知，网关O、智能设备B、以及智能设备B在网关水平面的投影点b2组成了一个直角三角形。则，根据三角形勾股定理可确定该智能设备B在网关水平面的投影点b2到网关的水平距离b2O。
步骤S1506中确定的各智能设备到网关水平面的距离、以及步骤S1507中确定的各智能设备到网关的直线距离即为本申请实施例中标点信息的必要组成部分。可以理解的是，标点信息中可以包含步骤S1508中确定的各智能设备在网关水平面的投影点到网关的水平距离，也可以不包含该水平距离，步骤S1508可以在步骤S1506及S1508执行之后即执行，也可以基于需求，在需要使用到该水平距离时再执行该步骤S1508，此处不作限定。
在移动设备和/或网关确定了各智能设备的标点信息后，各智能设备相对于网关的位置并没有完全确定。如图18所示，为本申请实施例中确定标点信息后网关视角的智能设备位置一个示例性示意图。其中，智能设备A和智能设备B的标点信息均已确定，但相对于网关O，只能确定智能设备A可能在以其在Z轴的投影点a1为圆心，以其到网关O的水平距离Aa1为半径的圆上任一点；同理，也只能确定智能设备B可能在以其在Z轴的投影点b1为圆心，以其到网关O的水平距离Bb1为半径的圆上任一点。
若需要进一步确定智能设备的空间位置，则还需要继续确定智能设备的方位信息，而一般又只有移动设备中具有测量方位的功能，因此，需要用户手持移动设备进行少量的人工辅助定位：
S1402、根据移动设备对至少两个智能设备的指向操作，确定该至少两个智能设备相对于网关的方位信息；
可以理解的是，移动设备对一个智能设备进行一次指向操作，即可计算出该智能设备相对于网关的方位信息。方位信息的内容可参考上述术语中对方位信息的具体描述，此处不作赘述。
下面对确定某个智能设备的方位信息的具体过程进行示例性描述：
如图19所示，该确定智能设备方位信息的具体过程包含步骤S1901～1908。其中S1901～S1903可获取移动设备的当前指向方位信息及标点信息；S1904～S1907可确定移动设备指向的智能设备；S1908可根据上两个阶段得到的数据，确定移动设备指向的智能设备的方位信息。
首先介绍确定智能设备的方位信息的计算模型(以下简称方位信息计算模型)：
如图20所示，为本申请实施例一个方位信息计算模型示意图。为便于理解，本示例性计算模型以移动设备P与网关O位于同一水平面，以需要计算智能设备B的方位信息为例进行介绍：
此时已经确定如下信息：
1、智能设备B的标点信息：即智能设备B到网关O的直线距离BO；智能设备B到网关水平面的投影点b2的垂直距离Bb2；以及智能设备B在网关水平面的投影点b2距离网关O的水平距离b2O。
可以确定如下信息：
1、移动设备P当前的标点信息：及移动设备P此时与网关O的直线距离PO，移动设备P到网关O水平面的垂直距离0，移动设备P在网关水平面的投影点到网关的水平距离PO。
移动设备P与网关O的直线距离PO通过无线测距技术即可确定；
移动设备P到网关O水平面面的垂直距离根据上述步骤S1501至S1503即可确定，此处不再赘述。
移动设备P在网关水平面的投影点到网关的水平距离PO根据三角形勾股定理即可确定。
2、移动设备P指向智能设备B的指向方向信息：即可确定指向方向线PB与网关水平面的角度∠BPb2，以及指向方向线PB在网关水平面的投影线与坐标轴的角度∠b2Pa1。
此信息由移动设备P中的方向传感器取得，再根据方向传感器中取得角度的水平面参考坐标轴的正方向是否与智能网络的整体三维位置信息构建过程中水平面坐标轴的正方向是否一致，来进行调整而确定。对移动设备指向方向信息的具体描述可参阅上述术语中的指向方向信息，此处不作赘述。
3、移动设备P到智能设备B的直线距离PB，以及移动设备P到智能设备B在网关水 平面的投影点b2的水平距离Pb2。
移动设备P到智能设备B的直线距离PB由移动设备P对智能设备B采用无线测距技术即可确定。
移动设备P到智能设备B在网关水平面的投影点b2的水平距离Pb2，在已知PB以及移动设备P当前的标点信息与智能设备B的标点信息的情况下，由三角形勾股定理即可确定Pb2。
根据上述信息需要确定如下信息：
1、智能设备B的方位信息：即智能设备B在网关水平面的投影点b2与网关O的连线b2O与网关水平面Y坐标轴的角度。
由于网关水平面上三角形b2OP的各边长b2O、PO、Pb2均已确定，则∠b2PO与∠b2OP可确定。又因为∠b2Pa1确定，则∠a1PO＝∠b2PO-∠b2Pa1，∠a1OP＝90°-∠a1PO，则∠b2OY可确定：∠b2OY＝∠b2OP-∠a1OP。
因此，采用上述方位信息计算模型即可确定出智能设备B的方位信息。
可以理解的是，若移动设备P与网关O不位于同一水平面上，只需要将移动设备P的相关数据转换到移动设备指向方向线PB与网关水平面的交点再进行计算即可，此处不作赘述。
可以理解的是，在确定了智能设备B的方位信息，又已确定智能设备B的标点信息的情况下，智能设备B相对于网关O的空间位置即被确定。
下面基于该方位信息计算模型对具体步骤进行描述：
(1)获取移动设备的当前指向方位信息及标点信息：
S1901、响应于用户触发指向操控功能的操作，移动设备启动指向操控功能；
指向操控功能用于根据用户持移动设备的指向，智能确定指向的智能设备为操控目标。
移动设备中可以预置有触发指向操控功能的操作方式，例如不同的触屏动作、按键或按键组合、语音等等。
示例性的，移动设备中可以预置摇一摇为触发指向操控功能的操作方式，则若移动设备检测到用户持移动设备摇一摇的动作，则启动指向操控功能。
S1902、响应于用户确定指向第一智能设备的操作，移动设备获取当前的指向方向信息；
确定指向目标智能设备的操作用于确定用户想要操控的目标为当前指向方向上的智能设备。此时用户指向第一智能设备，该第一智能设备接入网关的智能设备中的一个智能设备。
在移动设备的指向移动的过程中，可能其指向会经过很多的设备，因此移动设备中可以内置有确定指向目标智能设备的操作方式，例如不同的手势动作，停顿时间等等。
示例性的，移动设备中可以预置在一个指向方向上停顿1秒为确定指向目标智能设备的操作方式，在指向操控功能启动后，用户持移动设备指向某个智能设备并在该指向方向上停顿1秒，移动设备检测到该操作，则会获取移动设备当前的指向方向信息。
对指向方向信息的具体描述可参阅上述术语中对指向方向信息的描述，此处不作赘述。
S1903、移动设备和/或网关确定移动设备当前的标点信息；
移动设备和/或网关可以根据上述步骤S1501至S1503实时确定移动设备当前的标点信 息，此处不再赘述。
(2)确定移动设备指向的智能设备：
S1904、移动设备和/或网关确定可能指向的智能设备；
此时由于含有三维位置信息的智能网络还未构建完成，智能设备的具体空间位置均未完全确定，因此，移动设备和/或网关可以确定所有联网的智能设备均为此时可能指向的智能设备。
可选的，在本申请的另一些实施例中，移动设备和/或网关可以根据移动设备所在的位置，确定移动设备当前的使用场景，从而确定移动设备可能指向的智能设备。
示例性的，如移动设备和/或网关可以确定移动设备在卧室中，则可以确定移动设备可能指向的智能设备为窗帘、空调或台灯等。移动设备和/或网关可以确定移动设备在客厅，则可以确定移动设备可能指向的智能设备为电视或顶灯等。
S1905、移动设备判断可能指向的智能设备的数量是否为1；
若步骤S1904由移动设备执行，则移动设备可以根据步骤S1904确定的结果，直接执行步骤S1905。
若步骤S1904由网关执行，则网关可以在确定移动设备可能指向的智能设备后，将可能指向的智能设备的标识发送给移动设备，则移动设备在步骤S1905中能根据接收到的可能指向的智能设备的标识判断可能指向的智能设备的数量是否为1。
若数量不为1，则表示有多个可能指向的智能设备，无法完全确定用户想要操控的目标智能设备，则需要执行步骤S1906，将可能指向的智能设备显示出来供用户选择确定；
若数量为1，则表示已经可以确定用户想要操控的目标智能设备，则可以执行步骤S1907，直接确定该智能设备为操控目标。
S1906、移动设备显示可能指向的智能设备；
当移动设备确定可能指向的智能设备的数量不为1时，移动设备显示可能指向的智能设备，以供用户选择。
S1907、移动设备确定第一智能设备为操控目标；
当步骤S1905中移动设备确定可能指向的智能设备的数量为1时，或步骤S1906中移动设备显示可能指向的智能设备，然后检测到用户点击第一智能设备的操作时，移动设备确定用户持移动设备指向的第一智能设备为操控目标。
(3)确定移动设备指向的智能设备的方位信息：
S1908、移动设备和/或网关根据第一智能设备的标点信息、移动设备当前的指向方向信息和标点信息，确定第一智能设备相对于网关的方位信息。
根据第一智能设备的标点信息、移动设备当前的指向方向信息和标点信息，根据上述方位信息计算模型即可确定第一智能设备相对于网关的方位信息。
对方位信息的具体描述可参阅上述术语方位信息中的描述，此处不再赘述。
可以理解的是，由于第一智能设备的标点信息已确定，在确定了方位信息后，第一智能设备相对于网关的空间位置即可完全确定。反映在三维坐标系上，即第一智能设备在坐标系中的坐标点的值已确定。
重复执行步骤S1901～S1908，指向确定另外的智能设备为操控目标，即可确定至少两个智能设备相对于网关的方位信息。下一步，就需要确定出接入网关的所有智能设备的方位信息：
S1403、根据该至少两个智能设备相对于网关的方位信息及其标点信息，结合移动设备在至少两个移动位置点测量的与网关和各智能设备的距离，确定其他各智能设备相对于网关的方位信息；
下面对确定其他各智能设备相对于网关的方位信息的具体过程进行示例性描述：
如图21所示，该确定其他各智能设备相对于网关的方位信息的具体过程包含步骤S2101～2103。其中S2101可确定移动设备在至少两个移动位置点测量的与各智能设备的距离；S2102可确定这至少两个移动位置点的标点信息和方位信息；S2103可确定其他各智能设备的方位信息。
S2101、移动设备在至少两个移动位置点测量与网关和各智能设备的距离；
在至少两个移动位置点，移动设备可以通过无线测距技术测量与网关和各智能设备的距离。
可以理解的是，若为多个移动设备，则各移动设备可以在自己移动过的移动位置点测量与网关和各智能设备的距离后，将该距离信息共享使用。
S2102、移动设备和/或网关根据已确定的至少两个智能设备相对于网关的方位信息及其标点信息，以及该至少两个移动位置点距该至少两个智能设备和网关的距离，确定该至少两个移动位置点相对于网关的方位信息及其标点信息；
上述步骤S1401已经确定了各智能设备的标点信息，上述步骤S1402已经确定了至少两个智能设备的方位信息。在步骤S2101中已经确定了在至少两个移动位置点到各智能设备和网关的距离，即已知三维空间中三点(至少两个智能设备和网关)的空间位置以及这三点到某一移动位置点的距离。以这三点为球心，这三点到一移动位置点的距离为球半径，三个球的交点即为这个移动位置点的空间位置，即确定了移动位置点相对于网关的方位信息及其标点信息。
如图22所示，为确定移动位置点的方位信息及其标点信息的一个示例示意图。为便于理解，以移动位置点A与网关O位于同一水平面为例。现已知智能设备B和智能设备C的标点信息与方位信息，即智能设备B和C在三维空间中相对于作为原点的网关O的空间位置确定。又已知移动位置点A到智能设备B的距离AB、到智能设备C的距离AC以及到网关O的距离AO。则在网关水平面上网关O，智能设备B的投影点b1，智能设备C的投影点b2的位置确定，同时Ab1、AO、Ab2确定。因此，移动位置点A的方位信息及其标点信息即可由以O为圆心、AO为半径的圆，以b1为圆心、Ab1为半径的圆，以及以b2为圆心，Ab2为半径的圆的交点确定。
S2103、移动设备和/或网关根据该至少两个移动位置点相对于网关的方位信息及其标点信息，以及与其他各智能设备的距离，确定其他各智能设备相对于网关的方位信息。
该其他各智能设备，用于表示接入了网关但当前还未确定方位信息的智能设备。
步骤S2101中确定了该至少两个移动位置点到各智能设备与网关的距离，步骤S2102 中确定了该至少两个移动位置点的空间位置。因此在三维空间中，以网关为参考点，网关、该至少两个移动位置点的空间位置确定，且已知各智能设备分别到这三点的距离。分别以这三点为球心，以距离为球半径，交点即为各智能设备的空间位置，即确定了其他各智能设备相对于网关的方位信息。
如图23所示，为确定其他智能设备的方位信息的一个示例性示意图。为便于理解，以移动位置点A1、A2与网关O位于同一水平面为例。现已知智能设备D的标点信息，即Dd1、DO、Od1均确定。同时，A1D，A2D也确定，因此，A1d1，A2d2也确定。因此，智能设备D的方位信息即可由以O为圆心、Od1为半径的圆，以A1为圆心、A1d1为半径的圆，以及以A2为圆心、A2d2为半径的圆的交点确定。
其他各智能设备相对于网关的方位信息确定后，即含有三维位置信息的智能网络构建完成，所有接入网关的智能设备相对于网关的空间位置均已确定。基于此，即可进行指向定位智能确定操控目标：
S1404、移动设备和/或网关根据移动设备当前的指向方向信息、标点信息和方位信息，确定移动设备当前指向方向上的智能设备为操控目标。
所有接入网关的智能设备相对于网关的空间位置均已确定，用户手持移动设备指向某个方向时，移动设备和/或网关可以根据该指向方向，确定该方向上的智能设备为操控目标。
下面对指向确定操控目标的具体过程进行示例性描述：
如图24所示，该指向确定操控目标的具体过程包含步骤S2401～2407。其中S2401～S2403确定移动设备当前的指向方位信息、标点信息和方位信息；S2404～S2407确定操控目标。
首先介绍确定指向目标的计算模型(以下简称指向目标计算模型)：
如图25所示，为本申请实施例一个指向目标计算模型示意图。为便于理解，本示例性计算模型以移动设备P与网关O位于同一水平面，以移动设备P指向智能设备B为例进行介绍：
此时已确定如下信息：
1、智能设备B、C、D的标点信息和方位信息。
可以确定如下信息：
1、移动设备P此时的指向方向信息；
可以通过移动设备中的方向传感器获取此时的指向方向信息，具体可参阅上述术语中对指向方向信息的描述，此处不再赘述。
2、移动设备P此时的标点信息和方位信息。
移动设备P可以采用无线测距技术确定与至少两个智能设备和网关的距离，然后根据上述S2102中确定移动位置点的标点信息和方位信息类似的方法，确定移动设备P此时的标点信息和方位信息，此处不再赘述。
根据上述信息需要确定如下信息：
1、移动设备P的指向方向线穿过的智能设备。
智能设备B、C、D的标点信息和方位信息确定，在以网关O为原点的三维直角坐标轴中用数据表示，即B、C、D这三个坐标点的坐标值均确定，移动设备P的坐标值也确定。移动设备P此时的指向方向信息确定，即移动设备P的指向方向线与网关水平面的角度∠BPb1、以及指向方向线在网关水平面的投影线b1P与坐标轴的角度∠a1Pb1确定，由此，可构建移动设备P此时的指向方向线的方程。再带入各智能设备的坐标点到该指向方向线的方程中进行计算，即可确定哪个智能设备在该指向方向线上。如图25所示，可确定智能设备B在该指向方向线上。
因此，采用上述指向目标计算模型可确定移动设备指向方向上的智能设备。
下面基于该指向目标计算模型对具体步骤进行描述：
(1)确定移动设备当前的指向方向信息、标点信息和方位信息：
S2401、响应于用户触发指向操控功能的操作，移动设备启动指向操控功能；
与步骤S1901类似，此处不作赘述。
S2402、响应于用户确定指向第二智能设备的操作，移动设备获取当前的指向方向信息；
与步骤S1902类似，此处不作赘述。
S2403、移动设备和/或网关确定移动设备当前的标点信息和方向信息；
由于所有智能设备的标点信息和方位信息均已确定，则移动设备可以在该位置通过无线测距技术确定与至少两个智能设备及网关的距离，然后采用步骤S2102中确定移动位置点的标点信息和方位信息的方法，确定移动设备当前的标点信息和方位信息，此处不作赘述。
(2)确定操控目标：
S2404、移动设备和/或网关确定可能指向的智能设备；
此时三维位置信息已经构建完成，在确定了移动设备当前的指向方向信息、标点信息和方位信息的情况下，移动设备和/或网关可以采用上述指向目标计算模型，确定可能指向的智能设备。
可选的，在本申请的另一些实施例中，移动设备和/或网关在确定可能指向的智能设备时，除了可以根据上述指向目标计算模型进行确定，同时，还可以根据移动设备所在的位置，确定移动设备当前的使用场景，对根据指向目标计算模型确定的结果进行进一步的筛选及确认，从而最终确定移动设备可能指向的智能设备。
示例性的，如移动设备和/或网关通过该执行目标计算模型确定可能指向的智能设备为电视和台灯，同时，确定移动设备当前位于客厅，而客厅没有台灯，台灯在卧室，则可以最终确定移动设备可能指向的智能设备为电视。
S2405、移动设备判断可能指向的智能设备的数量是否为1；
与步骤S1905类似，此处不再赘述。
S2406、移动设备显示可能指向的智能设备；
当移动设备确定可能指向的智能设备的数量不为1时，移动设备显示可能指向的智能设备，以供用户选择。
S2407、移动设备确定第二智能设备为操控目标。
当步骤S2405中移动设备确定可能指向的智能设备的数量为1时，或步骤S1906中移 动设备显示可能指向的智能设备，然后检测到用户点击第二智能设备的操作时，移动设备确定用户持移动设备指向的第二智能设备为操控目标。
可以理解的是，若S2405中移动设备确定可能指向的智能设备的数量不为1，则可能是由于三维位置信息构建的不够准确，则在执行步骤S2407后，可以重复执行步骤S1401至S1403构建智能网络中三维位置信息的过程，使得三维位置信息能得到优化从而更加准确。
上述实施例中，移动终端、网关与智能设备协同，自主构建含有三维位置信息的智能网络，在完成网络构建后，即可智能的根据用户持移动设备的指向确定操控目标，极大的简化了确定操控目标的过程，提升了人机交互的易用性。
实施例2：
在本申请的一些实施例中，在移动设备确定操控目标后，移动设备可以有多种不同的触发方式对操控目标进行操控：
(1)显示操控目标的操控界面，基于用户的触控操作，触发相应的操作指令。
在移动设备确定操控目标后，可以直接显示该操控目标的操控界面，用户可以选择该操控界面上的项目进行点击或调整操作等触控操作，基于该该操作，则可以出发相应的操控指令。
示例性的，在用户持移动设备指向空调后，移动设备确定空调为操控目标，显示该空调的操控界面。用户点击开机，则触发空调的开机指令。移动设备通过网关或通过自身的红外线发射器将该开机指令发送给空调，空调接收到该开机指令后，执行开机操作。
(2)监测用户动作，基于用户的动作，触发相应的操控指令。
在移动设备确定操控目标后，可以监测用户的动作，基于用户的动作，根据预设的动作与操控指令的对应关系，移动设备科触发相应的操控指令。
示例性的，若移动设备中预置了确定操控目标为空调后摇一摇的动作对应开机指令。在用户持移动设备指向空调后，移动设备确定空调为操控目标。移动设备监测用户的动作，监测到用户持移动设备进行了摇一摇的动作，则移动设备触发空调的开机指令。移动设备通过网关或通过自身的红外线发射器将该开机指令发送给空调，空调接收到该开机指令后，执行开机操作。
可以理解的是，在移动设备确定操控目标后，还可以有其他的触发方式对操控目标进行操控，这些触发方式可以单独使用，也可以相互组合使用，此处不作限定。
在本申请的一些实施例中，在触发相应的操控指令后，移动设备可以通过网关将该操控指令发送给操控目标。
在本申请的一些实施例中，在触发相应的操控指令后，移动设备也可以通过自身的红外线发射器将操控指令发送给操控目标。
上述实施例中，有些步骤由移动设备和/或网关设备来执行，即其既可以由移动设备执行，也可以由网关设备执行，还可以由移动设备和网关协同执行。
优选的，在本申请的一些实施例中，可以由移动设备作为主计算中心，网关和智能设 备仅提供必要的数据采集功能。
实施例3：
如图26所示，下面对使用移动设备作为主计算中心且三维位置信息存储在移动设备中的情况下，本申请实施例中确定操控目标的方法进行具体描述：
S2601、移动设备确定各智能设备的标点信息；
与步骤S1401类似，此处不再赘述。
此过程具体可参阅如图27所示的示例性描述：
S2701、移动设备确定三个移动位置点之间的距离；
S2702、移动设备确定这三个移动位置点到网关的直线距离；
S2703、移动设备确定移动设备水平面和网关水平面的垂直距离；
S2704、移动设备确定这三个移动位置点到各智能设备的直线距离；
S2705、移动设备确定移动设备水平面和各智能设备水平面的垂直距离；
S2706、移动设备确定各个智能设备到网关水平面的垂直距离；
S2707、网关确定到各智能设备的直线距离；
S2708、网关将到各智能设备的直线距离发送给移动设备；
S2709、移动设备确定各智能设备在网关水平面的投影点到网关的水平距离。
步骤S2701～S2709的具体描述可参阅步骤S1501～S1508，此处不再赘述。
S2602、根据移动设备对至少两个智能设备的指向操作，移动设备确定该至少两个智能设备相对于网关的方位信息；
与步骤S1402类似，此处不再赘述。
此过程具体可参阅如图28所示的示例性描述：
S2801、响应于用户触发指向操控功能的操作，移动设备启动指向操控功能；
S2802、响应于用户确定指向第一智能设备的操作，移动设备获取当前的指向方向信息；
S2803、移动设备确定移动设备当前的标点信息；
S2804、移动设备确定可能指向的智能设备；
S2805、移动设备判断可能指向的智能设备的数量是否为1；
S2806、移动设备显示可能指向的智能设备；
S2807、移动设备确定第一智能设备为操控目标；
S2808、移动设备根据第一智能设备的标点信息、移动设备当前的指向方向信息和标点信息，确定第一智能设备相对于网关的方位信息。
步骤S2801～S2808的具体描述可参阅步骤S1901～S1908，此处不再赘述。
S2603、根据该至少两个智能设备相对于网关的方位信息及其标点信息，结合移动设备在至少两个移动位置点测量的与网关和各智能设备的距离，移动设备确定其他各智能设备相对于网关的方位信息；
此过程具体可参阅如图29所示的示例性描述：
S2901、移动设备在至少两个移动位置点测量与网关和各智能设备的距离；
S2902、移动设备根据已确定的至少两个智能设备相对于网关的方位信息及其标点信息，以及该至少两个移动位置点距该至少两个智能设备和网关的距离，确定该至少两个移动位置点相对于网关的方位信息及其标点信息；
S2903、移动设备根据该至少两个移动位置点相对于网关的方位信息及其标点信息，以及与其他各智能设备的距离，确定其他各智能设备相对于网关的方位信息。
步骤S2901～S2903的具体描述可参阅步骤S2101～S2103，此处不再赘述。
S2604、移动设备根据移动设备当前的指向方向信息、标点信息和方位信息，确定移动设备当前指向方向上的智能设备为操控目标。
此过程具体可参阅如图30所示的示例性描述：
S3001、响应于用户触发指向操控功能的操作，移动设备启动指向操控功能；
S3002、响应于用户确定指向第二智能设备的操作，移动设备获取当前的指向方向信息；
S3003、移动设备确定移动设备当前的标点信息和方向信息；
S3004、移动设备确定可能指向的智能设备；
S3005、移动设备判断可能指向的智能设备的数量是否为1；
S3006、移动设备显示可能指向的智能设备；
S3007、移动设备确定第二智能设备为操控目标。
步骤S3001～S3007的具体描述可参阅步骤S2401～S2407，此处不再赘述。
本申请实施例中，使用移动设备作为主计算中心且将三维位置信息存储在移动设备中，由于移动设备具有较强的运算能力，能更快的确定出三维位置信息且更快的对用户的操作作出响应。
优选的，在本申请的一些实施例中，可以由网关作为主计算中心，移动设备和智能设备仅提供必要的数据采集功能。
实施例4：
如图31所示，下面对使用网关作为主计算中心且三维位置信息存储在网关中的情况下，本申请实施例中确定操控目标的方法进行具体描述：
S3101、网关确定各智能设备的标点信息；
此过程具体可参阅如图32所示的示例性描述：
S3201、移动设备确定三个移动位置点之间的距离；
S3202、移动设备确定这三个移动位置点到网关的直线距离；
S3203、移动设备将这三个移动位置点之间的距离及到网关的直线距离发送给网关；
S3204、网关确定移动设备水平面和网关水平面的垂直距离；
S3205、移动设备确定这三个移动位置点到各智能设备的直线距离；
S3206、移动设备将这三个移动位置点到各智能设备的直线距离发送给网关；
S3207、网关确定移动设备水平面和各智能设备水平面的垂直距离；
S3208、网关确定各智能设备到网关水平面的垂直距离；
S3209、网关确定到各智能设备的直线距离；
S3210、网关确定各智能设备在网关水平面的投影点到网关的水平距离。
步骤S3201～S3210的具体描述可参阅步骤S1501～S1508，此处不再赘述。
S3102、根据移动设备对至少两个智能设备的指向操作，网关确定该至少两个智能设备相对于网关的方位信息；
此过程具体可参阅如图33所示的示例性描述：
S3301、响应于用户触发指向操控功能的操作，移动设备启动指向操控功能；
S3302、响应于用户确定指向第一智能设备的操作，移动设备获取当前的指向方向信息；
S3303、移动设备确定移动设备当前的标点信息；
S3304、移动设备将移动设备当前的指向方向信息和标点信息发送给网关；
S3305、网关确定可能指向的智能设备；
S3306、网关将可能指向的智能设备的标识发送给移动设备；
S3307、移动设备判断可能指向的智能设备的数量是否为1；
S3308、移动设备显示可能指向的智能设备；
S3309、移动设备确定第一智能设备为操控目标；
S3310、移动设备发送第一智能设备的标识到网关；
S3311、网关根据第一智能设备的标点信息，移动设备当前的指向方向信息和标点信息，确定第一智能设备相对于网关的方位信息。
步骤S3301～S3311的具体描述可参阅步骤S1901～S1908，此处不再赘述。
S3103、根据该至少两个智能设备相对于网关的方位信息及其标点信息，结合移动设备在至少两个移动位置点测量的与网关和各智能设备的距离，网关确定其他各智能设备相对于网关的方位信息；
此过程具体可参阅如图34所示的示例性描述：
S3401、移动设备在至少两个移动位置点测量与网关和各智能设备的距离；
S3402、移动设备将在该至少两个移动位置点测量的与网关和各智能设备的距离发送给网关；
S3403、网关根据已确定的至少两个智能设备相对于网关的方位信息及其标点信息，以及该至少两个移动位置点与该至少两个智能设备和网关的距离，确定该至少两个移动位置点相对于网关的方位信息及其标点信息；
S3404、网关根据该至少两个移动位置点相对于网关的方位信息及其标点信息，以及与其他各智能设备的距离，确定其他各智能设备相对于网关的方位信息。
步骤S3401～S3404的具体描述可参阅步骤S2101～S2103，此处不再赘述。
S3104、根据移动设备的当前指向方向信息、标点信息和方位信息，网关确定当前指向方向上的智能设备为操控目标。
此过程具体可参阅如图35所示的示例性描述：
S3501、响应于用户触发指向操控功能的操作，移动设备启动指向操控功能；
S3502、响应于用户确定指向第二智能设备的操作，移动设备获取当前的指向方向信息；
S3503、移动设备确定移动设备当前的标点信息和方向信息；
S3504、移动设备将移动设备当前的指向方向信息和标点信息发送给网关；
S3505、网关确定可能指向的智能设备；
S3506、网关将可能指向的智能设备的标识发送给移动设备；
S3507、移动设备判断可能指向的智能设备的数量是否为1；
S3508、移动设备显示可能指向的智能设备；
S3509、移动设备确定第二智能设备为操控目标。
步骤S3501～S3509的具体描述可参阅步骤S2401～S2407，此处不再赘述。
本申请实施例中，使用网关作为主计算中心且将三维位置信息存储在网关中，使得新加入的移动设备仅需与网关交互交互，即可实现指向定位功能，而不需要移动设备自身进行大量计算，提升了指向定位功能的易用性。
上述实施例中所用，根据上下文，术语“当…时”可以被解释为意思是“如果…”或“在…后”或“响应于确定…”或“响应于检测到…”。类似地，根据上下文，短语“在确定…时”或“如果检测到(所陈述的条件或事件)”可以被解释为意思是“如果确定…”或“响应于确定…”或“在检测到(所陈述的条件或事件)时”或“响应于检测到(所陈述的条件或事件)”。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一个计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线)或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存取的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如DVD)、或者半导体介质(例如固态硬盘)等。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，该流程可以由计算机程序来指令相关的硬件完成，该程序可存储于计算机可读取存储介质中，该程序在执行时，可包括如上述各方法实施例的流程。而前述的存储介质包括：ROM或随机存储记忆体RAM、磁碟或者光盘等各种可存储程序代码的介质。

Claims (31)

  1. 一种确定操控目标的方法，其特征在于，包括：
    移动设备和/或网关确定各智能设备的标点信息；其中，所述移动设备与所述各智能设备通过所述网关互联，所述标点信息包括到所述网关的直线距离以及到网关水平面的垂直距离；
    根据所述移动设备对至少两个智能设备的指向操作，所述移动设备和/或所述网关确定所述至少两个智能设备相对于所述网关的方位信息，所述方位信息用于表示在网关水平面上的投影相对于所述网关的方位；
    根据所述至少两个智能设备相对于网关的方位信息及其标点信息，结合所述移动设备在至少两个移动位置点测量的与所述网关和各智能设备的距离，所述移动设备和/或所述网关确定其他各智能设备相对于所述网关的方位信息，所述移动位置点为所述移动设备在移动过程中经过的位置点；
    所述移动设备和/或所述网关根据所述移动设备当前的指向方向信息、标点信息和方位信息，确定所述移动设备当前指向方向上的智能设备为操控目标。
  2. 根据权利要求1所述的方法，其特征在于，所述移动设备和/或网关确定各智能设备的标点信息，具体包括：
    所述移动设备确定三个移动位置点之间的距离和所述三个移动位置点到各智能设备的直线距离，其中所述三个移动位置点不在同一条直线上；
    所述移动设备和/或所述网关根据所述三个移动位置点之间的距离和所述三个移动位置点到各智能设备的直线距离，确定所述各智能设备的标点信息。
  3. 根据权利要求2所述的方法，其特征在于，所述移动设备和/或所述网关根据所述三个移动位置点之间的距离和所述三个移动位置点到各智能设备的直线距离，确定所述各智能设备的标点信息，具体包括：
    所述移动设备和/或所述网关根据所述三个移动位置点之间的距离和所述三个移动位置点到各智能设备的直线距离，以及垂直高度计算模型，确定所述各智能设备的标点信息；所述垂直高度计算模型用于在已知三菱锥各边长的条件下确定三菱锥的高度。
  4. 根据权利要求1至3中任一项所述的方法，其特征在于，所述根据所述移动设备对至少两个智能设备的指向操作，所述移动设备和/或所述网关确定所述至少两个智能设备相对于所述网关的方位信息，具体包括：
    响应于用户持所述移动设备指向第一智能设备的操作，所述移动设备获取当前的指向方向信息及标点信息，所述指向方向信息包括移动设备的仰角以及移动设备指向的方位，所述第一智能设备为与所述网关互联的智能设备中的一个智能设备；
    响应于用户确定所述第一智能设备为操控目标的操作，所述移动设备和/或所述网关根据第一智能设备的标点信息、所述当前的指向方向信息及标点信息，确定所述第一智能设备相对于所述网关的方位信息；
    采用上述相同的方法，所述移动设备和/或所述网关确定第二智能设备相对于所述网关的方位信息，所述第二智能设备为与所述网关互联的智能设备中与所述第一智能设备不同的另一个智能设备。
  5. 根据权利要求4所述的方法，其特征在于，所述移动设备和/或所述网关根据第一智能设备的标点信息、所述当前的指向方向信息及标点信息，确定所述第一智能设备相对于所述网关的方位信息，具体包括：
    所述移动设备和/或所述网关根据第一智能设备的标点信息、所述当前的指向方向信息及标点信息，以及方位信息计算模型，确定所述第一智能设备相对于所述网关的方位信息；所述方位信息计算模型用于在已知空间中指向点和被指向点的标点信息，以及所述指向点指向所述被指向点时的指向方位信息的条件下确定被指向点相对于所述网关的方位信息。
  6. 根据权利要求1至5中任一项所述的方法，其特征在于，所述根据所述至少两个智能设备相对于网关的方位信息及其标点信息，结合所述移动设备在至少两个移动位置点测量的与所述网关和各智能设备的距离，所述移动设备和/或所述网关确定其他各智能设备相对于所述网关的方位信息，具体包括：
    所述移动设备在至少两个移动位置点测量与所述网关和所述各智能设备的距离；
    所述移动设备和/或所述网关根据已确定的所述至少两个智能设备相对于所述网关的方位信息及其标点信息，以及所述至少两个移动位置点距所述至少两个智能设备和所述网关的距离，确定所述至少两个移动位置点相对于所述网关的方位信息及其标点信息；
    所述移动设备和/或所述网关根据所述至少两个移动位置点相对于网关的方位信息及其标点信息，以及所述至少两个移动位置点与除所述至少两个智能设备外的其他各智能设备的距离，确定所述其他各智能设备相对于所述网关的方位信息。
  7. 根据权利要求1至6中任一项所述的方法，其特征在于，所述移动设备和/或所述网关根据所述移动设备当前的指向方向信息、标点信息和方位信息，确定所述移动设备当前指向方向上的智能设备为操控目标，具体包括：
    响应于用户持所述移动设备指向智能设备的操作，所述移动设备和/或所述网关确定所述移动设备当前的指向方向信息、标点信息和方位信息；
    所述移动设备和/或所述网关根据所述移动设备当前的指向方向信息、标点信息和方位信息、各智能设备的标点信息和方位信息，以及指向目标计算模型，确定所述移动设备当前指向方向上的智能设备为操控目标；所述指向目标计算模型用于在已知空间中各点的标点信息和方位信息，以及指向点指向被指向点的指向方向信息的条件下确定被指向点。
  8. 根据权利要求1至7中任一项所述的方法，其特征在于，所述移动设备和/或所述网关根据所述移动设备当前的指向方向信息、标点信息和方位信息，确定所述移动设备当前指向方向上的智能设备为操控目标的步骤之前，所述方法还包括：
    响应于用户触发指向操控功能的操作，所述移动设备启动指向操控功能。
  9. 根据权利要求1至8中任一项所述的方法，其特征在于，所述移动设备和/或所述网关根据所述移动设备当前的指向方向信息、标点信息和方位信息，确定所述移动设备当前指向方向上的智能设备为操控目标的步骤之后，所述方法还包括：
    所述移动设备显示操控目标的操控界面，响应于用户的触控操作，触发相应的操作指令；
    或，所述移动设备监测用户动作，响应于用户的动作，触发相应的操控指令。
  10. 一种移动设备，其特征在于，所述移动设备包括：一个或多个处理器和存储器；
    所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述移动设备执行：
    确定各智能设备的标点信息；其中，所述移动设备与所述各智能设备通过网关互联，所述标点信息包括到所述网关的直线距离以及到网关水平面的垂直距离；
    根据所述移动设备对至少两个智能设备的指向操作，确定所述至少两个智能设备相对于所述网关的方位信息，所述方位信息用于表示在网关水平面上的投影相对于所述网关的方位；
    根据所述至少两个智能设备相对于网关的方位信息及其标点信息，结合所述移动设备在至少两个移动位置点测量的与所述网关和各智能设备的距离，确定其他各智能设备相对于所述网关的方位信息，所述移动位置点为所述移动设备在移动过程中经过的位置点；
    根据所述移动设备当前的指向方向信息、标点信息和方位信息，确定所述移动设备当前指向方向上的智能设备为操控目标。
  11. 根据权利要求10所述移动设备，其特征在于，所述一个或多个处理器，具体用于调用所述计算机指令以使得所述移动设备执行：
    确定三个移动位置点之间的距离和所述三个移动位置点到各智能设备的直线距离，其中所述三个移动位置点不在同一条直线上；
    根据所述三个移动位置点之间的距离和所述三个移动位置点到各智能设备的直线距离，确定所述各智能设备的标点信息。
  12. 根据权利要求11所述的移动设备，其特征在于，所述一个或多个处理器，具体用于调用所述计算机指令以使得所述移动设备执行：
    根据所述三个移动位置点之间的距离和所述三个移动位置点到各智能设备的直线距离，以及垂直高度计算模型，确定所述各智能设备的标点信息；所述垂直高度计算模型用于在已知三菱锥各边长的条件下确定三菱锥的高度。
  13. 根据权利要求10至12中任一项所述的移动设备，其特征在于，所述一个或多个处理器，具体用于调用所述计算机指令以使得所述移动设备执行：
    响应于用户持所述移动设备指向第一智能设备的操作，获取当前的指向方向信息及标点信息，所述指向方向信息包括移动设备的仰角以及移动设备指向的方位，所述第一智能设备为与所述网关互联的智能设备中的一个智能设备；
    响应于用户确定所述第一智能设备为操控目标的操作，根据第一智能设备的标点信息、所述当前的指向方向信息及标点信息，确定所述第一智能设备相对于所述网关的方位信息；
    采用上述相同的步骤，确定第二智能设备相对于所述网关的方位信息，所述第二智能设备为与所述网关互联的智能设备中与所述第一智能设备不同的另一个智能设备。
  14. 根据权利要求13所述的移动设备，其特征在于，所述一个或多个处理器，具体用于调用所述计算机指令以使得所述移动设备执行：
    根据第一智能设备的标点信息、所述当前的指向方向信息及标点信息，以及方位信息计算模型，确定所述第一智能设备相对于所述网关的方位信息；所述方位信息计算模型用于在已知空间中指向点和被指向点的标点信息，以及所述指向点指向所述被指向点时的指 向方位信息的条件下确定被指向点相对于所述网关的方位信息。
  15. 根据权利要求10至14中任一项所述的移动设备，其特征在于，所述一个或多个处理器，具体用于调用所述计算机指令以使得所述移动设备执行：
    在至少两个移动位置点测量与所述网关和所述各智能设备的距离；
    根据已确定的所述至少两个智能设备相对于所述网关的方位信息及其标点信息，以及所述至少两个移动位置点距所述至少两个智能设备和所述网关的距离，确定所述至少两个移动位置点相对于所述网关的方位信息及其标点信息；
    根据所述至少两个移动位置点相对于网关的方位信息及其标点信息，以及所述至少两个移动位置点与除所述至少两个智能设备外的其他各智能设备的距离，确定所述其他各智能设备相对于所述网关的方位信息。
  16. 根据权利要求10至15中任一项所述的移动设备，其特征在于，所述一个或多个处理器，具体用于调用所述计算机指令以使得所述移动设备执行：
    响应于用户持所述移动设备指向智能设备的操作，确定所述移动设备当前的指向方向信息、标点信息和方位信息；
    根据所述移动设备当前的指向方向信息、标点信息和方位信息、各智能设备的标点信息和方位信息，以及指向目标计算模型，确定所述移动设备当前指向方向上的智能设备为操控目标；所述指向目标计算模型用于在已知空间中各点的标点信息和方位信息，以及指向点指向被指向点的指向方向信息的条件下确定被指向点。
  17. 根据权利要求10至16中任一项所述的移动设备，其特征在于，所述一个或多个处理器，还用于调用所述计算机指令以使得所述移动设备执行：
    响应于用户触发指向操控功能的操作，启动指向操控功能。
  18. 根据权利要求10至17中任一项所述的移动设备，其特征在于，所述一个或多个处理器，还用于调用所述计算机指令以使得所述移动设备执行：
    显示操控目标的操控界面，响应于用户的触控操作，触发相应的操作指令；
    或，监测用户动作，响应于用户的动作，触发相应的操控指令。
  19. 一种芯片，所述芯片应用于移动设备，所述芯片包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述移动设备执行如权利要求1-9中任一项所述的方法。
  20. 一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在移动设备上运行时，使得所述移动设备执行如权利要求1-9中任一项所述的方法。
  21. 一种计算机可读存储介质，包括指令，其特征在于，当所述指令在移动设备上运行时，使得所述移动设备执行如权利要求1-9中任一项所述的方法。
  22. 一种网关，其特征在于，所述网关包括：一个或多个处理器和存储器；
    所述存储器与所述一个或多个处理器耦合，所述存储器用于存储计算机程序代码，所述计算机程序代码包括计算机指令，所述一个或多个处理器调用所述计算机指令以使得所述网关执行：
    确定各智能设备的标点信息；其中，移动设备与所述各智能设备通过所述网关互联，所述标点信息包括到所述网关的直线距离以及到网关水平面的垂直距离；
    根据所述移动设备对至少两个智能设备的指向操作，确定所述至少两个智能设备相对 于所述网关的方位信息，所述方位信息用于表示在网关水平面上的投影相对于所述网关的方位；
    根据所述至少两个智能设备相对于网关的方位信息及其标点信息，结合所述移动设备在至少两个移动位置点测量的与所述网关和各智能设备的距离，确定其他各智能设备相对于所述网关的方位信息，所述移动位置点为所述移动设备在移动过程中经过的位置点；
    根据所述移动设备当前的指向方向信息、标点信息和方位信息，确定所述移动设备当前指向方向上的智能设备为操控目标。
  23. 根据权利要求22所述的网关，其特征在于，所述一个或多个处理器，具体用于调用所述计算机指令以使得所述网关执行：
    接受所述移动设备发送的三个移动位置点之间的距离和所述三个移动位置点到各智能设备的直线距离，其中所述三个移动位置点不在同一条直线上；
    根据所述三个移动位置点之间的距离和所述三个移动位置点到各智能设备的直线距离，确定所述各智能设备的标点信息。
  24. 根据权利要求23所述的网关，其特征在于，所述一个或多个处理器，具体用于调用所述计算机指令以使得所述网关执行：
    根据所述三个移动位置点之间的距离和所述三个移动位置点到各智能设备的直线距离，以及垂直高度计算模型，确定所述各智能设备的标点信息；所述垂直高度计算模型用于在已知三菱锥各边长的条件下确定三菱锥的高度。
  25. 根据权利要求22至24中任一项所述的网关，其特征在于，所述一个或多个处理器，具体用于调用所述计算机指令以使得所述网关执行：
    当用户持所述移动设备指向第一智能设备后，接收所述移动设备发送的当前的指向方向信息及标点信息，所述指向方向信息包括移动设备的仰角以及移动设备指向的方位，所述第一智能设备为与所述网关互联的智能设备中的一个智能设备；
    响应于用户确定所述第一智能设备为操控目标的操作，根据第一智能设备的标点信息、所述当前的指向方向信息及标点信息，确定所述第一智能设备相对于所述网关的方位信息；
    采用上述相同的步骤，确定第二智能设备相对于所述网关的方位信息，所述第二智能设备为与所述网关互联的智能设备中与所述第一智能设备不同的另一个智能设备。
  26. 根据权利要求25所述的网关，其特征在于，所述一个或多个处理器，具体用于调用所述计算机指令以使得所述网关执行：
    根据第一智能设备的标点信息、所述当前的指向方向信息及标点信息，以及方位信息计算模型，确定所述第一智能设备相对于所述网关的方位信息；所述方位信息计算模型用于在已知空间中指向点和被指向点的标点信息，以及所述指向点指向所述被指向点时的指向方位信息的条件下确定被指向点相对于所述网关的方位信息。
  27. 根据权利要求22至26中一项所述的网关，其特征在于，所述一个或多个处理器，具体用于调用所述计算机指令以使得所述网关执行：
    接收所述移动设备发送的在至少两个移动位置点测量与所述网关和所述各智能设备的距离；
    根据已确定的所述至少两个智能设备相对于所述网关的方位信息及其标点信息，以及 所述至少两个移动位置点距所述至少两个智能设备和所述网关的距离，确定所述至少两个移动位置点相对于所述网关的方位信息及其标点信息；
    根据所述至少两个移动位置点相对于网关的方位信息及其标点信息，以及所述至少两个移动位置点与除所述至少两个智能设备外的其他各智能设备的距离，确定所述其他各智能设备相对于所述网关的方位信息。
  28. 根据权利要求22至27中任一项所述的网关，其特征在于，所述一个或多个处理器，具体用于调用所述计算机指令以使得所述网关执行：
    响应于用户持所述移动设备指向智能设备的操作，确定所述移动设备当前的指向方向信息、标点信息和方位信息；
    根据所述移动设备当前的指向方向信息、标点信息和方位信息、各智能设备的标点信息和方位信息，以及指向目标计算模型，确定所述移动设备当前指向方向上的智能设备为操控目标；所述指向目标计算模型用于在已知空间中各点的标点信息和方位信息，以及指向点指向被指向点的指向方向信息的条件下确定被指向点。
  29. 一种芯片，所述芯片应用于网关，所述芯片包括一个或多个处理器，所述处理器用于调用计算机指令以使得所述移动设备执行如权利要求1-7中任一项所述的方法。
  30. 一种包含指令的计算机程序产品，其特征在于，当所述计算机程序产品在网关上运行时，使得所述网关执行如权利要求1-7中任一项所述的方法。
  31. 一种计算机可读存储介质，包括指令，其特征在于，当所述指令在网关上运行时，使得所述网关执行如权利要求1-7中任一项所述的方法。
PCT/CN2021/088395 2020-04-26 2021-04-20 一种确定操控目标的方法、移动设备及网关 WO2021218707A1 (zh)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2022564765A JP7437534B2 (ja) 2020-04-26 2021-04-20 制御ターゲット、モバイル・デバイス、及びゲートウェイを決定するための方法
EP21797539.0A EP4131859A4 (en) 2020-04-26 2021-04-20 METHOD FOR DETERMINING ACTIVATED OBJECT, AND MOBILE DEVICE AND GATEWAY
US17/920,646 US20230141356A1 (en) 2020-04-26 2021-04-20 Method for determining control target, mobile device, and gateway

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN202010340394.0A CN113572665B (zh) 2020-04-26 2020-04-26 一种确定操控目标的方法、移动设备及网关
CN202010340394.0 2020-04-26

Publications (1)

Publication Number Publication Date
WO2021218707A1 true WO2021218707A1 (zh) 2021-11-04

Family

ID=78157646

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2021/088395 WO2021218707A1 (zh) 2020-04-26 2021-04-20 一种确定操控目标的方法、移动设备及网关

Country Status (5)

Country Link
US (1) US20230141356A1 (zh)
EP (1) EP4131859A4 (zh)
JP (1) JP7437534B2 (zh)
CN (1) CN113572665B (zh)
WO (1) WO2021218707A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023103948A1 (zh) * 2021-12-08 2023-06-15 华为技术有限公司 一种显示方法及电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114500142B (zh) * 2022-01-29 2023-10-31 海信视像科技股份有限公司 一种控制装置及家电设备的控制方法
CN114866598B (zh) * 2022-04-29 2023-09-19 安徽宝葫芦信息科技集团股份有限公司 基于微服务架构和usb接口的模块动态扩展、授权系统

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200632A (zh) * 2014-09-16 2014-12-10 广东欧珀移动通信有限公司 穿戴式设备结合智能移动终端实现遥控功能的方法与系统
CN104460330A (zh) * 2014-11-04 2015-03-25 宁波工程学院 一种基于室内定位与电子罗盘的增强现实与远程控制方法
CN104635505A (zh) * 2015-01-19 2015-05-20 赵树乔 一种与室内智能设备的交互方法
CN107493311A (zh) * 2016-06-13 2017-12-19 腾讯科技（深圳）有限公司 实现操控设备的方法、装置和系统
WO2018196070A1 (zh) * 2017-04-28 2018-11-01 广景视睿科技（深圳）有限公司 基于增强现实的3d动向投影系统以及用于该系统的投影方法
WO2019051785A1 (zh) * 2017-09-15 2019-03-21 深圳传音通讯有限公司 一种用于智能终端的图标显示方法及图标显示装置

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4778934B2 (ja) 2007-06-05 2011-09-21 日本電信電話株式会社 機器制御方法、機器制御システム、コンピュータプログラムおよび記録媒体
CN103453901B (zh) * 2013-06-27 2016-09-28 展讯通信（上海）有限公司 一种位置指引系统及位置指引方法
US9741244B2 (en) * 2014-05-30 2017-08-22 Qualcomm Incorporated Methods, smart objects, and systems for naming and interacting with smart objects
US10347118B2 (en) * 2015-06-04 2019-07-09 Griffin Innovation Device and method for controlling a plurality of targeted devices
JP2017120584A (ja) 2015-12-28 2017-07-06 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN107422956B (zh) * 2017-07-24 2021-08-10 努比亚技术有限公司 移动终端操作响应方法、移动终端及可读存储介质
CN109831738A (zh) * 2019-03-18 2019-05-31 广东小天才科技有限公司 一种智能设备的定位方法及智能设备
CN110568767B (zh) * 2019-07-31 2021-01-29 华为技术有限公司 一种智能家居设备选择方法及终端

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104200632A (zh) * 2014-09-16 2014-12-10 广东欧珀移动通信有限公司 穿戴式设备结合智能移动终端实现遥控功能的方法与系统
CN104460330A (zh) * 2014-11-04 2015-03-25 宁波工程学院 一种基于室内定位与电子罗盘的增强现实与远程控制方法
CN104635505A (zh) * 2015-01-19 2015-05-20 赵树乔 一种与室内智能设备的交互方法
CN107493311A (zh) * 2016-06-13 2017-12-19 腾讯科技（深圳）有限公司 实现操控设备的方法、装置和系统
WO2018196070A1 (zh) * 2017-04-28 2018-11-01 广景视睿科技（深圳）有限公司 基于增强现实的3d动向投影系统以及用于该系统的投影方法
WO2019051785A1 (zh) * 2017-09-15 2019-03-21 深圳传音通讯有限公司 一种用于智能终端的图标显示方法及图标显示装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4131859A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023103948A1 (zh) * 2021-12-08 2023-06-15 华为技术有限公司 一种显示方法及电子设备

Also Published As

Publication number Publication date
EP4131859A1 (en) 2023-02-08
EP4131859A4 (en) 2023-08-23
US20230141356A1 (en) 2023-05-11
CN113572665A (zh) 2021-10-29
JP7437534B2 (ja) 2024-02-22
JP2023522764A (ja) 2023-05-31
CN113572665B (zh) 2022-07-12

Similar Documents

Publication Publication Date Title
WO2021052263A1 (zh) 语音助手显示方法及装置
WO2020238871A1 (zh) 一种投屏方法、系统及相关装置
CN113885759B (zh) 通知消息处理方法、设备、系统及计算机可读存储介质
WO2021000807A1 (zh) 一种应用程序中等待场景的处理方法和装置
WO2021218707A1 (zh) 一种确定操控目标的方法、移动设备及网关
WO2021042978A1 (zh) 一种主题切换方法以及主题切换装置
CN113691842B (zh) 一种跨设备的内容投射方法及电子设备
WO2021258809A1 (zh) 数据同步方法、电子设备和计算机可读存储介质
CN113497909B (zh) 一种设备交互的方法和电子设备
CN116360725B (zh) 显示交互系统、显示方法及设备
WO2022127632A1 (zh) 一种资源管控方法及设备
WO2022007707A1 (zh) 家居设备控制方法、终端设备及计算机可读存储介质
WO2022111529A1 (zh) 一种应用程序的调试方法及电子设备
WO2021218544A1 (zh) 一种提供无线上网的系统、方法及电子设备
WO2022179371A1 (zh) 一种拼接显示的方法、电子设备和系统
WO2023045966A1 (zh) 能力共享方法、电子设备以及计算机可读存储介质
CN115016666B (zh) 触控处理方法、终端设备以及存储介质
CN114125805B (zh) 蓝牙回连方法及终端设备
WO2023045876A1 (zh) 应用程序安装方法及相关设备
WO2023025059A1 (zh) 一种通信系统及通信方法
WO2022037412A1 (zh) 管理物联网设备的方法和装置
WO2022268009A1 (zh) 一种屏幕共享的方法及相关设备
WO2023016347A1 (zh) 声纹认证应答方法、系统及电子设备
WO2022052767A1 (zh) 一种控制设备的方法、电子设备和系统
CN116567054A (zh) 一种探测方法、相关电子设备及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21797539

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2022564765

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2021797539

Country of ref document: EP

Effective date: 20221031

NENP Non-entry into the national phase

Ref country code: DE