WO2018209557A1 - 用于设备控制的方法、设备和计算机可读存储介质 - Google Patents

用于设备控制的方法、设备和计算机可读存储介质 Download PDF

Info

Publication number
WO2018209557A1
WO2018209557A1 PCT/CN2017/084531 CN2017084531W WO2018209557A1 WO 2018209557 A1 WO2018209557 A1 WO 2018209557A1 CN 2017084531 W CN2017084531 W CN 2017084531W WO 2018209557 A1 WO2018209557 A1 WO 2018209557A1
Authority
WO
WIPO (PCT)
Prior art keywords
space
coordinate
determining
mapping relationship
vertices
Prior art date
Application number
PCT/CN2017/084531
Other languages
English (en)
French (fr)
Inventor
陈喆君
Original Assignee
深圳市大疆创新科技有限公司
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 深圳市大疆创新科技有限公司 filed Critical 深圳市大疆创新科技有限公司
Priority to CN201780004525.4A priority Critical patent/CN108475064B/zh
Priority to PCT/CN2017/084531 priority patent/WO2018209557A1/zh
Publication of WO2018209557A1 publication Critical patent/WO2018209557A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G05D1/106—Change initiated in response to external conditions, e.g. avoidance of elevated terrain or of no-fly zones
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/08—Control of attitude, i.e. control of roll, pitch, or yaw
    • G05D1/0808—Control of attitude, i.e. control of roll, pitch, or yaw specially adapted for aircraft
    • G—PHYSICS
    • G05—CONTROLLING; REGULATING
    • G05D—SYSTEMS FOR CONTROLLING OR REGULATING NON-ELECTRIC VARIABLES
    • G05D1/00—Control of position, course, altitude or attitude of land, water, air or space vehicles, e.g. using automatic pilots
    • G05D1/10—Simultaneous control of position or course in three dimensions
    • G05D1/101—Simultaneous control of position or course in three dimensions specially adapted for aircraft
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality

Definitions

  • the present disclosure relates to the field of remote control, and more particularly to methods, devices, and computer readable storage media for device control.
  • Unmanned aerial vehicles also commonly referred to as “unmanned aerial vehicles”, “unmanned flight systems (UAS)” or several other names, are aircraft that have no human pilots on them.
  • the flight of the drone can be controlled in a variety of ways: for example by a human operator (sometimes referred to as a “flying hand”), or by a drone in a semi-autonomous or fully autonomous manner.
  • the flying hand is required to adjust the flying attitude of the drone at any time as needed.
  • the drones are controlled in a way that is far from the life experience of driving cars and remote-controlled toys in their daily lives, so they need complex and lengthy professional training.
  • how to simplify the operation of the drone, or even automate or semi-automate its operation has become one of the problems to be solved.
  • a method for controlling a second device performed at a first device includes determining a first space associated with the first device and a second space associated with the second device; determining a first coordinate mapping between the first space and the second space a second operation of determining, by the second device, in the second space, based on the first operation of the first device in the first space, based on the first coordinate mapping relationship; And transmitting a control instruction to the second device to instruct the second device to perform the second operation.
  • a first device for controlling a second device includes: a space determining module, configured to determine a first space associated with the first device and a second space associated with the second device; a first mapping relationship determining module, configured to determine a first coordinate mapping relationship between the first space and the second space; a second operation determining module, configured to be based on the first coordinate mapping relationship, according to the first device in the first space a first operation to determine a second operation to be performed by the second device in the second space; and an instruction sending module to send a control instruction to the second device to instruct the second device to perform The second operation.
  • a first device for controlling a second device includes: a processor; a memory, wherein instructions are stored, the instructions, when executed by the processor, causing the processor to: determine a first space associated with the first device and a second space associated with the second device; determining a first coordinate mapping relationship between the first space and the second space; and based on the first coordinate mapping relationship, according to the first device a first operation in a space to determine a second operation to be performed by the second device in the second space; and a control instruction to the second device to instruct the second device to perform the The second operation.
  • a computer readable storage medium storing instructions that, when executed by a processor, cause the processor to perform the method according to the first aspect of the present disclosure.
  • FIG. 1 is a diagram showing an example first space in accordance with an embodiment of the present disclosure.
  • FIG. 2 is a diagram showing an example second space in accordance with an embodiment of the present disclosure.
  • FIG. 3 is an example synchronization process illustrating an example first device and an example second device in accordance with an embodiment of the disclosure.
  • FIG. 4 is a diagram showing an example scenario when an example first device leaves a first space, in accordance with an embodiment of the disclosure.
  • FIG. 5 is a diagram showing an example scenario in which an example second device encounters an obstacle when the example first device controls the example second device, according to an embodiment of the present disclosure.
  • FIG. 6 is a diagram showing an example resynchronization process when re-determining an example second space, in accordance with an embodiment of the present disclosure.
  • FIG. 7 is a flowchart illustrating an example method for an example first device control example second device, in accordance with an embodiment of the disclosure.
  • FIG. 8 is a functional block diagram showing an example first device for controlling an example second device, in accordance with an embodiment of the present disclosure.
  • FIG. 9 is a hardware schematic diagram showing an example first device for controlling an example second device, in accordance with an embodiment of the disclosure.
  • the manipulation object can be any manipulation object, such as a robot, a remote control car, an airplane, etc. or any device that can be remotely controlled.
  • the manipulation body may also be, for example, a fixed terminal (eg, a desktop computer), a mobile terminal (eg, a mobile phone, a tablet), a wearable device other than a head mounted display, a remote controller, a handle, a joystick, etc. or Any device that can issue a command.
  • Virtual Reality (VR) Virtual reality technology is an important direction of simulation technology. It is a collection of various technologies such as simulation technology and computer graphics human-machine interface technology multimedia technology sensing technology network technology.
  • Virtual reality technology (VR) mainly includes simulation environment, perception, natural skills and sensing equipment.
  • the simulation environment is usually a computer-generated, real-time, dynamic, three-dimensional, realistic image.
  • Perception means that the ideal VR should have the perception that everyone has.
  • it can also have the perceptions of hearing, touch, force, movement, etc., and even the sense of smell and taste, also known as multi-perception.
  • Natural skills refer to the rotation of the person's head, eyes, gestures, or other human behaviors.
  • the computer processes the data that is appropriate to the actions of the participants, and responds to the user's input in real time and feeds them back to the user. Five senses.
  • a sensing device is a three-dimensional interactive device.
  • Euler angle/attitude angle the body coordinate system (for example, the direction in which the tail is pointed to the nose, the direction in which the left wing points to the right wing, and the direction perpendicular to both directions (ie, perpendicular to the plane of the aircraft) and the direction below the body is
  • the relationship between the coordinate system of the three axes and the ground coordinate system (also known as the geodetic coordinate system, for example, the coordinate system of the three axes in the east, north, and geocentric directions) is three Euler angles, which reflects the aircraft. Relative ground posture.
  • the three Euler angles are: pitch, yaw, and roll.
  • Pitch angle The angle between the X-axis of the body coordinate system (for example, the direction from the tail to the nose) and the horizontal plane of the earth.
  • the elevation angle is positive, otherwise it is negative.
  • the pitch angle of an aircraft changes, it usually means that its subsequent flight altitude will change. If the pitch angle of the image sensor changes, it usually means that the picture taken by it will change in height.
  • Yaw angle the angle between the X-axis of the body coordinate system and the X-axis of the ground coordinate system (on the horizontal plane, pointing to the target), and the X-axis of the body coordinate system is rotated counterclockwise to the ground.
  • the yaw angle is positive, that is, the right yaw of the nose is positive, and vice versa.
  • the yaw angle of the aircraft changes, it usually means that its subsequent horizontal flight direction will change. If the yaw angle of the image sensor changes, it usually means that the picture it is shooting will move left and right.
  • Roll angle ⁇ (roll) The angle between the Z coordinate of the body coordinate system (for example, the direction in which the plane of the aircraft faces downward) and the vertical plane passing through the X axis of the body, the body is rolled to the right to be positive, and vice versa.
  • the roll angle of the aircraft changes When it is turned into, it usually means that its horizontal plane rotates. If the roll angle of the image sensor changes, it usually means that the picture it takes will appear left or right.
  • an easy-to-use drone control method is required.
  • the common drone control mode it is usually operated by a hand-held remote controller.
  • the magnitude of the displacement in the various directions of the aircraft can be controlled by the amount of displacement acting on the joystick.
  • the flying hand usually needs to pay attention to the shooting angle of the camera (or more generally, the image sensor or the image sensing component) on the drone, which has certain requirements for the burden and proficiency of the flying hand.
  • a virtual reality based drone control system according to an embodiment of the present disclosure is proposed.
  • This system enables the commander to flexibly and intuitively grasp the instant scenes from various angles in the field while reducing the number of personnel and equipment.
  • humans' natural behaviors eg, standing, squatting, walking, and/or head activities, etc.
  • Complete flight trajectory and lens angle control that are difficult to accomplish with both hands.
  • the hardware portion of the drone control system may be substantially comprised of: an input, a communication, and a terminal.
  • the input may include, for example, a Head Mounted Display (HMD) and/or a handle controller.
  • the main role of the input is to provide the virtual reality picture to the operator and to provide an operation interface, so that the operator can perform corresponding observation, operation on the drone, and the like according to the observed virtual reality picture.
  • the virtual reality picture is not limited to a pure virtual picture generated by a computer, but may also include, for example, an actual picture captured by an image sensor of the drone, a combination of an actual picture and a virtual picture, and / or pure virtual screen.
  • VR virtual reality
  • AR Augmented Reality
  • the communication end may include, for example, various networks (eg, the Internet, a local area network, a mobile communication network (3G, 4G, and/or 5G, etc.), a WiMax network, a fiber optic network, etc.), a control center, and/or Or ground station, etc.
  • the main role of the communication terminal is to provide communication links, communication control, and the like for the input terminal and the terminal.
  • the communication terminal can transmit data, signals, and the like between the input terminal and the terminal in a wired, wireless, or a combination thereof.
  • the terminal may include, for example, an unmanned aerial vehicle (UAV), a robot, a remote control car, an airplane, or the like, or any device that can be remotely controlled.
  • UAV unmanned aerial vehicle
  • an input terminal as a head mounted display (HMD), a communication end as a wireless communication network (for example, a 4G network), and a terminal as a drone.
  • HMD head mounted display
  • a communication end as a wireless communication network
  • a terminal for example, a 4G network
  • the present disclosure is not limited thereto as described above.
  • first device to refer to an HMD (or more generally, to manipulate a subject)
  • second device to refer to a drone (or more generally, to manipulate an object)
  • the present disclosure is not limited thereto.
  • a single function performed in a single device may be distributed across multiple devices in a distributed fashion.
  • some of the various steps of the method performed at the first device as described below may be performed entirely at the communication terminal or terminal, such that the combination of hardware portions of these devices that perform these steps may be considered equivalent to "the first a device.”
  • some of the various steps of the method performed at the second device as described below may be performed entirely at the input or communication end, such that the combination of hardware portions of these devices that perform these steps may be considered Equivalent to the "second device.”
  • FIG. 1 is an example first space 10 illustrating an embodiment of the present disclosure
  • FIG. 2 is an example second space 20 illustrating an embodiment in accordance with the present disclosure
  • the first space 10 may be a space associated with the first device 100 for the actual operation of the user wearing the first device 100 therein.
  • the user wearing the first device 100 can perform standing, walking, steering, squatting, jumping, turning, and the like in the space.
  • the first device 100 can interpret the actions of the user and/or the first device 100 in the first space 10 according to the manner described below, and convert the corresponding actions into the manipulation objects (
  • the drone 200 shown in FIG. 3 is in an action to be performed in the second space 20 as shown in FIG.
  • the user wearing the first device 100 can do so by specifying all or part of the vertices and/or all or part of the side length of the first space 10.
  • the first space 10 may be a cube as indicated by a broken line, and in order to specify the cubic space, the user may specify any vertex of the first space 10 as an origin, and specify each direction.
  • the length on (for example, the X, Y, and Z axes shown in Fig. 1) is the side length.
  • the range of the first space 10 may also be specified by determining at least one of: the positions of the two vertices of the first space 10 and the line of the first space 10 formed by the two vertices a length on a coordinate axis of the vertical plane; a position of three vertices of the non-collinear line of the first space 10 and a length of the first space 10 in a direction perpendicular to a face formed by the three vertices; and a first space The position of at least four vertices of 10 non-coplanar.
  • first space 10 is a cube in the embodiment shown in the present embodiment in order to make the reader's understanding more convenient and intuitive, the present disclosure is not limited thereto.
  • the first space 10 can also have other shapes including, but not limited to, spheres, ribs, pyramids, cylinders, cones, or any other regular or irregular solid structure.
  • the manner in which the vertices are determined may be, for example, a user pressing a hand controller when walking to a point or by a head action (eg, nodding, shaking his head) or any other action (eg, jumping, squatting) or It is determined by another device operated by the bystander to notify the first device 100 that the point is a certain vertex of the first space 100.
  • the manner of determining the length of the side may be, for example, a user manually inputting through an input device such as a keyboard, or by detecting the distance the user actually walks. In other embodiments, the user may also determine the extent of the first space 10 by virtual boxing the image of the captured venue.
  • the origin height of the first space 10 can be altered in a manner that, for example, when the first device 100 detects that the user is in a squat state for more than a certain time (eg, 1 second, 3 seconds, or any Other appropriate time), or by triggering an event after squatting (eg, pressing a corresponding button of the remote control, etc.), or by a combination of the two, the origin of the first space 10 can be raised to, for example, the height of the user's eyes. At this point it is possible to cause the second device to maintain a low height in the second space, for example along the bottom surface of the second space.
  • a certain time eg, 1 second, 3 seconds, or any Other appropriate time
  • the origin of the first space 10 can be raised to, for example, the height of the user's eyes.
  • the height of the top surface of the first space 10 can be lowered to the height of the user's eyes by detecting a fixed action or more generally triggering an event (eg, pressing a corresponding button of the remote control, etc.) such that The corresponding second device can move along the top surface of the second space.
  • the foregoing embodiment is released by setting a timer (for example, after the second device is operated for 1 second, 3 seconds, or any other appropriate time along the changed height) or a triggering event (for example, pressing a corresponding button of the remote controller) A change in the operating height of the second device.
  • the second device can return to the corresponding second spatial position, such as running vertically to return to the corresponding position.
  • a certain point in the range that the user can squat may be selected as the origin of the first space 10.
  • the operations in the above embodiments may all be prompted by the output device (eg, display) of the first device 100.
  • the second device may be prompted to enter the altitude change mode, or the second device, by the display of the first device 100 while performing the operations of the foregoing embodiments.
  • the height change mode has been removed.
  • the second space 20 can be a space associated with the second device 200 for the actual operation of the second device 200 (eg, a drone) therein.
  • the second device 200 can perform operations such as hovering, flying, steering, descending, rising, and adjusting the viewing angle of the camera in the space.
  • the second device 200 can receive the manipulation instruction from the first device 100 in accordance with the manner described below and perform the corresponding action.
  • the top and bottom of the second space 20 may correspond to the highest and lowest flying heights of the second device 200, respectively, although the disclosure is not limited thereto.
  • the user can specify all or part of the vertices and/or all or part of the side length of the second space 20 on the three-dimensional electronic map. get on.
  • the second space 20 may also be a cube as indicated by a broken line.
  • the user may specify any vertex of the second space 20 as an origin, and specify each The length on the direction (for example, the X, Y, and Z axes shown in Fig. 2) is the side length.
  • the range of the second space 20 may also be specified by determining at least one of: the positions of the two vertices of the second space 20 on the three-dimensional electronic map and the second space being at the two vertices The length on the coordinate axis of the vertical plane of the line formed; the position of the three vertices of the non-collinear line of the second space 20 on the three-dimensional electronic map and the perpendicular line of the surface of the second space 20 formed by the three vertices The length in the direction; and the position of at least four vertices of the non-coplanar faces of the second space 20 on the three-dimensional electronic map.
  • the second space 20 is a cube in the embodiment shown in the present embodiment in order to make the reader's understanding more convenient and intuitive, the present disclosure is not limited thereto.
  • the second space 20 can also have other shapes, including (but not limited to): spheres, ribs, pyramids, cylinders, cones, or any other regular or irregular solid structure.
  • the side of the second space 20 close to the airport may be an irregular three-dimensional structure having an upper narrow and a lower width.
  • the manner of determining the vertices may be, for example, a user selecting a range of the second space 20 in the three-dimensional electronic map, for example, selecting the vertices, or portions of the vertices and edges of the second space 20 in the three-dimensional electronic map. Long wait.
  • the second device 200 can also be operated to some specified point in the air, and then the first device 100 is indicated to be a certain vertex of the second space 20 (eg, the origin, The center point, etc.), then specify the length of each side to determine the extent of the second space 20.
  • the second space 20 can generally be designated such that there are no objects in the object that can block the second device 200 from flying.
  • the present disclosure is not limited thereto, and for example, as shown in the upper right side of FIGS. 5 and 6, there may be a permanent or temporary obstacle in the second space 20 (or 20') affecting the flight of the second device 200.
  • the operations of determining the first space 10 and the second space 20 described above in connection with FIGS. 1 and 2, respectively, may be performed sequentially, simultaneously, or partially sequentially, and the order of the two is also determined. It is not limited to the order of description herein (ie, the first space 10 is determined first and then the second space 20 is determined), but may be reversed (ie, the second space 20 is first determined to determine the first space 10).
  • the first space 10 shown in FIG. 1 and the second space 20 shown in FIG. 2 each have a cubic shape for convenience and clarity of explanation.
  • the second space 20 has a size that is much larger than the first space 10, for example, the size of the second space 20 may be on the level of kilometers, while the size of the first space 10 may be on the level of meters.
  • the present disclosure is not limited thereto, and the sizes of the first space 10 and the second space 20 may also be substantially equal or the size of the first space 10 is larger than the size of the second space 20.
  • first space 10 and the second space 20 are both cubes, a linear mapping relationship can be established between the coordinates of the two.
  • the origins of the first space 10 and the second space 20 eg, manually determined as previously described or automatically determined by the first device 100 based on the range of the first space 10 and/or the second space 20
  • the respective mapping ratios between the respective side lengths of the first space 10 and the respective side lengths of the second space 20 may be identical, but this is not required.
  • the X-axis, the Y-axis, and the Z of the first space 10 The lengths of the shafts may be, for example, 10 meters, 5 meters, and 2 meters, respectively, and the lengths of the X-axis, the Y-axis, and the Z-axis of the second space 20 may be, for example, 5 kilometers, 2.5 kilometers, and 1 kilometer, respectively, and the sides on the three axes
  • the corresponding ratio is 1/500.
  • the X-axis, Y-axis, and Z-axis lengths of the first space 10 may be, for example, 10 meters, 10 meters, and 2 meters, respectively
  • the X-axis, Y-axis, and Z-axis lengths of the second space 20 may be, for example, 5, respectively.
  • Kilometers, 2.5 km and 0.75 km, the side lengths on the three axes are correspondingly 1/500, 1/250 and 1/375.
  • the second device 200 can accordingly fly the X axis for 1.5 kilometers; while wearing the first device 100 In the case where the user walks 3 meters along the Y-axis of the first space 10, the second device 200 can also fly the corresponding Y-axis for 1.5 kilometers.
  • the second device 200 can still fly 1.5 kilometers on the X axis; while wearing the first device 100 In the case where the user walks 3 meters along the Y-axis of the first space 10, unlike the previous case, the second device 200 can fly 0.75 kilometers instead of 1.5 kilometers correspondingly to the Y-axis.
  • the coordinates in the first space 10 can be determined based on the corresponding ratios.
  • the first device 100 can map actions such as displacements of the user in the first space 10 to actions such as displacements to be performed by the second device 200 in the second space 20.
  • Such a mapping is intuitive and simple, and facilitates the operation of the second device 200 by the user (or the first device 100).
  • FIG. 3 is an example synchronization process illustrating an example first device 100 and an example second device 200 in accordance with an embodiment of the disclosure.
  • the user wearing the first device 100 can enter the first space 10.
  • a point eg, substantially at the center shown in FIG. 3 and by indicating "synchronous activation" to the first device 100 (eg, by a controller handle in the user's hand, or by using the HMD to detect the user's nod, shaking his head Or any other triggering action) to indicate that a synchronization process is to be initiated between the first device 100 and the second device 200.
  • the first device 100 can detect its (first) coordinates in the first space 10 and determine that the second device 200 is to be in the second space according to the previously determined coordinate mapping relationship. The (second) coordinate of the position in which it is located.
  • the first device 100 may send the "synchronous activation" finger to the second device 200 or directly to the second device 200 through, for example, the aforementioned communication terminal. So, to instruct the second device 200 to fly to the second coordinate to hover and enter the "synchronous" state.
  • the user may be prompted by the first device 100, for example, "in sync" or an icon or other indication. To indicate that the user is temporarily not moving, thus avoiding the extension of the synchronization process.
  • the second device 200 may initially be outside of the second space 20 and enter the second space 20 at a predetermined approach height upon receipt of a "synchronization activation" command (takeoff and take).
  • the approach height may depend on the highest and/or lowest height of the second space 20, or may be other heights specified by the user.
  • the second device 200 can circumvent any obstacles during entry into the second space 20 using any of its own obstacle avoidance devices or measures.
  • the flight path of the second device 200 may not be a broken line as shown in the upper part of FIG. 3, but has a route of any form (eg, curve, straight line, random line, etc.), length, for example, in order to bypass the second device 200.
  • the second device 200 may even fly a distance away from the second space 20, climb to the approach height, and then advance to the second coordinate in the second space 20.
  • the user can observe the flight state and the surrounding environment of the second device 20 through the real-time image captured by the image sensing component (eg, the camera) carried on the second device 20 presented on the first device 10. In order to ensure that the second device 20 does not accident when entering the field.
  • the image sensing component eg, the camera
  • the second device 200 when the second device 200 reaches the second coordinate, it may return to the first device 100 via the communication terminal, for example, or return a "synchronization activation" confirmation message directly to the first device 100 to indicate that it has arrived at the designation. Position and enter the "synchronous" state. At this time, the picture captured by the image sensing component of the second device 200 can be transmitted and displayed on the first device 100 in real time. The operator can arbitrarily perform actions such as walking, steering, raising/lowering, squatting/jumping in the first space 10 to act on the first device 100 and control the second device 200 accordingly.
  • the instantaneous acceleration and transient of the user or the first device 100 may be acquired in real time by means of a gyroscope, an accelerometer, or a magnetic sensor, a positioning device (eg, GPS, etc.) installed on the first device 100.
  • Parameters such as speed, geometric coordinates, azimuth (yaw) angle and/or pitch angle.
  • the first device 100 can determine its own acceleration in a certain direction over a period of time, thereby determining its own speed during this period of time, thereby determining itself during this time. The displacement within and the coordinates relative to the initial position in that direction.
  • the first device 100 can detect the magnitude of the user's head turning and/or head-up/down, and the like.
  • the length of each side of the space 20 determines the change in the azimuth (yaw) angle and/or the pitch angle of the action in the first space 20.
  • the first device 100 may determine, according to the foregoing first coordinate mapping relationship, that the second device 200 corresponding to the first operation is in the second space.
  • the (second) operation to be performed in 20 For example, as described above, when the first device 100 moves 3 meters along the X axis of the first space 10, the second operation may be determined as the second device 200 according to the first coordinate mapping relationship of 1/500.
  • the X-axis flies 1.5 kilometers.
  • the elevation angle of the first device 100 in the plane where the X-axis (or Y-axis) and the Z-axis are located is +15 degrees (ie, the user's line of sight is raised by 15 degrees)
  • the second operation can be determined as the pitch angle of the second device 200 and/or its image sensing component in the plane in which the X-axis (or Y-axis) and the Z-axis are located. +15 degrees.
  • the second operation can be determined.
  • the pitch angle for the second device 200 and/or its image sensing assembly in the plane in which its X-axis (or Y-axis) and Z-axis are located is approximately +11.3 degrees (ie, ). The purpose of this is mainly to ensure that although the first space 10 and the second space 20 are different in proportion on each axis, the maximum pitch range that the user can achieve corresponds to. In addition, the azimuth can be treated similarly.
  • the first device 100 when the user or the first device 100, for example, generates a height change (eg, jumping, squatting, etc.), the first device 100 can determine the highest or lowest height at which the first device 100 rises or falls, and Compare the highest or lowest height to a predetermined maximum threshold height or minimum threshold height.
  • the difference between the detected height and the threshold height is obtained, it may be mapped to the height difference in the second space 20 according to the foregoing first coordinate mapping relationship, and the second device 200 is correspondingly instructed to raise or lower the height difference.
  • the height conversion may also be performed regardless of the first coordinate mapping relationship. For example, as long as the user jumps once, the second device 200 can rise a fixed height, such as 10 meters.
  • the second device 200 can drop a fixed height, such as 5 meters.
  • the height of the second device 200 may be adjusted correspondingly according to the actual height change of the first device 100 without setting a threshold. However, considering the slight height changes that occur when humans are walking naturally, this is not beneficial for the manipulation of the second device.
  • the first device 100 may determine a first translational route in the first space 10 when performing a panning operation, mapping the first translational route to the second based on the first coordinate mapping relationship described above A second translational path in space 20 and determining a second operation as an operation indicating movement of the second device 200 along the second translational path.
  • the first device 100 may determine a first azimuth angle of the first device 100 in the first space 10 when ending the steering operation; mapping the first azimuth to the second based on the first coordinate mapping relationship a second azimuth angle in the space 20; and determining the second operation to indicate that the image sensing component of the second device 200 or the second device 200 is turned to the second azimuth.
  • the first device 100 may determine a first pitch angle of the first device 100 in the first space 10 when the viewing angle changing operation is ended, and map the first pitch angle to the second based on the first coordinate mapping relationship. a second pitch angle in the space 20; and determining the second operation to indicate that the image sensing component of the second device 200 is turned to the second pitch angle.
  • the first device 100 may determine the highest or lowest height reached by the first device 100 in the first space 10 during the performing height change operation; if the highest or lowest height is correspondingly higher or lower than the highest a threshold or a minimum threshold, the difference between the highest height or the lowest height and the corresponding highest threshold or the lowest threshold is mapped to the height difference in the second space 20 based on the first coordinate mapping relationship; and the second operation is determined to indicate the second device 200 rise or fall height difference.
  • direct conversion may also be performed without considering the first coordinate mapping relationship.
  • the second operation may be determined to be that the second device 200 also rotates 45 degrees clockwise in the second space 20 .
  • the first operation is that the first device 100 is headed 30 degrees within the first space 10
  • the second operation may be determined such that the pitch angle of the second device 200 within the second space 20 also drops by 30 degrees. The purpose of this is mainly to ensure that although the first space 10 and the second space 20 are different in proportion on each axis, the maximum pitch angle that the user can achieve corresponds.
  • the azimuth can be treated similarly.
  • the roll angle is not discussed herein, this is primarily because the second device 200 typically does not require roll and the first device 100 typically does not perform a roll operation. However, the present disclosure is not limited thereto, and similar processing may be performed on the roll angle.
  • a control instruction can be sent to the second device 200 to instruct the second device 200 to perform the second operation.
  • the coordinates of the first space 10 in which the operator or the first device 100 is located may be synchronized in real time with the corresponding coordinates of the second device 200 in the second space 20 in which it is located, and the image of the second device 200
  • the azimuth and/or pitch angle of the sensing assembly may correspond to a respective angle of the first device 100. This allows the user to operate the drone easily and intuitively and obtain a real-time view corresponding to the user's current head posture.
  • FIG. 4 is a diagram showing an example scenario when the example first device 100 leaves the first space 10 in accordance with an embodiment of the present disclosure.
  • the first device 100 may transmit a "synchronization cancel" instruction to the second device 200 to instruct the second device 200 to release the synchronization state and hover in place to wait for further indication.
  • the second device 200 may also automatically cancel the synchronization state and hover in place when it detects that it is leaving the second space 20.
  • the second device 200 may also select to report the state of "de-synchronization" to the first device 100.
  • the user or the first device 100 may also choose to actively de-synchronize the state, for example by pressing a certain fixed button on the handheld controller, through the headset. Nod, shake action, or some other specified action of the display.
  • the second device 200 can release the synchronization state and hover in place.
  • the first device 100 can issue an instruction to resynchronize to the second device 20 (eg, the foregoing a "synchronization activation" command or another resynchronization command) to instruct the second device 20 to enter a synchronization state and fly to the second space 20 corresponding to the current location of the first device 100 in the first space 10.
  • the user wearing the first device 100 may also choose to manually activate the synchronization state, such as resetting the first space 10, and transmitting a "synchronization activation" command to the second device 200 as previously described.
  • FIG. 5 is a diagram showing an example scenario in which the example second device 200 encounters an obstacle when the example first device 100 controls the example second device 200, according to an embodiment of the present disclosure.
  • the user or the first device 100 performs a displacement operation.
  • the second device 200 should also be displaced to the corresponding position as described above. If an obstacle appears on the route displaced by the second device 200, as shown in the upper portion of FIG. 5, the second device 200 can choose to redesign the route by itself and move to the corresponding location.
  • the obstacle avoidance process may be performed by the second device 200 itself. In this way, obstacles can be avoided more quickly.
  • the obstacle avoidance process may also be correspondingly controlled by the first device 100 after receiving the report of the second device 200. Either way, the second device 200 can arrive at the designated location after avoiding the obstacle.
  • the second device 200 when the second device 200 reselects the route to avoid the obstacle, it can release the synchronization state with the first device 100 and re-enter the synchronization state after reaching the designated location.
  • the synchronization state may also be maintained at all times, and is only released when the second device 200 does not reach the designated location within the specified time period.
  • FIG. 6 is a diagram showing an example resynchronization process when the example second space 20 is re-determined in accordance with an embodiment of the present disclosure.
  • the movement of the first device 10 in the first space 10 does not completely cover all positions of the entire second space 20 (for example, the initial setting is incorrect) or wants to observe the second space 20
  • the user can specify a target point (or more generally, a new second space) on the three-dimensional electronic map, for example by means of a handle.
  • the coordinate relationship between the first space 10 and the second space 20' will be remapped so that the corresponding coordinates of the first space 10 where the current user is located are instantly changed to the coordinates of the target point in the second space 20'.
  • the user can specify a destination to be reached in the virtual space by controlling the handle or other means (for example, detecting the movement of the user's arm in the virtual space by a posture detector mounted on the user's arm).
  • Position 150 the second device 200 can go to the corresponding spatial coordinates in the second space 20, and reset the first position in such a manner that the new position corresponds to the current position of the user or the first device 100 in the first space 10. Two spaces 20' and continue the subsequent operations.
  • the first device 100 can switch the picture it presents to 3D that was previously completed for the flight area.
  • Model the picture ie, a pure virtual picture.
  • the coordinate system used in the 3D space and the angle of view of the image sensing component are identical to those in the actual flight area.
  • the 3D static model and the ambient conditions such as the time and weather of the current flight area can be used to simulate the environment such as the light weather, and the flight area image that is close to the real scene shooting is displayed on the first device 100, so that the operator can Use the reference object without the shooting screen.
  • after the second device 200 is again in synchronization with the first device 100 it is possible to switch to the live view picture.
  • control center eg, the first device 100 or other control facility
  • the control center can monitor data such as the current surrounding environment, state of charge, and return distance of the second device 200 to automatically decide when to send an alternate.
  • the second device 200 ensures that the work is performed as usual.
  • the other first device 100 can send the candidate second device 200 to the position of the current second device 200, and ensure that the replacement is completed and the replacement is completed before the current power of the second device 200 is reduced to the return power, thereby achieving no Intermittent monitoring.
  • the commander can flexibly and intuitively grasp the instant images of various angles in the field, and the operator can go to the appropriate position only when the flight conditions permit. Get the desired monitoring angle. In addition, it reduces the reliance on other people and equipment.
  • a method for controlling the second device 200 performed at the first device 100 and a functional configuration of the corresponding first device 100 according to an embodiment of the present disclosure will be described in detail below with reference to FIGS. 7 to 8.
  • FIG. 7 is a flow diagram showing a method 700 for controlling a second device 200 performed at a first device 100 in accordance with an embodiment of the disclosure.
  • method 700 can include steps S710, S720, S730, and S740.
  • some of the steps of method 700 may be performed separately or in combination, and may be performed in parallel or sequentially, and is not limited to the specific order of operations illustrated in FIG.
  • method 700 can be performed by first device 100 shown in FIGS. 1-6, first device 800 shown in FIG. 8, or device 900 shown in FIG.
  • the first device 800 may include a space determining module 810 , a first mapping relationship determining module 820 , a second operation determining module 830 , and an instruction sending module 840 .
  • the space determination module 810 can be used to determine a first space 10 associated with the first device 100 and a second space 20 associated with the second device 200.
  • the space determination module 810 can be a central processing unit of the first device 100, a digital signal processor (DSP), a microprocessor, a microcontroller, etc., which can cooperate with, for example, an input device of the first device 100, to determine The first space 10 associated with the first device 100 and the second space 20 associated with the second device 200.
  • DSP digital signal processor
  • the first mapping relationship determining module 820 can be configured to determine a first coordinate mapping relationship between the first space 10 and the second space 20.
  • the first mapping relationship determining module 820 may also be a central processing unit of the first device 100, a digital signal processor (DSP), a microprocessor, a microcontroller, etc., which may be according to the first space 10 and the second space 20
  • DSP digital signal processor
  • the first coordinate mapping relationship between the first space 10 and the second space 20 is determined by size, shape, orientation, and the like.
  • the second operation determining module 830 can be configured to be based on the first coordinate mapping relationship according to the first device 100 A first operation in the first space 10 determines a second operation to be performed by the second device 200 in the second space 20.
  • the second operation determining module 830 may also be a central processing unit of the first device 100, a digital signal processor (DSP), a microprocessor, a microcontroller, etc., which may convert the first operation of the first device 100 into a first The second operation of the second device 200, thereby enabling the user to intuitively and simply manipulate the second device 200.
  • DSP digital signal processor
  • the instruction sending module 840 can be configured to send a control instruction to the second device 200 to instruct the second device 200 to perform the second operation.
  • the command sending module 840 may also be a central processing unit of the first device 100, a digital signal processor (DSP), a microprocessor, a microcontroller, etc., which may be in communication with the first device 100 (eg, wired/wireless)
  • a communication unit specifically, for example, an RF unit, a WiFi unit, a cable, an Ethernet interface card, cooperates to transmit a control command to the second device 200 to instruct the second device 200 to perform the second operation.
  • the first device 800 may further include other functional modules not shown in FIG. 8, such as a first coordinate determination module, a second coordinate mapping module, a synchronization activation instruction transmission module, a synchronization release instruction transmission module, and an operation stop instruction transmission module. a third coordinate determination module, a fourth coordinate mapping module, a second spatial re-determination module, a mapping relationship re-determination module, and/or a second operational re-determination module, and the like.
  • the first coordinate determination module can be configured to determine a first coordinate of the first device in the first space when performing the synchronous activation operation.
  • the second coordinate mapping module can be configured to map the first coordinate to the second coordinate in the second space based on the first coordinate mapping relationship.
  • the synchronization activation instruction sending module can be configured to send a synchronization activation instruction to the second device to instruct the second device to move to the second coordinate and instruct the second device to be in a "synchronous" state.
  • the synchronization release command sending module may be configured to send a synchronization cancellation instruction to the second device to indicate that the second device is in a "disarmed” state.
  • the operation stop instruction sending module may be configured to: if the first device leaves the first space during the first operation, send an operation stop instruction to the second device to instruct the second device to stop performing the corresponding second operation And hover at the current location.
  • the third coordinate determination module can be configured to determine a third coordinate of the first device when returning to the first space if the first device returns to the first space.
  • the fourth coordinate mapping module can be configured to map the third coordinate to the fourth coordinate in the second space based on the first coordinate mapping relationship.
  • the second operation determining module is further operable to determine the second operation as an operation to instruct the second device to move to the fourth coordinate.
  • the second spatial re-determination module can be used to re-determine the second space associated with the second device.
  • the mapping relationship re-determination module can be used to determine a second coordinate mapping relationship between the first space and the re-determined second space.
  • the second operational re-determination module can be configured to be based on the second coordinate mapping relationship, according to the first device A first operation in the first space to determine a second operation to be performed by the second device in the re-determined second space.
  • the first device 800 may also include other functional modules not shown in FIG. 8, however, since it does not affect those skilled in the art to understand the embodiments of the present disclosure, it is omitted in FIG.
  • the first device 800 can also include one or more of the following functional modules: power, memory, data bus, antenna, wireless transceiver, and the like.
  • a method 700 for controlling a second device 200 and a first device 800 performed at a first device 800 (eg, the first device 100) according to an embodiment of the present disclosure (eg, The first device 100) is described in detail.
  • the method 700 begins in step S710, in which the first space 10 associated with the first device 800 and the second space 20 associated with the second device 200 can be determined by the spatial determination module 810 of the first device 800. .
  • the first mapping relationship between the first space 10 and the second space 20 may be determined by the first mapping relationship determining module 820 of the first device 800.
  • the second operation determining module 830 of the first device 800 may determine, according to the first operation of the first device 800 in the first space 10, based on the first coordinate mapping relationship, that the second device 200 is to be The second operation performed in the second space 20.
  • a control instruction may be sent by the instruction transmitting module 840 of the first device 800 to the second device 200 to instruct the second device 200 to perform the second operation.
  • step S710 can include determining at least one of: a position of one vertex of the first space and a length of the first space on each coordinate axis; a position of the two vertices of the first space and the first space are The length on the coordinate axis of the vertical plane of the line formed by the two vertices; the position of the three vertices of the non-collinear line of the first space and the perpendicular direction of the first space in the face formed by the three vertices Length; and the position of at least four vertices of the non-coplanar of the first space.
  • step S710 can include determining at least one of: a position of one vertex of the second space on the three-dimensional electronic map and a length of the second space on each coordinate axis of the three-dimensional electronic map; two of the second space The position of the vertices on the three-dimensional electronic map and the length of the second space on the coordinate axis of the vertical plane of the line formed by the two vertices; the position of the three vertices of the second space on the three-dimensional electronic map And a length of the second space in a direction perpendicular to the face formed by the three vertices; and a position of the non-coplanar at least four vertices of the second space on the three-dimensional electronic map.
  • the step Step S720 may include: setting respective origins of the first space and the second space; determining respective proportions of lengths of the first space and the second space on each coordinate axis; and determining an origin and a corresponding ratio based on the first space and the second space And determining a first coordinate mapping relationship between the coordinates in the first space and the coordinates in the second space.
  • the method 700 may further include: determining a first coordinate of the first device in the first space when performing the synchronous activation operation; mapping the first coordinate to the first space in the second space based on the first coordinate mapping relationship And generating a synchronization activation instruction to the second device to instruct the second device to move to the second coordinate and to indicate that the second device is in the "synchronous" state.
  • method 700 can also include transmitting a synchronization cancellation command to the second device to indicate that the second device is in a "disarmed" state.
  • the first operation may include at least one of a panning operation, a steering operation, a viewing angle changing operation, and a height changing operation.
  • step S730 may include: determining a first translation route in the first space when the first device performs the panning operation; and first panning based on the first coordinate mapping relationship The route is mapped to a second panning route in the second space; and the second operation is determined to indicate an operation of the second device moving along the second panning route.
  • step S730 may include: determining a first azimuth of the first device in the first space when ending the steering operation; and determining the first orientation based on the first coordinate mapping relationship The angle is mapped to a second azimuth in the second space; and the second operation is determined to indicate that the image sensing component of the second device or the second device is turned to the second azimuth.
  • step S730 may include: determining a first pitch angle in the first space when the first device ends the viewing angle changing operation; based on the first coordinate mapping relationship A pitch angle is mapped to a second pitch angle in the second space; and the second operation is determined to indicate that the image sensing component of the second device is turned to the second pitch angle.
  • step S730 can include determining a highest height or a lowest height reached by the first device in the first space during the performing the height change operation; if the highest height or the lowest height Correspondingly higher or lower than the highest threshold or the lowest threshold, the difference between the highest height or the lowest height and the corresponding highest threshold or the lowest threshold is mapped to the height difference in the second space based on the first coordinate mapping relationship; and the second operation is performed Determined to indicate the rise or fall height difference of the second device.
  • the method 700 may further include: if the first device leaves the first space during the first operation, transmitting a control instruction to the second device to instruct the second device to stop performing the corresponding second operation and hovering At the current location. In some embodiments, the method 700 may further include: determining a third coordinate of the first device when returning to the first space if the first device returns to the first space; based on the first coordinate mapping relationship The third coordinate maps to a fourth coordinate in the second space; and the second operation is determined to indicate an operation of the second device moving to the fourth coordinate.
  • the method 700 may further include: redetermining the second space associated with the second device; determining a second coordinate mapping relationship between the first space and the re-determined second space; based on the second coordinate Mapping a relationship, determining, according to a first operation of the first device in the first space, a second operation to be performed by the second device in the re-determined second space; and transmitting a control instruction to the second device to indicate The second device performs the second operation.
  • Hardware arrangement 900 can include a processor 906 (eg, a central processing unit (CPU), a digital signal processor (DSP), a microcontroller unit (MCU), etc.).
  • processor 906 can be a single processing unit or a plurality of processing units for performing different acts of the flows described herein.
  • the arrangement 900 can also include an input unit 902 for receiving signals from other entities, and an output unit 904 for providing signals to other entities.
  • Input unit 902 and output unit 904 may be arranged as a single entity or as separate entities.
  • arrangement 900 can include at least one readable storage medium 908 in the form of a non-volatile or volatile memory, such as an electrically erasable programmable read only memory (EEPROM), flash memory, and/or a hard drive.
  • the readable storage medium 908 includes computer program instructions 910 including code/computer readable instructions that, when executed by the processor 906 in the arrangement 900, cause the hardware arrangement 900 and/or include the hardware arrangement 900
  • the first device 100 or the first device 800 can perform, for example, the flow described above in connection with Figures 1-7 and any variations thereof.
  • Computer program instructions 910 can be configured as computer program instruction code having a computer program instruction module 910A-910D architecture, for example. Accordingly, in an example embodiment when the hardware arrangement 900 is used, for example, in the first device 100 or 800, the code in the computer program instructions of the arrangement 900 includes a module 910A for determining a first space and associated with the first device A second space associated with the second device. The code in the computer program instructions further includes a module 910B for determining a first coordinate mapping relationship between the first space and the second space. The code in the computer program instructions further includes a module 910C that determines a second operation to be performed by the second device in the second space based on the first operation of the first device in the first space based on the first coordinate mapping relationship. The code in the computer program instructions further includes a module 910D that sends a control command to the second device to instruct the second device to perform the second operation.
  • the computer program instruction module can substantially perform the various actions in the flows illustrated in Figures 1-7,
  • the first device 100 or 800 is simulated.
  • different computer program instruction modules are executed in the processor 906, they may correspond to the different modules described above in the first device 100 or 800.
  • code means in the embodiment disclosed above in connection with FIG. 9 is implemented as a computer program instruction module that, when executed in processor 906, causes hardware arrangement 900 to perform the actions described above in connection with FIGS. 1-7, however In an embodiment, at least one of the code means can be implemented at least in part as a hardware circuit.
  • the processor may be a single CPU (Central Processing Unit), but may also include two or more processing units.
  • a processor can include a general purpose microprocessor, an instruction set processor, and/or a related chipset and/or a special purpose microprocessor (eg, an application specific integrated circuit (ASIC)).
  • the processor may also include an onboard memory for caching purposes.
  • Computer program instructions may be hosted by a computer program instruction product coupled to the processor.
  • the computer program instructions product can comprise a computer readable medium having stored thereon computer program instructions.
  • the computer program instructions product can be flash memory, random access memory (RAM), read only memory (ROM), EEPROM, and the computer program instructions modules described above can be distributed in the form of memory within the UE to alternative embodiments. Different computer program instruction products.
  • functions described herein as being implemented by pure hardware, software and/or firmware may also be implemented by means of dedicated hardware, a combination of general hardware and software, and the like.
  • functions described as being implemented by dedicated hardware eg, Field Programmable Gate Array (FPGA), Application Specific Integrated Circuit (ASIC), etc.
  • general purpose hardware eg, central processing unit (CPU), digital signal processing (DSP) is implemented in a way that is combined with software and vice versa.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Aviation & Aerospace Engineering (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Remote Sensing (AREA)
  • Automation & Control Theory (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

一种用于第一设备（100）控制第二设备（200）的方法、相应的第一设备（100）和计算机可读存储介质。在第一设备（100）处执行的用于控制第二设备（200）的方法（700）包括：（步骤S710）确定与第一设备（100）相关联的第一空间（10）和与第二设备（200）相关联的第二空间（20）；（步骤S720）确定第一空间（10）和第二空间（20）之间的第一坐标映射关系；（步骤S730）基于第一坐标映射关系，根据第一设备（100）在第一空间（10）中的第一操作来确定要由第二设备（200）在第二空间（20）中执行的第二操作；（步骤S740）以及向第二设备（200）发送控制指令，以指示第二设备（200）执行第二操作。

Description

用于设备控制的方法、设备和计算机可读存储介质
版权申明
本专利文件披露的内容包含受版权保护的材料。该版权为版权所有人所有。版权所有人不反对任何人复制专利与商标局的官方记录和档案中所存在的该专利文件或者专利披露。
技术领域
本公开涉及远程控制领域，更具体地涉及用于设备控制的方法、设备和计算机可读存储介质。
背景技术
无人驾驶飞行器(UAV)，一般也被称作“无人机”、“无人驾驶飞行系统(UAS)”或若干其他名称，是一种其上没有人类飞行员的飞行器。无人机的飞行可以通过各种方式来控制：例如由人类操作员(有时也被称为“飞手”)加以远程控制，或者由无人机半自主或全自主方式进行飞行等等。
在远程遥控时，需要飞手能够根据需要来随时调整无人机的飞行姿态。然而，对于大部分人来说，无人机的操控方式与他们日常生活中驾驶汽车、遥控玩具的生活体验相去甚远，因此需要他们进行复杂、冗长的专业训练。在该情况下，如何简化无人机的操作，或甚至使其操作自动化或半自动化，就成为了亟待解决的问题之一。
发明内容
根据本公开的第一方面，提出了一种在第一设备处执行的用于控制第二设备的方法。该方法包括：确定与所述第一设备相关联的第一空间和与所述第二设备相关联的第二空间；确定所述第一空间和所述第二空间之间的第一坐标映射关系；基于所述第一坐标映射关系，根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作；以及向所述第二设备发送控制指令，以指示所述第二设备执行所述第二操作。
根据本公开的第二方面，提出了一种用于控制第二设备的第一设备。该第一设备包括：空间确定模块，用于确定与所述第一设备相关联的第一空间和与所述第二设备相关联的第二空间；第一映射关系确定模块，用于确定所述第一空间和所述第二空间之间的第一坐标映射关系；第二操作确定模块，用于基于所述第一坐标映射关系，根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作；以及指令发送模块，用于向所述第二设备发送控制指令，以指示所述第二设备执行所述第二操作。
根据本公开的第三方面，提出了一种用于控制第二设备的第一设备。该第一设备包括：处理器；存储器，其中存储有指令，所述指令在由所述处理器执行时使得所述处理器：确定与所述第一设备相关联的第一空间和与所述第二设备相关联的第二空间；确定所述第一空间和所述第二空间之间的第一坐标映射关系；基于所述第一坐标映射关系，根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作；以及向所述第二设备发送控制指令，以指示所述第二设备执行所述第二操作。
根据本公开的第四方面，提出了一种存储指令的计算机可读存储介质，所述指令在由处理器执行时使得所述处理器执行根据本公开第一方面所述的方法。
附图说明
为了更完整地理解本公开实施例及其优势，现在将参考结合附图的以下描述，其中：
图1是示出了根据本公开实施例的示例第一空间。
图2是示出了根据本公开实施例的示例第二空间。
图3是示出了根据本公开实施例的示例第一设备与示例第二设备的示例同步过程。
图4是示出了根据本公开实施例的在示例第一设备离开第一空间时的示例场景。
图5是示出了根据本公开实施例的在示例第一设备控制示例第二设备时示例第二设备遇到障碍物的示例场景。
图6是示出了根据本公开实施例的在重新确定示例第二空间时的示例重新同步过程。
图7是示出了根据本公开实施例的用于示例第一设备控制示例第二设备的示例方法的流程图。
图8是示出了根据本公开实施例的用于控制示例第二设备的示例第一设备的功能模块框图。
图9是示出了根据本公开实施例的用于控制示例第二设备的示例第一设备的硬件示意图。
此外，各附图并不一定按比例来绘制，而是仅以不影响读者理解的示意性方式示出。
具体实施方式
根据结合附图对本公开示例性实施例的以下详细描述，本公开的其它方面、优势和突出特征对于本领域技术人员将变得显而易见。
在本公开中，术语“包括”和“含有”及其派生词意为包括而非限制。
在本说明书中，下述用于描述本公开原理的各种实施例只是说明，不应该以任何方式解释为限制公开的范围。参照附图的下述描述用于帮助全面理解由权利要求及其等同物限定的本公开的示例性实施例。下述描述包括多种具体细节来帮助理解，但这些细节应认为仅仅是示例性的。因此，本领域普通技术人员应认识到，在不脱离本公开的范围和精神的情况下，可以对本文中描述的实施例进行多种改变和修改。此外，为了清楚和简洁起见，省略了公知功能和结构的描述。此外，贯穿附图，相同附图标记用于相同或相似的功能和操作。此外，尽管可能在不同实施例中描述了具有不同特征的方案，但是本领域技术人员应当意识到：可以将不同实施例的全部或部分特征相结合，以形成不脱离本公开的精神和范围的新的实施例。
请注意：尽管以下实施例以无人机作为操控对象以及头戴式显示器作为操控主体来进行详细描述，然而本公开不限于此。事实上，操控对象可以是任何操控对象，例如机器人、遥控汽车、飞机等或任何可被远程控制的设备。此外，操控主体也可以是例如固定终端(例如，台式机)、移动终端(例如，手机、平板电脑)、除了头戴式显示器之外的其他可穿戴设备、遥控器、手柄、摇杆等或任何可发出操控指令的设备。
在正式描述本公开的一些实施例之前，首先将描述在本文中将要使用的部分术语。
虚拟现实(Virtual Reality，简称为VR)：虚拟现实技术是仿真技术的一个重要方向，是仿真技术与计算机图形学人机接口技术多媒体技术传感技术网络技术等多种技术的集合。虚拟现实技术(VR)主要包括模拟环境、感知、自然技能和传感设备等方面。模拟环境通常是由计算机生成的、实时动态的三维立体逼真图像。感知是指理想的VR应该具有一切人所具有的感知。除计算机图形技术所生成的视觉感知外，还可以有听觉、触觉、力觉、运动等感知，甚至还包括嗅觉和味觉等，也称为多感知。自然技能是指人的头部转动，眼睛、手势、或其他人体行为动作，由计算机来处理与参与者的动作相适应的数据，并对用户的输入做出实时响应，并分别反馈到用户的五官。传感设备是指三维交互设备。
欧拉角/姿态角：机体坐标系(以例如机尾指向机头的方向、左翼指向右翼的方向、以及与这两个方向均垂直(即，与飞机水平面垂直)且指向机体下方的方向为三个轴的坐标系)与地面坐标系(又称为大地坐标系，以例如东向、北向、地心方向为三个轴的坐标系)的关系是三个欧拉角，其反应了飞机相对地面的姿态。这三个欧拉角分别是：俯仰角(pitch)、偏航角(yaw)和滚转角(roll)。
俯仰角θ(pitch)：机体坐标系X轴(例如，由机尾指向机头的方向)与大地水平面的夹角。当X轴的正半轴位于过坐标原点的水平面之上(抬头)时，俯仰角为正，否则为负。当飞行器的俯仰角变化时，通常意味着其随后的飞行高度会发生变化。如果是图像传感器的俯仰角发生变化，则通常意味着其拍摄的画面会出现高度变化。
偏航角ψ(yaw)：机体坐标系X轴在水平面上投影与地面坐标系X轴(在水平面上，指向目标为正)之间的夹角，由机体坐标系X轴逆时针转至地面坐标系X轴的投影线时，偏航角为正，即机头右偏航为正，反之为负。当飞行器的偏航角变化时，通常意味着其随后的水平飞行方向会发生变化。如果是图像传感器的偏航角发生变化，则通常意味着其拍摄的画面会出现左右移动。
滚转角Φ(roll)：机体坐标系Z轴(例如，飞机水平面朝向下方的方向)与通过机体X轴的铅垂面间的夹角，机体向右滚为正，反之为负。当飞行器的滚转角变 化时，通常意味着其水平面转动。如果是图像传感器的滚转角发生变化，则通常意味着其拍摄的画面会出现左倾或右倾。
如前所述，需要简单易用的无人机操控方式。在常见的无人机操控方式中，通常通过手持遥控器来进行操纵。例如，可以通过作用在操纵杆的位移量大小来控制飞机各个方向的速度大小。同时飞手通常还需要关心无人机上的摄像机(或更一般地，图像传感器或图像传感组件)的拍摄角度，对于飞手的负担及熟练程度都有一定的要求。
在例如城市区域交通拥堵、重大事件或者节日造成的突发性人流高峰、突发性灾难(地震、火灾、恐怖袭击等)、甚至小规模的军事冲突时，决策人员需要掌握即时与直观的现地情报信息的能力，以进行现场指挥。又例如，新闻行业需要尽可能多角度全方位地对事件进行报道。在现有的技术条件下，最主要的方式是通过现场的固定或者便携式监控设备，或是飞行器从空中进行覆盖监控。然而，在这些常见的方案中，存在以下问题：需要足够数量和操作人员的设备来完整覆盖监控区域，而地面的监控设备的机动性有限，难以被灵活部署。此外，对于空中的载人飞行器或是UAV，无法做到快速从高空切换至其他视角。以上所描述的方式，同时还需要多方面专业人员操作，并且汇总来呈现给决策人员。
为了至少部分解决或减轻上述问题，提出了根据本公开实施例的基于虚拟现实的无人机操控系统。此系统能够让指挥人员在灵活直观地掌握到现地各种角度的即时画面同时，减少对人员和设备数量需求。通过此系统的直观操纵方式，可以用人类的自然行为(例如，站立、下蹲、行走和/或头部活动等)来操纵无人机及其摄像机角度，且可以通过行走与转头就能完成用双手难以完成的飞行轨迹及镜头角度控制。
在本公开的一些实施例中，该无人机操控系统的硬件部分可以大致由以下部分构成：输入端、通信端、以及终端。在一些实施例中，输入端可以包括例如头戴式显示器(Head Mounted Display，简称为HMD)和/或手柄控制器。输入端的主要作用在于向操作者提供虚拟现实画面以及提供操作界面，使得操作者能够根据所观察到的虚拟现实画面来进行相应观察、对无人机的操作等。请注意：在本文中，虚拟现实画面不限于由计算机所生成的纯虚拟画面，而是还可以包括例如由无人机的图像传感器所捕捉到的实际画面、实际画面与虚拟画面的组合、和/或纯虚拟画面。换 言之，在本公开的上下文中，虚拟现实(VR)也包括增强现实(Augmented Reality，简称为AR)。在一些实施例中，通信端可以包括例如：各种网络(例如，互联网、局域网、移动通信网(3G、4G、和/或5G等)、WiMax网络、光纤网络等)、控制中心、和/或地面站等。通信端的主要作用在于为输入端和终端提供通信链路、通信控制等。通信端可以用有线、无线、或其组合的方式在输入端和终端之间传输数据、信号等。在一些实施例中，终端可以包括例如无人飞行器(UAV)、机器人、遥控汽车、飞机等或任何可被远程控制的设备。
在本文以下描述的实施例中，将以输入端为头戴式显示器(HMD)、通信端为无线通信网络(例如，4G网络)、终端为无人机为例来详细描述。然而，如上所述本公开不限于此。此外，在本文中，还经常会以“第一设备”来指代HMD(或更一般地，操控主体)，以“第二设备”来指代无人机(或更一般地，操控对象)，然而本公开不限于此。事实上，随着网络(例如，5G网络)速度的提升以及技术的发展，在单一设备中执行的一个功能可能会以分布式形式分散在多个设备中。例如，如下文中描述的在第一设备处执行的方法的各个步骤中的一些完全可以在通信端或终端处执行，从而可以将这些设备中执行这些步骤的硬件部分的组合视为等同于“第一设备”。类似地，例如，如下文中描述的在第二设备处执行的方法的各个步骤中的一些完全可以在输入端或通信端处执行，从而可以将这些设备中执行这些步骤的硬件部分的组合视为等同于“第二设备”。
接下来，将结合图1～3来详细描述根据本公开实施例的使用第一设备(例如，头戴式显示器)来控制第二设备(例如，无人机)的初始化过程。
图1是示出了根据本公开实施例的示例第一空间10，且图2是示出了根据本公开实施例的示例第二空间20。如图1所示，第一空间10可以是与第一设备100相关联的空间，用于供佩戴第一设备100的用户在其中进行实际操作。如图1所示，佩戴了第一设备100的用户可以在该空间中进行站立、行走、转向、下蹲、跳跃、转头等动作。第一设备100在感测到这些动作时，可以根据如下文所描述的方式对用户和/或第一设备100在第一空间10中的这些动作进行解读，并将其相应转换为操控对象(例如，图3所示的无人机200)在如图2所示的第二空间20中要执行的动作，然后向无人机200发送指示这些动作的操控指令。请注意：在本文中，由于用户始终佩戴第一设备100，因此除非另有声明，否则以下将不区分用户和第一设 备100。换言之，除非另有声明，否则下文中“用户”和“第一设备100”可以互换使用。
为了确定该第一空间10的范围，佩戴第一设备100的用户可以通过指定第一空间10的全部或部分顶点和/或全部或部分边长来进行。例如，在图1所示实施例中，第一空间10可以是如虚线所示的立方体，则用户为了指定该立方体空间，可以指定该第一空间10的任一顶点作为原点，且指定各个方向(例如，图1所示的X、Y和Z轴)上的长度作为边长。在另一些实施例中，也可以通过确定以下至少一项来指定第一空间10的范围：第一空间10的两个顶点的位置和第一空间10在由这两个顶点所形成的线的垂面的坐标轴上的长度；第一空间10的非共线的三个顶点的位置和第一空间10在由这三个顶点所形成的面的垂线方向上的长度；以及第一空间10的非共面的至少四个顶点的位置。
此外，尽管为了使得读者理解更为方便、直观，在本文所示实施例中以第一空间10是立方体为例，但本公开不限于此。第一空间10也可以具有其他形状，包括(但不限于)：球形、棱台、棱锥、圆柱体、圆锥、或任何其他规则或不规则的立体结构。
在一些实施例中，确定顶点的方式可以例如是用户走到某点处时按动手中控制器或通过头部动作(例如，点头、摇头)或任何其他动作(例如，跳跃、下蹲)或甚至是通过旁观者所操控的另一设备来确定，以通知第一设备100该点是第一空间100的某个顶点。确定边长的方式可以是例如用户通过键盘之类的输入设备手动输入，或通过检测用户实际行走的距离等方式。在另一些实施例中，用户也可以通过对拍摄到的场地的图像进行虚拟框选，来确定第一空间10的范围。
此外，在一些实施例中，可以用下述方式来变更第一空间10的原点高度：例如，当第一设备100检测到用户处于下蹲状态超过一定时间(例如，1秒、3秒或任何其他恰当的时间)，或者通过蹲下之后触发事件(例如，按动遥控器的相应按钮等)，或者通过这二者的组合，可以将第一空间10的原点提高到例如用户眼睛的高度，此时可以使得第二设备在第二空间中保持一个低高度，例如沿着第二空间的底面进行活动。此外，在一些实施例中，可以通过检测固定动作或更一般地触发事件(例如，按动遥控器的相应按钮等)，使得第一空间10的顶面的高度降至用户眼睛高度，从而使得对应第二设备可以沿着第二空间的顶面移动。此外，在一些实施例中，可以 通过设置定时器(例如，在第二设备沿变更后的高度运行1秒、3秒或任何其他恰当的时间后)或触发事件(例如，按动遥控器的相应按钮)，来解除前述实施例中对第二设备运行高度的变更。在解除了第二设备的固定运行高度的情况下，第二设备可以回到相应的第二空间位置，例如垂直运行以返回相应位置。此外，在一些实施例中，为了使得用户能够通过下蹲动作来操控第二设备，可以在确定第一空间10时，选择用户可以下蹲的范围中的某个点作为第一空间10的原点，从而使得上述实施例中的原点高度变更成为可能。
在一些实施例中，上述实施例中的操作均可以通过第一设备100的输出设备(例如，显示器)向用户加以提示。例如，当检测到下蹲超过预定时间或检测到触发事件时，可以在执行前述实施例的操作的同时，通过第一设备100的显示器向用户提示第二设备进入高度变更模式，或第二设备解除了高度变更模式等。
如图2所示，第二空间20可以是与第二设备200相关联的空间，用于供第二设备200(例如，无人机)在其中进行实际操作。如图2所示，第二设备200可以在该空间中进行悬停、飞行、转向、下降、上升、摄像头调整视角等动作。第二设备200可以根据如下文所描述的方式从第一设备100接收操控指令，并执行相应的动作。在图2所示实施例中，第二空间20的顶部和底部可以分别对应于第二设备200的最高与最低飞行高度，然而本公开不限于此。
与图1所示的第一空间10相类似，为了确定该第二空间20的范围，用户可以通过在三维电子地图上指定第二空间20的全部或部分顶点和/或全部或部分边长来进行。例如，在图2所示实施例中，第二空间20也可以是如虚线所示的立方体，则用户为了指定该立方体空间，可以指定该第二空间20的任一顶点作为原点，且指定各个方向(例如，图2所示的X、Y和Z轴)上的长度作为边长。在另一些实施例中，也可以通过确定以下至少一项来指定第二空间20的范围：第二空间20的两个顶点在三维电子地图上的位置和第二空间在由这两个顶点所形成的线的垂面的坐标轴上的长度；第二空间20的非共线的三个顶点在三维电子地图上的位置和第二空间20在由这三个顶点所形成的面的垂线方向上的长度；以及第二空间20的非共面的至少四个顶点在三维电子地图上的位置。
此外，尽管为了使得读者理解更为方便、直观，在本文所示实施例中以第二空间20是立方体为例，但本公开不限于此。第二空间20也可以具有其他形状，包括 (但不限于)：球形、棱台、棱锥、圆柱体、圆锥、或任何其他规则或不规则的立体结构。例如，在接近诸如机场之类的禁飞区的情况下，由于禁飞区呈倒圆台形状，因此第二空间20的靠近机场的一侧可能是具有上窄下宽形式的不规则立体结构。
在一些实施例中，确定顶点的方式可以例如是用户在三维电子地图中框选出第二空间20的范围，例如，选中第二空间20在三维电子地图中的各个顶点、或部分顶点和边长等。此外，在另一些实施例中，也可以通过操控第二设备200飞行到空中的某个指定点，然后向第一设备100指示该指定点为第二空间20的某个顶点(例如，原点、中心点等)，然后指定各个边长的方式来确定第二空间20的范围。
在图2所示实施例中，为了方便第二设备200工作，通常可以指定第二空间20，使得其中没有可以阻挡第二设备200飞行的物体存在。然而本公开不限于此，例如如图5、图6右上侧所示，第二空间20(或20’)中可能存在永久或临时的障碍物影响第二设备200的飞行。
此外，前面结合图1和图2分别描述的确定第一空间10和第二空间20的操作可以是顺序进行的、同时进行的、或部分顺序部分同时进行的，且确定这二者的顺序也不限于本文的描述顺序(即，先确定第一空间10再确定第二空间20)，而是可以相反(即，先确定第二空间20再确定第一空间10)。
接下来，需要确定第一空间10中的坐标与第二空间20中的坐标之间的坐标映射关系。如前所示，为了说明的方便和直观，图1所示的第一空间10和图2所示的第二空间20均具有立方体形状。在大多数情况下，第二空间20具有远大于第一空间10的大小，例如，第二空间20的大小可能在公里的级别上，而第一空间10的大小可能在米的级别上。然而，本公开不限于此，第一空间10和第二空间20的大小也可以大致相当或第一空间10的大小大于第二空间20的大小。
在图1和图2所示实施例中，由于第一空间10和第二空间20均为立方体，因此可以在这二者的坐标之间建立线性映射关系。例如，将第一空间10和第二空间20的原点(例如，如前所述手动确定的或者由第一设备100根据第一空间10和/或第二空间20的范围来自动确定的)相互映射，且对这二者的X轴、Y轴和Z轴分别进行线性映射。
在一些实施例中，第一空间10的各个边长与第二空间20的各个边长之间的各个映射比例可以一致，但这并不是必需的。例如，第一空间10的X轴、Y轴和Z 轴长度可以分别为例如10米、5米和2米，且第二空间20的X轴、Y轴和Z轴长度可以分别为例如5公里、2.5公里和1公里，则三个轴上的边长相应比例均为1/500。又例如，第一空间10的X轴、Y轴和Z轴长度可以分别为例如10米、10米和2米，且第二空间20的X轴、Y轴和Z轴长度可以分别为例如5公里、2.5公里和0.75公里，则三个轴上的边长相应比例分别为1/500、1/250和1/375。
在前一情况下，在佩戴第一设备100的用户沿第一空间10的X轴行走3米的情况下，第二设备200则可以相应延其X轴飞行1.5公里；在佩戴第一设备100的用户沿第一空间10的Y轴行走3米的情况下，第二设备200则可以相应延其Y轴也飞行1.5公里。在后一情况下，在佩戴第一设备100的用户沿第一空间10的X轴行走3米的情况下，第二设备200依然可以延其X轴飞行1.5公里；而在佩戴第一设备100的用户沿第一空间10的Y轴行走3米的情况下，则与前一情况不同，第二设备200可以相应延其Y轴飞行0.75公里，而不是1.5公里。
可见，在本公开的一些实施例中，当确定了第一空间10和第二空间20在各坐标轴上的长度的相应比例时，可以基于该相应比例，来确定第一空间10中的坐标与第二空间20中的坐标的(第一)坐标映射关系。从而，第一设备100可以将用户在第一空间10中的位移等动作映射为第二设备200在第二空间20中要执行的位移等动作。这样的映射直观、简单，方便了用户(或第一设备100)对第二设备200的操作。
接下来将结合图3来详细描述操控初始化中的同步过程。
图3是示出了根据本公开实施例的示例第一设备100与示例第二设备200的示例同步过程。在如结合图1和图2所述的建立了第一空间10和第二空间20的坐标映射关系之后，如图3下部所示，佩戴第一设备100的用户可以走入第一空间10中的某个点(例如，图3所示的大致中心处)，并通过向第一设备100指示“同步激活”(例如，通过用户手中的控制器手柄、或通过利用HMD来检测用户点头、摇头或任何其他触发动作)来指示第一设备100和第二设备200之间要开始同步过程。
在接收到“同步激活”指令时，第一设备100可以检测自身在第一空间10中的(第一)坐标，并根据之前所确定的坐标映射关系来确定第二设备200要在第二空间20中所处的位置的(第二)坐标。当第一设备100确定了第二坐标时，其可以通过例如前述通信端向第二设备200发送或直接向第二设备200发送“同步激活”指 令，以指示第二设备200飞行到第二坐标处悬停且进入“同步”状态。此外，在一些实施例中，当第二设备200在向第二坐标处飞行途中，即第二设备进行同步时，可以通过第一设备100向用户提示例如“同步中”字样或图标或其他指示符，以指示用户暂时不要移动，从而避免延长同步过程。
如图3上部所示，第二设备200初始时可以处于第二空间20之外，并在接收到“同步激活”指令时(起飞并)以预定进场高度进入第二空间20。该进场高度可以取决于第二空间20的最高和/或最低高度，也可以是由用户所指定的其他高度。在进场期间，第二设备200可以使用自身的任何避障装置或措施，避开进入第二空间20期间的任何障碍。换言之，第二设备200的飞行路线可以不是如图3上部所示的折线，而是具有任何形式(例如，曲线、直线、随机线路等)、长度的路线，例如，为了绕开第二设备200正上方的障碍物，第二设备200甚至可以先向远离第二空间20的方向飞行一段距离、爬升到进场高度，再向第二空间20中的第二坐标前进。与此同时，用户可以通过第一设备10上呈现的由第二设备20上搭载的图像传感组件(例如，摄像头)所捕捉到的实时图像来观察第二设备20的飞行状态、周边环境，以保证第二设备20在进场时不发生意外。
在一些实施例中，当第二设备200到达第二坐标时，其可以经由例如通信端向第一设备100返回或直接向第一设备100返回“同步激活”确认消息，以表明其已到达指定位置并进入“同步”状态。此时，第二设备200的图像传感组件所捕捉的画面可以实时传输并显示在第一设备100上。操作者可以在第一空间10内任意进行行走、转向、抬/低头、下蹲/跳跃等动作，以作用于第一设备100并相应控制第二设备200。
在一些实施例中，可以通过第一设备100上安装的陀螺仪、加速度计、或磁传感器、定位装置(例如，GPS等)等装置，来实时获取用户或第一设备100的瞬时加速度、瞬时速度、几何坐标、方位(偏航)角和/或俯仰角等参数。例如，通过使用第一设备100上的加速度计，第一设备100可以确定自身在一段时间内在某个方向上的加速度，进而确定自身在这段时间内的速度，从而可以确定自身在这段时间内的位移以及在该方向上相对于初始位置的坐标。又例如，可以通过使用陀螺仪，第一设备100可以检测到用户的头部转向和/或抬头/低头等动作的幅度，并结合第一 空间20的各边长，可以确定该动作在第一空间20的方位(偏航)角和/或俯仰角的变化。
在确定了第一设备100在第一空间10中的(第一)操作时，第一设备100可以根据前述第一坐标映射关系来确定与第一操作相对应的第二设备200在第二空间20中要执行的(第二)操作。例如，如前所述，当第一设备100沿第一空间10的X轴移动3米时，则可以根据1/500的第一坐标映射关系，将第二操作确定为第二设备200延其X轴飞行1.5公里。又例如，当第一设备100在X轴(或Y轴)和Z轴所在的平面内的俯仰角为+15度(即，用户的视线抬升15度)时，则由于第一坐标映射关系中各坐标轴之间的比例一致，且因此可以将第二操作确定为第二设备200和/或其图像传感组件在其X轴(或Y轴)和Z轴所在的平面内的俯仰角为+15度。此外，如果第一坐标映射关系中各坐标轴之间的比例并不一致，例如X轴(或Y轴)的比例为1/500而Z轴的比例为1/375，则可以将第二操作确定为第二设备200和/或其图像传感组件在其X轴(或Y轴)和Z轴所在的平面内的俯仰角约为+11.3度(即，
Figure PCTCN2017084531-appb-000001
)。这样做的目的主要是保证：尽管第一空间10和第二空间20在各轴上比例不同，但是用户所能实现的最大俯仰范围相对应。此外，方位角也可以类似处理。
此外，在一些实施例中，当用户或第一设备100例如产生高度变化时(例如，跳跃、下蹲等)，第一设备100可以确定第一设备100上升或下降的最高或最低高度，并将该最高或最低高度与预先设置的某个最高阈值高度或最低阈值高度进行比较。当获取到检测到的高度与阈值高度之差时，可以根据前述第一坐标映射关系将其映射为第二空间20中的高度差，并相应指示第二设备200上升或下降该高度差。在另一些实施例中，也可以不考虑第一坐标映射关系来进行该高度转换。例如，只要用户跳跃一次，第二设备200可以上升固定高度，例如10米。又例如，只要用户下蹲一次，第二设备200可以下降固定高度，例如5米。此外，也可以在不设置阈值的情况下，根据第一设备100的实际高度变化来相应调整第二设备200的高度。然而，考虑到人类在自然行走时会发生的轻微高度变化，这对于第二设备的操控来说是无益的。
更一般地，在一些实施例中，第一设备100可以确定在执行平移操作时在第一空间10中的第一平移路线，基于上述第一坐标映射关系将第一平移路线映射为第二 空间20中的第二平移路线，并将第二操作确定为指示第二设备200沿第二平移路线移动的操作。在另一些实施例中，第一设备100可以确定第一设备100在结束转向操作时在第一空间10中的第一方位角；基于上述第一坐标映射关系将第一方位角映射为第二空间20中的第二方位角；以及将第二操作确定为指示第二设备200或第二设备200的图像传感组件转向至第二方位角。在又一些实施例中，第一设备100可以确定第一设备100在结束视角变化操作时在第一空间10中的第一俯仰角，基于第一坐标映射关系将第一俯仰角映射为第二空间20中的第二俯仰角；以及将第二操作确定为指示第二设备200的图像传感组件转向至第二俯仰角。在再一些实施例中，第一设备100可以确定第一设备100在执行高度变化操作期间在第一空间10中所达到最高高度或最低高度；如果最高高度或最低高度相应高于或低于最高阈值或最低阈值，则基于第一坐标映射关系将最高高度或最低高度与相应的最高阈值或最低阈值之差映射为第二空间20中的高度差；以及将第二操作确定为指示第二设备200上升或下降高度差。
然而，本公开不限于此。在另一些实施例中，对于俯仰角和/或方位角之类的角度变化，也可以在不考虑第一坐标映射关系的前提下进行直接转换。例如，如果第一操作是第一设备100在第一空间10内原地顺时针旋转45度，则可以将第二操作确定为第二设备200在第二空间20内也原地顺时针旋转45度。由例如，如果第一操作是第一设备100在第一空间10内低头30度，则可以将第二操作确定为第二设备200在第二空间20内的俯仰角也下降30度。这样做的目的主要是保证：尽管第一空间10和第二空间20在各轴上比例不同，但是用户所能实现的最大俯仰角度相对应。此外，方位角也可以类似处理。
此外，尽管本文中并未讨论滚转角，但这主要是因为第二设备200通常无需滚转，且第一设备100也通常不会进行滚转操作。然而本公开不限于此，也可以对滚转角进行类似处理。
在一些实施例中，在确定了第二操作之后，可以向第二设备200发送控制指令，以指示第二设备200执行该第二操作。
因此，在理想状态下，操作者或第一设备100所在的第一空间10的坐标可以实时同步于第二设备200在其所在第二空间20中的相应坐标，且第二设备200的图像 传感组件的方位角和/或俯仰角可以对应于第一设备100的相应角度。使得用户能够方便、直观地操作无人机，并获得与用户当前头部姿态相对应的实时视图。
接下来，将结合图4来详细描述第一设备100与第二设备200解除同步的过程。
图4是示出了根据本公开实施例的在示例第一设备100离开第一空间10时的示例场景。在图4所示实施例中，当佩戴第一设备100的用户离开第一空间10时，例如其走出第一空间10的边界时，理论上第二设备200也应当处于第二空间20的相应边界并准备飞出。此时，在一些实施例中，第一设备100可以向第二设备200发送“同步取消”指令，以指示第二设备200解除同步状态，并在原地悬停等待接收进一步的指示。在另一些实施例中，第二设备200也可以在检测到要离开第二空间20时，自行解除同步状态并原地悬停。此时，第二设备200也可以选择向第一设备100报告其“解除同步”的状态。除了用户或第一设备100离开第一空间10时解除同步之外，用户或第一设备100也可以选择主动解除同步状态，例如通过按动手持控制器上的某个固定按钮、通过头戴式显示器的点头、摇头动作、或某个其他指定动作等。此时，第二设备200可解除同步状态，并原地悬停。
在一些实施例中，当佩戴第一设备100的原用户或另一用户重新回到第一空间10中时，第一设备100可以据此向第二设备20发出重新同步的指令(例如，前述的“同步激活”指令或另一重新同步指令)，以指示第二设备20进入同步状态，并飞行至与第一设备100在第一空间10中的当前位置相对应的第二空间20中的正确位置。此外，在另一些实施例中，佩戴第一设备100的用户也可以选择手动激活同步状态，例如重新设置第一空间10，并如前所述向第二设备200发送“同步激活”指令。
接下来，将结合图5来详细描述第二设备200的避障过程。
图5是示出了根据本公开实施例的在示例第一设备100控制示例第二设备200时示例第二设备200遇到障碍物的示例场景。如图5下部所示，用户或第一设备100进行了位移操作。此时，第二设备200应当按照前述方式也位移到相应位置处。如果在第二设备200位移的路线上出现障碍物，如图5上部所示，则第二设备200可以选择自行重新设计路线并移动到相应位置处。在一些实施例中，该避障过程可以是由第二设备200自行进行的。以这样的方式，可以更快地避开障碍物。在另一些 实施例中，该避障过程也可以是由第一设备100在接收到第二设备200的报告后相应控制的。无论哪种方式，第二设备200都可以在避开障碍物后到达指定位置处。
在一些实施例中，当第二设备200重新选择路线来避开障碍物时，其可以解除与第一设备100的同步状态，并在到达指定位置后重新进入同步状态。在另一些实施例中，该同步状态也可以始终保持，仅在指定时间段内第二设备200未到达指定地点时才解除。
接下来，将结合图6来详细描述重新确定第二空间20的过程。
图6是示出了根据本公开实施例的在重新确定示例第二空间20时的示例重新同步过程。如图6所示，当第一设备10在第一空间10内的移动不能完全覆盖到整个第二空间20的所有位置时(例如，初始设置有误)或者想要观察第二空间20外的某个区域时或者是需要在操作者静止不动的情况下使第二设备200进行位移时，用户可以例如通过手柄在三维电子地图上指定一个目标点(或更一般地，新的第二空间)，将重新映射第一空间10与第二空间20’的坐标关系，使当前用户所在的第一空间10的相应坐标即刻改变为此目标点在第二空间20’中的坐标。
例如，如图6所示，用户可以通过控制手柄或其他方式(例如，通过安装在用户手臂上的姿态检测器来检测用户手臂在虚拟空间中的动作)，在虚拟空间中指定了一个要到达的位置150，则第二设备200可以前往第二空间20中的相应空间坐标处，并以该新的位置对应于用户或第一设备100在第一空间10中的当前位置的方式重新设置第二空间20’，并继续后续的操作。
此外，在一些实施例中，当第二设备200因某些原因而没有实时同步于第一设备100的位置时，第一设备100可以将其所呈现的画面切换到预先对飞行区域完成的3D建模画面(即，纯虚拟画面)。在该3D空间中所用的坐标系和图像传感组件的视角与实际飞行区域中一致。此外，可以通过3D的静态模型以及根据当前飞行区域的时间、天气等周边条件来模拟光照天气等环境，渲染出接近于实景拍摄的飞行区域画面显示在第一设备100上，让操作者能够在没有拍摄画面的情况下使用参照物进行操作。在一些实施例中，当第二设备200再次与第一设备100保持同步状态之后，可以切换至实景拍摄画面。
此外，控制中心(例如，第一设备100或其他控制设施)可以对第二设备200当前的周边环境、电量状态和返航距离等数据进行监测，以自动决策何时派出候补 第二设备200保证作业的照常进行。例如，另一第一设备100可以派出候补第二设备200接近当前第二设备200的位置，保证在当前第二设备200的电量降低到返航电量之前到达并完成替换，从而实现对监控区域的无间断监控。
通过上面结合图1～6所描述的设备控制方案，可以让指挥人员灵活直观地掌握到现地各种角度的即时画面，只需在飞行条件允许下，操作者走到合适的位置，就能得到想要的监控角度。此外，还减少了对其他人员和设备依赖。
以下将结合图7～8来详细描述根据本公开实施例的在第一设备100处执行的用于控制第二设备200的方法以及相应第一设备100的功能构造。
图7是示出了根据本公开实施例的在第一设备100处执行的用于控制第二设备200的方法700的流程图。如图7所示，方法700可以包括步骤S710、S720、S730和S740。根据本公开，方法700的一些步骤可以单独执行或组合执行，以及可以并行执行或顺序执行，并不局限于图7所示的具体操作顺序。在一些实施例中，方法700可以由图1～图6所示的第一设备100、图8所示的第一设备800、或图9所示的设备900来执行。
图8是示出了根据本公开实施例的示例第一设备800(例如，第一设备100、头戴式显示器、手持控制器、或其他控制设备等)的功能模块框图。如图8所示，第一设备800可以包括：空间确定模块810、第一映射关系确定模块820、第二操作确定模块830和指令发送模块840。
空间确定模块810可以用于确定与第一设备100相关联的第一空间10和与第二设备200相关联的第二空间20。空间确定模块810可以是第一设备100的中央处理单元、数字信号处理器(DSP)、微处理器、微控制器等等，其可以与例如第一设备100的输入装置等相配合，确定与第一设备100相关联的第一空间10和与第二设备200相关联的第二空间20。
第一映射关系确定模块820可以用于确定第一空间10和第二空间20之间的第一坐标映射关系。第一映射关系确定模块820也可以是第一设备100的中央处理单元、数字信号处理器(DSP)、微处理器、微控制器等等，其可以根据第一空间10和第二空间20的大小、形状、方位等来确定第一空间10和第二空间20之间的第一坐标映射关系。
第二操作确定模块830可以用于基于第一坐标映射关系，根据第一设备100在 第一空间10中的第一操作来确定要由第二设备200在第二空间20中执行的第二操作。第二操作确定模块830也可以是第一设备100的中央处理单元、数字信号处理器(DSP)、微处理器、微控制器等等，其可以将第一设备100的第一操作转换为第二设备200的第二操作，从而使得用户能够直观、简单地操控第二设备200。
指令发送模块840可以用于向第二设备200发送控制指令，以指示第二设备200执行第二操作。指令发送模块840也可以是第一设备100的中央处理单元、数字信号处理器(DSP)、微处理器、微控制器等等，其可以与第一设备100的通信部分(例如，有线/无线通信单元，具体地例如RF单元、WiFi单元、电缆、以太网接口卡)相配合，向第二设备200发送控制指令，以指示第二设备200执行第二操作。
此外，第一设备800还可以包括图8中未示出的其他功能模块，例如第一坐标确定模块、第二坐标映射模块、同步激活指令发送模块、同步解除指令发送模块、操作停止指令发送模块、第三坐标确定模块、第四坐标映射模块、第二空间重新确定模块、映射关系重新确定模块、和/或第二操作重新确定模块等。在一些实施例中，第一坐标确定模块可以用于确定第一设备在执行同步激活操作时在第一空间中的第一坐标。在一些实施例中，第二坐标映射模块可以用于基于第一坐标映射关系将第一坐标映射为第二空间中的第二坐标。在一些实施例中，同步激活指令发送模块可以用于向第二设备发送同步激活指令，以指示第二设备移动至第二坐标处并指示第二设备处于“同步”状态。在一些实施例中，同步解除指令发送模块可以用于向第二设备发送同步取消指令，以指示第二设备处于“解除同步”状态。在一些实施例中，操作停止指令发送模块可以用于如果第一设备在第一操作期间离开第一空间，则向第二设备发送操作停止指令，以指示第二设备停止执行相应的第二操作并悬停在当前位置处。在一些实施例中，第三坐标确定模块可以用于如果第一设备回到第一空间，则确定第一设备在回到第一空间时的第三坐标。在一些实施例中，第四坐标映射模块可以用于基于第一坐标映射关系将第三坐标映射为第二空间中的第四坐标。在一些实施例中，第二操作确定模块还可以用于将第二操作确定为指示第二设备移动至第四坐标处的操作。在一些实施例中，第二空间重新确定模块可以用于重新确定与第二设备相关联的第二空间。在一些实施例中，映射关系重新确定模块可以用于确定第一空间和经重新确定的第二空间之间的第二坐标映射关系。在一些实施例中，第二操作重新确定模块可以用于基于第二坐标映射关系，根据第一设备在 第一空间中的第一操作来确定要由第二设备在经重新确定的第二空间中执行的第二操作。
此外，第一设备800还可以包括图8中未示出的其他功能模块，然而由于其并不影响本领域技术人员理解本公开的实施方式，因此在图8中加以省略。例如，第一设备800还可以包括以下一项或多项功能模块：电源、存储器、数据总线、天线、无线收发信机等等。
以下将结合图7和图8，对根据本公开实施例的在第一设备800(例如，第一设备100)处执行的用于控制第二设备200的方法700和第一设备800(例如，第一设备100)进行详细的描述。
方法700开始于步骤S710，在步骤S710中，可以由第一设备800的空间确定模块810来确定与第一设备800相关联的第一空间10和与第二设备200相关联的第二空间20。
在步骤S720中，可以由第一设备800的第一映射关系确定模块820确定第一空间10和第二空间20之间的第一坐标映射关系。
在步骤S730中，可以由第一设备800的第二操作确定模块830基于第一坐标映射关系，根据第一设备800在第一空间10中的第一操作来确定要由第二设备200在第二空间20中执行的第二操作。
在步骤S740中，可以由第一设备800的指令发送模块840向第二设备200发送控制指令，以指示第二设备200执行第二操作。
在一些实施例中，步骤S710可以包括确定以下至少一项：第一空间的一个顶点的位置和第一空间在各坐标轴上的长度；第一空间的两个顶点的位置和第一空间在由两个顶点所形成的线的垂面的坐标轴上的长度；第一空间的非共线的三个顶点的位置和第一空间在由三个顶点所形成的面的垂线方向上的长度；以及第一空间的非共面的至少四个顶点的位置。在一些实施例中，步骤S710可以包括确定以下至少一项：第二空间的一个顶点在三维电子地图上的位置和第二空间在三维电子地图的各坐标轴上的长度；第二空间的两个顶点在三维电子地图上的位置和第二空间在由两个顶点所形成的线的垂面的坐标轴上的长度；第二空间的非共线的三个顶点在三维电子地图上的位置和第二空间在由三个顶点所形成的面的垂线方向上的长度；以及第二空间的非共面的至少四个顶点在三维电子地图上的位置。在一些实施例中，步 骤S720可以包括：设置第一空间和第二空间各自的原点；确定第一空间和第二空间在各坐标轴上的长度的相应比例；以及基于第一空间和第二空间的原点和相应比例，确定第一空间中的坐标与第二空间中的坐标的第一坐标映射关系。在一些实施例中，方法700还可以包括：确定第一设备在执行同步激活操作时在第一空间中的第一坐标；基于第一坐标映射关系将第一坐标映射为第二空间中的第二坐标；以及向第二设备发送同步激活指令，以指示第二设备移动至第二坐标处并指示第二设备处于“同步”状态。在一些实施例中，方法700还可以包括向第二设备发送同步取消指令，以指示第二设备处于“解除同步”状态。
在一些实施例中，第一操作可以包括以下至少一项：平移操作、转向操作、视角变化操作、以及高度变化操作。在一些实施例中，如果第一操作是平移操作，则步骤S730可以包括：确定第一设备在执行平移操作时在第一空间中的第一平移路线；基于第一坐标映射关系将第一平移路线映射为第二空间中的第二平移路线；以及将第二操作确定为指示第二设备沿第二平移路线移动的操作。在一些实施例中，如果第一操作是转向操作，则步骤S730可以包括：确定第一设备在结束转向操作时在第一空间中的第一方位角；基于第一坐标映射关系将第一方位角映射为第二空间中的第二方位角；以及将第二操作确定为指示第二设备或第二设备的图像传感组件转向至第二方位角。在一些实施例中，如果第一操作是视角变化操作，则步骤S730可以包括：确定第一设备在结束视角变化操作时在第一空间中的第一俯仰角；基于第一坐标映射关系将第一俯仰角映射为第二空间中的第二俯仰角；以及将第二操作确定为指示第二设备的图像传感组件转向至第二俯仰角。在一些实施例中，如果第一操作是高度变化操作，则步骤S730可以包括：确定第一设备在执行高度变化操作期间在第一空间中所达到最高高度或最低高度；如果最高高度或最低高度相应高于或低于最高阈值或最低阈值，则基于第一坐标映射关系将最高高度或最低高度与相应的最高阈值或最低阈值之差映射为第二空间中的高度差；以及将第二操作确定为指示第二设备上升或下降高度差。
在一些实施例中，方法700还可以包括：如果第一设备在第一操作期间离开第一空间，则向第二设备发送控制指令，以指示第二设备停止执行相应的第二操作并悬停在当前位置处。在一些实施例中，方法700还可以包括：如果第一设备回到第一空间，则确定第一设备在回到第一空间时的第三坐标；基于第一坐标映射关系将 第三坐标映射为第二空间中的第四坐标；以及将第二操作确定为指示第二设备移动至第四坐标处的操作。在一些实施例中，方法700还可以包括：重新确定与第二设备相关联的第二空间；确定第一空间和经重新确定的第二空间之间的第二坐标映射关系；基于第二坐标映射关系，根据第一设备在第一空间中的第一操作来确定要由第二设备在经重新确定的第二空间中执行的第二操作；以及向第二设备发送控制指令，以指示第二设备执行第二操作。
图9是示出了根据本公开实施例的图1～6所示的第一设备100或图8所示第一设备800的示例硬件布置900的框图。硬件布置900可包括处理器906(例如，中央处理器(CPU)、数字信号处理器(DSP)、微控制器单元(MCU)等)。处理器906可以是用于执行本文描述的流程的不同动作的单一处理单元或者是多个处理单元。布置900还可以包括用于从其他实体接收信号的输入单元902、以及用于向其他实体提供信号的输出单元904。输入单元902和输出单元904可以被布置为单一实体或者是分离的实体。
此外，布置900可以包括具有非易失性或易失性存储器形式的至少一个可读存储介质908，例如是电可擦除可编程只读存储器(EEPROM)、闪存、和/或硬盘驱动器。可读存储介质908包括计算机程序指令910，该计算机程序指令910包括代码/计算机可读指令，其在由布置900中的处理器906执行时使得硬件布置900和/或包括硬件布置900在内的第一设备100或第一设备800可以执行例如上面结合图1～7所描述的流程及其任何变形。
计算机程序指令910可被配置为具有例如计算机程序指令模块910A～910D架构的计算机程序指令代码。因此，在例如第一设备100或800中使用硬件布置900时的示例实施例中，布置900的计算机程序指令中的代码包括：模块910A，用于确定与第一设备相关联的第一空间和与第二设备相关联的第二空间。计算机程序指令中的代码还包括：模块910B，用于确定第一空间和第二空间之间的第一坐标映射关系。计算机程序指令中的代码还包括：模块910C，基于第一坐标映射关系，根据第一设备在第一空间中的第一操作来确定要由第二设备在第二空间中执行的第二操作。计算机程序指令中的代码还包括：模块910D，向第二设备发送控制指令，以指示第二设备执行第二操作。
计算机程序指令模块实质上可以执行图1～7中所示出的流程中的各个动作，以 模拟第一设备100或800。换言之，当在处理器906中执行不同计算机程序指令模块时，它们可以对应于第一设备100或800中的上述不同模块。
尽管上面结合图9所公开的实施例中的代码手段被实现为计算机程序指令模块，其在处理器906中执行时使得硬件布置900执行上面结合图1～7所描述的动作，然而在备选实施例中，该代码手段中的至少一项可以至少被部分地实现为硬件电路。
处理器可以是单个CPU(中央处理单元)，但也可以包括两个或更多个处理单元。例如，处理器可以包括通用微处理器、指令集处理器和/或相关芯片组和/或专用微处理器(例如，专用集成电路(ASIC))。处理器还可以包括用于缓存用途的板载存储器。计算机程序指令可以由连接到处理器的计算机程序指令产品来承载。计算机程序指令产品可以包括其上存储有计算机程序指令的计算机可读介质。例如，计算机程序指令产品可以是闪存、随机存取存储器(RAM)、只读存储器(ROM)、EEPROM，且上述计算机程序指令模块在备选实施例中可以用UE内的存储器的形式被分布到不同计算机程序指令产品中。
需要注意的是，在本文中被描述为通过纯硬件、纯软件和/或固件来实现的功能，也可以通过专用硬件、通用硬件与软件的结合等方式来实现。例如，被描述为通过专用硬件(例如，现场可编程门阵列(FPGA)、专用集成电路(ASIC)等)来实现的功能，可以由通用硬件(例如，中央处理单元(CPU)、数字信号处理器(DSP))与软件的结合的方式来实现，反之亦然。
尽管已经参照本公开的特定示例性实施例示出并描述了本公开，但是本领域技术人员应该理解，在不背离所附权利要求及其等同物限定的本公开的精神和范围的情况下，可以对本公开进行形式和细节上的多种改变。因此，本公开的范围不应该限于上述实施例，而是应该不仅由所附权利要求来进行确定，还由所附权利要求的等同物来进行限定。

Claims (46)

  1. 一种在第一设备处执行的用于控制第二设备的方法，包括：
    确定与所述第一设备相关联的第一空间和与所述第二设备相关联的第二空间；
    确定所述第一空间和所述第二空间之间的第一坐标映射关系；
    基于所述第一坐标映射关系，根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作；以及
    向所述第二设备发送控制指令，以指示所述第二设备执行所述第二操作。
  2. 根据权利要求1所述的方法，其中，确定与所述第一设备相关联的第一空间的步骤包括确定以下至少一项：
    所述第一空间的一个顶点的位置和所述第一空间在各坐标轴上的长度；
    所述第一空间的两个顶点的位置和所述第一空间在由所述两个顶点所形成的线的垂面的坐标轴上的长度；
    所述第一空间的非共线的三个顶点的位置和所述第一空间在由所述三个顶点所形成的面的垂线方向上的长度；以及
    所述第一空间的非共面的至少四个顶点的位置。
  3. 根据权利要求1所述的方法，其中，确定与所述第二设备相关联的第二空间的步骤包括确定以下至少一项：
    所述第二空间的一个顶点在三维电子地图上的位置和所述第二空间在三维电子地图的各坐标轴上的长度；
    所述第二空间的两个顶点在三维电子地图上的位置和所述第二空间在由所述两个顶点所形成的线的垂面的坐标轴上的长度；
    所述第二空间的非共线的三个顶点在三维电子地图上的位置和所述第二空间在由所述三个顶点所形成的面的垂线方向上的长度；以及
    所述第二空间的非共面的至少四个顶点在三维电子地图上的位置。
  4. 根据权利要求1所述的方法，其中，确定所述第一空间和所述第二空间之间的第一坐标映射关系的步骤包括：
    设置所述第一空间和所述第二空间各自的原点；
    确定所述第一空间和所述第二空间在各坐标轴上的长度的相应比例；以及
    基于所述第一空间和所述第二空间的原点和相应比例，确定所述第一空间中的坐标与所述第二空间中的坐标的第一坐标映射关系。
  5. 根据权利要求1所述的方法，其中，所述方法还包括：
    确定所述第一设备在执行同步激活操作时在所述第一空间中的第一坐标；
    基于所述第一坐标映射关系将所述第一坐标映射为所述第二空间中的第二坐标；以及
    向所述第二设备发送同步激活指令，以指示所述第二设备移动至所述第二坐标处并指示所述第二设备处于“同步”状态。
  6. 根据权利要求5所述的方法，其中，所述方法还包括：
    向所述第二设备发送同步取消指令，以指示所述第二设备处于“解除同步”状态。
  7. 根据权利要求5所述的方法，其中，所述第一操作包括以下至少一项：平移操作、转向操作、视角变化操作、以及高度变化操作。
  8. 根据权利要求7所述的方法，其中，如果所述第一操作是平移操作，则基于所述第一坐标映射关系根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作的步骤包括：
    确定所述第一设备在执行所述平移操作时在所述第一空间中的第一平移路线；
    基于所述第一坐标映射关系将所述第一平移路线映射为所述第二空间中的第二平移路线；以及
    将所述第二操作确定为指示所述第二设备沿所述第二平移路线移动的操作。
  9. 根据权利要求7所述的方法，其中，如果所述第一操作是转向操作，则基于所述第一坐标映射关系根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作的步骤包括：
    确定所述第一设备在结束所述转向操作时在所述第一空间中的第一方位角；
    基于所述第一坐标映射关系将所述第一方位角映射为所述第二空间中的第二方位角；以及
    将所述第二操作确定为指示所述第二设备或所述第二设备的图像传感组件转向至所述第二方位角。
  10. 根据权利要求7所述的方法，其中，如果所述第一操作是视角变化操作， 则基于所述第一坐标映射关系根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作的步骤包括：
    确定所述第一设备在结束所述视角变化操作时在所述第一空间中的第一俯仰角；
    基于所述第一坐标映射关系将所述第一俯仰角映射为所述第二空间中的第二俯仰角；以及
    将所述第二操作确定为指示所述第二设备的图像传感组件转向至所述第二俯仰角。
  11. 根据权利要求7所述的方法，其中，如果所述第一操作是高度变化操作，则基于所述第一坐标映射关系根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作的步骤包括：
    确定所述第一设备在执行所述高度变化操作期间在所述第一空间中所达到最高高度或最低高度；
    如果所述最高高度或所述最低高度相应高于或低于最高阈值或最低阈值，则基于所述第一坐标映射关系将所述最高高度或所述最低高度与相应的所述最高阈值或所述最低阈值之差映射为所述第二空间中的高度差；以及
    将所述第二操作确定为指示所述第二设备上升或下降所述高度差。
  12. 根据权利要求5所述的方法，还包括：
    如果所述第一设备在所述第一操作期间离开所述第一空间，则向所述第二设备发送控制指令，以指示所述第二设备停止执行相应的第二操作并悬停在当前位置处。
  13. 根据权利要求12所述的方法，还包括：
    如果所述第一设备回到所述第一空间，则确定所述第一设备在回到所述第一空间时的第三坐标；
    基于所述第一坐标映射关系将所述第三坐标映射为所述第二空间中的第四坐标；以及
    将所述第二操作确定为指示所述第二设备移动至所述第四坐标处的操作。
  14. 根据权利要求12所述的方法，还包括：
    重新确定与所述第二设备相关联的第二空间；
    确定所述第一空间和经重新确定的所述第二空间之间的第二坐标映射关系；
    基于所述第二坐标映射关系，根据所述第一设备在所述第一空间中的第一操作 来确定要由所述第二设备在经重新确定的所述第二空间中执行的第二操作；以及
    向所述第二设备发送控制指令，以指示所述第二设备执行所述第二操作。
  15. 根据权利要求1所述的方法，其中，所述第一设备是头戴式显示器，且所述第二设备是无人机。
  16. 一种用于控制第二设备的第一设备，包括：
    空间确定模块，用于确定与所述第一设备相关联的第一空间和与所述第二设备相关联的第二空间；
    第一映射关系确定模块，用于确定所述第一空间和所述第二空间之间的第一坐标映射关系；
    第二操作确定模块，用于基于所述第一坐标映射关系，根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作；以及
    指令发送模块，用于向所述第二设备发送控制指令，以指示所述第二设备执行所述第二操作。
  17. 根据权利要求16所述的第一设备，其中，所述空间确定模块还用于确定以下至少一项：
    所述第一空间的一个顶点的位置和所述第一空间在各坐标轴上的长度；
    所述第一空间的两个顶点的位置和所述第一空间在由所述两个顶点所形成的线的垂面的坐标轴上的长度；
    所述第一空间的非共线的三个顶点的位置和所述第一空间在由所述三个顶点所形成的面的垂线方向上的长度；以及
    所述第一空间的非共面的至少四个顶点的位置。
  18. 根据权利要求16所述的第一设备，其中，所述空间确定模块还用于确定以下至少一项：
    所述第二空间的一个顶点在三维电子地图上的位置和所述第二空间在三维电子地图的各坐标轴上的长度；
    所述第二空间的两个顶点在三维电子地图上的位置和所述第二空间在由所述两个顶点所形成的线的垂面的坐标轴上的长度；
    所述第二空间的非共线的三个顶点在三维电子地图上的位置和所述第二空间在 由所述三个顶点所形成的面的垂线方向上的长度；以及
    所述第二空间的非共面的至少四个顶点在三维电子地图上的位置。
  19. 根据权利要求16所述的第一设备，其中，所述第一映射关系确定模块还用于：
    设置所述第一空间和所述第二空间各自的原点；
    确定所述第一空间和所述第二空间在各坐标轴上的长度的相应比例；以及
    基于所述第一空间和所述第二空间的原点和相应比例，确定所述第一空间中的坐标与所述第二空间中的坐标的第一坐标映射关系。
  20. 根据权利要求16所述的第一设备，还包括：
    第一坐标确定模块，用于确定所述第一设备在执行同步激活操作时在所述第一空间中的第一坐标；
    第二坐标映射模块，用于基于所述第一坐标映射关系将所述第一坐标映射为所述第二空间中的第二坐标；以及
    同步激活指令发送模块，用于向所述第二设备发送同步激活指令，以指示所述第二设备移动至所述第二坐标处并指示所述第二设备处于“同步”状态。
  21. 根据权利要求20所述的第一设备，还包括：
    同步解除指令发送模块，用于向所述第二设备发送同步取消指令，以指示所述第二设备处于“解除同步”状态。
  22. 根据权利要求20所述的第一设备，其中，所述第一操作包括以下至少一项：平移操作、转向操作、视角变化操作、以及高度变化操作。
  23. 根据权利要求22所述的第一设备，其中，如果所述第一操作是平移操作，则所述第二操作确定模块还用于：
    确定所述第一设备在执行所述平移操作时在所述第一空间中的第一平移路线；
    基于所述第一坐标映射关系将所述第一平移路线映射为所述第二空间中的第二平移路线；以及
    将所述第二操作确定为指示所述第二设备沿所述第二平移路线移动的操作。
  24. 根据权利要求22所述的第一设备，其中，如果所述第一操作是转向操作，则所述第二操作确定模块还用于：
    确定所述第一设备在结束所述转向操作时在所述第一空间中的第一方位角；
    基于所述第一坐标映射关系将所述第一方位角映射为所述第二空间中的第二方位角；以及
    将所述第二操作确定为指示所述第二设备或所述第二设备的图像传感组件转向至所述第二方位角。
  25. 根据权利要求22所述的第一设备，其中，如果所述第一操作是视角变化操作，则所述第二操作确定模块还用于：
    确定所述第一设备在结束所述视角变化操作时在所述第一空间中的第一俯仰角；
    基于所述第一坐标映射关系将所述第一俯仰角映射为所述第二空间中的第二俯仰角；以及
    将所述第二操作确定为指示所述第二设备的图像传感组件转向至所述第二俯仰角。
  26. 根据权利要求22所述的第一设备，其中，如果所述第一操作是高度变化操作，则所述第二操作确定模块还用于：
    确定所述第一设备在执行所述高度变化操作期间在所述第一空间中所达到最高高度或最低高度；
    如果所述最高高度或所述最低高度相应高于或低于最高阈值或最低阈值，则基于所述第一坐标映射关系将所述最高高度或所述最低高度与相应的所述最高阈值或所述最低阈值之差映射为所述第二空间中的高度差；以及
    将所述第二操作确定为指示所述第二设备上升或下降所述高度差。
  27. 根据权利要求20所述的第一设备，还包括：
    操作停止指令发送模块，用于如果所述第一设备在所述第一操作期间离开所述第一空间，则向所述第二设备发送操作停止指令，以指示所述第二设备停止执行相应的第二操作并悬停在当前位置处。
  28. 根据权利要求27所述的第一设备，还包括：
    第三坐标确定模块，用于如果所述第一设备回到所述第一空间，则确定所述第一设备在回到所述第一空间时的第三坐标；
    第四坐标映射模块，用于基于所述第一坐标映射关系将所述第三坐标映射为所述第二空间中的第四坐标，
    其中，所述第二操作确定模块还用于将所述第二操作确定为指示所述第二设备 移动至所述第四坐标处的操作。
  29. 根据权利要求16所述的第一设备，还包括：
    第二空间重新确定模块，用于重新确定与所述第二设备相关联的第二空间；
    映射关系重新确定模块，用于确定所述第一空间和经重新确定的所述第二空间之间的第二坐标映射关系；以及
    第二操作重新确定模块，用于基于所述第二坐标映射关系，根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在经重新确定的所述第二空间中执行的第二操作。
  30. 根据权利要求16所述的第一设备，其中，所述第一设备是头戴式显示器，且所述第二设备是无人机。
  31. 一种用于控制第二设备的第一设备，包括：
    处理器；
    存储器，其中存储有指令，所述指令在由所述处理器执行时使得所述处理器：
    确定与所述第一设备相关联的第一空间和与所述第二设备相关联的第二空间；
    确定所述第一空间和所述第二空间之间的第一坐标映射关系；
    基于所述第一坐标映射关系，根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在所述第二空间中执行的第二操作；以及
    向所述第二设备发送控制指令，以指示所述第二设备执行所述第二操作。
  32. 根据权利要求31所述的第一设备，其中，所述指令在由所述处理器执行时还使得所述处理器确定以下至少一项：
    所述第一空间的一个顶点的位置和所述第一空间在各坐标轴上的长度；
    所述第一空间的两个顶点的位置和所述第一空间在由所述两个顶点所形成的线的垂面的坐标轴上的长度；
    所述第一空间的非共线的三个顶点的位置和所述第一空间在由所述三个顶点所形成的面的垂线方向上的长度；以及
    所述第一空间的非共面的至少四个顶点的位置。
  33. 根据权利要求31所述的第一设备，其中，所述指令在由所述处理器执行时还使得所述处理器确定以下至少一项：
    所述第二空间的一个顶点在三维电子地图上的位置和所述第二空间在三维电子地图的各坐标轴上的长度；
    所述第二空间的两个顶点在三维电子地图上的位置和所述第二空间在由所述两个顶点所形成的线的垂面的坐标轴上的长度；
    所述第二空间的非共线的三个顶点在三维电子地图上的位置和所述第二空间在由所述三个顶点所形成的面的垂线方向上的长度；以及
    所述第二空间的非共面的至少四个顶点在三维电子地图上的位置。
  34. 根据权利要求31所述的第一设备，其中，所述指令在由所述处理器执行时还使得所述处理器：
    设置所述第一空间和所述第二空间各自的原点；
    确定所述第一空间和所述第二空间在各坐标轴上的长度的相应比例；以及
    基于所述第一空间和所述第二空间的原点和相应比例，确定所述第一空间中的坐标与所述第二空间中的坐标的第一坐标映射关系。
  35. 根据权利要求31所述的第一设备，其中，所述指令在由所述处理器执行时还使得所述处理器：
    确定所述第一设备在执行同步激活操作时在所述第一空间中的第一坐标；
    基于所述第一坐标映射关系将所述第一坐标映射为所述第二空间中的第二坐标；以及
    向所述第二设备发送同步激活指令，以指示所述第二设备移动至所述第二坐标处并指示所述第二设备处于“同步”状态。
  36. 根据权利要求35所述的第一设备，其中，所述指令在由所述处理器执行时还使得所述处理器：
    向所述第二设备发送同步取消指令，以指示所述第二设备处于“解除同步”状态。
  37. 根据权利要求35所述的第一设备，其中，所述第一操作包括以下至少一项：平移操作、转向操作、视角变化操作、以及高度变化操作。
  38. 根据权利要求37所述的第一设备，其中，如果所述第一操作是平移操作，则所述指令在由所述处理器执行时还使得所述处理器：
    确定所述第一设备在执行所述平移操作时在所述第一空间中的第一平移路线；
    基于所述第一坐标映射关系将所述第一平移路线映射为所述第二空间中的第二平移路线；以及
    将所述第二操作确定为指示所述第二设备沿所述第二平移路线移动的操作。
  39. 根据权利要求37所述的第一设备，其中，如果所述第一操作是转向操作，则所述指令在由所述处理器执行时还使得所述处理器：
    确定所述第一设备在结束所述转向操作时在所述第一空间中的第一方位角；
    基于所述第一坐标映射关系将所述第一方位角映射为所述第二空间中的第二方位角；以及
    将所述第二操作确定为指示所述第二设备或所述第二设备的图像传感组件转向至所述第二方位角。
  40. 根据权利要求37所述的第一设备，其中，如果所述第一操作是视角变化操作，则所述指令在由所述处理器执行时还使得所述处理器：
    确定所述第一设备在结束所述视角变化操作时在所述第一空间中的第一俯仰角；
    基于所述第一坐标映射关系将所述第一俯仰角映射为所述第二空间中的第二俯仰角；以及
    将所述第二操作确定为指示所述第二设备的图像传感组件转向至所述第二俯仰角。
  41. 根据权利要求37所述的第一设备，其中，如果所述第一操作是高度变化操作，则所述指令在由所述处理器执行时还使得所述处理器：
    确定所述第一设备在执行所述高度变化操作期间在所述第一空间中所达到最高高度或最低高度；
    如果所述最高高度或所述最低高度相应高于或低于最高阈值或最低阈值，则基于所述第一坐标映射关系将所述最高高度或所述最低高度与相应的所述最高阈值或所述最低阈值之差映射为所述第二空间中的高度差；以及
    将所述第二操作确定为指示所述第二设备上升或下降所述高度差。
  42. 根据权利要求35所述的第一设备，其中，所述指令在由所述处理器执行时还使得所述处理器：
    如果所述第一设备在所述第一操作期间离开所述第一空间，则向所述第二设备发送控制指令，以指示所述第二设备停止执行相应的第二操作并悬停在当前位置处。
  43. 根据权利要求42所述的第一设备，其中，所述指令在由所述处理器执行时还使得所述处理器：
    如果所述第一设备回到所述第一空间，则确定所述第一设备在回到所述第一空间时的第三坐标；
    基于所述第一坐标映射关系将所述第三坐标映射为所述第二空间中的第四坐标；以及
    将所述第二操作确定为指示所述第二设备移动至所述第四坐标处的操作。
  44. 根据权利要求31所述的第一设备，其中，所述指令在由所述处理器执行时还使得所述处理器：
    重新确定与所述第二设备相关联的第二空间；
    确定所述第一空间和经重新确定的所述第二空间之间的第二坐标映射关系；
    基于所述第二坐标映射关系，根据所述第一设备在所述第一空间中的第一操作来确定要由所述第二设备在经重新确定的所述第二空间中执行的第二操作；以及
    向所述第二设备发送控制指令，以指示所述第二设备执行所述第二操作。
  45. 根据权利要求31所述的第一设备，其中，所述第一设备是头戴式显示器，且所述第二设备是无人机。
  46. 一种存储指令的计算机可读存储介质，所述指令在由处理器执行时使得所述处理器执行根据权利要求1～15中任一项所述的方法。
PCT/CN2017/084531 2017-05-16 2017-05-16 用于设备控制的方法、设备和计算机可读存储介质 WO2018209557A1 (zh)

Priority Applications (2)

Application Number Priority Date Filing Date Title
CN201780004525.4A CN108475064B (zh) 2017-05-16 2017-05-16 用于设备控制的方法、设备和计算机可读存储介质
PCT/CN2017/084531 WO2018209557A1 (zh) 2017-05-16 2017-05-16 用于设备控制的方法、设备和计算机可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/CN2017/084531 WO2018209557A1 (zh) 2017-05-16 2017-05-16 用于设备控制的方法、设备和计算机可读存储介质

Publications (1)

Publication Number Publication Date
WO2018209557A1 true WO2018209557A1 (zh) 2018-11-22

Family

ID=63266469

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2017/084531 WO2018209557A1 (zh) 2017-05-16 2017-05-16 用于设备控制的方法、设备和计算机可读存储介质

Country Status (2)

Country Link
CN (1) CN108475064B (zh)
WO (1) WO2018209557A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109799838A (zh) * 2018-12-21 2019-05-24 金季春 一种训练方法和系统

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109395382A (zh) * 2018-09-12 2019-03-01 苏州蜗牛数字科技股份有限公司 一种针对摇杆的线性优化方法
CN109062259A (zh) * 2018-10-31 2018-12-21 西安天问智能科技有限公司 一种无人机自动避障方法及其装置

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011123324A1 (en) * 2010-03-31 2011-10-06 Massachusetts Institute Of Technology System and method for providing perceived first-order control of an unmanned vehicle
CN104221077A (zh) * 2013-02-22 2014-12-17 索尼公司 头戴式显示器
CN205216197U (zh) * 2015-12-07 2016-05-11 南京邮电大学 一种基于主动式姿态检测的航模飞行器安全遥控系统
CN105786011A (zh) * 2016-03-07 2016-07-20 重庆邮电大学 一种遥控飞行器的控制方法及设备
CN106155069A (zh) * 2016-07-04 2016-11-23 零度智控（北京）智能科技有限公司 无人机飞行控制装置、方法及遥控终端
CN106292679A (zh) * 2016-08-29 2017-01-04 电子科技大学 基于体感的可穿戴无人机控制设备的控制方法
WO2017003538A2 (en) * 2015-04-14 2017-01-05 Tobin Fisher System for authoring, executing, and distributing unmanned aerial vehicle flight-behavior profiles

Family Cites Families (27)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN100449444C (zh) * 2006-09-29 2009-01-07 浙江大学 移动机器人在未知环境中同时定位与地图构建的方法
CN102184572B (zh) * 2011-05-19 2017-07-21 威盛电子股份有限公司 三维图形裁剪方法、呈现方法及其图形处理装置
US9423876B2 (en) * 2011-09-30 2016-08-23 Microsoft Technology Licensing, Llc Omni-spatial gesture input
CN103150309B (zh) * 2011-12-07 2016-03-30 清华大学 一种空间方向感知地图兴趣点搜索方法和系统
CN102589544B (zh) * 2012-01-10 2014-06-25 合肥工业大学 基于大气偏振模式空间特征的三维姿态获取方法
CN102749080B (zh) * 2012-06-18 2015-01-07 北京航空航天大学 一种基于流体力学的无人机三维航路生成方法
US20140018979A1 (en) * 2012-07-13 2014-01-16 Honeywell International Inc. Autonomous airspace flight planning and virtual airspace containment system
JP5590511B2 (ja) * 2012-09-19 2014-09-17 カシオ計算機株式会社 機能駆動装置、機能駆動方法および機能駆動プログラム
CN103226386A (zh) * 2013-03-13 2013-07-31 广东欧珀移动通信有限公司 一种基于移动终端的手势识别方法及系统
CN107065914B (zh) * 2013-07-05 2020-04-28 深圳市大疆创新科技有限公司 无人飞行器的飞行辅助方法和装置
US10569043B2 (en) * 2013-08-09 2020-02-25 Fisher & Paykel Healthcare Limited Asymmetrical nasal delivery elements and fittings for nasal interfaces
CN103499346B (zh) * 2013-09-29 2016-05-11 大连理工大学 一种小型无人机地面站三维导航地图实现方法
US9746984B2 (en) * 2014-08-19 2017-08-29 Sony Interactive Entertainment Inc. Systems and methods for providing feedback to a user while interacting with content
CN104991561B (zh) * 2015-08-10 2019-02-01 北京零零无限科技有限公司 一种手持无人机回收的方法、装置及无人机
US10162059B2 (en) * 2015-03-30 2018-12-25 International Business Machines Corporation Implementing a restricted-operation region for unmanned vehicles
FR3035523B1 (fr) * 2015-04-23 2017-04-21 Parrot Systeme de pilotage de drone en immersion
KR101679741B1 (ko) * 2015-05-06 2016-11-28 고려대학교 산학협력단 외곽 공간 특징 정보 추출 방법
KR101797208B1 (ko) * 2015-09-07 2017-11-13 한국항공대학교산학협력단 L-v-c 운용 시스템, 이를 이용한 무인기 훈련/실험 방법
CN105424024B (zh) * 2015-11-03 2018-05-29 葛洲坝易普力股份有限公司 一种基于全站仪的空间目标的位置和朝向标定方法
CN105607740A (zh) * 2015-12-29 2016-05-25 清华大学深圳研究生院 一种基于计算机视觉的无人飞行器控制方法及装置
CN205942090U (zh) * 2016-04-29 2017-02-08 深圳市大疆创新科技有限公司 可穿戴设备及无人机系统
CN106064378A (zh) * 2016-06-07 2016-11-02 南方科技大学 一种无人机机械臂的控制方法和装置
CN106227230A (zh) * 2016-07-09 2016-12-14 东莞市华睿电子科技有限公司 一种无人机控制方法
CN106125747A (zh) * 2016-07-13 2016-11-16 国网福建省电力有限公司 基于vr交互的无人机机载第一视角随动吊舱系统
CN206031749U (zh) * 2016-08-31 2017-03-22 佛山世寰智能科技有限公司 无人机的四轴旋翼固定结构
CN106228615A (zh) * 2016-08-31 2016-12-14 陈昊 基于增强现实的无人飞行器体验系统及其体验方法
CN106569596A (zh) * 2016-10-20 2017-04-19 努比亚技术有限公司 一种手势控制方法和设备

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2011123324A1 (en) * 2010-03-31 2011-10-06 Massachusetts Institute Of Technology System and method for providing perceived first-order control of an unmanned vehicle
CN104221077A (zh) * 2013-02-22 2014-12-17 索尼公司 头戴式显示器
WO2017003538A2 (en) * 2015-04-14 2017-01-05 Tobin Fisher System for authoring, executing, and distributing unmanned aerial vehicle flight-behavior profiles
CN205216197U (zh) * 2015-12-07 2016-05-11 南京邮电大学 一种基于主动式姿态检测的航模飞行器安全遥控系统
CN105786011A (zh) * 2016-03-07 2016-07-20 重庆邮电大学 一种遥控飞行器的控制方法及设备
CN106155069A (zh) * 2016-07-04 2016-11-23 零度智控（北京）智能科技有限公司 无人机飞行控制装置、方法及遥控终端
CN106292679A (zh) * 2016-08-29 2017-01-04 电子科技大学 基于体感的可穿戴无人机控制设备的控制方法

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109799838A (zh) * 2018-12-21 2019-05-24 金季春 一种训练方法和系统

Also Published As

Publication number Publication date
CN108475064B (zh) 2021-11-05
CN108475064A (zh) 2018-08-31

Similar Documents

Publication Publication Date Title
US11632497B2 (en) Systems and methods for controlling an image captured by an imaging device
US20200394009A1 (en) Systems and methods for gimbal simulation
US20210072745A1 (en) Systems and methods for uav flight control
JP6811336B2 (ja) マルチジンバル組立体
JP6816156B2 (ja) Ｕａｖ軌道を調整するシステム及び方法
CN105759833A (zh) 一种沉浸式无人机驾驶飞行系统
WO2019242553A1 (zh) 控制拍摄装置的拍摄角度的方法、控制装置及可穿戴设备
WO2018209557A1 (zh) 用于设备控制的方法、设备和计算机可读存储介质
JP7435599B2 (ja) 情報処理装置、情報処理方法、及びプログラム
WO2022188151A1 (zh) 影像拍摄方法、控制装置、可移动平台和计算机存储介质
JP2021073796A (ja) 制御装置、及び画像を取得する方法
O'Keeffe et al. Oculus rift application for training drone pilots
WO2022094808A1 (zh) 拍摄控制方法、装置、无人机、设备及可读存储介质
JP2021036452A (ja) Ｕａｖ軌道を調整するシステム及び方法
SHARMA Deployment of drone demonstators-Automatic take-off and landing of a drone on a mobile robot.

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 17909697

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 17909697

Country of ref document: EP

Kind code of ref document: A1