WO2019096160A1 - Vr行走机构以及在虚拟现实场景中行走的方法 - Google Patents

Vr行走机构以及在虚拟现实场景中行走的方法 Download PDF

Info

Publication number
WO2019096160A1
WO2019096160A1 PCT/CN2018/115418 CN2018115418W WO2019096160A1 WO 2019096160 A1 WO2019096160 A1 WO 2019096160A1 CN 2018115418 W CN2018115418 W CN 2018115418W WO 2019096160 A1 WO2019096160 A1 WO 2019096160A1
Authority
WO
WIPO (PCT)
Prior art keywords
pedal
motion information
information
sensing
predicted
Prior art date
Application number
PCT/CN2018/115418
Other languages
English (en)
French (fr)
Inventor
陈昭胜
Original Assignee
陈昭胜
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 陈昭胜 filed Critical 陈昭胜
Priority to JP2020524378A priority Critical patent/JP7266032B2/ja
Priority to US16/756,470 priority patent/US11048340B2/en
Priority to KR1020207011391A priority patent/KR102512523B1/ko
Priority to EP18879670.0A priority patent/EP3690607B1/en
Publication of WO2019096160A1 publication Critical patent/WO2019096160A1/zh

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0334—Foot operated pointing devices
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/0346—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor with detection of the device orientation or free movement in a 3D space, e.g. 3D mice, 6-DOF [six degrees of freedom] pointers using gyroscopes, accelerometers or tilt-sensors
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics
    • G06T19/006—Mixed reality
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A63B2022/0271—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills omnidirectional
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B22/00—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements
    • A63B22/02—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills
    • A63B22/0292—Exercising apparatus specially adapted for conditioning the cardio-vascular system, for training agility or co-ordination of movements with movable endless bands, e.g. treadmills separate for each leg, e.g. dual deck
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63B—APPARATUS FOR PHYSICAL TRAINING, GYMNASTICS, SWIMMING, CLIMBING, OR FENCING; BALL GAMES; TRAINING EQUIPMENT
    • A63B24/00—Electric or electronic controls for exercising apparatus of preceding groups; Controlling or monitoring of exercises, sportive games, training or athletic performances
    • A63B24/0003—Analysing the course of a movement or motion sequences during an exercise or trainings sequence, e.g. swing for golf or tennis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment

Definitions

  • the present invention relates to the field of virtual reality (VR) technology, and in particular, the present invention relates to an apparatus and method for simulating walking in a VR scene.
  • VR virtual reality
  • VR virtual reality
  • the virtual reality input device that is, the human-computer interaction aspect, has a breakthrough in practical application in manipulating the driving device, the motion detection of the hand and the arm. Sexual progress, however, one of the indispensable actions of human beings - walking, there is no good solution.
  • the VR walking mechanism is a problem to be solved in the industry. Its purpose is to reflect the user's walking in the real world in the VR scene, reflecting the user's behaviors such as forward, backward, and turning.
  • FIG. 1 is a schematic diagram of a VR running mechanism proposed by the prior art.
  • the VR running mechanism proposed by the prior art comprises a smooth concave table 20' and a beam 30' for setting the safety belt 10' above the concave table 20'.
  • the concave table 20' has a concave surface 21' .
  • the user 100' is wearing a seat belt 10', and walks in a recessed position in the middle of the table 21' to perform an in-situ slide.
  • a sensor below the surface of the table 21' is a sensor (not shown) that senses the position of the two feet of the user 100' to reflect the manner in which the user walks in the virtual world. For example, when the user moves forward, the left and right feet are basically oriented in the same direction, and the feet are sequentially released (but since the table is smooth, the user performs the sliding step, that is, the foot is returned to the original position after the foot is released. ), which reflects that the user is moving forward. When the user turns left, the left foot is deflected by a certain angle, and the right foot is also deflected, which reflects that the user is turning left in the VR scene. The situation of turning right and going backward is similar.
  • the present invention provides a VR running mechanism that can simulate real walking. To achieve this, the present invention adopts the following technical solutions:
  • the embodiment of the invention discloses a VR walking mechanism, which comprises:
  • first pedal a first pedal
  • second pedal a sensing device
  • control device a control device
  • driving device wherein the first and second pedals are respectively connected to the driving device
  • the sensing device is configured to acquire motion information of the first object and/or the second object, and send the motion information to the control device, where the motion information includes location information;
  • the control device determines a predicted landing point of the first object and/or the second object based on the motion information, and controls the driving device according to the predicted landing point to drive the first pedal and/or the first The two pedals move to the corresponding position.
  • the driving device corresponding to the first pedal or the second pedal comprises a motor, a lead screw and a connecting member, and the connecting member is connected to the first pedal or The second pedal, the control device is capable of transmitting a control signal to the motor to drive the first pedal or the second pedal to move according to the control signal.
  • the sensing device comprises a position detecting device, and a pressure detecting device mounted on the first pedal and the second pedal; the control device acquires the pressure detecting The force information detected by the device determines the predicted landing point of the first object and the predicted landing point of the second object in combination with the motion information of the first object and the second object.
  • the VR running mechanism further includes a rotating mechanism corresponding to the first pedal and the second pedal, wherein the first pedal and the second pedal pass the The rotation mechanism rotates in response to a command from the control device.
  • the sensing device is provided with a posture sensing function or additionally includes an attitude sensor for sensing posture information of the first object and the second object.
  • the embodiment of the invention further discloses a walking method applied to a VR scene, comprising:
  • the second pedal After sensing that the second object is in contact with the second pedal, the second pedal is returned.
  • the method further includes:
  • the step of determining the predicted landing point of the first object according to the motion information of the first object includes:
  • the method further includes:
  • the step of determining the predicted landing point of the second object according to the motion information of the second object includes:
  • the method further comprises:
  • the first pedal is deflected by the deflection angle.
  • the method further includes:
  • the second pedal is deflected by the deflection angle.
  • the embodiment of the present invention proposes a VR running mechanism and a walking method applied to a VR scene.
  • the sensing device is used to acquire the falling point of the object
  • the driving mechanism is used to drive the first pedal and the second pedal respectively to enable movement according to the falling point to receive the object.
  • the invention simulates the feeling of real walking, improves the realism of use, and at the same time ensures safety.
  • each of the pedals of the present invention corresponds to a different drive device such that the movements of the first and second pedals do not interfere with each other.
  • the VR running mechanism proposed by the embodiment of the present invention can be provided with various sensors, which can accurately acquire the position of the user's foot, improve the calculation accuracy, and further increase the user's realism.
  • the VR running mechanism can be provided with a safety belt to ensure the safety of the user.
  • FIG. 1 is a schematic view of a VR running mechanism of the prior art
  • FIG. 2 is a schematic diagram showing the main structure of a VR running mechanism according to an embodiment of the present invention
  • FIG. 3 is a schematic diagram of a safety rope and a part of a sensing device of a VR running mechanism according to an embodiment of the present invention
  • FIG. 4 is a flow chart showing the steps of a VR walking method according to an embodiment of the present invention.
  • Figure 5 schematically shows a block diagram of a server for performing the method according to the invention
  • Fig. 6 schematically shows a storage unit for holding or carrying program code implementing the method according to the invention.
  • the invention can be implemented in many ways, such as a device, a method, a computer program product.
  • the order of the steps of the processes disclosed within the scope of the invention may vary, unless otherwise stated.
  • the invention discloses a VR walking mechanism.
  • the VR running mechanism includes a first pedal 1 and a second pedal 2 for respectively stepping on an object.
  • the object may be the left and right feet of the user (see Figure 100, number 100) or the device worn on the left and right feet, etc., which are not shown in the figure.
  • the first pedal 1 and the second pedal 2 are respectively connected to the driving device so that the pedals 1, 2 are driven to move in the space by the driving device.
  • the above-described driving device may include motors 311-314, a lead screw 32, a nut 33, and a connector 34 for driving the pedal to move in a three-dimensional space to reach a desired position.
  • the number of pedals is not limited to two, and other numbers of pedals are also possible. Two figures are taken as an example for illustration. The direction of the motion is as shown in Fig. 1, and each pedal can be moved in the X direction and the Y direction so as to be movable to any position in the plane defined by the X direction and the Y direction.
  • the pedals may not be limited to moving in a plane, but may also move within a three-dimensional space.
  • the first pedal 1 and the second pedal 2 may move in a plane defined by the X direction and the Y direction, or may move within a solid space defined by the X direction, the Y direction, and the Z direction, which is not limited herein.
  • the first pedal 1 is taken as an example to explain how the driving device drives the first pedal 1 to move.
  • the motor of the drive unit is, for example, a stepper motor.
  • the stepping motor 311 receives the control signal for moving in the X direction, the torque is output, and the lead screw 32 connected thereto is driven to rotate, and the nut 33 connected to the lead screw 32 moves in the X direction along with the rotation of the lead screw 32, thereby The first pedal 1 is moved in the X direction by the connecting member 34.
  • the stepping motor 312 When the stepping motor 312 receives the control signal for moving in the Y direction, the torque is output, and the screw rotating shaft 32 connected thereto is driven, and the nut 33 connected to the lead screw 32 moves in the Y direction as the screw 32 rotates, thereby The first pedal 1 is moved in the Y direction by the lead screw 32.
  • the other end of the lead screw 32 which is connected to the motor 311 at one end and used for the X-direction movement, is a nut 33 which is engaged with the lead screw 32 for moving in the Y direction, so that The motor 311 and the lead screw 32 are movable in the Y direction as a whole.
  • the motor 311 can be disposed in the VR running mechanism by, for example, sliding, as the follower, and the lead screw 32 connected thereto moves in the Y direction.
  • the VR running mechanism further includes a control device that can be embodied as any control device capable of performing motion calculation and motion estimation based on the three-dimensional coordinates of the pedal, such as a microprocessor, a microcontroller, and a system on a chip. (SoC), integrated circuits, CPLDs, FPGAs, DSPs, gates, discrete electronic devices, etc.
  • the control device is capable of communicating with the drive device, for example, by any communication means such as twisted pair, electronic circuit, radio frequency, WiFi, etc. for wired or wireless communication. That is, the control device and the drive device may each have a communication module or a signal transfer path for communicating by wire or wirelessly.
  • the communication method of the control device and the drive device is not particularly limited in the present invention.
  • the VR running mechanism further includes sensing devices 51, 52.
  • the sensing device can be disposed, for example, as shown in FIG. 2 at two top diagonals of the VR running mechanism for scanning an area corresponding to the VR running mechanism for acquiring a first object (eg, a user's left foot) and / or motion information of a second object (such as the user's right foot) and send the motion information to the control device.
  • a first object eg, a user's left foot
  • a second object such as the user's right foot
  • the motion information may include, for example, location information (eg, two-dimensional or three-dimensional coordinate information) of the first and second objects.
  • location information eg, two-dimensional or three-dimensional coordinate information
  • position information A x, y, z
  • position information B of a certain specific point of the user's left foot (or right foot) ( X1, y1, z1), C(x2, y2, z2), D(x3, y3, z3), and then use these points B, C, and D to simulate the shape and posture of the user's left foot (or right foot).
  • the sensing device may further include a pressure sensor for acquiring force information of the first and second objects (eg, stepping pressure information); in other embodiments, the control device may further pass the First, the position information of the second object is combined with the time information to calculate the speed information of the first and second objects, and the like.
  • the motion information may include force information between the first object and the first pedal, force information between the second object and the second pedal, and The motion information may further include time information corresponding to the location information and the force information.
  • the postures of the first and second objects can be simulated by the control device according to the position information of the different points on the first and second objects obtained by the sensor, which means that the orientation of the object can be real-time. It is determined that the sensing device can sense the direction in which the object is traveling in real time, that is, the user's forward, backward, turning, and the like.
  • the sensors are, for example, numbers 51, 52 in Figure 2, which may be placed at two diagonal vertices of the space in which the VR walking device is located for capturing the position of the first object and the second object.
  • the sensing device may include, for example, various sensors described below, and the motion information may be acquired in various ways:
  • the sensing device may be a three-dimensional measuring device that can sense a three-dimensional contour of the object and determine a center of gravity of the object, and calculate the speed of the object in real time in combination with the time at which the measurement information is obtained in the control device.
  • the motion trajectory of the object is estimated, and the landing point of the object is judged in combination with various information such as information presented to the user in the virtual reality scene, a priori information about the motion trajectory of the moving object.
  • the motion trajectory of the object is accurately estimated, and the object is determined.
  • the drop point i.e., the upper surface of the pedal, is moved to a desired position on which the object can be stepped.
  • the pedal of the VR running mechanism is equipped with an attitude sensor, which may be an inertial sensor, which can measure the acceleration and posture of the pedal, and send the measurement data to the control device in real time for predicting the The trajectory of the pedal.
  • the inertial sensors include, for example, accelerometers and angular velocity sensors and their single, dual, and triaxial combined inertial measurement units.
  • the VR running mechanism further includes a shoe cover carrying a position marker, such as a shoe cover incorporating a position sensor.
  • a position marker such as a shoe cover incorporating a position sensor. The user can put the two feet into the shoe cover, and realize the positioning of the two feet by positioning the shoe cover to realize the measurement of the traveling pace.
  • the sensing device can also be a computer vision measuring device that measures the three-dimensional position of the object by imaging a position marker attached to the object (or shoe cover).
  • the sensing device can also be implemented as a binocular measuring device, a monocular measuring device, a structured light measuring device, and the like.
  • the sensing device can include pressure detecting devices 61, 62 mounted on the pedal that can detect the force between the object on the pedal and the pedal, and The force-related information is sent to the control device, and after receiving the force information, the control device combines the motion information of the object to predict the motion of the object.
  • the pressure detecting device may be one or more pressure sensors, which are generally composed of a pressure sensitive component and a signal processing unit, are capable of sensing a pressure signal, and are capable of converting a pressure signal into an available output electrical signal according to a certain law. And output to the control device.
  • the pressure sensor is, for example, a piezoresistive force sensor, a ceramic pressure sensor, a diffused silicon pressure sensor, a piezoelectric pressure sensor, or the like.
  • the control device After the control device receives the pressure signal from the pressure detecting device, it determines the weight applied to the pedal by the object.
  • the controller can measure the current user's weight for subsequent calculations.
  • the pressure signal collected by the controller changes from small to large, it indicates that the object is gradually shifting the center of gravity to the pedal.
  • the pressure signal collected by the controller changes from large to small, the object is gradually leaving.
  • the pedal uses this information to help predict the motion trajectory and behavior pattern recognition of the object.
  • the pressure signal received by the controller indicates that the pressure on the first pedal 1 is increasing, the user is stepping on the first pedal 1, and when the pressure is close to the user's weight, the other One object (the other foot of the user) may be about to leave another corresponding second pedal 2, in which case if the first pedal 1 is in front of the second pedal 2, the user may be moving forward If the first pedal 1 is behind the second pedal 2, it means that the user may be moving backward. If the two pedals are in a side-by-side position and the pressure is relatively close, the user may be standing in place and not ready to travel.
  • the pressure sensor can also be configured to determine the posture of the object stepping on the corresponding pedal, for example, by collecting the data by a pressure sensor distributed on the pedal in a densely dotted manner, thereby judging the orientation of the object. For example, the angle between the object and the traveling direction when the object is stepped on the pedal can be determined, and the angle is used to determine whether the object is turning.
  • each of the pedals 1 and 2 is also provided with a rotating mechanism (not shown), for example between the first pedal 1 and the connecting member 34, and between the second pedal 2 and the connecting member 34, such that The pedals 1 and 2 can achieve, for example, 360° rotation in response to commands from the control device.
  • the rotating mechanism may be a rotating mechanism known in the art of mechanical design, such as a screw type rotating mechanism, a cam type rotating mechanism, a crank type rotating mechanism, a hinge type rotating mechanism, a link type rotating mechanism, a four-bar mechanism, and the like.
  • the pedal 1 or 2 corresponding to the object can also be rotated by a corresponding angle under the control of the controller to accommodate the Object. That is, the pedal can achieve a cooperation with the object turning (user turning) action.
  • each VR walking structure may also be provided with a safety cord 200 to further ensure the safety of the user 100.
  • a support leg 4 may also be included for supporting the ground.
  • the invention also discloses a walking method applied to a VR scene.
  • the pedal of the present invention is initially located at the origin of the coordinate system (this position may be defined by the developer or the user himself, and may be defined as the origin of the three-dimensional coordinate system).
  • the user's object position and posture are sensed to obtain their coordinates, or coordinates and orientation, before the user prepares to walk in the VR environment or begins walking.
  • the object eg, the user's left or right foot
  • the direction of the long side can be considered to be consistent with the direction of travel of the user.
  • the left pedal is sent to the predicted left foot drop position, and then, after the left foot is stepped on the pedal, left The side pedal is retracted to the vicinity of the home position. A similar operation can be repeated for the right foot.
  • the pressure on the pedal is sensed at a pressure greater than a first threshold (eg, 1/2 of the weight)
  • a second threshold for example, 2/3 of the weight
  • the sensing device detects that the orientation of the object and the direction of travel have a certain angle
  • the user intends to turn. For example, when it is judged that the user is moving forward, the orientation of the left foot in the air becomes 30° to the left with respect to the forward direction, and the pedal corresponding to the left foot is also offset by 30° correspondingly, and the prediction is judged. After the drop point, the pedal corresponding to the left foot is moved to the vicinity of the predicted point.
  • the angle change in this process can be performed in any way or through any process, as long as it is finally fixed at the predicted point before the left foot is stepped on the pedal.
  • the pedal orientation may be shifted to the left by 30° with respect to the forward direction.
  • the force on the left foot pedal is continuously detected, and if the force gradually increases monotonically from zero, the user is completing a walking motion to the left when the force is greater than a certain threshold or close to the weight ( This is equivalent to moving the left pedal to near the origin at a speed that matches the travel speed when the force on the other pedal is less than a certain threshold or close to zero; if the force increases from zero but then begins to decrease Small but not reduced to zero, indicating that the user may be hesitating and has not decided to continue to move forward.
  • the pedal corresponding to the left foot should not be retracted and the pedal should be kept stationary; if the force is from zero Starting to increase and then decreasing to zero (the user's left foot has left the pedal), the sensing device continues to acquire the position and orientation of the left foot, which is communicated to the control system in real time until the control system can synthesize various information to determine After a new predicted drop point, the corresponding pedal is driven to move accordingly to match the user's new pace.
  • the pedal coordinates and posture can be controlled according to various scenes including forward, backward, turn, upper step, lower step, uphill, downhill, and the like in the VR scene to match the user's perception of the virtual environment.
  • the walking method applied to the VR scene proposed by the embodiment of the present invention includes the following steps:
  • S402. Determine a predicted drop point of the first object according to the motion information of the first object.
  • the method may further include:
  • the step S402 that is, determining the predicted landing point of the first object according to the motion information of the first object, may include:
  • the method further includes:
  • Step S406 that is, determining the predicted landing point of the second object according to the motion information of the second object may include:
  • the method may further include: before the first object is in contact with the first pedal, the method further includes:
  • S4030 Calculate a deflection angle of the first object according to position information and posture information in the motion information of the first object;
  • the method may further include:
  • S4070 Calculate a deflection angle of the second object according to position information and posture information in motion information of the second object;
  • the embodiment of the present invention proposes a VR running mechanism and a walking method applied to a VR scene.
  • the sensing device is used to acquire the falling point of the object
  • the driving mechanism is used to drive the first pedal and the second pedal respectively to enable movement according to the falling point to receive the object.
  • the present invention simulates the feeling of real walking, improves the sense of realism of use, and at the same time ensures safety.
  • each of the pedals of the present invention corresponds to a different drive device such that the movements of the first and second pedals do not interfere with each other.
  • the VR running mechanism proposed by the embodiment of the present invention can be provided with various sensors, which can accurately acquire the position of the user's foot, improve the calculation accuracy, and further increase the user's realism.
  • the VR running mechanism can be provided with a safety belt to ensure the safety of the user.
  • the device embodiments described above are merely illustrative, wherein the units described as separate components may or may not be physically separate, and the components displayed as units may or may not be physical units, ie may be located A place, or it can be distributed to multiple network units. Some or all of the modules may be selected according to actual needs to achieve the purpose of the solution of the embodiment. Those of ordinary skill in the art can understand and implement without deliberate labor.
  • the various component embodiments of the present invention may be implemented in hardware, or in a software module running on one or more processors, or in a combination thereof.
  • a microprocessor or digital signal processor may be used in practice to implement some or all of the functionality of some or all of the components in a server in accordance with an embodiment of the present invention.
  • the invention can also be implemented as a device or device program (e.g., a computer program and a computer program product) for performing some or all of the methods described herein.
  • a program implementing the invention may be stored on a computer readable medium or may be in the form of one or more signals. Such signals may be downloaded from an Internet website, provided on a carrier signal, or provided in any other form.
  • FIG. 5 illustrates a server, such as an application server, that can implement a walking method applied to a VR scenario in accordance with the present invention.
  • the server conventionally includes a processor 1010 and a computer program product or computer readable medium in the form of a memory 1020.
  • the memory 1020 may be an electronic memory such as a flash memory, an EEPROM (Electrically Erasable Programmable Read Only Memory), an EPROM, a hard disk, or a ROM.
  • the memory 1020 has a memory space 1030 for executing program code 1031 of any of the above method steps.
  • storage space 1030 for program code may include various program code 1031 for implementing various steps in the above methods, respectively.
  • the program code can be read from or written to one or more computer program products.
  • These computer program products include program code carriers such as hard disks, compact disks (CDs), memory cards or floppy disks.
  • Such computer program products are typically portable or fixed storage units as described with reference to FIG.
  • the storage unit may have a storage section, a storage space, and the like arranged similarly to the storage 1020 in the server of FIG.
  • the program code can be compressed, for example, in an appropriate form.
  • the storage unit includes computer readable code 1031', i.e., code that can be read by, for example, a processor such as 1010, which when executed by the server causes the server to perform various steps in the methods described above.

Abstract

本发明公开了一种VR行走机构，其包括第一踏板、第二踏板、传感装置、控制装置和驱动装置，其中，所述第一和第二踏板分别连接于所述驱动装置；所述传感装置用于获取第一对象和/或第二对象的运动信息，并将所述运动信息发送至控制装置；所述控制装置基于所述运动信息判断所述第一对象和/或第二对象的预测落点，并根据所述预测落点控制所述驱动装置，以驱动所述第一踏板和/或第二踏板移动到对应位置；所述第一踏板和/或第二踏板在感测到第一对象和/或第二对象踏于其上后回位。本发明同样公开了一种与该行走机构对应的VR行走方法。

Description

VR行走机构以及在虚拟现实场景中行走的方法
本申请要求在2017年11月16日提交中国专利局、申请号为201711140756.6、发明名称为“VR行走机构以及在虚拟现实场景中行走的方法”的中国专利申请的优先权，其全部内容通过引用结合在本申请中。
技术领域
本发明涉及虚拟现实(Virtual reality，VR)技术领域，特别地，本发明涉及模拟在VR场景中的行走的装置及方法。
背景技术
虚拟现实(VR)技术是现代仿真技术的一个重要发展方向，其产生和现实世界中相同的反馈信息，使人们得到与真实世界中同样的感受。随着显示技术、图形图像处理技术、多媒体技术、跟踪技术以及并行处理技术等方面的迅速发展，虚拟现实技术已逐渐广泛地应用于许多领域。
在虚拟现实系统中，原本在现实生活中需要人通过肢体来完成的任务，也应由现实生活中的人来完成人机交互。现有虚拟现实技术已在环境生成及展示、环绕立体声等方面取得巨大的成就，虚拟现实的输入设备即人机互动方面在操纵驾驶装置、手及手臂的运动探测方面在实际应用中都具有突破性的进展，然而关于人类不可缺少的动作之一——行走，还没有良好的解决方案。
VR行走机构是行业内待解决的一个问题，其目的在于在VR场景中将使用者在真实世界中的行走体现出来，反映出使用者向前、向后、转弯等行为。
VR装置整体占地面积通常是很有限的，所以行走机构同样有尺寸的限制。图1所示为现有技术提出的一种VR行走机构的示意图。如图1所示，现有技术提出的该VR行走机构包括一个光滑的凹台20’和凹台20’上方用于设置安全带10’的横梁30’，凹台20’具有凹陷台面21’。使用者100’身系安全带10’，在该台面21’的中间凹陷位置上行走，做原地滑步。
台面21’的表面下方具有传感器(图未示)，其可以感应使用者100’ 的两只脚的位置，从而在虚拟世界中反映出使用者行走的方式。举例来说，使用者前行时，左脚和右脚基本朝向同一方向，依次出脚(但是由于台面是光滑的，所以使用者进行的是滑步，即出脚后又滑回原来的位置)，这反映出使用者是前行的。在使用者左转时，左脚偏转一定角度，右脚也随之偏转，这反映出在VR场景中使用者是左转的。右转、后退的情况类似。
然而，这样的装置的重要缺陷之一在于台面太滑，滑步和真实行走的脚感区别很大，使用者在VR台面上走路的过程中会感觉很不自然。同时，同样由于台面太滑，即使身系安全带，使用者的安全仍无法得到充分保证。
发明内容
本发明提供了一种可以模拟真实行走的VR行走机构，为实现此目的，本发明采用如下技术方案：
本发明实施例公开一种VR行走机构，包括：
第一踏板、第二踏板、传感装置、控制装置和驱动装置，其中，所述第一和第二踏板分别连接于所述驱动装置；
所述传感装置用于获取第一对象和/或第二对象的运动信息，并将所述运动信息发送至控制装置，所述运动信息包括位置信息；
所述控制装置基于所述运动信息判断所述第一对象和/或第二对象的预测落点，并根据所述预测落点控制所述驱动装置，以驱动所述第一踏板和/或第二踏板移动到对应位置。
根据上述方案所述的VR行走机构，其中所述第一踏板和/或第二踏板在感测到第一对象和/或第二对象踏于其上后回位。
根据上述任一方案所述的VR行走机构，其中所述第一踏板和第二踏板分别通过各自的驱动装置控制在平面内或立体空间内进行运动。
根据上述任一方案或3所述的VR行走机构，其中所述第一踏板或所述第二踏板对应的驱动装置包括电机、丝杠及连接件，所述连接件连接所述第一踏板或所述第二踏板，所述控制装置能够发送控制信号至所述电机，以驱动所述第一踏板或所述第二踏板根据该控制信号运动。
根据上述任一方案所述的VR行走机构，其中所述传感装置包括位置检测装置，以及安装在所述第一踏板和第二踏板上的压力检测装置；所述控制装置获取所述压力检测装置检测到的作用力信息，并结合所述第一对象和第二对象的运动信息判断所述第一对象的预测落点和第二对象的预测落点。
根据上述任一方案所述的VR行走机构，所述VR行走机构还包括对应所述第一踏板和所述第二踏板设置的转动机构，所述第一踏板和所述第二踏板通过所述转动机构响应所述控制装置的命令转动。
根据上述任一方案所述的VR行走机构，其中所述传感装置具备姿态感测功能或另外包括姿态传感器，用于感测所述第一对象和第二对象的姿态信息。
本发明实施例还公开一种应用于VR场景的行走方法，包括：
获取第一对象的运动信息；
根据所述第一对象的运动信息确定所述第一对象的预测落点；
驱动所述第一踏板运动至与所述第一对象的预测落点对应的位置；
在感测到所述第一对象与所述第一踏板接触后，将所述第一踏板回位；
在感测到第二对象与第二踏板脱离后，获取所述第二对象的运动信息；
根据所述第二对象的运动信息确定所述第二对象的预测落点；
驱动所述第二踏板运动至与所述第二对象的预测落点对应的位置；
在感测到所述第二对象与所述第二踏板接触后，将所述第二踏板回位。
根据上述方案所述的方法，其特征在于，所述根据所述第一对象的运动信息确定所述第一对象的预测落点的步骤之前，该方法还包括：
获取作用于第一踏板上的作用力；
则，所述根据所述第一对象的运动信息确定所述第一对象的预测落点的步骤包括：
根据所获得的作用力和所述第一对象的运动信息中的位置信息和对应时间信息预测所述第一对象的运动轨迹，获得预测落点。
所述根据所述第二对象的运动信息确定所述第二对象的预测落点的步骤之前，所述方法还包括：
获取作用于第二踏板上的作用力；
则所述根据所述第二对象的运动信息确定所述第二对象的预测落点的步骤包括：
根据所获得的作用力和所述第二对象的运动信息中的位置信息和对应时间信息预测所述第二对象的运动轨迹，获得预测落点。
根据上述任一方案所述的方法，其特征在于，在感测到所述第一对象与所述第一踏板接触之前，所述方法还包括：
根据所述第一对象的运动信息中的位置信息和姿态信息，计算所述第一 对象的偏转角度；
将该第一踏板偏转所述偏转角度。
在感测到所述第二对象与所述第二踏板接触之前，所述方法还包括：
根据所述第二对象的运动信息中的位置信息和姿态信息，计算所述第二对象的偏转角度；
将该第二踏板偏转所述偏转角度。
通过上述可知，本发明实施例提出了一种VR行走机构和应用于VR场景的行走方法。在本发明实施例中，利用传感装置获取对象的落点，并利用驱动机构分别驱动第一踏板和第二踏板，使之能够根据该落点进行移动，承接该对象。本发明模拟真实行走的感觉，提高了使用的真实感，同时保证了安全性。
在可选实施例中，本发明的每一踏板分别对应不同的驱动装置，使得第一踏板和第二踏板的运动互不干涉。
在可选实施例中，本发明实施例提出的VR行走机构可以设置有各种传感器，能够精确地获取到使用者的脚位置，提高了计算精度的同时，进一步增加了使用者的真实感。同时上述VR行走机构可以设置有安全带，辅助保证了使用者的安全。
在下面的附图和具体实施方式中阐述了本发明的一个或多个实施例的细节。根据附图和具体实施方式并且根据权利要求的记载，其他特征和优点将是显而易见的。
上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。
附图说明
为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
图1所示为现有技术的一种VR行走机构的示意图；
图2所示为本发明一实施例提出的VR行走机构的主要结构的示意图；
图3所示为本发明一实施例提出的VR行走机构的安全绳和一部分传感装置的示意图；
图4所示为本发明一实施例提出的VR行走方法的步骤的流程图。
图5示意性地示出了用于执行根据本发明的方法的服务器的框图；以及
图6示意性地示出了用于保持或者携带实现根据本发明的方法的程序代码的存储单元。
具体实施例
为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
可以以许多方式来实施本发明，例如可实现为一种装置、一种方法、一种计算机程序产品。一般来说，除非另有说明，在本发明的范围内所公开的过程的步骤的顺序可改变。
下面结合图示本发明的原理的附图来提供本发明实施例的详细描述。虽然结合此类实施例来描述本发明，但是本发明不局限于任何实施例。在下面的详细描述中陈述许多具体细节以便提供对本发明的透彻理解。所提供的细节是为了达到示例的目的，然而可以在没有这些具体细节中的一些或所有的情况下根据权利要求来实践本发明。为了清晰明了，并未详细描述在与本发明有关的技术领域中已知的技术以使本发明重点突出。
本发明公开了一种VR行走机构。如图2所示，该VR行走机构包括第一踏板1和第二踏板2，分别用于供对象的踩踏。所述对象可以是使用者(见图3编号100)的左右脚或穿戴在左右脚上的装置等等，在图中并未显示。第一踏板1和第二踏板2分别连接到驱动装置，以便由驱动装置驱动踏板1、2在空间内移动。
在一个实施例中，上述驱动装置可以包括电机311-314、丝杠32、螺母33及连接件34，用于驱动踏板在三维空间中运动，以便到达期望位置。值得注意的是，在所述VR行走机构中，踏板的数目不限于2个，配置有其他 数目的踏板也是可能的，在图中以2个为例进行说明。所述运动的方向如图1所示，每个踏板可以沿着X方向和Y方向运动，从而可以移动至X方向和Y方向定义的平面内的任何位置。
此外，在其他实施例中，踏板可以不限于在平面内移动，也可以在立体空间内移动。举例来说，第一踏板1和第二踏板2可以在由X方向和Y方向定义的平面内移动，或者由X方向、Y方向和Z方向定义的立体空间内移动，在此并不限制。
在本实施例中，以第一踏板1为例，说明驱动装置如何驱动第一踏板1运动。如图2所示，驱动装置的电机例如为步进电机。步进电机311接收到X方向移动的控制信号时输出转矩，带动与之相连的丝杠32转动，连接在丝杠32上的螺母33随着丝杠32的转动在X方向上移动，从而通过连接件34带动第一踏板1沿着X方向移动。步进电机312收到Y方向移动的控制信号时输出转矩，带动与之相连的丝杠转动32，连接在丝杠32上的螺母33随着丝杠32的转动在Y方向上移动，从而通过丝杠32带动第一踏板1沿着Y方向移动。
在上述的结构中，如图2所示，一端与电机311连接、用于X方向移动的丝杠32的另一端为螺母33，该螺母33与用于Y方向移动的丝杠32配合，使得电机311和丝杠32能够整体沿着Y方向移动。在沿着Y方向移动时，电机311例如可以通过滑设的方式设置在VR行走机构中，作为从动件，随着连接其的丝杠32沿着Y方向移动。
然而，正如本领域技术人员可知的，上述的电机、丝杠和螺母仅为驱动装置的一个实施例，本领域技术人员可以将其替换成任意可以驱动第一踏板和第二踏板移动的装置，在此并不限制。
在一个实施例中，该VR行走机构还包括控制装置，该控制装置可以表现为能够根据踏板的三维坐标来进行运动计算和运动估计的任何控制装置，例如微处理器、微控制器、片上系统(SoC)、集成电路、CPLD、FPGA、DSP、门电路、离散电子器件等。该控制装置能够与该驱动装置进行通信，例如通过双绞线、电子线路、射频、WiFi等任何通信方式来进行有线或无线通信。即，控制装置和驱动装置可以分别具有通信模块或者信 号传递通路，用于通过有线或者无线的方式通信。控制装置和驱动装置的通信方式本发明并不特别限制。
在一个实施例中，该VR行走机构还包括传感装置51、52。该传感装置例如可以像图2一样设置在VR行走机构的两个顶部对角，用于对VR行走机构对应的区域进行扫描，获取用于获取第一对象(例如使用者的左脚)和/或第二对象(例如使用者的右脚)的运动信息，并将所述运动信息发送至该控制装置。
在一实施例中，所述运动信息可以包括例如所述第一、第二对象的位置信息(例如二维或三维坐标信息)。例如使用者的左脚(或右脚)的某一特定点的位置信息A(x，y，z)，或者使用者的左脚(或右脚)的某几个特定点的位置信息B(x1，y1，z1)、C(x2，y2，z2)、D(x3，y3，z3)，再利用这些点B、C、D模拟使用者的左脚(或右脚)的形态和姿态。在其他实施例中，传感装置还可以包括压力传感器，用于获取第一、第二对象的作用力信息(例如踩踏的压力信息)；在其他实施例中，控制装置可以还通过所述第一、第二对象的位置信息结合时间信息计算出第一、第二对象的速度信息等。在其他实施例中，所述运动信息可以包括所述第一对象和所述第一踏板之间的作用力信息、所述第二对象与所述第二踏板之间的作用力信息，此外，所述运动信息还可以包括与位置信息和作用力信息对应的时间信息。
在一实施例中，可以根据传感器获得的第一、第二对象上的不同点的位置信息，利用控制装置模拟出该第一、第二对象的姿态，这意味着该对象的取向可以被实时判断出，即该传感装置可以实时感知该对象在行进中的方向，即该使用者的前进、后退、转弯等动作。传感器例如为图2中编号51、52，其可以设置在VR行走装置所在的空间的两个对角顶点，用于捕获第一对象和第二对象的位置。
具体来说，传感装置例如可以包括下述多种传感器，并可以通过多种方式来获取所述运动信息：
例如，该传感装置可以是三维测量装置，其可以感测所述对象的三维轮廓，并确定所述对象的重心，在控制装置中结合得到测量信息的时间来 实时计算所述对象的速度，从而估计所述对象的运动轨迹，以及结合各种信息(例如虚拟现实场景中呈现给用户的信息、关于运动对象运动轨迹的先验信息)来判断所述对象的落点。举例来说，当用户在虚拟现实环境中将要登台阶时，则其将抬高左脚或右脚，而人类登台阶过程中脚部的运动轨迹可以是先验已知的，所以在此场景下，可以根据该传感装置采集到的对象的运动信息，结合虚拟现实中台阶的场景信息(如台阶高度等)和脚部动作的先验信息来精确估计对象的运动轨迹，并判断对象的落点，即踏板上表面要移动到能够使该对象踏于其上的期望位置。
在一个实施例中，该VR行走机构的踏板上装有姿态传感器，该姿态传感器可以是惯性传感器，其可以测量该踏板的加速度和姿态，并且实时将测量数据发送给控制装置，以用于预测该踏板的运动轨迹。所述惯性传感器例如包括加速度计和角速度传感器以及它们的单、双、三轴组合惯性测量单元。
在一个实施例中，该VR行走机构还包括携带有位置标记的鞋套，例如，集成了位置传感器的鞋套。使用者能够将将双脚放入该鞋套中，通过对鞋套的定位来实现对双脚的定位进而实现对行进步伐的测量。
该传感装置还可以是计算机视觉测量装置，通过对附着于对象(或鞋套)上的位置标记点进行成像来测量该对象的三维位置。该传感装置还可以实现为双目测量装置、单目测量装置、结构光测量装置等。
在一个实施例中，如图3所示，传感装置可以包括在所述踏板上安装的压力检测装置61、62，其可以检测出踏板上的对象与踏板之间的作用力，并将与该作用力相关的信息发送给该控制装置，该控制装置在接收到该作用力信息后，结合对象的运动信息来预测对象的运动。具体地，该压力检测装置可以是一个或多个压力传感器，其通常由压力敏感元件和信号处理单元组成，能够感受压力信号，并能按照一定的规律将压力信号转换成可用的输出的电信号并输出给该控制装置。所述压力传感器例如压阻式力传感器、陶瓷压力传感器、扩散硅压力传感器、压电式压力传感器等。在该控制装置收到该压力检测装置传来的压力信号后，来判断对象施加在踏板上的重量。
例如，通过连续采集压力信号，该控制器可以测量出当前使用者的体重以用于后续计算。当该控制器采集到的压力信号从小到大变化时，说明该对象正在逐渐将重心转移到该踏板上，当该控制器采集到的压力信号从大到小变化时，说明该对象正在逐渐离开该踏板，利用此信息可帮助预测该对象的运动轨迹和行为模式识别。举例来说，如果该控制器接收到的压力信号显示第一踏板1上承受的压力正在增大，则说明使用者正在踏上此第一踏板1，当该压力接近使用者体重时，说明另一个对象(使用者的另外一只脚)可能即将离开另一个对应第二踏板2，在这种情形下，如果第一踏板1在第二踏板2的前方，则说明使用者可能正在向前行进，如果第一踏板1在第二踏板2的后方，则说明使用者可能正在向后退行。如果两个踏板处于并排靠拢位置，而承受压力比较接近则说明使用者可能正在原地站立，并且没有准备要行进。
值得注意的是，压力传感器还可以被设置成可以用来判断踏在对应踏板上的对象的姿态，例如通过在踏板上密集点状分布的压力传感器来采集数据，从而判断出该对象的朝向，例如可以判断出该对象踏在踏板上时与行进方向的夹角，通过该夹角来判断该对象是否正在转弯。
在一个实施例中，每个踏板1和2还配置有转动机构(图未示)，例如可以位于第一踏板1和连接件34之间，以及第二踏板2与连接件34之间，使得踏板1和2可以响应于控制装置的命令实现例如360°转动。该转动机构可以是机械设计领域中已知的转动机构，例如螺旋式转动机构、凸轮式转动机构、曲柄式转动机构、铰链式转动机构、连杆式转动机构、四杆机构等等。在传感装置判断该对象相对于行进方向具有一定夹角时，该对象对应的(即将落在其上的)踏板1或2也能够在控制器的控制下进行相应角度的旋转，以容纳该对象。即该踏板可以实现与对象转弯(使用者转弯)动作的配合。
在一实施例中，如图3所示，每一个VR行走结构还可以设置有安全绳200，以进一步确保使用者100的安全。如图2所示，还可以包括支撑脚4，用于支撑于地面。
本发明还公开了一种应用于VR场景的行走方法。在一个实施例中，本 发明的踏板最初位于坐标系原点位置(该位置可以有开发人员或者使用者自己定义，可以定义为三维坐标系的原点)。在使用者准备在VR环境中进行行走之前或开始行走时，对使用者的对象位置和姿态进行感测以得到其坐标，或者坐标和取向。
例如，该对象(例如使用者的左脚或右脚)可以被模型化为一个矩形，可以认为其长边的方向与使用者的行进方向一致。例如，在捕捉到的第一对象(左脚)的位置并预测到左脚落点时，将左侧踏板送到预测的左脚落点位置，接下来，在左脚踩上踏板后，左侧踏板收回到原点位置附近。对于右脚可重复类似的操作。
可替代地，在一个实施例中，在对象(左脚或右脚)踩在踏板上的过程中，感测其对踏板的压力，在该压力大于第一阈值(例如体重的1/2)时，判定VR行走系统的使用者已踏上该踏板，在该压力大于第二阈值(例如体重的2/3)时，判定VR行走系统的使用者已经基本将重心转移到该踏板上，这意味着该使用者的另一只脚随时可能离开另一个踏板。此外，在检测到在行进方向上超前的踏板压力逐渐增大时，说明该VR行走系统的使用者正在向前行进，如果检测到在行进方向上超前的踏板所述压力逐渐减小时说明使用者正在后退；等同地，在检测到在行进方向上落后的踏板压力逐渐增大时，说明该VR行走系统的使用者正在向退，如果检测到在行进方向上落后的踏板所述压力逐渐减小时说明使用者正在向前行进。这样，就可以对VR行走系统的使用者在前行退行状态之间的反复(例如在可能藏有危险的虚拟环境中移动时)进行实时精确判断。
在一个实施例中，当传感装置检测到对象的取向和行进方向具有一定夹角时，则说明该使用者意图转弯。例如，当判断使用者正在向前行进时，左脚在空中的取向变成相对于前进方向向左偏移30°，则对应该左脚的踏板也相应地偏移30°，在判断出预测落点后，将对应该左脚的踏板移动到预测点附近，在这个过程中的角度变化可以按照任意方式或经历任意过程，只要保证在左脚踏在踏板上之前最终定格在预测点上的踏板取向为相对于前进方向向左偏移30°即可。此后，连续检测该左脚踏板上的作用力，如果该作用力从零开始逐渐单调增大，说明该使用者正在完成向左转的步行动作，当该作用力大于一定阈值或接近体重(这等同于另一踏板上的 作用力小于一定阈值或接近零)时，以与行走速度相匹配的速度将左侧踏板移动到原点附近；如果该作用力从零开始增大但随后又开始减小但并未减小到零，则说明该使用者可能正在犹豫且尚未决定继续向前行进，此时不应收回左脚对应的踏板而应该保持该踏板静止不动；如果该作用力从零开始增大随后又减小至零(使用者的左脚已经离开踏板)，则该传感装置继续获取左脚的位置和取向，实时传达给控制系统，直到控制系统能够综合各种信息来判断出新的预测落点后，再驱动对应踏板进行相应移动来配合使用者新的步伐。
如上所述，可以根据VR场景中包括前进、后退、转弯、上台阶、下台阶、上坡、下坡等各种场景来控制踏板坐标及姿态，来配合使用者对虚拟环境的感知。
由上述可知，结合图4所示，本发明实施例提出的应用于VR场景的行走方法，包括如下步骤：
S401，获取第一对象的运动信息；
S402，根据所述第一对象的运动信息确定所述第一对象的预测落点；
S403，驱动所述第一踏板运动至与所述第一对象的预测落点对应的位置；
S404，在感测到所述第一对象与所述第一踏板接触后，将所述第一踏板回位；
S405，在感测到第二对象与第二踏板脱离后，获取所述第二对象的运动信息；
S406，根据所述第二对象的运动信息确定所述第二对象的预测落点；
S407，驱动所述第二踏板运动至与所述第二对象的预测落点对应的位置；
S408，在感测到所述第二对象与所述第二踏板接触后，将所述第二踏板回位。
在一可选实施例中，步骤S402，即根据所述第一对象的运动信息确定 所述第一对象的预测落点的步骤之前，该方法还可以包括：
S401a，获取作用于第一踏板上的作用力；
则，步骤S402，即根据所述第一对象的运动信息确定所述第一对象的预测落点的步骤可以包括：
S402a，根据所获得的作用力和所述第一对象的运动信息中的位置信息和对应时间信息预测所述第一对象的运动轨迹，获得预测落点。
对应地，步骤S406，即根据所述第二对象的运动信息确定所述第二对象的预测落点的步骤之前，所述方法还包括：
S405a，获取作用于第二踏板上的作用力；
则步骤S406，即根据所述第二对象的运动信息确定所述第二对象的预测落点的步骤可以包括：
S406a，根据所获得的作用力和所述第二对象的运动信息中的位置信息和对应时间信息预测所述第二对象的运动轨迹，获得预测落点。
在一可选实施例中，步骤S404，在感测到所述第一对象与所述第一踏板接触之前，上述方法还可以包括：
S4030，根据所述第一对象的运动信息中的位置信息和姿态信息，计算所述第一对象的偏转角度；
S4031，将该第一踏板偏转所述偏转角度。
对应地，在一可选实施例中，S408，在感测到所述第二对象与所述第二踏板接触之前，上述方法还可以包括：
S4070，根据所述第二对象的运动信息中的位置信息和姿态信息，计算所述第二对象的偏转角度；
S4071，将该第二踏板偏转所述偏转角度。
通过上述可知，本发明实施例提出了一种VR行走机构和应用于VR场景的行走方法。在本发明实施例中，利用传感装置获取对象的落点，并利用驱动机构分别驱动第一踏板和第二踏板，使之能够根据该落点进行移动，承接该对象。本发明模拟真实行走的感觉，提高了使用的真实感，同 时保证了安全性。
在可选实施例中，本发明的每一踏板分别对应不同的驱动装置，使得第一踏板和第二踏板的运动互不干涉。
在可选实施例中，本发明实施例提出的VR行走机构可以设置有各种传感器，能够精确地获取到使用者的脚位置，提高了计算精度的同时，进一步增加了使用者的真实感。同时上述VR行走机构可以设置有安全带，辅助保证了使用者的安全。
以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。本领域普通技术人员在不付出创造性的劳动的情况下，即可以理解并实施。
本发明的各个部件实施例可以以硬件实现，或者以在一个或者多个处理器上运行的软件模块实现，或者以它们的组合实现。本领域的技术人员应当理解，可以在实践中使用微处理器或者数字信号处理器(DSP)来实现根据本发明实施例的服务器中的一些或者全部部件的一些或者全部功能。本发明还可以实现为用于执行这里所描述的方法的一部分或者全部的设备或者装置程序(例如，计算机程序和计算机程序产品)。这样的实现本发明的程序可以存储在计算机可读介质上，或者可以具有一个或者多个信号的形式。这样的信号可以从因特网网站上下载得到，或者在载体信号上提供，或者以任何其他形式提供。
例如，图5示出了可以实现根据本发明的应用于VR场景的行走方法的服务器，例如应用服务器。该服务器传统上包括处理器1010和以存储器1020形式的计算机程序产品或者计算机可读介质。存储器1020可以是诸如闪存、EEPROM(电可擦除可编程只读存储器)、EPROM、硬盘或者ROM之类的电子存储器。存储器1020具有用于执行上述方法中的任何方法步骤的程序代码1031的存储空间1030。例如，用于程序代码的存储空间1030可以包括分别用于实现上面的方法中的各种步骤的各个程序代码1031。这些程序代码可以从一个或者多个计算机程序产品中读出或者写入到这一个或 者多个计算机程序产品中。这些计算机程序产品包括诸如硬盘，紧致盘(CD)、存储卡或者软盘之类的程序代码载体。这样的计算机程序产品通常为如参考图6所述的便携式或者固定存储单元。该存储单元可以具有与图5的服务器中的存储器1020类似布置的存储段、存储空间等。程序代码可以例如以适当形式进行压缩。通常，存储单元包括计算机可读代码1031’，即可以由例如诸如1010之类的处理器读取的代码，这些代码当由服务器运行时，导致该服务器执行上面所描述的方法中的各个步骤。
本文中所称的“一个实施例”、“实施例”或者“一个或者多个实施例”意味着，结合实施例描述的特定特征、结构或者特性包括在本发明的至少一个实施例中。此外，请注意，这里“在一个实施例中”的词语例子不一定全指同一个实施例。
在此处所提供的说明书中，说明了大量具体细节。然而，能够理解，本发明的实施例可以在没有这些具体细节的情况下被实践。在一些实例中，并未详细示出公知的方法、结构和技术，以便不模糊对本说明书的理解。
应该注意的是上述实施例对本发明进行说明而不是对本发明进行限制，并且本领域技术人员在不脱离所附权利要求的范围的情况下可设计出替换实施例。在权利要求中，不应将位于括号之间的任何参考符号构造成对权利要求的限制。单词“包含”不排除存在未列在权利要求中的元件或步骤。位于元件之前的单词“一”或“一个”不排除存在多个这样的元件。本发明可以借助于包括有若干不同元件的硬件以及借助于适当编程的计算机来实现。在列举了若干装置的单元权利要求中，这些装置中的若干个可以是通过同一个硬件项来具体体现。单词第一、第二、以及第三等的使用不表示任何顺序。可将这些单词解释为名称。
此外，还应当注意，本说明书中使用的语言主要是为了可读性和教导的目的而选择的，而不是为了解释或者限定本发明的主题而选择的。因此，在不偏离所附权利要求书的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。对于本发明的范围，对本发明所做的公开是说明性的，而非限制性的，本发明的范围由所附权利要求书限定。
最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术 人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

Claims (13)

  1. 一种VR行走机构，其特征在于，包括：
    第一踏板、第二踏板、传感装置、控制装置和驱动装置，其中，所述第一和第二踏板分别连接于所述驱动装置；
    所述传感装置用于获取第一对象和/或第二对象的运动信息，并将所述运动信息发送至控制装置，所述运动信息包括位置信息；
    所述控制装置基于所述运动信息判断所述第一对象和/或第二对象的预测落点，并根据所述预测落点控制所述驱动装置，以驱动所述第一踏板和/或第二踏板移动到对应位置。
  2. 根据权利要求1所述的VR行走机构，其中所述第一踏板和/或第二踏板在感测到第一对象和/或第二对象踏于其上后回位。
  3. 根据权利要求1所述的VR行走机构，其中所述第一踏板和第二踏板分别通过各自的驱动装置控制在平面内或立体空间内进行运动。
  4. 根据权利要求1或3所述的VR行走机构，其中所述第一踏板或所述第二踏板对应的驱动装置包括电机、丝杠及连接件，所述连接件连接所述第一踏板或所述第二踏板，所述控制装置能够发送控制信号至所述电机，以驱动所述第一踏板或所述第二踏板根据该控制信号运动。
  5. 根据权利要求1所述的VR行走机构，其中所述传感装置包括位置检测装置，以及安装在所述第一踏板和第二踏板上的压力检测装置；所述控制装置获取所述压力检测装置检测到的作用力信息，并结合所述第一对象和第二对象的运动信息判断所述第一对象的预测落点和第二对象的预测落点。
  6. 根据权利要求1所述的VR行走机构，所述VR行走机构还包括对应所述第一踏板和所述第二踏板设置的转动机构，所述第一踏板和所述第二踏板通过所述转动机构响应所述控制装置的命令转动。
  7. 根据权利要求1所述的VR行走机构，其中所述传感装置具备姿态感测功能或另外包括姿态传感器，用于感测所述第一对象和第二对象的姿态信息。
  8. 根据权利要求1所述的VR行走机构，其中所述连接件为杆件。
  9. 一种应用于VR场景的行走方法，其特征在于，包括：
    获取第一对象的运动信息；
    根据所述第一对象的运动信息确定所述第一对象的预测落点；
    驱动所述第一踏板运动至与所述第一对象的预测落点对应的位置；
    在感测到所述第一对象与所述第一踏板接触后，将所述第一踏板回位；
    在感测到第二对象与第二踏板脱离后，获取所述第二对象的运动信息；
    根据所述第二对象的运动信息确定所述第二对象的预测落点；
    驱动所述第二踏板运动至与所述第二对象的预测落点对应的位置；
    在感测到所述第二对象与所述第二踏板接触后，将所述第二踏板回位。
  10. 如权利要求9所述的方法，其特征在于，所述根据所述第一对象的运动信息确定所述第一对象的预测落点的步骤之前，该方法还包括：
    获取作用于第一踏板上的作用力；
    则，所述根据所述第一对象的运动信息确定所述第一对象的预测落点的步骤包括：
    根据所获得的作用力和所述第一对象的运动信息中的位置信息和对应时间信息预测所述第一对象的运动轨迹，获得预测落点。
    所述根据所述第二对象的运动信息确定所述第二对象的预测落点的步骤之前，所述方法还包括：
    获取作用于第二踏板上的作用力；
    则所述根据所述第二对象的运动信息确定所述第二对象的预测落点的步骤包括：
    根据所获得的作用力和所述第二对象的运动信息中的位置信息和对应时间信息预测所述第二对象的运动轨迹，获得预测落点。
  11. 如权利要求9所述的方法，其特征在于，在感测到所述第一对象与所述第一踏板接触之前，所述方法还包括：
    根据所述第一对象的运动信息中的位置信息和姿态信息，计算所 述第一对象的偏转角度；
    将该第一踏板偏转所述偏转角度。
    在感测到所述第二对象与所述第二踏板接触之前，所述方法还包括：
    根据所述第二对象的运动信息中的位置信息和姿态信息，计算所述第二对象的偏转角度；
    将该第二踏板偏转所述偏转角度。
  12. 一种计算机程序，包括计算机可读代码，当所述计算机可读代码在服务器上运行时，导致所述服务器执行根据权利要求9-11中的任一个所述的应用于VR场景的行走方法。
  13. 一种计算机可读介质，其中存储了如权利要求12所述的计算机程序。
PCT/CN2018/115418 2017-11-16 2018-11-14 Vr行走机构以及在虚拟现实场景中行走的方法 WO2019096160A1 (zh)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2020524378A JP7266032B2 (ja) 2017-11-16 2018-11-14 Ｖｒ歩行機構及び仮想現実シーンにおける歩行方法
US16/756,470 US11048340B2 (en) 2017-11-16 2018-11-14 VR walking mechanism and method for walking in VR scene
KR1020207011391A KR102512523B1 (ko) 2017-11-16 2018-11-14 Vr보행 시뮬레이션 장치 및 방법
EP18879670.0A EP3690607B1 (en) 2017-11-16 2018-11-14 Virtual reality walking mechanism, and method for walking in virtual reality scene

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN201711140756.6A CN107943289B (zh) 2017-11-16 2017-11-16 Vr行走机构以及在虚拟现实场景中行走的方法
CN201711140756.6 2017-11-16

Publications (1)

Publication Number Publication Date
WO2019096160A1 true WO2019096160A1 (zh) 2019-05-23

Family

ID=61931523

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2018/115418 WO2019096160A1 (zh) 2017-11-16 2018-11-14 Vr行走机构以及在虚拟现实场景中行走的方法

Country Status (6)

Country Link
US (1) US11048340B2 (zh)
EP (1) EP3690607B1 (zh)
JP (1) JP7266032B2 (zh)
KR (1) KR102512523B1 (zh)
CN (1) CN107943289B (zh)
WO (1) WO2019096160A1 (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2757825C1 (ru) * 2021-01-25 2021-10-21 Общество с ограниченной ответственностью «ТЕХКОНТ» Устройство контроля системы движений
CN116051699A (zh) * 2023-03-29 2023-05-02 腾讯科技（深圳）有限公司 动捕数据的处理方法、装置、设备及存储介质

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107943289B (zh) 2017-11-16 2020-11-06 陈昭胜 Vr行走机构以及在虚拟现实场景中行走的方法
CN111356270A (zh) * 2020-03-13 2020-06-30 珠海格力电器股份有限公司 智慧照明方法、装置、服务器及存储介质
CN112102653B (zh) * 2020-08-27 2022-07-19 浙江水利水电学院 工程应用型人才人文教育信息交互装置及其应用方法
CN112817444A (zh) * 2021-01-21 2021-05-18 网易（杭州）网络有限公司 虚拟现实交互方法及装置、计算机存储介质、电子设备
CN112999567A (zh) * 2021-02-10 2021-06-22 广州市影擎电子科技有限公司 一种万向运动机构和万向运动系统
CN113805697B (zh) * 2021-09-01 2023-07-07 邵晓杰 一种vr交互设备及vr场景交互装置及其使用方法
CN114489345B (zh) * 2022-02-24 2023-04-25 重庆电子工程职业学院 一种基于vr设备的行走装置
CN114724429A (zh) * 2022-03-10 2022-07-08 上海犀客信息科技有限公司 一种训练孩子独自回家的智能脚步踏板装置
CN114546123B (zh) * 2022-03-24 2023-04-21 重庆电子工程职业学院 一种用于vr设备的行走体感装置
WO2024053763A1 (ko) * 2022-09-08 2024-03-14 비와일즈 주식회사 가상현실 구현을 위한 능동 보행동작 수행장치 및 이의 동작 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110009241A1 (en) * 2009-04-10 2011-01-13 Sovoz, Inc. Virtual locomotion controller apparatus and methods
CN104461018A (zh) * 2014-12-31 2015-03-25 原硕朋 电磁式多自由度虚拟漫游行进平台
CN105892626A (zh) * 2014-12-15 2016-08-24 普瑞深视科技(北京)有限公司 用于虚拟现实环境中的下肢运动仿真控制设备
CN107943289A (zh) * 2017-11-16 2018-04-20 陈昭胜 Vr 行走机构以及在虚拟现实场景中行走的方法

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4836042A (en) * 1987-07-27 1989-06-06 Advanced Engineering Systems, Operations & Products, Inc. System to convert rotary motion to linear motion
US5629594A (en) * 1992-12-02 1997-05-13 Cybernet Systems Corporation Force feedback system
US5980256A (en) * 1993-10-29 1999-11-09 Carmein; David E. E. Virtual reality system with enhanced sensory apparatus
EP0892658B1 (en) * 1996-03-20 2004-01-07 Andrew John Mitchell Motion apparatus
JP2917128B2 (ja) * 1996-08-08 1999-07-12 谷 白糸 歩行体験装置
US5913684A (en) * 1997-01-29 1999-06-22 Computer Graphics Systems Development Corporation Computer controlled robotic system for unencumbered movement
US6050822A (en) * 1997-10-01 2000-04-18 The United States Of America As Represented By The Secretary Of The Army Electromagnetic locomotion platform for translation and total immersion of humans into virtual environments
JP3373460B2 (ja) * 1999-09-24 2003-02-04 洋夫 岩田 仮想歩行装置
US20070171199A1 (en) * 2005-08-05 2007-07-26 Clement Gosselin Locomotion simulation apparatus, system and method
SE531323C2 (sv) * 2007-04-05 2009-02-24 Thomas Gebel Löparplattor
WO2009062046A2 (en) * 2007-11-07 2009-05-14 Virtual Products, Llc Locomotion interface device for involving bipedal movement in control over computer or video media
KR101131973B1 (ko) * 2009-11-30 2012-03-29 주식회사 무한기업 반수동적 보행 재활 장치
JP2015217250A (ja) 2014-05-21 2015-12-07 富士通株式会社 歩幅測定システム，プログラム，方法及び装置
CA3112168A1 (en) * 2018-09-08 2020-03-12 Healing Innovations, Inc. Rehabilitation device providing locomotion training and method of use

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20110009241A1 (en) * 2009-04-10 2011-01-13 Sovoz, Inc. Virtual locomotion controller apparatus and methods
CN105892626A (zh) * 2014-12-15 2016-08-24 普瑞深视科技(北京)有限公司 用于虚拟现实环境中的下肢运动仿真控制设备
CN104461018A (zh) * 2014-12-31 2015-03-25 原硕朋 电磁式多自由度虚拟漫游行进平台
CN107943289A (zh) * 2017-11-16 2018-04-20 陈昭胜 Vr 行走机构以及在虚拟现实场景中行走的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3690607A4

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2757825C1 (ru) * 2021-01-25 2021-10-21 Общество с ограниченной ответственностью «ТЕХКОНТ» Устройство контроля системы движений
WO2022159002A1 (ru) * 2021-01-25 2022-07-28 Андрей Валерьевич ГРУЗДЕВ Устройство контроля системы движений
CN116051699A (zh) * 2023-03-29 2023-05-02 腾讯科技（深圳）有限公司 动捕数据的处理方法、装置、设备及存储介质
CN116051699B (zh) * 2023-03-29 2023-06-02 腾讯科技（深圳）有限公司 动捕数据的处理方法、装置、设备及存储介质

Also Published As

Publication number Publication date
US11048340B2 (en) 2021-06-29
CN107943289B (zh) 2020-11-06
EP3690607A4 (en) 2020-11-25
CN107943289A (zh) 2018-04-20
JP7266032B2 (ja) 2023-04-27
KR20200093526A (ko) 2020-08-05
EP3690607A1 (en) 2020-08-05
EP3690607B1 (en) 2022-08-31
US20210117013A1 (en) 2021-04-22
KR102512523B1 (ko) 2023-03-20
JP2021503646A (ja) 2021-02-12

Similar Documents

Publication Publication Date Title
WO2019096160A1 (zh) Vr行走机构以及在虚拟现实场景中行走的方法
US11009941B2 (en) Calibration of measurement units in alignment with a skeleton model to control a computer system
CN109388142B (zh) 一种基于惯性传感器进行虚拟现实行走控制的方法及系统
JP7025532B2 (ja) 衝突の検出、推定、および回避
EP3063496A1 (en) Motion capture system
JPWO2017217050A1 (ja) 情報処理装置、情報処理方法及び記憶媒体
JP2005032245A (ja) 画像に基づいたビデオゲームの制御
Racic et al. Modern facilities for experimental measurement of dynamic loads induced by humans: A literature review
CN105723302A (zh) 布尔/浮点控制器和姿势识别系统
CN109284006B (zh) 一种人体运动捕获装置和方法
JPH09229667A (ja) 回転関節構造物の動作計測装置および方法
EP3118725A1 (en) Walk simulation system and method
JP6796197B2 (ja) 情報処理装置、情報処理方法及びプログラム
US20140249789A1 (en) Virtual testing model for use in simulated aerodynamic testing
CN110456902A (zh) 跟踪用户移动以控制计算机系统中的骨架模型
WO2016061153A1 (en) Image based ground weight distribution determination
Park et al. Walking-in-place for vr navigation independent of gaze direction using a waist-worn inertial measurement unit
US20180216959A1 (en) A Combined Motion Capture System
US11461905B2 (en) Determining a kinematic sequence
CN107153461B (zh) 一种控制显示对象的运动方式的方法和运动控制装置
US20220143467A1 (en) Automatic control of a single or multi-directional treadmill
US11145102B2 (en) Using a handheld device to recreate a human pose or align an object in an augmented reality or virtual reality environment
JP2021157289A (ja) アニメーション生成装置、アニメーション生成方法及びプログラム
Lai et al. An intelligent body posture analysis model using multi-sensors for long-term physical rehabilitation
TWI413018B (zh) 體積識別方法及系統

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18879670

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020524378

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 2018879670

Country of ref document: EP

Effective date: 20200429

NENP Non-entry into the national phase

Ref country code: DE