WO2012106978A1 - 一种人机互动的控制方法及其运用 - Google Patents

一种人机互动的控制方法及其运用 Download PDF

Info

Publication number
WO2012106978A1
WO2012106978A1 PCT/CN2012/000108 CN2012000108W WO2012106978A1 WO 2012106978 A1 WO2012106978 A1 WO 2012106978A1 CN 2012000108 W CN2012000108 W CN 2012000108W WO 2012106978 A1 WO2012106978 A1 WO 2012106978A1
Authority
WO
WIPO (PCT)
Prior art keywords
user
self
character
action
virtual
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2012/000108
Other languages
English (en)
French (fr)
Inventor
黄得锋
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to EP21188983.7A priority Critical patent/EP3950076A1/en
Priority to EP12745158.1A priority patent/EP2674204A4/en
Priority to KR1020137023483A priority patent/KR101679805B1/ko
Priority to JP2013552821A priority patent/JP6193764B2/ja
Publication of WO2012106978A1 publication Critical patent/WO2012106978A1/zh
Priority to US13/963,666 priority patent/US10058773B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A63F13/212—Input arrangements for video game devices characterised by their sensors, purposes or types using sensors worn by the player, e.g. for measuring heart beat or leg activity
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/55—Controlling game characters or game objects based on the game progress
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/23—Input arrangements for video game devices for interfacing with the game device, e.g. specific interfaces between game controller and console
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/422—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle automatically for the purpose of assisting the player, e.g. automatic braking in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/40—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment
    • A63F13/42—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle
    • A63F13/428—Processing input control signals of video game devices, e.g. signals generated by the player or derived from the environment by mapping the input signals into game commands, e.g. mapping the displacement of a stylus on a touch screen to the steering angle of a virtual vehicle involving motion or position input signals, e.g. signals representing the rotation of an input controller or a player's arm motions sensed by accelerometers or gyroscopes
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/80—Special adaptations for executing a specific game genre or game mode
    • A63F13/803—Driving vehicles or craft, e.g. cars, airplanes, ships, robots or tanks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/002—Specific input/output arrangements not covered by G06F3/01 - G06F3/16
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional [3D], e.g. changing the user viewpoint with respect to the environment or object
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F13/00—Video games, i.e. games using an electronically generated display having two or more dimensions
    • A63F13/20—Input arrangements for video game devices
    • A63F13/21—Input arrangements for video game devices characterised by their sensors, purposes or types
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/10—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals
    • A63F2300/1087—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by input arrangements for converting player-generated signals into game device control signals comprising photodetecting means, e.g. a camera
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/50—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game characterized by details of game servers
    • A63F2300/55—Details of game data or player data management
    • A63F2300/5546—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history
    • A63F2300/5553—Details of game data or player data management using player registration data, e.g. identification, account, preferences, game history user representation in the game field, e.g. avatar
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/6045—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands
    • A63F2300/6054—Methods for processing data by generating or executing the game program for mapping control signals received from the input arrangement into game commands by generating automatically game commands to assist the player, e.g. automatic braking in a driving game
    • A—HUMAN NECESSITIES
    • A63—SPORTS; GAMES; AMUSEMENTS
    • A63F—CARD, BOARD, OR ROULETTE GAMES; INDOOR GAMES USING SMALL MOVING PLAYING BODIES; VIDEO GAMES; GAMES NOT OTHERWISE PROVIDED FOR
    • A63F2300/00—Features of games using an electronically generated display having two or more dimensions, e.g. on a television screen, showing representations related to the game
    • A63F2300/60—Methods for processing data by generating or executing the game program
    • A63F2300/66—Methods for processing data by generating or executing the game program for rendering three dimensional images
    • A63F2300/6607—Methods for processing data by generating or executing the game program for rendering three dimensional images for animating game characters, e.g. skeleton kinematics
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/012—Walk-in-place systems for allowing a user to walk in a virtual environment while constraining him to a given position in the physical environment
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F30/00—Computer-aided design [CAD]
    • G06F30/20—Design optimisation, verification or simulation

Definitions

  • the user needs to have a large amount of motion space, and the movement has limitations, such as: When the user has moved to the wall, but the next action of the avatar also requires the user to move backwards toward the wall.
  • some prior art techniques reduce the activity space of the avatar (note that the avatar is not the user), so that the user does not have to move or minimize the activity during the control process, but such a method makes the game available. Playability is greatly reduced, and its use value is very limited.
  • Some prior art techniques allow the user to move to the same location through a treadmill or the like, but there are also: The user needs to continue to consume physical energy, so it is difficult to continue man-machine interaction for a long time, and the user is also difficult to exercise at will.
  • the prior art of reducing the avatar's activity space also includes manipulating moving tools, such as chariots, but the various controls on the chariot do not need to be reconnected, but this traditional way, in addition to the above drawbacks
  • Self-character refers to a virtual character that can be manipulated by the user in the virtual world and considered by the user to be his own, but human or any moving object.
  • micro-action scheme When the user implements a certain one or a group of qualified micro-actions, a control command can be issued to the computer; the micro-action here refers especially to the user's small-scale action, such as: the corresponding arbitrary joint movement displacement is less than 20cm, the specific performance is as follows: arm fretting, foot micro-curve; The above conditions of the present invention include, in particular, the case where the command is not issued.
  • the virtual world gives action or action to the instrument in the self-character or virtual world.
  • the action plan includes a continuous action combination, an action force, a speed, and the like.
  • Active joints Users not all joint activities can control the activities of my self-characteristic parts. Especially when the self-character is non-human, there are no joints on the user's body. Therefore, the "active joint” referred to in the present invention refers to virtual The world gives the self-actor a movable part and corresponds to the joint of the user's actual body. On the other hand, when the active part of the self-character is more than the actual number of active joints of the user, the other methods introduced by the present invention are adopted; in addition, the active joint referred to herein is not limited to the skeleton joint, and it generally refers to the movable body. Any part of the body, such as any point on the entire upper arm.
  • Reverse action The virtual world scene in which the self-player is located performs a vector action with the same vector value but opposite direction to the command issued by the user; the vector action particularly refers to the displacement change and the volume change at any time point, as shown in the figure. 1 shows: With the vector action as the ordinate and the time as the abscissa, the coordinate system corresponding to the virtual world scene where the self-character is located is axis-symmetric with the abscissa, such as: From time point tl At time t2, when the user wants to advance 5 meters in the southeast direction, it is only necessary to move the scene of the self-character to the northwest direction by 5 meters during the time period; for example: From time point t1 to time point t2, the user wants The proportion of the whole body becomes 2 times larger.
  • the scene of the self-character is reduced by twice in the same time period.
  • the user's transformation or deformation instruction it is possible to preferentially determine whether the eye and the distance between the eyes are included, if the eyes And the distance between the eyes does not change, then the scene does not change in volume, that is, the volume vector of the scene Volume vector operation between the eye and the eye having the self-character distance: Vector the same value and opposite relationship.
  • the user instruction may preferably be associated with a motion vector and a visual vector of a self-character head, such as: speed, displacement; the visual vector such as: a volume change of the self-character.
  • Palm As shown in Figure 2, the palm 1 includes the joints on all the palms 1 including the wrists 11, such as the fingers 12.
  • the foot 2 includes the joints on all the feet 2, including the ankles 21, such as the toes 22.
  • the index for evaluating the range of motion It may be the displacement and direction of the tracked part, the angle between the tracked part at two points in time, and the like.
  • Motion amplification In order to strive for the user's true feelings and the synchronization requirements in the interactive process, the following two rules are set: 1. Within the scope of human perception, the motion amplification preferably only amplifies the user's motion amplitude and intensity; 2. When the range of human perception is exceeded, the motion amplification can also amplify the user's motion speed.
  • the user performs various controls in the same "manipulation position" without displacement, and is not limited by the virtual world space and time:
  • the invention achieves the above technical effects by using an action amplification method, and the action amplification method includes:
  • the maximum allowable range of the virtual allowable actions of the self-character in the virtual world is N
  • the actual exercise limit is greater than the maximum allowable action, and in order to more effectively achieve the effect of the present technology, when the virtual world process adopts the action amplification system, it is preferable to limit the user's limb. It is only allowed to perform small micro-motions.
  • the user allows the micro-motion scheme to satisfy: When the user completes any micro-motion with the maximum amplitude M, the angle change value of any adjacent two parts except the palm and the sole of the torso is less than 30 degrees.
  • an allowable micro-motion scheme involves the angles of the upper arm and the lower arm. When the front and rear angles of the action are 120 degrees and 140 degrees, the angle between the adjacent two parts is +20 degrees.
  • the form (pose) of the user and the self-character does not require the same or similar.
  • the present invention can provide a continuous action command, and the user can keep turning and the like when the user continues to act on the elastic device. Therefore, the user can control any action scheme of the self character in any posture.
  • the maximum amplitude M of the present invention is preferably within plus or minus 5 degrees.
  • restriction scheme can also be optimized for one or more of the following:
  • the corresponding part of the user can be subjected to a corresponding proportion and a load acceptable to the user.
  • the virtual world receives user instructions:
  • the motion positioning point control system is: one or more positioning sensing elements are provided on the user body or on the props, and the position (three-dimensional coordinates) of each positioning sensing component changes with time, thereby determining that the user is arbitrary A gesture in time or an action change in a certain period of time.
  • the method for determining the change of the position of the positioning sensor includes the following steps:
  • the method of controlling the self-role action by locating the position change of the sensing part is to give the virtual world a self-character Al, A2 ⁇ An, a total of n individually movable parts, controlled according to the following two situations:
  • the N active parts can find the corresponding active joints on the user, the N, N2 ⁇ Nn N positioning sensing elements are respectively set on the corresponding active joints, and tracked at any time point t When the three-dimensional position of Nl, N2 ⁇ Nn changes, the three-dimensional position of each positioning sensor is changed, and the corresponding part of the self-character is controlled to perform related actions; 2) when the N active parts cannot completely find the corresponding active joint on the user Assume that there are several active parts Mx that cannot find the corresponding relationship. First, the active joint Nx of the user can select a total of s active parts of Mxl, Mxl ⁇ Mxs of the self-character, and adopt one or all of the selection method and the combination method.
  • the selection method means that after the active joint Nx determines the corresponding control active part, it can be directly and directly controlled; the group ⁇ " method means that when the active part needs to be replaced, the third command can be adopted.
  • use other active joints to jointly select different active parts such as:
  • the user's arm can choose to control the self-angle The arm and the wing, the movable joint is set as the toe, when the toe is picked up, the user controls the wing, and when it is released, the arm is controlled; when the third command refers to a command menu, the selection interface is jumped out, by selecting Make sure you want to control the active part.
  • Method for controlling self-role action by locating the position change of the sensing member further includes dividing the movable portion and the non-movable portion on the body and the prop of the user, and respectively setting the position sensing member for the movable portion; wherein the prop and the virtual world are Corresponding to the item or appliance, so that when the prop is manipulated, the corresponding item or appliance in the virtual world can be manipulated accordingly, in other words It is to use the positioning sensor to control the things (people or objects) in the corresponding virtual world.
  • the corresponding method of locating the sensing element or its change and the self-role action or active part is to make the positioning sensing parts on the different joints of the user have different distinguishing features, and corresponding to the active part of the self-character or different through different distinguishing features action.
  • the distinguishing feature is a different spot density or spotting rule on the positioning sensing member.
  • the present invention also introduces a sleeve-type fixed point control device suitable for the above virtual world method ":
  • each kit has one or more sensing points.
  • the device is intended to completely determine the position and posture of the user at any point in time by the position of each of the sensing points positioned on the user.
  • the device is also limited to the above-described joint arrangement of the sensing points at the joint.
  • the present invention also provides a method for a user to see their body enter the virtual world:
  • the implementation method is to adopt the system of the body, the panoramic system and the scene moving system at the same time.
  • the following describes each system one by one.
  • the scene movement system utilizes a reverse vector action of a scene in which the self-character in the virtual world is located, so that the user has an illusion of performing various movements or transformations (body reduction or enlargement or shape change);
  • the reverse action is a vector action in which the scene of the self-character in the virtual world is opposite to the direction of the head of the self-character and the vector value is the same, and the two are in the coordinate system with the same vector action and time as the coordinate axes,
  • the vector action time chart has an axisymmetric relationship with the time axis.
  • the panoramic system enables the user to only see the scene in the virtual world, but does not see the scene in reality, and the virtual world scene covers the entire visual range of the user; the system especially refers to the user wearing full 3D glasses.
  • the glasses on the screen and its virtual world screen cover the entire visual range of the user.
  • the self-contained system satisfies the same position of the user and the self-character in the virtual world and synchronizes the user's body with the self-character activity, so that when the user wants to see his or her body, he can see his various actions in the virtual world. .
  • the present invention adopts a selection method and a combination method, so that a person with physical disabilities passes through a part with active muscle energy.
  • the "motion zooming system" introduced by the present invention can realize all the functions or capabilities all the virtual worlds can give to the user without displacement or only a slight displacement, and enable the user to only control the same position in the whole process of the virtual world. At the same time, it is also convenient to realize that the user's moving part and the virtual world character moving part are consistent, so that the user can easily get started.
  • the three-point positioning method introduced by the invention enables the computer to realize the speed that the human body cannot perceive, so that the self-character and the user can perform various actions synchronously, thereby solving the problem of the image lag, and then enabling the user to complete the human-computer interaction more conveniently for a long time. Less There will be a situation where the user is dizzy.
  • the "sleeve-type fixed-point control device” introduced by the invention enables the user to directly control the action of various parts of the body, and can control the corresponding "induction positioning point" to perform related commands, thereby enabling the user to see himself or himself.
  • the devices controlled in the virtual world perform related actions.
  • the use of the device effectively shortens the preparation time for the user before entering the virtual world, and the preparation process required for the user, so that the user can perform the virtual world in a convenient manner.
  • the "induction positioning point system” introduced by the invention enables the system to control the self-role action by tracking various vector changes (including: displacement, speed, direction) occurring at each positioning point; the solution can effectively simplify the "sleeve type fixed point control"
  • the device makes it purely mechanical, without any electronic system, can avoid electronic short circuit to cause physical injury to the user; at the same time, because the user is in use, each positioning point is positioned at each corresponding part of the user, Moreover, the user only performs micro-action, so the displacement of each positioning point is very small, so zero damage of the device can be realized to ensure the service life of the device.
  • Figure 1 is a vector action time diagram of the same vector action in the virtual world where the self-character scene and the self-character head are in the same vector, where t: time, V: volume, S: displacement
  • Curve A is the displacement or volume vector action time diagram of the scene where the self character is located in the virtual world.
  • Curve B is the displacement or volume vector action time diagram of the head of the self character.
  • Figure 2 is a schematic view of the user's joints.
  • Embodiment 1 A method for controlling human-computer interaction
  • a control method for human-computer interaction which establishes "user micro-motion database” and “self-action virtual action data”; and stipulates “action amplification rules” and "human-computer interaction rules”.
  • the "User Micro-Action Database” also includes "Using the Allow Micro-Action Scheme Database”. 1, user micro-action database:
  • a virtual action part corresponding to the self-character defined by the user's active part that is, a part of the self-character that can be controlled
  • Action parameters of the virtual action part Shift, speed, velocity; Determine the magnification of the motion range of each virtual action part relative to the motion range of the user's active part.
  • the embodiment further provides a human-machine synchronization system, and the human-machine synchronization system includes: a user micro-action recognition system and a micro-action matching command rule system.
  • the user's micro-motion recognition system it defines the active part and the inactive part of the user's body or prop, and respectively has different positioning features on different active parts; construct a virtual three-dimensional coordinate system, and The distance measuring device is fixed on three or more known coordinate points which are not on the same straight line; the specific identification methods are as follows:
  • the user micro motion recognition system in the embodiment is intended to track the movement of the user's limbs. It can also be provided with two or more positioning sensors on any active part, at least two of which are in x, y, The coordinate values on the z-axis are different, so that the horizontal or vertical rotation angle of the active part within a certain period of time can be determined.
  • the micro-motion matching command rule system the user controls the limb movement to cause a certain regular displacement change of the sensing point on the limb, and matches the action scheme of the self-character, which includes:
  • the virtual world is given a self-character Al, A2 ⁇ An, a total of n individual movable parts A, and any one of the individually movable parts Ax is provided with Axl, Ax2 ⁇ Axm, and a total of m kinds of permitted actions, and Axx is any allowed action. , controlled in the following two situations.
  • the strength of Ax implementation corresponds to Ax'
  • the corresponding joint curvature and the joint jitter frequency, the condition that the Ax uses the maximum force is: When the user's Ax' reaches the maximum amplitude;
  • Ax should also consider the tension degree, the moving speed and the execution time corresponding to Ax', Realize the user to manipulate the virtual world more naturally, and make the movement of the self role conform to the natural law as much as possible;
  • the joint described in this embodiment is intended to completely determine the position and posture of the user at any point in time by the position of each of the sensing points positioned on the user, and the present inventors particularly cite one of them to satisfy the purpose.
  • Total joints three joints per finger, wrist joint, elbow joint, shoulder joint, any three points on the head that are not on the same line, one joint of each toe, ankle joint, calf, thigh, buttocks , the midpoint of the spine.
  • the active joint is set as the toe.
  • the user controls the wing, and when it is released, the arm is controlled.
  • the third command refers to a command menu
  • the selection interface is jumped out, and the active part is controlled by selecting and confirming.
  • the method for controlling the self-character action by locating the position change of the sensing component further comprises dividing the movable part and the non-movable part on the body and the prop of the user, and respectively setting the position sensing part of the movable part; wherein the item and the item in the virtual world Or the corresponding equipment, so that when the props are manipulated, the corresponding items or appliances in the virtual world can be manipulated accordingly, in other words, the positioning inductive means is used to control the things (people or objects) in the corresponding virtual world.
  • the positioning sensing members on the different joints of the user have different distinguishing features, and corresponding to the active parts of the self-characteristics or different actions through different distinguishing features.
  • the distinguishing feature is a different coating point density or a coating point rule on the positioning sensing member. If the coating point density is d or the position sensing component having the coating rule 1 changes position, an active part of the self character performs correspondingly. Permitted action; coating density or coating rules can be achieved by stamping.
  • the rule that does not trigger the command is preferred, and of course, the rule that triggers the command may also be used.
  • the sleeve-type fixed-point control device may also implant a controller in the device, so that the controller senses various vector changes (including displacement, speed, and direction) occurring at each positioning point; "Positioning point system", Cocoa effectively simplifies the "sleeve-type fixed-point control device", making it purely mechanical, without any electronic system. Because the virtual world process, only the micro-action of each part of the user, so can do equipment zero Damage, that is, to ensure the service life of the equipment, and to avoid possible physical short circuit in the electronic system to cause physical harm to the user.
  • the sleeve-type fixed point control device of this embodiment includes a palm kit, an arm kit, a head kit, a sole kit, a leg kit, a hip kit, and a waist kit; each kit has one or more inductive positioning points.
  • the device is intended to completely determine the position and posture of the user at any point in time by the position of each of the sensing points positioned on the user.
  • the device is also limited to the above-described joint arrangement of the sensing points at the joint.
  • the embodiment further provides a human-machine interaction system, which comprises: a reaction sensing device and an activated device; the human-machine interaction system is mainly used for correction: the maximum allowable micro-motion amplitude of the user Mm And the ratio Mm/Nm of the maximum virtual allowable action amplitude Nm of the self-character; and the Mm/Nm value is larger than the normal state, that is, when the reaction-aware device and the action-aware device operate, Nm is reduced according to factors such as the following.
  • the eye image capturing device may be implemented by various prior art techniques, such as the "eye image collecting device” of the patent number "200610072961.9";
  • the effect effect of the self-character is: the morphological change and the kinetic energy change after the self-character is acted; the effect effect produced by the self-character is fed back to the user by the action sensory device, or the corresponding part is changed.
  • the virtual maximum amplitude allows the user to see the effect of the self-character, while visually producing the same or similar illusion of being perceived by the device.
  • the self-player wants to attack a game character, first lock the target, when the self-playing character punches a punch, it acts on the opponent's arm, and is attacked by the opponent's arm.
  • the self-character will inevitably be reacted; here, when the target is blocked, the self-character is also affected by the target block, and the effect of the setting device is superimposed. .
  • the allowable action execution condition of the self-character is not to sense the position of the anchor point at a certain time, but to change the position relative to the previous time point;
  • the action amplification system and the motion positioning point control system can be used in combination or separately;
  • the present invention also includes a voice control system that allows the user to issue commands through voice to control the allowed actions of the self character and the basic operations of the virtual world, such as: exit, save.
  • the system also includes a voice recognition system, such as pre-recording the user's voice and matching the commands.
  • This virtual world allows the self-character to have deformability.
  • the number of parts is greater than the number of joints of the person. What should I do?
  • the virtual world method also allows the user to have super powers such as emptying objects.
  • the starting condition of the instruction is: the sensing positioning points on the user's arm are on the same straight line, and the sensing positioning points on the palm are integrated with claws and facing the article;
  • the virtual world judges the magnitude of the suction, the maximum value of the self-acting suction can be predetermined, and the condition of the value can be the frequency of the finger shaking.
  • the frequency is reduced, the suction force is correspondingly reduced.
  • the virtual world When the virtual world receives the user's intention, it will calculate and compare the difficulty of suction and the item being sucked. When the gravity of the item is too large or the adsorption force of the original position is too large, the user is required to increase the intensity of the grasp. At this time, the degree of bending of the fingers will be strengthened, and the jitter of the fingers will be intensified, and the jitter of the sensing points on the fingers will be intensified, and the computer will be tightened by the user to further judge whether the absorption can be completed.
  • the present invention also provides a sleeve-type fixed point control device", the user With the corresponding gloves, foot covers, brackets and helmets, you can control the sensing points that are attached to each joint of the whole body, so it is very practical.
  • the user Due to the action amplification method, the user has no physical correspondence between the body position and posture of the body and the self-character. Therefore, the position of the sensing point cannot be determined by itself, but the heads of the two (by the eyes) are in the virtual world. The position and orientation are the same. How do you say that users can also determine coordinates in the virtual world? First, the user's vision is obtained through the glasses, and the coordinates of the eyeglass in the virtual world are determinable, because the relative positions of the eyeball and the glasses are always the same, and therefore, the coordinates of the user's eyeball in the virtual world can be determined.
  • It includes: a body system, a panoramic system, a scene movement system, an action judgment system, and an action amplification system.
  • the panoramic system refers to a virtual world process, and the virtual world image always covers the entire visual range of the user, so that the user can only see the scene in the virtual world, but does not see the scene in reality; the screen and the virtual world on the glasses The screen covers the entire visual range of the user; the technology can adopt the prior art such as "Mobile Video Glasses Integrated with CMMB Receiving Module” with the patent number "200810066897.2".
  • the body-holding system satisfies the same position of the user and the self-character in the virtual world, and the user's physical activity is synchronized with the self-character activity, so that when the user looks at the body of the self-character, he or she mistakenly thinks that it is his own real body; the user's body
  • the method of synchronizing the activity with the self-character activity is to determine the action performed by the user through the action positioning point control system, determine the content of the command issued by the user through the related action, and then control the activity of the self-character pair on the active part.
  • the scene movement system utilizes the reverse action of the scene in which the self-character is located in the virtual world, so that the user has an illusion that various movements or transformations (body reduction or enlargement or shape change) are being performed; determination of the scene in which the self-character is located
  • Methods include:
  • the positioning member is provided with three positioning sensing members not in the same straight line, and the positioning sensing member can be determined in the position of the virtual world. , thereby determining the position of the user's head in the virtual world and the orientation of the face;
  • the virtual world picture is determined by the position of the user's head in the virtual world and the face orientation.
  • the mounting position of the positioning member in this embodiment is focused on satisfying the position at which the head can be synchronized, and thus it is also possible to mount various instruments on the user's head.
  • the synchronization relationship between the user and the self-character in the face may also be an action amplification system.
  • This embodiment is to make the virtual world more realistic, including one or more of the random obstacle systems such as the olfactory system, the haptic system, and the physical fatigue;
  • the physical fatigue randomization system can be combined with a sleeve-type fixed point control device, such as a retractable advancement mechanism connected to the sole assembly, and a retractable hand grip in the palm set.
  • a sleeve-type fixed point control device such as a retractable advancement mechanism connected to the sole assembly, and a retractable hand grip in the palm set.
  • the barrier system includes a reaction sensing device and an activated sensing device; the activated sensing device satisfies: when any object in the virtual world acts on a certain part or parts of the self character, the obstacle system is based on The object motion characteristic acts on the corresponding part of the user; the reaction sensing device satisfies: when the self role acts on any object of the virtual world, Firstly, according to the action characteristics of the self-character and the immediate state of the object, the system judges the part of the self-action being reacted and the reaction effect, and the obstacle-setting system acts on the corresponding part of the user with the equal factor effect.
  • the obstacle system changes the load of the reaction sensing device and the object to be sensed to the user according to the degree of fatigue or maximum movement of the self character.
  • the user Before the virtual world, the user must be fixed on a certain control position (such as: bed), the user moves any limb, and the corresponding person in the virtual world performs a complete action, so that the user can perform any action in the same place.
  • a certain control position such as: bed
  • the control position When the control position is performed, the position of the body does not change after the action, thereby reducing the user's exercise space.
  • the obstacle system limits the maximum range of motion of the user's torso, such as: the foot plate device elastically contacts the user's foot plate; the arm limit device is placed on the user's arm with an interference fit.
  • the obstacle-disposing mechanism is disposed above the portion where the user is allowed to move, and the obstacle-setting mechanism is kept at a certain distance from the user's torso (referred to as a free space) under normal conditions, so that the user parts do not touch the obstacle-setting mechanism. , the micro-action can be performed without any action; the obstacle-disconnecting mechanism is provided with an elastic load active area (called load space).
  • load space an elastic load active area
  • the obstacle-setting mechanism acts as a reaction of the target to the user
  • the obstacle-setting mechanism reduces the free space and acts on the corresponding torso of the user
  • the video apparatus of the present invention is not limited to a facility for viewing through the eyes, and the "human body electronic implant and its artificial vision system" of the patent number "00820024.6” has given a method of obtaining an image by the eye.
  • Embodiment 3 - Game method
  • a game method that pays for a self-character's super-powerful approach including the following steps:
  • the morphological changes described in this embodiment include position, shape, state, and material change, wherein the shape includes deformation, flow, change between particles, etc.; state changes include: gas, solid, liquid-to-liquid transition, etc.; Changes in motion such as displacement, speed of motion, and acceleration.
  • the virtual environment of the present invention is further provided with at least one or more virtual environments in a future environment, a past environment, and a dream environment.
  • the invention can open the user to reset the authority of the object side parameter in the virtual environment, so that the user can construct, adjust and delete the virtual environment by himself. Therefore, it is very easy for the user to materialize the imaginary object, which is unimaginable beyond the traditional tools.
  • Example 4 A method of viewing a space design or a space sample
  • a method of viewing a space design or a spatial sample which includes the following steps:
  • Embodiment 5 A film shooting method
  • a film shooting method :
  • Example 6 A method of simulating an experiment
  • steps 2) -4) are repeated as needed.
  • This experimental method not only does not cause harm to the user, but also has zero cost and high experimental precision.
  • Example 7 - Tourism method
  • a travel method :

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Theoretical Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Cardiology (AREA)
  • General Health & Medical Sciences (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Processing Or Creating Images (AREA)
  • User Interface Of Digital Computer (AREA)

Description

Figure imgf000003_0001
缺陷： 需要用户运动空间大， 且运动存在局限性， 如： 当用户已移动到墙壁， 但游^化身下 一动作还需要用户向墙壁的背向前进。 有些现有技术为了避免这种情况， 缩小化身的活动空 间（注意， 这里说的是化身而非用户）， 以使用户控制过程中不用移动或尽量减小活动， 但这 样的方法使游戏的可玩性大大降低， 其运用价值也非常有限。 还有些现有技术通过跑步机等 方案， 使用户至在同个位置移动， 但也存在着： 用户需要持续体能消耗， 因此很难长时间持 续进行人机互动， 同时用户也很难随心运动。 缩小化身活动空间的现有技术还包括操控移动 工具， 如战车， 但战车上的各控制件其实都不用再联接的， 但这种传统方式， 除了上述缺陷
Figure imgf000003_0002
本发明的目的是提供一种让用户可身临其境进入虚拟世界的方法及设备； 该方法可让用 户不受时长、 不受自身体能限制进行持续控制自我角色。
为了便于理解本发明， 特对所涉及的各术语进行如下名词解释：
自我角色：.指在虚拟世界中， 可被用户操控的， 并被用户认为是自己的虚拟角色， 可是 人类或任意活动物方。
用户允许微动作方案： 当用户实施某一个或一个组符合条件的微动作时， 可以对计算机 发出一控制指令； 这里的微动作尤其指用户小幅度的动作， 如： 相应的任意关节移动位移小 于 20cm， 具体表现如： 手臂微动、 脚微曲； 本发明的上述条件， 尤其包括限定不发出命令的 情形。
虚拟允许动作方案： 虚拟世界赋予自我角色或虚拟世界中器具可以进行的动作或动作方 案， 所述动作方案包括连续的动作组合、 动作力度、 速度等。
活动关节： 用户并非全部关节的活动都可以控制我自我角色相部位的活动， 尤其自我角 色为非人类时， 并没有用户身上的某些关节， 因此本发明所指的 "活动关节"是指虚拟世界 赋予自我角色可活动部位而对应于用户实际身体上的关节。 另一方面， 当自我角色的活动部 多于用户实际的活动关节数时， 则采用本发明介绍的其他方法； 另外 本文所称的活动关节并 非仅限于骨架连接处， 它泛指人体上可活动的任何部位， 如整个上臂上的任一点。
反向动作： 自我角色所在的虚拟世界场景执行与用户发出的指令具有矢量值相同但方向 相反的矢量动作； 所述矢量动作本发明尤其特指任意时间点上的位移变化、 体积变化，如图 1 所示： 以矢量动作为纵坐标， 以时间为横坐标建立坐标系， 则用户发出的指令与自我角色所 在的虚拟世界场景对应曲线图以横坐标呈轴对称关系， 如： 从时间点 tl到时间点 t2， 用户要 朝东南方向前进 5米时， 只要在该时间段上使自我角色所在场景向西北方向移动 5米就可实 现； 再如： 从时间点 tl到时间点 t2， 用户要自己全身等比例变大 2倍.， 则自我角色所在场景 在相同时间段缩小两倍， 这里尤其指出： 用户的变身或变形指令里， 可优先判断是否包括眼 睛及双眼间距的变化， 如果眼睛及双眼间距没有变化， 则场景在体积上不会变化， 即 场景的 体积矢量动作与自我角色的眼睛及双眼间距离的体积矢量动作具有： 矢量值相同、 方向相反 的关系。所述用户指令可优选关联于自我角色头部的运动矢量和视觉矢量，所述运动矢量如： 速度、 位移； 所述视觉矢量如： 自我角色的体积变化。
手掌： 如图 2所示手掌 1包括手腕 11在内的所有手掌 1上的关节， 如手指 12。
脚掌： 如图 2所示脚掌 2包括脚腕 21在内的所有脚掌 2上的关节， 如脚指头 22。
评价运动幅度的指标： 可以是被跟踪部位发生的位移及方向、 被跟踪部位在两个时间点 上的夹角等。
动作放大: 为了力求用户的真实感受， 及在互动过程的同步需求， 设定以下两个规则： 1、 在人体感知能力范围内， 动作放大优选仅对用户的动作幅度、 力度进行放大； 2、 当超过人体感知能力范围， 动作放大还可以对用户的动作速度进行放大。
为实现上述目的， 本发明技术方案为：
一、 用户无需发生位移而在同一 "操控位"连续执行各种控制, 且不受虚拟世界空间和时 间限制:
本发明采用动作放大方法实现上述技术效果，所述的动作放大方法包括：
1)在虚拟世界中创建自我角色；
2)用户身体无需离开用户所在位置执行微动作；
3)跟踪并识别用户执行微动作； 并使用户执行任意微动作时， 其身体都无需离开用户 所在位置；
4)使自我角色放大执行用户的微动作。
优化方案 h
设定用户或虚拟世界道具执行任一用户允许动作的最大幅度 M、 对应虚拟世界中自我角 色的虚拟允许动作的最大幅度为 N、 在 t时间点上用户或虚拟世界道具执行该允许动作的幅 度为 Mt，对应虚拟世界中人或物的执行相应的允许动作的幅度为 Nt，则该系统满足：当 Mt M 时， Nt=N; 当 Mt<M时， N〉Nt>Mt， 如： 用户手臂抬起 5度时， 自我角色则完全抬起手臂， 当用户抬手臂的角度大于 5度， 自我角色均完全抬起手臂， 这里， 我们称 5度为用户执行抬 手臂的最大幅度， 显然用户手臂不仅可以抬 5度。
这里尤其指出：用户执行某允许动作时，实际的运动极限均大于该允许动作的最大幅度， 而为了更有效实现本技术效果， 虚拟世界过程采用动作放大系统时， 最好通过对用户肢体的 限制只允许其进行小幅度的微动作。
所述用户允许微动作方案满足： 当用户以最大幅度 M完成任一微动作时，躯干上除手掌 和脚掌外的任意相邻的两部份的角度变化值小于 30度。如：某允许微动作方案涉及上臂和下 臂的角度， 在实施该动作的前后角度为 120度和 140度， 则该相邻两部份的夹角变化值就为 +20度。 显然用户和自我角色的形态 （姿势） 并不要求相同或类似。
另外 本发明可提供持续动作命令， 当用户持续对弹性装置作用时，用户可保持转身等动 作。 因此用户可在任意姿势下控制自我角色的任意动作方案。本发明所述最大幅度 M优选正 负 5度以内。
另外经实验我们发现， 当自我角色与用户在头部、 包括手腕的手掌、 包括脚腕的脚掌其 中的一处或多处部位执行相同运动幅度的动作， 用户更容易掌握本发明的控制方法。
优化方案 2:
限制用户肢体的活动幅度， 使被限制的相应部分能完全执行微动作而身体不离开所在位 置， 对所述限制方案还可作以下一个或多个优化：
1) 当虚 世界中的任一物方作用于自我角色的某部位或某些部位时，用户的相应部位会 根据该物方动作特征被作用；
2) 当自我角色作用于虚拟世界任一物方时，首先根据自我角色的动作特征及该物方的即 时状态， 判断的自我角色被反作用的部位及反作用效果， 使用户相应的部位以等因子效果被 作用；
3) 可根据自我角色的疲劳程度或最大运动能力，使用户的相应部位受到相应比例且用户 能接受的载荷作用。
二、 虚拟世界接收用户指令的方法:
它是通过动作定位点控制系统确定用户进行的动作， 通过相关动作确定用户发出的指令 内容， 继而控制自我角色对就活动部位的活动。
所述动作定位点控制系统： 是在用户身上或道具上设有 1个或 1个以上的定位感应件， 通过各定位感应件的位置 （三维坐标） 随时间的变化， 从而可确定用户在任意时间上的姿势 或在某段时间内的动作变化。
以下逐一介绍本技术方案所涉及 "定位感应件位置的变化确定方法"、 "通过定位感应件 位置变化控制自我角色动作的方法"和 "定位感应件或其变化与自我角色动作或活动部位的 对应方法"。
(一） 定位感应件位置的变化确定方法包括以下骤：
1) 建一虚拟三维坐标系，并确定三个或三个以上的且不在同一直线上的距离测定点在该 坐标系中的坐标；
2) 测定定位感应件分别到上述各距离测定点的距离，从而计算出各定位感应件在任意时 间点上的三维坐标。
(二） 通过定位感应件位置变化控制自我角色动作的方法是针对虚拟世界赋予自我角色 Al、 A2〜An共计 n个可单独活动部位， 按以下两种情形控制：
1) 当该 N个活动部位均可在用户身上找到对应活动关节进行对应， 则在用户在各对应 活动关节上分别设置 Nl、 N2〜Nn共 N个定位感应件， 并跟踪在任意时间点 t时， Nl、 N2〜 Nn三维位置变化； 使各定位感应件的三维位置变化， 控制自我角色相应部位进行相关动作； 2) 当该 N个活动部位不能完全在用户身上找到对应活动关节进行对应时， 假设存在若干不 能找到对应关系的活动部位 Mx， 先使用户的活动关节 Nx可选择控制自我角色的 Mxl、 Mxl 〜Mxs共 s个活动部位，并采用选择法和组合法中一种或全部来选择控制具体的活动部 位 Mx; 所述选择法是指活动关节 Nx确定对应控制活动部位后， 可以单独直接控制； 所述组 ^"法是指， 当需更换活动部位时， 可通过第 3命令或利用其他活动关节共同选择执行不同的 活动部位， 如： 用户的手臂可以选择控制自我角色的手臂和翅膀， 所述活动关节设为脚指， 当脚指蜷起时， 则用户控制翅膀， 松开则控制手臂； 所述第 3命令指某命令菜单时， 会跳出 选择界面， 通过选择确定要控制活动部位。
"通过定位感应件位置变化控制自我角色动作的方法"还包括对用户的身体和道具上划 分可动部和不可动部， 并对可动部分别设定位感应件； 其中道具和虚拟世界中物品或器具对 应， 使得操做道具时， 就可使虚拟世界中的相应物品或器具被相应操做， 其实 换句话说 就 是用定位感应件控制相应虚拟世界中的东西 （人或物)。
(三） 定位感应件或其变化与自我角色动作或活动部位的对应方法是使用户不同关节上的 定位感应件均具有不同的区别特征， 并通过不同的区别特征对应自我角色的活动部位或不同 动作。
所述区别特征是在定位感应件上的不同涂点密度或涂点规则。 当系统识别自我角色的越疲劳， 则相应部位上的设障机构对该部位的负载就越大， 用户 执行该动作就越难， 实之具有类同的感觉， 游戏更真实。
四、 本发明还介绍了一种适用于上述虚拟世界方法的穿套式定点控制设备":
它包括手掌套件、 手臂套件、 头部套件、 脚掌套件、 腿部套件、 臀部套件和腰部套件； 各套件上均设有一个或一个以上感应定位点。
它还满足： 每根手指头的三个关节、 手腕关节、 手肘关节、 肩膀关节、 头上任意不在同 一直线上的三点、 每根脚指头的一个关节、 脚脖子关节、 小腿、 大腿、 臀部、 脊椎中点上均 设有一个或一个以上感应定位点。
本设备旨在通过定位于用户身上的各感应定位点的位置完全确定任一时间点上用户的位 置和姿势， 本设备也局限于上述感应定位点在上述关节的分配方案。
五、 本发明还提供了一种用户看到自己的身体进入虚拟世界的方法:
实现方法是同时采用置身系统、 全景系统和场景移动系统， 以下逐一介绍各系统。 (一） 所述场景移动系统， 利用虚拟世界中自我角色所在场景的反向矢量动作， 使用户有正 进行各种移动或变身 （身体缩小或放大或形状变化） 的错觉；
所述自我角色所在场景的确定方法包括：
1) 直接或间接在用户头部设有能与头部同步发生位移的定位件;所述定位件上至少有不 在同一直线的三点在虚拟世界的位置可确定， 从而确定出用户的头部在虚拟世界中的位置及 面部朝向；
2) 通过用户头部在虚拟世界中的位置及面部朝向确定虚拟世界画面；
所述反向动作， 是使虚拟世界中自我角色所在场景执行与自我角色头部方向相反而矢量值相 同的矢量动作， 且两者在分别以同一矢量动作和时间为坐标轴的坐标系中， 其矢量动作时间 图以时间坐标轴呈轴对称关系。
(二） 所述全景系统， 使用户只能看到虚拟世界中的场景， 而看不到现实中的场景， 且虚拟 世界场景覆盖用户的全部视觉范围； 本系统尤其指用户配带全 3D眼镜， 眼镜上屏幕及其虚 拟世界画面均覆盖用户的全部视觉范围。
(三) .所述置身系统， 满足用户和自我角色在虚拟世界中的位置相同且用户身体与自我角色 活动同步， 使用户想看自己身体时， 均能看到虚拟世界中自己的各种动作。
上述技术方案的有益之处在于：
本发明因为用户的身体无需离开所在位置， 因此在操作过程中， 均可躺着或坐着， 因而 用户可长时间轻松自如完成各项操控， 而不会因为体力不支， 而被迫中止； 因此适应人群极 广， 凡身体有活动肌能的人都可以通过本发明进行相应的人机互动； 尤其是本发明采用了选 择法和组合法， 使身体残疾的人士， 通过有活动肌能的部位经组合应用， 以达到控制自我角 色自由活动用户本已缺失活动肌能的部位。
因用户采用微动作控制自我角色， 因此可以完成各种现实中无法完成的各种动作， 如使 自我角^ ^执行如图 3所示的下腰时， 同时还出拳的动作。
本发明介绍的 "动作放大系统"，可使用户身体无需发生位移或者仅发生微小位移就可以 实现全部虚拟世界赋予的全部功能或能力，· 使得用户在虚拟世界全程中均只在同一处操控位 上， 同时还便于实现用户的运动部位和虚拟世界人物运动部位一致， 使用户容易上手。
本发明介绍的三点定位法， 使机算机能人体无法感知的速度， 使自我角色与用户同步实 施各项动作， 因此解决画面滞后的问题， 继而使用户更自如长时间完成人机互动， 当然更不 会出现用户头晕的情形。
本发明介绍的 "穿套式定点控制设备"， 可使用户直接穿戴后， 身体各部份的动作， 均可 控制对应 "感应定位点"进行相关命令， 从而使用户看到自己或.自己在虚拟世界中操控的器 械进行相关动作， 该设备的运用， 有效缩短用户在进入虚拟世界前的准备时间， 简易所需的 准备工序， 从而用户通过很便捷的方式就可进行虚拟世界。
本发明介绍的"感应定位点系统"，可使系统通过跟踪各定位点发生的各矢量变化（包括： 位移、 速度、 方向） 以控制自我角色动作； 本方案可有效简化"穿套式定点控制设备"， 使之 纯以机械结构， 而无需配备任何电子系统， 可避免电子短路给用户带来身体伤害； 同时 由于 用户在使用过程中， 各定位点均被定位于用户身上的各对应部位， 且用户只实施微动作， 因 此各定位点移动位移因非常小， 因此可实现设备零损害， 以保证设备的使用寿命。
本发明介绍的 "选择法"和"组合法"，可实现自我角色上活动部位数大于感应定位点数。 下面结合附图和具体实施例对本发明作进一步的说明。 图 1为虚拟世界中自我角色所在场景与自我角色头部就同一矢量动作的矢量动作时间图， 其中 t:时间、 V： 体积、 S: 位移
曲线 A是虚拟世界中自我角色所在场景的位移或体积矢量动作时间图
曲线 B是自我角色头部的位移或体积矢量动作时间图。
图 2为用户关节示意图。
Figure imgf000010_0001
实施例 1一种人机互动的控制方法
一种人机互动的控制方法， 它建立了 《用户微动作数据库》与《自我角色虚拟动作数据》; 并规定了 《动作放大规则》和 《人机互动规则》。
所述《用户微动作数据库》还包括《用 ^允许微动作方案数据库》。 1、 用户微动作数据库：
1.1 ) 以头部、 脖子、 腰部、 上臂、 下臂、 宽部、 上腿、 下腿、 手掌和脚掌为关键字建 立数据库; 旨在确定用户身上可控制自我角色动作的活动部位；
1.2) 规定就活动关节描述参数， 包括： 位移、 相邻关节角度变化值、 移动速度； 旨在 具体规定活动部位发出命令的形式；
1.3 ) 规定描述参数的上限； 确定微动作幅度上限， 以确保用户无需离开 "操控位"而 可而连续执行任意控制动作。
2、 用户允许微动作方案数据库：
2.1 ) 规定不发出控制命令的情形；
2.2)规定发出特技的情形条件； 指当用户执行符合条件的动作或动作组合时， 自我角色 执行特技动作等； 尤其指出条件规定的权限可开放， 以便不同用户根据自己习惯制定。
3、 自我角色虚拟动作数据库
3.1 )对应于用户活动部位规定自我角色的虚拟动作部位， 即自我角色身上可被控制的部 位；
3.2) 虚拟动作部位的动作参数： 移位、 速度、 力度； 确定各虚拟动作部位的动作幅度相 对用户活动部位运动幅度的放大倍数。
4、 动作互动规则
使 《用户微动作数据库》 与 《自我角色虚拟动作数据》 以如下关系关联：
4.1 ) 《用户微动作数据库》 的 "活动部位"关联于 《自我角色虚拟动作数据》 的 "虚 拟动作部位";
4.2) 《用户微动作数据库》 的 "活动关节描述参数"关联于《自我角色虚拟动作数据》 的 "虚拟动作部位的动作参数"。
5、 人机放大规则 、 5.1 ) 通过 《用户微动作数据库》 的 "规定描述参数的上限"的限制 《动作互动规则》 的 4.1)条款；
5.2) 设定用户或虚拟世界道具执行任一允许动作的最大幅度 M、 对应虚拟世界中人或 物的执行相应的允许动作的最大幅度为 N、 在 t时间点上用户或虚拟世界道具执行该允许动 作的幅度为 Mt，对应虚拟世界中人或物的执行相应的允许动作的 i||萬度为 Nt,则该系统满足： 当 Mt^M时， Nt=N; 当 Mt<M时， N>Nt>Mt。
6. 为了确保人机互动的同步， 本实施例还提供了一人机同步系统， 所述人机同步系统包括： 用户微动作识别系统、 微动作匹配命令规则系统。
6.1 ) 所述用户微动作识别系统： 它就用户身体或道具规定活动部位和非活动部位， 并 在不同活动部位分别设有具有区别特征的定位感庳件 ； 建一虚拟三维坐标系， 并在三个或三 个以上的且不在同一直线上的已知坐标点上固置测距装置； 具体识别方法如下：
a) 在任意时间点上，测量定位感应件分别到上述各距离测定点的距离，从而计算出各定 位感应件的三维坐标；
b) 通过跟踪各定位感应件的位置（三维坐标）随时间的变化， 以确定用户在任意时间上 的姿势或在某段时间内的动作变化。
本实施例中所述用户微动作识别系统旨在对用户肢体运动的时时跟踪， 它也可以在任一 活动部位上设有 2个或 2个以上定位感应件， 其中至少两点在 x、 y、 z轴上的坐标值均不相 同， 使该活动部位在某时间段内的水平转角或竖直转角可确定。
6.2) 所述微动作匹配命令规则系统： 用户通过控制肢体动作， 而使肢体上感应定位点 发生一定规则的位移变化， 而匹配于自我角色的动作方案， 它包括：
规则 1：
具体包括： "定位感应件或其变化与自我角色动作或活动部位的对应方法"和 "定位感应 件或其变化与自我角色动作或活动部位的对应方法"， 以下逐一介绍。 规则 1.1 通过定位感应件的位置变化控制自我角色动作的方法：
是针对虚拟世界赋予自我角色 Al、 A2〜An共计 n个可单独活动部位 A， 就其中任一可单独 活动部位 Ax设有 Axl、 Ax2〜Axm共计 m种允许动作， Axx为其中任一允许动作， 按以下 两种情形控制。
情形 1 当该 n个活动部位均可在用户身上找到对应活动关节进行对应时：
1) 在用户身上的 n个可单独活动部位上分别固定 ΑΓ、 A2' —An' 共计 n个感应定位 点 A' ，跟踪在任意时间点 t时， 任一感应定位点 Ax' 的三维位置变化， 并匹配属于 ΑχΓ、 Αχ2' 〜Axm' 共计 m种中的哪种活动规则， 设 Axx' 为其中任一活动规则；
2) 使自我角色的可单独活动部位 A—一对应于用户身上的感应定位点 A'， 任一可单独 活动部位 Ax的允许动作 Axx可在并仅在感应定位点 Ax' 按 Axx' 活动规则动作时被启动， 如： Ax发生的位移随在各时间点上的变化一一对应于 Ax' 发生的位移随在各时间点上的变 化，再如： Ax实施的力度强弱对应于 Ax' 所对应关节弯曲度及该关节抖动频率， Ax使用力 度达最大值的条件在于： 当用户的 Ax' 达到最大幅度； 另外 Ax还应考虑对应于 Ax' 的紧 张程度、 运动速度和执行时间， 以实现用户更自然操控虚拟世界， 且使自我角色的运动尽量 符合自然规律；
3) 本实施例所述的关节旨在通过定位于用户身上的各感应定位点的位置完全确定任一 时间点上用户的位置和姿势， 这里本发明人特别列举其中之一可以满足此目的的关节总和:每 根手指头的三个关节、 手腕关节、 手肘关节、 肩膀关节、头上任意不在同一直线上的三点、 每根脚指头的一个关节、 脚脖子关节、 小腿、 大腿、 臀部、 脊椎中点。
情形 2 当该 n个活动部位不能完全在用户身上找到对应活动关节进行对应时： 假设存在若干不能找到对应关系的活动部位 Ay， 先使用户的活动关节 Ay' 可选择控制其中 的 Ayl、 Ay2〜Ays共 s个活动部位 Ay，并采用选择法和组合法中一种或全部来选择控制具体 的活动部位 Ay; 所述选择法是指活动关节 Ay' 确定对应控制活动部位后， 可以单独直接控 制； 所述组合法是指， 当需更换活动部位时， 可通过第 3命令或利用其他活动关节共同选择 执行不同的活动部位， 如： 用户的手臂可以选择控制自我角色的手臂和翅膀， 所述活动关节 设为脚指， 当脚指蜷起时， 则用户控制翅膀， 松开则控制手臂； 所述第 3命令指某命令菜单 时， 会跳出选择界面， 通过选择确定荽控制活动部位。
另外 通过定位感应件位置变化控制自我角色动作的方法还包括对用户的身体和道具上 划分可动部和不可动部， 并对可动部分别设定位感应件； 其中道具和虚拟世界中物品或器具 对应，使得操做道具时，就可使虚拟世界中的相应物品或器具被相应操做，其实 换句话说 就 是用定位感应件控制相应虚拟世界中的东西 （人或物）。
规则 1.2 定位感应件或其变化与自我角色动作或活动部位的对应方法：
使用户不同关节上的定位感应件均具有不同的区别特征， 并通过不同的区别特征对应自我角 色的活动部位或不同动作。
所述区别特征是在定位感应件上的不同涂点密度或涂点规则， 如涂点密度为 d或具有涂 点规则 1的定位感应件发生位置变化时， 自我角色的某活动部位就执行相应的允许动作； 涂 点密度或涂点规则可以通过盖章实现。
规则 2:
不促发命令的规则。
本实施例中优选不促发命令的规则， 当然也可以是促发命令的规则。
本实施例所述的感应定位点可以适用以下两种方案：
1) 将能被探测涂料作为感应定位点涂在肌肉的敏感点上，通过肌肉的紧张程度和运动速 度， 使各股肉上的感应定位点能判断用户的意图， 从而有效对虚拟世界发出相应指令；
2) 将感应定位点固设于穿套式定点控制设备的各活动部位上，可使用户直接穿戴后，身 体各部份的动作， 均可控制对应 "感应定位点 "进行相关命令， 从而使用户看到自己或自己 在虚拟世界中操控的器械进行相关动作， 该设备的运用， 有效缩短用户在进入虚拟世界前的 准备时间， 简易所需的准备工序， 从而用户通过很便捷的方式就可进行虚拟世界。
上述两方案并不局限于"动作放大系统"， 尤其针对不要求用户身体发生位移的玩虚拟世 界， 如： 赛车虚拟世界。
本实施例中穿套式定点控制设备也可以在设备中植入控制器， 使操控器感知各定位点发 生的各矢量变化 （包括： 位移、 速度、 方向)； 但结合本发明介绍的 "感应定位点系统"， 可 可有效简化"穿套式定点控制设备"， 使之纯以机械结构， 而无需配备任何电子系统， 由于虚 拟世界过程中， 用户各部位仅进行微动作， 因此可做设备零损害， 即保证设备的使用寿命， 又可避免所电子系统中可能的电子短路给用户带来身体伤害。
本实施例中穿套式定点控制设备包括手掌套件、 手臂套件、 头部套件、 脚掌套件、 腿部 套件、 臀部套件和腰部套件； 各套件上均设有一个或一个以上感应定位点。
它还满足： 每根手指头的三个关节、 手腕关节、 手肘关节、 肩膀关节、 头上任意不在同 一直线上的三点、 每根脚指头的一个关节、 脚脖子关节、 小腿、 大腿、 臀部、 脊椎中点上均 设有一个或一个以上感应定位点。
本设备旨在通过定位于用户身上的各感应定位点的位置完全确定任一时间点上用户的位 置和姿势， 本设备也局限于上述感应定位点在上述关节的分配方案。
7、为提髙仿生效果， 本实施例还提供了一人机互动系统, 它包括： 反作用感知装置和被作用 感知装置； 所述人机互动系统主要用于修正： 用户的最大允许微动作幅度 Mm,与自我角色的 最大虚拟允许动作幅度 Nm的比值 Mm/Nm;并使 Mm/Nm值比常态大 即反作用感知装置和被 作用感知装置工作时， Nm根据以下情形等因子减小。
7.1 ) 当人机互动由自我角色促发， 则按以下方法实现：
7.1.1 ) 锁定用户想要作用的目标 方法一：
利用户眼睛定位装置， 当用户的视线方向经过某物方且肢体或道具的作用方向朝向该物 方时， 给系统作出该肢体或道具要作用于该物方的指令； 则系统发出提令， 自我角色已锁定 该目标； 其中用户的视线方向的跟踪可采用本发明人申请的申请号为： "201110411809.X"的 《一定识别眼观物方的方法》， 或者任意的现有技术， 如： 专利号为 "02829315.0"的 《跟踪 扭转的眼睛的方向和位置》;
方法二：
通过对眼睛图像 集装置准确判断用户锁定的主要目标， 其中眼睛图像采集装置可能过 多种现有技术实现， 如专利号为 "200610072961.9"的 《眼睛图像采集装置》；
7.1.2) 该动作作用于目标后， 自^；角色因被反作用而必然存在的 "动作速度" "动作幅 度"变化； 系统通过反作用感知装置提搞对用户相应的限制负载向用户反馈， 或者改变相应 部位的虚拟最大幅度， 使用户看到自我角色的效果， 而通过视觉产生反作用感知装置相同或 类似的错觉；
7.1.3 ) 计算目标被作用后的形态变化， 包括形变（姿势变化， 不可还原的变形， 尤其指 破坏）、 动能变化情况 （动能值 +动能方向）。
7.2) 当人机互动由虚拟世界中的其他物方作用于自我角色， 而使自我角色被动进入互 动， 则按以下方法实现：
7.2.1 ) 当自我角色被作用并产生作用效果时， 自动锁定实施作用的物方为目标；
7.2.2) 自我角色被作用而产生的作用效果指： 自我角色被作用后的形态变化、动能变化； 自我角色被作用而产生的作用效果通过被作用感觉装置反馈给用户， 或者改变相应部位的虚 拟最大幅度， 使用户看到自我角色的效果， 而通过视觉产生被作用感知装置相同或类似的错 觉。
以下以实例介绍：
如自我角色要攻击一个游戏角色， 首先锁定目标， 当自我角色打出一拳， 作用到对方运 动的手臂， 而受到对方手臂的反作力， 这里尤其指出： 不管对方有没朋格挡， 只要自我角色 碰到目标， 根据作用力与反作用力的原理， 自我角色必然会受到反作用力； 这里当目标进行 格挡时， 自我角色还受到目标格挡用手臂的作用， 则叠加被作用感知装置的设置效果。
尤其指出：
1) 为确保动作放大系统的有效性，自我角色的允许动作执行条件并非感应定位点在某时 间上的位置， 而是相对上一时间点上的位置变化； '
2) 距离测定点是固定不动的， 或者其坐标可计算而确定；
3) 有些虚拟世界， 为了减小电脑资源的占用， 只给自我角色很特定的几个动作， 这种情 况下， 应满足用户某些部位的动作或组合动作， 就应可以控制自我角色进行一连惯的允许动 作；
4) 动作放大系统和动作定位点控制系统可以组合运用， 也可单独使用；
5) 本发明还包括语音控制系统,使得用户可以通过语音发出指令以控制自我角色的允许 动作及虚拟世界的各项基本操作， 如： 退出、 保存。 本系统还包括语音识别系统， 如可以对 用户的声音预先录入， 并匹配各项指令。
其他说明：
用户准备就绪后， 睁眼会发现自已在上一次退出虚拟世界时所在的位置， 各种动作所带 来的场景的变化， 完全从该位置为起始点。
本虚拟世界允许自我角色具有变形能力当变形后需要控制的部位大于人的关节数 怎么 办？可以采用 "选择法"， 当执行选择命令动作时， 可以选择某关节控制虚拟世界中对像的具 体运动部位； 也可以釆用 "组合法"， 即 两个或两个以上关节同时执行某特定动作时， 也可 以起到相同效果。
本虚拟世界方法还允许用户具有隔空取物等超能力， 该指令的启动条件是： 用户手臂上 的感应定位点集在同一直线上， 手掌上的感应定位点集成爪状并朝向该物品； 而虚拟世界判 断吸力的大小， 则可先预定自我角色吸力最大值， 而取值的条件可以是手指抖动的频率， 当 频率减小， 则吸力对应减小。
当虚拟世界接到用户这一意图， 就会计算并比较吸力与物品被吸的难度， 当物品的重力 太大或被原所在位置的吸附力太大， 就要求用户 "抓的力度"加大， 这时手指的弯曲程度就 会加强， 而手指的抖动加剧， 而使手指上的感应定位点抖动加剧， 电脑就会接到用户吸力加 强， 从而进一步判断能否完成吸收。
定位感应件与所要控制的部位如何对应？ 如果每个关节都对应一个定位感应件， 在有丰 富允许动作的虚拟世界里就需要用户进行长时间的准备才可能进入虚拟世界，为此本发明还 提供了穿套式定点控制设备"， 用户只需配带对应的手套、 脚套、 支架套和头盔， 就可以操控 绑覆在全身的每处关节上的感应定位点， 因此极具实用性。
由于采用动作放大法， 用户有身体和自我角色各肢体位置和姿势并没有完全对应， 因此 不能单以感应定位点的位置确定， 但两者的头部 （由其是眼睛） 在虚拟世界中的位置和朝向 是相同的。那如何说明用户也能在虚拟世界确定坐标？ 首先 用户的视觉通过眼镜获得，那眼 镜在虚拟世界的坐标是可确定的， 因为眼球与眼镜的相对位置始终不变， 因此， 用户眼球在 虚拟世界的坐标可定。
实施例 2 —种虚拟设备
它包括： 置身系统、 全景系统、 场景移动系统、 动作判断系统和动作放大系统。
A. 动作判断系统： 可采用现有技术， 如申请号 "97198214.7"所介绍的技术方案。
B. 动作放大系统： 详见实施例 1。
C. 全景系统
所述全景系统是指虚拟世界过程中， 虚拟世界画面始终覆盖用户的全部视觉范围， 使用 户只能看到虚拟世界中的场景， 而看不到现实中的场景； 眼镜上屏幕及其虚拟世界画面均覆 盖用户的全部视觉范围； 该技术可采用现有技术如专利号为为 "200810066897.2" 的 《一种 集成了 CMMB接收模块的移动视频眼镜》。 D. 置身系统
所述置身系统， 满足用户和自我角色在虚拟世界中的位置相同， 且用户身体活动与自我 角色活动同步， 使用户看自我角色的身体时， 会误以为是自己的现实中的身体； 用户身体活 动与自我角色活动同步的方法是通过动作定位点控制系统确定用户进行的动作， 通过相关动 作确定用户发出的指令内容， 继而控制自我角色对就活动部位的活动。
E. 场景移动系统
所述场景移动系统， 利用虚拟世界中自我角色所在场景的反向动作， 使用户有正进行各 种移动或变身 （身体缩小或放大或形状变化） 的错觉； 所述自我角色所在场景的确定方法包 括：
1) 直接在用户头部设有能与头部同步发生位移的定位件;所述定位件上设有不在同一直 线的三个定位感应件， 所述定位感应件满足在虚拟世界的位置可确定， 从而确定出用户的头 部在虚拟世界中的位置及面部朝向；
2) 通过用户头部在虚拟世界中的位置及面部朝向确定虚拟世界画面。
本实施例中定位件的安装位置重点在满足可与头部同步发生位置， 因此还可以安装在用 户头部上的各种器具。
本实施例中用户与自我角色在脸部运用的同步关系也可以采用动作放大系统。
本实施例为使虚拟世界更逼真， 包括嗅觉系统、 触觉系统和体力疲劳等随机设障系统中 一种或多种；
所述体力疲劳的随机设障系统， 可结合穿套式定点控制设备， 如脚掌套件上连接一可伸 缩的推进机构、 手掌套件内设一可收缩的手握器。
所述设障系统包括反作用感知装置和被作用感知装置； 所述被作用感知装置满足： 当虚 拟世界中的任一物方作用于自我角色的某部位或某些部位时， 设障系统会根据该物方动作特 征作用于用户的相应部位上； 反作用感知装置满足： 当自我角色作用于虚拟世界任一物方时， 系统首先根据自我角色的动作特征及该物方的即时状态， 判断的自我角色被反作用的部位及 反作用效果， 所述设障系统则以等因子效果作用于用户相应的部位上。 所述设障系统根据自 我角色的疲劳程度或最大运动能力， 改变反作用感知装置和被作用感知装置对用户的荷载。
以下通过实例介绍：
虚拟世界前要先将用户固定在某操控位上（如： 床上）， 用户动作任一肢体， 在虚拟世界 中的对应人物则执行完全的动作， 目的 在于用户执行任何一动作都可以在同一处操控位进 行， 动作后， 身体所在位置也不会变化， 从而减少用户的运动空间。
让用户躺在或坐在控制台上， 使设障系统限制用户各躯干的最大活动范围， 如： 脚板装 置弹性接触用户的脚板； 手臂限位装置以过盈配合套于用户手臂上。
所述设障机构设于在用户允许动作的部位上方， 在常态下使设障机构与用户的躯干保持 一定距离（称为自由空间）， 使用户各部位在不接触到设障机构的情况下， 可不受作用进行任 意微动作； 所述设障机构设有弹性荷载活动区（称为荷载空间）， 当用户的躯干与设障机构接 触， 并继续往弹力反方向运动时， 相应部位需克服弹力做功。 它的功能对应如下：
1) 用户在自由空间和荷载空间的可移动的总和对应于用户的最大允许微动作幅度；
2) 当用户躯干作用于设障机构， 同时其动作符合机算机识别命令时； 自我角色持续执行 虚拟允许动作， 如： 连续转身；
3) 当用户促发人机互动时， 设障机构表现为目标对用户的反作用；
4) 当自我角色被虚拟世界中的物方作用时，设障机构缩小自由空间，并作用于用户的相 应躯干；
5) 当自我角色运动能力值提升时， 设障机构的负载减小；
6) 当自我角色运动能力值减弱时， 如： 疲劳时， 设障机构的负载提高。
本发明的视频设备并不限于通过眼睛观看的设施， 如专利号为 "00820024.6"的 "人体 电子植入体及其人工视觉系统"已经给出了通非眼睛使大脑获得图像的方法。 实施例 3 —种游戏方法
一种游戏方法， 它付于自我角色具有超能力的方法， 包括以下步骤：
1) 创建自我角色除放大用户体能以外的超能力虚拟允许动作方案；
2) 跟踪用户允许微动作变化， 确定自我角色超能力虚拟允许动作的作用目标；
3) 评价在实施超能力虚拟允许动作时， 自我角色的超能力机能值，使被作用目标等因子 作形态变化。
本实施例所述的形态变化包括位置、 形状、 状态、 物质变化， 其中形状包括变形、 流状、 颗粒状间的变化等； 状态变化包括： 气态、 固态、 液态间的转变等； 位置包括： 位移、 运动 速度、 加速度等运动情况变化。
本发明所述虚拟环境至少还设有未来环境、 过去环境、 梦境其中一种或多种虚拟环境。 本发明可开放用户在虚拟环境中重设物方参数的权限， 使用户可自行构建、 调整、 删除 虚拟环境。 因此使用户极易现将想像物实体化， 相对于传统工具具有不可想象的超越。
实施例 4: 一种空间设计或空间样品的观摩方法
一种空间设计或空间样品的观摩方法， 它包括以下步骤：
1) 就空间设计或空间样品进行 3d建模；
2) 使用户运用如权利要求 1-4所述的人机互动的控制方法，控制自我角色在空间设计或 空间样品的 3D建模内实施虚拟动作。
实施例 5: —种电影拍摄方法
一种电影拍摄方法：
1) 对电影场景进行 3D建模；
2) 使演员运用权利要求 1-4所述的人机互动的控制方法，控制自我角色在 1 )所述的 3D 建模内实施虚拟动作；
3) 录制 3D建模内所需场景及自我角色实施虚拟动作的画面。 实施例 6： 一种模拟实验的方法
一种模拟实验的方法：
1) 收录己知自然规律， 并建立运算法则 f[xl(xll xl2 xln)、 x2 (x21 x22 X2n)〜 xn(xnl xn2 )]= yl(yll yl2"'yln)、 y2 (y21 y22"'y2n "yn(ynl yn2 ynn)，其中 xn 是规律发生前的反应主体， xnn是 xn的计算参数； yn是规律发生后的新主体， ynn是 yn的 计算参数； f是规律是运算公式；
2) 用户根据如权利要求 20所述的人机互动的控制方法：调整 xn的 xnn值至用户设定值；
3) 使用户根据如权利要求 1-3所述的人^ I互动的控制方法，控制自我角色在虚拟环境中 就 xn进行 fl动作；
4) 根据步聚 1所述运算法则计算并记录 yn及其 nn值。
本实施例中， 当实验需要就一个规律的多次反应， 或多个规律的多次反应， 则根据需要 重复执行步骤 2) -4)。
该实验方法， 不仅不会产生伤害用户风险， 而且零成本、 实验精度极高。
实施例 7: —种旅游方法
一种旅游方法:
1) 对旅游区进行 3d建模；
2) 使用户运用如权利要求 1-4所述的游戏方法， 控制自我角色在 1 ) 所述 3D建模内实 施虚拟动作。

Claims

1.一种人机互动的控制方法， 其特征在于， 用户通过实施用户允许微动作以控制虚拟环境中 的自我角色实施相应的虚拟允许动作， 它包括以下步骤：
1 )在虚拟世界中创建自我角色；
2)用户身体无需离开用户所在位置执行微动作；
3 )跟踪并识别用户执行微动作； 并使用户执行任意微动作时， 其身体都无需离开用户 所在位置；
4)使自我角色放大执行用户的微动作。
2.如权利要求 1所述的一种人机互动的控制方法， 其特征在于： 限制用户肢体的活动幅度， 使被限制的相应部分能完全执行微动作而身体不离开所在位置。
3.如权利要求 1或 2所述的一种人机互动的控制方法， 其特征在于： 所述用户允许微动作方 案设有用户或道具执行该微动作的最大幅度 M、 对应自我角色执行相应允许动作的最大幅度 为 N，设在 t时间点上用户执行该微动作的幅度为 Mt，对应自我角色执行相应允许动作的幅度 为 Nt,则该系统满足： 当 Mt^M时， Nt=N; 当 Mt<M时， N>Nt>Mt。
4.如权利要求 3所述的一种人机互动的控制方法， 其特征在于： 限制所述用户允许微动作方 案， 使用户以所述最大幅度 M完成任一微动作时， 躯干上除手掌和脚掌外的任意相邻的两部 份的角度变化值小于 30度。
5.如权利要求 1任一权利要求所述的一种人机互动的控制方法， 其特征在于： 使自我角色与 用户在头部、 包括手腕的手掌、 包括脚腕的脚掌其中的一处或多处部位执行相同运动幅度的 动作。
6.如权利要求 1所述的一种人机互动的控制方法， 它至少还包括以下一个或多个步骤特征：
1 )当虚拟世界中的任一物方作用于自我角色的某部位或某些部位时，用户的相应部位会 根据该物方动作特征被作用；
2)当自我角色作用于虚拟世界任一物方时，首先根据自我角色的动作特征及该物方的即 时状态， 判断的自我角色被反作用的部位及反作用效果， 使用户相应的部位以等因子效果被 作用；
3 )创建可被机算机识别的一套或一套以上的用户允许微动作方案和一套或一套以上的虚 拟允许动作方案；
4) 使用户在人机互动过程中只能看到虚拟世界的动画而看不到自己的身体；
5) 使虚拟世界的画面覆盖用户的视角。
7.如权利要求 6所述的一种人机互动的控制方法， 其特征在于： 可根据自我角色的疲劳程度 或最大运动能力， 使用户的相应部位受到相应比例且用户能接受的载荷作用。
8. 如权利要求 1所述的一种人机互动的控制方法，其特征在于： 它还采用了选择法和 /或组合 法； 所述是选择法是当用户不具有自我角色相应活动部位时， 允许用户自行选择其他活动部 位以代替； 所述组合法是当用户活动部位数量少于自我角色的活动部位数量时， 在用户身上 设共享活动位以控制自我角色身上一个以上的活动部位。
9.如权利要求 8所述的一种人机互动的控制方法， 其特征在于： 所述组合法还包括以下一个 或多个步骤特征：
1 )当需切换自我角色活动部位时， 可通过第 3命令或利用其他活动关节共伺选择执行不 同的活动部位；
2) 使共享活动位与其他一个或多个活动部位组合， 共同控制自我角色的活动方案。
10. 如权利要求 1 所述的一种人机互动的控制方法， 其特征在于： 它至少还包括跟踪用户微 动作方法、 自我角色所在场景的确定方法和反向动作控制方法其中之一个或多个方法；
1 ) 所述跟踪用户微动作方法是在用户的 Nl、 N2〜Nn部位上分别设置定位感应件， 在 用户所在环境内的不在同一直线上的位置设三个或三个以上测距装置， 并执行以下步骤：
1.1建一虚拟三维坐标系， 并确定各测距装置的坐标，测出任意时间上每个任意定位感应 件到三个测距装置上的距离， 从出计算出每个定位感应件在该时间点的三维坐标；
1.2跟踪在任意时间段 t内， 定位感应件 Ν1、 Ν2···Νη三维坐标变化；
1.3根据不同定位感应件的三维坐标随时间的变化， 描述在 t时段内用户相应部位的活动 情况， 并使自我角色的相应部位同步放大执行活动幅度；
2) 所述自我角色所在场景的确定方法包括以下步骤：
2.1先确定设在用户头部或间接设于用户头部的， 能与头部同步发生位移的定位件； 所述 定位件上至少有不在同一直线的三点在虚拟世界的位置可确定， 使得用户的头部在虚拟世界 中的位置及面部朝向均可确定；
2.2跟踪用户头部在虚拟世界中的位置及面部朝向，并通过用户头部在虚拟世界中的位置 及面部朝向确定虚拟世界画面 ， 即成像设备的显示画面；
3 )所述反向动作控制方法， 是使虚拟世界中自我角色所在场景执行与自我角色头部方向 相反而矢量值相同的矢量动作， 且两者在分别以同一矢量动作和时间为坐标轴的坐标系中， 其矢量动作时间图以时间坐标轴呈轴对称关系。
11. 一种人机互动的控制系统， 用户通过实施微动作以控制虚拟环境中的自我角色实施相应 的虚拟允许动作， 其特征在于： 它包括： 显示虚拟世界的成像设备、 用户允许微动作方案的 识别捕捉设备和控制用户与自我角色动作同步的同步控制系统， 控制用户与自我角色动作同 步的同步控制系统。
12. 如权利要求 11所述的一种人机互动的控制系统， 其特征在于： 显示虚拟世界的成像设备 使虚拟世界的画面覆盖用户的视角， 并且用户在人机互动过程中只能看到虚拟世界的动画而 看不到自己的身体。
13. 如权利要求 11所述的一种人机互动的控制系统， 其特征在于： 所述识别捕捉设备设有多 个具有不同的区别特征的定位感应件， 以使计算机可识别定位点所对应用户部位。
14. 如权利要求 13所述的一种人机互动的控制系统， 其特征在于： 它还包括一穿套式定点控 制设备， 包括手掌套件、 手臂套件、 头部套件、 脚掌套件、 腿部套件、 臀部套件和腰部套件 中一种或多种； 各套件上均设有一个或一个以上定位感应件。
15.如权利要求 11或 12或 13或 14所述的一种人机互动的控制系统， 其特征在于： 它设有 一设障系统， 所述设障系统设有限位机构， 通过限位机构限制用户肢体的活动幅度， 使被限 制的相应部位能以最大幅度 M实施允许动作， 并满足用户执行任意允许动作时， 身体无需离 开所在位置。
16.如权利要求 15所述的一种人机互动的控制系统， 其特征在于： 所述设障系统还设有反作 用感知装置和 /或被作用感知装置；
通过所述被作用感知装置， 使虚拟世界中的任一物方作用于自我角色的某部位或某些部 位时， 设障系统会根据该物方动作特征作用于用户的相应部位上；
通过所述反作用感知装置， 使自我角色作用于虚拟世界任一物方时， 设障系统首先根据 自我角色的动作特征及该物方的即时状态， 判断的自我角色被反作用的部位及反作用效果， 所述设障系统则以等因子效果作用于用户相应的部位上。
17. 如权利要求 16所述的一种人机互动的控制系统， 其特征在于： 所述设障系统可根据自我 角色的疲劳程度或最大运动能力， 改变所述反作用感知装置和所述被作用感知装置对用户的 荷载
18.如权利要求 16或 17所述的一种人机互动的控制系统， 其特征在于： 它至少还具有以下 一个或多个特征：
1 )所述识别捕捉设备设有不同的区别特征的定位感应件， 以使计算机可识别定位点所对 应用户部位；
2) 它还包括嗅觉系统、 触觉系统和体力疲劳的随机设障系统中一种或多种；
3 ) 它还设有一穿套式定点控制设备， 包括手掌套件、 手臂套件、 头部套件、 脚掌套件、 腿部套件、 臀部套件和腰部套件； 各套件上均设有一个或一个以上感应定位件。
19.一种游戏方法， 其特征在于： 如权利要求 1 所述虚拟环境至少还设有未来环境、 过去环 境、 梦境其中一种或多种虚拟环境。
20. 一种游戏方法， 其特征在于： 它付于自我角色具有超能力的方法， 包括以下步骤：
1 ) 创建自我角色除放大用户体能以外的超能力虚拟允许动作方案；
2) 跟踪用户允许微动作变化， 确定自我角色超能力虚拟允许动作的作用目标；
3 )评价在实施超能力虚拟允许动作时， 自我角色的超能力机能值， 使被作用目标等因子 作形态变化。
21.如权利要求 19或 20所述的一种游戏方法， 其特征在于： 它开放了用户在虚拟环境中重 设物方参数的权限， 使用户可自行构建、 调整、 删除虚拟环境。
22. 一种空间设计或空间样品的观摩方法， 其特征在于它包括以下步骤：
1 ) 就空间设计或空间样品进行 3d建模；
2)使用户运用如权利要求 1-4所述的人机互动的控制方法， 控制自我角色在空间设计或 空间样品的 3D建模内实施虚拟动作。
23. —种电影拍摄方法： 、
1 ) 对电影场景进行 3D建模；
2)使演员运用权利要求 1-4所述的人机互动的控制方法， 控制自我角色在 1 )所述的 3D 建模内实施虚拟动作；
3 ) 录制 3D建模内所需场景及自我角色实施虚拟动作的画面。
24.一种模拟实验的方法：
1 )收录己知自然规律，并建立运算法则 f[xl(xll、 xl2〜xln)、 x2(x21 x22〜x2n)〜xn(xnl、 xn2〜xnn)]= yl(yll、 yl2〜yln)、 y2 (y21、 y22"'y2n "yn(ynl、 yn2〜ynn)，其中 xn是规律发 生前的反应主体， xnn是 xn的计算参数； yn是规律发生后的新主体， ynn是 yn的计算参数； f是规律是运算公式；
2)用户根据如权利要求 21所述的人机互动的控制方法：调整 xn的 xnn值至用户设定值； 3)使用户根据如权利要求 1-3所述的人机互动的控制方法， 控制自我角色在虚拟环境中 就 xn进行 fl动作；
4) 根据步聚 1所述运算法则计算并记录 n及其 ynn值。
25. —种旅游方法：
1 ) 对旅游区进行 3d建模；
2) 使用户运用如权利要求 1-4所述的游戏方法， 控制自我角色在 1 ) 所述 3D建模内实 施虚拟动作。
PCT/CN2012/000108 2011-02-11 2012-01-20 一种人机互动的控制方法及其运用 Ceased WO2012106978A1 (zh)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP21188983.7A EP3950076A1 (en) 2011-02-11 2012-01-20 Method for controlling man-machine interaction and application thereof
EP12745158.1A EP2674204A4 (en) 2011-02-11 2012-01-20 METHOD FOR CONTROLLING HUMAN-MACHINE INTERACTION AND APPLYING THEREOF
KR1020137023483A KR101679805B1 (ko) 2011-02-11 2012-01-20 인간과 컴퓨터가 인터랙티브하는 제어방법 및 그의 응용
JP2013552821A JP6193764B2 (ja) 2011-02-11 2012-01-20 ヒューマンコンピュータインタラクションの制御方法及びその運用
US13/963,666 US10058773B2 (en) 2011-02-11 2013-08-09 Man-machine interaction controlling method and applications thereof

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
CN201110036356.7 2011-02-11
CN201110036356 2011-02-11
CN2011104581683A CN102541260B (zh) 2011-02-11 2011-12-30 一种人机互动的控制方法及其运用
CN201110458168.3 2011-12-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US13/963,666 Continuation US10058773B2 (en) 2011-02-11 2013-08-09 Man-machine interaction controlling method and applications thereof

Publications (1)

Publication Number Publication Date
WO2012106978A1 true WO2012106978A1 (zh) 2012-08-16

Family

ID=46348299

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2012/000108 Ceased WO2012106978A1 (zh) 2011-02-11 2012-01-20 一种人机互动的控制方法及其运用

Country Status (6)

Country Link
US (1) US10058773B2 (zh)
EP (2) EP3950076A1 (zh)
JP (3) JP6193764B2 (zh)
KR (1) KR101679805B1 (zh)
CN (8) CN107050852A (zh)
WO (1) WO2012106978A1 (zh)

Families Citing this family (28)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107050852A (zh) * 2011-02-11 2017-08-18 漳州市爵晟电子科技有限公司 一种游戏系统及其穿套式定点控制设备
CN103207667B (zh) * 2011-12-24 2018-10-23 漳州市科达企业咨询有限公司 一种人机互动的控制方法及其运用
CN103544636A (zh) * 2013-11-08 2014-01-29 梁涛 基于虚拟商场的互动方法及设备
CN105979855B (zh) 2014-02-11 2019-05-28 苹果公司 检测正在穿戴可穿戴电子设备的肢体
US10827268B2 (en) 2014-02-11 2020-11-03 Apple Inc. Detecting an installation position of a wearable electronic device
CN108776541A (zh) * 2014-04-11 2018-11-09 黄得锋 一种人机互动的控制方法
CN108139804A (zh) * 2015-10-15 2018-06-08 索尼公司 信息处理装置与信息处理方法
CN105867600A (zh) * 2015-11-06 2016-08-17 乐视移动智能信息技术（北京）有限公司 一种交互方法和设备
CN105488834B (zh) * 2015-12-01 2019-03-19 网易（杭州）网络有限公司 角色面部朝向的调整方法及装置
CN105892754A (zh) * 2016-05-27 2016-08-24 北京小鸟看看科技有限公司 一种手指动作识别方法和系统
JP6756236B2 (ja) 2016-10-31 2020-09-16 富士通株式会社 アクション指示プログラム、アクション指示方法及び画像生成装置
US10901494B2 (en) 2017-03-28 2021-01-26 Wipro Limited Method and a system for providing gesture-based interaction with a virtual product
JP7078035B2 (ja) * 2017-03-31 2022-05-31 ソニーグループ株式会社 情報処理装置、情報処理方法、およびプログラム
CN107158709A (zh) * 2017-05-16 2017-09-15 杭州乐见科技有限公司 一种基于游戏引导运动的方法和设备
ES2963483T3 (es) 2017-09-05 2024-03-27 Apple Inc Dispositivo electrónico usable con electrodos para detectar parámetros biológicos
EP4470456A3 (en) 2017-09-26 2025-02-26 Apple Inc. Optical sensor subsystem adjacent a cover of an electronic device housing
DE102017009169A1 (de) 2017-10-02 2019-04-04 Holger Wild Interaktives Oberkörperabbildgerät
KR101967072B1 (ko) * 2017-12-14 2019-04-08 김민철 사용자 활동 기반 가상 객체 관리 방법, 이를 수행하는 가상 객체 관리 장치 및 이를 기록한 기록매체
CN108553893B (zh) * 2018-04-28 2021-11-16 网易（杭州）网络有限公司 赛车游戏中车辆转向的控制方法和装置
CN110908568B (zh) * 2018-09-18 2022-11-04 网易（杭州）网络有限公司 一种虚拟对象的控制方法和装置
CN111221416B (zh) * 2020-01-06 2021-12-07 腾讯科技（深圳）有限公司 一种虚拟道具分配的方法、服务器及终端设备
US11055891B1 (en) 2020-03-10 2021-07-06 Microsoft Technology Licensing, Llc Real time styling of motion for virtual environments
CN112527109B (zh) * 2020-12-04 2022-05-17 上海交通大学 基于坐姿的vr全身动作控制方法、系统及计算机可读介质
US12396686B2 (en) 2021-08-31 2025-08-26 Apple Inc. Sensing health parameters in wearable devices
US20240085987A1 (en) * 2022-09-12 2024-03-14 Apple Inc. Environmentally Aware Gestures
JP7372717B1 (ja) 2023-03-30 2023-11-01 ｍｉｒｒｏｒＸ株式会社 プログラム、情報処理装置及び方法
JP2026052898A (ja) * 2024-09-12 2026-03-25 株式会社Ｊｖｃケンウッド 操作装置、操作システム、及び操作方法
CN119556803A (zh) * 2025-02-05 2025-03-04 广州美术学院 一种基于虚拟环境的虚拟体验交互控制方法及相关装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
CN1231753A (zh) * 1996-08-14 1999-10-13 挪拉赫梅特·挪利斯拉莫维奇·拉都色夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
US7205979B2 (en) * 1987-03-17 2007-04-17 Sun Microsystems, Inc. Computer data entry and manipulation apparatus and method
CN101890237A (zh) * 2010-07-16 2010-11-24 叶尔肯·拜山 游戏控制器及其控制方法

Family Cites Families (58)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6408289B1 (en) * 1993-06-11 2002-06-18 Mri Devices Daum Gmbh Shapeable elastic body with master unit and method of controlling
JP2840923B2 (ja) * 1994-11-11 1998-12-24 富士通株式会社 プロダクションシステム
EP0761265A4 (en) * 1994-12-30 2005-03-16 Sega Corp VIDEO GAME SYSTEM FOR GAME SIMULATION OF A COMICHEFT
GB9525047D0 (en) * 1995-12-07 1996-02-07 Philips Electronics Nv Virtual body control device
JPH10302083A (ja) * 1997-04-30 1998-11-13 Yamaha Corp Ｃｇモデルの動作制御システム
US6522312B2 (en) * 1997-09-01 2003-02-18 Canon Kabushiki Kaisha Apparatus for presenting mixed reality shared among operators
JP4332254B2 (ja) * 1999-04-28 2009-09-16 株式会社アミテック インテリジェント型手袋型手形入力装置
EP1060772B1 (en) * 1999-06-11 2012-02-01 Canon Kabushiki Kaisha Apparatus and method to represent mixed reality space shared by plural operators, game apparatus using mixed reality apparatus and interface method thereof
US6377281B1 (en) * 2000-02-17 2002-04-23 The Jim Henson Company Live performance control of computer graphic characters
JP2002032788A (ja) * 2000-07-14 2002-01-31 Nippon Telegr & Teleph Corp <Ntt> 仮想現実提供方法、仮想現実提供装置及び仮想現実提供プログラムを記録した記録媒体
JP2002123840A (ja) * 2000-10-17 2002-04-26 Nippon Telegr & Teleph Corp <Ntt> 臨場感型仮想現実提供処理方法および装置
US9682319B2 (en) * 2002-07-31 2017-06-20 Sony Interactive Entertainment Inc. Combiner method for altering game gearing
JP2004129180A (ja) * 2002-09-30 2004-04-22 Atsusato Fujii 仮想空間体験のためのシステム
US9177387B2 (en) * 2003-02-11 2015-11-03 Sony Computer Entertainment Inc. Method and apparatus for real time motion capture
GB0306875D0 (en) * 2003-03-25 2003-04-30 British Telecomm Apparatus and method for generating behavior in an object
JP4048999B2 (ja) * 2003-04-15 2008-02-20 セイコーエプソン株式会社 画像処理装置及び画像処理方法
US9274598B2 (en) * 2003-08-25 2016-03-01 International Business Machines Corporation System and method for selecting and activating a target object using a combination of eye gaze and key presses
WO2006023153A1 (en) * 2004-08-23 2006-03-02 Gamecaster, Inc. Apparatus, methods and systems for viewing and manipulating a virtual environment
JP2006163886A (ja) * 2004-12-08 2006-06-22 Canon Inc 情報入力方法及び情報入力装置
JP4406693B2 (ja) * 2005-01-28 2010-02-03 学校法人立命館 バルーンアクチュエータ、エンドエフェクタ、及び医療用器具
CN102989174B (zh) * 2006-05-04 2016-06-29 美国索尼电脑娱乐公司 获得用于控制游戏程序的运行的输入
JP4848515B2 (ja) * 2006-06-12 2011-12-28 国立大学法人九州工業大学 アバター動作制御システム、そのプログラム及び方法
JP4148281B2 (ja) * 2006-06-19 2008-09-10 ソニー株式会社 モーションキャプチャ装置及びモーションキャプチャ方法、並びにモーションキャプチャプログラム
US8336078B2 (en) * 2006-07-11 2012-12-18 Fmr Corp. Role-based access in a multi-customer computing environment
CN101110102A (zh) * 2006-07-20 2008-01-23 中国科学院自动化研究所 基于玩家拳头的游戏场景和角色控制方法
EP2059315A4 (en) * 2006-08-24 2011-10-26 Howard W Lutnick COMPUTER TERMINAL SYSTEM WITH MULTIPLE DISPLAY SCREENS
US8926534B2 (en) * 2006-09-19 2015-01-06 Myomo, Inc. Powered orthotic device and method of using same
EP2132650A4 (en) * 2007-03-01 2010-10-27 Sony Comp Entertainment Us SYSTEM AND METHOD FOR COMMUNICATING WITH A VIRTUAL WORLD
US8706914B2 (en) * 2007-04-23 2014-04-22 David D. Duchesneau Computing infrastructure
US8726194B2 (en) * 2007-07-27 2014-05-13 Qualcomm Incorporated Item selection using enhanced control
US20090221368A1 (en) * 2007-11-28 2009-09-03 Ailive Inc., Method and system for creating a shared game space for a networked game
US8419545B2 (en) * 2007-11-28 2013-04-16 Ailive, Inc. Method and system for controlling movements of objects in a videogame
CN102124423A (zh) * 2008-01-22 2011-07-13 新世代株式会社 摄像装置、在线游戏系统、操作物、输入方法、图像解析装置、图像解析方法以及记录媒体
CN101256673A (zh) * 2008-03-18 2008-09-03 中国计量学院 用于在实时视频跟踪系统中跟踪手臂运动的方法
JP2009276996A (ja) * 2008-05-14 2009-11-26 Canon Inc 情報処理装置、情報処理方法
US8130207B2 (en) * 2008-06-18 2012-03-06 Nokia Corporation Apparatus, method and computer program product for manipulating a device using dual side input devices
US8793498B2 (en) * 2008-08-11 2014-07-29 Nbcuniversal Media, Llc System and method for forensic analysis of media works
CN102176888B (zh) * 2008-08-25 2015-11-25 苏黎世大学数学和自然科学部 可调整的虚拟现实系统
TWI373361B (en) * 2008-10-09 2012-10-01 Univ Nat Chiao Tung Glove puppet manipulation system
CN101732858B (zh) * 2008-11-11 2013-10-30 盛乐信息技术（上海）有限公司 现实与虚拟结合的联网游戏系统及实现方法
US8253801B2 (en) * 2008-12-17 2012-08-28 Sony Computer Entertainment Inc. Correcting angle error in a tracking system
US9256282B2 (en) * 2009-03-20 2016-02-09 Microsoft Technology Licensing, Llc Virtual object manipulation
JP2010231290A (ja) * 2009-03-26 2010-10-14 National Institute Of Advanced Industrial Science & Technology 頭部運動による入力装置及び方法
US9067097B2 (en) * 2009-04-10 2015-06-30 Sovoz, Inc. Virtual locomotion controller apparatus and methods
US20100302253A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Real time retargeting of skeletal data to game avatar
US9400559B2 (en) * 2009-05-29 2016-07-26 Microsoft Technology Licensing, Llc Gesture shortcuts
US20100302138A1 (en) * 2009-05-29 2010-12-02 Microsoft Corporation Methods and systems for defining or modifying a visual representation
KR20100138700A (ko) * 2009-06-25 2010-12-31 삼성전자주식회사 가상 세계 처리 장치 및 방법
US9159151B2 (en) * 2009-07-13 2015-10-13 Microsoft Technology Licensing, Llc Bringing a visual representation to life via learned input from the user
TW201104494A (en) * 2009-07-20 2011-02-01 J Touch Corp Stereoscopic image interactive system
KR101993848B1 (ko) * 2009-07-22 2019-06-28 임머숀 코퍼레이션 플랫폼에 걸쳐 햅틱 피드백을 갖는 상호작용 터치 스크린 게임 메타포
CN102141685B (zh) * 2009-11-29 2016-02-24 黄得锋 一种3d成像装置
US8284157B2 (en) * 2010-01-15 2012-10-09 Microsoft Corporation Directed performance in motion capture system
US20110221755A1 (en) * 2010-03-12 2011-09-15 Kevin Geisner Bionic motion
US20110289455A1 (en) * 2010-05-18 2011-11-24 Microsoft Corporation Gestures And Gesture Recognition For Manipulating A User-Interface
CN107050852A (zh) * 2011-02-11 2017-08-18 漳州市爵晟电子科技有限公司 一种游戏系统及其穿套式定点控制设备
CN202120199U (zh) * 2011-06-13 2012-01-18 深圳市远望落星山科技有限公司 一种光影跟踪系统
CN102253713B (zh) * 2011-06-23 2016-10-12 康佳集团股份有限公司 面向三维立体影像显示系统

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7205979B2 (en) * 1987-03-17 2007-04-17 Sun Microsystems, Inc. Computer data entry and manipulation apparatus and method
US5577981A (en) * 1994-01-19 1996-11-26 Jarvik; Robert Virtual reality exercise machine and computer controlled video system
US5913727A (en) * 1995-06-02 1999-06-22 Ahdoot; Ned Interactive movement and contact simulation game
CN1231753A (zh) * 1996-08-14 1999-10-13 挪拉赫梅特·挪利斯拉莫维奇·拉都色夫 追踪并显示使用者在空间的位置与取向的方法,向使用者展示虚拟环境的方法以及实现这些方法的系统
CN101890237A (zh) * 2010-07-16 2010-11-24 叶尔肯·拜山 游戏控制器及其控制方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2674204A4

Also Published As

Publication number Publication date
JP6722624B2 (ja) 2020-07-15
US10058773B2 (en) 2018-08-28
JP2019061707A (ja) 2019-04-18
CN106984041B (zh) 2021-07-06
CN102631781A (zh) 2012-08-15
CN106943743B (zh) 2024-04-26
CN106943743A (zh) 2017-07-14
CN106964150A (zh) 2017-07-21
KR20140049503A (ko) 2014-04-25
JP2018022498A (ja) 2018-02-08
JP6193764B2 (ja) 2017-09-06
CN102631781B (zh) 2017-04-05
US20130331964A1 (en) 2013-12-12
EP2674204A1 (en) 2013-12-18
EP2674204A4 (en) 2015-01-28
CN102681655B (zh) 2017-07-07
CN106943742A (zh) 2017-07-14
CN102541260B (zh) 2013-04-03
CN106984041A (zh) 2017-07-28
CN106964150B (zh) 2021-03-02
JP6749384B2 (ja) 2020-09-02
JP2014510336A (ja) 2014-04-24
CN102681655A (zh) 2012-09-19
KR101679805B1 (ko) 2016-11-25
CN106943742B (zh) 2024-04-26
EP3950076A1 (en) 2022-02-09
CN102541260A (zh) 2012-07-04
CN107050852A (zh) 2017-08-18

Similar Documents

Publication Publication Date Title
WO2012106978A1 (zh) 一种人机互动的控制方法及其运用
Caserman et al. A survey of full-body motion reconstruction in immersive virtual reality applications
CN106980385B (zh) 一种虚拟装配装置、系统及方法
Ma et al. Hand rehabilitation learning system with an exoskeleton robotic glove
US11262841B2 (en) Wireless wrist computing and control device and method for 3D imaging, mapping, networking and interfacing
CN103019386B (zh) 一种人机互动的控制方法及其运用
CN109453509A (zh) 一种基于肌电和运动捕捉的虚拟上肢控制系统及其方法
Wang et al. Feature evaluation of upper limb exercise rehabilitation interactive system based on kinect
CN110404243A (zh) 一种基于体态测量的康复方法及康复系统
Du et al. A mobile gesture interaction method for augmented reality games using hybrid filters
Yeh et al. An integrated system: virtual reality, haptics and modern sensing technique (VHS) for post-stroke rehabilitation
Cloud et al. Experiments with a camera-based human-computer interface system
Ni et al. A solution of human-computer remote interaction with tactile feedback
Sawant et al. Use of Artificial Intelligence Systems for Hand Motor Recovery in Stroke: A Narrative Review
Jirina Overview of Controllers of User Interface for Virtual Reality
Hernoux et al. Is a Time-Of-Flight Camera Better than a Mouse for 3D Direct Selection in Virtual Worlds?
NAN DEVELOPMENT OF A COMPUTER PROGRAM TO ASSIST UPPER LIMB REHABILITATION USING KINECT
CN121927256A (zh) 脑卒中患者上肢运动康复训练系统
Chaplygin et al. Augmented Reality Application for Hand Motor Skills Rehabilitation
Tripicchio Virtual Reality Sports Training.
Gieser et al. Pot hunter: A virtual reality game for analyzing range of motion
HK40009363A (zh) 用於三維成像、映射、建網和界面連接的無線腕式計算和控制設備和方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12745158

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2013552821

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2012745158

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20137023483

Country of ref document: KR

Kind code of ref document: A