WO2019082853A1 - 画像処理装置、画像処理方法およびプログラム - Google Patents

画像処理装置、画像処理方法およびプログラム

Info

Publication number
WO2019082853A1
WO2019082853A1 PCT/JP2018/039227 JP2018039227W WO2019082853A1 WO 2019082853 A1 WO2019082853 A1 WO 2019082853A1 JP 2018039227 W JP2018039227 W JP 2018039227W WO 2019082853 A1 WO2019082853 A1 WO 2019082853A1
Authority
WO
WIPO (PCT)
Prior art keywords
finger
contact
hand
image processing
fingers
Prior art date
Application number
PCT/JP2018/039227
Other languages
English (en)
French (fr)
Inventor
裕史 松生
Original Assignee
株式会社ソニー・インタラクティブエンタテインメント
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社ソニー・インタラクティブエンタテインメント filed Critical 株式会社ソニー・インタラクティブエンタテインメント
Priority to US16/757,558 priority Critical patent/US11181972B2/en
Priority to JP2019551128A priority patent/JP6874149B2/ja
Publication of WO2019082853A1 publication Critical patent/WO2019082853A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/017—Gesture based interaction, e.g. based on a set of recognized hand gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/0304—Detection arrangements using opto-electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0481—Interaction techniques based on graphical user interfaces [GUI] based on specific properties of the displayed interaction object or a metaphor-based environment, e.g. interaction with desktop elements like windows or icons, or assisted by a cursor's changing behaviour or appearance
    • G06F3/04815—Interaction with a metaphor-based environment or interaction object displayed as three-dimensional, e.g. changing the user viewpoint with respect to the environment or object
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T19/00—Manipulating 3D models or images for computer graphics

Definitions

  • the present invention relates to an image processing apparatus, an image processing method, and a program.
  • Non-Patent Document 1 simulates the friction of the contact surface by simulating the deformation of the finger using the finite element method and consolidating a large number of collision points between the deformed finger and the object into a single representative constraint. Is disclosed.
  • Non-Patent Document 2 discloses that the position of a so-called God-object of a hand is determined.
  • Non-Patent Document 1 when trying to accurately simulate the force applied to the object from the finger, the amount of calculation becomes very large. Therefore, although it is desirable to simplify simulation calculation, it was necessary to prevent the user from intuitively manipulating the object.
  • the present invention has been made in view of the above problems, and it is an object of the present invention to enable a user to intuitively operate an object in a virtual reality space while reducing the amount of calculation necessary to realize the operation. It is about providing the technology that can be done.
  • an image processing apparatus includes an acquisition unit that acquires an operation indicating bending of a finger of a hand, and a contact detection unit that detects contact between the finger and an object in a virtual space. Setting a constraint condition for fixing the relative position between the object and the hand to which the finger belongs, based on the amount of manipulation indicating bending of the finger after detection of contact between the object and the finger Or selecting means for selecting whether to exert a frictional force between the object and the finger, calculating means for calculating the movement of the object based on the selection, and drawing the object for which the movement is calculated And drawing means.
  • a step of acquiring an operation indicating bending of a finger of a hand a step of detecting contact of the finger with an object in a virtual space, and contact of the object with the finger Setting a constraint condition for fixing the relative position between the object and the hand to which the finger belongs, based on the amount of operation indicating bending of the finger of the hand after the detection of Selecting between applying a frictional force, calculating the movement of the object based on the selection, and drawing the object for which the movement is calculated.
  • a program includes an acquisition unit for acquiring an operation indicating bending of a finger, a contact detection unit for detecting a contact between the finger and an object in a virtual space, and a contact between the object and the finger Based on the amount of manipulation indicating bending of the finger of the hand after being detected, a constraint condition for fixing the relative position between the object and the hand to which the finger belongs is set, or between the object and the finger
  • the computer functions as selection means for selecting whether to exert a frictional force, calculation means for calculating the movement of the object based on the selection, and drawing means for drawing the object for which the movement is calculated.
  • the selection means is an operation indicating bending of the finger of the hand after the contact between the object and the finger is detected when the number of fingers in contact with the object is three or more.
  • the amount of it is possible to set a constraint condition that fixes the relative position between the object and the hand to which the finger belongs, or select whether to exert a frictional force between the object and the finger.
  • the selection means may set a coefficient of friction between the object and the finger according to the number when the number of fingers touching the object is 2 or less.
  • the selection unit is configured to select the object and the hand to which the finger belongs based on the amount of change in the angle of the finger indicated by the operation after the contact of the object with the finger is detected. It may be selected whether to set a constraint condition for fixing the relative position or to exert a frictional force between the object and the finger.
  • FIG. 6 is a flowchart showing an example of processing executed by the image processing apparatus.
  • FIG. 1 is a diagram showing an example of a hardware configuration of an image processing apparatus 1 according to an embodiment of the present invention.
  • the image processing apparatus 1 is a personal computer, a home game machine, or a mobile terminal.
  • the image processing apparatus 1 includes a processor 11, a storage unit 12, a communication unit 13, an input unit 14, and a display control unit 15.
  • the image processing apparatus 1 is also connected to a motion capture 16.
  • the processor 11 operates in accordance with a program stored in the storage unit 12 and controls the communication unit 13, the input unit 14, the display control unit 15, and the like.
  • the program may be provided by being stored in a computer-readable storage medium such as a flash memory, or may be provided via a network such as the Internet.
  • the storage unit 12 is configured by a memory element such as a DRAM or a flash memory.
  • the storage unit 12 stores the program.
  • the storage unit 12 also stores information and calculation results input from the processor 11 and the communication unit 13 or the like.
  • the storage unit 12 may be further configured by a storage device such as a hard disk.
  • the communication unit 13 is configured by an integrated circuit, a connector, an antenna, and the like that configure a wired LAN and a wireless LAN.
  • the communication unit 13 has a function of communicating with another device via a network.
  • the communication unit 13 inputs information received from another device to the processor 11 or the storage unit 12 based on the control of the processor 11, and transmits the information to the other device.
  • the input unit 14 is a circuit that acquires an input from hardware that detects a user operation.
  • the input unit 14 obtains an input signal from the motion capture 16 and an input device such as a keyboard or a controller, and inputs information obtained by converting the input signal to the processor 11 or the storage unit 12.
  • the display control unit 15 includes a circuit that controls a display output device such as a head mounted display.
  • the display control unit 15 causes the display output device to display an image based on the control of the processor 11.
  • Motion capture 16 is a device that measures hand position, hand orientation, and finger angle.
  • the motion capture 16 is, for example, a so-called data glove or a camera capable of measuring a three-dimensional position.
  • the image processing apparatus 1 is connected in the present embodiment, the image processing apparatus 1 may be incorporated.
  • FIG. 2 is a diagram showing an example of a hand 21 whose motion is acquired in the real space.
  • FIG. 3 is a figure which shows an example of the hand 31 in virtual space.
  • the image processing apparatus 1 acquires the position and orientation of the hand 21 of the user, and the directions and bending angles of the three fingers including the forefinger 22, the middle finger 23, and the thumb 24 included in the hand 21.
  • the image processing apparatus 1 further includes the hand 31, the first finger 32, the second finger 33, and the third finger in the virtual space based on the position and orientation of the hand 21, the direction of the three fingers, and the bending angle.
  • the angle at which the finger bends may be an angle formed by two parts connected to each of the joints of the finger, or the second of the fingers relative to a line connecting the second joint of the finger and the fingertip. It may be an angle measured by assuming that two joints connected together in a part of the finger move integrally, such as an angle formed by a line connecting a joint and a third joint.
  • the first finger 32 corresponds to the index finger 22, the second finger 33 corresponds to the middle finger 23, and the third finger 34 corresponds to the thumb 24. Further, in FIG. 3, a fourth finger 334 and a fifth finger 335 are described, which apparently correspond to the ring finger and the little finger, but they operate in conjunction with the movement of the second finger 33. In the following, description of processing relating to the fourth finger 334 and the fifth finger 335 is omitted.
  • the angle at which the joints of the first finger 32 bend is determined in accordance with the angle at which each joint of the forefinger 22 bends. The same applies to the second finger 33 and the third finger 34. In the example of FIG.
  • the object 36 in the virtual space is a rectangular parallelepiped, and is held by the first finger 32, the second finger 33, and the third finger 34. Note that the number of fingers whose motion is detected in the real space and the number of fingers in the virtual space that operates according to the fingers may be more than three.
  • FIG. 4 is a diagram for explaining the contact mode between the object 36 and the hand 31.
  • the image processing apparatus 1 can operate intuitively according to the user's intention by changing the parameters related to the interaction between the hand 31 and the finger and the object 36 according to the contact mode. I have to.
  • Touch mode the number of fingers touching the object 36 is one finger.
  • Fric mode the number of fingers is two fingers or three fingers or more.
  • the Fix mode the number of fingers is three or more (power grasp). If the number of fingers is three or more, either the Fric mode or the Fix mode is selected based on the size of the overlap between the object 36 and the fingers.
  • the Touch mode corresponds to the state in which the user tries to touch the object 36
  • the Fric mode corresponds to the state in which the user holds or lightly holds the object 36.
  • the Fix mode corresponds to a state in which the user holds the object 36 firmly.
  • a force is applied to the object 36 from the contact point P between the object 36 and the finger.
  • different interaction parameters are set in the Touch mode and the Fric mode. Details of the interaction parameters will be described later.
  • the Fix mode the object 36 is fixed to the hand 31 of the user. More specifically, in the Fix mode, the image processing apparatus 1 moves the object 36 and the hand 31 in the virtual space so that the relative velocity between the fixed point J of the object 36 and the hand 31 of the user becomes zero.
  • FIG. 5 is a diagram showing an example of the relationship between the position of the first finger 32 in the virtual space and the position of the contact finger 42.
  • the image processing apparatus 1 allows the first finger 32 to overlap with the object 36 in the virtual space.
  • the position and the orientation of the first finger 32 mentioned here are those obtained by converting the position and the orientation of the finger in the real space acquired by the motion capture 16 into a virtual space.
  • the contact finger 42 moves the position of the first finger 32 so as to contact the surface of the object 36, and the contact point P between the contact finger 42 and the object 36 corresponds to the first finger 32 and the object 36. It is used to calculate the interaction of
  • the contact finger 42 may be described with 1st finger
  • the size of the overlap between the first finger 32 and the object 36 is used for calculation of interaction (for example, calculation of the frictional force between the first finger 32 and the object 36).
  • the degree of overlap may be, for example, the depth D of the contact point PR of the first finger 32 from the surface of the object 36, or the difference between the current finger angle and the lock angle described later.
  • the contact point PR is on the surface of the first finger 32, and the relative position of the contact point P with respect to the contact finger 42 and the relative position of the contact point PR with respect to the first finger 32 are It is the same. Details of this process will be described later.
  • the second finger 33 and the third finger 34 are the same as the first finger 32.
  • FIG. 6 is a block diagram showing functions implemented by the image processing apparatus 1.
  • the image processing apparatus 1 functionally includes an actual operation acquisition unit 51, a contact detection unit 52, a parameter determination unit 53, a physical calculation unit 54, and an image drawing unit 55.
  • the real operation acquisition unit 51 mainly executes the program stored in the storage unit 12 by the processor 11, acquires information from the motion capture 16 via the input unit 14, processes the information, and outputs the processing result It is realized by storing in the storage unit 12.
  • the contact detection unit 52, the parameter determination unit 53, and the physical calculation unit 54 mainly execute the program stored in the storage unit 12 by the processor 11, process the information stored in the storage unit 12 or the like, and process the processing result It is realized by storing in the storage unit 12.
  • the image drawing unit 55 mainly executes the program stored in the storage unit 12 by the processor 11, processes the information stored in the storage unit 12 or the like, and causes the display control unit 15 to display the image. Is realized by controlling the
  • the actual motion acquisition unit 51 acquires the motion of the hand 21 based on the signal from the motion capture 16, and stores information on the motion of the hand 21 in the storage unit 12.
  • the movement of the hand 21 also includes an operation indicating bending and stretching of the finger of the hand 21.
  • the actual movement acquisition unit 51 may acquire, as the movement of the hand 21, movement of something different from the finger of the existing hand 21.
  • the actual movement acquisition unit 51 determines the position of the hand 21 from the position of the controller
  • An operation indicating bending and stretching of the finger may be acquired from the operation of the button or trigger of the controller.
  • the contact detection unit 52 detects the contact between the finger and the object 36 in the virtual space, based on the movement of the hand 21 acquired by the actual movement acquisition unit 51. When the movement amount of the finger after detection of the contact between the finger and the object 36 exceeds a predetermined threshold, the contact detection unit 52 detects the finger and the object 36 even if the finger and the object 36 overlap. Treats as not touching and does not detect touch.
  • the parameter determination unit 53 detects the number of fingers touching the object 36 in the virtual space based on the detected touch, and the interaction between the finger and the object 36 based on the number of detected fingers. Determine interaction parameters to determine. Further, the interaction parameter includes a friction parameter related to friction, and the friction parameter is calculated based on the coefficient of friction determined according to the number of fingers and the size of the overlap between the finger and the object 36. Further, the parameter determination unit 53 fixes the relative position between the object 36 and the hand to which the finger belongs, based on the amount of the operation indicating bending of the finger of the hand 21 after the contact between the object 36 and the finger is detected. Whether to set a constraint condition or to apply a frictional force between the object 36 and the finger is selected. Further, the parameter determination unit 53 is a constraint that constrains between the hand 31 to which the finger belongs and the object 36, and determines a constraint according to the interaction parameter.
  • the physical calculator 54 calculates the motion of the object 36 based on the determined interaction parameters and the constraint conditions.
  • the physical calculator 54 calculates the motion of the object 36 according to the procedure of simulating the physical law.
  • the image drawing unit 55 draws a three-dimensional image of the object 36 based on the calculated movement of the object 36.
  • FIG. 7 is a flowchart showing an example of processing performed by the image processing apparatus 1.
  • the process shown in FIG. 7 is repeatedly performed for each frame (the period of the frame elapses).
  • the details of processing of each function will be described below along with the flow of processing.
  • the actual motion acquisition unit 51 acquires the position of the hand 21 in the real space captured by the motion capture 16, the orientation of the hand 21, the angle of the finger, and the like through the operation of the processor 11 through the input unit 14.
  • the information such as the position of the hand, the direction of the hand 21, the angle of the finger, etc. is stored in the storage unit 12 (step S101).
  • the change in the acquired finger angle corresponds to an operation indicating bending and stretching of the finger.
  • the actual motion acquisition unit 51 may calculate the angle of the finger in accordance with the operation amount of the trigger or the like of the controller.
  • the touch detection unit 52 determines the positions of a plurality of fingers (for determination) used for touch determination in the virtual space (step S102).
  • the positions of the plurality of determination fingers are, for example, the positions of the fingers in the coordinate system of the virtual space, which are generated by performing coordinate conversion of the positions of the fingers of the hand 21 in the real space.
  • FIG. 8 is a diagram showing an example of the relationship between the angle of the finger corresponding to the real space and the angle of the finger used for the touch determination.
  • the contact detection unit 52 detects the angle of the finger in the frame at which the contact is detected for the first time Let's set the angle of the finger so as not to be larger than "lock angle".
  • the angle of the finger used to determine the contact is locked. It becomes an angle.
  • the acquired angle of the first finger 323 is equal to or less than the lock angle, the angle of the finger used to determine the touch is the acquired finger angle.
  • FIG. 9 is a flowchart showing the process of the contact detection unit 52. As shown in FIG. FIG. 9 is a flow particularly showing the details of the process of step S103.
  • step S103 the contact detection unit 52 first sets one new finger as the finger of the contact determination target (step S301). Then, the touch detection unit 52 generates the touch determination area 37 in the virtual space based on the position and the direction of the hand for determination and the angle of the finger (step S302).
  • FIG. 10 is a view showing an example of the contact determination area 37.
  • the touch determination area 37 generated for the first finger 32 is shown.
  • the contact determination area 37 is generated outside the portion close to the fingertip among the fingers such as the first finger 32.
  • the contact determination area 37 corresponds to the surface and object of the capsule corresponding to the fingertip. And a constant distance to the capsule corresponding to the fingertip.
  • the detection of contact between the contact determination area 37 and the object 36 is also expressed as overlapping of a finger such as the first finger 32, the second finger 33, and the third finger 34 with the object 36.
  • the touch detection unit 52 detects a touch between the generated touch determination area 37 and any of the plurality of objects 36 (step S303). If the contact between the contact determination area 37 and any one of the objects 36 is detected (Y in step S303), the processing after step S304 is performed, and if the contact is not detected (N in step S303) The process from step S304 is skipped, and the process proceeds to step S309.
  • step S304 it is determined whether the current contact is to be validated based on the state of the past contact between the finger of the contact determination target and the object 36 thereof.
  • the touch detection unit 52 acquires the result (which may be the same as the previous touch data described later) of the touch determination between the finger in the previous frame and the object 36 in which the touch is detected.
  • the first contact point P1 on the surface of the finger and the second contact at the time of first contact It is determined whether the distance L1 to the point P2 is equal to or less than a threshold (step S306).
  • the relative position of the first contact point P1 with respect to the finger is the same as the relative position of the second contact point P2 between the contact finger 42 and the object 36 at the timing when the contact between the finger and the object 36 is detected for the first time .
  • the distance L1 corresponds to the movement amount of the finger after the contact between the finger and the object 36 is detected.
  • a contact point on the object 36 side may be used as the second contact point P2.
  • the relative position of the second contact point P2 with respect to the object 36 is the same as the relative position of the contact point P between the contact finger 42 and the object 36 at the timing when the contact between the finger and the object 36 is detected for the first time. It is.
  • FIG. 11 is a diagram for explaining the calculation of the distance L1 between the first contact point P1 and the second contact point P2.
  • the first contact point P1 and the second contact point P2 are at approximately the same position.
  • the first contact point P1 and the second contact point P2 may be separated due to a change in the position of the first finger 32 or the like.
  • the contact detection unit 52 calculates the distance L1 between the first contact point P1 and the second contact point P2.
  • the first finger 32 is separated from the object 36, but in this example, the contact between the contact determination area 37 and the object 36 is detected. Further, even if the first finger 32 and the object 36 overlap, the detection of the distance L1 may be performed in the same manner.
  • FIG. 12 is a diagram for explaining a method of calculating the contact point P.
  • the contact finger 42 contacting the surface SA constituting the surface of the object 36 is determined from the finger 326 for determination, and the contact point P between the contact finger 42 and the surface of the object 36 is determined.
  • the contact detection unit 52 determines one or more surfaces SA to be used to obtain the contact finger 42 among the surfaces constituting the object 36. Since this surface SA is the same as the surface used when detecting the contact between the object 36 and the contact determination area 37, the details of the determination will be omitted.
  • the contact detection unit 52 sets the contact finger 42 such that the distance L2 between the contact finger 42 and the finger 326 for determination is minimized. Calculate the 42 positions. This calculation method is the same as the method of obtaining so-called God Object from the position of the finger in which the position of the finger in real space is converted.
  • step S306 when the distance L1 between the first contact point P1 and the second contact point P2 is equal to or less than the determination threshold (Y in step S306), the contact detection unit 52 determines that the contact is effective, and in the current frame The previous contact data is set as the contact data (step S307). On the other hand, when the distance L1 between the first contact point P1 and the second contact point P2 is larger than the determination threshold (N in step S306), it is determined that the contact is invalid, and the process transitions to step S309.
  • step S305 when the contact between the finger and the object 36 is not detected in the previous frame, the contact detection unit 52 determines that the contact is valid, and skips the processing in steps S306 and S307. The process proceeds to step S308.
  • the touch detection unit 52 stores touch data in the current frame, which is touch data indicating that the touch between the target finger and any of the objects 36 is valid, in the memory.
  • the touch data exists for each finger, and one touch data is a finger ID identifying the finger, presence / absence of touch, object ID of the touching object 36, coordinates of the touch point P, and a method of the surface of the object 36 at the touch point P. Including lines.
  • the contact data stores information at the time when the finger and the object 36 first touch.
  • step S308 By the processing of step S308 and the like, it is possible to prevent the phenomenon that the movement of the object 36 becomes unstable because the contact point P changes due to the movement of the finger of the user. In addition, it is possible to prevent the motion of the object 36 from becoming unnatural without changing the contact point P in the case of movement without blurring of the finger by step S306.
  • step S309 it is determined whether or not all the fingers have been subjected to the contact determination process (step S309), and when all the fingers have not been processed for the contact determination (N in step S309). ), The process returns to the process of step S301, and when the process is performed with all the fingers as targets of contact determination (Y of step S309), the process of step S103 is ended.
  • the parameter determination unit 53 relates to the interaction between the finger and the object based on at least one of the past contact and the current contact.
  • the parameters are determined (step S104).
  • the parameters relating to this interaction include the frictional force between the finger and the object 36 and the type of constraint condition between the finger and the object 36.
  • the process of step S104 will be described in more detail.
  • FIG. 13 is a flowchart showing the process of the parameter determination unit 53.
  • the relationship between the finger of the hand 31 and the object 36 in the previous frame is the Fix mode, and the contact detection unit 52 detects the contact between the three or more fingers and the object 36. Even when there is no such condition, the Fix mode is maintained under the condition that a predetermined condition is satisfied.
  • the predetermined condition is a condition assumed to be that the user has an intention to keep grasping the object 36, and the details will be described later.
  • the parameter determination unit 53 acquires the contact mode between the hand or finger and the object 36 in the previous frame, and determines whether there is an object 36 in contact with the finger and whose contact mode is the Fix mode (Step S401). If there is no object 36 whose touch mode is the Fix mode (N in step S401), the subsequent processes shown in FIG. 13 are skipped.
  • the parameter determination unit 53 acquires a finger touching the object 36 in the previous frame (step S402).
  • the parameter determination unit 53 determines whether there is a finger whose current angle is larger than (locked angle ⁇ 0.1 (rad)) among the acquired fingers (step S404).
  • the locked angle is the angle when the object 36 is touched for the first time.
  • the parameter determination unit 53 ends the process of FIG. 13 on the assumption that the user has no intention of grasping the object. Note that the value of 0.1 rad that is subtracted from the locked angle may be appropriately changed in consideration of the movement of the finger.
  • the parameter determination unit 53 determines whether to maintain the Fix mode by another method shown in step S406 and subsequent steps.
  • the parameter determination unit 53 determines the contact between the object 36 and the hand 31 based on the current positions of the contact points P on the side of the plurality of fingers that effectively contact the object 36 in the previous frame.
  • the grip trigger 38 which is an area of H, is generated (step S406).
  • FIG. 14 is a view showing an example of the grip trigger 38.
  • the grip trigger 38 may be generated based on, for example, the current position (the position of the first contact point P1) of the contact points on the surfaces of the first finger 32 to the third finger 34, and the grip trigger 38 It may be a sphere centered on the center of gravity of the position of the contact point P1.
  • step S407 the parameter determining unit 53 determines to maintain the Fix mode, and transitions to the process of step S409. If the contact between the grip trigger 38 and the object 36 is not detected (N in step S407), the processing in FIG. 13 is ended.
  • step S409 the contact between the finger that has made effective contact with the object 36 in the previous frame and the object 36 is validated, and the contact data of the previous frame of those fingers is set as the present contact data.
  • FIG. 15 is a flowchart showing the process of the parameter determination unit 53.
  • the process shown in FIG. 15 is performed after the process shown in FIG.
  • the process shown in FIG. 15 determines the contact mode between the finger and the object 36 based on the number of fingers in which the contact with the object 36 is validated, and the interaction parameter according to the change in the contact mode and the contact mode. Is a process of determining This process may be performed for each object 36.
  • this process may be performed on the sets of the objects 36.
  • the parameter determination unit 53 counts the number of fingers touching the object 36 (step S451).
  • the number of fingers touching the object 36 is, in the example of FIG. 15, the number of fingers whose touch with the object 36 is determined to be effective by the touch detection unit 52. More specifically, the parameter determination unit 53 counts the number of touch data having the object ID of the object 36 for each object 36 from the current touch data. Then, based on the number of touch data, the parameter determination unit 53 stores the current object touch data in association with the object 36 for each of the objects 36 (step S452).
  • the object touch data includes an object ID identifying the object 36, the number of fingers touching the object 36, and the finger ID of the touching finger.
  • the parameter determination unit 53 acquires the number of fingers touching the object 36 in the previous frame and the contact mode (step S453).
  • the parameter determination unit 53 may acquire the number of fingers touching the object 36 stored in the object touch data and the touch mode, and the processing corresponding to steps S456 to S463 described later corresponds to the object of the previous frame.
  • the number of fingers touching the object 36 in the previous frame and the touch mode may be acquired.
  • the parameter determination unit 53 determines the number of fingers touching the object 36 (step S454).
  • the parameter determining unit 53 resets the constraint between the finger and the object 36 on the assumption that the contact is lost (step S455). , End the processing of FIG. More specifically, the parameter determination unit 53 deletes the constraint condition between the finger and the object 36. In addition, when there is no other object 36 in contact with the finger, the parameter determination unit 53 further deletes the setting of the lock angle used in the process of step S102 of the touch detection unit 52. By the removal of the lock angle, the angle of the finger used for the touch determination changes freely until the finger and the object 36 contact next.
  • the parameter determining unit 53 determines that the current number of fingers touching the object 36 is the number of fingers in the previous frame. It is determined whether they are different (step S456). If the current number of fingers is different from the previous number of fingers (Y in step S456), the parameter determination unit 53 selects the contact mode according to the current number of fingers (step S457). More specifically, the parameter determination unit 53 selects, as the touch mode, the Touch mode when the number of fingers is 1 and the Fric mode when the number of fingers is 2 or 3 or more.
  • step S456 if the current number of fingers is the same as the previous number of fingers (N in step S456), the parameter determination unit 53 determines whether the number of fingers currently touching the object 36 is less than 3 (step S456). Step S458). If the number of touching fingers is less than 3 (Y in step S458), the parameter determining unit 53 continues the previous contact mode, and updates at most a part of the constraint conditions (step S459). Details of the constraint conditions will be described later.
  • the parameter determining unit 53 determines the touch mode based on the size of the overlap between the object 36 and the finger. More specifically, when the angle of the current finger changes to the pinched state (Y in step S460), the parameter determination unit 53 selects the Fix mode as the contact mode (step S461), and When the angle changes from the pinched state (Y in step S462), the Fric mode is selected as the contact mode. If the current angle of the finger does not change to the pinched state and does not change from the gripped state (N in step S462), the parameter determination unit 53 proceeds to step S459 without changing the contact mode.
  • the grasping state is a state in which the size of the overlap between the object 36 and the finger is larger than a reference. More specifically, the amount of change in the angle of the finger from the lock angle (change angle Ac) is larger than the threshold. Since the lock angle is the angle when the contact between the object 36 and the finger is detected, the change angle Ac is the lock angle the amount of change in the finger angle due to the operation after the contact between the object 36 and the finger is detected. It is.
  • FIG. 16 is a diagram for explaining a method of determining the Fix mode.
  • the first finger 322 in FIG. 16 is at the current position.
  • the first finger 321 is at a position when contact with the object 36 is detected, and the angle is a lock angle.
  • the parameter determination unit 53 determines that the case where the change angle Ac between the current angle of the first finger 322 and the lock angle is larger than the angle threshold value At is a pinched state. In other words, when the change angle Ac changes from a value equal to or less than the angle threshold At to a value exceeding the angle threshold At, the parameter determination unit 53 determines that the change to the squeezed state occurs and the change angle Ac exceeds the angle threshold At. When the value changes from the value to the angle threshold value At or less, it is determined that the grip state has changed.
  • step S457 the parameter determination unit 53 newly sets a constraint condition between the hand 31 and the object 36 (step S464).
  • step S464 when the touch mode is the touch mode or the fric mode, the current angle of the finger touching the object 36 is stored as the lock angle to lock the finger angle.
  • the lock angle set when changing to the Fric mode is not changed.
  • the constraint condition is a condition that expresses the frictional force or the like applied via the contact point P on the surface of the object 36.
  • FIG. 17 is a diagram for explaining the elements of the constraint of the object 36, and in particular, the elements which constrain between the finger and the object 36 when the touch mode is the Touch mode or the Fric mode.
  • the friction viewing frustum 46 shown in FIG. 17 indicates that friction is generated between the first finger 32 and the object 36 at the contact point P.
  • the Y axis in FIG. 17 is in the same direction as the normal to the surface of the object 36.
  • the X and Z axes are oriented orthogonal to their normal, and the X and Z axes are orthogonal to one another. Twist in FIG. 17 indicates a component that rotates so as to twist about its normal, and Swing indicates a component that rotates about a line passing through the contact point P and orthogonal to the normal.
  • FIG. 18 is a diagram showing a method of constraint according to the component of constraint of the object 36.
  • the object For movement of the position in the X-axis and Z-axis directions, for example, the object is such that the relative velocity between the first contact point P1 on the side of the first finger 32 and the second contact point P2 on the object 36 side is minimized.
  • a so-called fixed joint is set which applies a force to the first and second fingers 36 and 36.
  • the force exerted on the object 36 and the first finger 32 by the fixed joint is limited to the maximum static friction force or the maximum dynamic friction force.
  • the movement of the position in the Z-axis direction is a restriction condition that restricts the first finger 32 and the object 36 from being repelled.
  • the twist and swing components have been adjusted to make the rotation angle a fraction of the actual angle.
  • the touch mode is the Touch mode or the Fric mode
  • the parameter determination unit 53 determines the constraint conditions for these elements for each finger in contact.
  • the parameter determination unit 53 sets the static friction coefficient (or the dynamic friction coefficient) according to whether the contact mode is the Touch mode or the Fric mode. More specifically, the static friction coefficient (or the dynamic friction coefficient) in the Touch mode is set to be smaller than that in the Fric mode. Further, the parameter determination unit 53 calculates the maximum static friction force (or maximum dynamic friction force) based on the size of the overlap between the finger and the object 36 and the static friction coefficient (or the dynamic friction coefficient). The size of the overlap between the finger and the object 36 is, for example, the depth D (see FIG. 5) from the surface of the object 36 at the first contact point P1 of the finger.
  • step S459 parameter determination unit 53 does not change the static friction coefficient (or the dynamic friction coefficient), but based on the size of the overlap between the finger and object 36 and the static friction coefficient (or the dynamic friction coefficient). Calculate the maximum static friction (or maximum dynamic friction).
  • the parameter determination unit 53 determines Fric based on the number of fingers and whether the fingers are present on opposite sides of the object 36 and not the size of the overlap between the finger and the object 36, and the size of the overlap. You may select the mode or the Fix mode.
  • the fixed joint for restraining the finger and the object 36 is set for movement of the position in the X-axis and Z-axis directions, but instead, the parameter determination unit 53 is a representative point representative of the hand 31
  • a fixed joint may be set between the PH and the second contact point P2 on the object 36.
  • the parameter determination unit 53 applies a force to the object 36 and the representative point PH such that the relative velocity between the representative point PH and the second contact point P2 on the object 36 side is minimized. Therefore, the relative position between the representative point PH and the second contact point P2 is stored.
  • the representative point PH corresponds to, for example, the base of the finger or the center of the palm, and is a position that represents the position of the hand 31.
  • FIGS. 19 and 20 illustrate the relationship between the object 36 and the virtual hand 31.
  • FIG. The positions of the fingers such as the first finger 32 and the second finger 33 are easily blurred. For example, as shown in FIG. 19, even if it is in contact with the object 36, the position is shifted due to the movement of the hand 31 (see FIG. 20), and the movement of the object 36 is shaken via the fixed joint. Therefore, by constraining the virtual hand 31 and the object 36 via the fixed joint, it is possible to reduce the influence of the shake.
  • the force generated by the restraint is applied to the second contact point P2 on the surface of the object 36.
  • the parameter determination unit 53 sets the center of gravity of the plurality of contact points P on the surface of the object 36 at the contact point P between the object 36 and the finger as the constraint condition and the representative point PH. Determine the condition that sets the relative velocity to the position of 0 as 0. Since it is presumed that the user is performing the grasping operation in this case, it is less necessary to apply a frictional force through the contact point P, and an intuitive operation can be realized by simpler calculation.
  • the parameter determination unit 53 updates most of the constraint conditions according to the contact mode (step S459). ). More specifically, when the touch mode is the Touch mode or the Fric mode, the maximum static friction force or the maximum dynamic friction force is updated based on the size of the overlap between the finger and the object 36. The processing amount can be reduced or unstable movement can be prevented by making the processing different depending on whether or not the contact mode has transitioned.
  • the user changes the object 36 by changing parameters (restriction condition, friction coefficient, etc.) indicating the interaction between the object 36 and the hand 31 or finger according to the situation such as the number of fingers touching the object 36. It becomes possible to operate intuitively.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Computer Graphics (AREA)
  • Computer Hardware Design (AREA)
  • Software Systems (AREA)
  • User Interface Of Digital Computer (AREA)
  • Processing Or Creating Images (AREA)

Abstract

ユーザが仮想現実空間の物体を直観的に操作することを可能にしつつ、その操作を実現するために必要な計算量を抑える。　画像処理装置は、手の指の曲げを示す操作を取得し、仮想空間における、指と物体との接触を検出し、物体と指との接触が検出されてからの手の指の曲げを示す操作の量に基づいて、物体と指が属する手との相対位置を固定する拘束条件を設定するか、物体と指との間に摩擦力を働かせるかを選択し、その選択に基づいて、物体の動きを計算し、動きが計算された物体を描画する。

Description

画像処理装置、画像処理方法およびプログラム
　本発明は画像処理装置、画像処理方法およびプログラムに関する。
　近年、モーションキャプチャ（例えばデータグローブ）やヘッドマウントディスプレイなどを用いて仮想現実を体験させる技術の開発が盛んにおこなわれている。さらに、モーションキャプチャにより手の指の動きを取得し、その取得された指の動きに応じて、仮想現実空間内の物体を操作する技術がある。
　非特許文献１には、有限要素法を用いて指の変形をシミュレートし、変形した指と物体との大量の衝突点を単一の代表拘束に集約することで、接触面の摩擦をシミュレートすることが開示されている。非特許文献２には、手のいわゆるGod-objectの位置を求めることが開示されている。
Anthony Talvas, Maud Marchal, Christian Duriez and Miguel A. Otaduy, "Aggregate Constraints for Virtual Manipulation with Soft Fingers", March 27th, 2015 C. B. Zilles and J. K. Salisbury, "A constraint-based god-object method for haptic display", Intelligent Robots and Systems 95. 'Human Robot Interaction and Cooperative Robots', Proceedings. 1995 IEEE/RSJ International Conference on, August 1995
　例えば非特許文献１に記載されるように、指から物体にかかる力を正確にシミュレートしようとすると、計算量が非常に大きくなってしまう。そこで、シミュレーションの計算をより簡略化することが望ましいが、ユーザが物体を直観的に操作することを害しないようにする必要があった。
　本発明は上記課題を鑑みてなされたものであり、その目的は、ユーザが仮想現実空間の物体を直観的に操作することを可能にしつつ、その操作を実現するために必要な計算量を抑えることができる技術を提供することにある。
　上記課題を解決するために、本発明にかかる画像処理装置は、手の指の曲げを示す操作を取得する取得手段と、仮想空間における、前記指と物体との接触を検出する接触検出手段と、前記物体と前記指との接触が検出されてからの前記手の指の曲げを示す操作の量に基づいて、前記物体と前記指が属する手との相対位置を固定する拘束条件を設定するか、前記物体と前記指との間に摩擦力を働かせるかを選択する選択手段と、前記選択に基づいて、前記物体の動きを計算する計算手段と、前記動きが計算された物体を描画する描画手段と、を含む。
　また、本発明にかかる画像処理方法は、手の指の曲げを示す操作を取得するステップと、仮想空間における、前記指と物体との接触を検出するステップと、前記物体と前記指との接触が検出されてからの前記手の指の曲げを示す操作の量に基づいて、前記物体と前記指が属する手との相対位置を固定する拘束条件を設定するか、前記物体と前記指との間に摩擦力を働かせるかを選択するステップと、前記選択に基づいて、前記物体の動きを計算するステップと、前記動きが計算された物体を描画するステップと、を含む。
　また、本発明にかかるプログラムは、手の指の曲げを示す操作を取得する取得手段、仮想空間における、前記指と物体との接触を検出する接触検出手段、前記物体と前記指との接触が検出されてからの前記手の指の曲げを示す操作の量に基づいて、前記物体と前記指が属する手との相対位置を固定する拘束条件を設定するか、前記物体と前記指との間に摩擦力を働かせるかを選択する選択手段、前記選択に基づいて、前記物体の動きを計算する計算手段、および、前記動きが計算された物体を描画する描画手段、としてコンピュータを機能させる。
　本発明によれば、ユーザが仮想現実空間の物体を直観的に操作することを可能にしつつ、その操作を実現するために必要な計算量を抑えることができる。
　本発明の一形態では、前記選択手段は、前記物体に接触する指の数が３以上の場合に、前記物体と前記指との接触が検出されてからの前記手の指の曲げを示す操作の量に基づいて、前記物体と前記指が属する手との相対位置を固定する拘束条件を設定するか、前記物体と前記指との間に摩擦力を働かせるかを選択してもよい。
　本発明の一形態では、前記選択手段は、前記物体に接触する指の数が２以下の場合に、前記数に応じて前記物体と前記指との間の摩擦係数を設定してもよい。
　本発明の一形態では、前記選択手段は、前記物体と前記指との接触が検出されてからの前記操作が示す指の角度の変化量に基づいて、前記物体と前記指が属する手との相対位置を固定する拘束条件を設定するか、前記物体と前記指との間に摩擦力を働かせるかを選択してもよい。
本発明の実施形態にかかる画像処理装置のハードウェア構成の一例を示す図である。 実空間において動作が取得される手の一例を示す図である。 仮想空間における手の一例を示す図である。 物体と手との接触モードを説明する図である。 仮想空間における第１の指の位置と接触指の位置との関係の一例を示す図である。 画像処理装置が実現する機能を示すブロック図である。 画像処理装置が実行する処理の一例を示すフロー図である。 実空間に相当する指の角度と、接触判定に用いる指の角度との関係の一例を示す図である。 接触検出部の処理を示すフロー図である。 接触判定領域の一例を示す図である。 第１接触点と第２接触点との距離を説明する図である。 接触点の算出方法を説明する図である。 パラメータ決定部の処理を示すフロー図である。 掴みトリガの一例を示す図である。 パラメータ決定部の処理を示すフロー図である。 Ｆｉｘモードの判定手法を説明する図である。 オブジェクトの拘束の要素を説明する図である。 オブジェクトの拘束の要素に応じた拘束の手法を示す図である。 オブジェクトと手との関係を説明する図である。 オブジェクトと手との関係を説明する図である。
　以下では、本発明の実施形態について図面に基づいて説明する。出現する構成要素のうち同一機能を有するものには同じ符号を付し、その説明を省略する。
　本実施形態では、実際のユーザの手および指の位置や角度に応じて仮想空間内の手や指を動かすこと、さらにその仮想空間内の手や指によって仮想空間内の物体を触れ、動かすことなどが可能な画像処理装置１について説明する。
　図１は、本発明の実施形態にかかる画像処理装置１のハードウェア構成の一例を示す図である。画像処理装置１は、パーソナルコンピュータや家庭用ゲーム機、またはモバイル端末である。画像処理装置１は、プロセッサ１１、記憶部１２、通信部１３、入力部１４、表示制御部１５を含む。また画像処理装置１はモーションキャプチャ１６に接続されている。
　プロセッサ１１は、記憶部１２に格納されているプログラムに従って動作し、通信部１３や入力部１４、表示制御部１５等を制御する。なお、上記プログラムは、フラッシュメモリ等のコンピュータで読み取り可能な記憶媒体に格納されて提供されるものであってもよいし、インターネット等のネットワークを介して提供されるものであってもよい。
　記憶部１２は、ＤＲＡＭやフラッシュメモリ等のメモリ素子によって構成されている。記憶部１２は、上記プログラムを格納する。また、記憶部１２は、プロセッサ１１や通信部１３等から入力される情報や演算結果を格納する。なお、記憶部１２は、さらにハードディスクといった記憶装置によっても構成されてよい。
　通信部１３は有線ＬＡＮや無線ＬＡＮを構成する集積回路やコネクタ、アンテナなどにより構成されている。通信部１３は、ネットワークを介して他の装置と通信する機能を有する。通信部１３は、プロセッサ１１の制御に基づいて、他の装置から受信した情報をプロセッサ１１や記憶部１２に入力し、他の装置に情報を送信する。
　入力部１４は、ユーザの操作を検出するハードウェアからの入力を取得する回路である。入力部１４は、モーションキャプチャ１６と、キーボードやコントローラ等の入力デバイスとから入力信号を取得し、その入力信号が変換された情報をプロセッサ１１や記憶部１２に入力する。
　表示制御部１５はヘッドマウントディスプレイ等の表示出力デバイスを制御する回路を含んでいる。表示制御部１５は、プロセッサ１１の制御に基づいて、表示出力デバイスに画像を表示させる。
　モーションキャプチャ１６は手の位置、手の向き、および指の角度を測定する機器である。モーションキャプチャ１６は、例えば、いわゆるデータグローブや３次元位置を測定することが可能なカメラである。本実施形態では画像処理装置１に接続されているが、画像処理装置１に内蔵されていてもよい。
　次に、本実施形態による操作の概要について説明する。図２は、実空間において動作が取得される手２１の一例を示す図である。また、図３は、仮想空間における手３１の一例を示す図である。本実施形態にかかる画像処理装置１は、ユーザの手２１の位置および向きや、その手２１に含まれる人差し指２２、中指２３、親指２４の３本の指の向きや曲がる角度を取得する。画像処理装置１は、さらにその手２１の位置及び向き、３本の指の向きや曲がる角度に基づいて仮想空間内の手３１や第１の指３２、第２の指３３、第３の指３４を動かす。ここで、指が曲がる角度は、指の関節のそれぞれに接続される２つの部分がなす角度であってもよいし、指の第２関節と指先とを結ぶ線に対して、指の第２関節と第３関節とを結ぶ線がなす角のように、指の一部の関節で接続される２つの部分が一体的に動くとみなして測定された角度であってもよい。
　第１の指３２は人差し指２２に対応し、第２の指３３は中指２３に対応し、第３の指３４は親指２４に対応する。また、図３には第４の指３３４および第５の指３３５が記載されており、見かけは薬指や小指に対応するが、これらは第２の指３３の動きに連動して動作する。以下では第４の指３３４および第５の指３３５に関する処理については説明を省略する。第１の指３２の関節が曲がる角度は、人差し指２２の各関節が曲がる角度に応じて定まっている。第２の指３３および第３の指３４も同様である。図３の例では仮想空間内にあるオブジェクト３６は直方体であり、第１の指３２、第２の指３３、第３の指３４により掴まれている。なお、実空間において動作が検出される指の数およびその指に応じて動作する仮想空間内の指の数は、３本より多くてもよい。
　図４は、オブジェクト３６と手３１との接触モードを説明する図である。本実施形態にかかる画像処理装置１は、接触モードに応じて手３１および指とオブジェクト３６との間の相互作用にかかるパラメータを変更することにより、ユーザの意図にあわせた直観的な操作を可能にしている。接触モードはＴｏｕｃｈモードと、Ｆｒｉｃモードと、Ｆｉｘモードとの３種類である。Ｔｏｕｃｈモードでは、オブジェクト３６に接する指の数が１本のみ（one finger）である。Ｆｒｉｃモードでは、その指の数が２本（two fingers）または３本以上（three fingers）である。Ｆｉｘモードは、その指の数が３本以上(power grasp)である。その指の数が３本以上の場合、オブジェクト３６と指との重なりの大きさに基づいて、Ｆｒｉｃモードと、Ｆｉｘモードとのいずれかが選択される。
　Ｔｏｕｃｈモードはユーザがオブジェクト３６に触ろうとしている状態に相当し、Ｆｒｉｃモードはユーザがオブジェクト３６を挟むまたは軽くつかむ状態に相当する。そして、Ｆｉｘモードは、ユーザがオブジェクト３６をしっかりとつかむ状態に相当する。ＴｏｕｃｈモードとＦｒｉｃモードとでは、オブジェクト３６には、オブジェクト３６と指との接触点Ｐから力がかけられる。またＴｏｕｃｈモードとＦｒｉｃモードとで互いに異なる相互作用パラメータが設定される。相互作用パラメータの詳細は後述する。一方、Ｆｉｘモードではオブジェクト３６はユーザの手３１に固定される。より具体的には、Ｆｉｘモードでは画像処理装置１は、オブジェクト３６の固定点Ｊとユーザの手３１との相対速度が０になるように仮想空間内のオブジェクト３６および手３１を動かす。
　図５は、仮想空間における第１の指３２の位置と、接触指４２の位置との関係の一例を示す図である。本実施形態にかかる画像処理装置１では、第１の指３２が仮想空間内でオブジェクト３６に重なることを許容している。ここでいう第１の指３２の位置や向きは、モーションキャプチャ１６により取得される実空間の指の位置や向きが仮想空間に変換されたものである。また接触指４２は、第１の指３２の位置をオブジェクト３６の表面に接するように移動させたものであり、接触指４２とオブジェクト３６との接触点Ｐが第１の指３２とオブジェクト３６との相互作用の計算に用いられる。なお、本実施形態の説明に用いられる図では、説明の容易のために接触指４２を第１の指３２等と記載する場合がある。
　また、第１の指３２とオブジェクト３６との重なりの大きさが相互作用の算出（例えば第１の指３２とオブジェクト３６との間の摩擦力の算出）に用いられる。重なりの度合いは、例えば、第１の指３２における接触点ＰＲのオブジェクト３６の表面からの深さＤであってもよいし、現在の指の角度と後述のロック角度との差であってもよい。ここで、接触点ＰＲは第１の指３２の表面にあり、かつ、接触指４２を基準とした接触点Ｐの相対位置と、第１の指３２を基準とした接触点ＰＲの相対位置は同じである。この処理の詳細については後述する。なお、第２の指３３や第３の指３４についても第１の指３２と同様である。
　以下では画像処理装置１が実現する機能および処理をより詳細に説明する。図６は、画像処理装置１が実現する機能を示すブロック図である。画像処理装置１は機能的に、実動作取得部５１、接触検出部５２、パラメータ決定部５３、物理計算部５４、画像描画部５５を含む。実動作取得部５１は、主に、プロセッサ１１が記憶部１２に記憶されるプログラムを実行し、入力部１４を介してモーションキャプチャ１６からの情報を取得し、その情報を処理し、処理結果を記憶部１２に格納することにより実現される。接触検出部５２、パラメータ決定部５３、物理計算部５４は、主に、プロセッサ１１が記憶部１２に記憶されるプログラムを実行し、記憶部１２等に格納された情報を処理し、処理結果を記憶部１２に格納することにより実現される。画像描画部５５は、主に、プロセッサ１１が記憶部１２に記憶されるプログラムを実行し、記憶部１２等に格納された情報を処理し、表示出力デバイスが画像を表示するよう表示制御部１５を制御することにより実現される。
　実動作取得部５１は、モーションキャプチャ１６からの信号に基づいて、手２１の動きを取得し、手２１の動きの情報を記憶部１２に格納する。手２１の動きには、その手２１の指の曲げ伸ばしを示す操作も含まれる。なお、実動作取得部５１は、手２１の動きとして、実在する手２１の指そのものと異なるものの動きを取得してもよく、例えば実動作取得部５１は、コントローラの位置から手２１の位置を取得し、コントローラのボタンやトリガの操作から指の曲げ伸ばしを示す操作を取得してもよい。
　接触検出部５２は、実動作取得部５１により取得された手２１の動きに基づいて、仮想空間における、指とオブジェクト３６との接触を検出する。なお、接触検出部５２は、指とオブジェクト３６との接触が検出されてからの指の移動量が所定の閾値を超えた場合には、指とオブジェクト３６とが重なっても指とオブジェクト３６とが接触していないものとして扱い、接触を検出しない。
　パラメータ決定部５３は、検出された接触に基づいて仮想空間内においてオブジェクト３６に接触する指の数を検出し、その検出された指の数に基づいて指とオブジェクト３６との間の相互作用を求めるための相互作用パラメータを決定する。また、相互作用パラメータは摩擦にかかる摩擦パラメータを含み、摩擦パラメータは、指の数に応じて定まる摩擦係数と、指とオブジェクト３６との重なりの大きさとに基づいて算出される。また、パラメータ決定部５３は、オブジェクト３６と指との接触が検出されてからの手２１の指の曲げを示す操作の量にさらに基づいてオブジェクト３６と指が属する手との相対位置を固定する拘束条件を設定するか、オブジェクト３６と指との間に摩擦力を働かせるかを選択する。また、パラメータ決定部５３は、指が属する手３１とオブジェクト３６との間を拘束する拘束条件であって相互作用パラメータに応じた拘束条件を決定する。
　物理計算部５４は、決定された相互作用パラメータや拘束条件に基づいて、オブジェクト３６の動きを計算する。物理計算部５４は、オブジェクト３６の動きを、物理法則をシミュレートする手順に従って計算する。
　画像描画部５５は、計算されたオブジェクト３６の動きに基づいて、オブジェクト３６の３次元画像を描画する。
　図７は、画像処理装置１が実行する処理の一例を示すフロー図である。図７に示す処理は、フレーム（そのフレームの期間が経過する）ごとに繰り返し実行される。以下では処理のフローとともに各機能の処理の詳細について説明する。はじめに、実動作取得部５１は、プロセッサ１１の動作により、モーションキャプチャ１６がキャプチャした実空間の手２１の位置、手２１の向き、指の角度などを入力部１４を介して取得し、手２１の位置、手２１の向き、指の角度などの情報を記憶部１２に格納する（ステップＳ１０１）。例えば、取得された指の角度の変化は、指の曲げ伸ばしを示す操作に相当する。なお、実動作取得部５１はコントローラのトリガ等の操作量に応じて指の角度を算出してもよい。
　次に、接触検出部５２は、仮想空間内において接触判定に用いる（判定用の）複数の指の位置を決定する（ステップＳ１０２）。判定用の複数の指の位置は、例えば実空間における手２１の指の位置が座標変換されることにより生成される、仮想空間の座標系における指の位置である。図８は、実空間に相当する指の角度と、接触判定に用いる指の角度との関係の一例を示す図である。接触検出部５２は、前回のフレームにおいて指（例えば第１の指３２）とオブジェクト３６との接触が検出されている場合には、指の角度がその接触がはじめて検出されたフレームにおける角度（以下では「ロック角度」という）より大きくならないように指の角度を設定する。図８の例では、取得された第１の指３２２の角度が、その接触がはじめて検出されたフレームにおける第１の指３２１のロック角度以上であれば、接触の判定に用いる指の角度はロック角度となる。また、取得された第１の指３２３の角度がロック角度以下であれば、接触の判定に用いる指の角度は取得された指の角度になる。なお、このロック角度を用いた処理は行われなくてもよいが、この処理により、ユーザがより快適にオブジェクト３６を操作することが可能になる。
　また、接触検出部５２は、接触判定に用いる複数の指の位置に基づいて、仮想空間内の複数の指とオブジェクト３６との接触を検出する（ステップＳ１０３）。図９は、接触検出部５２の処理を示すフロー図である。図９は、特にステップＳ１０３の処理の詳細を示すフローである。
　ステップＳ１０３の処理において、接触検出部５２は、はじめに、新たな１つの指を接触判定の対象の指とする（ステップＳ３０１）。そして、接触検出部５２は、判定用の手の位置、向き、指の角度に基づいて、仮想空間内の接触判定領域３７を生成する（ステップＳ３０２）。
　図１０は接触判定領域３７の一例を示す図である。図１０には、第１の指３２について生成される接触判定領域３７が示されている。接触判定領域３７は、第１の指３２などの指のうち指先に近い部分の外側に生成されるものであり、図１０の例では、接触判定領域３７は指先に相当するカプセルの表面とオブジェクト３６との間にあり、指先に相当するカプセルに対して一定の間隔を有する。以下では、接触判定領域３７とオブジェクト３６との接触が検出されることを、第１の指３２、第２の指３３、第３の指３４といった指とオブジェクト３６とが重なるとも表現する。
　次に、接触検出部５２は、生成された接触判定領域３７と複数のオブジェクト３６のいずれかとの接触を検出する（ステップＳ３０３）。接触判定領域３７といずれかのオブジェクト３６との接触が検出された場合には（ステップＳ３０３のＹ）、ステップＳ３０４以降の処理を行い、接触が検出されなかった場合には（ステップＳ３０３のＮ）、ステップＳ３０４以降の処理をスキップし、ステップＳ３０９の処理に遷移する。
　ステップＳ３０４からステップＳ３０８にかかる処理では、接触判定の対象の指とそのオブジェクト３６との過去の接触の状況に基づいて、今回の接触を有効とするか否かを判定している。ステップＳ３０４では、接触検出部５２は前回のフレームにおけるその指と、接触が検出されたオブジェクト３６との接触判定の結果（後述の前回の接触データと同じであってよい）を取得する。
　そして、前回のフレームにおいてその指とそのオブジェクト３６との接触が検出されている場合には（ステップＳ３０５のＹ）、指の表面にある第１接触点Ｐ１と、はじめに接触した際の第２接触点Ｐ２との距離Ｌ１が閾値以下であるかを判定する（ステップＳ３０６）。指を基準とした第１接触点Ｐ１の相対位置は、指とそのオブジェクト３６との接触がはじめて検出されたタイミングにおける接触指４２とオブジェクト３６との第２接触点Ｐ２の相対位置と同じである。ここで、この距離Ｌ１は指とオブジェクト３６との接触が検出されてからの指の移動量に相当する。なお、第２接触点Ｐ２として、オブジェクト３６側の接触点を用いてもよい。この場合、オブジェクト３６を基準とした第２接触点Ｐ２の相対位置は、指とそのオブジェクト３６との接触がはじめて検出されたタイミングにおける接触指４２とオブジェクト３６との接触点Ｐの相対位置と同じである。
　図１１は、第１接触点Ｐ１と第２接触点Ｐ２との距離Ｌ１の計算を説明する図である。例えば第１の指３２がオブジェクト３６とはじめて接した際には、第１接触点Ｐ１と第２接触点Ｐ２とはほぼ同じ位置にある。一方、いくつかのフレームの処理が経過した後には、第１の指３２の位置等の変化により、第１接触点Ｐ１と第２接触点Ｐ２とが離れる場合がある。接触検出部５２は、この第１接触点Ｐ１と第２接触点Ｐ２との距離Ｌ１を算出する。なお、図１１の例では、第１の指３２がオブジェクト３６から離れているが、この例では接触判定領域３７とオブジェクト３６との接触が検出されている。また、第１の指３２とオブジェクト３６とが重なっていても、距離Ｌ１の検出は同じ方法で行われてよい。
　図１２は、接触点Ｐの算出方法を説明する図である。図１１の例では、判定用の指３２６からオブジェクト３６の表面を構成する面ＳＡに接触する接触指４２を求め、その接触指４２とオブジェクト３６の表面との接触点Ｐを求める例を示している。接触検出部５２は、接触点Ｐの算出において、オブジェクト３６を構成する面のうち、接触指４２を求めるために用いる１または複数の面ＳＡを決定する。この面ＳＡは、オブジェクト３６と接触判定領域３７との接触を検出する際に用いられる面と同じであるので決定の詳細については省略する。次に、接触検出部５２は、接触指４２がその決定された面の上に存在し、さらに接触指４２と判定用の指３２６との距離Ｌ２が最小になる条件を満たすように、接触指４２の位置を算出する。この算出方法は、いわゆるGod Objectを実空間の指の位置が変換された指の位置から求める方法と同様のものである。
　そして、第１接触点Ｐ１と第２接触点Ｐ２との距離Ｌ１が判定閾値以下の場合には（ステップＳ３０６のＹ）、接触検出部５２は接触が有効であると決定し、今回のフレームにおける接触データとして、前回の接触データを設定する（ステップＳ３０７）。一方、第１接触点Ｐ１と第２接触点Ｐ２との距離Ｌ１が判定閾値より大きい場合には（ステップＳ３０６のＮ）、接触が無効であると判定し、ステップＳ３０９の処理へ遷移する。
　また、ステップＳ３０５において、前回のフレームにおいてその指とそのオブジェクト３６との接触が検出されていない場合には、接触検出部５２は接触を有効と判断し、ステップＳ３０６、Ｓ３０７の処理をスキップし、ステップＳ３０８の処理へ遷移する。
　ステップＳ３０８においては、接触検出部５２は対象の指といずれかのオブジェクト３６との接触が有効であることを示す接触データであって今回のフレームにおける接触データをメモリに保存する。接触データは指ごとに存在し、１つの接触データは、指を識別する指ＩＤ、接触の有無、接触するオブジェクト３６の物体ＩＤ、接触点Ｐの座標、接触点Ｐにおけるオブジェクト３６の表面の法線を含む。なおステップＳ３０６，Ｓ３０７の処理により、指が同じオブジェクト３６に接触し続けている場合には、接触データには、その指とオブジェクト３６とがはじめに接触した時点の情報が格納される。
　ステップＳ３０８等の処理により、ユーザの指の動きにぶれがあることに起因して接触点Ｐが変化するためにオブジェクト３６の動きが不安定になる現象を防ぐことができる。また、ステップＳ３０６により指のぶれでない移動の場合に接触点Ｐが変化せずにオブジェクト３６の動きが不自然になることを防ぐこともできる。
　そして、ステップＳ３０９においては、すべての指を接触判定の処理の対象としたかを判定し（ステップＳ３０９）、すべての指を接触判定の対象として処理をしていない場合には（ステップＳ３０９のＮ）、ステップＳ３０１の処理へ戻り、すべての指を接触判定の対象として処理をした場合には（ステップＳ３０９のＹ）、ステップＳ１０３の処理を終了する。
　仮想空間内の複数の指とオブジェクト３６との接触が判定されると、パラメータ決定部５３は、過去の接触と現在の接触との少なくとも一方に基づいて、指と物体との間の相互作用に関するパラメータを決定する（ステップＳ１０４）。この相互作用に関するパラメータは、指とオブジェクト３６との間の摩擦力や、指とオブジェクト３６との間の拘束条件の種類を含む。以下ではステップＳ１０４の処理についてさらに詳細に説明する。
　図１３は、パラメータ決定部５３の処理を示すフロー図である。図１３に示される処理は、前回のフレームにおいて手３１の指とオブジェクト３６との関係がＦｉｘモードであり、かつ、接触検出部５２が３本以上の指とオブジェクト３６との接触を検出していない場合にも、予め定められた条件を満たすことを条件にＦｉｘモードを維持させる処理である。この予め定められた条件は、ユーザがオブジェクト３６を掴み続ける意思を持っていると推定される条件であり、詳細は後述する。
　はじめに、パラメータ決定部５３は、前回のフレームにおける手または指とオブジェクト３６との接触モードを取得し、指と接触しかつその接触モードがＦｉｘモードであるオブジェクト３６が存在するかを判定する（ステップＳ４０１）。接触モードがＦｉｘモードであるオブジェクト３６が存在しない場合は（ステップＳ４０１のＮ）、図１３に示される以降の処理はスキップされる。
　接触モードがＦｉｘモードであるオブジェクト３６が存在する場合には（ステップＳ４０１のＹ）、パラメータ決定部５３は前回のフレームにおいてそのオブジェクト３６に接触している指を取得する（ステップＳ４０２）。パラメータ決定部５３は、その取得された指のうち、現在の角度が、（ロックされている角度－０．１（ｒａｄ））より大きい指があるか判定する（ステップＳ４０４）。ロックされている角度は、オブジェクト３６に初めて接触したときの角度である。なお、この角度の条件を満たす指がない場合には（ステップＳ４０４のＮ）、パラメータ決定部５３は、ユーザが物体を掴む意思がないものとして、図１３の処理を終了する。なお、ロックされている角度から減算される０．１ｒａｄの値は、指の動きのブレを考慮して適宜変更されてよい。
　一方、この角度の条件を満たす指がある場合には（ステップＳ４０４のＹ）、パラメータ決定部５３はステップＳ４０６以降に示される別の手法でＦｉｘモードを維持するか否かを判定する。ステップＳ４０６では、パラメータ決定部５３は、前回のフレームにおいてオブジェクト３６に有効に接触する複数の指の側の接触点Ｐの現在の位置に基づいて、オブジェクト３６と手３１との接触を判定するための領域である掴みトリガ３８を生成する（ステップＳ４０６）。
　図１４は、掴みトリガ３８の一例を示す図である。掴みトリガ３８は、例えば、第１の指３２から第３の指３４の表面の接触点の現在の位置（第１接触点Ｐ１の位置）に基づいて生成されてよく、掴みトリガ３８は第１接触点Ｐ１の位置の重心を中心とした球であってよい。
　そして、掴みトリガ３８とオブジェクト３６との接触が検出された場合には（ステップＳ４０７のＹ）、パラメータ決定部５３は、Ｆｉｘモードを維持することを決定し、ステップＳ４０９の処理へ遷移させる。掴みトリガ３８とオブジェクト３６との接触が検出されない場合には（ステップＳ４０７のＮ）、図１３の処理を終了する。
　ステップＳ４０９では、前回のフレームでオブジェクト３６と有効に接触していた指と、そのオブジェクト３６との接触を有効にし、それらの指の前回のフレームにおける接触データを今回の接触データに設定する。
　図１５は、パラメータ決定部５３の処理を示すフロー図である。図１５に示す処理は、図１３に示される処理の後に実行される。図１５に示される処理は、オブジェクト３６との接触が有効とされた指の数に基づいて指とオブジェクト３６との接触モードを決定し、その接触モードおよび接触モードの変化に応じて相互作用パラメータを決定する処理である。この処理は、オブジェクト３６ごとに実行されてよい。また、手３１の指が複数のオブジェクト３６の組をまとめて挟む場合には、そのオブジェクト３６の組についてこの処理が実行されてもよい。
　図１３に示される処理が実行されると、パラメータ決定部５３は、オブジェクト３６に接触する指の数をカウントする（ステップＳ４５１）。オブジェクト３６に接触する指の数は、図１５の例では、接触検出部５２によりそのオブジェクト３６との接触が有効であると判定された指の数である。より具体的には、パラメータ決定部５３は、現在の接触データから、オブジェクト３６ごとに、そのオブジェクト３６の物体ＩＤを有する接触データの数をカウントする。そして、パラメータ決定部５３は、その接触データの数に基づいて、そのオブジェクト３６ごとに現在の物体接触データをオブジェクト３６に関連付けて記憶させる（ステップＳ４５２）。物体接触データは、オブジェクト３６を識別する物体ＩＤとそのオブジェクト３６に接触する指の数と、その接触している指の指ＩＤとを含む。
　次にパラメータ決定部５３は、前回のフレームの物体接触データに基づいて、前回のフレームにおけるオブジェクト３６に接触する指の数と接触モードとを取得する（ステップＳ４５３）。パラメータ決定部５３は、物体接触データに保存されるオブジェクト３６に接触する指の数と接触モードとを取得してもよいし、後述のステップＳ４５６からステップＳ４６３に対応する処理を前回のフレームの物体接触データを用いて実行することで前回のフレームにおけるオブジェクト３６に接触する指の数と接触モードとを取得してもよい。
　次に、パラメータ決定部５３は、オブジェクト３６に接触する指の数を判定する（ステップＳ４５４）。
そして、オブジェクト３６に接触する指の数が１未満の場合には（ステップＳ４５４のＮ）、パラメータ決定部５３は接触がなくなったものとして、指とオブジェクト３６との拘束をリセットし（ステップＳ４５５）、図１５の処理を終了する。より具体的には、パラメータ決定部５３は指とオブジェクト３６との拘束条件を削除する。またパラメータ決定部５３は、指に接触する他のオブジェクト３６がない場合には、さらに接触検出部５２のステップＳ１０２の処理で用いるロック角度の設定も削除する。ロック角度の削除により、次に指とオブジェクト３６とが接触するまで接触判定に用いる指の角度が自由に変化する。
　一方、オブジェクト３６に接触する指の数が１以上の場合には（ステップＳ４５４のＹ）、パラメータ決定部５３は、そのオブジェクト３６に接触する現在の指の数が前回のフレームにおける指の数と異なるか否かを判定する（ステップＳ４５６）。現在の指の数が前回の指の数と異なる場合には（ステップＳ４５６のＹ）、パラメータ決定部５３は現在の指の数に応じて接触モードを選択する（ステップＳ４５７）。より具体的には、パラメータ決定部５３は、接触モードとして、指の数が１の場合はＴｏｕｃｈモード、指の数が２または３以上の場合にはＦｒｉｃモードを選択する。
　ステップＳ４５６において、現在の指の数と前回の指の数が同じ場合には（ステップＳ４５６のＮ）、パラメータ決定部５３は現在オブジェクト３６に接触する指の数が３未満か否か判定する（ステップＳ４５８）。接触する指の数が３未満の場合には（ステップＳ４５８のＹ）、パラメータ決定部５３は前回の接触モードを継続し、拘束条件の多くとも一部を更新する（ステップＳ４５９）。拘束条件の詳細については後述する。
　一方、接触する指の数が３以上の場合には（ステップＳ４５８のＮ）、パラメータ決定部５３はさらにオブジェクト３６と指との重なりの大きさに基づいて、接触モードを決定する。より具体的には、パラメータ決定部５３は現在の指の角度が握りこみ状態へ変化した場合には（ステップＳ４６０のＹ）、接触モードとしてＦｉｘモードを選択し（ステップＳ４６１）、現在の指の角度が握りこみ状態から変化した場合には（ステップＳ４６２のＹ）、接触モードとしてＦｒｉｃモードを選択する。また、現在の指の角度が握りこみ状態へ変化せず、また握りこみ状態からも変化しない場合（ステップＳ４６２のＮ）、パラメータ決定部５３は接触モードを変化させず、ステップＳ４５９へ移る。
　握りこみ状態は、オブジェクト３６と指との重なりの大きさがある基準より大きい状態である。より具体的には、ロック角度からの指の角度の変化量（変化角Ａｃ）が閾値より大きい状態である。ロック角度はオブジェクト３６と指との接触が検出された際の角度であるので、変化角Ａｃは、ロック角度はオブジェクト３６と指との接触が検出されてからの操作による指の角度の変化量である。図１６は、Ｆｉｘモードの判定手法を説明する図である。図１６における第１の指３２２は現在の位置にある。一方、第１の指３２１はオブジェクト３６との接触が検知された際の位置にあり、その角度はロック角度である。パラメータ決定部５３は、現在の第１の指３２２の角度とロック角度との間の変化角Ａｃが、角度閾値Ａｔより大きい場合を握りこみ状態であると決定する。言い換えれば、パラメータ決定部５３は、変化角Ａｃが角度閾値Ａｔ以下から角度閾値Ａｔを超える値に変化した場合には、握りこみ状態へ変化したと判定し、変化角Ａｃが角度閾値Ａｔを超える値から角度閾値Ａｔ以下へに変化した場合には、握りこみ状態から変化したと判定する。
　ステップＳ４５７において新たに接触モードが決定されると、パラメータ決定部５３は手３１とオブジェクト３６との拘束条件を新たに設定する（ステップＳ４６４）。なお、ステップＳ４６４において、接触モードがＴｏｕｃｈモードおよびＦｒｉｃモードの場合には、オブジェクト３６に接触する指の現在の角度をロック角度として保存することで指の角度をロックする。一方、Ｆｉｘモードの場合は、Ｆｒｉｃモードに変更される際に設定されたロック角度を変更しない。
　接触モードがＴｏｕｃｈモードまたはＦｒｉｃモードの場合には、拘束条件はオブジェクト３６の表面の接触点Ｐを介してかかる摩擦力等を表現する条件である。図１７は、オブジェクト３６の拘束の要素を説明する図であり、特に接触モードがＴｏｕｃｈモードまたはＦｒｉｃモードの場合に指とオブジェクト３６との間で拘束する要素を示す図である。図１７に示される摩擦視錐台４６は、接触点Ｐにおいて、第１の指３２とオブジェクト３６との間に摩擦が生じていることを示している。また、図１７におけるＹ軸はオブジェクト３６の表面の法線と同じ向きである。Ｘ軸およびＺ軸はその法線と直交する向きであり、Ｘ軸およびＺ軸は互いに直交する。図１７のＴｗｉｓｔは、その法線を軸としてねじれるように回転する成分を示し、Ｓｗｉｎｇは接触点Ｐを通りその法線と直交する線を軸として回転する成分を示す。
　図１８は、オブジェクト３６の拘束の要素に応じた拘束の手法を示す図である。Ｘ軸およびＺ軸方向の位置の移動については、例えば、第１の指３２の側の第１接触点Ｐ１と、オブジェクト３６側の第２接触点Ｐ２との相対速度が最小になるようにオブジェクト３６および第１の指３２に力をかけるいわゆる固定ジョイントを設定する。ここで、摩擦を表現するために、この固定ジョイントによりオブジェクト３６および第１の指３２にかかる力は静止最大摩擦力または動最大摩擦力を上限としている。一方、Ｚ軸方向の位置の移動については、第１の指３２とオブジェクト３６とが反発しめり込まないように制限する拘束条件となっている。ＴｗｉｓｔおよびＳｗｉｎｇの成分については、回転する角度を実際の数分の一にするなどの調整をしている。パラメータ決定部５３は、接触モードがＴｏｕｃｈモードまたはＦｒｉｃモードの場合には、接触する各指についてこれらの要素について拘束条件を決定する。
　ここで、パラメータ決定部５３は、接触モードがＴｏｕｃｈモードであるかＦｒｉｃモードであるかに応じて静止摩擦係数（または動摩擦係数）を設定する。より具体的には、Ｔｏｕｃｈモードにおける静止摩擦係数（または動摩擦係数）が、Ｆｒｉｃモードにおけるものより小さくなるように設定される。また、パラメータ決定部５３は、指とオブジェクト３６との重なりの大きさと、その静止摩擦係数（または動摩擦係数）とに基づいて最大静止摩擦力（または最大動摩擦力）を算出する。指とオブジェクト３６との重なりの大きさは、例えば、指の第１接触点Ｐ１のオブジェクト３６の表面からの深さＤ（図５参照）である。これにより、ユーザがオブジェクト３６を触ることを意図していると推定されるＴｏｕｃｈモードで物体が必要以上に動くことを抑止し、ユーザがオブジェクト３６を挟もうとしていると推定されるＦｒｉｃモードでオブジェクト３６が滑ってしまう現象を防ぐことができる。これにより、直観的な操作を可能にする。なお、ステップＳ４５９においては、パラメータ決定部５３は、静止摩擦係数（または動摩擦係数）は変更せず、指とオブジェクト３６との重なりの大きさと、その静止摩擦係数（または動摩擦係数）とに基づいて最大静止摩擦力（または最大動摩擦力）を算出する。
　図１５に示される処理では、オブジェクト３６に接触する指の本数が同じであっても、オブジェクト３６と指との重なりの大きさによってＦｒｉｃモードとするかＦｉｘモードにするかを選択している。これにより、例えばものを投げる際に、オブジェクト３６が手３１から離れていく動作をより自然に再現できる。また、単に手３１がオブジェクト３６を離す際のオブジェクト３６の動きも、より自然に再現することができる。なお、パラメータ決定部５３は、指の本数と、指とオブジェクト３６の重なりの大きさではなく、オブジェクト３６の互いに反対の側に指が存在するか否かと、重なりの大きさとに基づいて、ＦｒｉｃモードとするかＦｉｘモードにするかを選択してもよい。
　ここまでの説明では、Ｘ軸およびＺ軸方向の位置の移動について、指とオブジェクト３６とを拘束する固定ジョイントを設定しているが、代わりに、パラメータ決定部５３は手３１を代表する代表点ＰＨと、オブジェクト３６上の第２接触点Ｐ２との間で固定ジョイントを設定してもよい。この場合、パラメータ決定部５３は代表点ＰＨと、オブジェクト３６側の第２接触点Ｐ２との相対速度が最小になるようにオブジェクト３６および代表点ＰＨに力をかける。したがって代表点ＰＨと第２接触点Ｐ２との相対位置が保存される。代表点ＰＨは、例えば指の付け根や掌の中央に相当し、手３１の位置を代表する位置である。
　図１９および２０は、オブジェクト３６と仮想の手３１との関係を説明する図である。第１の指３２や第２の指３３などの指は、その位置がぶれやすい。例えば、図１９に示すようにオブジェクト３６と接触していても、手３１の移動などにより位置がぶれてしまい（図２０参照）、固定ジョイントを介してオブジェクト３６の動きをぶれさせてしまう。そこで、仮想の手３１とオブジェクト３６とを固定ジョイントを介して拘束することにより、そのぶれによる影響を軽減することが可能になる。なお、拘束によりに生じる力はオブジェクト３６の表面にある第２接触点Ｐ２にかかる。
　接触モードがＦｉｘモードの場合には、パラメータ決定部５３は、拘束条件として、オブジェクト３６と指との接触点Ｐであってオブジェクト３６の表面にある複数の接触点Ｐの重心と、代表点ＰＨの位置との相対速度を０とする条件を決定する。こちらについてはユーザが掴む操作をしていると推定されるので、接触点Ｐを介した摩擦力をかける必要性が低く、より単純な計算で直観的な操作を実現することができる。
　ここで、ステップＳ４５７において現在の接触モードが前回の接触モードと同じ場合には（ステップＳ４５７のＮ）、パラメータ決定部５３は接触モードに応じて拘束条件の多くとも一部を更新する（ステップＳ４５９）。より具体的には、接触モードがＴｏｕｃｈモードまたはＦｒｉｃモードの場合には、指とオブジェクト３６との重なりの大きさに基づいて、最大静止摩擦力または最大動摩擦力を更新する。接触モードが遷移したか否かに応じて処理を異ならせることで、処理量を削減したり、不安定な動きを防止することが可能になる。
　このように、オブジェクト３６に接触する指の本数といった状況に応じてオブジェクト３６と手３１や指との相互作用を示すパラメータ（拘束条件や摩擦係数など）を変化させることで、ユーザがオブジェクト３６を直観的に操作することが可能になる。

 

Claims (6)

  1. 　手の指の曲げを示す操作を取得する取得手段と、
    　仮想空間における、前記指と物体との接触を検出する接触検出手段と、
    　前記物体と前記指との接触が検出されてからの前記手の指の曲げを示す操作の量に基づいて、前記物体と前記指が属する手との相対位置を固定する拘束条件を設定するか、前記物体と前記指との間に摩擦力を働かせるかを選択する選択手段と、
    　前記選択に基づいて、前記物体の動きを計算する計算手段と、
    　前記動きが計算された物体を描画する描画手段と、
    　を含む画像処理装置。
  2. 　請求項１に記載の画像処理装置において、
    　前記選択手段は、前記物体に接触する指の数が３以上の場合に、前記物体と前記指との接触が検出されてからの前記手の指の曲げを示す操作の量に基づいて、前記物体と前記指が属する手との相対位置を固定する拘束条件を設定するか、前記物体と前記指との間に摩擦力を働かせるかを選択する、
    　画像処理装置。
  3. 　請求項２に記載の画像処理装置において、
    　前記選択手段は、前記物体に接触する指の数が２以下の場合に、前記数に応じて前記物体と前記指との間の摩擦係数を設定する、
    　画像処理装置。
  4. 　請求項１から３のいずれかに記載の画像処理装置において、
    　前記選択手段は、前記物体と前記指との接触が検出されてからの前記操作が示す指の角度の変化量に基づいて、前記物体と前記指が属する手との相対位置を固定する拘束条件を設定するか、前記物体と前記指との間に摩擦力を働かせるかを選択する、
    　画像処理装置。
  5. 　手の指の曲げを示す操作を取得するステップと、
    　仮想空間における、前記指と物体との接触を検出するステップと、
    　前記物体と前記指との接触が検出されてからの前記手の指の曲げを示す操作の量に基づいて、前記物体と前記指が属する手との相対位置を固定する拘束条件を設定するか、前記物体と前記指との間に摩擦力を働かせるかを選択するステップと、
    　前記選択に基づいて、前記物体の動きを計算するステップと、
    　前記動きが計算された物体を描画するステップと、
    　を含む画像処理方法。
  6. 　手の指の曲げを示す操作を取得する取得手段、
    　仮想空間における、前記指と物体との接触を検出する接触検出手段、
    　前記物体と前記指との接触が検出されてからの前記手の指の曲げを示す操作の量に基づいて、前記物体と前記指が属する手との相対位置を固定する拘束条件を設定するか、前記物体と前記指との間に摩擦力を働かせるかを選択する選択手段、
    　前記選択に基づいて、前記物体の動きを計算する計算手段、および、
    　前記動きが計算された物体を描画する描画手段、
    　としてコンピュータを機能させるためのプログラム。
PCT/JP2018/039227 2017-10-26 2018-10-22 画像処理装置、画像処理方法およびプログラム WO2019082853A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/757,558 US11181972B2 (en) 2017-10-26 2018-10-22 Image processing apparatus, image processing method, and program
JP2019551128A JP6874149B2 (ja) 2017-10-26 2018-10-22 画像処理装置、画像処理方法およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2017-207361 2017-10-26
JP2017207361 2017-10-26

Publications (1)

Publication Number Publication Date
WO2019082853A1 true WO2019082853A1 (ja) 2019-05-02

Family

ID=66246562

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/039227 WO2019082853A1 (ja) 2017-10-26 2018-10-22 画像処理装置、画像処理方法およびプログラム

Country Status (3)

Country Link
US (1) US11181972B2 (ja)
JP (1) JP6874149B2 (ja)
WO (1) WO2019082853A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020121937A1 (de) 2020-08-21 2022-02-24 Ford Global Technologies, Llc Verfahren zur computerimplementierten Simulation einer virtuellen Hand
WO2023281819A1 (ja) * 2021-07-08 2023-01-12 ソニーグループ株式会社 オブジェクトの保持を判定する情報処理装置
WO2024090303A1 (ja) * 2022-10-24 2024-05-02 ソニーグループ株式会社 情報処理装置及び情報処理方法

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696795B2 (en) * 2015-02-13 2017-07-04 Leap Motion, Inc. Systems and methods of creating a realistic grab experience in virtual reality/augmented reality environments

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05169377A (ja) * 1991-12-19 1993-07-09 Nec Corp 物体把持方式
US20060122819A1 (en) * 1999-10-01 2006-06-08 Ron Carmel System, method and data structure for simulated interaction with graphical objects

Family Cites Families (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69523323T2 (de) * 1994-07-19 2002-07-04 Asahi Chemical Ind System für virtuelle realität und für entfernte realität
US10168873B1 (en) * 2013-10-29 2019-01-01 Leap Motion, Inc. Virtual interactions for machine control
US10416834B1 (en) * 2013-11-15 2019-09-17 Leap Motion, Inc. Interaction strength using virtual objects for machine control
JP2017182532A (ja) 2016-03-31 2017-10-05 ソニー株式会社 情報処理装置、表示制御方法及びプログラム
WO2017204120A1 (ja) * 2016-05-25 2017-11-30 株式会社ソニー・インタラクティブエンタテインメント 画像処理装置、画像処理方法およびプログラム
WO2018079382A1 (ja) * 2016-10-28 2018-05-03 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、制御方法、プログラム、及び記憶媒体
US10996814B2 (en) * 2016-11-29 2021-05-04 Real View Imaging Ltd. Tactile feedback in a display system
JP6959991B2 (ja) * 2017-12-19 2021-11-05 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、情報処理方法、及びプログラム
US11875012B2 (en) * 2018-05-25 2024-01-16 Ultrahaptics IP Two Limited Throwable interface for augmented reality and virtual reality environments
US10884487B2 (en) * 2019-03-21 2021-01-05 Microsoft Technology Licensing, Llc Position based energy minimizing function

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH05169377A (ja) * 1991-12-19 1993-07-09 Nec Corp 物体把持方式
US20060122819A1 (en) * 1999-10-01 2006-06-08 Ron Carmel System, method and data structure for simulated interaction with graphical objects

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
FUNAHASHI, KENJI ET AL.: "A Model for Cooperative Manipulation of Virtual Objects with Both Hands", TRANSACTIONS OF THE INFORMATION PROCESSING SOCIETY OF JAPAN, vol. 39, no. 5, 15 May 1998 (1998-05-15), pages 1334 - 1342, ISSN: 0387-5806 *
TSUJI, SABURO ET AL.: "Approaches to Sensibility Information Processing", THE SCIENCE OF SENSIBILITY, 25 March 1998 (1998-03-25), pages 104 - 109, ISBN: 4-7819-0828-4 *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE102020121937A1 (de) 2020-08-21 2022-02-24 Ford Global Technologies, Llc Verfahren zur computerimplementierten Simulation einer virtuellen Hand
US11726554B2 (en) 2020-08-21 2023-08-15 Ford Global Technologies, Llc Computer-implemented simulation of a virtual hand
WO2023281819A1 (ja) * 2021-07-08 2023-01-12 ソニーグループ株式会社 オブジェクトの保持を判定する情報処理装置
WO2024090303A1 (ja) * 2022-10-24 2024-05-02 ソニーグループ株式会社 情報処理装置及び情報処理方法

Also Published As

Publication number Publication date
US20210141442A1 (en) 2021-05-13
JPWO2019082853A1 (ja) 2020-04-02
US11181972B2 (en) 2021-11-23
JP6874149B2 (ja) 2021-05-19

Similar Documents

Publication Publication Date Title
JP6563596B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP6874149B2 (ja) 画像処理装置、画像処理方法およびプログラム
Kim et al. Touch and hand gesture-based interactions for directly manipulating 3D virtual objects in mobile augmented reality
JP5213183B2 (ja) ロボット制御システム及びロボット制御プログラム
US20150077520A1 (en) Information processor and information processing method
JP2010108500A (ja) 着用型コンピューティング環境基盤のユーザインターフェース装置およびその方法
JP6144743B2 (ja) ウェアラブル装置
KR102021851B1 (ko) 가상현실 환경에서의 사용자와 객체 간 상호 작용 처리 방법
CN106445118B (zh) 虚拟现实交互方法及装置
WO2023173668A1 (zh) 一种虚拟场景中的输入识别方法、设备及存储介质
CN104699249A (zh) 一种信息处理方法及电子设备
JP6360509B2 (ja) 情報処理プログラム、情報処理システム、情報処理方法、および情報処理装置
US9886085B2 (en) Image processing apparatus, image processing method, and program
EP3971683A1 (en) Human body portion tracking method and human body portion tracking system
WO2021172580A1 (ja) 位置・力制御システム、装着ユニット、制御ユニット、位置・力制御方法及びプログラム
KR101469851B1 (ko) 인체 자세 예측을 위한 다목적 최적화 기반의 방법
KR101472314B1 (ko) 단일 카메라를 이용한 ３차원 입력장치 및 방법
US20220415094A1 (en) Method and system for estimating gesture of user from two-dimensional image, and non-transitory computer-readable recording medium
KR101719454B1 (ko) 키보드 타이핑 모션 생성 방법 및 장치
WO2023176034A1 (ja) 制御装置および制御方法
US20240033922A1 (en) Systems, methods, and computer program products for implementing object permanence in a simulated environment
CN105787971A (zh) 一种信息处理方法和电子设备
CN111427489B (zh) 一种客户端窗体移动方法、装置和设备及可读存储介质
US20220061700A1 (en) Human body portion tracking method and human body portion tracking system
JP7070245B2 (ja) 情報処理装置、動作制御プログラム、及び動作制御方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18869951

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019551128

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 18869951

Country of ref document: EP

Kind code of ref document: A1