WO2021095493A1 - 制御装置、力覚提示装置、制御方法 - Google Patents

制御装置、力覚提示装置、制御方法 Download PDF

Info

Publication number
WO2021095493A1
WO2021095493A1 PCT/JP2020/039960 JP2020039960W WO2021095493A1 WO 2021095493 A1 WO2021095493 A1 WO 2021095493A1 JP 2020039960 W JP2020039960 W JP 2020039960W WO 2021095493 A1 WO2021095493 A1 WO 2021095493A1
Authority
WO
WIPO (PCT)
Prior art keywords
contact
virtual object
wire
force
force sense
Prior art date
Application number
PCT/JP2020/039960
Other languages
English (en)
French (fr)
Inventor
田島 大輔
洋平 福馬
山野 郁男
Original Assignee
ソニーグループ株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by ソニーグループ株式会社 filed Critical ソニーグループ株式会社
Priority to US17/764,739 priority Critical patent/US12118150B2/en
Priority to EP20887013.9A priority patent/EP4060452A4/en
Publication of WO2021095493A1 publication Critical patent/WO2021095493A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014Hand-worn input/output arrangements, e.g. data gloves

Definitions

  • This technology relates to a control device that controls a force sense presentation device that presents a force sense when touching an object, a force sense presentation device, and a technical field of a control method of the force sense presentation device.
  • VR Virtual Reality
  • a technology for perceiving a sense of force as if a virtual object is touched or grasped by a force sense presenting device is known. ..
  • a force sensation presenting device for example, a type that is worn on a user's finger by a glove type or the like as disclosed in Patent Document 1 below is known.
  • a wire having one end fixed to a ring-shaped member fixed to a joint portion of a finger by means such as a band is laid along the fingertip of the wire.
  • the force sensation is expressed by a brake mechanism that prevents the wire from being extended to the side.
  • Patent Document 1 since the expression of force is realized by a wire braking mechanism, that is, a mechanism for braking a wire that is delivered in the fingertip direction, the feeling of touching an object can be expressed, but touching. It is not possible to express the reaction force (feeling that the finger is pushed back) from the object when the object is pushed. In other words, it lacks the accuracy of force presentation in that it cannot fully express the force sense that should actually be obtained.
  • a force sense presentation device it is important not to hinder the free movement of the target part when attached to a target part of force sense presentation such as a finger, in order to enhance the user's immersive feeling in the virtual space. Is.
  • This technology was made in view of the above circumstances, and aims to improve the accuracy of force sense presentation while preventing the free movement of the target part from being hindered when the user is not touching the virtual object.
  • the purpose is.
  • the control device includes a first member that is mechanically interlocked with the movement of the target part of the user and is displaced, and a second member that is freely displaceable in the direction of contact and separation with respect to the first member.
  • a control for a force sense presenting device having a drive unit for driving the second member and presenting a force sense to the target part, the virtual object and the target part in a virtual space in which a virtual object is arranged are used. It is provided with a control unit that controls to change the driving state of the second member according to the positional relationship of the second member.
  • the second member comes into contact with the first member.
  • the driving state of the second member is changed according to the positional relationship between the virtual object and the target portion as described above, it is possible to apply a reaction force from the virtual object side to the first member. It is possible to perceive not only the feeling of touching an object but also the reaction force from the object such that the target part is pushed back from the touched object.
  • control unit has a configuration in which the driving state is changed according to the distance between the virtual object and the target portion. This eliminates the need to estimate the magnitude of the force exerted by the target site on the virtual object in expressing the sensation of touching the object and the reaction force from the object.
  • the control unit controls to keep the second member at a predetermined position separated from the first member.
  • This makes it possible to keep the second member at a retracted position sufficiently separated from the first member in a state where the target portion is sufficiently separated from the virtual object in the virtual space. That is, it is possible to prevent the first member, which is displaced in conjunction with the target portion, from coming into contact with the second member and hindering the movement of the target portion.
  • the control unit estimates the presence or absence of contact of the target site with the virtual object based on the separation distance, and when it is estimated that the contact has occurred, the second It is conceivable that the member is controlled to be brought into contact with the first member. This makes it possible to give the target part a drag force that expresses contact with the object in response to the presumption that the target part has come into contact with the virtual object in the virtual space.
  • the second member becomes the first member after the separation distance becomes equal to or less than the threshold value until it is estimated that the contact has occurred. It is conceivable that the second member is controlled to be driven so as to follow the second member at regular intervals. This makes it possible to keep the position of the second member close to the first member when the target part approaches the virtual object in the virtual space and contact with the virtual object is predicted. ..
  • the control unit when the separation distance decreases from the time when the contact is estimated, the control unit sets the second member so as to give a reaction force to the first member. It is conceivable that the configuration is such that the driving is controlled. This makes it possible to express the reaction force from the touched object when the touched object is pushed further.
  • control unit is configured to control the characteristics of applying the reaction force to the first member according to the type of the virtual object.
  • the characteristic of applying the reaction force to the target portion when the touched object is further pushed is changed according to the type of the virtual object.
  • the force sense presenting device has a first member that is mechanically interlocked with the movement of the target portion of the user and is displaced, and a first member that is freely displaceable in the direction of contact and separation with respect to the first member.
  • the second member is provided with two members and a drive unit for driving the second member, and the second member is provided by the drive unit according to the positional relationship between the virtual object and the target portion in a virtual space in which the virtual object is arranged.
  • the driving state of is changed.
  • the second member is driven so as to increase the clearance between the second member and the first member when the target part is sufficiently far from the virtual object. This makes it possible to prevent the second member from coming into contact with the first member and hindering the free movement of the target portion. Further, if the driving state of the second member is changed according to the positional relationship between the virtual object and the target portion as described above, it is possible to apply a reaction force from the virtual object side to the first member. It is possible to perceive not only the feeling of touching an object but also the reaction force from the object such that the target part is pushed back from the touched object.
  • the driving state changes according to the distance between the virtual object and the target portion. This eliminates the need to estimate the magnitude of the force exerted by the target site on the virtual object in expressing the sensation of touching the object and the reaction force from the object.
  • the drive unit when the separation distance is larger than the threshold value, the drive unit is configured to keep the second member at a predetermined position separated from the first member. It is conceivable to do. This makes it possible to keep the second member at a predetermined retracted position sufficiently separated from the first member in a state where the target portion is sufficiently separated from the virtual object in the virtual space. That is, it is possible to prevent the first member, which is displaced in conjunction with the target portion, from coming into contact with the second member and hindering the movement of the target portion.
  • the driving unit uses the second member as the first member. It is conceivable to make it in contact with. This makes it possible to give the target part a drag force that expresses contact with the object in response to the presumption that the target part has come into contact with the virtual object in the virtual space.
  • the second member is the first member after the separation distance becomes equal to or less than the threshold value until it is estimated that the contact has occurred. It is conceivable that the second member is driven so as to follow the members at regular intervals. This makes it possible to keep the position of the second member close to the first member when the target part approaches the virtual object in the virtual space and contact with the virtual object is predicted. ..
  • the driving unit exerts a reaction force on the first member when the separation distance decreases from the time when the contact is presumed to have occurred. It is conceivable that the two members are driven. This makes it possible to express the reaction force from the touched object when the touched object is pushed further.
  • the driving unit has a configuration in which the characteristics of applying the reaction force to the first member are changed according to the type of the virtual object.
  • the characteristic of applying the reaction force to the target portion when the touched object is further pushed is changed according to the type of the virtual object.
  • the target portion is configured to be the finger of the user.
  • the force sense presenting device includes a wire that is interlocked with the movement of the target portion, and the first member is a member that is mechanically interlocked with the wire. ..
  • the second member comes into contact with the first member or applies a reaction force
  • a drag force or a reaction force is applied to the target portion via the wire.
  • a member to be arranged at a target part such as a finger when presenting a force sense includes a locking portion for locking one end of the wire and the wire as the target part. It is possible to use only a guide part for crawling along.
  • the target portion is the finger of the user, and the wire is arranged along the back of the finger.
  • the second member is brought into contact with the first member and a force is applied, it is possible to generate a force in the direction of bending the fingers to the dorsal side.
  • the drive unit is arranged on the fingertip side or the arm side of the user's wrist. As a result, the drive unit is arranged so as not to straddle the user's wrist.
  • the drive unit stops applying a reaction force to the first member by the second member when the drive torque of the second member reaches an upper limit value. It is conceivable to have a configuration. As a result, it is possible to prevent an excessive load from being applied to the joint portion for moving the target portion in the user and the drive mechanism portion of the second member.
  • the force sense presenting device includes a wire that is interlocked with the movement of the target portion, the first member is a member that is mechanically interlocked with the wire, and the pull-in amount of the wire is determined. It is conceivable that it is configured so as not to exceed the fixed amount. This makes it possible to regulate the pull-in amount of the wire so as not to exceed the movable range of the joint portion for moving the target portion in the user and the movable range of the drive mechanism portion of the second member.
  • This is a control method of a force sense presenting device that has a drive unit for driving the second member and presents a force sense to the target portion, and is a method of controlling the virtual object in a virtual space in which a virtual object is arranged.
  • This is a control method for changing the driving state of the second member according to the positional relationship between the object and the target portion. Even with such a control method, the same operation as that of the control device and the force sense presentation device according to the present technology can be obtained.
  • FIG. 1 shows a configuration example of a VR (Virtual Reality) system 10 including a control device 1 and a force sense presentation device 2 as an embodiment according to the present technology.
  • the VR system 10 includes a display device 3 and a hand recognition device 4 together with a control device 1 and a force sense presentation device 2.
  • the force sense presentation device 2 is attached to the target part of the force sense presentation among the parts of the user to present the force sense to the user.
  • the force sensation presenting device 2 of this example is detachably attached to the user's hand and presents the force sensation with the user's finger as a target portion.
  • the finger recognition device 4 recognizes the position and posture of the fingers in the hand of the user who is equipped with the force sense presentation device 2.
  • the hand recognition device 4 of this example includes an imaging unit (camera unit) and an image recognition processing unit that performs image recognition processing on the captured image obtained by the imaging unit, and can perform motion capture without attaching a marker to the user. It is configured as a device that can be performed. Examples of the hand recognition device 4 include Leap Motion (registered trademark) and the like.
  • the finger recognition device 4 in this example includes each part of the user's hand to which the force sense presentation device 2 is attached, specifically, for example, a joint part of each finger, a fingertip part, a palm (palm) part, a wrist part, and the like.
  • the finger recognition device 4 While recognizing each predetermined part in the hand, the position of each recognized part in the real space is recognized.
  • the finger recognition device 4 outputs the information indicating the position of each part in the real space of the user's hand recognized in this way to the control device 1 as the finger recognition result information.
  • the control device 1 is configured as a computer device such as a personal computer, and performs generation of a virtual space image which is an image expressing the virtual space VS, control for displaying the generated virtual space image on the display device 3, and the like. ..
  • FIG. 2 shows an example of a virtual space image.
  • a virtual hand VH representing the hand on which the force sense presenting device 2 is attached is displayed as an image on the virtual space VS.
  • the movement and displacement of the virtual hand VH on the virtual space VS reflect the actual movement and displacement of the hand recognized by the hand recognition device 4.
  • the position of the virtual hand VH in the virtual space VS is a mapping of the position of the hand in the real space recognized by the hand recognition device 4 to the virtual space VS, and reflects the position in the real space. It has become.
  • the virtual object VO is arranged in the virtual space VS represented by the virtual space image.
  • a virtual hand VH and two virtual objects VO are arranged.
  • the control device 1 creates a virtual hand VH that reflects the user's actual hand movement at a position that reflects the position in the real space as described above, based on the finger recognition result information input from the hand recognition device 4.
  • the expressed virtual space image is generated, and the virtual space image is displayed on the display device 3.
  • the control device 1 also controls the force sense presentation device 2, and this point will be described later.
  • the display device 3 displays a virtual space image to the user. That is, the user is made to visually perceive the virtual space VS represented by the virtual space image.
  • the display device 3 of this example is configured as an HMD (head-mounted display) that is detachably attached to the user's head.
  • the form of the display device 3 is not limited to the form of the HMD, and other forms such as a form in which a virtual space image is displayed to the user without being attached to the user can be adopted.
  • the force sense presentation device 2 has a glove portion 20 that is detachably attached to the user's hand, a wire 21 as a wire rod made of metal or resin having a diameter of, for example, about several mm, and each of the glove portion 20. It includes a locking portion 22 fixed by the wire, a guide member 23, and a wire control unit 24.
  • the locking portion 22 and the guide member 23 are arranged on the back side of the fingers to be subjected to the force sense presentation.
  • the dorsal side of the fingers means the back side of the hand, which is the back side of the hand and the palm (palm) side, which are the front and back sides of the hand.
  • the locking portion 22 is arranged at a position closer to the fingertip side than the guide member 23 on the target finger, and locks one end of the wire 21.
  • the guide member 23 guides the wire 21 so as to crawl along the back of the target finger.
  • the guide member 23 is formed with guide holes 23a and 23b through which the wire 21 is inserted into the end on the fingertip side and the end on the root side of the finger, respectively, and the wire 21 is formed with these guide holes.
  • the finger is guided so as to be arranged from the fingertip side toward the base of the finger.
  • the wire control unit 24 includes, for example, a plate-shaped pedestal portion 25 fixed to the glove portion 20 and a wire control portion 26 formed on the pedestal portion 25, and the wire 21 is extended toward the fingertip and the fingertip side. Controls the pulling back of the wire 21 to the opposite side.
  • the wire control unit 24 is arranged on the back side of the palm side and the back side of the hand, similarly to the locking portion 22 and the guide portion 23 described above.
  • the wire control unit 24 of this example is arranged at a position on the back of the hand, that is, at a position on the hand that is closer to the fingertip than the wrist and closer to the wrist than the finger.
  • a guide hole 25a is formed at the end of the pedestal portion 25 on the fingertip side, and the wire 21 is inserted into the guide hole 25a.
  • the wire control unit 26 locks the other end of the wire 21 by having the internal structure 26b described below inside the case 26a shown in the drawing, and also regarding the feeding and pulling back of the wire 21 described above. Take control.
  • the locking portion 22 that locks the wire 21 on the fingertip side is the first joint (DIP joint: distal interphalangeal joint) of the target finger. ) And the second joint (PIP joint: proximal interphalangeal joint). Further, the guide member 23 is arranged between the second joint and the third joint (MP joint: metacarpal phalangeal joint) of the target finger.
  • DIP joint distal interphalangeal joint
  • PIP joint proximal interphalangeal joint
  • MP joint metacarpal phalangeal joint
  • the wire control unit 24 including the wire control unit 26 is arranged at a position on the fingertip side of the user's hand and on the wrist side of the finger, whereby the wire control unit 24 is arranged. Is placed so that it does not straddle the user's wrist. Therefore, it is possible to prevent the movement of the user's hand from being hindered, and it is possible to enhance the user's immersive feeling in the virtual space.
  • the wire control unit 24 may be arranged on the arm side of the wrist.
  • FIG. 5 and 6 are views for explaining the configuration of the internal structure 26b of the wire control unit 26,
  • FIG. 5 is a perspective view of the wire control unit 24 with the case 26a removed
  • FIG. 6 is the wire. It is an exploded perspective view which disassembled the component of the main part in the internal structure 26b of a control unit 24.
  • the internal structure 26b includes, for example, a motor 27 which is a servomotor, a holding portion 28 which is fixed to a pedestal portion 25 and holds the motor 27, a direction in which the other end of the wire 21 is locked, and a direction in which the wire 21 is wound up.
  • the pulley 29 is rotatable in the opposite direction (the direction in which the wire 21 is extended toward the fingertip side), the rotating portion 30 is rotated in conjunction with the rotation of the rotating shaft 27a of the motor 27, and the rotating shaft 27a.
  • the positions of the urging portion 31 (see FIG. 6), which is attached and the inner peripheral portion of the pulley 29 is fixed at the outer peripheral portion to give urging force to the wire 21, and the wire-side stopper 29a of the pulley 29, which will be described later, in the rotation direction.
  • It includes a position sensor 32 for detection, a position sensor 32, and a cover portion 33 that covers at least a part of the pulley 29.
  • the urging portion 31 has a spring that is wound in the axial direction of the rotating shaft 27a of the motor 27, and applies an urging force in the axial direction of the rotating shaft 27a to the pulley 29 fixed to the outer peripheral portion. To do. This urging force is also applied to the wire 21 whose other end is locked to the pulley 29.
  • FIG. 7 is an explanatory view of the urging direction by the urging unit 31.
  • the urging direction by the urging portion 31 is the direction indicated by the arrow Y in the drawing, that is, the direction in which the wire 21 is wound up.
  • the urging force by the urging unit 31 is set to a slight urging force that maintains the tension of the wire 21, and does not hinder the free movement of the hand to which the force sense presenting device 2 is attached. It is designed as.
  • the pulley 29 is made rotatable coaxially with the rotation shaft 27a of the motor 27 by fixing the inner peripheral portion to the outer peripheral portion of the urging portion 31 as described above.
  • the pulley 29 is formed with a protrusion that protrudes in a direction orthogonal to the rotating surface, and the protrusion forms a wire-side stopper 29a.
  • the rotating portion 30 is configured as, for example, a substantially disk-shaped member, and the inner peripheral portion is fixed to the rotating shaft 27a of the motor 27 and rotates coaxially with the rotating shaft 27a in conjunction with the rotation of the rotating shaft 27a.
  • the rotating portion 30 is formed with a drive portion-side stopper 30a that comes into contact with the wire-side stopper 29a of the pulley 29 to regulate the rotation of the pulley 29, that is, the movement of the wire 21 can be regulated.
  • the drive unit side stopper 30a is formed as a portion of the outer periphery of the disk-shaped main body portion of the rotating portion 30 that protrudes in the outer peripheral direction.
  • the drive unit side stopper 30a is located on the track of the wire side stopper 29a accompanying the rotation of the pulley 29, on the side in the feeding direction with respect to the wire side stopper 29a. Then, the drive unit side stopper 30a is in a direction in which the rotating portion 30 is rotated by the motor 27 so as to be in contact with and separated from the wire side stopper 29a, that is, in a direction in which the rotation unit 30 is approached and separated from the wire side stopper 29a. It is said to be freely displaceable.
  • the position sensor 32 is, for example, a potentiometer and detects the rotation angle of the pulley 29. This information on the rotation angle can be rephrased as information indicating the position of the wire-side stopper 29a in the rotation direction of the pulley 29.
  • FIG. 8 is an operation explanatory view of the force sense presentation device 2.
  • the position (position in the rotation direction) of the drive unit side stopper 30a changes with the rotation of the rotation unit 30.
  • the position of the wire-side stopper 29a changes according to the rotation of the pulley 29 in response to the movement of the finger (bending or stretching of the finger) to which the force sense is presented.
  • FIG. 9 is a block diagram showing an example of an electrical configuration of the force sense presentation device 2.
  • the force sense presenting device 2 includes the motor 27 and the position sensor 32 described above as an electrical configuration, and also includes a control unit 35 and a communication unit 36.
  • the control unit 35 is configured to include, for example, a microcomputer having a CPU (Central Processing Unit), a ROM (Read Only Memory), a RAM (Random Access Memory), or a signal processing device such as an IC (Integrated Circuit). Overall control of the force sense presentation device 2 is performed.
  • the control unit 35 is connected to a communication unit 36 that performs data communication with an external device, and can exchange various data with the control device 1 shown in FIG. 1 via the communication unit 36. It is possible. Further, the control unit 35 controls the drive of the motor 27 based on the instruction from the control device 1 and the detection information by the position sensor 32. The specific processing executed by the control unit 35 with respect to the drive control of the motor 27 will be described later.
  • FIG. 10 is a block diagram showing an example of the internal configuration of the control device 1.
  • the control device 1 includes a CPU 11, a ROM 12, a RAM 13, a bus 14, an input / output interface 15, an input unit 16, an output control unit 17, a storage unit 18, and a communication unit 19.
  • the CPU 11 executes various processes according to the program stored in the ROM 12 or the program loaded from the storage unit 18 into the RAM 13.
  • the RAM 13 also appropriately stores data and the like necessary for the CPU 11 to execute various processes.
  • the CPU 11, ROM 12, and RAM 13 are connected to each other via the bus 14.
  • An input / output interface 15 is also connected to the bus 14.
  • An input unit 16, an output control unit 17, a storage unit 18, and a communication unit 19 are connected to the input / output interface 15.
  • the input unit 16 comprehensively indicates an input device for a user to input various information to the control device 1, and specifically, is composed of a keyboard, a mouse, a touch panel, and the like.
  • the output control unit 17 controls an output device such as a display or a speaker connected to the control device 1. The display control for displaying the virtual space image on the display device 3 shown in FIG. 1 is performed via the output control unit 17.
  • the storage unit 18 is composed of a flash memory device, an HDD (Hard Disk Drive), or the like.
  • the communication unit 19 performs communication processing and inter-device communication via the network.
  • the CPU 11 can perform data communication with the control unit 35 of the force sense presenting device 2 via the communication unit 19. Further, the CPU 11 can input the finger recognition result information from the finger recognition device 4 via the communication unit 19.
  • control device 1 it is possible to upload and download data and programs by communication by the communication unit 19.
  • the CPU 11 generates the virtual space image and controls the force sense presentation device 2 based on a predetermined program (application program).
  • FIG. 11 is an explanatory diagram of a control mode of the force sense presenting device 2 defined in the embodiment.
  • the drive unit side stopper 30a In the idling mode shown in FIG. 11A, the drive unit side stopper 30a is positioned at a predetermined retracted position to prevent the wire side stopper 29a, which is displaced due to the bending of the target finger, from coming into contact with the drive unit side stopper 30a. This is a mode for preventing the free movement of the fingers from being hindered.
  • the retracted position is defined as a position where the drive unit side stopper 30a does not come into contact with the wire side stopper 29a even when the target finger is bent to the maximum.
  • the preparation mode shown in FIG. 11B is a mode in which the drive unit side stopper 30a (rotating unit 30) is driven so that the drive unit side stopper 30a follows the wire side stopper 29a at regular intervals.
  • the drive unit-side stopper 30a is displaced following the movement of the wire-side stopper 29a, so that the wire-side stopper 29a and the wire-side stopper 29a are displaced.
  • the distance from the drive unit side stopper 30a is maintained at a constant interval.
  • the preparation mode is a mode intended to bring the drive unit side stopper 30a into quick contact with the wire side stopper 29a. Therefore, in the preparation mode, the drive unit side stopper 30a The position is maintained at a position relatively close to the wire side stopper 29a.
  • the drive unit side stopper 30a is brought into contact with the wire side stopper 29a to regulate the displacement of the wire side stopper 29a in the feeding direction, that is, the movement of the target finger in the bending direction is performed.
  • the drive unit side stopper 30a moves in the feeding direction. It is designed to be pushed in.
  • the user can bend the fingers by applying a certain force or more even after the displacement of the wire side stopper 29a is regulated by the contact of the drive unit side stopper 30a. ..
  • the control is performed so that the drive target position of the drive unit side stopper 30a is set to a position where the drive unit side stopper 30a comes into contact with the wire side stopper 29a (that is, a position where the clearance with the wire side stopper 29a becomes zero). This is done, and the drive of the drive unit side stopper 30a in the direction of pushing back the wire side stopper 29a in the winding direction is not performed. Therefore, the user can bend the fingers by applying a force exceeding the drag force of the drive unit side stopper 30a in contact with the wire side stopper 29a.
  • the reaction force application mode shown in FIG. 11D is a mode in which the drive unit side stopper 30a is driven so that a reaction force is applied to the wire side stopper 29a when the drive unit side stopper 30a is in contact with the wire side stopper 29a. Specifically, this mode applies torque in the winding direction to the drive unit side stopper 30a by the motor 27 in a state where the drive unit side stopper 30a is in contact with the wire side stopper 29a. With such a reaction force application mode, it is possible to express the reaction force from the object when the touched object is further pushed.
  • FIG. 12 is an explanatory diagram of an example of switching the control mode in the embodiment.
  • the control mode is switched according to the positional relationship by changing the driving state of the drive unit side stopper 30a according to the positional relationship between the virtual object VO and the target finger on the virtual space VS.
  • the control mode is switched according to the separation distance D between the target finger and the virtual object VO as illustrated in FIG. 12A.
  • this separation distance D is the distance from the fingertip portion of the target finger to the surface of the virtual object VO.
  • each threshold value d for the separation distance D as shown in FIG. 12B is set.
  • the threshold d1 is the threshold d referred to when switching between the idling mode and the preparation mode
  • the threshold d2 is the threshold d referred to when switching between the preparation mode and the contact reproduction mode.
  • the threshold value d3 is a threshold value d that is referred to when switching between the contact reproduction mode and the reaction force application mode.
  • the magnitude relationship between the threshold values d1, d2, and d3 is "d3 ⁇ d2 ⁇ d1".
  • the idling mode is selected when the separation distance D is larger than the threshold value d1
  • the preparation mode is selected when the separation distance D is equal to or less than the threshold value d1 and larger than the threshold value d2.
  • the contact reproduction mode is selected, and when the separation distance D is equal to or less than the threshold value d3, the reaction force application mode is selected.
  • the threshold value d2 is the threshold value d for switching to the contact reproduction mode
  • the threshold value d2 0 is set in this example.
  • the threshold value d3 is set to a negative value.
  • the target finger on the virtual space VS is a virtual object. It is possible to prevent the movement of fingers from being erroneously regulated despite being away from the VO.
  • the drive unit side stopper 30a can be kept close to the wire side stopper 29a. Therefore, when it is presumed that there is contact with the virtual object VO (virtual contact), the drive unit side stopper 30a can be quickly brought into contact with the wire side stopper 29a, and the responsiveness of force sense presentation at the time of virtual contact can be achieved. Can be enhanced.
  • the finger is estimated to have come into contact with the virtual object VO on the virtual space VS. It is possible to give a drag force that expresses contact with an object. That is, it is possible to make the user perceive the feeling of touching the object in response to the contact with the virtual object (virtual contact).
  • the reaction force application mode when the separation distance D is equal to or less than the threshold value d3, it is possible to express the reaction force from the touched object when the touched object is further pushed. That is, it is possible to make the user perceive not only the feeling of touching the object but also the reaction force when the object is pushed.
  • the threshold value d2 referred to when switching to the contact reproduction mode is not necessarily limited to “0”.
  • the threshold value d2 0
  • the threshold value d2 may be set to a value smaller than 0 in consideration of various processing delays that may occur from the generation of the virtual space image to the display.
  • the switching from the preparation mode to the contact reproduction mode may be performed based on the result of estimating the presence or absence of contact with the virtual object VO based on the separation distance D, and the threshold value d2 is appropriately optimized as a value near 0.
  • the value may be set.
  • FIG. 13 is an explanatory diagram of the distance between stoppers ⁇ used in the control mode switching of the embodiment.
  • the distance between the stoppers ⁇ means a separation distance (clearance) between the wire-side stopper 29a and the drive unit-side stopper 30a in the rotation direction of the pulley 29 (that is, the same as the rotation direction of the rotation portion 30).
  • the distance between the stoppers ⁇ is variable according to the movement of the target finger.
  • the retracted position of the drive unit side stopper 30a in the idling mode in this example is determined as a position where the drive unit side stopper 30a does not come into contact with the wire side stopper 29a even when the target finger is bent to the maximum. Therefore, in the idling mode, the distance between the stoppers is ⁇ ⁇ 0 ( ⁇ > 0).
  • the distance between stoppers ⁇ is maintained at a constant value as ⁇ 1.
  • the target finger since the target finger is not in contact with the virtual object VO, it is possible to prevent the drive unit side stopper 30a from contacting the wire side stopper 29a and erroneously restricting the movement of the finger. Should be.
  • ⁇ 1 which is the distance between stoppers ⁇ in the preparation mode is set to a value larger than 0 and as small as possible.
  • the distance between the stoppers ⁇ is ⁇ 2, which is smaller than the above-mentioned ⁇ 1.
  • ⁇ 2 0 because the drive unit side stopper 30a is brought into contact with the wire side stopper 29a.
  • FIG. 14 shows an example of a specific processing procedure to be executed by the CPU 11 of the control device 1 in order to realize the control method as the embodiment.
  • the CPU 11 acquires information on the finger position in the real space. That is, the above-mentioned hand recognition result information is acquired from the hand recognition device 4.
  • step S102 the CPU 11 maps the finger position in the real space to the virtual space VS, and in the subsequent step S103, calculates the separation distance D between the virtual object VO and the finger in the virtual space VS.
  • the distance between the surface of the virtual object VO and the fingertip portion of the target finger is calculated as the separation distance D.
  • step S104 the CPU 11 determines whether or not the separation distance D is larger than the threshold value d1. If the separation distance D is larger than the threshold value d1, the CPU 11 proceeds to step S107 to execute a process of instructing the idling mode. That is, a process of instructing the control unit 35 of the force sense presentation device 2 to idle mode is performed.
  • step S104 determines whether or not the separation distance D is larger than the threshold value d1
  • step S105 determines whether or not the separation distance D is larger than the threshold value d2.
  • the CPU 11 proceeds to step S108 to instruct the preparation mode.
  • step S105 when it is determined in step S105 that the separation distance D is not larger than the threshold value d2 (that is, when the separation distance D ⁇ the threshold value d2), the CPU 11 proceeds to step S106 and determines whether or not the separation distance D is larger than the threshold value d3. To do.
  • the CPU 11 proceeds to step S109 to instruct the contact reproduction mode.
  • step S106 when it is determined in step S106 that the separation distance D is not larger than the threshold value d3 (that is, when the separation distance D ⁇ threshold value d3), the CPU 11 proceeds to step S110 to instruct the reaction force application mode.
  • step S111 determines whether or not the process is completed. That is, a predetermined condition predetermined as the end condition of the process shown in FIG. 14 is satisfied, for example, an application end instruction operation for displaying the virtual space image on the display device 3 installed in the control device 1 is performed. Judge whether or not. If it is determined in step S111 that the processing is not completed, the CPU 11 returns to step S101. As a result, the calculation of the separation distance D based on the finger recognition result information from the finger recognition device 4 and the instruction of the control mode according to the separation distance D are repeatedly executed until it is determined that the processing is completed.
  • the output cycle of the finger recognition result information by the finger recognition device 4 is set to be the same as the frame cycle of the virtual space image displayed on the display device 3, for example, and therefore the calculation and separation of the separation distance D described above are performed.
  • the instruction of the control mode according to the distance D is repeatedly executed in the same cycle as the frame cycle. Further, when it is determined in step S111 that the processing is completed, the CPU 11 ends the series of processing shown in FIG.
  • FIG. 15 shows an example of a specific processing procedure to be executed by the control unit 35 of the force sense presentation device 2 in order to realize the control method as the embodiment.
  • the control unit 35 performs the processing of the corresponding control mode among the processing shown in FIGS. 15A to 15D according to the idling mode, the preparation mode, the contact reproduction mode, and the reaction force application mode instructed from the control device 1 side. Execute.
  • the control unit 35 executes a process of positioning the drive unit side stopper 30a in the retracted position as the process of step S201 shown in FIG. 15A.
  • the control unit 35 can specify the position of the drive unit side stopper 30a based on the information of the rotation angle of the motor 27.
  • the process of step S201 is performed as a process of driving the motor 27 with the rotation angle of the motor 27 corresponding to the retracted position as the target angle.
  • the control unit 35 executes the process shown in FIG. 15B. Specifically, the control unit 35 in this case first measures the distance between the stoppers ⁇ in step S202. In this example, the distance between the stoppers ⁇ is measured based on the information on the rotation angle of the motor 27 and the information on the rotation angle of the pulley 29 detected by the position sensor 32.
  • step S203 the control unit 35 performs a process of setting the motor drive amount based on the difference ( ⁇ 1). That is, the driving amount of the motor 27 is set so that the difference between the stopper distance ⁇ measured in step S202 and ⁇ 1 (see FIG. 13B) becomes 0, in other words, the stopper distance ⁇ coincides with ⁇ 1. Perform the setting process.
  • step S204 the control unit 35 executes the process of driving the motor 27 with the set drive amount, and returns to step S202.
  • the control unit 35 executes the process shown in FIG. 15C.
  • the process of setting the drive amount of the motor 27 so as to match 0) is performed.
  • the control unit 35 executes the process of driving the motor 27 with the set drive amount, and returns to step S202.
  • the control unit 35 executes the process shown in FIG. 15D.
  • the control unit 35 measures the distance between the stoppers ⁇ in step S202, and sets the motor drive amount based on the difference ( ⁇ 2) in the subsequent step S205, that is, the distance between stoppers ⁇ becomes 0.
  • the process of setting the drive amount of the motor 27 is performed as described above.
  • step S207 the control unit 35 performs a process of acquiring the separation distance D from the control device 1, and in a subsequent step S208, performs a process of offsetting the motor drive amount based on the separation distance D.
  • the offset value of the motor drive amount in step S208 is set to a larger value as the absolute value of the target distance D (the target distance D in the reaction force application mode is a negative value) is larger.
  • step S209 the control unit 35 executes a process of driving the motor 27 by the offset drive amount, and returns to step S202.
  • a reaction force from the virtual object VO side can be applied to the target finger in response to being further pushed from the state where the target finger is in contact with the virtual object VO.
  • the offset value in step S208 is set to a larger value as the absolute value of the target distance D is larger, so that the reaction force from the object can be appropriately expressed.
  • the reaction force from the touched object when the touched object is pushed in may differ depending on the type of the object.
  • the flowcharts of FIGS. 16 and 17 show an example of a specific processing procedure to be executed when expressing a difference in reaction force characteristics according to the type of an object.
  • FIG. 16 shows an example of a procedure for processing to be executed by the CPU 11 of the control device 1. The difference from the process shown in FIG. 14 is that the process of step S120 is added.
  • the CPU 11 executes a process of instructing the control unit 35 of torque characteristic information according to the type of the virtual object VO in step S120 in response to the instruction of the reaction force instruction mode in step S110, and processes in step S111.
  • the control unit 35 is instructed to torque characteristic information of the motor 27 according to the type of the virtual object VO whose separation distance D is determined to be the threshold value d3 or less.
  • the torque characteristic information is transmitted to the control unit 35.
  • the order in which the processes of steps S120 and S110 are executed may be changed.
  • FIG. 17 shows an example of a procedure of processing to be executed by the control unit 35 when the reaction force application mode is instructed.
  • the control unit 35 performs a process of offsetting the motor drive amount based on the instructed torque characteristic information and the separation distance D.
  • the torque characteristic information in this example is information that represents the correspondence between the absolute value of the separation distance D and the offset value of the motor drive amount (that is, the torque of the motor 27).
  • an offset value corresponding to the absolute value of the separation distance D acquired in step S207 is acquired, and the offset value is added to the motor drive amount set in step S205. Perform processing.
  • the CPU 11 instructs the control unit 35 of the torque characteristic information according to the type of the virtual object VO
  • the CPU 11 transmits the torque characteristic information
  • the virtual object 35 is on the control unit 35 side. It is also possible to store torque characteristic information for each type of VO, and the CPU 11 can adopt a method of transmitting information for identifying the type of the virtual object VO to the control unit 35. In this case, it is not necessary to store the torque characteristic information on the control device 1 side.
  • FIG. 18 schematically shows a configuration example of the internal structure 26bA of the wire control unit 26 when the linear motion type is adopted.
  • one end of the wire 21 is also locked by the locking portion 22 in this case as well.
  • the other end of the wire 21 is fixed to the urging portion 31A provided in the internal structure 26bA.
  • the urging portion 31A for example, a coil spring is used, the other end of the wire 21 is fixed to one end of the spring, and the other end of the spring is fixed to a member supported by the pedestal portion 25.
  • the urging portion 31A is provided to maintain the tension of the wire 21 like the urging portion 31, and the urging force is reduced.
  • a wire-side stopper 40 is fixed to the other end of the wire 21.
  • the wire-side stopper 40 is mechanically interlocked with the bending and extension of the fingers, the displacement of the wire 21 in the feeding direction, and the displacement in the pulling direction.
  • one end side (fingertip side) of the wire 21 is closer to the wire 21 stopper 40 on the orbit of the wire side stopper 40 which is displaced in conjunction with the displacement of the wire 21 in the feeding direction and the pulling direction.
  • the drive unit side stopper 41 located at is provided.
  • the drive unit side stopper 41 is freely displaceable in a direction parallel to the displacement direction of the wire side stopper 40 by a feed screw 42 that is rotationally driven by the motor 27A. That is, the drive unit side stopper 41 is freely displaceable in the direction of contact and separation with respect to the wire side stopper 40.
  • FIG. 19 is an explanatory diagram of an idling mode, a preparation mode, a contact reproduction mode, and a reaction force application mode when such a linear motion type wire control unit 26 is used.
  • the drive unit side stopper 41 In the idling mode shown in FIG. 19A, the drive unit side stopper 41 is positioned at a predetermined retracted position by the motor 27A, and in the preparation mode shown in FIG. 19B, the drive unit side stopper 41 follows the wire side stopper 40 at regular intervals. It is driven by the motor 27A so as to do so. Further, in the contact reproduction mode shown in FIG. 19C, the drive unit side stopper 41 is driven so as to come into contact with the wire side stopper 40.
  • the drive unit side with the position in contact with the wire side stopper 40 as the target position.
  • the stopper 41 is driven by the motor 27A, and in the reaction force mode shown in FIG. 19D, the drive unit side stopper 41 is driven by the motor 27A so as to give a reaction force (a force that displaces the wire 21 in the pullback direction) to the wire side stopper 40. Will be done.
  • a motor is used as a drive source for the drive unit side stopper 30a (or 41)
  • a fluid pressure such as an air cylinder type actuator
  • Actuators other than motors, such as actuators, can also be used.
  • the configuration in which the wire 21 is arranged along the dorsal side of the finger is illustrated, but the configuration in which the wire 21 is arranged along the ventral side (the side opposite to the dorsal side) of the finger is configured. You can also take it.
  • the drive unit side stopper 30a (or 41) is brought into contact with the wire side stopper 29a (or 40) and a force is applied, it is possible to generate a force in the direction of bending the fingers ventral side. .. Therefore, it is possible to reproduce the sense of force when the object is touched from the back side of the finger.
  • the force sense presentation device 2 has various safety functions.
  • the control unit 35 detects the torque of the motor 27 (or 27A) in the reaction force application mode (that is, the drive torque of the drive unit side stopper 30a or 41) and the torque reaches a predetermined upper limit value.
  • the drive of the motor 27 can be stopped to stop the application of the reaction force to the wire-side stopper 29a (or 40) by the drive unit-side stopper 30a (or 41).
  • the control unit 35 estimates the pull-in amount of the wire 21 based on the detection information of the position sensor 32. Then, the control unit 35 controls the motor 27 (or 27A) so that the pull-in amount of the wire 21 estimated in this way does not exceed the predetermined amount. Specifically, the drive of the motor 27 (or 27A) is stopped when the pull-in amount of the wire 21 reaches a predetermined upper limit value.
  • a stopper is provided at a position where the pull-in limit is reached, and the stopper prevents the wire-side stopper 29a (or 40) from being displaced in the pull-in direction beyond the limit of the pull-in amount.
  • the pull-in amount of the wire 21 can be adjusted to the movable range and drive of the joint portion for moving the target portion in the user. It is possible to regulate the movable range of the drive mechanism portion of the portion side stopper 30a (or 41) so as not to exceed the movable range. Therefore, it is possible to prevent excessive stress from being applied to the joint portion of the user and damage to the force sense presenting device, and it is possible to improve safety.
  • this technology can be applied not only to fingers but also to other parts such as toes, elbows, and knees. Furthermore, this technology can also be applied to VR systems for rehabilitation in fields such as medical care and long-term care.
  • control device that generates the virtual space image and controls the force sense presentation device is configured separately from the HMD that displays the virtual space image. It can also be configured integrally with the HMD. Further, the HMD at this time is for realizing a function of recognizing the position and posture of the target part of the force sense presentation (for example, recognizing the position of each predetermined part constituting the target part) like the finger recognition device 4. It may have a configuration.
  • control device 1 As the embodiment has been described above, the program of the embodiment is a program that causes a computer device such as a CPU to execute the processing as the control device 1.
  • the program of the embodiment is a program that can be read by a computer device, and is displaceable in a direction in which the first member that is mechanically interlocked with the movement of the target part of the user and the first member is displaced from the first member.
  • a virtual object is placed in a virtual space.
  • This is a program that causes a computer device to execute a process of changing the driving state of the second member by the driving unit according to the positional relationship between the object and the target portion. That is, this program corresponds to, for example, a program that causes a computer device to execute the processes described with reference to FIGS. 14 and 16.
  • Such a program can be stored in advance in a storage medium that can be read by a computer device, for example, a ROM, an SSD (Solid State Drive), an HDD (Hard Disk Drive), or the like. Alternatively, it can be temporarily or permanently stored (stored) in a removable storage medium such as a semiconductor memory, a memory card, an optical disk, a magneto-optical disk, or a magnetic disk. Further, such a removable storage medium can be provided as so-called package software. In addition to installing such a program from a removable storage medium on a personal computer or the like, download it from a download site to a required information processing device such as a smartphone via a network such as a LAN (Local Area Network) or the Internet. You can also.
  • a LAN Local Area Network
  • the control device (1) as the embodiment is for the first member (wire side stopper 29a or 40) that is mechanically interlocked with the movement of the target portion of the user and is displaced with respect to the first member. It has a second member (drive unit side stopper 30a or 41) that can be displaced in the direction of contact and separation, and a drive unit (motor 27 or 27A) that drives the second member, and presents a force sense to the target part.
  • the force sense presenting device (same 2) that performs the above, the driving state of the second member according to the positional relationship between the virtual object (same VO) and the target part in the virtual space (same VS) where the virtual object is arranged.
  • control unit that controls to change.
  • CPU 11 controls to change.
  • the driving state of the second member is changed according to the positional relationship between the virtual object and the target portion as described above, it is possible to apply a reaction force from the virtual object side to the first member. It is possible to perceive not only the feeling of touching an object but also the reaction force from the object such that the target part is pushed back from the touched object. Therefore, it is possible to improve the accuracy of force sense presentation while preventing the free movement of the target portion from being hindered when the user is not touching the virtual object.
  • the control unit changes the driving state according to the separation distance (the same D) between the virtual object and the target portion. This eliminates the need to estimate the magnitude of the force exerted by the target site on the virtual object in expressing the sensation of touching the object and the reaction force from the object.
  • the torque when the user moves the target part is detected, and the reaction force corresponding to the detected torque is applied to the target part. In that case, it is necessary to separately provide a sensor for detecting the torque, which causes the configuration to be complicated.
  • the control unit when the separation distance is larger than the threshold value (threshold value d1), the control unit performs control to keep the second member at a predetermined position separated from the first member. (See "Slip mode"). This makes it possible to keep the second member at a retracted position sufficiently separated from the first member in a state where the target portion is sufficiently separated from the virtual object in the virtual space. That is, it is possible to prevent the first member, which is displaced in conjunction with the target portion, from coming into contact with the second member and hindering the movement of the target portion. Therefore, it is possible to prevent the movement of the target part from being erroneously regulated even though the target part is away from the virtual object, and it is possible to improve the accuracy of the force sense presentation. In addition, it is possible to prevent the free movement of the target portion from being hindered before the contact with the virtual object (virtual contact).
  • control unit estimates the presence or absence of contact with the virtual object of the target part based on the separation distance, and when it is estimated that the contact has occurred, the second member is first. Control is performed so that the member is brought into contact with the member (see "contact reproduction mode"). This makes it possible to give the target part a drag force that expresses contact with the object in response to the presumption that the target part has come into contact with the virtual object in the virtual space. Therefore, it is possible to make the user perceive the feeling of touching the object in response to the contact with the virtual object (virtual contact).
  • the second member keeps a certain interval from the first member after the separation distance becomes equal to or less than the threshold value until it is estimated that there is contact. Control is performed to drive the second member so as to follow (see "preparation mode"). This makes it possible to keep the position of the second member close to the first member when the target part approaches the virtual object in the virtual space and contact with the virtual object is predicted. .. Therefore, when it is presumed that there is contact with a virtual object (virtual contact), the second member can be quickly brought into contact with the first member, and the responsiveness of force sense presentation at the time of virtual contact is enhanced. Therefore, it is possible to improve the accuracy of the force sense presentation. In addition, it is possible to prevent the movement of the target part from being erroneously regulated even though the target part is away from the virtual object, and in that respect as well, the accuracy of the force sense presentation is improved.
  • control unit controls to drive the second member so as to give a reaction force to the first member when the separation distance decreases from the time when it is estimated that there is contact. (See “Reaction force application mode”). This makes it possible to express the reaction force from the touched object when the touched object is pushed further. Therefore, not only the feeling of touching the object but also the reaction force when the object is pushed can be perceived, and the accuracy of the force sense presentation can be improved.
  • control unit controls to change the reaction force applying characteristic to the first member according to the type of the virtual object (see FIG. 15D).
  • the characteristic of applying the reaction force to the target portion when the touched object is further pushed is changed according to the type of the virtual object. Therefore, it is possible to express the difference in elasticity according to the type of the object.
  • the force sense presenting device (No. 2) as an embodiment is for the first member (wire side stopper 29a or 40) that is mechanically interlocked with the movement of the target portion of the user and is displaced with respect to the first member.
  • a virtual object is provided with a second member (drive unit side stopper 30a or 41) that is freely displaceable in the contacting / separating direction and a driving unit (motor 27 or 27A) that drives the second member.
  • the driving state of the second member by the driving unit changes according to the positional relationship between the virtual object (VO) and the target portion in the space (VS).
  • the second member By changing the driving state of the second member according to the positional relationship between the virtual object and the target part as described above, for example, when the target part approaches and touches the virtual object, the second member becomes the first member.
  • the second member is driven so as to increase the clearance between the second member and the first member when the target part is sufficiently far from the virtual object. This makes it possible to prevent the second member from coming into contact with the first member and hindering the free movement of the target portion.
  • the driving state of the second member is changed according to the positional relationship between the virtual object and the target portion as described above, it is possible to apply a reaction force from the virtual object side to the first member.
  • the driving state changes according to the distance between the virtual object and the target portion. This eliminates the need to estimate the magnitude of the force exerted by the target site on the virtual object in expressing the sensation of touching the object and the reaction force from the object. Therefore, it is possible to simplify the configuration for realizing the force sense presentation. Further, by changing the driving state according to the distance between the virtual object and the target part as described above, the free movement of the target part is hindered in the stage before the contact with the virtual object (virtual contact). It is possible to prevent this.
  • the driving unit keeps the second member at a predetermined position separated from the first member when the separation distance is larger than the threshold value (“sliding mode”). "reference).
  • sliding mode the threshold value
  • This makes it possible to keep the second member at a predetermined retracted position sufficiently separated from the first member in a state where the target portion is sufficiently separated from the virtual object in the virtual space. That is, it is possible to prevent the first member, which is displaced in conjunction with the target portion, from coming into contact with the second member and hindering the movement of the target portion. Therefore, it is possible to prevent the movement of the target part from being erroneously regulated even though the target part is away from the virtual object, and it is possible to improve the accuracy of the force sense presentation. In addition, it is possible to prevent the free movement of the target portion from being hindered before the contact with the virtual object (virtual contact).
  • the driving unit brings the second member into contact with the first member when it is estimated that there is contact with the virtual object of the target portion based on the separation distance.
  • Contact reproduction mode This makes it possible to give the target part a drag force that expresses contact with the object in response to the presumption that the target part has come into contact with the virtual object in the virtual space. Therefore, it is possible to make the user perceive the feeling of touching the object in response to the contact with the virtual object (virtual contact).
  • the second member keeps a constant distance from the first member after the separation distance becomes equal to or less than the threshold value until it is estimated that there is contact.
  • the second member is driven so as to follow the space (see "Preparation mode"). This makes it possible to keep the position of the second member close to the first member when the target part approaches the virtual object in the virtual space and contact with the virtual object is predicted. .. Therefore, when it is presumed that there is contact with a virtual object (virtual contact), the second member can be quickly brought into contact with the first member, and the responsiveness of force sense presentation at the time of virtual contact is enhanced. Therefore, it is possible to improve the accuracy of the force sense presentation. In addition, it is possible to prevent the movement of the target part from being erroneously regulated even though the target part is away from the virtual object, and it is possible to improve the accuracy of the force sense presentation in that respect as well.
  • the driving unit drives the second member so as to give a reaction force to the first member when the separation distance decreases from the time when it is estimated that there is contact.
  • reaction force application mode This makes it possible to express the reaction force from the touched object when the touched object is pushed further. Therefore, not only the feeling of touching the object but also the reaction force when the object is pushed can be perceived, and the accuracy of the force sense presentation can be improved.
  • the driving unit changes the characteristics of applying the reaction force to the first member according to the type of the virtual object (see FIG. 17).
  • the characteristic of applying the reaction force to the target portion when the touched object is further pushed is changed according to the type of the virtual object. Therefore, it is possible to express the difference in elasticity according to the type of the object.
  • the target portion is assumed to be a user's finger.
  • the force sense presenting device as an embodiment includes a wire (21) that is interlocked with the movement of the target portion, and the first member is a member that is mechanically interlocked with the wire.
  • the second member comes into contact with the first member or applies a reaction force
  • a drag force or a reaction force is applied to the target portion via the wire.
  • the accuracy of force sense presentation is improved in terms of improving the detection accuracy of the position of the target part, that is, improving the recognition accuracy of the positional relationship between the target part and the virtual object. It can be improved. Further, by simplifying the members to be arranged in the target part when presenting the force sense as described above, it is possible to prevent the force sense presentation device from hindering the movement of the target part, and the user can use the force sense presentation device. You can increase the immersive feeling in the virtual space.
  • the target portion is the user's finger
  • the wire is arranged along the back of the finger.
  • the drive unit is arranged on the fingertip side or the arm side of the user's wrist. As a result, the drive unit is arranged so as not to straddle the user's wrist. Therefore, it is possible to prevent the movement of the user's hand from being hindered, and it is possible to enhance the user's immersive feeling in the virtual space.
  • the drive unit stops applying the reaction force to the first member by the second member when the drive torque of the second member reaches the upper limit value.
  • the force sense presenting device as an embodiment includes a wire that is interlocked with the movement of the target portion, and the first member is a member that is mechanically interlocked with the wire, and the pull-in amount of the wire exceeds a predetermined amount. It is configured not to. This makes it possible to regulate the pull-in amount of the wire so as not to exceed the movable range of the joint portion for moving the target portion in the user and the movable range of the drive mechanism portion of the second member. Therefore, it is possible to prevent excessive stress from being applied to the joint portion of the user and damage to the force sense presenting device, and it is possible to improve safety.
  • control method as an embodiment is a first member that is mechanically interlocked with the movement of the target portion of the user and displaced, and a second member that is freely displaceable in the direction of contact and separation with respect to the first member.
  • a control method of a force sense presenting device that has a drive unit for driving a second member and presents a force sense to a target part, and the virtual object and the target part in the virtual space in which the virtual object is arranged. This is a control method for changing the driving state of the second member according to the positional relationship of the second member. Even with such a control method as an embodiment, the same actions and effects as those of the control device and the force sense presenting device as the above-described embodiment can be obtained.
  • the storage medium of the embodiment is a storage medium that stores a program that can be read by a computer device, and is a storage medium that is mechanically interlocked with the movement of the target portion of the user and is displaced with respect to the first member and the first member.
  • a virtual object is used as a control process for a force sense presenting device that has a second member that is freely displaceable in the direction of contact and separation and a drive unit that drives the second member and presents force sense to a target part.
  • It is a storage medium that stores a program that causes a computer device to execute a process of changing a driving state of a second member by a driving unit according to a positional relationship between a virtual object and a target portion in an arranged virtual space.
  • the present technology can also adopt the following configurations.
  • the first unit is in accordance with the positional relationship between the virtual object and the target part in the virtual space in which the virtual object is arranged.
  • the control unit The control device according to (1), wherein the driving state is changed according to a distance between the virtual object and the target portion.
  • (3) The control unit The control device according to (2), wherein when the separation distance is larger than the threshold value, the second member is continuously controlled to be positioned at a predetermined position separated from the first member.
  • (4) The control unit The presence or absence of contact of the target site with the virtual object is estimated based on the separation distance, and when it is estimated that there is contact, control is performed to bring the second member into contact with the first member (3).
  • the control device described in. (5) The control unit After the separation distance becomes equal to or less than the threshold value, the second member is driven so as to follow the first member at a constant interval until it is estimated that the contact has occurred.
  • the control device according to (4) above.
  • (6) The control unit The above (4) or (5), wherein when the separation distance decreases from the time when it is estimated that the contact has occurred, the control is performed to drive the second member so as to give a reaction force to the first member.
  • (7) The control unit The control device according to (6) above, which controls to change the reaction force applying characteristic to the first member according to the type of the virtual object.
  • (8) The first member that displaces mechanically in conjunction with the movement of the user's target part, The second member, which is freely displaceable in the direction of contact and separation with respect to the first member, A drive unit for driving the second member is provided.
  • a force sense presenting device that changes the driving state of the second member by the driving unit according to the positional relationship between the virtual object and the target portion in the virtual space in which the virtual object is arranged.
  • the force sense presenting device according to (8) wherein the driving state changes according to the distance between the virtual object and the target portion.
  • the drive unit The force sensation presenting device according to (9), wherein when the separation distance is larger than the threshold value, the second member is continuously positioned at a predetermined position separated from the first member.
  • the drive unit The force sensation presenting device according to (10), wherein the second member is brought into contact with the first member when it is estimated that the target portion has come into contact with the virtual object based on the separation distance.
  • the drive unit After the separation distance becomes equal to or less than the threshold value, the second member is driven so as to follow the first member at a constant interval until it is estimated that the contact has occurred.
  • the drive unit The force sensation according to (11) or (12), wherein when the separation distance decreases from the time when the contact is estimated, the second member is driven so as to give a reaction force to the first member. Presentation device.
  • the drive unit The force sense presenting device according to (13), wherein the reaction force applying characteristic to the first member is changed according to the type of the virtual object.
  • the force sensation presenting device according to any one of (8) to (14) above, wherein the target site is a finger of the user.
  • a wire that is linked to the movement of the target part is provided.
  • the target part is the finger of the user.
  • the drive unit The force sense presenting device according to any one of (8) to (18), which stops applying a reaction force to the first member by the second member when the drive torque of the second member reaches an upper limit value. ..
  • a wire that is linked to the movement of the target part is provided.
  • the first member is a member that is mechanically interlocked with the wire.
  • the force sensation presenting device according to any one of (8) to (19) above, which is configured so that the pull-in amount of the wire does not exceed a predetermined amount.
  • (21) A first member that is mechanically interlocked with the movement of the target portion of the user and displaced, a second member that is freely displaceable in the direction of contact and separation with respect to the first member, and a drive that drives the second member. It is a control method of a force sense presentation device having a part and performing force sense presentation to the target part.
  • (22) A storage medium that stores a program that can be read by a computer device.
  • a first member that is mechanically interlocked with the movement of the target part of the user and displaced, a second member that is freely displaceable in a direction in which the first member is brought into contact with and separated from the first member, and a drive that drives the second member.
  • a control process for a force sense presenting device that has a unit and presents a force sense to the target part, the above is performed according to the positional relationship between the virtual object and the target part in the virtual space in which the virtual object is arranged.
  • a storage medium that stores a program that causes the computer device to execute a process of changing the driving state of the second member by the driving unit.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

ユーザが仮想物体に触れてないときの対象部位の自由な動きが阻害されることの防止を図りつつ、力覚提示の正確性向上を図る。 本技術に係る制御装置は、ユーザの対象部位の動きに機械的に連動して変位する第一部材と、第一部材に対して接離する方向に変位自在とされた第二部材と、第二部材を駆動する駆動部とを有して、対象部位に対する力覚提示を行う力覚提示装置に対する制御として、仮想物体が配置された仮想空間上における仮想物体と対象部位との位置関係に応じて第二部材の駆動状態を変化させる制御を行う制御部を備えている。

Description

制御装置、力覚提示装置、制御方法
 本技術は、物体に触れる等した際の力覚を提示する力覚提示装置の制御を行う制御装置、及び力覚提示装置、及び力覚提示装置の制御方法の技術分野に関する。
 人工的に構築される仮想空間をユーザに知覚させるVR(Virtual Reality:仮想現実)技術が実用化されている。
 VR技術としては、画像により仮想空間を視覚的に知覚させる技術のほか、仮想物体を触ったり掴んだりしたかのような力覚としての感覚を力覚提示装置によって知覚させる技術が知られている。
 力覚提示装置としては、例えば下記特許文献1に開示されるような手袋型等によるユーザの手指に装着するタイプのものが知られている。
 この特許文献1に記載の力覚提示装置では、手指の関節部にバンドなどの手段を用いて固定した指輪状の部材に一端を固定したワイヤを手指に沿って這わせて、該ワイヤの指先側への繰り出しを妨げるブレーキ機構によって力覚を表現するようにしている。
特開2000-99240号公報
 しかしながら、上記特許文献1では、力覚の表現をワイヤのブレーキ機構、すなわち指先方向に繰り出されるワイヤを制動する機構によって実現するように構成されるため、物体に触れた感覚は表現できるが、触れた物体を押し込んだ際の物体からの反力(指が押し返されるような感覚)を表現することはできない。つまり、実際に得られるべき力覚を表現し切れないという面で、力覚提示の正確性を欠くものである。
 また、力覚提示装置としては、例えば手指等の力覚提示の対象部位に装着された際に、対象部位の自由な動きを阻害しないことがユーザの仮想空間への没入感を高める上で重要である。
 本技術は上記事情に鑑み為されたものであり、ユーザが仮想物体に触れてないときの対象部位の自由な動きが阻害されることの防止を図りつつ、力覚提示の正確性向上を図ることを目的とする。
 本技術に係る制御装置は、ユーザの対象部位の動きに機械的に連動して変位する第一部材と、前記第一部材に対して接離する方向に変位自在とされた第二部材と、前記第二部材を駆動する駆動部とを有して、前記対象部位に対する力覚提示を行う力覚提示装置に対する制御として、仮想物体が配置された仮想空間上における前記仮想物体と前記対象部位との位置関係に応じて前記第二部材の駆動状態を変化させる制御を行う制御部を備えたものである。
 上記のように仮想物体と対象部位との位置関係に応じて第二部材の駆動状態を変化させることで、例えば対象部位が仮想物体に近づいて触れた際に第二部材を第一部材に接触させてユーザに仮想物体に触れた感覚を知覚させたり、或いは、対象部位が仮想物体から十分に遠い状態では第二部材と第一部材とのクリアランスを大きくするように第二部材を駆動させることで、第二部材が第一部材に接触して対象部位の自由な動きが阻害されてしまうことの防止を図ったりすることが可能とされる。また、上記のように仮想物体と対象部位との位置関係に応じて第二部材の駆動状態を変化させれば、第一部材に対して仮想物体側からの反力を与えることが可能となり、物体に触れた感覚のみでなく、触れた物体から対象部位が押し返されるような物体からの反力を知覚させることも可能となる。
 上記した本技術に係る制御装置においては、前記制御部は、前記仮想物体と前記対象部位との離間距離に応じて前記駆動状態を変化させる構成とすることが考えられる。
 これにより、物体に触れた感覚や物体からの反力を表現するにあたり、対象部位が仮想物体に与える力の大きさを推定する必要がなくなる。
 上記した本技術に係る制御装置においては、前記制御部は、前記離間距離が閾値よりも大きい場合は、前記第二部材を前記第一部材から離隔された所定位置に位置させ続ける制御を行う構成とすることが考えられる。
 これにより、仮想空間上で対象部位が仮想物体から十分離れている状態において、第二部材を第一部材から十分に離隔された退避位置に位置させ続けることが可能とされる。すなわち、対象部位に連動して変位する第一部材が第二部材と接触して対象部位の動きが妨げられてしまうことの防止が図られる。
 上記した本技術に係る制御装置においては、前記制御部は、前記離間距離に基づいて前記対象部位の前記仮想物体に対する接触の有無を推定し、該接触があったと推定した場合に、前記第二部材を前記第一部材に接触させる制御を行う構成とすることが考えられる。
 これにより、仮想空間上で対象部位が仮想物体に接触したと推定されたことに応じて、対象部位に対し物体との接触を表現する抗力を与えることが可能とされる。
 上記した本技術に係る制御装置においては、前記制御部は、前記離間距離が前記閾値以下となった以降、前記接触があったと推定されるまでの間、前記第二部材が前記第一部材に一定の間隔を空けて追従するように前記第二部材を駆動させる制御を行う構成とすることが考えられる。
 これにより、仮想空間上で対象部位が仮想物体に近づいて仮想物体との接触が予測される場合に、第二部材の位置を第一部材に対して近接した位置に保つことが可能とされる。
 上記した本技術に係る制御装置においては、前記制御部は、前記接触があったと推定した時点から前記離間距離が減少する場合は、前記第一部材に反力を与えるように前記第二部材を駆動させる制御を行う構成とすることが考えられる。
 これにより、触れた物体をさらに押し込んだ際における物体からの反力を表現することが可能とされる。
 上記した本技術に係る制御装置においては、前記制御部は、前記第一部材に対する前記反力の付与特性を前記仮想物体の種類に応じて変更させる制御を行う構成とすることが考えられる。
 これにより、触れた物体をさらに押し込んだ際における対象部位への反力の付与特性が、仮想物体の種類に応じて変更される。
 また、本技術に係る力覚提示装置は、ユーザの対象部位の動きに機械的に連動して変位する第一部材と、前記第一部材に対して接離する方向に変位自在とされた第二部材と、前記第二部材を駆動する駆動部と、を備え、仮想物体が配置された仮想空間上における前記仮想物体と前記対象部位との位置関係に応じて前記駆動部による前記第二部材の駆動状態が変化するものである。
 上記のように仮想物体と対象部位との位置関係に応じて第二部材の駆動状態が変化されることで、例えば対象部位が仮想物体に近づいて触れた際に第二部材を第一部材に接触させてユーザに仮想物体に触れた感覚を知覚させたり、或いは、対象部位が仮想物体から十分に遠い状態では第二部材と第一部材とのクリアランスを大きくするように第二部材を駆動させることで、第二部材が第一部材に接触して対象部位の自由な動きが阻害されてしまうことの防止を図ったりすることが可能とされる。また、上記のように仮想物体と対象部位との位置関係に応じて第二部材の駆動状態が変化されれば、第一部材に対して仮想物体側からの反力を与えることが可能となり、物体に触れた感覚のみでなく、触れた物体から対象部位が押し返されるような物体からの反力を知覚させることも可能となる。
 上記した本技術に係る力覚提示装置においては、前記仮想物体と前記対象部位との離間距離に応じて前記駆動状態が変化する構成とすることが考えられる。
 これにより、物体に触れた感覚や物体からの反力を表現するにあたり、対象部位が仮想物体に与える力の大きさを推定する必要がなくなる。
 上記した本技術に係る力覚提示装置においては、前記駆動部は、前記離間距離が閾値よりも大きい場合は、前記第二部材を前記第一部材から離隔された所定位置に位置させ続ける構成とすることが考えられる。
 これにより、仮想空間上で対象部位が仮想物体から十分離れている状態において、第二部材を第一部材から十分に離隔された所定の退避位置に位置させ続けることが可能とされる。すなわち、対象部位に連動して変位する第一部材が第二部材と接触して対象部位の動きが妨げられてしまうことの防止が図られる。
 上記した本技術に係る力覚提示装置においては、前記駆動部は、前記離間距離に基づき前記対象部位の前記仮想物体に対する接触があったと推定された場合に、前記第二部材を前記第一部材に接触させる構成とすることが考えられる。
 これにより、仮想空間上で対象部位が仮想物体に接触したと推定されたことに応じて、対象部位に対し物体との接触を表現する抗力を与えることが可能とされる。
 上記した本技術に係る力覚提示装置においては、前記駆動部は、前記離間距離が前記閾値以下となった以降、前記接触があったと推定されるまでの間、前記第二部材が前記第一部材に一定の間隔を空けて追従するように前記第二部材を駆動する構成とすることが考えられる。
 これにより、仮想空間上で対象部位が仮想物体に近づいて仮想物体との接触が予測される場合に、第二部材の位置を第一部材に対して近接した位置に保つことが可能とされる。
 上記した本技術に係る力覚提示装置においては、前記駆動部は、前記接触があったと推定された時点から前記離間距離が減少する場合は、前記第一部材に反力を与えるように前記第二部材を駆動する構成とすることが考えられる。
 これにより、触れた物体をさらに押し込んだ際における物体からの反力を表現することが可能とされる。
 上記した本技術に係る力覚提示装置においては、前記駆動部は、前記第一部材に対する前記反力の付与特性を前記仮想物体の種類に応じて変更する構成とすることが考えられる。
 これにより、触れた物体をさらに押し込んだ際における対象部位への反力の付与特性が、仮想物体の種類に応じて変更される。
 上記した本技術に係る力覚提示装置においては、前記対象部位は前記ユーザの手指である構成とすることが考えられる。
 これにより、ユーザの手指を対象として、仮想物体との位置関係に応じた抗力を与えたり仮想物体からの反力を与えたりすることが可能となる。
 上記した本技術に係る力覚提示装置においては、前記対象部位の動きに連動するワイヤを備え、前記第一部材は、前記ワイヤと機械的に連動する部材とされた構成とすることが考えられる。
 これにより、第二部材が第一部材に対して接触したり反力を与えた場合には、ワイヤを介して対象部位に抗力や反力が与えられる。このようなワイヤ型の力覚提示装置とされることで、力覚提示にあたり例えば手指等の対象部位に配置すべき部材は、ワイヤの一端を係止する係止部、及びワイヤを対象部位に沿って這わせるためのガイド部のみとすることが可能とされる。
 上記した本技術に係る力覚提示装置においては、前記対象部位は前記ユーザの手指であり、前記ワイヤが前記手指の背に沿って配設された構成とすることが考えられる。
 これにより、第二部材を第一部材に接触させて力を加えた際に、手指を背側に反らす方向の力を発生させることが可能とされる。
 上記した本技術に係る力覚提示装置においては、前記駆動部は、前記ユーザの手首よりも指先側又は腕側に配置された構成とすることが考えられる。
 これにより、駆動部はユーザの手首を跨がないように配置される。
 上記した本技術に係る力覚提示装置においては、前記駆動部は、前記第二部材の駆動トルクが上限値に達した場合に前記第二部材による前記第一部材に対する反力の付与を停止させる構成とすることが考えられる。
 これにより、ユーザにおける対象部位を動かすための関節部や第二部材の駆動機構部に過大な負荷がかかることの防止が図られる。
 上記した本技術に係る力覚提示装置においては、前記対象部位の動きに連動するワイヤを備え、前記第一部材は、前記ワイヤと機械的に連動する部材とされ、前記ワイヤの引き込み量が所定量を超えないように構成されることが考えられる。
 これにより、ワイヤの引き込み量を、ユーザにおける対象部位を動かすための関節部の可動範囲や第二部材の駆動機構部の可動範囲を超えないように規制することが可能とされる。
 また、本技術に係る制御方法は、ユーザの対象部位の動きに機械的に連動して変位する第一部材と、前記第一部材に対して接離する方向に変位自在とされた第二部材と、前記第二部材を駆動する駆動部とを有して、前記対象部位に対する力覚提示を行う力覚提示装置の制御方法であって、仮想物体が配置された仮想空間上における前記仮想物体と前記対象部位との位置関係に応じて前記第二部材の駆動状態を変化させる制御方法である。
 このような制御方法によっても、上記した本技術に係る制御装置や力覚提示装置と同様の作用が得られる。
実施形態としての制御装置及び力覚提示装置を含んで構成されるVR(Virtual Reality:仮想現実)システムの構成例を示した図である。 仮想空間画像の例を示した図である。 実施形態としての力覚提示装置の上面図である。 実施形態としての力覚提示装置の右側面図である。 実施形態におけるケースを取り外した状態のワイヤ制御ユニットの斜視図である。 実施形態におけるワイヤ制御ユニットが有する内部構造体の要部の構成部品を分解した分解斜視図である。 実施形態としての力覚提示装置が有する付勢部の付勢方向の説明図である。 実施形態としての力覚提示装置の動作説明図である。 実施形態としての力覚提示装置の電気的構成例を示すブロック図である。 実施形態としての制御装置の内部構成例を示したブロック図である。 実施形態で定義される力覚提示装置の制御モードについての説明図である。 実施形態における制御モードの切り替え例の説明図である。 実施形態の制御モード切り替えにおいて用いるストッパ間距離についての説明図である。 実施形態としての制御手法を実現するために制御装置が実行すべき具体的な処理の手順例を示したフローチャートである。 実施形態としての制御手法を実現するために力覚提示装置が実行すべき具体的な処理の手順例を示したフローチャートである。 変形例としての制御手法を実現するために制御装置が実行すべき具体的な処理の手順例を示したフローチャートである。 変形例としての制御手法を実現するために力覚提示装置が実行すべき具体的な処理の手順例を示したフローチャートである。 直動式のワイヤ制御部における内部構造体の構成例を模式的に示した図である。 直動式をワイヤ制御部を用いる場合の各制御モードの説明図である。
 以下、添付図面を参照し、本技術に係る実施形態を次の順序で説明する。

<1.実施形態としてのVRシステムの概要>
<2.力覚提示装置の構成例>
<3.制御装置の構成例>
<4.実施形態としての制御手法>
<5.処理手順>
<6.変形例>
<7.プログラム及び記憶媒体>
<8.実施形態のまとめ>
<9.本技術>
<1.実施形態としてのVRシステムの概要>

 図1は、本技術に係る実施形態としての制御装置1及び力覚提示装置2を含んで構成されるVR(Virtual Reality:仮想現実)システム10の構成例を示している。
 図示のようにVRシステム10は、制御装置1及び力覚提示装置2と共に、表示装置3及び手指認識装置4を備えている。
 力覚提示装置2は、ユーザの各部位のうち、力覚提示の対象部位に装着されてユーザに力覚提示を行う。具体的に、本例の力覚提示装置2は、ユーザの手に着脱自在に装着され、ユーザの手指を対象部位として力覚提示を行う。
 手指認識装置4は、力覚提示装置2が装着されたユーザの手における手指の位置や姿勢の認識を行う。本例の手指認識装置4は、撮像部(カメラ部)や撮像部で得られた撮像画像についての画像認識処理を行う画像認識処理部とを備え、ユーザにマーカを付することなくモーションキャプチャを行うことが可能な装置として構成されている。手指認識装置4の例としては、例えばLeap Motion(登録商標)等を挙げることができる。
 本例における手指認識装置4は、力覚提示装置2が装着されたユーザの手における各部、具体的には、例えば各手指の関節部や指先部、掌(手の平)部、手首部等、ユーザの手における所定の各部の認識を行うと共に、認識した各部の実空間上における位置を認識する。
 手指認識装置4は、このように認識したユーザの手における各部の実空間上での位置を表す情報を手指認識結果情報として制御装置1に出力する。
 制御装置1は、例えばパーソナルコンピュータ等のコンピュータ装置として構成され、仮想空間VSを表現する画像である仮想空間画像の生成や、生成した仮想空間画像を表示装置3に表示させるための制御等を行う。
 図2は、仮想空間画像の例を示している。
 仮想空間画像においては、仮想空間VS上において力覚提示装置2が装着された手を画像として表した仮想ハンドVHが表示される。仮想空間VS上における仮想ハンドVHの動きや変位は、手指認識装置4で認識される実際の手の動きや変位を反映したものとなる。また、仮想空間VSにおける仮想ハンドVHの位置は、手指認識装置4で認識される実空間上の手の位置が仮想空間VSにマッピングされたものであり、実空間上の位置を反映したものとなっている。
 仮想空間画像で表現される仮想空間VSにおいては、仮想物体VOが配置されている。図2の例では、仮想ハンドVHと二つの仮想物体VOとが配置されている。
 制御装置1は、手指認識装置4から入力される手指認識結果情報に基づき、上記のように実空間上の位置を反映した位置においてユーザの実際の手の動きを反映して動く仮想ハンドVHを表現した仮想空間画像を生成し、該仮想空間画像を表示装置3に表示させる。
 なお、制御装置1は、上記のような仮想空間画像の生成に加え、力覚提示装置2についての制御も行うが、この点については後に改めて説明する。
 表示装置3は、仮想空間画像をユーザに対して表示する。すなわち、仮想空間画像により表現される仮想空間VSをユーザに視覚的に知覚させる。
 本例の表示装置3は、ユーザの頭部に着脱自在に装着されるHMD(ヘッドマウントディスプレイ)として構成されている。
 なお、表示装置3の形態はHMDの形態に限られず、ユーザに非装着の状態でユーザに対する仮想空間画像の表示を行う形態等、他形態を採ることもできる。
<2.力覚提示装置の構成例>

 図3から図8を参照し、力覚提示装置2の構成例について説明する。
 なお、以下では説明の複雑化を避けるため、ユーザが有する複数本の手指のうち1本の手指のみを対象として力覚提示を行う前提とする。
 図3、図4は力覚提示装置2の上面図、右側面図である。
 力覚提示装置2は、ユーザの手に着脱自在に装着されるグローブ部20と、例えば直径が数mm程度とされた金属や樹脂等による線材としてのワイヤ21と、それぞれがグローブ部20に対して固定された係止部22とガイド部材23とワイヤ制御ユニット24とを備えている。
 本例の力覚提示装置2では、係止部22及びガイド部材23は力覚提示の対象とする手指の背側に配置されている。ここで、手指の背側とは、手において表裏の関係となる手の甲側と掌(手の平)側とのうち、手の甲側を意味する。
 係止部22は、対象とする手指上におけるガイド部材23よりも指先側となる位置に配置され、ワイヤ21の一端を係止している。
 ガイド部材23は、ワイヤ21を対象とする手指の背に沿って這わせるようにガイドする。具体的に、ガイド部材23には、指先側の端部と指の根元側の端部とにそれぞれワイヤ21が挿通されるガイド穴23a、23bが形成されており、ワイヤ21は、これらガイド穴23a、23bに挿通されることで、指先側から指の根元方向に向けて配設されるようにガイドされる。
 ワイヤ制御ユニット24は、グローブ部20に固定される例えば板状の台座部25と、台座部25上に形成されたワイヤ制御部26とを備え、ワイヤ21の指先方向への繰り出しや指先側とは逆側へのワイヤ21の引き戻しについての制御を行う。
 本例において、ワイヤ制御ユニット24は、上記した係止部22やガイド部23と同様、掌側と手の甲側のうち手の甲側に配置されている。具体的に、本例のワイヤ制御ユニット24は、手の甲上となる位置、すなわち、手における手首よりも指先側で且つ手指よりも手首側となる位置に配置されている。
 ワイヤ制御ユニット24において、台座部25の指先側の端部にはガイド穴25aが形成され、ワイヤ21はガイド穴25aに挿通されている。
 ワイヤ制御部26は、図中に示すケース26aの内部において、以降で説明する内部構造体26bを有することで、ワイヤ21の他端を係止する共に、上述したワイヤ21の繰り出しや引き戻しについての制御を行う。
 ここで、図3及び図4を参照して分かるように、本例では、ワイヤ21を指先側において係止する係止部22は、対象とする手指の第一関節(DIP関節:distal interphalangeal joint)と第二関節(PIP関節:proximal interphalangeal joint)との間に位置されている。また、ガイド部材23は、対象とする手指の第二関節と第三関節(MP関節:metacarpal phalangeal joint)との間に配置されている。
 係止部22を第一関節と第二関節との間に位置させることで、第一関節から先の指先部分をグローブ部20によって被覆する必要がなくなる。このため、力覚提示装置2を装着した際における手の拘束感の緩和を図ることができ、仮想空間VSへの没入感を高めることができる。
 また、本例では、ワイヤ制御部26を含むワイヤ制御ユニット24をユーザの手における手首よりも指先側で且つ手指よりも手首側となる位置に配置しているが、これにより、ワイヤ制御ユニット24はユーザの手首を跨がないように配置される。
 従って、ユーザの手の動きの妨げとなることの防止を図ることができ、ユーザの仮想空間への没入感を高めることができる。なお、同様の効果を得るにあたっては、ワイヤ制御ユニット24を手首よりも腕側に配置してもよい。
 図5及び図6は、ワイヤ制御部26の内部構造体26bの構成を説明するための図であり、図5はケース26aを取り外した状態のワイヤ制御ユニット24の斜視図、図6は同ワイヤ制御ユニット24の内部構造体26bにおける要部の構成部品を分解した分解斜視図である。
 内部構造体26bは、例えばサーボモータとされたモータ27と、台座部25に固定されモータ27を保持する保持部28と、ワイヤ21の他端を係止すると共にワイヤ21を巻き取る方向とその逆方向(ワイヤ21を指先側に繰り出す方向)とに回動自在とされたプーリ29と、モータ27の回転軸27aの回転に連動して回動される回動部30と、回転軸27aに取り付けられ外周部においてプーリ29の内周部が固定されてワイヤ21に付勢力を与える付勢部31(図6参照)と、プーリ29が有する後述するワイヤ側ストッパ29aの回動方向における位置を検出する位置センサ32と、位置センサ32及びプーリ29の少なくとも一部を覆うカバー部33とを備えている。
 付勢部31は、モータ27の回転軸27aの軸回り方向に巻回されたぜんまいばねを有し、外周部に固定されたプーリ29に対し、回転軸27aの軸回り方向における付勢力を印加する。この付勢力は、プーリ29に他端が係止されたワイヤ21に対しても印加される。
 図7は、付勢部31による付勢方向の説明図である。
 付勢部31による付勢方向は、図中の矢印Yで表す方向、すなわちワイヤ21を巻き取る方向とされている。
 ここで、付勢部31による付勢力としては、ワイヤ21のテンションを維持する程度の僅かな付勢力に設定され、力覚提示装置2が装着された手の自由な動きを阻害することがないように図られている。
 図5及び図6において、プーリ29は、上述のように内周部が付勢部31の外周部に固定されることで、モータ27の回転軸27aと同軸に回動自在とされている。
 プーリ29には、回動面に対して直交する方向に突出された突起部が形成され、該突起部がワイヤ側ストッパ29aを形成している。
 回動部30は、例えば略円盤状の部材として構成され、内周部がモータ27の回転軸27aに固定され、回転軸27aの回転に連動して回転軸27aと同軸に回動する。
 回動部30には、プーリ29におけるワイヤ側ストッパ29aに当接してプーリ29の回動を規制する、すなわちワイヤ21の動きを規制することが可能とされた駆動部側ストッパ30aが形成されている。本例において、駆動部側ストッパ30aは、回動部30が有する円盤状の本体部の外周における一部が外周方向に突出された部分として形成されている。
 ここで、プーリ29の回動方向について、ワイヤ21が指先側に繰り出される際の回動方向を「繰り出し方向」、ワイヤ21が巻き取られる際の回動方向を「巻き取り方向」とすると、駆動部側ストッパ30aは、プーリ29の回動に伴うワイヤ側ストッパ29aの軌道上において、ワイヤ側ストッパ29aよりも繰り出し方向側に位置されている。そして、駆動部側ストッパ30aは、モータ27により回動部30が回動されることで、ワイヤ側ストッパ29aに対し接離する方向、すなわちワイヤ側ストッパ29aに接近する方向と離隔される方向とに変位自在とされている。
 位置センサ32は、例えばポテンションメータとされ、プーリ29の回動角度を検出する。この回動角度の情報は、プーリ29の回動方向におけるワイヤ側ストッパ29aの位置を表す情報と換言することができる。
 図8は、力覚提示装置2の動作説明図である。
 上記により説明した構造を有する力覚提示装置2においては、回動部30の回動に伴って駆動部側ストッパ30aの位置(回動方向における位置)が変化する。一方、ワイヤ側ストッパ29aの位置は、力覚提示の対象とする手指の動き(指の折り曲げや伸張)に応じて、プーリ29が回動することに応じて変化する。
 図8Aに示すようにワイヤ側ストッパ29aと駆動部側ストッパ30aとの間隔が十分に広い場合には、手指が折り曲げられてプーリ29がワイヤ21を繰り出す方向に回動されてもワイヤ側ストッパ29aが駆動部側ストッパ30aに当接せず、その結果、ユーザは手指を自由に動かしてもその動きが阻害されない。
 この際、ユーザが手指を折り曲げた後に伸張したとしても、付勢部31の付勢力により、ワイヤ21のテンションが維持されることになる。
 一方、図8Bに示すようにワイヤ側ストッパ29aに対し駆動部側ストッパ30aが当接した状態では、プーリ29の繰り出し方向への回動が規制され、従って、ワイヤ21の指先側への繰り出しが規制される。そして、このようにワイヤ側ストッパ29aに駆動部側ストッパ30aが当接した状態において、モータ27により回動部30に巻き取り方向(図8B中の矢印の方向)へのトルクを付与すると、駆動部側ストッパ30aからワイヤ側ストッパ29aを介してプーリ29にトルク伝達され、ワイヤ21を強制的に巻き取ることが可能とされる。すなわち、力覚提示装置2が装着された手指に対し、該手指を伸張させる方向への力を与えることができる。
 図9は、力覚提示装置2の電気的構成例を示すブロック図である。
 図示のように力覚提示装置2は、電気的構成として、前述したモータ27及び位置センサ32を備えると共に、制御部35と通信部36を備える。
 制御部35は、例えばCPU(Central Processing Unit)、ROM(Read Only Memory)、RAM(Random Access Memory)等を有したマイクロコンピュータ、又はIC(Integrated Circuit)等の信号処理装置を備えて構成され、力覚提示装置2の全体制御を行う。
 制御部35は、外部装置との間でデータ通信を行う通信部36と接続されており、該通信部36を介して図1に示した制御装置1との間で各種データをやりとりすることが可能とされている。
 また、制御部35は、制御装置1からの指示や、位置センサ32による検出情報に基づき、モータ27の駆動制御を行う。なお、このようなモータ27の駆動制御に関して、制御部35が実行する具体的な処理については後に改めて説明する。
<3.制御装置の構成例>

 図10は、制御装置1の内部構成例を示したブロック図である。
 図示のように制御装置1は、CPU11、ROM12、RAM13、バス14、入出力インタフェース15、入力部16、出力制御部17、記憶部18、及び通信部19を備えている。
 CPU11は、ROM12に記憶されているプログラム、又は記憶部18からRAM13にロードされたプログラムに従って各種の処理を実行する。RAM13にはまた、CPU11が各種の処理を実行する上において必要なデータなども適宜記憶される。
 CPU11、ROM12、及びRAM13は、バス14を介して相互に接続されている。このバス14には、入出力インタフェース15も接続されている。
 入出力インタフェース15には、入力部16、出力制御部17、記憶部18、及び通信部19が接続されている。
 入力部16は、ユーザが制御装置1に各種情報を入力するための入力デバイスを包括的に示しており、具体的には、キーボード、マウス、タッチパネル等により構成される。
 出力制御部17は、制御装置1に接続されたディスプレイやスピーカ等の出力デバイスについての制御を行う。図1に示した表示装置3に仮想空間画像を表示させるための表示制御は、この出力制御部17を介して行われる。
 記憶部18は、フラッシュメモリ装置やHDD(Hard Disk Drive)等により構成される。
 通信部19は、ネットワークを介しての通信処理や機器間通信を行う。CPU11は、この通信部19を介して力覚提示装置2の制御部35との間でデータ通信を行うことが可能とされる。また、CPU11は通信部19を介して、手指認識装置4からの手指認識結果情報を入力することが可能とされる。
 このような制御装置1では、通信部19による通信によりデータやプログラムのアップロード、ダウンロードを行うことが可能とされる。
 CPU11は、所定のプログラム(アプリケーションプログラム)に基づき、前述した仮想空間画像の生成や力覚提示装置2の制御を行う。
<4.実施形態としての制御手法>

 図11から図13を参照し、実施形態としての力覚提示装置2の制御手法について説明する。
 図11は、実施形態で定義される力覚提示装置2の制御モードについての説明図である。
 図11Aに示す空転モードは、駆動部側ストッパ30aを所定の退避位置に位置させて、対象とする手指の折り曲げに伴い変位するワイヤ側ストッパ29aが、駆動部側ストッパ30aと接触することを避けることで、手指の自由な動きが阻害されることの防止を図るためのモードである。
 ここで、上記の退避位置は、対象とする手指が最大に折り曲げられた状態でも駆動部側ストッパ30aがワイヤ側ストッパ29aと接触しない位置として定められている。
 図11Bに示す準備モードは、駆動部側ストッパ30aがワイヤ側ストッパ29aに一定の間隔を空けて追従するように駆動部側ストッパ30a(回動部30)を駆動させるモードである。
 この準備モードでは、手指の動きに連動してワイヤ側ストッパ29aが変位しても、駆動部側ストッパ30aが該ワイヤ側ストッパ29aの動きに追従して変位されることで、ワイヤ側ストッパ29aと駆動部側ストッパ30aとの間隔が一定間隔で維持される。
 後の説明から理解されるように、準備モードは、駆動部側ストッパ30aをワイヤ側ストッパ29aに対して素早く接触させることを意図したモードであり、このため、準備モードにおいて駆動部側ストッパ30aの位置は、ワイヤ側ストッパ29aに対し比較的近接した位置で維持させるようにする。
 図11Cに示す接触再現モードは、ワイヤ側ストッパ29aに駆動部側ストッパ30aを接触させて、ワイヤ側ストッパ29aの繰り出し方向への変位を規制する、すなわち対象とする手指の折り曲げ方向への動きを規制することで、ユーザに物体に触れた感触を知覚させるモードである。
 本例の接触再現モードでは、ワイヤ側ストッパ29aの変位を規制している駆動部側ストッパ30aの抗力に反してユーザが手指を折り曲げる力を入れた際に、駆動部側ストッパ30aが繰り出し方向に押し込まれるようになっている。すなわち、ユーザは、駆動部側ストッパ30aの接触によりワイヤ側ストッパ29aの変位が規制された状態に遷移した後であっても、一定以上の力を入れることで手指を折り曲げることが可能とされる。
 具体的に、本例の接触再現モードでは、駆動部側ストッパ30aの駆動目標位置を、ワイヤ側ストッパ29aと接触する位置(つまりワイヤ側ストッパ29aとのクリアランスがゼロとなる位置)とする制御が行われ、ワイヤ側ストッパ29aを巻き取り方向に押し戻す方向への駆動部側ストッパ30aの駆動までは行われない。このため、ユーザは、ワイヤ側ストッパ29aに接触した駆動部側ストッパ30aの抗力を上回る力を入れることで、手指を折り曲げることが可能とされる。
 図11Dに示す反力印加モードは、ワイヤ側ストッパ29aに駆動部側ストッパ30aが接触した状態において、ワイヤ側ストッパ29aに反力が与えられるように駆動部側ストッパ30aを駆動するモードである。具体的には、ワイヤ側ストッパ29aに駆動部側ストッパ30aが接触した状態において、モータ27によって駆動部側ストッパ30aに巻き取り方向へのトルクを加えるモードである。
 このような反力印加モードにより、触れた物体をさらに押し込んだ際における物体からの反力を表現することが可能とされる。
 図12は、実施形態における制御モードの切り替え例の説明図である。
 本実施形態では、仮想空間VS上における仮想物体VOと対象とする手指との位置関係に応じて、駆動部側ストッパ30aの駆動状態を変化させることで、該位置関係に応じた制御モードの切り替えを実現する。
 具体的に、本例では、図12Aに例示するような対象とする手指と仮想物体VOとの離間距離Dに応じて、制御モードの切り替えを行う。この離間距離Dは、本例では対象とする手指の指先部から仮想物体VOの表面までの距離とされる。
 本実施形態では、離間距離Dに応じた制御モードの切り替えを行うために、図12Bに示すような離間距離Dについての各閾値dが設定されている。
 これらの閾値dのうち、閾値d1は、空転モードと準備モードとの間の切り替えにあたり参照される閾値dであり、閾値d2は準備モードと接触再現モードとの間の切り替えにあたり参照される閾値dである。閾値d3は接触再現モードと反力印加モードとの間の切り替えにあたり参照される閾値dである。これら閾値d1、d2、d3の大小関係は、「d3<d2<d1」である。
 本例では、離間距離Dが閾値d1よりも大きい場合には空転モードを選択し、離間距離Dが閾値d1以下且つ閾値d2よりも大きい場合には準備モードを選択する。さらに、離間距離Dが閾値d2以下且つ閾値d3よりも大きい場合には接触再現モードを選択し、離間距離Dが閾値d3以下となった場合には反力印加モードを選択する。
 閾値d2は、接触再現モードへの切り替えを行う閾値dであるため、本例では閾値d2=0に設定している。またこれに伴い、閾値d3としては負の値に設定される。
 上記のように離間距離Dが閾値d1よりも大きい場合に空転モードを選択する、すなわち駆動部側ストッパ30aを退避位置に位置させておくことで、仮想空間VS上において対象とする手指が仮想物体VOから離れているにも拘わらず手指の動きが誤って規制されてしまうことの防止が図られる。
 また、離間距離Dが閾値d1以下且つ閾値d2よりも大きい場合に準備モードを選択することで、仮想空間VS上で対象とする手指が仮想物体VOに近づいて仮想物体VOとの接触が予測される場合に、駆動部側ストッパ30aの位置をワイヤ側ストッパ29aに対して近接した位置に保つことが可能とされる。従って、仮想物体VOとの接触(仮想接触)があったと推定された場合に駆動部側ストッパ30aをワイヤ側ストッパ29aに対して素早く接触させることができ、仮想接触時における力覚提示の応答性を高めることができる。
 さらに、離間距離Dが閾値d2以下となった場合に接触再現モードを選択することで、仮想空間VS上で対象とする手指が仮想物体VOに接触したと推定されたことに応じて、該手指に対し物体との接触を表現する抗力を与えることが可能とされる。すなわち、仮想物体との接触(仮想接触)に応じて、ユーザに物体に触れた感触を知覚させることができる。
 また、離間距離Dが閾値d3以下となった場合に反力印加モードを選択することで、触れた物体をさらに押し込んだ際における物体からの反力を表現することが可能とされる。すなわち、物体に触れた感覚のみでなく、物体を押し込んだ際の反力をユーザに知覚させることができる。
 ここで、接触再現モードへの切り替え時に参照される閾値d2としては、必ずしも「0」に限定されない。例えば、マシュマロ等のような触感の柔らかい仮想物体VOを想定した場合には、表面に触れた際の物体からの抗力は略ゼロに等しく、ユーザは表面から或る程度指を押し込んだ際に物体からの抗力を感じることが想定される。そのような場合に閾値d2=0とすると実際に得られるべき感覚からの乖離が生じてしまう虞があるため、閾値d2については0よりも小さい値に設定することが考えられる。
 或いは、閾値d2については、仮想空間画像の生成から表示までに生じ得る各種処理遅延等を考慮して0よりも小さい値に設定することも考えられる。
 準備モードから接触再現モードへの切り替えは、離間距離Dに基づき仮想物体VOとの接触有無を推定した結果に基づき行えばよいものであり、閾値d2については0近傍の値として適宜最適とされる値が設定されればよい。
 また、上記した制御モードの切り替えに関して、閾値d3の大きさによっては、仮想物体VOがどの程度押し込まれたときに反力を作用させるかを定めることができる。すなわち、この閾値d3の調整により、触れた物体を押し込んだ際における物体の堅さについての初期応答特性、換言すれば、物体表面の堅さについての表現態様を調整することが可能とされる。
 図13は、実施形態の制御モード切り替えにおいて用いるストッパ間距離θについての説明図である。
 ストッパ間距離θは、プーリ29の回動方向(つまり回動部30の回動方向と同じ)におけるワイヤ側ストッパ29aと駆動部側ストッパ30aとの離間距離(クリアランス)を意味する。
 図13Aに示す空転モード時には、ストッパ間距離θは、対象とする手指の動きに応じて可変となる。前述のように、本例における空転モード時における駆動部側ストッパ30aの退避位置は、対象とする手指が最大に折り曲げられた状態でも駆動部側ストッパ30aがワイヤ側ストッパ29aと接触しない位置として定められており、従って空転モード時においてはストッパ間距離θ≠0(θ>0)である。
 図13Bに示す準備モード時には、ストッパ間距離θはθ1としての一定値で維持される。準備モード時には、対象とする手指は仮想物体VOに未接触の状態にあるため、駆動部側ストッパ30aがワイヤ側ストッパ29aに接触し手指の動きが誤って規制されてしまうことの防止が図られるべきである。また同時に、準備モードでは、対象とする手指の仮想物体VOへの接触が推定されたことに応じ駆動部側ストッパ30aをワイヤ側ストッパ29aに素早く接触させることが要求される。これらの点を考慮し、準備モード時のストッパ間距離θであるθ1は、0よりも大きく且つできるだけ小さな値が設定される。
 図13Cに示す接触再現モード時、及び図13Dに示す反力印加モード時においては、ストッパ間距離θは上記したθ1よりも小さいθ2である。具体的に、接触再現モード及び反力印加モードでは駆動部側ストッパ30aをワイヤ側ストッパ29aに接触させるため、θ2=0である。
<5.処理手順>

 続いて、上記により説明した実施形態としての制御手法を実現するために実行すべき具体的な処理の手順例について、図14及び図15のフローチャートを参照して説明する。
 図14は、実施形態としての制御手法を実現するために制御装置1のCPU11が実行すべき具体的な処理の手順例を示している。
 先ず、CPU11はステップS101で、実空間での手指位置の情報を取得する。すなわち、手指認識装置4より前述した手指認識結果情報を取得する。
 ステップS101に続くステップS102でCPU11は、実空間の手指位置を仮想空間VSにマッピングし、さらに続くステップS103で、仮想空間VSにおける仮想物体VOと手指との離間距離Dを計算する。前述のように本例では、仮想物体VOの表面と対象とする手指の指先部との間の距離を離間距離Dとして計算する。
 ステップS103に続くステップS104でCPU11は、離間距離Dが閾値d1より大きいか否かを判定する。離間距離Dが閾値d1より大きければ、CPU11はステップS107に進んで空転モードを指示する処理を実行する。すなわち、力覚提示装置2の制御部35に空転モードを指示する処理を行う。
 一方、ステップS104において離間距離Dが閾値d1より大きくないと判定した場合、CPU11はステップS105に進んで離間距離Dは閾値d2より大きいか否かを判定する。離間距離Dが閾値d2より大きいと判定した場合(つまり閾値d2<離間距離D≦閾値d1の場合)、CPU11はステップS108に進んで準備モードを指示する処理を行う。
 また、ステップS105において離間距離Dは閾値d2より大きくないと判定した場合(つまり離間距離D≦閾値d2の場合)、CPU11はステップS106に進んで離間距離Dは閾値d3より大きいか否かを判定する。離間距離Dが閾値d3より大きいと判定した場合(つまり閾値d3<離間距離D≦閾値d2の場合)、CPU11はステップS109に進んで接触再現モードを指示する処理を行う。
 一方、ステップS106において離間距離Dは閾値d3より大きくないと判定した場合(つまり離間距離D≦閾値d3の場合)、CPU11はステップS110に進んで反力印加モードを指示する処理を行う。
 上記したステップS107からS110の何れかの処理を実行したことに応じ、CPU11はステップS111に進んで処理終了か否かを判定する。すなわち、例えば制御装置1にインストールされた表示装置3に仮想空間画像を表示させるためのアプリケーションの終了指示操作が行われる等、図14に示す処理の終了条件として予め定められた所定条件が成立したか否かを判定する。
 ステップS111において、処理終了でないと判定した場合、CPU11はステップS101に戻る。これにより、処理終了と判定されるまでの間、手指認識装置4からの手指認識結果情報に基づく離間距離Dの計算、及び離間距離Dに応じた制御モードの指示が繰り返し実行される。
 ここで、本例では、手指認識装置4による手指認識結果情報の出力周期は、例えば表示装置3に表示する仮想空間画像のフレーム周期と同周期とされ、従って上記した離間距離Dの計算や離間距離Dに応じた制御モードの指示は該フレーム周期と同周期で繰り返し実行される。
 また、ステップS111で処理終了と判定した場合、CPU11は図14に示す一連の処理を終える。
 図15は、実施形態としての制御手法を実現するために力覚提示装置2の制御部35が実行すべき具体的な処理の手順例を示している。
 制御部35は、制御装置1側から指示される空転モード、準備モード、接触再現モード、及び反力印加モードの別に応じて、図15Aから図15Dに示す処理のうち該当する制御モードの処理を実行する。
 具体的に、空転モードが指示された場合、制御部35は図15Aに示すステップS201の処理として、駆動部側ストッパ30aを退避位置に位置させる処理を実行する。ここで、制御部35は、駆動部側ストッパ30aの位置をモータ27の回転角度の情報に基づいて特定可能とされている。ステップS201の処理は、上記した退避位置に相当するモータ27の回転角度を目標角度としてモータ27を駆動する処理として行われる。
 また、準備モードが指示された場合、制御部35は図15Bに示す処理を実行する。
 具体的に、この場合の制御部35は、先ずステップS202でストッパ間距離θの計測を行う。本例において、ストッパ間距離θの計測は、モータ27の回転角度の情報と位置センサ32が検出するプーリ29の回動角度の情報とに基づいて行う。
 ステップS202に続くステップS203で制御部35は、差分(θ-θ1)に基づきモータ駆動量を設定する処理を行う。すなわち、ステップS202で計測したストッパ間距離θとθ1(図13B参照)との差分が0となるように、換言すれば、該ストッパ間距離θがθ1と一致するようにモータ27の駆動量を設定する処理を行う。
 ステップS203に続くステップS204で制御部35は、設定した駆動量でモータ27を駆動する処理を実行し、ステップS202に戻る。
 このような図15Bの処理により、準備モード時には、ストッパ間距離θがθ1で維持される。
 接触再現モードが指示された場合、制御部35は図15Cに示す処理を実行する。
 図15Cにおいて、制御部35はステップS202でストッパ間距離θの計測を行い、続くステップS205で差分(θ-θ2)に基づきモータ駆動量を設定する処理、すなわち、ストッパ間距離θがθ2(=0)と一致するようにモータ27の駆動量を設定する処理を行う。そして、制御部35は続くステップS206で、設定した駆動量でモータ27を駆動する処理を実行し、ステップS202に戻る。
 この図15Cに示す処理により、接触再現モード時には、駆動部側ストッパ30aの駆動目標位置をワイヤ側ストッパ29aと接触する位置としてモータ27を駆動する処理が繰り返し行われる。
 従って、物体に触れた感覚をユーザに知覚させることができる。
 反力印加モードが指示された場合、制御部35は図15Dに示す処理を実行する。
 図15Cにおいて、制御部35はステップS202でストッパ間距離θの計測を行い、続くステップS205で差分(θ-θ2)に基づきモータ駆動量を設定する処理、すなわち、ストッパ間距離θが0となるようにモータ27の駆動量を設定する処理を行う。
 そして、ステップS205に続くステップS207で制御部35は、離間距離Dを制御装置1から取得する処理を行い、さらに続くステップS208で、離間距離Dに基づきモータ駆動量をオフセットする処理を行う。ここで、ステップS208におけるモータ駆動量のオフセット値は、目標距離Dの絶対値(反力印加モード時における目標距離Dは負の値である)が大きいほど大きな値とする。
 ステップS208に続くステップS209で制御部35は、オフセットした駆動量によりモータ27を駆動する処理を実行し、ステップS202に戻る。
 図15Dに示す処理により、対象とする手指が仮想物体VOと接触した状態からさらに押し込まれたことに応じて、該手指に対し仮想物体VO側からの反力を与えることができる。
 この際、上記のようにステップS208でのオフセット値を目標距離Dの絶対値が大きいほど大きな値としていることで、物体からの反力を適切に表現することができる。
<6.変形例>

 ここで、触れた物体を押し込んだ際の物体からの反力は、物体の種類に応じて異なり得る。力覚提示の正確性向上を図る上では、このような物体の種類に応じた反力特性の差を表現できることが望ましい。
 図16及び図17のフローチャートは、物体の種類に応じた反力特性の差を表現する場合に実行されるべき具体的な処理の手順例を示している。
 図16は、制御装置1のCPU11が実行すべき処理の手順例を示している。
 図14に示した処理との差は、ステップS120の処理が追加された点である。
 この場合のCPU11は、ステップS110で反力指示モードを指示したことに応じ、ステップS120で仮想物体VOの種類に応じたトルク特性情報を制御部35に指示する処理を実行し、ステップS111に処理を進める。具体的に、ステップS120の処理では、離間距離Dが閾値d3以下と判定された仮想物体VOの種類に応じたモータ27のトルク特性情報を制御部35に指示する。具体的には、該トルク特性情報を制御部35に送信する。
 なお、ステップS120とステップS110の処理を実行する順番は前後してもよい。
 図17は、反力印加モードが指示された場合に制御部35が実行すべき処理の手順例を示している。
 図15Dに示した処理との差は、ステップS208の処理に代えてステップS220の処理を実行する点である。このステップS220で制御部35は、指示されたトルク特性情報と離間距離Dとに基づき、モータ駆動量をオフセットする処理を行う。
 ここで、本例におけるトルク特性情報は、離間距離Dの絶対値とモータ駆動量(つまりモータ27のトルク)のオフセット値との対応関係を表す情報とされている。ステップS220の処理では、このようなトルク特性情報に基づき、ステップS207で取得した離間距離Dの絶対値に対応するオフセット値を取得し、該オフセット値をステップS205で設定したモータ駆動量に加算する処理を行う。
 これら図16及び図17に示した処理により、物体の種類に応じた反力特性の差を表現することができる。換言すれば、物体の種類に応じた弾力の差を表現することができる。
 なお、上記では、CPU11が制御部35に仮想物体VOの種類に応じたトルク特性情報を指示する例として、CPU11がトルク特性情報を送信する例を挙げたが、制御部35側に、仮想物体VOの種類ごとのトルク特性情報を記憶させておき、CPU11は制御部35に仮想物体VOの種類を識別するための情報を送信するという手法を採ることもできる。この場合、制御装置1側にトルク特性情報を記憶させておく必要がなくなる。
 ここで、これまでの説明では、物体に触れた感覚や物体からの反力を知覚させるにあたり、プーリ29によりワイヤ21を巻き取る方式を採用する例を挙げたが、これに代えて、例えば図18に例示するような直動式としての方式を採用することもできる。
 図18は、直動式を採用した場合におけるワイヤ制御部26の内部構造体26bAの構成例を模式的に表している。
 図示は省略しているが、この場合もワイヤ21の一端は係止部22により係止されている。この場合、ワイヤ21の他端は、内部構造体26bAに設けられた付勢部31Aに固定されている。付勢部31Aとしては、例えばコイルばねが用いられ、該ばねの一端にワイヤ21の他端が固定され、該ばねの他端は台座部25によって支持される部材に固定されている。ここで、付勢部31Aは、付勢部31と同様、ワイヤ21のテンションを維持するために設けられており、付勢力は小さくされる。
 ワイヤ21の他端部にはワイヤ側ストッパ40が固着されている。このワイヤ側ストッパ40は、手指の折り曲げ、伸張に応じたワイヤ21の繰り出し方向への変位、引き戻し方向の変位に機械的に連動して変位する。
 内部構造体26bAにおいては、このようなワイヤ21の繰り出し方向、引き戻し方向の変位に連動して変位するワイヤ側ストッパ40の軌道上において、ワイヤ側ストッパ40よりもワイヤ21の一端側(指先側)に位置された駆動部側ストッパ41が設けられている。この駆動部側ストッパ41は、モータ27Aによって回転駆動される送りねじ42によってワイヤ側ストッパ40の変位方向に平行な方向に変位自在とされている。すなわち、駆動部側ストッパ41はワイヤ側ストッパ40に対して接離する方向に変位自在とされている。
 図19は、このような直動型のワイヤ制御部26を用いる場合における空転モード、準備モード、接触再現モード、反力印加モードの説明図である。
 図19Aに示す空転モード時には、モータ27Aによって駆動部側ストッパ41が所定の退避位置に位置され、図19Bに示す準備モード時には駆動部側ストッパ41がワイヤ側ストッパ40に一定の間隔を空けて追従するようにモータ27Aにより駆動される。
 また、図19Cに示す接触再現モード時には、駆動部側ストッパ41がワイヤ側ストッパ40に接触するように駆動される、具体的には、ワイヤ側ストッパ40と接触する位置を目標位置として駆動部側ストッパ41がモータ27Aにより駆動され、図19Dに示す反力モード時には、ワイヤ側ストッパ40に反力(ワイヤ21を引き戻し方向に変位させる力)を与えるように駆動部側ストッパ41がモータ27Aにより駆動される。
 このような直動式のワイヤ制御部26を用いた場合も、前述したプーリ29を用いる巻き取り式のワイヤ制御部26を用いた場合と同様の効果を得ることができる。
 なお、これまでの説明では、ユーザが有する複数本の手指のうち1本の手指のみを対象として力覚提示を行う例を挙げたが、他の手指についても同様の手法を採ることで、複数本の手指について同様の力覚提示が実現されるように構成することもできる。
 また、これまでの説明では、駆動部側ストッパ30a(又は41)の駆動源としてモータを用いる例を挙げたが、該駆動源としては、例えばエアシリンダ型のアクチュエータのような流体の圧を用いるアクチュエータ等、モータ以外のアクチュエータを用いることもできる。
 また、これまでの説明では、ワイヤ21を手指の背側に沿って配設する構成を例示したが、ワイヤ21を手指の腹側(背側とは逆側)に沿って配設する構成を採ることもできる。これにより、駆動部側ストッパ30a(又は41)をワイヤ側ストッパ29a(又は40)に接触させて力を加えた際に、手指を腹側に折り曲げる方向の力を発生させることが可能とされる。従って、手指の背側から物体に触れた際の力覚の再現に好適できる。
 また、力覚提示装置2には、各種の安全機能を持たせることも考えられる。
 例えば、制御部35が反力印加モード時におけるモータ27(又は27A)のトルク(つまり駆動部側ストッパ30a又は41の駆動トルク)を検出し、該トルクが所定の上限値に達した場合に、モータ27の駆動を停止して駆動部側ストッパ30a(又は41)によるワイヤ側ストッパ29a(又は40)への反力の付与を停止させるようにすることができる。
 これにより、ユーザにおける対象部位を動かすための関節部や、駆動部側ストッパ30a(又は41)の駆動機構部に過大な負荷がかかることの防止が図られる。
 従って、ユーザの関節部に過大なストレスを与えることや力覚提示装置が破損してしまうことの防止を図ることができ、安全性を高めることができる。
 或いは、所定量以上にワイヤが引き込まれないようにする構成を採ることもできる。
 例えば、制御部35は、位置センサ32の検出情報に基づいてワイヤ21の引き込み量を推定する。そして、制御部35は、このように推定したワイヤ21の引き込み量が所定量を超えないようにモータ27(又は27A)の制御を行う。具体的には、ワイヤ21の引き込み量が所定の上限値に達したことに応じ、モータ27(又は27A)の駆動を停止する。
 或いは、メカ的に、引き込み限界となる位置にストッパを設けて、該ストッパによりワイヤ側ストッパ29a(又は40)が引き込み量の限界を超えて引き込み方向に変位されてしまうことの防止を図るという構成を採ることもできる。
 例えばこれらの構成のように、ワイヤ21の引き込み量が所定量を超えないようにする構成を採ることで、ワイヤ21の引き込み量を、ユーザにおける対象部位を動かすための関節部の可動範囲や駆動部側ストッパ30a(又は41)の駆動機構部の可動範囲を超えないように規制することが可能とされる。
 従って、ユーザの関節部に過大なストレスを与えることや力覚提示装置が破損してしまうことの防止を図ることができ、安全性を高めることができる。
 また、本技術については、手指への適用のみでなく、例えば足指や肘部、膝部等の他の部位への適用も可能である。
 さらに、本技術については、例えば医療や介護等の分野におけるリハビリテーション用のVRシステムへの適用も可能である。
 また、これまでの説明では、仮想空間画像の生成や力覚提示装置の制御を行う制御装置が、仮想空間画像の表示を行うHMDと別体に構成される例を挙げたが、制御装置はHMDと一体に構成することもできる。またこの際のHMDとしては、手指認識装置4のように力覚提示の対象部位の位置や姿勢を認識する(例えば、対象部位を構成する所定各部の位置を認識する)機能を実現するための構成を有していてもよい。
<7.プログラム及び記憶媒体>

 以上、実施形態としての制御装置1を説明してきたが、実施形態のプログラムは、制御装置1としての処理をCPU等のコンピュータ装置に実行させるプログラムである。
 実施形態のプログラムは、コンピュータ装置が読み取り可能なプログラムであって、ユーザの対象部位の動きに機械的に連動して変位する第一部材と、第一部材に対して接離する方向に変位自在とされた第二部材と、第二部材を駆動する駆動部とを有して、対象部位に対する力覚提示を行う力覚提示装置に対する制御処理として、仮想物体が配置された仮想空間上における仮想物体と対象部位との位置関係に応じて駆動部による第二部材の駆動状態を変化させる処理、をコンピュータ装置に実行させるプログラムである。
 すなわち、このプログラムは、例えばコンピュータ装置に図14や図16等により説明した処理を実行させるプログラムに相当する。
 このようなプログラムは、コンピュータ装置が読み取り可能な記憶媒体、例えばROMやSSD(Solid State Drive)、HDD(Hard Disk Drive)等に予め記憶しておくことができる。或いはまた、半導体メモリ、メモリーカード、光ディスク、光磁気ディスク、磁気ディスク等のリムーバブル記憶媒体に、一時的又は永続的に格納(記憶)しておくことができる。またこのようなリムーバブル記憶媒体は、いわゆるパッケージソフトウェアとして提供することができる。
 また、このようなプログラムは、リムーバブル記憶媒体からパーソナルコンピュータ等にインストールする他、ダウンロードサイトから、LAN(Local Area Network)、インターネット等のネットワークを介してスマートフォン等の所要の情報処理装置にダウンロードすることもできる。
<8.実施形態のまとめ>

 上記のように実施形態としての制御装置(同1)は、ユーザの対象部位の動きに機械的に連動して変位する第一部材(ワイヤ側ストッパ29a又は40)と、第一部材に対して接離する方向に変位自在とされた第二部材(駆動部側ストッパ30a又は41)と、第二部材を駆動する駆動部(モータ27又は27A)とを有して、対象部位に対する力覚提示を行う力覚提示装置(同2)に対する制御として、仮想物体が配置された仮想空間(同VS)上における仮想物体(同VO)と対象部位との位置関係に応じて第二部材の駆動状態を変化させる制御を行う制御部(CPU11)を備えたものである。
 上記のように仮想物体と対象部位との位置関係に応じて第二部材の駆動状態を変化させることで、例えば対象部位が仮想物体に近づいて触れた際に第二部材を第一部材に接触させてユーザに仮想物体に触れた感覚を知覚させたり、或いは、対象部位が仮想物体から十分に遠い状態では第二部材と第一部材とのクリアランスを大きくするように第二部材を駆動させることで、第二部材が第一部材に接触して対象部位の自由な動きが阻害されてしまうことの防止を図ったりすることが可能とされる。また、上記のように仮想物体と対象部位との位置関係に応じて第二部材の駆動状態を変化させれば、第一部材に対して仮想物体側からの反力を与えることが可能となり、物体に触れた感覚のみでなく、触れた物体から対象部位が押し返されるような物体からの反力を知覚させることも可能となる。
 従って、ユーザが仮想物体に触れてないときの対象部位の自由な動きが阻害されることの防止を図りつつ、力覚提示の正確性向上を図ることができる。
 また、実施形態としての制御装置においては、制御部は、仮想物体と対象部位との離間距離(同D)に応じて駆動状態を変化させている。
 これにより、物体に触れた感覚や物体からの反力を表現するにあたり、対象部位が仮想物体に与える力の大きさを推定する必要がなくなる。従来の力覚提示においては、対象部位が仮想物体に与える力の大きさを推定するために、ユーザが対象部位を動かした際のトルクを検出し、検出したトルクに応じた反力を対象部位に与えるという手法が一般的に採られているが、その場合には、トルクを検出するためのセンサを別途設ける必要がある等、構成の複雑化を招く。上記のように仮想物体との離間距離に応じた制御とすることで、トルク検出のためのセンサを別途設ける必要がなくなり、力覚提示を実現するための構成の簡易化を図ることができる。
 また、上記のように仮想物体と対象部位との離間距離に応じて駆動状態を変化させることで、仮想物体との接触(仮想接触)の前段階で対象部位の自由な動きが阻害されてしまうことの防止を図ることができる。
 さらに、実施形態としての制御装置においては、制御部は、離間距離が閾値(閾値d1)よりも大きい場合は、第二部材を第一部材から離隔された所定位置に位置させ続ける制御を行っている(「空転モード」参照)。
 これにより、仮想空間上で対象部位が仮想物体から十分離れている状態において、第二部材を第一部材から十分に離隔された退避位置に位置させ続けることが可能とされる。すなわち、対象部位に連動して変位する第一部材が第二部材と接触して対象部位の動きが妨げられてしまうことの防止が図られる。
 従って、対象部位が仮想物体から離れているにも拘わらず対象部位の動きが誤って規制されてしまうことの防止が図られ、力覚提示の正確性向上を図ることができる。
 また、仮想物体との接触(仮想接触)の前段階で対象部位の自由な動きが阻害されてしまうことの防止を図ることができる。
 さらにまた、実施形態としての制御装置においては、制御部は、離間距離に基づいて対象部位の仮想物体に対する接触の有無を推定し、該接触があったと推定した場合に、第二部材を第一部材に接触させる制御を行っている(「接触再現モード」参照)。
 これにより、仮想空間上で対象部位が仮想物体に接触したと推定されたことに応じて、対象部位に対し物体との接触を表現する抗力を与えることが可能とされる。
 従って、仮想物体との接触(仮想接触)に応じて、ユーザに物体に触れた感触を知覚させることができる。
 また、実施形態としての制御装置においては、制御部は、離間距離が閾値以下となった以降、接触があったと推定されるまでの間、第二部材が第一部材に一定の間隔を空けて追従するように第二部材を駆動させる制御を行っている(「準備モード」参照)。
 これにより、仮想空間上で対象部位が仮想物体に近づいて仮想物体との接触が予測される場合に、第二部材の位置を第一部材に対して近接した位置に保つことが可能とされる。
 従って、仮想物体との接触(仮想接触)があったと推定された場合に第二部材を第一部材に対して素早く接触させることができ、仮想接触時における力覚提示の応答性を高めるという面で、力覚提示の正確性向上を図ることができる。
 また、対象部位が仮想物体から離れているにも拘わらず対象部位の動きが誤って規制されてしまうことの防止が図られ、その面でも力覚提示の正確性向上を図る
 さらに、実施形態としての制御装置においては、制御部は、接触があったと推定した時点から離間距離が減少する場合は、第一部材に反力を与えるように第二部材を駆動させる制御を行っている(「反力印加モード」参照)。
 これにより、触れた物体をさらに押し込んだ際における物体からの反力を表現することが可能とされる。
 従って、物体に触れた感覚のみでなく、物体を押し込んだ際の反力を知覚させることができ、力覚提示の正確性向上を図ることができる。
 さらにまた、実施形態としての制御装置においては、制御部は、第一部材に対する反力の付与特性を仮想物体の種類に応じて変更させる制御を行っている(図15Dを参照)。
 これにより、触れた物体をさらに押し込んだ際における対象部位への反力の付与特性が、仮想物体の種類に応じて変更される。
 従って、物体の種類に応じた弾力の差を表現することができる。
 また、実施形態としての力覚提示装置(同2)は、ユーザの対象部位の動きに機械的に連動して変位する第一部材(ワイヤ側ストッパ29a又は40)と、第一部材に対して接離する方向に変位自在とされた第二部材(駆動部側ストッパ30a又は41)と、第二部材を駆動する駆動部(モータ27又は27A)と、を備え、仮想物体が配置された仮想空間(同VS)上における仮想物体(同VO)と対象部位との位置関係に応じて駆動部による第二部材の駆動状態が変化するものである。
 上記のように仮想物体と対象部位との位置関係に応じて第二部材の駆動状態が変化されることで、例えば対象部位が仮想物体に近づいて触れた際に第二部材を第一部材に接触させてユーザに仮想物体に触れた感覚を知覚させたり、或いは、対象部位が仮想物体から十分に遠い状態では第二部材と第一部材とのクリアランスを大きくするように第二部材を駆動させることで、第二部材が第一部材に接触して対象部位の自由な動きが阻害されてしまうことの防止を図ったりすることが可能とされる。また、上記のように仮想物体と対象部位との位置関係に応じて第二部材の駆動状態が変化されれば、第一部材に対して仮想物体側からの反力を与えることが可能となり、物体に触れた感覚のみでなく、触れた物体から対象部位が押し返されるような物体からの反力を知覚させることも可能となる。
 従って、ユーザが仮想物体に触れてないときの対象部位の自由な動きが阻害されることの防止を図りつつ、力覚提示の正確性向上を図ることができる。
 また、実施形態としての力覚提示装置においては、仮想物体と対象部位との離間距離に応じて駆動状態が変化する。
 これにより、物体に触れた感覚や物体からの反力を表現するにあたり、対象部位が仮想物体に与える力の大きさを推定する必要がなくなる。
 従って、力覚提示を実現するための構成の簡易化を図ることができる。
 また、上記のように仮想物体と対象部位との離間距離に応じて駆動状態を変化させることで、仮想物体との接触(仮想接触)の前段階で対象部位の自由な動きが阻害されてしまうことの防止を図ることができる。
 さらに、実施形態としての力覚提示装置においては、駆動部は、離間距離が閾値よりも大きい場合は、第二部材を第一部材から離隔された所定位置に位置させ続けている(「空転モード」参照)。
 これにより、仮想空間上で対象部位が仮想物体から十分離れている状態において、第二部材を第一部材から十分に離隔された所定の退避位置に位置させ続けることが可能とされる。すなわち、対象部位に連動して変位する第一部材が第二部材と接触して対象部位の動きが妨げられてしまうことの防止が図られる。
 従って、対象部位が仮想物体から離れているにも拘わらず対象部位の動きが誤って規制されてしまうことの防止が図られ、力覚提示の正確性向上を図ることができる。
 また、仮想物体との接触(仮想接触)の前段階で対象部位の自由な動きが阻害されてしまうことの防止を図ることができる。
 さらにまた、実施形態としての力覚提示装置においては、駆動部は、離間距離に基づき対象部位の仮想物体に対する接触があったと推定された場合に、第二部材を第一部材に接触させている(「接触再現モード」)。
 これにより、仮想空間上で対象部位が仮想物体に接触したと推定されたことに応じて、対象部位に対し物体との接触を表現する抗力を与えることが可能とされる。
 従って、仮想物体との接触(仮想接触)に応じて、ユーザに物体に触れた感触を知覚させることができる。
 また、実施形態としての力覚提示装置においては、駆動部は、離間距離が閾値以下となった以降、接触があったと推定されるまでの間、第二部材が第一部材に一定の間隔を空けて追従するように第二部材を駆動している(「準備モード」参照)。
 これにより、仮想空間上で対象部位が仮想物体に近づいて仮想物体との接触が予測される場合に、第二部材の位置を第一部材に対して近接した位置に保つことが可能とされる。
 従って、仮想物体との接触(仮想接触)があったと推定された場合に第二部材を第一部材に対して素早く接触させることができ、仮想接触時における力覚提示の応答性を高めるという面で、力覚提示の正確性向上を図ることができる。
 また、対象部位が仮想物体から離れているにも拘わらず対象部位の動きが誤って規制されてしまうことの防止が図られ、その面でも力覚提示の正確性向上を図ることができる。
 さらに、実施形態としての力覚提示装置においては、駆動部は、接触があったと推定された時点から離間距離が減少する場合は、第一部材に反力を与えるように第二部材を駆動している(「反力印加モード」)。
 これにより、触れた物体をさらに押し込んだ際における物体からの反力を表現することが可能とされる。
 従って、物体に触れた感覚のみでなく、物体を押し込んだ際の反力を知覚させることができ、力覚提示の正確性向上を図ることができる。
 さらにまた、実施形態としての力覚提示装置においては、駆動部は、第一部材に対する反力の付与特性を仮想物体の種類に応じて変更している(図17参照)。
 これにより、触れた物体をさらに押し込んだ際における対象部位への反力の付与特性が、仮想物体の種類に応じて変更される。
 従って、物体の種類に応じた弾力の差を表現することができる。
 また、実施形態としての力覚提示装置においては、対象部位はユーザの手指であるものとされている。
 これにより、ユーザの手指を対象として、仮想物体との位置関係に応じて抗力を与えたり仮想物体からの反力を与えたりすることが可能となる。
 従って、ユーザが物体を摘んだり握ったりした際における力覚の表現を行うことができる。
 さらに、実施形態としての力覚提示装置においては、対象部位の動きに連動するワイヤ(同21)を備え、第一部材は、ワイヤと機械的に連動する部材とされている。
 これにより、第二部材が第一部材に対して接触したり反力を与えた場合には、ワイヤを介して対象部位に抗力や反力が与えられる。このようなワイヤ型の力覚提示装置とされることで、力覚提示にあたり例えば手指等の対象部位に配置すべき部材は、ワイヤの一端を係止する係止部、及びワイヤを対象部位に沿って這わせるためのガイド部のみとすることが可能とされる。
 従って、対象部位のシルエットを乱さないように図ることができ、対象部位の位置の検出精度を高める、すなわち対象部位と仮想物体との位置関係の認識精度を高めるという面で力覚提示の正確性向上を図ることができる。
 また、上記のように力覚提示にあたり対象部位に配置すべき部材の簡素化が図られることで、力覚提示装置が対象部位の動きの妨げになることの防止を図ることができ、ユーザの仮想空間への没入感を高めることができる。
 さらにまた、実施形態としての力覚提示装置においては、対象部位はユーザの手指であり、ワイヤが手指の背に沿って配設されている。
 これにより、第二部材を第一部材に接触させて力を加えた際に、手指を背側に反らす方向(手指を伸張する方向)の力を発生させることが可能とされる。
 従って、物を摘んだり握ったりする際の力覚提示に好適である。
 また、実施形態としての力覚提示装置においては、駆動部は、ユーザの手首よりも指先側又は腕側に配置されている。
 これにより、駆動部はユーザの手首を跨がないように配置される。
 従って、ユーザの手の動きの妨げとなることの防止を図ることができ、ユーザの仮想空間への没入感を高めることができる。
 さらに、実施形態としての力覚提示装置においては、駆動部は、第二部材の駆動トルクが上限値に達した場合に第二部材による第一部材に対する反力の付与を停止させている。
 これにより、ユーザにおける対象部位を動かすための関節部や第二部材の駆動機構部に過大な負荷がかかることの防止が図られる。
 従って、ユーザの関節部に過大なストレスを与えることや力覚提示装置が破損してしまうことの防止を図ることができ、安全性を高めることができる。
 さらにまた、実施形態としての力覚提示装置においては、対象部位の動きに連動するワイヤを備え、第一部材は、ワイヤと機械的に連動する部材とされ、ワイヤの引き込み量が所定量を超えないように構成されている。
 これにより、ワイヤの引き込み量を、ユーザにおける対象部位を動かすための関節部の可動範囲や第二部材の駆動機構部の可動範囲を超えないように規制することが可能とされる。
 従って、ユーザの関節部に過大なストレスを与えることや力覚提示装置が破損してしまうことの防止を図ることができ、安全性を高めることができる。
 また、実施形態としての制御方法は、ユーザの対象部位の動きに機械的に連動して変位する第一部材と、第一部材に対して接離する方向に変位自在とされた第二部材と、第二部材を駆動する駆動部とを有して、対象部位に対する力覚提示を行う力覚提示装置の制御方法であって、仮想物体が配置された仮想空間上における仮想物体と対象部位との位置関係に応じて第二部材の駆動状態を変化させる制御方法である。
 このような実施形態としての制御方法によっても、上記した実施形態としての制御装置や力覚提示装置と同様の作用及び効果を得ることができる。
 また、実施形態の記憶媒体は、コンピュータ装置が読み取り可能なプログラムを記憶した記憶媒体であって、ユーザの対象部位の動きに機械的に連動して変位する第一部材と、第一部材に対して接離する方向に変位自在とされた第二部材と、第二部材を駆動する駆動部とを有して、対象部位に対する力覚提示を行う力覚提示装置に対する制御処理として、仮想物体が配置された仮想空間上における仮想物体と対象部位との位置関係に応じて駆動部による第二部材の駆動状態を変化させる処理、をコンピュータ装置に実行させるプログラムを記憶した記憶媒体である。
 このような記憶媒体により、上記した実施形態としての制御装置を実現することの容易化を図ることができる。
 なお、本明細書に記載された効果はあくまでも例示であって限定されるものではなく、また他の効果があってもよい。
<9.本技術>

 なお本技術は以下のような構成も採ることができる。
(1)
 ユーザの対象部位の動きに機械的に連動して変位する第一部材と、前記第一部材に対して接離する方向に変位自在とされた第二部材と、前記第二部材を駆動する駆動部とを有して、前記対象部位に対する力覚提示を行う力覚提示装置に対する制御として、仮想物体が配置された仮想空間上における前記仮想物体と前記対象部位との位置関係に応じて前記第二部材の駆動状態を変化させる制御を行う制御部を備えた
 制御装置。
(2)
 前記制御部は、
 前記仮想物体と前記対象部位との離間距離に応じて前記駆動状態を変化させる
 前記(1)に記載の制御装置。
(3)
 前記制御部は、
 前記離間距離が閾値よりも大きい場合は、前記第二部材を前記第一部材から離隔された所定位置に位置させ続ける制御を行う
 前記(2)に記載の制御装置。
(4)
 前記制御部は、
 前記離間距離に基づいて前記対象部位の前記仮想物体に対する接触の有無を推定し、該接触があったと推定した場合に、前記第二部材を前記第一部材に接触させる制御を行う
 前記(3)に記載の制御装置。
(5)
 前記制御部は、
 前記離間距離が前記閾値以下となった以降、前記接触があったと推定されるまでの間、前記第二部材が前記第一部材に一定の間隔を空けて追従するように前記第二部材を駆動させる制御を行う
 前記(4)に記載の制御装置。
(6)
 前記制御部は、
 前記接触があったと推定した時点から前記離間距離が減少する場合は、前記第一部材に反力を与えるように前記第二部材を駆動させる制御を行う
 前記(4)又は(5)に記載の制御装置。
(7)
 前記制御部は、
 前記第一部材に対する前記反力の付与特性を前記仮想物体の種類に応じて変更させる制御を行う
 前記(6)に記載の制御装置。
(8)
 ユーザの対象部位の動きに機械的に連動して変位する第一部材と、
 前記第一部材に対して接離する方向に変位自在とされた第二部材と、
 前記第二部材を駆動する駆動部と、を備え、
 仮想物体が配置された仮想空間上における前記仮想物体と前記対象部位との位置関係に応じて前記駆動部による前記第二部材の駆動状態が変化する
 力覚提示装置。
(9)
 前記仮想物体と前記対象部位との離間距離に応じて前記駆動状態が変化する
 前記(8)に記載の力覚提示装置。
(10)
 前記駆動部は、
 前記離間距離が閾値よりも大きい場合は、前記第二部材を前記第一部材から離隔された所定位置に位置させ続ける
 前記(9)に記載の力覚提示装置。
(11)
 前記駆動部は、
 前記離間距離に基づき前記対象部位の前記仮想物体に対する接触があったと推定された場合に、前記第二部材を前記第一部材に接触させる
 前記(10)に記載の力覚提示装置。
(12)
 前記駆動部は、
 前記離間距離が前記閾値以下となった以降、前記接触があったと推定されるまでの間、前記第二部材が前記第一部材に一定の間隔を空けて追従するように前記第二部材を駆動する
 前記(11)に記載の力覚提示装置。
(13)
 前記駆動部は、
 前記接触があったと推定された時点から前記離間距離が減少する場合は、前記第一部材に反力を与えるように前記第二部材を駆動する
 前記(11)又は(12)に記載の力覚提示装置。
(14)
 前記駆動部は、
 前記第一部材に対する前記反力の付与特性を前記仮想物体の種類に応じて変更する
 前記(13)に記載の力覚提示装置。
(15)
 前記対象部位は前記ユーザの手指である
 前記(8)から(14)の何れかに記載の力覚提示装置。
(16)
 前記対象部位の動きに連動するワイヤを備え、
 前記第一部材は、前記ワイヤと機械的に連動する部材とされた
 前記(8)から(16)の何れかに記載の力覚提示装置。
(17)
 前記対象部位は前記ユーザの手指であり、
 前記ワイヤが前記手指の背に沿って配設された
 前記(16)に記載の力覚提示装置。
(18)
 前記駆動部は、前記ユーザの手首よりも指先側又は腕側に配置された
 前記(15)から(17)の何れかに記載の力覚提示装置。
(19)
 前記駆動部は、
 前記第二部材の駆動トルクが上限値に達した場合に前記第二部材による前記第一部材に対する反力の付与を停止させる
 前記(8)から(18)の何れかに記載の力覚提示装置。
(20)
 前記対象部位の動きに連動するワイヤを備え、
 前記第一部材は、前記ワイヤと機械的に連動する部材とされ、
 前記ワイヤの引き込み量が所定量を超えないように構成された
 前記(8)から(19)の何れかに記載の力覚提示装置。
(21)
 ユーザの対象部位の動きに機械的に連動して変位する第一部材と、前記第一部材に対して接離する方向に変位自在とされた第二部材と、前記第二部材を駆動する駆動部とを有して、前記対象部位に対する力覚提示を行う力覚提示装置の制御方法であって、
 仮想物体が配置された仮想空間上における前記仮想物体と前記対象部位との位置関係に応じて前記第二部材の駆動状態を変化させる
 制御方法。
(22)
 コンピュータ装置が読み取り可能なプログラムを記憶した記憶媒体であって、
 ユーザの対象部位の動きに機械的に連動して変位する第一部材と、前記第一部材に対して接離する方向に変位自在とされた第二部材と、前記第二部材を駆動する駆動部とを有して、前記対象部位に対する力覚提示を行う力覚提示装置に対する制御処理として、仮想物体が配置された仮想空間上における前記仮想物体と前記対象部位との位置関係に応じて前記駆動部による前記第二部材の駆動状態を変化させる処理、を前記コンピュータ装置に実行させるプログラムを記憶した
 記憶媒体。
 1 制御装置、2 力覚提示装置、4 手指認識装置、11 CPU、20 グローブ部、21 ワイヤ、22 係止部、23 ガイド部材、23a,23b,25a ガイド穴、24 ワイヤ制御ユニット、25 台座部、26 ワイヤ制御部、26a ケース、26b,26bA 内部構造体、27,27A モータ、27a 回転軸、28 保持部、29 プーリ、29a,40 ワイヤ側ストッパ、30 回動部、30a,41 駆動部側ストッパ、31,31A 付勢部、32 位置センサ、33 カバー部、35 制御部、42 送りねじ、VS 仮想空間、VO 仮想物体、VH 仮想ハンド

Claims (21)

  1.  ユーザの対象部位の動きに機械的に連動して変位する第一部材と、前記第一部材に対して接離する方向に変位自在とされた第二部材と、前記第二部材を駆動する駆動部とを有して、前記対象部位に対する力覚提示を行う力覚提示装置に対する制御として、仮想物体が配置された仮想空間上における前記仮想物体と前記対象部位との位置関係に応じて前記第二部材の駆動状態を変化させる制御を行う制御部を備えた
     制御装置。
  2.  前記制御部は、
     前記仮想物体と前記対象部位との離間距離に応じて前記駆動状態を変化させる
     請求項1に記載の制御装置。
  3.  前記制御部は、
     前記離間距離が閾値よりも大きい場合は、前記第二部材を前記第一部材から離隔された所定位置に位置させ続ける制御を行う
     請求項2に記載の制御装置。
  4.  前記制御部は、
     前記離間距離に基づいて前記対象部位の前記仮想物体に対する接触の有無を推定し、該接触があったと推定した場合に、前記第二部材を前記第一部材に接触させる制御を行う
     請求項3に記載の制御装置。
  5.  前記制御部は、
     前記離間距離が前記閾値以下となった以降、前記接触があったと推定されるまでの間、前記第二部材が前記第一部材に一定の間隔を空けて追従するように前記第二部材を駆動させる制御を行う
     請求項4に記載の制御装置。
  6.  前記制御部は、
     前記接触があったと推定した時点から前記離間距離が減少する場合は、前記第一部材に反力を与えるように前記第二部材を駆動させる制御を行う
     請求項4に記載の制御装置。
  7.  前記制御部は、
     前記第一部材に対する前記反力の付与特性を前記仮想物体の種類に応じて変更させる制御を行う
     請求項6に記載の制御装置。
  8.  ユーザの対象部位の動きに機械的に連動して変位する第一部材と、
     前記第一部材に対して接離する方向に変位自在とされた第二部材と、
     前記第二部材を駆動する駆動部と、を備え、
     仮想物体が配置された仮想空間上における前記仮想物体と前記対象部位との位置関係に応じて前記駆動部による前記第二部材の駆動状態が変化する
     力覚提示装置。
  9.  前記仮想物体と前記対象部位との離間距離に応じて前記駆動状態が変化する
     請求項8に記載の力覚提示装置。
  10.  前記駆動部は、
     前記離間距離が閾値よりも大きい場合は、前記第二部材を前記第一部材から離隔された所定位置に位置させ続ける
     請求項9に記載の力覚提示装置。
  11.  前記駆動部は、
     前記離間距離に基づき前記対象部位の前記仮想物体に対する接触があったと推定された場合に、前記第二部材を前記第一部材に接触させる
     請求項10に記載の力覚提示装置。
  12.  前記駆動部は、
     前記離間距離が前記閾値以下となった以降、前記接触があったと推定されるまでの間、前記第二部材が前記第一部材に一定の間隔を空けて追従するように前記第二部材を駆動する
     請求項11に記載の力覚提示装置。
  13.  前記駆動部は、
     前記接触があったと推定された時点から前記離間距離が減少する場合は、前記第一部材に反力を与えるように前記第二部材を駆動する
     請求項11に記載の力覚提示装置。
  14.  前記駆動部は、
     前記第一部材に対する前記反力の付与特性を前記仮想物体の種類に応じて変更する
     請求項13に記載の力覚提示装置。
  15.  前記対象部位は前記ユーザの手指である
     請求項8に記載の力覚提示装置。
  16.  前記対象部位の動きに連動するワイヤを備え、
     前記第一部材は、前記ワイヤと機械的に連動する部材とされた
     請求項8に記載の力覚提示装置。
  17.  前記対象部位は前記ユーザの手指であり、
     前記ワイヤが前記手指の背に沿って配設された
     請求項16に記載の力覚提示装置。
  18.  前記駆動部は、前記ユーザの手首よりも指先側又は腕側に配置された
     請求項15に記載の力覚提示装置。
  19.  前記駆動部は、
     前記第二部材の駆動トルクが上限値に達した場合に前記第二部材による前記第一部材に対する反力の付与を停止させる
     請求項8に記載の力覚提示装置。
  20.  前記対象部位の動きに連動するワイヤを備え、
     前記第一部材は、前記ワイヤと機械的に連動する部材とされ、
     前記ワイヤの引き込み量が所定量を超えないように構成された
     請求項8に記載の力覚提示装置。
  21.  ユーザの対象部位の動きに機械的に連動して変位する第一部材と、前記第一部材に対して接離する方向に変位自在とされた第二部材と、前記第二部材を駆動する駆動部とを有して、前記対象部位に対する力覚提示を行う力覚提示装置の制御方法であって、
     仮想物体が配置された仮想空間上における前記仮想物体と前記対象部位との位置関係に応じて前記第二部材の駆動状態を変化させる
     制御方法。
PCT/JP2020/039960 2019-11-13 2020-10-23 制御装置、力覚提示装置、制御方法 WO2021095493A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/764,739 US12118150B2 (en) 2019-11-13 2020-10-23 Control device, force sense presentation apparatus, and control method
EP20887013.9A EP4060452A4 (en) 2019-11-13 2020-10-23 CONTROL DEVICE, HAPTIC DISPLAY DEVICE, AND CONTROL METHOD

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2019205520 2019-11-13
JP2019-205520 2019-11-13

Publications (1)

Publication Number Publication Date
WO2021095493A1 true WO2021095493A1 (ja) 2021-05-20

Family

ID=75911965

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2020/039960 WO2021095493A1 (ja) 2019-11-13 2020-10-23 制御装置、力覚提示装置、制御方法

Country Status (3)

Country Link
US (1) US12118150B2 (ja)
EP (1) EP4060452A4 (ja)
WO (1) WO2021095493A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4123423A1 (en) * 2021-07-22 2023-01-25 The Boeing Company Ergonomics improvement systems having wearable sensors and related methods
WO2024042816A1 (en) * 2022-08-24 2024-02-29 Sony Group Corporation Information processing apparatus, information processing method, and program

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099240A (ja) 1998-09-18 2000-04-07 Sony Corp 力覚提示装置
JP2000311047A (ja) * 1999-04-28 2000-11-07 Tadatoshi Goto インテリジェント型手袋型手形入力装置
JP2001166676A (ja) * 1999-12-09 2001-06-22 Sony Corp 触覚提示機構及びこれを用いた力触覚提示装置
JP2003316493A (ja) * 2002-04-19 2003-11-07 Seiko Epson Corp 触覚提示装置
JP2011235780A (ja) * 2010-05-11 2011-11-24 Tokai Rika Co Ltd 遠隔入力装置
WO2018020794A1 (ja) * 2016-07-26 2018-02-01 株式会社ソニー・インタラクティブエンタテインメント 操作デバイス、及び操作デバイスの制御方法

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6110130A (en) * 1997-04-21 2000-08-29 Virtual Technologies, Inc. Exoskeleton device for directly measuring fingertip position and inferring finger joint angle
US10019059B2 (en) * 2014-08-22 2018-07-10 Sony Interactive Entertainment Inc. Glove interface object
DE102014019582B4 (de) 2014-12-30 2017-03-30 Philip Zeitler Haptik-Vorrichtungen und -Verfahren

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000099240A (ja) 1998-09-18 2000-04-07 Sony Corp 力覚提示装置
JP2000311047A (ja) * 1999-04-28 2000-11-07 Tadatoshi Goto インテリジェント型手袋型手形入力装置
JP2001166676A (ja) * 1999-12-09 2001-06-22 Sony Corp 触覚提示機構及びこれを用いた力触覚提示装置
JP2003316493A (ja) * 2002-04-19 2003-11-07 Seiko Epson Corp 触覚提示装置
JP2011235780A (ja) * 2010-05-11 2011-11-24 Tokai Rika Co Ltd 遠隔入力装置
WO2018020794A1 (ja) * 2016-07-26 2018-02-01 株式会社ソニー・インタラクティブエンタテインメント 操作デバイス、及び操作デバイスの制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4060452A4

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4123423A1 (en) * 2021-07-22 2023-01-25 The Boeing Company Ergonomics improvement systems having wearable sensors and related methods
US11918855B2 (en) 2021-07-22 2024-03-05 The Boeing Company Ergonomics improvement systems having wearable sensors and related methods
WO2024042816A1 (en) * 2022-08-24 2024-02-29 Sony Group Corporation Information processing apparatus, information processing method, and program

Also Published As

Publication number Publication date
EP4060452A4 (en) 2022-12-28
EP4060452A1 (en) 2022-09-21
US20220374083A1 (en) 2022-11-24
US12118150B2 (en) 2024-10-15

Similar Documents

Publication Publication Date Title
WO2021095493A1 (ja) 制御装置、力覚提示装置、制御方法
EP3847525B1 (en) Selective restriction of skeletal joint motion
US10775891B2 (en) Resistance-based haptic device
US10509468B2 (en) Providing fingertip tactile feedback from virtual objects
KR102230421B1 (ko) 가상 모델 제어 방법 및 장치
US20170165567A1 (en) Haptic mechanism for virtual reality and augmented reality interfaces
US20190224565A1 (en) Information processing system, operation device, and operation device control method
US11531397B2 (en) Haptic feedback system having two independent actuators
CN112691002A (zh) 基于手势交互康复机器人的控制方法、装置和康复机器人
JP7148152B2 (ja) ネジ締め装置
WO2019117309A1 (ja) 位置・力制御装置
JP7210574B2 (ja) スマートウェアラブル装置、スマートウェアラブル機器及び制御方法
KR102239469B1 (ko) 객체 제어 방법 및 객체 제어 장치
US11262842B2 (en) Input device for a computing device
KR102468421B1 (ko) 힘줄-구동 햅틱 장치
Okamoto et al. WeightMorphy: A Dynamic Weight-Shifting Method to Enhance the Virtual Experience with Body Deformation
KR20200122452A (ko) 손가락 단위 단방향 움직임을 갖는 햅틱 컨트롤러의 가상 물체 파지 제어 시스템 및 방법
KR102225106B1 (ko) 원격제어 마스터 장치
JP7535968B2 (ja) ロボット遠隔操作制御装置、ロボット遠隔操作制御システム、ロボット遠隔操作制御方法、およびプログラム
KR20190094970A (ko) 로봇 손 제어 장치 및 로봇 손 제어 방법
Naito et al. Haptic Display Using Fishing Rod
EP3660631A1 (en) Variable curvature interactive devices
JP2019207649A (ja) フィードバック生成装置及びフィードバック生成方法
JP2015153387A (ja) 仮想現実体感装置、仮想現実体感方法、及びプログラム
Pacchierotti et al. Needle Insertion in Simulated Soft Tissue

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20887013

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2020887013

Country of ref document: EP

Effective date: 20220613

NENP Non-entry into the national phase

Ref country code: JP