WO2023189425A1 - 制御装置、制御方法、触覚提示システム及びプログラム製品 - Google Patents

制御装置、制御方法、触覚提示システム及びプログラム製品 Download PDF

Info

Publication number
WO2023189425A1
WO2023189425A1 PCT/JP2023/009323 JP2023009323W WO2023189425A1 WO 2023189425 A1 WO2023189425 A1 WO 2023189425A1 JP 2023009323 W JP2023009323 W JP 2023009323W WO 2023189425 A1 WO2023189425 A1 WO 2023189425A1
Authority
WO
WIPO (PCT)
Prior art keywords
displacement
tactile
amount
displacement amount
tactile presentation
Prior art date
Application number
PCT/JP2023/009323
Other languages
English (en)
French (fr)
Inventor
修一 赤岩
慶介 木野井
Original Assignee
株式会社栗本鐵工所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社栗本鐵工所 filed Critical 株式会社栗本鐵工所
Publication of WO2023189425A1 publication Critical patent/WO2023189425A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer

Definitions

  • the present invention relates to a control device, a control method, a tactile presentation system, and a program product that allow an operator to recognize the end of tactile presentation by a tactile presentation device.
  • Patent Document 1 Based on knowledge of magnetorheological fluids, the inventors have proposed a tactile presentation device that can be operated by an operator and reproduces different sensations depending on the object (Patent Document 1, etc.).
  • the tactile presentation device includes a displacement section that is a curved plate or the like that can be displaced relative to the base by an operator's operation.
  • the displacement part can be displaced by the operator without resistance when the tactile presentation device is not controlled, but the tactile presentation device under control can move the displacement part according to the amount of displacement (position/angle) of the displacement part.
  • the tactile sensation is presented by changing the magnitude of the force sensation generated, the output method of the force sensation, etc.
  • the tactile presentation device is used while visually or audibly outputting what the tactile object is.
  • Some objects have an irreversible structure that does not return to its original shape and breaks after the displacement part is displaced. In this case, if the operator is allowed to continue the operation after being presented with the feeling that the object will break with one operation, the operator will feel uncomfortable.
  • the present invention has been made in view of the above circumstances, and aims to provide a control device, a control method, a tactile presentation system, and a program product that allow an operator to recognize the end of tactile presentation. .
  • a control device includes a displacement section that is displaceable in response to an operation by an operator, and generates a force sensation in response to an operation on the displacement section according to the amount of displacement of the displacement section.
  • a control device for a tactile presentation device that presents a tactile sensation of an object to be displayed, the control device comprising control data for generating the force sensation in association with a displacement amount of the displacement portion, and presentation of the tactile sensation by the displacement portion.
  • the end displacement amount at which the displacement portion ends is stored for each object, and the control data and the end displacement amount associated with the displacement amount of the displacement portion are outputted to the tactile sense presentation device, and the displacement amount of the displacement portion is outputted to the tactile sense presentation device.
  • the tactile presentation in the tactile presentation device is ended.
  • a control method includes a displacement section that is displaceable in response to an operation by an operator, and generates a force sensation in response to an operation on the displacement section according to a displacement amount of the displacement section.
  • a control method for a tactile presentation device that presents a tactile sensation of a displayed object by causing a computer connected to the tactile presentation device to generate the haptic sensation in association with a displacement amount of the displacement portion.
  • Control data and an end displacement amount for ending the presentation of a tactile sensation by the displacement section are stored for each object, and the control data and end displacement amount associated with the displacement amount of the displacement section are stored in the tactile sense.
  • the tactile presentation in the tactile presentation device is ended.
  • a program product includes a displacement section that is displaceable in response to an operation by an operator, and generates a force sensation in response to an operation on the displacement section according to the amount of displacement of the displacement section.
  • a computer connected to a tactile presentation device that presents a tactile sensation of an object to be displayed, control data for causing the force sensation in association with the amount of displacement of the displacement portion, and presentation of the tactile sensation by the displacement portion;
  • the end displacement amount at which the displacement portion ends is stored for each object, and the control data and the end displacement amount associated with the displacement amount of the displacement portion are outputted to the tactile sense presentation device, and the displacement amount of the displacement portion is outputted to the tactile sense presentation device.
  • the tactile presentation ends.
  • the operator can recognize the end of the tactile presentation by executing a process in which the force sensation generated in the displacement part becomes a specific torque or zero, or otherwise indicates the end.
  • a control device includes control data for causing a predetermined force sensation to be generated in the displacement portion or a force sensation generated in the displacement portion after the displacement portion reaches an end displacement amount for each target object.
  • Control data for setting the force sensation to zero is stored, and when the displacement amount of the displacement portion reaches the end displacement amount, the predetermined force sensation is generated or the force sensation is generated in the displacement portion. Makes the sense of force zero.
  • the tactile presentation ends.
  • the force sensation generated at the displacement part becomes a specific torque or becomes zero. This allows the operator to recognize the end of the tactile presentation.
  • the control device causes the display unit to display an image indicating the end, or the audio output unit to make a sound indicating the end, when the displacement amount of the displacement unit reaches the end displacement amount. output.
  • the operator when the tactile presentation ends when the end displacement amount is reached in the tactile presentation device, the operator is notified of the end by an image displayed together or a sound outputted together. This allows the operator to recognize the end of the tactile presentation.
  • a tactile presentation system includes a displacement section that is displaceable in response to an operation by an operator, and generates a force sensation in response to an operation on the displacement section according to the amount of displacement of the displacement section.
  • a tactile presentation device that generates and presents a tactile sensation of a displayed object; and an information processing device that is communicatively connected to the tactile presentation device and includes a display section, and the information processing device is configured to detect a displacement amount of the displacement section.
  • control data that causes the force sensation and an end displacement amount that ends presentation of the tactile sensation by the displacement section are stored for each object in association with the displacement amount of the displacement section. outputting the control data and the end displacement amount to the tactile sense presentation device, and when the displacement amount of the displacement section reaches the end displacement amount, the tactile sense presentation in the tactile sense presentation device is ended, and the display section shows: Display an image indicating completion.
  • the tactile presentation system of the present disclosure when the displacement amount of the displacement section reaches the end displacement amount, the tactile presentation ends and the end is notified at least on the display section, so the operator recognizes the end of the tactile presentation. It becomes possible.
  • FIG. 1 is a schematic diagram showing a tactile presentation system.
  • FIG. 1 is a block diagram showing the configuration of an information processing device. It is an explanatory view showing an example of contents of a sensory DB.
  • FIG. 2 is a block diagram showing the configuration of a tactile presentation device. It is a flowchart which shows an example of the processing procedure of the tactile sense presentation in a tactile sense presentation system. It is a flowchart which shows an example of the processing procedure of the tactile sense presentation in a tactile sense presentation system.
  • FIG. 2 is a schematic diagram showing an example of tactile presentation in the tactile presentation system.
  • FIG. 7 is a schematic diagram showing another example of tactile presentation in the tactile presentation system.
  • FIG. 2 is a schematic diagram of a tactile presentation system in a second embodiment. It is a block diagram showing the composition of HMD of a 2nd embodiment.
  • FIG. 1 is a schematic diagram showing a tactile presentation system 100.
  • the tactile presentation system 100 includes an information processing device 1 and a tactile presentation device 2.
  • the information processing device 1 and the tactile presentation device 2 are communicably connected by short-range wireless communication and exchange data with each other.
  • the information processing device 1 uses a smartphone as shown in FIG.
  • the information processing device 1 may be a tablet terminal or a laptop-type PC (Personal Computer) instead of a smartphone.
  • the tactile presentation device 2 is a device that an operator can operate by moving his or her finger while holding it along the displacement portion 202.
  • the tactile presentation device 2 reads the position of the displacement part 202 that is displaced by the operator's finger movement, controls the built-in MRF (Magneto-Rheological Fluid) device 24 according to the position, and moves the displacement part 202 of the operator.
  • MRF Magnetic-Rheological Fluid
  • This is a device that produces a sense of force using a reaction force (rotational resistance) to the operation of the machine, and presents a tactile sensation.
  • the form of the displacement part 202 of the tactile presentation device 2 is not limited to that shown in FIG. 1, but may be stick-like or cushion-like covered with a cover.
  • the tactile presentation device 2 may employ a motor, a piezo element, or the like instead of the MRF device 24, and may generate a force sensation by rotational force or vibration in response to an operation by the operator. It may be combined with something that provides a warm or cold sensation.
  • the structure may be such that it is installed on the ground or a wall and is operated by the operator's palm or foot.
  • the tactile presentation device 2 cooperates with the information processing device 1 and displays the tactile sensation of the object while outputting images and sounds of the object using the information processing device 1 or other display devices, speakers, etc. is outputted by the tactile presentation device 2.
  • the tactile presentation device 2 displays the tactile sensation of the object while outputting images and sounds of the object using the information processing device 1 or other display devices, speakers, etc. is outputted by the tactile presentation device 2.
  • the tactile presentation device 2 becomes squishy or fluffy.
  • the display unit 13 displays an image that changes as if the object is being pushed in
  • the audio output unit 14 outputs an audible “squeak” sound that corresponds to the object being pushed in. Output audio.
  • FIG. 2 is a block diagram showing the configuration of the information processing device 1.
  • the information processing device 1 includes a processing section 10, a storage section 11, a communication section 12, a display section 13, an audio output section 14, and an operation section 15.
  • the processing unit 10 is a processor using a CPU (Central Processing Unit) and/or a GPU (Graphics Processing Unit).
  • the processing unit 10 executes a process described below based on a control program P1 for tactile presentation stored in the storage unit 11.
  • the storage unit 11 uses nonvolatile memory such as flash memory and SSD (Solid State Drive).
  • the storage unit 11 stores data referenced by the processing unit 10.
  • the control program P1 program product
  • the control program P1 stored in the storage unit 11 may be a computer program P8 stored in the computer-readable storage medium 8, which is read out and stored by the processing unit 10.
  • the storage unit 11 stores a sensory database (DB) 110 that includes tactile data, visual data, and auditory data of the object to be output.
  • the sensory DB 110 stores tactile data, visual data (images, videos), and auditory data to be output at each displacement for each displacement data of a displacement part in the tactile presentation device 2, in association with an object ID that identifies the object. (audio) (see Figure 3).
  • the storage unit 11 further stores setting data regarding the tilt of the tactile presentation device 2, which will be described later.
  • the communication unit 12 is a communication module for short-range wireless communication, for example, Bluetooth (registered trademark).
  • the processing unit 10 can transmit and receive data to and from the tactile presentation device 2 through the communication unit 12 .
  • the display unit 13 is a display such as a liquid crystal display or an organic EL (Electro Luminescence) display.
  • the display unit 13 is, for example, a display with a built-in touch panel.
  • the processing unit 10 displays, on the display unit 13, an operation screen for causing the tactile presentation device 2 to output a tactile sensation and an image of the target object, based on the control program P1.
  • the audio output unit 14 includes a speaker and the like.
  • the processing unit 10 causes the audio output unit 14 to output the sound of the object, music, etc. based on the control program P1.
  • the operation unit 15 is a user interface that allows input and output to and from the processing unit 10, and is a touch panel built into the display unit 13.
  • the operation unit 15 may be a physical button.
  • the operation unit 15 may be a voice input unit.
  • FIG. 3 is an explanatory diagram showing an example of the contents of the sensory DB 110.
  • the sensory DB 110 stores the current value of the current to the MRF device of the tactile presentation device 2 for each displacement amount (angle) of the displacement part 202 as tactile data in association with the object ID.
  • the tactile data includes, for each object, a displacement amount (hereinafter referred to as an end displacement amount) that is a condition for ending the tactile presentation of the object, and data on a control current value after reaching the end displacement amount.
  • the sensory DB 110 there are multiple objects in the sensory DB 110, such as real objects such as still life objects such as balls or balloons, foods such as gummies, vegetables, or fruits, and animals such as dogs, cats, or fish. It may also include characters such as slimes and monsters. Therefore, depending on the object, it is possible to reversibly present a sensation by having an elastic force, so that the end displacement amount and the control current value after reaching the end displacement amount do not need to be associated with each other.
  • real objects such as still life objects such as balls or balloons, foods such as gummies, vegetables, or fruits, and animals such as dogs, cats, or fish. It may also include characters such as slimes and monsters. Therefore, depending on the object, it is possible to reversibly present a sensation by having an elastic force, so that the end displacement amount and the control current value after reaching the end displacement amount do not need to be associated with each other.
  • the relationship between the amount of displacement of the displacement section 202 of the sensory DB 110 and the current value is set according to the actual dimensions of the movable range of the displacement section 202 and the dimensions of the object. For example, if the movable range of the displacement unit 202 is 50 mm, and the object is a sphere that bursts like a balloon, rotational resistance that gives a feeling of bursting when a certain displacement amount, such as 30 mm, is reached. A current value is set that causes In addition, if the target object is a large object such as the seat surface of a sofa, and the size greatly exceeds the movable range of the displacement unit 202, the tactile data may be such as to present the sensation up to 50 mm from the surface of the sofa seat surface. The current value is set. If the target object is a virtual character such as a monster, the current value is set based on the size according to the setting of the character.
  • the sensory DB 110 stores images (frame images) for each displacement amount (angle) of the displacement portion 202 as visual data in association with the object ID.
  • the frame image is one still image that is recognized as an animation image when displayed continuously.
  • audio for each displacement amount (angle) of the displacement unit 202 is stored as auditory data in association with the object ID.
  • the auditory data may be waveform data that differs depending on each angle. It may also be a timestamp of the audio corresponding to each angle.
  • the image and sound that should be displayed at the time when the end displacement amount is reached and after the end of the tactile sensation correspond to the object ID, respectively. It is attached and memorized.
  • FIG. 4 is a block diagram showing the configuration of the tactile presentation device 2.
  • the tactile presentation device 2 is configured by providing a flat bottomed cylindrical grip 200 with a band-shaped flat plate displacement portion 202 having a curved portion partially along the circumferential direction.
  • the displacement part 202 is made of a flexible material, it may also be made of a highly rigid material and rotatably supported via the grip body 200 and a support shaft.
  • a binding tool 203 in the form of a cloth tape is provided on the outer surface of the distal end of the displacement portion 202 .
  • a link mechanism 204 is provided on the inner surface of the distal end of the displacement portion 202 to connect to the rotating shaft of the rotor of the MRF device 24 housed inside the gripper 200 .
  • the operator uses the gripping body 200 by, for example, holding it with the thumb and middle finger and inserting the index finger into the binding tool 203 with the finger such as the index finger along the displacement part 202.
  • the operator can move the displacement part 202 by pushing in the index finger, or can move the displacement part 202 away from the grip body 200 by extending the index finger.
  • the tactile presentation device 2 includes a gripping body 200 as shown in FIG.
  • the grip body 200 has an MRF device 24 built therein.
  • the control section 20, the storage section 21, the communication section 22, and the power supply section 23 may be provided integrally with the grip body 200, or may be provided as separate bodies connected to the grip body 200 wirelessly or by wire.
  • the control unit 20 includes a processor such as a CPU and an MPU (Micro-Processing Unit), and a memory such as a ROM (Read Only Memory) and a RAM (Random Access Memory).
  • the control unit 20 is, for example, a microcontroller.
  • the control unit 20 controls each component based on a control program P2 stored in the built-in ROM to realize tactile presentation.
  • the storage unit 21 is an auxiliary storage memory for the control unit 20, and stores control data (tactile data) of the MRF device 24 in a rewritable manner.
  • the communication unit 22 is a communication module for short-range wireless communication, for example, Bluetooth (registered trademark).
  • the control unit 20 can transmit and receive data to and from the information processing device 1 through the communication unit 22 .
  • the control unit 20 is connected to the power supply unit 23, the MRF device 24, and the sensor 25 via I/O, and exchanges signals with each other.
  • the power supply unit 23 includes a rechargeable battery.
  • the power supply unit 23 supplies power to each component and the MRF device 24 when turned on.
  • the MRF device 24 has a yoke that sandwiches a disk-shaped rotor with a gap between them, and generates a magnetic field by passing a control current through a coil provided in the yoke, thereby generating a magnetic field sealed in the gap.
  • the viscosity (shear stress) of the viscous fluid is controlled to provide rotational resistance to the rotor.
  • the control unit 20 controls the magnitude of the control current to the MRF device 24, the rotational resistance is immediately changed.
  • the sensor 25 measures the amount of displacement (angle) of the displacement section 202 and outputs it to the control section 20.
  • the sensor 25 measures and outputs the displacement of the displacement portion 202 as an angle.
  • the sensor 25 may include a plurality of sensors such as a gyro sensor and an acceleration sensor.
  • the displacement section 202 when the displacement section 202 is operated by the operator, the displacement of the displacement section 202 is caused to move in the direction of rotation of the MRF device 24 toward the rotation axis of the rotor via the link mechanism 204. communicated. Since the rotating shaft rotates freely when the MRF device 24 is not operating, that is, while the control current is zero, the displacement portion 202 fluctuates without resistance. On the other hand, when the MRF device 24 operates and the control current is not zero, the viscosity (shear stress) of the magnetorheological fluid inside the MRF device 24 is changed depending on the magnitude of the current flowing to the MRF device 24. By continuously changing the magnitude of the current to the MRF device 24 or by vibrating the current value at a predetermined frequency, the control unit 20 can change the resistance force applied to the displacement unit 202 and the method of its appearance. .
  • the tactile sensation presentation device 2 can vary the resistance (current value) according to the pushing amount (displacement amount) of the displacement section 202 to present a smooth tactile sensation, or increase the resistance as the pushing amount increases. It is possible to present a tactile sensation that is hard and hard, or to present a tactile sensation that is crunchy by repeatedly increasing and decreasing the resistance.
  • the tactile presentation device 2 is controlled so that when the displacement amount of the displacement unit 202 reaches the end displacement amount, the presentation of the tactile sensation ends and is recognized as having ended. As described with reference to FIG. 3, the end displacement amount is stored in the sensation DB 110 for each object.
  • 5 and 6 are flowcharts illustrating an example of a tactile presentation processing procedure in the tactile presentation system 100.
  • the processing unit 10 of the information processing device 1 starts the following process in cooperation with the tactile presentation device 2.
  • the processing unit 10 displays on the display unit an operation screen that includes a list of object candidates for which tactile sensation is to be displayed (step S101), and accepts the selection of the object (step S102).
  • the processing unit 10 reads the data of the tactile data, visual data, auditory data, end displacement amount, and control current value after the end corresponding to the object ID of the selected object from the sensory DB 110 of the storage unit 11 and temporarily stores the data. It is stored (step S103).
  • the processing unit 10 establishes communication between the tactile presentation device 2 and the communication unit 12 (step S104), and transmits the temporarily stored tactile data to the tactile presentation device 2 (step S105).
  • the processing unit 10 transmits data of the end displacement amount read in step S103 and the control current value after the end to the tactile presentation device 2 (step S106).
  • the processing unit 10 causes the display unit 13 to display that tactile presentation is to be started (step S107).
  • the control unit 20 of the tactile presentation device 2 receives the tactile data and stores it in the storage unit 21 (step S201), and receives the data of the end displacement amount and the control current value after the end and stores it in the storage unit 21. (Step S202).
  • the control unit 20 samples a signal corresponding to the displacement amount (angle) of the displacement unit 202 output from the sensor 25 (step S203). The control unit 20 determines whether the displacement amount obtained by sampling has reached the end displacement amount stored in step S202 (step S204). If it is determined that the end displacement amount has been reached (S204: YES), the control unit 20 notifies the information processing device 1 that the end displacement amount has been reached (step S205).
  • the control unit 20 outputs the current of the control current value after the end to the MRF device 24 (step S206), returns the process to step S206, and continues to flow the current of the control current value.
  • the process in step S206 continues until a termination operation is performed on the information processing device 1 side.
  • the control current value after completion is zero or one that makes the rotational resistance feel maximum.
  • the displacement unit 202 does not need to return until the end operation is executed, or may return to the initial position (angle 0°).
  • the control unit 20 transmits the displacement amount and slope obtained by sampling to the information processing device 1 (step S207), and A current value corresponding to the amount of displacement is referenced from the tactile data stored in the storage unit 21 (step S208), a current having the referenced current value is output to the MRF device 24 (step S209), and the process returns to step S203.
  • the control unit 20 continues the processing of steps S203 to S206 until a termination operation is performed on the information processing device 1 side.
  • the information processing device 1 determines whether or not it has received a notification that the end displacement amount has been reached from the tactile presentation device 2 (step S108). If it is determined that it has been received (S108: YES), the processing unit 10 causes the display unit 13 to display an image when the end displacement amount is reached (step S109), and determines whether or not the end operation has been performed. (Step S110). If it is determined that the end operation has not been performed (S110: NO), the processing unit 10 returns the process to step S109. In step S109, the processing unit 10 may output the audio when the end displacement amount is reached from the audio output unit 14.
  • step S110: NO If it is determined that the termination operation has been performed (S110: NO), the display is terminated, communication with the tactile presentation device 2 is disconnected (step S111), and the process is terminated.
  • the processing unit 10 receives the displacement amount from the tactile presentation device 2 (step S112), and stores the image and audio corresponding to the received displacement amount in the storage unit 11. Reference is made from visual data and auditory data (step S113).
  • the processing unit 10 outputs the image and audio from the display unit 13 and the audio output unit 14 (step S114), and advances the process to step S115. Each time the amount of displacement is transmitted from the tactile presentation device 2, the information processing device 1 outputs an image and audio corresponding to the amount of displacement.
  • the processing unit 10 determines whether a termination operation has been performed (step S115). If it is determined that the end operation has not been performed (S115: NO), the process returns to step S108, and the processes of steps S108-S115 are repeated.
  • step S115 If it is determined that the end operation has been performed (S115: YES), the processing unit 10 advances the process to step S111.
  • FIG. 7 is a schematic diagram showing an example of tactile presentation in the tactile presentation system 100.
  • FIG. 7 shows changes in images and sounds displayed on the display unit 13 in response to the amount of displacement in the tactile data sent to the tactile presentation device 2.
  • the target object is a collapsible object like a balloon
  • the tactile presentation device 2 presents a fluffy tactile sensation as a result of the displacement of the displacement unit 202, and shows the collapse of the target object as visual data. show.
  • the image of the object changes depending on the pushing amount (displacement amount) of the displacement section 202, and the way the object is concave on the image changes.
  • contact that is, contact with the target object in the image from the initial position (displacement amount is zero) output to the MRF device 24.
  • An image of a finger may also be displayed.
  • FIG. 8 is a schematic diagram showing another example of tactile presentation in the tactile presentation system 100.
  • FIG. 8 shows changes in images and sounds displayed on the display unit 13 in response to the amount of displacement in the tactile data transmitted to the tactile presentation device 2.
  • an image of a mountain of sand is displayed, and the tactile presentation device 2 presents the smooth and crunchy feel of the sand, while the visual data shows that the mountain of sand is irreversibly collapsing. shows.
  • the image of the object changes depending on the pushing amount (displacement amount) of the displacement section 202, and the mountain of sand gradually collapses on the image.
  • the image and tactile presentation device outputs a predetermined rotational resistance, so that the operator can recognize that the tactile presentation of the breakable object in the tactile presentation device 2 has ended;
  • the operator can use the tactile presentation device 2 appropriately.
  • the rotational resistance to the displacement section 202 in the tactile presentation device 2 becomes zero.
  • the object disappears and the operator can recognize that the presentation of the tactile sensation has ended.
  • FIG. 9 is a schematic diagram of the tactile presentation system 100 in the second embodiment
  • FIG. 10 is a block diagram showing the configuration of the HMD 3.
  • the configuration of the tactile presentation system 100 in the second embodiment is the same as that of the tactile presentation system 100 in the first embodiment, except that the HMD 3 is used and the details of the processing by using the HMD 3 are different. . Therefore, among the configurations of the tactile presentation system 100 of the second embodiment, the same components as those of the tactile presentation system 100 of the first embodiment are given the same reference numerals, and detailed description thereof will be omitted.
  • the HMD 3 includes a display section 31, a motion detection section 32, a space detection section 33, and a connection section 34.
  • the HMD 3 may be provided with a display section 31, a motion detection section 32, a space detection section 33, and a connection section 34 in the main body, or some may be provided separately and mutually exchange control signals via a communication medium. It may be possible to do so.
  • the HMD 3 may have the functions of the information processing device 1 and be configured integrally.
  • the display unit 31 includes, for example, a small liquid crystal display, an optical lens, and an optical system mechanism, and is capable of displaying a three-dimensional image at a viewing angle of 110° or more.
  • the display unit 31 is a transparent or semi-transparent glass-like display, and receives an image signal (including a video signal) output from the information processing device 1 and displays it in a superimposed manner in the operator's actual field of view.
  • the display section 31 is not limited to a glass-like one, and may display an image based on an image signal output from the information processing device 1 superimposed on an image taken of real space by a camera provided facing forward. It's okay.
  • the motion detection unit 32 includes a plurality of triaxial acceleration sensors and gyro sensors installed in various directions on the main body (the cover of the display unit 31 and the attachment belt), and aggregates signals from a group of these sensors. and a control circuit that outputs the output.
  • the movement detection unit 32 detects the movement of the wearer's head.
  • the space detection unit 33 includes two or more infrared cameras arranged outwardly in parallel on the outer surface of the main body, and an infrared LED disposed at an intermediate position between the infrared cameras so as to similarly emit infrared rays outward. use
  • the space detection unit 33 functions as a depth sensor that measures the distance to an object that exists outside the main body of the HMD 3.
  • the space detection unit 33 can measure and output the distance from the HMD 3 main body to a still object such as a wall or floor in the location of the operator wearing the HMD 3.
  • the space detection unit 33 can measure and output the distance from the HMD 3 main body to the operator's arm, hand, and finger.
  • the connection unit 34 is an interface for connecting to the information processing device 1.
  • the HMD 3 outputs signals corresponding to the results measured by the motion detection unit 32 and the space detection unit 33 to the information processing device 1, and also acquires the video signal output from the information processing device 1 and displays it on the display unit. 31.
  • a speaker may be provided in the HMD 3, and the audio output from the audio output unit 14 of the information processing device 1 may be output from the speaker.
  • the information processing device 1 uses the HMD 3 and the distance to the still object in the real space measured by the space detection unit 33 to determine the tertiary shape of the virtual object.
  • the original image is superimposed and displayed in accordance with the operator's movement detected by the movement detection unit 32 to realize AR display.
  • the space detection section 33 uses the tactile presentation device 2 to select the coordinates in the three-dimensional image of the virtual object displayed on the display section 31 of the HMD 3 (coordinates that match the real space).
  • the processing unit 10 of the information processing device 1 detects this as being selected.
  • the information processing device 1 sends and receives displacement and tilt data to and from the tactile presentation device 2 to control the image displayed in AR and the tactile sensation output by the tactile presentation device 2. do.
  • the contents of the process are similar to the process shown in the first embodiment.
  • the operator can visually observe an image in which the object is virtually placed in real space, and feel the touch of the object using the tactile presentation device. It is possible to memorize it in 2.
  • the tactile presentation start position in the tactile presentation device 2 can be corrected according to each operator, thereby further improving the degree of perception. .

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

操作者が触覚の提示の終了を認識することができる制御装置、制御方法、触覚提示システム及びプログラム製品を提供する。制御装置は、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御装置であって、前記変位部の変位量に対応付けて、前記反力を生じさせる制御データと、前記変位部による触覚の提示を終了する終了変位量とを前記対象物毎に記憶しておき、前記変位部の変位量に対応付けられた制御データ及び終了変位量を、前記触覚提示装置へ出力し、前記変位部の変位量が前記終了変位量に到達した場合に、前記触覚提示装置における触覚提示を終了させる。

Description

制御装置、制御方法、触覚提示システム及びプログラム製品
　本発明は、操作者が触覚提示装置による触覚の提示の終了を認識することができる制御装置、制御方法、触覚提示システム及びプログラム製品に関する。
　人間の五感のうち、視覚及び聴覚に係る画像及び音声の伝達技術が高精度化しており、昨今では、触覚を提示する技術（ハプティクス）が種々提案されている。
　触覚の提示技術としては、タッチパネル内蔵のディスプレイに表示された物体の画像に触れた際の振動、主に三種の振動（ＥＲＭ：Eccentric Rotating Mass、ＬＲＡ：Linear resonant Actuator、ピエゾ素子）での再現が提案されている。しかしながらタッチパネル上での触覚提示では、より深部での触覚、つまり手指の皮膚のみならず、筋や腱で生じる力覚まで再現することは困難である。
　発明者らは、磁気粘性流体に対する知見に基づいて、操作者が操作可能であって、対象物によって異なる感触を再現する触覚提示装置を提案した（特許文献１等）。
特許第６９０６２７５号
　触覚提示装置は、操作者の操作によって基部に対して変位可能な湾曲板等である変位部を備える。変位部は、触覚提示装置が制御されない状態では、操作者によって抵抗なく変位が可能であるが、制御中の触覚提示装置は、変位部の変位量（ポジション・角度）に応じて変位部に対して生じさせる力覚の大きさ、力覚の出力方法等を変えて感触を提示する。
　触覚提示装置は、触覚の対象物が何であるかを視覚的に又は聴覚的に出力しながら使用される。対象物には、変位部を変位させた後に、元の形状に戻らずに壊れてしまう不可逆的な構造のものもある。この場合、一回の操作にて対象物が壊れる感触が提示された後に、更に操作が継続できると、操作者に違和感を生じさせる。
　本発明は、斯かる事情を鑑みてなされたものであり、操作者が触覚の提示の終了を認識することができる制御装置、制御方法、触覚提示システム及びプログラム製品を提供することを目的とする。
　本開示の一実施形態の制御装置は、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御装置であって、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、前記変位部による触覚の提示を終了する終了変位量とを前記対象物毎に記憶しておき、前記変位部の変位量に対応付けられた制御データ及び終了変位量を、前記触覚提示装置へ出力し、前記変位部の変位量が前記終了変位量に到達した場合に、前記触覚提示装置における触覚提示を終了させる。
　本開示の一実施形態の制御方法は、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御方法であって、前記触覚提示装置に接続されるコンピュータが、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、前記変位部による触覚の提示を終了する終了変位量とを前記対象物毎に記憶しておき、前記変位部の変位量に対応付けられた制御データ及び終了変位量を、前記触覚提示装置へ出力し、前記変位部の変位量が前記終了変位量に到達した場合に、前記触覚提示装置における触覚提示を終了させる。
　本開示の一実施形態のプログラム製品は、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置に接続されるコンピュータに、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、前記変位部による触覚の提示を終了する終了変位量とを前記対象物毎に記憶しておき、前記変位部の変位量に対応付けられた制御データ及び終了変位量を、前記触覚提示装置へ出力し、前記変位部の変位量が前記終了変位量に到達した場合に、前記触覚提示装置における触覚提示を終了する処理を実行させる。
　本開示の制御装置、制御方法及びプログラム製品では、変位部の変位量が終了変位量に到達した場合、触覚提示が終了する。変位部に生じる力覚が特定のトルクになるか、若しくはゼロになる、その他終了を示す処理が実行されることにより、操作者は触覚提示の終了を認識可能となる。
　本開示の一実施形態の制御装置は、前記対象物毎に、前記変位部が終了変位量へ到達した後に、前記変位部へ所定の力覚を生じさせるための制御データ又は前記変位部に生じさせる力覚をゼロとするための制御データを記憶しておき、前記変位部の変位量が前記終了変位量に到達した場合に、前記所定の力覚を生じさせるか、又は前記変位部に生じさせる力覚をゼロにさせる。
　本開示の制御装置では、変位部の変位量が終了変位量に到達した場合、触覚提示が終了する。変位部に生じる力覚が特定のトルクになるか、若しくはゼロになる。これにより、操作者は、触覚提示の終了を認識できる。
　本開示の一実施形態の制御装置は、前記変位部の変位量が前記終了変位量に到達した場合に、表示部に終了を示す画像を表示させるか、又は、音声出力部に終了を示す音声を出力させる。
　本開示の制御装置では、触覚提示装置において終了変位量に到達すると触覚提示が終了すると、共に表示される画像、又は共に出力されている音声にて、操作者へ終了が通知される。これにより、操作者は、触覚提示の終了を認識できる。
　本開示の一実施形態の触覚提示システムは、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置と、前記触覚提示装置と通信接続し、表示部を備える情報処理装置とを含み、前記情報処理装置は、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、前記変位部による触覚の提示を終了する終了変位量とを前記対象物毎に記憶しておき、前記変位部の変位量に対応付けられた制御データ及び終了変位量を、前記触覚提示装置へ出力し、前記変位部の変位量が前記終了変位量に到達した場合に、前記触覚提示装置における触覚提示を終了させ、前記表示部に、終了を示す画像を表示させる。
　本開示の触覚提示システムでは、変位部の変位量が終了変位量に到達した場合、触覚提示が終了し、少なくとも表示部で、終了が通知されるため、操作者は、触覚提示の終了を認識可能となる。
　本開示によれば、触覚提示装置による触覚提示の終了を、操作者が認識することが可能となり、触覚の知覚度を向上させることができる。
触覚提示システムを示す模式図である。 情報処理装置の構成を示すブロック図である。 感覚ＤＢの内容例を示す説明図である。 触覚提示装置の構成を示すブロック図である。 触覚提示システムにおける触覚提示の処理手順の一例を示すフローチャートである。 触覚提示システムにおける触覚提示の処理手順の一例を示すフローチャートである。 触覚提示システムにおける触覚提示の例を示す概要図である。 触覚提示システムにおける触覚提示の他の例を示す概要図である。 第２実施形態における触覚提示システムの概要図である。 第２実施形態のＨＭＤの構成を示すブロック図である。
　本開示をその実施の形態を示す図面を参照して具体的に説明する。以下の実施の形態では、触覚提示システムにおける設定方法の実施について説明する。
　（第１実施形態）
　図１は、触覚提示システム１００を示す模式図である。触覚提示システム１００は、情報処理装置１と、触覚提示装置２とを含む。情報処理装置１と、触覚提示装置２とは近距離無線通信で通信接続され、相互にデータを授受する。
　情報処理装置１は、図１に示すようにスマートフォンを用いる。情報処理装置１は、スマートフォンでなく、タブレット端末であってもよいし、ラップトップ型のＰＣ（Personal Computer）であってもよい。
　触覚提示装置２は、操作者が指を変位部２０２に沿えて持ちながら指を動かして操作できる装置である。触覚提示装置２は、操作者が指を動かすことで変位する変位部２０２の位置を読み取り、内蔵するＭＲＦ（Magneto-Rheological Fluid）デバイス２４をその位置に応じて制御して操作者の変位部２０２への操作に対する反力（回転抵抗）により力覚を生じさせ、触覚を提示する装置である。触覚提示装置２の変位部２０２の態様は、図１に示すようなものに限られず、スティック状であってもよいし、カバーに覆われたクッション状のものであってもよい。触覚提示装置２は、ＭＲＦデバイス２４に代えて、モータやピエゾ素子などを採用し、操作者の操作に対し回転力や振動により力覚を生じさせるものでもよく、変位部２０２の他、振動や温感、冷感を提示するものと組み合わされてもよい。地面や壁に設置し、操作者の手のひらや足等で操作される構造でもよい。
　触覚提示システム１００では、触覚提示装置２は、情報処理装置１と連携し、情報処理装置１又は他の表示装置やスピーカ等を用いて対象物の画像及び音声を出力させながら、対象物の触覚を触覚提示装置２で出力させる。図１に示す例では、情報処理装置１の表示部１３に、柔らかな物体を表示させ、操作者が触覚提示装置２の変位部２０２を指で押し込むと、触覚提示装置２がグニャリ、若しくはフワフワとした触覚を出力させつつ、表示部１３に、物体が、押し込まれたように変化する画像を表示させ、音声出力部１４にて物体が押し込まれたことに対応する「グニャリ」と聞こえるような音声を出力する。
　図２は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、処理部１０、記憶部１１、通信部１２、表示部１３、音声出力部１４及び操作部１５を備える。処理部１０は、ＣＰＵ（Central Processing Unit）及び／又はＧＰＵ（Graphics Processing Unit）を用いたプロセッサである。処理部１０は、記憶部１１に記憶されている触覚提示用の制御プログラムＰ１に基づき、後述する処理を実行する。
　記憶部１１は、フラッシュメモリ、ＳＳＤ（Solid State Drive）等の不揮発性メモリを用いる。記憶部１１は、処理部１０が参照するデータを記憶する。制御プログラムＰ１（プログラム製品）は、通信部１２を介して情報処理装置１又は他のプログラムサーバ装置からダウンロードして実行可能に記憶したものである。記憶部１１に記憶されている制御プログラムＰ１は、コンピュータから読み取り可能な記憶媒体８に記憶されていたコンピュータプログラムＰ８を処理部１０が読み出して記憶したものであってもよい。
　記憶部１１は、出力する対象物の触覚データ、視覚データ及び聴覚データを含む感覚データベース（ＤＢ：Data Base）１１０を記憶する。感覚ＤＢ１１０は、対象物を識別する対象物ＩＤに対応付けて、触覚提示装置２における変位部の変位データ毎に、その変位において出力すべき触覚データ、視覚データ（画像、動画）、及び聴覚データ（音声）を格納している（図３参照）。記憶部１１は更に、後述する触覚提示装置２の傾きに関する設定データを記憶する。
　通信部１２は、近距離無線通信、例えばBluetooth（登録商標）の通信モジュールである。処理部１０は、通信部１２によって触覚提示装置２との間でデータを送受信できる。
　表示部１３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイである。表示部１３は例えば、タッチパネル内蔵型ディスプレイである。処理部１０は、表示部１３に、制御プログラムＰ１に基づき、触覚提示装置２で触覚を出力させるための操作画面や対象物の画像を表示する。
　音声出力部１４は、スピーカ等を含む。処理部１０は、制御プログラムＰ１に基づき、対象物の音声、音楽等を音声出力部１４から出力させる。
　操作部１５は、処理部１０との間で入出力が可能なユーザインタフェースであって、表示部１３内蔵のタッチパネルである。操作部１５は、物理ボタンであってもよい。操作部１５は、音声入力部であってもよい。
　図３は、感覚ＤＢ１１０の内容例を示す説明図である。感覚ＤＢ１１０は、図３に示すように、対象物ＩＤに対応付けて、変位部２０２の変位量（角度）毎の触覚提示装置２のＭＲＦデバイスへの電流の電流値を触覚データとして格納している。電流値に限らず、電圧値等であってもよい。触覚データは、対象物毎に、対象物の触覚提示を終了する条件となる変位量（以下、終了変位量という）と、終了変位量に到達した後の制御用電流値のデータとを含む。
　なお、感覚ＤＢ１１０の対象物は複数であり、触覚を提示する物として実在する物体、例えば、ボール又は風船等の静物、グミ、野菜、又は果物等の食べ物、犬、猫又は魚等の動物を含んでもよいし、スライムやモンスター等のキャラクタを含んでもよい。したがって対象物によっては、弾性力を有して可逆的に感触を提示できるため、終了変位量及び終了変位量に到達した後の制御用電流値が対応付けられていなくてもよい。
　感覚ＤＢ１１０の変位部２０２の変位量と、電流値との関係は、変位部２０２の可動範囲の実際の寸法と、対象物の寸法とに合わせて設定されている。例えば、変位部２０２の可動範囲が５０ｍｍであり、対象物が風船のような破裂する球体であって、例えば３０ｍｍ等の特定の変位量に到達した時点で破裂したような感触を出現する回転抵抗を生じさせる電流値が設定されている。また、対象物がソファの座面のような大きな物体であって大きさが変位部２０２の可動範囲を大きく超える場合、触覚データでは、ソファの座面表面から５０ｍｍまでの感触を提示するような電流値が設定される。対象物がモンスター等の仮想的なキャラクタの場合は、そのキャラクタの設定に応じた大きさに基づいて電流値が設定される。
　感覚ＤＢ１１０は、同様に、対象物ＩＤに対応付けて、変位部２０２の変位量（角度）毎の画像（フレーム画像）を視覚データとして格納している。ここでフレーム画像は、連続して表示することでアニメーション画像として認識される、１つの静止画像である。また同様にして、対象物ＩＤに対応付けて、変位部２０２の変位量（角度）毎の音声を聴覚データとして格納している。聴覚データは、各角度によって異なる波形データであってもよい。各角度に対応する音声のタイムスタンプであってもよい。
　視覚データ及び聴覚データについても、不可逆的に触覚を提示する対象物については、終了変位量に到達した時点、及び、触覚提示の終了後に表示されるべき画像及び音声がそれぞれ、対象物ＩＤに対応付けて記憶されている。
　図４は、触覚提示装置２の構成を示すブロック図である。触覚提示装置２は、図１に示したように、扁平な有底円筒状の把持体２００に周方向に一部沿うような湾曲部を有する帯状平板の変位部２０２を設けて構成される。変位部２０２は、それ自体が撓むことが可能な素材であるが、剛性の高い素材を採用し、把持体２００と支軸を介して回動可能に支持されていてもよい。変位部２０２の先端の外側の面には、布テープ状の結束具２０３が設けられている。変位部２０２の先端の内側面は、把持体２００内部に収容されているＭＲＦデバイス２４のロータの回転軸と連結するリンク機構２０４が設けられている。
　操作者は図１に示したように、把持体２００を例えば親指と中指とで把持しつつ、人差し指等の指を変位部２０２に沿わせて結束具２０３に人差し指を差し込んで使用する。操作者は人差し指を押し込むように変位部２０２を動かすことができ、また、人差し指を伸ばして把持体２００から変位部２０２を遠ざけるように動かすことができる。
　触覚提示装置２は、図１に示すような把持体２００と、制御部２０、記憶部２１、通信部２２、電源部２３、ＭＲＦデバイス２４、センサ２５を備える。把持体２００は、ＭＲＦデバイス２４を内蔵する。制御部２０、記憶部２１、通信部２２、及び電源部２３は把持体２００と一体に設けられてもよいし、把持体２００と無線又は有線により接続される別体に設けられてもよい。
　制御部２０は、ＣＰＵ、ＭＰＵ（Micro-Processing Unit）等のプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリを含む。制御部２０は、例えばマイクロコントローラである。制御部２０は、内蔵ＲＯＭに記憶されている制御プログラムＰ２に基づいて各構成部を制御し、触覚提示を実現する。
　記憶部２１は、制御部２０に対する補助記憶メモリであり、ＭＲＦデバイス２４の制御データ（触覚データ）を書き換え可能に記憶する。
　通信部２２は、近距離無線通信、例えばBluetooth（登録商標）の通信モジュールである。制御部２０は、通信部２２によって情報処理装置１との間でデータを送受信できる。
　制御部２０は、電源部２３、ＭＲＦデバイス２４及びセンサ２５とＩ／Ｏを介して接続されており、相互に信号を授受する。
　電源部２３は、充電可能なバッテリを含む。電源部２３は、ＯＮ状態になると各構成部及びＭＲＦデバイス２４へ電力を供給する。
　ＭＲＦデバイス２４は、円板状のロータを、隙間を開けて挟むようにして設けられたヨークを有し、ヨークに設けられたコイルに制御電流を流して磁界を発生させ、隙間に封入されている磁気粘性流体の粘度（ずり応力）を制御してロータの回転抵抗を与える。制御部２０が、ＭＲＦデバイス２４への制御電流の大きさを制御すると即座に回転抵抗が変更される。
　センサ２５は、変位部２０２の変位量（角度）を測定して制御部２０へ出力する。センサ２５は変位部２０２の変位を、角度として測定して出力する。センサ２５は、ジャイロセンサ、加速度センサ等の複数のセンサから構成されてもよい。
　上述のように構成される触覚提示装置２では、変位部２０２が操作者によって操作されると、変位部２０２の変位がリンク機構２０４を介してＭＲＦデバイス２４のロータの回転軸への回転方向に伝達される。回転軸は、ＭＲＦデバイス２４が動作していない場合、即ち制御電流がゼロである間は、自由に回転するため、変位部２０２は抵抗なく変動する。一方で、ＭＲＦデバイス２４が動作し、制御電流がゼロでない場合には、ＭＲＦデバイス２４へ流れる電流の大きさに応じてＭＲＦデバイス２４内部の磁気粘性流体の粘度（ずり応力）が変更される。制御部２０が、ＭＲＦデバイス２４への電流の大きさを連続的に変更したり、電流値を所定の周波数で振動させたりすることで、変位部２０２に対する抵抗の力やその出現方法を変更できる。
　このようにして触覚提示装置２は、変位部２０２の押し込む量（変位量）に応じて抵抗（電流値）を変動させてヌルリとした触覚を提示したり、押し込む量が大きくなるにつれて抵抗を大きくしてギュッとした固さの触覚を提示したり、抵抗の大小を繰り返してザクザクとした触覚を提示したりすることができる。
　触覚提示装置２では、変位部２０２の変位量が終了変位量に達すると、触覚の提示が終わり、また終わったことが認識されるように制御される。終了変位量は、図３を参照して説明したように、感覚ＤＢ１１０に対象物毎に記憶されている。
　図５及び図６は、触覚提示システム１００における触覚提示の処理手順の一例を示すフローチャートである。情報処理装置１の処理部１０は、操作者が制御プログラムＰ１を起動させ、触覚提示装置２の電源をＯＮとすると、触覚提示装置２と連携して以下の処理を開始する。
　処理部１０は、触覚を表示する対象物の候補のリストを含む操作画面を表示部に表示し（ステップＳ１０１）、対象物の選択を受け付ける（ステップＳ１０２）。処理部１０は、選択された対象物の対象物ＩＤに対応する触覚データ、視覚データ、聴覚データ、終了変位量及び終了後の制御用電流値のデータを記憶部１１の感覚ＤＢ１１０から読み出して一時記憶する（ステップＳ１０３）。
　処理部１０は、触覚提示装置２と通信部１２による通信を確立させ（ステップＳ１０４）、一時記憶した触覚データを触覚提示装置２へ送信する（ステップＳ１０５）。処理部１０は、ステップＳ１０３で読み出した終了変位量、及び終了後の制御用電流値のデータを触覚提示装置２へ送信する（ステップＳ１０６）。
　処理部１０は、表示部１３に触覚提示を開始することを表示させる（ステップＳ１０７）。
　触覚提示装置２の制御部２０は、触覚データを受信して記憶部２１に記憶し（ステップＳ２０１）、終了変位量及び終了後の制御用電流値のデータを受信して記憶部２１に記憶する（ステップＳ２０２）。
　制御部２０は、センサ２５から出力される変位部２０２の変位量（角度）に対応する信号をサンプリングする（ステップＳ２０３）。制御部２０は、サンプリングにより得られた変位量が、ステップＳ２０２で記憶した終了変位量に到達したか否かを判断する（ステップＳ２０４）。終了変位量に到達したと判断された場合（Ｓ２０４：ＹＥＳ）、制御部２０は、終了変位量に到達したことを情報処理装置１へ通知する（ステップＳ２０５）。
　制御部２０は、終了後の制御用電流値の電流を、ＭＲＦデバイス２４へ出力し（ステップＳ２０６）、処理をステップＳ２０６へ戻し、制御用の電流値の電流を流し続ける。ステップＳ２０６の処理は、情報処理装置１側で、終了操作がされるまで継続する。これにより、その後、変位部２０２が元のポジション（変位量：０）まで戻ったとしても、以後は終了後の制御用電流値に基づく回転抵抗が発せられるのみで感触の提示は実行されない。終了後の制御用電流値は、ゼロあるいは、回転抵抗を最大に感じさせるものである。変位部２０２は、終了操作が実行されるまで、戻らなくてもよいし、初期位置（角度０°）まで戻るようにしてもよい。
　終了変位量に到達していないと判断された場合（Ｓ２０４：ＮＯ）、制御部２０は、サンプリングにより得られた変位量及び傾きを、情報処理装置１へ送信し（ステップＳ２０７）、得られた変位量に対応する電流値を、記憶部２１に記憶した触覚データから参照し（ステップＳ２０８）、参照した電流値の電流をＭＲＦデバイス２４へ出力し（ステップＳ２０９）、処理をステップＳ２０３へ戻す。変位量が終了変位量へ到達するまでの間、制御部２０は、ステップＳ２０３－Ｓ２０６の処理を、情報処理装置１側で終了操作がされるまで継続する。
　情報処理装置１は、触覚提示装置２から終了変位量への到達の通知を受信したか否かを判断する（ステップＳ１０８）。受信したと判断された場合（Ｓ１０８：ＹＥＳ）、処理部１０は、表示部１３に、終了変位量へ到達した場合の画像を表示させ（ステップＳ１０９）、終了操作がされたか否かを判断する（ステップＳ１１０）。終了操作がされていないと判断された場合（Ｓ１１０：ＮＯ）、処理部１０は処理をステップＳ１０９へ戻す。ステップＳ１０９において処理部１０は、終了変位量へ到達した場合の音声を音声出力部１４から出力してもよい。
　終了操作がされたと判断された場合（Ｓ１１０：ＮＯ）、表示を終了して触覚提示装置２との通信を切断し（ステップＳ１１１）、処理を終了する。
　受信していないと判断された場合（Ｓ１０８：ＮＯ）、処理部１０は、触覚提示装置２から変位量を受信し（ステップＳ１１２）、受信した変位量に対応する画像及び音声を記憶部１１の視覚データ及び聴覚データから参照する（ステップＳ１１３）。処理部１０は、画像及び音声それぞれを表示部１３及び音声出力部１４から出力させ（ステップＳ１１４）、処理をステップＳ１１５へ進める。触覚提示装置２から変位量が送信される都度、情報処理装置１は、それに対応する画像及び音声を出力する。
　処理部１０は、終了操作がされたか否かを判断する（ステップＳ１１５）。終了操作がされていないと判断された場合（Ｓ１１５：ＮＯ）、処理をステップＳ１０８へ戻し、ステップＳ１０８－Ｓ１１５の処理を繰り返す。
　終了操作がされたと判断された場合（Ｓ１１５：ＹＥＳ）、処理部１０は、処理をステップＳ１１１へ処理を進める。
　図７は、触覚提示システム１００における触覚提示の例を示す概要図である。図７には、触覚提示装置２に送信される触覚データにおける変位量に対応して表示部１３に表示される画像の変化及び音声の変化を示す。図７の例では、対象物は風船のように潰れる物体であり、変位部２０２の変位におうじて触覚提示装置２では、フワフワとした触覚が提示されつつ、視覚データとして対象物がつぶれる様子を示す。図７に示すように、変位部２０２の押し込み量（変位量）に応じて、対象物の画像が変化し、画像上での凹み方が変わる。図７に示すように、画像中に、操作者の指の画像を表示する場合、接触、即ちＭＲＦデバイス２４へ出力する初期位置（変位量がゼロ）の場所から、画像における対象物に接触する指の画像が表示されるようにしてもよい。
　図７中の最下部に示すように、変位部２０２の変位量が終了変位量に相当する４８°に達すると、触覚提示の終了を示す画像及び「破裂しました（ＥＮＤ）」の文字が表示される。図７に示す例では、対象物が破裂した画像及びテキストが表示されている。破裂は不可逆的である。これにより操作者は、触覚の提示が終了したことを認識できる。変位部２０２の変位量が終了変位量に達した後は、触覚提示装置２における変位部２０２には、大きな回転抵抗が与えられ、変位部２０２の移動が規制される。これにより、操作者は触覚の提示が終了したことを認識できる。
　図８は、触覚提示システム１００における触覚提示の他の例を示す概要図である。図８には、触覚提示装置２に送信される触覚データにおける変位量に対応して表示部１３に表示される画像の変化及び音声の変化を示す。図８に示す例では、砂の山の画像が表示され、触覚提示装置２では、砂のサラサラ、ザックリとした感触が提示されつつ、視覚データとしては砂の山が不可逆的に崩れていく様子を示す。図８に示すように、変位部２０２の押し込み量（変位量）に応じて、対象物の画像が変化し、画像上で少しずつ砂の山が崩れている。
　図８中の最下部に示すように、変位部２０２の変位量が終了変位量に相当する角度に達すると、触覚提示の終了を示す画像及び「終了」の文字が表示される。図８に示す例では、砂の山が崩れ去った画像及びテキストが表示されている。砂の山の崩壊は不可逆的である。これにより操作者は、風船の触覚の提示が終了したことを認識できる。
　図７及び図８に示したように、画像及び触覚提示装置が所定の回転抵抗を出力することにより、触覚提示装置２において壊れる対象物の触覚の提示が終了したことを操作者が認識でき、操作者は触覚提示装置２を適切に使用することができる。変位部２０２の変位量が終了変位量に達した後は、触覚提示装置２における変位部２０２への回転抵抗はゼロとなる。これにより、対象物がなくなり操作者は触覚の提示が終了したことを認識できる。
　（第２実施形態）
　第２実施形態では、ＨＭＤ（Head Mounted Display）を用い、対象物に対する視覚情報を三次元画像で提示する。図９は、第２実施形態における触覚提示システム１００の概要図であり、図１０は、ＨＭＤ３の構成を示すブロック図である。第２実施形態における触覚提示システム１００の構成は、ＨＭＤ３を用いることと、ＨＭＤ３を用いることによる詳細な処理の内容が異なること以外は、第１実施形態における触覚提示システム１００と同様の構成である。したがって、第２実施形態の触覚提示システム１００の構成のうち、第１実施形態の触覚提示システム１００と共通する構成については同一の符号を付して詳細な説明を省略する。
　ＨＭＤ３は、表示部３１、動き検知部３２、空間検知部３３、及び接続部３４を備える。ＨＭＤ３は、本体に、表示部３１、動き検知部３２、空間検知部３３及び接続部３４を設けてもよいし、一部は別体に設けられて相互に通信媒体を介して制御信号を授受できるようにしてあってもよい。ＨＭＤ３は、情報処理装置１の機能を有して一体に構成されてもよい。
　表示部３１は例えば、小型の液晶ディスプレイ、光学レンズ及び光学系機構を備え、視野角１１０°以上で三次元画像を表示することが可能である。表示部３１は、透明又は半透明のグラス状のディスプレイであり、操作者の実際の視界に、情報処理装置１から出力される画像信号（映像信号を含む）を受け付けて重畳表示させる。表示部３１はグラス状のものに限られず、前方に向けて設けられたカメラにて実空間を撮影した画像に、情報処理装置１から出力される画像信号に基づく画像を重畳表示させるものであってもよい。
　動き検知部３２は、本体（表示部３１のカバー及び装着ベルト）の各所に、多様な向きで設けられた複数の三軸加速度センサ及びジャイロセンサと、これらのセンサ群からの信号を集約して出力する制御回路とを備える。動き検知部３２により、装着者の頭部の動きが検知される。
　空間検知部３３は、本体の外面に外向きに並設された２つ以上の赤外線カメラと、該赤外線カメラの中間位置に同様に外向きに赤外線を照射するように設けられた赤外線ＬＥＤとを用いる。空間検知部３３は、ＨＭＤ３の本体の外側に存在する物体までの距離を測定する深度センサとして機能する。空間検知部３３は、ＨＭＤ３本体から、ＨＭＤ３を装着する操作者の居場所における壁、床等の静物に対する距離を測り、出力することが可能である。空間検知部３３は同様に、ＨＭＤ３本体から操作者の腕、手、指までの距離を測定し、出力することが可能である。
　接続部３４は、情報処理装置１と接続するためのインタフェースである。ＨＭＤ３は、動き検知部３２及び空間検知部３３にて測定された結果に対応する信号をそれぞれ、情報処理装置１へ出力すると共に、情報処理装置１から出力される映像信号を取得して表示部３１に表示させる。
　ＨＭＤ３にスピーカを設け、情報処理装置１の音声出力部１４から出力される音声をスピーカにて出力させるようにしてもよい。
　上述したような構成の第３実施形態の触覚提示システム１００において情報処理装置１は、ＨＭＤ３を用い、空間検知部３３で測定された実空間における静物に対する距離を用い、仮想的な対象物の三次元画像を、動き検知部３２にて検知される操作者の動きに合わせて重畳表示し、ＡＲ表示を実現する。対象物の選択は、ＨＭＤ３の表示部３１に表示される仮想的対象物の三次元画像の画像内の座標（実空間と合致した座標）に対し、空間検知部３３により、触覚提示装置２を把持した手指を重ねたことが検知できた場合に、これを選択したものとして情報処理装置１の処理部１０が検知する。
　そして第３実施形態でも、情報処理装置１は、触覚提示装置２との間で変位量及び傾きのデータを授受して、ＡＲ表示される画像と触覚提示装置２にて出力される触覚を制御する。処理の内容は第１実施形態にて示した処理と同様である。
　ＨＭＤ３を用いたＡＲ表示と触覚提示装置２とを組み合わせることにより、実空間に対象物を仮想的に配置した画像を、操作者は視覚的に観察しながら、その対象物の感触を触覚提示装置２で覚えることが可能である。その際に、第１実施形態にて説明したものと同様に、触覚提示装置２における触覚提示開始位置を、操作者それぞれに応じて補正することができることで、更に知覚度を向上させることができる。
　上述のように開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。
　１　情報処理装置
　１０　処理部
　１１　記憶部
　１３　表示部
　Ｐ１　制御プログラム
　２　触覚提示装置
　２０　制御部
　２１　記憶部
　２０２　変位部
　２４　ＭＲＦデバイス
 

Claims (6)

  1. 　操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御装置であって、
    　前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、前記変位部による触覚の提示を終了する終了変位量とを前記対象物毎に記憶しておき、
    　前記変位部の変位量に対応付けられた制御データ及び終了変位量を、前記触覚提示装置へ出力し、
    　前記変位部の変位量が前記終了変位量に到達した場合に、前記触覚提示装置における触覚提示を終了させる
    　制御装置。
  2. 　前記対象物毎に、前記変位部が終了変位量へ到達した後に、前記変位部へ所定の力覚を生じさせるための制御データ又は前記変位部に生じさせる力覚をゼロとするための制御データを記憶しておき、
    　前記変位部の変位量が前記終了変位量に到達した場合に、前記所定の力覚を生じさせるか、又は前記変位部に生じさせる力覚をゼロにさせる
    　請求項１に記載の制御装置。
  3. 　前記変位部の変位量が前記終了変位量に到達した場合に、表示部に終了を示す画像を表示させるか、又は、音声出力部に終了を示す音声を出力させる
    　請求項１又は２に記載の制御装置。
  4. 　操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御方法であって、
    　前記触覚提示装置に接続されるコンピュータが、
    　前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、前記変位部による力覚の提示を終了する終了変位量とを前記対象物毎に記憶しておき、
    　前記変位部の変位量に対応付けられた制御データ及び終了変位量を、前記触覚提示装置へ出力し、
    　前記変位部の変位量が前記終了変位量に到達した場合に、前記触覚提示装置における触覚提示を終了させる
    　処理部を含む制御方法。
  5. 　操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置と、
    　前記触覚提示装置と通信接続し、表示部を備える情報処理装置と
    　を含み、
    　前記情報処理装置は、
    　前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、前記変位部による触覚の提示を終了する終了変位量とを前記対象物毎に記憶しておき、
    　前記変位部の変位量に対応付けられた制御データ及び終了変位量を、前記触覚提示装置へ出力し、
    　前記変位部の変位量が前記終了変位量に到達した場合に、前記触覚提示装置における触覚提示を終了させ、
    　前記表示部に、終了を示す画像を表示させる
    　触覚提示システム。
  6. 　操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置に接続されるコンピュータに、
    　前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、前記変位部による触覚の提示を終了する終了変位量とを前記対象物毎に記憶しておき、
    　前記変位部の変位量に対応付けられた制御データ及び終了変位量を、前記触覚提示装置へ出力し、
    　前記変位部の変位量が前記終了変位量に到達した場合に、前記触覚提示装置における触覚提示を終了する
    　処理を実行させるプログラム製品。
     
PCT/JP2023/009323 2022-03-30 2023-03-10 制御装置、制御方法、触覚提示システム及びプログラム製品 WO2023189425A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022057121A JP2023148856A (ja) 2022-03-30 2022-03-30 制御装置、制御方法、触覚提示システム及びコンピュータプログラム
JP2022-057121 2022-03-30

Publications (1)

Publication Number Publication Date
WO2023189425A1 true WO2023189425A1 (ja) 2023-10-05

Family

ID=88200820

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/009323 WO2023189425A1 (ja) 2022-03-30 2023-03-10 制御装置、制御方法、触覚提示システム及びプログラム製品

Country Status (2)

Country Link
JP (1) JP2023148856A (ja)
WO (1) WO2023189425A1 (ja)

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017138651A (ja) * 2016-02-01 2017-08-10 株式会社栗本鐵工所 力覚提示装置
WO2020111155A1 (ja) * 2018-11-30 2020-06-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、その制御方法、及びプログラム

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017138651A (ja) * 2016-02-01 2017-08-10 株式会社栗本鐵工所 力覚提示装置
WO2020111155A1 (ja) * 2018-11-30 2020-06-04 株式会社ソニー・インタラクティブエンタテインメント 情報処理装置、その制御方法、及びプログラム

Also Published As

Publication number Publication date
JP2023148856A (ja) 2023-10-13

Similar Documents

Publication Publication Date Title
US9606625B2 (en) Haptically-enabled deformable device with rigid component
US10936074B2 (en) Haptic information presentation system and method
JP6328448B2 (ja) 表面触覚感覚を有するユーザインタフェース装置
EP3171247B1 (en) Haptically enabled flexible devices
US20170221325A1 (en) Haptic feedback in a haptically noisy environment
CN109840022A (zh) 用于根据基于倾斜的输入提供触觉反馈的系统和方法
JP2017123162A (ja) 複数の変形可能メンブレンを有する触覚周辺装置
US20190155387A1 (en) Haptic Accessory Apparatus
US11880528B2 (en) Stimulus transmission device
CN109474863A (zh) 用非音频数据在耳机上渲染触觉
WO2023189422A1 (ja) 制御装置、制御方法、触覚提示システム及びプログラム製品
JP2020112978A (ja) 触覚提示装置、触覚提示システムおよび触覚提示方法
WO2020222955A1 (en) System, method, and apparatus for virtual reality feedback
JP2007026297A (ja) 振動制御装置、温度制御装置及び移動制御装置
WO2021176861A1 (ja) 情報処理装置及び情報処理方法、コンピュータプログラム、並びに拡張現実感システム
EP4121839B1 (en) Deployable controller
WO2023189425A1 (ja) 制御装置、制御方法、触覚提示システム及びプログラム製品
JP6043544B2 (ja) 入力デバイス、入力システム、電子機器、及び感覚提示方法
KR102154337B1 (ko) 맞춤형 햅틱 효과를 제공하는 방법 및 그를 이용한 시스템
JP2023148854A (ja) 制御装置、制御方法、触覚提示システム及びコンピュータプログラム
JP2023148853A (ja) 制御装置、制御方法、触覚提示システム及びコンピュータプログラム
WO2023189423A1 (ja) 制御装置、制御方法、触覚提示システム及びプログラム製品
Martínez et al. The sense of touch as the last frontier in virtual reality technology
WO2024090303A1 (ja) 情報処理装置及び情報処理方法
JP7428402B2 (ja) 拡張現実ベースの視触覚ａｒ媒体

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23779449

Country of ref document: EP

Kind code of ref document: A1