WO2023189423A1 - 制御装置、制御方法、触覚提示システム及びプログラム製品 - Google Patents

制御装置、制御方法、触覚提示システム及びプログラム製品 Download PDF

Info

Publication number
WO2023189423A1
WO2023189423A1 PCT/JP2023/009318 JP2023009318W WO2023189423A1 WO 2023189423 A1 WO2023189423 A1 WO 2023189423A1 JP 2023009318 W JP2023009318 W JP 2023009318W WO 2023189423 A1 WO2023189423 A1 WO 2023189423A1
Authority
WO
WIPO (PCT)
Prior art keywords
displacement
amount
tactile
control data
displacement amount
Prior art date
Application number
PCT/JP2023/009318
Other languages
English (en)
French (fr)
Inventor
修一 赤岩
慶介 木野井
Original Assignee
株式会社栗本鐵工所
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 株式会社栗本鐵工所 filed Critical 株式会社栗本鐵工所
Publication of WO2023189423A1 publication Critical patent/WO2023189423A1/ja

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G06F3/04847—Interaction techniques to control parameter settings, e.g. interaction with sliders or dials

Definitions

  • the present invention relates to a control device, a control method, a tactile presentation system, and a program product that improve the perceptibility of tactile sensations presented by a tactile presentation device.
  • Patent Document 1 Based on knowledge of magnetorheological fluids, the inventors have proposed a tactile presentation device that can be operated by an operator and reproduces different sensations depending on the object (Patent Document 1, etc.).
  • the tactile presentation device includes a displacement section that is a curved plate or the like that can be displaced relative to the base by an operator's operation.
  • the displacement part can be displaced by the operator without resistance when the tactile presentation device is not controlled, but the tactile presentation device under control causes the displacement portion to be displaced according to the amount of displacement (position) of the displacement portion.
  • the tactile sensation is presented by changing the magnitude of the force sense, the output method of the force sense, etc.
  • the manner in which the displacement portion of this tactile presentation device is displaced differs depending on the size of the operator's hands, differences in muscles, etc. Further, depending on the operator, when an operation to displace the displacement portion is performed, the ease of perceiving the sensation as a touch differs depending on the timing at which the force sensation is output from the displacement portion. Therefore, it is desirable to be able to set the tactile presentation device so that each operator can easily perceive the tactile sensation.
  • the present invention has been made in view of the above circumstances, and an object of the present invention is to provide a control device, a control method, a tactile presentation system, and a program product that improve the perceptibility of tactile sensations presented by a tactile presentation device. .
  • a control device includes a displacement section that is displaceable in response to an operation by an operator, and generates a force sensation in response to an operation on the displacement section according to the amount of displacement of the displacement section.
  • a control device for a tactile presentation device that displays a tactile sensation of a displayed object, the control device storing control data for generating the tactile sensation for each of the objects in association with a displacement amount of the displacement portion. and correct the correspondence relationship between the displacement amount of the control data and the control data based on the settings so as to change the scale of the displacement amount range of the displacement portion with respect to the control data range, and The corrected control data associated with the displacement amount is output to the tactile presentation device.
  • a control method includes a displacement section that is displaceable in response to an operation by an operator, and generates a force sensation in response to an operation on the displacement section according to a displacement amount of the displacement section.
  • a control method for a tactile presentation device that presents a tactile sensation of a displayed object by causing a computer connected to the tactile presentation device to generate the haptic sensation in association with a displacement amount of the displacement portion.
  • Control data is stored for each object, and based on settings, a correspondence relationship between the displacement amount of the control data and the control data is determined, and a scale is determined for the range of the displacement amount of the displacement portion with respect to the range of the control data. and outputs the corrected control data associated with the displacement amount of the displacement portion to the tactile presentation device.
  • a program product includes a displacement section that is displaceable in response to an operation by an operator, and generates a force sensation in response to an operation on the displacement section according to the amount of displacement of the displacement section.
  • the correspondence between the displacement amount and the control data is stored in advance, and when the tactile presentation device is used, the tactile presentation is performed within the movable range of the displacement portion of the tactile presentation device.
  • the scale is changed so that
  • the control device receives, as the setting, a displacement amount for starting to output control data to the displacement section, and changes the scale based on the received displacement amount and a movable range of the displacement section. do.
  • the control device of the present disclosure when the displacement amount at which the displacement portion starts to present a tactile sensation (the tactile sensation presentation start position) is set by an operator's selection or by control by the control device itself, the control device can be moved from the presentation start position. The scale is changed so that the haptics can be presented within the range.
  • a control device receives the scale change.
  • scale changes can be accepted from the outside.
  • the operator can change it as desired.
  • control data is stored in association with the displacement amount based on the actual size of the movable range of the displacement section and the actual size of the object, and the changed scale Based on this, the correspondence between the displacement amount of the displacement portion and the control data is corrected.
  • control data stored in advance is set so that a force sensation is presented to the displacement part so that the actual size of the movable range of the displacement part corresponds to the dimensions of the object. .
  • the setting of the scale at which the target object is output is accepted, and the range in which the force sensation is output to the displacement part can be changed according to the set scale.
  • a tactile presentation system includes a displacement section that is displaceable in response to an operation by an operator, and generates a force sensation in response to an operation on the displacement section according to the amount of displacement of the displacement section.
  • a tactile presentation device that generates and presents a tactile sensation of a displayed object; and an information processing device that is communicatively connected to the tactile presentation device and includes a display section, and the information processing device is configured to detect a displacement amount of the displacement section.
  • Control data that causes the force sensation and visual data to be displayed on the display unit are stored for each object in association with the control data, and the displacement amount of the control data and the control data are stored in association with each other.
  • the correspondence between displacement amounts and control data is stored in advance, and when the tactile presentation device is used, the tactile presentation is performed within the movable range of the displacement portion of the tactile presentation device.
  • the scale is changed, and the image is displayed on the information processing device accordingly.
  • the present disclosure it is possible to adjust the tactile presentation range by the tactile presentation device according to the operator, and it is possible to improve the degree of tactile perception.
  • FIG. 1 is a schematic diagram showing a tactile presentation system.
  • FIG. 1 is a block diagram showing the configuration of an information processing device. It is an explanatory view showing an example of contents of a sensory DB.
  • FIG. 2 is a block diagram showing the configuration of a tactile presentation device. 2 is a flowchart illustrating an example of a basic processing procedure for tactile presentation in the tactile presentation system.
  • FIG. 2 is a schematic diagram showing an example of tactile presentation in the tactile presentation system.
  • 3 is a flowchart illustrating an example of a setting method. An example of a setting screen displayed on the display unit is shown. 7 is a flowchart illustrating an example of a correction procedure based on a presentation start position.
  • FIG. 3 is an explanatory diagram of a correction method.
  • FIG. 1 is a block diagram showing the configuration of an information processing device. It is an explanatory view showing an example of contents of a sensory DB.
  • FIG. 2 is a block diagram showing the configuration of a tactile presentation device
  • FIG. 3 is an explanatory diagram of a correction method.
  • FIG. 3 is an explanatory diagram of a correction method.
  • Another example of the setting screen displayed on the display unit is shown.
  • FIG. 2 is a schematic diagram showing an example of tactile presentation in the tactile presentation system. It is a flowchart which shows an example of the setting method in 2nd Embodiment. 7 is a flowchart illustrating an example of a correction procedure using a scale.
  • FIG. 7 is an explanatory diagram of a correction method in the second embodiment.
  • FIG. 3 is a schematic diagram of a tactile presentation system in a third embodiment.
  • FIG. 2 is a block diagram showing the configuration of an HMD.
  • FIG. 1 is a schematic diagram showing a tactile presentation system 100.
  • the tactile presentation system 100 includes an information processing device 1 and a tactile presentation device 2.
  • the information processing device 1 and the tactile presentation device 2 are communicably connected by short-range wireless communication and exchange data with each other.
  • the information processing device 1 uses a smartphone as shown in FIG.
  • the information processing device 1 may be a tablet terminal or a laptop-type PC (Personal Computer) instead of a smartphone.
  • the tactile presentation device 2 is a device that an operator can operate by moving his or her finger while holding it along the displacement portion 202.
  • the tactile presentation device 2 reads the position of the displacement part 202 that is displaced by the operator's finger movement, controls the built-in MRF (Magneto-Rheological Fluid) device 24 according to the position, and moves the displacement part 202 of the operator.
  • MRF Magnetic-Rheological Fluid
  • This is a device that produces a sense of force using a reaction force (rotational resistance) to the operation of the machine, and presents a tactile sensation.
  • the form of the displacement part 202 of the tactile presentation device 2 is not limited to that shown in FIG. 1, but may be stick-like or cushion-like covered with a cover.
  • the tactile presentation device 2 may employ a motor, a piezo element, or the like instead of the MRF device 24, and may generate a force sensation by rotational force or vibration in response to an operation by the operator. It may be combined with something that provides a warm or cold sensation.
  • the structure may be such that it is installed on the ground or a wall and is operated by the operator's palm or foot.
  • the tactile presentation device 2 cooperates with the information processing device 1 and displays the tactile sensation of the object while outputting images and sounds of the object using the information processing device 1 or other display devices, speakers, etc. is outputted by the tactile presentation device 2.
  • the tactile presentation device 2 displays the tactile sensation of the object while outputting images and sounds of the object using the information processing device 1 or other display devices, speakers, etc. is outputted by the tactile presentation device 2.
  • the tactile presentation device 2 becomes squishy or fluffy.
  • the display unit 13 displays an image that changes as if the object is being pushed in
  • the audio output unit 14 outputs an audible “squeak” sound that corresponds to the object being pushed in. Output audio.
  • FIG. 2 is a block diagram showing the configuration of the information processing device 1.
  • the information processing device 1 includes a processing section 10, a storage section 11, a communication section 12, a display section 13, an audio output section 14, and an operation section 15.
  • the processing unit 10 is a processor using a CPU (Central Processing Unit) and/or a GPU (Graphics Processing Unit).
  • the processing unit 10 executes a process described below based on a control program P1 for tactile presentation stored in the storage unit 11.
  • the storage unit 11 uses nonvolatile memory such as flash memory and SSD (Solid State Drive).
  • the storage unit 11 stores data referenced by the processing unit 10.
  • the control program P1 program product
  • the control program P1 stored in the storage unit 11 may be the control program P8 stored in the computer-readable storage medium 8, which is read out and stored by the processing unit 10.
  • the storage unit 11 stores a sensory database (DB) 110 that includes tactile data, visual data, and auditory data of the object to be output.
  • the sensory DB 110 stores tactile data, visual data (images, videos), and auditory data to be output at each displacement for each displacement data of a displacement part in the tactile presentation device 2, in association with an object ID that identifies the object. (audio) (see Figure 3).
  • the storage unit 11 further stores setting data for each operator.
  • the communication unit 12 is a communication module for short-range wireless communication, for example, Bluetooth (registered trademark).
  • the processing unit 10 can transmit and receive data to and from the tactile presentation device 2 through the communication unit 12 .
  • the display unit 13 is a display such as a liquid crystal display or an organic EL (Electro Luminescence) display.
  • the display unit 13 is, for example, a display with a built-in touch panel.
  • the processing unit 10 displays, on the display unit 13, an operation screen for causing the tactile sensation presentation device 2 to output a tactile sensation and an image of the target object, based on the control program P1.
  • the audio output unit 14 includes a speaker and the like.
  • the processing unit 10 causes the audio output unit 14 to output the sound of the object, music, etc. based on the control program P1.
  • the operation unit 15 is a user interface that allows input and output to and from the processing unit 10, and is a touch panel built into the display unit 13.
  • the operation unit 15 may be a physical button.
  • the operation unit 15 may be a voice input unit.
  • FIG. 3 is an explanatory diagram showing an example of the contents of the sensory DB 110.
  • the sensory DB 110 stores the current value of the current to the MRF device of the tactile presentation device 2 for each displacement amount (angle) of the displacement part 202 as tactile data in association with the object ID.
  • the objects are plural, and may include real objects that present a tactile sensation, such as still life objects such as balls or balloons, foods such as gummies, vegetables, or fruits, and animals such as dogs, cats, or fish. Characters such as slimes and monsters may also be included.
  • the relationship between the amount of displacement of the displacement section 202 of the sensory DB 110 and the current value is set according to the actual dimensions of the movable range of the displacement section 202 and the dimensions of the object. For example, if the movable range of the displacement unit 202 is 50 mm, and the object is a sphere that will not burst, such as a small gummy bear, and the size is set to 15 mm, the tactile sensation will be reproduced within the first 15 mm, In the remaining 35 mm range, a current value is set that produces a rotational resistance that makes it difficult to push in any further. Alternatively, a large current value that makes it impossible to push in the range of 12 mm to 15 mm may be set, and the current values thereafter may be set to zero.
  • the tactile data may be such as to present the sensation up to 50 mm from the surface of the sofa seat surface.
  • the current value is set. If the target object is a virtual character such as a monster, the current value is set based on the size according to the setting of the character.
  • the sensory DB 110 stores images (frame images) for each displacement amount (angle) of the displacement portion 202 as visual data in association with the object ID.
  • the frame image is one still image that is recognized as an animation image when displayed continuously.
  • audio for each displacement amount (angle) of the displacement unit 202 is stored as auditory data in association with the object ID.
  • the auditory data may be waveform data that differs depending on each angle. It may also be a timestamp of the audio corresponding to each angle.
  • FIG. 4 is a block diagram showing the configuration of the tactile presentation device 2.
  • the tactile presentation device 2 is configured by providing a flat bottomed cylindrical grip 200 with a band-shaped flat plate displacement portion 202 having a curved portion partially along the circumferential direction.
  • the displacement part 202 is made of a flexible material, it may also be made of a highly rigid material and rotatably supported via the grip body 200 and a support shaft.
  • a binding tool 203 in the form of a cloth tape is provided on the outer surface of the distal end of the displacement portion 202 .
  • a link mechanism 204 is provided on the inner surface of the distal end of the displacement portion 202 to connect to the rotating shaft of the rotor of the MRF device 24 housed inside the gripper 200 .
  • the operator uses the gripping body 200 by, for example, holding it with the thumb and middle finger and inserting the index finger into the binding tool 203 with the finger such as the index finger along the displacement part 202.
  • the operator can move the displacement part 202 by pushing in the index finger, or can move the displacement part 202 away from the grip body 200 by extending the index finger.
  • the tactile presentation device 2 includes a gripping body 200 as shown in FIG.
  • the grip body 200 has an MRF device 24 built therein.
  • the control section 20, the storage section 21, the communication section 22, and the power supply section 23 may be provided integrally with the grip body 200, or may be provided as separate bodies connected to the grip body 200 wirelessly or by wire.
  • the control unit 20 includes a processor such as a CPU and an MPU (Micro-Processing Unit), and a memory such as a ROM (Read Only Memory) and a RAM (Random Access Memory).
  • the control unit 20 is, for example, a microcontroller.
  • the control unit 20 controls each component based on a control program P2 stored in the built-in ROM to realize tactile presentation.
  • the storage unit 21 is an auxiliary storage memory for the control unit 20, and stores control data (tactile data) of the MRF device 24 in a rewritable manner.
  • the communication unit 22 is a communication module for short-range wireless communication, for example, Bluetooth (registered trademark).
  • the control unit 20 can transmit and receive data to and from the information processing device 1 through the communication unit 22 .
  • the control unit 20 is connected to the power supply unit 23, the MRF device 24, and the sensor 25 via I/O, and exchanges signals with each other.
  • the power supply unit 23 includes a rechargeable battery.
  • the power supply unit 23 supplies power to each component and the MRF device 24 when turned on.
  • the MRF device 24 has a yoke that sandwiches a disk-shaped rotor with a gap between them, and generates a magnetic field by passing a control current through a coil provided in the yoke, thereby generating a magnetic field sealed in the gap.
  • the viscosity (shear stress) of the viscous fluid is controlled to provide rotational resistance to the rotor.
  • the control unit 20 controls the magnitude of the control current to the MRF device 24, the rotational resistance is immediately changed.
  • the sensor 25 measures the amount of displacement (angle) of the displacement section 202 and outputs it to the control section 20.
  • the sensor 25 measures and outputs the displacement of the displacement portion 202 as an angle.
  • the sensor 25 may include a plurality of sensors such as a gyro sensor and an acceleration sensor.
  • the displacement section 202 when the displacement section 202 is operated by the operator, the displacement of the displacement section 202 is caused to move in the direction of rotation of the MRF device 24 toward the rotation axis of the rotor via the link mechanism 204. communicated. Since the rotating shaft rotates freely when the MRF device 24 is not operating, that is, while the control current is zero, the displacement portion 202 fluctuates without resistance. On the other hand, when the MRF device 24 operates and the control current is not zero, the viscosity (shear stress) of the magnetorheological fluid inside the MRF device 24 is changed depending on the magnitude of the current flowing to the MRF device 24. By continuously changing the magnitude of the current to the MRF device 24 or by vibrating the current value at a predetermined frequency, the control unit 20 can change the resistance force applied to the displacement unit 202 and the method of its appearance. .
  • the tactile sensation presentation device 2 can vary the resistance (current value) according to the pushing amount (displacement amount) of the displacement section 202 to present a smooth tactile sensation, or increase the resistance as the pushing amount increases. It is possible to present a tactile sensation that is hard and hard, or to present a tactile sensation that is crunchy by repeatedly increasing and decreasing the resistance.
  • FIG. 5 is a flowchart illustrating an example of a basic processing procedure for tactile presentation in the tactile presentation system 100.
  • the processing unit 10 of the information processing device 1 starts the following process in cooperation with the tactile presentation device 2.
  • the processing unit 10 displays on the display unit an operation screen that includes a list of object candidates for which tactile sensation is to be displayed (step S101), and accepts the selection of the object (step S102).
  • the processing unit 10 reads tactile data, visual data, and auditory data corresponding to the object ID of the selected object from the sensory DB 110 of the storage unit 11 (step S103).
  • the processing unit 10 corrects the read tactile data, image data, and audio data based on a scale set in a process described later, and temporarily stores the corrected data (step S104).
  • the correction method in step S104 will be described in detail later.
  • the processing unit 10 establishes communication between the tactile presentation device 2 and the communication unit 12 (step S105), and transmits the temporarily stored corrected tactile data to the tactile presentation device 2 (step S106).
  • the processing unit 10 causes the display unit 13 to display that tactile presentation is to be started (step S107).
  • the control unit 20 of the tactile presentation device 2 Upon receiving the tactile data (step S201), the control unit 20 of the tactile presentation device 2 stores it in the storage unit 21 (step S202).
  • the control unit 20 samples a signal corresponding to the displacement amount (angle) of the displacement unit 202 output from the sensor 25 (step S203).
  • the control unit 20 transmits the displacement amount obtained by sampling to the information processing device 1 (step S204), and refers to the current value corresponding to the obtained displacement amount from the tactile data stored in the storage unit 21 (step S204).
  • S205 the referenced current is output to the MRF device 24 (step S206), and the process returns to step S203.
  • the processing in steps S203 to S206 continues until an operation to end the processing is performed on the information processing device 1 side.
  • the information processing device 1 receives the displacement amount from the tactile presentation device 2 (step S108), and the processing unit 10 refers to the image and audio corresponding to the received displacement amount from the visual data and auditory data in the storage unit 11 ( Step S109).
  • the processing unit 10 outputs the visual data and auditory data from the display unit 13 and the audio output unit 14, respectively (step S110), and returns the process to step S108.
  • the information processing device 1 outputs an image and audio corresponding to the amount of displacement.
  • the processing unit 10 determines whether a termination operation has been performed (step S111). If it is determined that the end operation has not been performed (S111: NO), the process returns to step S108, and the processes of steps S108-S110 are repeated.
  • the processing unit 10 ends the display, disconnects communication with the tactile presentation device 2 (step S112), and ends the process.
  • FIG. 6 is a schematic diagram showing an example of tactile presentation in the tactile presentation system 100.
  • FIG. 6 shows changes in images and sounds displayed on the display unit 13 in response to the amount of displacement in the tactile data transmitted to the tactile presentation device 2.
  • the image changes depending on the amount of depression of the displacement part 202, and the way the depression corresponds to the tactile sensation changes.
  • contact that is, from the initial position (displacement amount is zero) output to the MRF device 24, to the target object in the image.
  • An image of the touching finger may be displayed.
  • the relationship between the displacement amount and the control data is set according to the actual size of the movable range of the displacement section 202 and the actual size of the target object. That is, the thickness (change amount) of the crushed portion of the crushed object shown in FIG. 6 is made to match the displacement amount of the displacement portion 202 of the tactile presentation device 2 in actual size.
  • the information processing device 1 allows the correspondence between the amount of change of the object and the amount of displacement of the displacement section 202 to be changed in scale without being limited to the actual size.
  • the information processing device 1 corrects the tactile data in step S104 of the processing procedure shown in the flowchart of FIG.
  • the output of the device 2 can be tailored to each operator.
  • FIG. 7 is a flowchart illustrating an example of a setting method.
  • the processing procedure shown below is started when the setting menu is selected within the operation screen displayed based on the control program P1.
  • the processing procedure shown in FIG. 7 may be automatically started when the processing based on the control program P1 is executed for the first time. Initially, the amount of displacement corresponding to the presentation start position is zero.
  • the processing unit 10 displays a setting screen including a bar corresponding to the angular range of the displacement amount (step S301).
  • the processing unit 10 receives the selection of the presentation start position using the bar (step S302), determines and stores the amount of displacement (angle) corresponding to the selected presentation start position (step S303).
  • the processing unit 10 determines and stores the position of the displacement amount in the displacement amount range (0 to 90°) from the ratio of the length of the selected position to the length of the bar. That is, when the length of the bar is 100, in the case where the length to the selected position is 10, it is 10%, so 9° is determined as the displacement amount corresponding to the presentation start position.
  • the processing unit 10 creates tactile data in which the current value up to the amount of displacement (angle) corresponding to the presentation start position is set to zero, and a predetermined current value is set to the amount of displacement greater than or equal to the displacement amount corresponding to the presentation start position. (Step S304).
  • the processing unit 10 transmits the created tactile data to the tactile presentation device 2 (step S305), and causes the display unit 13 to display a message urging you to try it on the setting screen (step S306).
  • the control unit 20 of the tactile presentation device 2 Based on the received tactile data, the control unit 20 of the tactile presentation device 2 causes a current to flow through the MRF device 24 according to the amount of displacement of the displacement portion, so that the amount of displacement of the displacement portion 202 is smaller than the amount of displacement corresponding to the set presentation start position. It is possible to perform a test in which a predetermined reaction force (rotational resistance) is generated only when the holder is pushed in. This allows the operator to test the amount of time (play/displacement) before starting to feel a reaction force.
  • a predetermined reaction force rotational resistance
  • the processing unit 10 displays a determination button on the setting screen (step S307), and accepts whether or not the presentation start position selected in step S302 is acceptable as a result of the trial.
  • the processing unit 10 determines whether the OK button has been selected (step S308). If it is determined that the enter button has not been selected (S308: NO), the processing unit 10 returns the process to step S302 and repeats the process until the enter button is selected.
  • the processing unit 10 stores the displacement amount (angle) determined in step S303 in the storage unit 11 as a correction amount (step S309), and ends the process. do.
  • FIG. 8 shows an example of the setting screen 130 displayed on the display unit 13.
  • the processing unit 10 displays the settings screen 130 on the display unit 13.
  • the settings screen 130 includes a bar interface 131 that includes a control 132 that is slidable over a length that corresponds to a range of displacement amounts. The operator can move the control 132 up and down on the touch panel built into the display section 13.
  • the setting screen 130 includes a test button 133 and a decision button 134.
  • the processing unit 10 detects this using the operation unit 15, and determines the displacement amount in step S303 based on the position of the moved control 132. If the test button 133 is selected, the processing unit 10 executes the processes from step S304 to step S308.
  • the processing unit 10 executes steps S308-S309.
  • FIG. 9 is a flowchart illustrating an example of a correction procedure based on the presentation start position.
  • the processing unit 10 sets the first value of the displacement amount (angle) of the read tactile data in step S104 to the value obtained by adding the amount (angle) stored as the correction amount (step S401).
  • the processing section 10 determines whether the amount of displacement to which the non-zero current value corresponds exceeds the movable range of the displacement section 202. (Step S402).
  • the processing unit 10 changes the scale so that the displacement amount corresponding to the non-zero current value falls within the movable range of the displacement unit 202, and calculates the corrected value. Tactile data is created (step S403). Details of each creation method will be described later.
  • step S403 the processing unit 10 uses, for example, a value obtained by adding the value corresponding to the presentation start position stored as the correction amount and the maximum value of the displacement amount as the denominator, and uses the movable range of the displacement unit (for example, from 0 to 90 degrees) as the denominator. Calculate the coefficient with 90) as the numerator.
  • the processing unit 10 may allocate a value obtained by adding an amount (angle) stored as a correction amount to each displacement amount in the tactile data, multiplied by a coefficient ([Method 1]).
  • the processing unit 10 also uses as a denominator a value obtained by adding the value corresponding to the presentation start position stored as the correction amount and the maximum value of the displacement amount to which a non-zero current value corresponds, and calculates the value of the displacement unit.
  • a coefficient is calculated with the movable range (for example, 90 degrees of 0 to 90 degrees) as the numerator.
  • the processing unit 10 may allocate a value obtained by adding an amount (angle) stored as a correction amount to each displacement amount in the tactile data multiplied by a coefficient ([Method 2]).
  • step S403 the processing unit 10 also calculates the difference between the maximum value of the displacement amount and the value corresponding to the presentation start position stored as the correction amount by the unit number of displacement amounts (for example, 91 points corresponding to 0 to 90 degrees). ) may be multiplied by the number of displacement amounts and added to the initial value, and the resulting value may be allocated ([Method 3]). Note that in the case of this method ([Method 3]), it is not necessary to determine whether or not the movable range is exceeded in step S402.
  • the processing unit 10 creates auditory data by correcting each displacement amount of the read auditory data using a method similar to step S403 (step S404).
  • the processing unit 10 creates corrected visual data by correcting each displacement amount of the read visual data in the same manner as in step S403 (step S405), and ends the correction.
  • step S405 when displaying an image of the operator's finger virtually superimposed on an image that is visual data, the processing unit 10 determines that when the image of the operator's finger is virtually superimposed and displayed, the same amount of displacement as the amount of displacement stored as the correction amount is detected from the tactile presentation device 2.
  • coordinates for displaying the finger image so that the finger image appears to be in contact with the target object may be calculated.
  • the processing unit 10 determines the timing at which the tactile sensation occurs and the image of the finger appearing in contact with the object based on the presentation start position and the amount of displacement (angle) at which the current value in the tactile data becomes non-zero. The image may be adjusted so that the timing matches.
  • step S402 If it is determined in step S402 that the movable range is not exceeded (S402: NO), the processing unit 10 generates corrected tactile data obtained by adding the displacement amount stored as the correction amount to each displacement amount of the read tactile data. is created (step S406). Thereby, it is possible to shift the amount of displacement at which the continuously changing current value in the tactile data starts to be output.
  • the processing unit 10 creates corrected auditory data by adding the displacement amount stored as the correction amount to each displacement amount of the read auditory data (step S407).
  • the processing unit 10 creates corrected visual data by adding the displacement amount stored as the correction amount to each displacement amount of the read visual data (step S408), and ends the correction.
  • FIG. 10 to 12 are explanatory diagrams of the correction method.
  • FIG. 10 shows a method corresponding to the above-mentioned [Method 1]
  • FIG. 11 shows a method corresponding to [Method 2]
  • FIG. 12 shows a method corresponding to [Method 3].
  • the processing unit 10 when the correction amount is set to 5°, the processing unit 10 generates a value “95” which is the sum of the value “5” of 5° and the maximum value “90” of the displacement amount. ” as the denominator and the movable range of the displacement portion 202 as “90” as the numerator, a coefficient “0.95” is calculated.
  • the processing unit 10 multiplies the calculated coefficient "0.95" by the value (N+5) obtained by adding the correction amount to each displacement amount in the tactile data (the Nth displacement amount corresponding to an integer value from 0 to 90).
  • the correction data is then allocated to each of the original 91 displacement amounts.
  • the processing unit 10 determines the amount of correction when the current value range in the original tactile data is from 0 to 80 degrees (the current value corresponding to 81 degrees to 90 degrees is zero).
  • the denominator is the value "90” obtained by adding the value "10" of 10 degrees and the non-zero range "80”
  • the movable range "90" of the displacement part 202 is the numerator.
  • the coefficient "1.0" is calculated.
  • the processing unit 10 multiplies the calculated coefficient "1.0” by the value (N+10) obtained by adding the correction amount to each displacement amount in the tactile data (the Nth displacement amount corresponding to an integer value of 1 to 90).
  • the correction data is then allocated to each of the original 91 displacement amounts. In this case, the scale of the range where the current value is not zero is changed from 0 to 80 degrees to 0 to 90 degrees.
  • the processing unit 10 allocates the displacement amount from 5° to 90° to 91 displacement amounts (0 to 90°). is calculated as (90-5)/(number of pieces "91"-1) ⁇ 0.944.
  • tactile data, auditory data, and visual data are mapped to current values, audio data, and image data for each displacement amount after the correction amount is added, as shown in Figure 10-12.
  • the data will be In other words, the ratio (scale) between the range of the amount of displacement (movable range) of the displacement portion 202 and the range of the presented sensation is corrected.
  • FIG. 13 shows another example of the setting screen 130 displayed on the display unit 13.
  • the processing unit 10 displays the setting screen 130 on the display unit 13.
  • three patterns are displayed as candidates, with respect to the range of displacement amount, with different patterns of how far from the top the tactile presentation should start (tactile presentation position).
  • the setting screen 130 includes a test button 133 and a decision button 134. It is possible to select one by pressing the decision button 134.
  • the center candidate is highlighted by a thick line frame (cursor), indicating that this candidate has been selected by tapping on the operation unit 15. There is.
  • the processing unit 10 detects this using the operation unit 15, and determines the displacement amount in step S303 based on the position of the moved control 132. If the test button 133 is selected, the processing unit 10 executes the processes from step S304 to step S308.
  • FIG. 14 is a schematic diagram showing an example of tactile presentation in the tactile presentation system 100.
  • changes in the image and sound displayed on the display unit 13 are shown in response to the amount of displacement in the corrected tactile data.
  • the state of the tactile data before correction is shown by a broken line.
  • the tactile sensation starts to be presented from the displacement section 202 from the position where the displacement section 202 is pushed in a little (equivalent to 5 degrees) compared to FIG. is output and approaches the upper limit of the movable range of the displacement unit 202, the presentation position remains unchanged from before correction.
  • the storage unit 11 of one information processing device 1 stores correction amounts for different operators, and after receiving the selection of the operator who operates the tactile presentation device 2, the processing unit 10 , the process shown in the flowchart of FIG. 5 may be executed using the set correction amount.
  • the scale setting when presenting the tactile sense of the object is directly changed.
  • the configuration of the tactile presentation system 100 in the second embodiment is the same as that of the tactile presentation system 100 in the first embodiment, except that the method of changing the scale setting is different. Therefore, among the configurations of the tactile presentation system 100 of the second embodiment, the same components as those of the tactile presentation system 100 of the first embodiment are given the same reference numerals, and detailed description thereof will be omitted.
  • FIG. 15 is a flowchart illustrating an example of a setting method in the second embodiment.
  • the processing procedure shown below may be performed after receiving the selection of the target object (S102) in the processing shown in the flowchart of FIG. This may be done at the same time as accepting the setting of the presentation start position in the form. Initially, the scale setting is "1.0".
  • the processing unit 10 displays a settings screen including a scale change screen (step S501).
  • the scale change screen in step S501 may accept the scale as a numerical value, or may accept changes from the initial value "1.0" by operating a slide bar or an increase/decrease button. It is preferable that the scale range is acceptable, for example, from “0.5" to "1.5".
  • the processing unit 10 accepts the scale setting on the setting screen, stores it in the storage unit 11 (step S502), and ends the process.
  • FIG. 16 is a flowchart illustrating an example of a correction procedure using a scale.
  • the processing procedure in FIG. 16 corresponds to the processing procedure performed in step S104 when the information processing apparatus 1 of the third embodiment executes the processing shown in the flowchart of FIG. 6 similarly to the first embodiment.
  • the processing unit 10 determines whether the set scale is greater than 1 (step S411). If it is determined that it is larger than 1 (S411: YES), the processing unit 10 multiplies each displacement amount (0 to 90°) of the tactile data read in step S103 by a scale (step S412). In step S412, for example, if the displacement (angle) of 30° is associated with a current value of 1.2 in the tactile data before correction, the current value is associated with a displacement of 30° ⁇ (scale>1). 1.2 is associated. When the scale is 1.2, a current value of 1.2 is associated with a displacement of 36°, and when the scale is 1.5, a current value of 1.2 is associated with a displacement of 45°.
  • the step of the displacement amount becomes larger than the original step of the displacement amount.
  • the displacement will be from (0°, 1°, 2°, 3°, ..., 90°) to (0°, 1.5°, 3°, 4.5°, ..., 120°).
  • the processing unit 10 deletes data exceeding the upper limit of the movable range out of the displacement amount after being multiplied by the scale from the corrected tactile data (step S413).
  • the processing unit 10 processes the displacement amount from 91° to 120° and the corresponding current value after multiplying by the scale (for example, 1.5), the original displacement amount from 61° to 90°, and the corresponding current value. will be deleted from the corrected tactile data.
  • the processing unit 10 calculates and interpolates the intermediate value of the displacement amount and the current value corresponding to the intermediate value (step S414).
  • the processing unit 10 adds the correction amount to the displacement amount (step S415).
  • the processing unit 10 deletes the corrected displacement amount exceeding the upper limit (90°) of the displacement amount and the current value corresponding to the displacement amount from the corrected tactile data (step S416), and ends the correction process. do.
  • step S411 If it is determined in step S411 that it is smaller than 1 (S411: NO), the processing unit 10 multiplies each displacement amount (0° to 90°) of the tactile data read out in step S103 by a scale (step S417). .
  • step S417 for example, if the amount of displacement (angle) is 30 degrees in the tactile data before correction is associated with a current value of 1.2, the amount of displacement of 30 degrees x (scale ⁇ 1) is associated with a current value of 1.2. 1.2 is associated. When the scale is 0.8, a current value of 1.2 is associated with a displacement of 24°, and when the scale is 0.5, a current value of 1.2 is associated with a displacement of 15°.
  • the step of the displacement amount becomes smaller than the original step of the displacement amount.
  • the displacement will be from (0°, 1°, 2°, 3°, ..., 90°) to (0°, 0.5°, 1°, 1.5°, ..., 45°).
  • the processing unit 10 thins out the displacement amount after being multiplied by the scale and the control data corresponding to the displacement amount and deletes it from the corrected tactile data (step S418).
  • the processing unit 10 calculates one displacement for each two displacement amounts. Thin out the amount.
  • the corrected tactile data may be created as control data associated with small amounts of displacement without being thinned out.
  • the processing unit 10 sets the current value to 0 (zero) or a current value such that the displacement unit 202 does not move after a displacement amount that is larger than the upper limit value of the original displacement amount multiplied by the scale. It is added to the corrected tactile data (step S419), and the process advances to step S415.
  • step S419 the processing unit 10 sets the current value to zero for a displacement amount of 46° to 90° and a current value corresponding thereto that is larger than 90° of the original displacement amount after being multiplied by a scale (for example, 0.5). Fill in and add.
  • FIG. 17 is an explanatory diagram of the correction method in the second embodiment.
  • a non-zero current value is associated with a displacement amount in the range of 0° to 60°.
  • the processing unit 10 adjusts the original tactile data to 0° to 60° in the range of 0° to 90°, as shown in the upper right corner of FIG. Corrected tactile data is created by expanding the current values associated with the range.
  • the processing unit 10 converts the original tactile data into a range of 0° to 30°, as shown in the lower right corner of FIG.
  • the current values that were associated with the current values are compressed, some of them are thinned out, and the associated values are created to create corrected tactile data. Thereby, it is also possible to change the tactile data according to the set scale and present the tactile sense as appropriate within the physical movable range of the displacement section 202.
  • the scale setting may be automatically changed by the information processing device 1 according to the image display environment. For example, depending on the specs of the display unit 13, when displaying a tennis ball with a size of 66 mm on the display unit 13 at a scale of 1/2 of 33 mm to match the size on the screen, the tactile data is reduced to half. Perform correction to change to scale. In this case, visual data and auditory data are left as they are. In this case, when the displacement of the displacement section 202 is an angle corresponding to 5 mm, an image recessed by 5 mm in length on the display section 13 is synchronously displayed. In the case of superimposing finger images, the size of the finger images may be changed to match the 1/2 scale and the finger images may be displayed in an overlapping manner.
  • the displacement of the displacement unit 202 of the tactile presentation device 2 is at an angle corresponding to 5 mm.
  • an image recessed by 2.5 mm (the ratio of recess is 7.6% in both cases) is displayed synchronously on the display unit 13.
  • the scale when using the audio output unit 14 that can output audio three-dimensionally, the scale may be adjusted to match the specifications of the display unit 13.
  • FIG. 18 is a schematic diagram of the tactile presentation system 100 in the third embodiment
  • FIG. 19 is a block diagram showing the configuration of the HMD 3.
  • the configuration of the tactile presentation system 100 in the third embodiment is the same as that of the tactile presentation system 100 in the first embodiment, except that an HMD is used and the details of the processing by using the HMD are different. . Therefore, among the configurations of the tactile presentation system 100 of the third embodiment, the same components as those of the tactile presentation system 100 of the first embodiment are given the same reference numerals, and detailed description thereof will be omitted.
  • the HMD 3 includes a display section 31, a motion detection section 32, a space detection section 33, and a connection section 34.
  • the HMD 3 may be provided with a display section 31, a motion detection section 32, a space detection section 33, and a connection section 34 in the main body, or some may be provided separately and mutually exchange control signals via a communication medium. It may be possible to do so.
  • the display unit 31 includes, for example, a small liquid crystal display, an optical lens, and an optical system mechanism, and is capable of displaying a three-dimensional image at a viewing angle of 110° or more.
  • the display unit 31 is a transparent or translucent glass-like display, and receives an image signal (including a video signal) output from the information processing device 1 and displays it in a superimposed manner in the operator's actual field of view.
  • the display section 31 is not limited to a glass-like one, and may display an image based on an image signal output from the information processing device 1 superimposed on an image taken of real space by a camera provided facing forward. You can.
  • the motion detection unit 32 includes a plurality of triaxial acceleration sensors and gyro sensors installed in various directions on the main body (the cover of the display unit 31 and the attachment belt), and aggregates signals from a group of these sensors. and a control circuit that outputs the output.
  • the movement detection unit 32 detects the movement of the wearer's head.
  • the space detection unit 33 includes two or more infrared cameras arranged outwardly in parallel on the outer surface of the main body, and an infrared LED disposed at an intermediate position between the infrared cameras so as to similarly emit infrared rays outward. use
  • the space detection unit 33 functions as a depth sensor that measures the distance to an object that exists outside the main body of the HMD 3.
  • the space detection unit 33 can measure and output the distance from the HMD 3 main body to a still object such as a wall or floor in the location of the operator wearing the HMD 3.
  • the space detection unit 33 can measure and output the distance from the HMD 3 main body to the operator's arm, hand, and finger.
  • the connection unit 34 is an interface for connecting to the information processing device 1.
  • the HMD 3 outputs signals corresponding to the results measured by the motion detection unit 32 and the space detection unit 33 to the information processing device 1, and also acquires the video signal output from the information processing device 1 and displays it on the display unit. 31.
  • a speaker may be provided in the HMD 3, and the audio output from the audio output unit 14 of the information processing device 1 may be output from the speaker.
  • the information processing device 1 uses the HMD 3 and the distance to the still object in the real space measured by the space detection unit 33 to determine the tertiary shape of the virtual object.
  • the original image is superimposed and displayed in accordance with the operator's movement detected by the movement detection unit 32 to realize AR display.
  • the space detection section 33 uses the tactile presentation device 2 to select the coordinates in the three-dimensional image of the virtual object displayed on the display section 31 of the HMD 3 (coordinates that match the real space).
  • the processing unit 10 of the information processing device 1 detects this as being selected.
  • the information processing device 1 sends and receives displacement and tilt data to and from the tactile presentation device 2 to control the image displayed in AR and the tactile sensation output by the tactile presentation device 2. do.
  • the content of the process may be any of the processes shown in the first embodiment and the second embodiment.
  • the operator can visually observe an image in which the object is virtually placed in real space, and feel the touch of the object using the tactile presentation device. It is possible to memorize it in 2.
  • the tactile presentation start position in the tactile presentation device 2 can be corrected according to each operator, thereby further improving the degree of perception. .

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

触覚提示装置にて提示される触覚の知覚度を向上させる制御装置、制御方法、触覚提示システム及びプログラム製品を提供する。制御装置は、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御装置であって、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データを前記対象物毎に記憶しておき、設定に基づき、前記制御データの前記変位量と制御データとの対応関係を、前記変位部の変位量の範囲の前記制御データの範囲に対するスケールを変更するように補正し、前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力する。

Description

制御装置、制御方法、触覚提示システム及びプログラム製品
　本発明は、触覚提示装置にて提示される触覚の知覚度を向上させる制御装置、制御方法、触覚提示システム及びプログラム製品に関する。
　人間の五感のうち、視覚及び聴覚に係る画像及び音声の伝達技術が高精度化しており、昨今では、触覚を提示する技術（ハプティクス）が種々提案されている。
　触覚の提示技術としては、タッチパネル内蔵のディスプレイに表示された物体の画像に触れた際の振動、主に三種の振動（ＥＲＭ：Eccentric Rotating Mass、ＬＲＡ：Linear resonant Actuator、ピエゾ素子）での再現が提案されている。しかしながらタッチパネル上での触覚提示では、より深部での触覚、つまり手指の皮膚のみならず、筋や腱で生じる力覚まで再現することは困難である。
　発明者らは、磁気粘性流体に対する知見に基づいて、操作者が操作可能であって、対象物によって異なる感触を再現する触覚提示装置を提案した（特許文献１等）。
特許第６９０６２７５号
　触覚提示装置は、操作者の操作によって基部に対して変位可能な湾曲板等である変位部を備える。変位部は、触覚提示装置が制御されない状態では、操作者によって抵抗なく変位が可能であるが、制御中の触覚提示装置は、変位部の変位量（ポジション）に応じて変位部に対し生じさせる力覚の大きさ、力覚の出力方法等を変えて感触を提示する。
　この触覚提示装置の変位部の変位の仕方は、操作者の手の大きさの相違、筋肉の相違等によって異なる。また、操作者によっては、変位部を変位させる操作をした場合に、変位部において力覚が出力されるタイミングにより、感触としての知覚のし易さが相違する。そこで、触覚提示装置を、個々の操作者にとって触覚を知覚し易く設定できるようにすることが望まれる。
　本発明は、斯かる事情を鑑みてなされたものであり触覚提示装置にて提示される触覚の知覚度を向上させる制御装置、制御方法、触覚提示システム及びプログラム製品を提供することを目的とする。
　本開示の一実施形態の制御装置は、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御装置であって、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データを前記対象物毎に記憶しておき、設定に基づき、前記制御データの前記変位量と制御データとの対応関係を、前記変位部の変位量の範囲の前記制御データの範囲に対するスケールを変更するように補正し、前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力する。
　本開示の一実施形態の制御方法は、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御方法であって、前記触覚提示装置に接続されるコンピュータが、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データを前記対象物毎に記憶しておき、設定に基づき、前記制御データの前記変位量と制御データとの対応関係を、前記変位部の変位量の範囲の前記制御データの範囲に対するスケールを変更するように補正し、前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力する。
　本開示の一実施形態のプログラム製品は、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置に接続されるコンピュータに、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データを前記対象物毎に記憶しておき、設定に基づき、前記制御データの前記変位量と制御データとの対応関係を、前記変位部の変位量の範囲の前記制御データの範囲に対するスケールを変更するように補正し、前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力する処理を実行させる。
　本開示の制御装置、制御方法及びプログラム製品では、予め変位量と制御データとの対応関係を記憶しておき、触覚提示装置の使用時に、触覚提示装置の変位部の可動範囲内で触覚提示がされるように、スケールが変更される。
　本開示の一実施形態の制御装置は、前記変位部に対して制御データを出力し始める変位量を、前記設定として受け付け、受け付けた変位量と前記変位部の可動範囲に基づいて前記スケールを変更する。
　本開示の制御装置では、操作者の選択、あるいは、制御装置自身による制御によって変位部にて触覚が提示され始める変位量（触覚の提示開始位置）が設定されると、その提示開始位置から可動範囲内で触覚が提示できるように、スケールが変更される。
　本開示の一実施形態の制御装置は、前記スケールの変更を受け付ける。
　本開示の制御装置では、スケールの変更は外部から受け付け可能である。操作者が好みで変更することができる。
　本開示の一実施形態の制御装置は、前記制御データは、前記変位部の可動範囲の実寸と、対象物の実寸とに基づいて前記変位量に対応付けて記憶されており、変更されたスケールに基づき、前記変位部の変位量と制御データとの対応関係が補正される。
　本開示の制御装置では、予め記憶されている制御データは、変位部の可動範囲の実寸と、対象物の寸法とが対応するように変位部に力覚が提示されるように設定されている。対象物をどのスケールで出力するかの設定を受け付け、設定されたスケールによって、変位部に対して力覚が出力される範囲が変更可能となる。
　本開示の一実施形態の触覚提示システムは、操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置と、前記触覚提示装置と通信接続し、表示部を備える情報処理装置とを含み、前記情報処理装置は、前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、前記表示部に表示する視覚データとを前記対象物毎に記憶しておき、設定に基づき、前記制御データの前記変位量と制御データとの対応関係を、前記変位部の変位量の範囲の前記制御データの範囲に対するスケールを変更するように補正し、前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力し、補正後の視覚データに基づき、前記変位部の変位量に応じて前記表示部に画像を出力する。
　本開示の触覚提示システムでは、予め変位量と制御データとの対応関係を記憶しておき、触覚提示装置の使用時に、触覚提示装置の変位部の可動範囲内で触覚提示がされるように、スケールが変更され、それに応じて、情報処理装置にて画像が表示される。
　本開示によれば、操作者に応じて触覚提示装置による触覚提示範囲を調整することが可能となり、触覚の知覚度を向上させることができる。
触覚提示システムを示す模式図である。 情報処理装置の構成を示すブロック図である。 感覚ＤＢの内容例を示す説明図である。 触覚提示装置の構成を示すブロック図である。 触覚提示システムにおける触覚提示の基本処理手順の一例を示すフローチャートである。 触覚提示システムにおける触覚提示の例を示す概要図である。 設定方法の一例を示すフローチャートである。 表示部に表示される設定画面の一例を示す。 提示開始位置による補正手順の一例を示すフローチャートである。 補正の方法の説明図である。 補正の方法の説明図である。 補正の方法の説明図である。 表示部に表示される設定画面の他の一例を示す。 触覚提示システムにおける触覚提示の例を示す概要図である。 第２実施形態における設定方法の一例を示すフローチャートである。 スケールによる補正手順の一例を示すフローチャートである。 第２実施形態における補正の方法の説明図である。 第３実施形態における触覚提示システムの概要図である。 ＨＭＤの構成を示すブロック図である。
　本開示をその実施の形態を示す図面を参照して具体的に説明する。以下の実施の形態では、触覚提示システムにおける設定方法の実施について説明する。
　（第１実施形態）
　図１は、触覚提示システム１００を示す模式図である。触覚提示システム１００は、情報処理装置１と、触覚提示装置２とを含む。情報処理装置１と、触覚提示装置２とは近距離無線通信で通信接続され、相互にデータを授受する。
　情報処理装置１は、図１に示すようにスマートフォンを用いる。情報処理装置１は、スマートフォンでなく、タブレット端末であってもよいし、ラップトップ型のＰＣ（Personal Computer）であってもよい。
　触覚提示装置２は、操作者が指を変位部２０２に沿えて持ちながら指を動かして操作できる装置である。触覚提示装置２は、操作者が指を動かすことで変位する変位部２０２の位置を読み取り、内蔵するＭＲＦ（Magneto-Rheological Fluid）デバイス２４をその位置に応じて制御して操作者の変位部２０２への操作に対する反力（回転抵抗）により力覚を生じさせ、触覚を提示する装置である。触覚提示装置２の変位部２０２の態様は、図１に示すようなものに限られず、スティック状であってもよいし、カバーに覆われたクッション状のものであってもよい。触覚提示装置２は、ＭＲＦデバイス２４に代えて、モータやピエゾ素子などを採用し、操作者の操作に対し回転力や振動により力覚を生じさせるものでもよく、変位部２０２の他、振動や温感、冷感を提示するものと組み合わされてもよい。地面や壁に設置し、操作者の手のひらや足等で操作される構造でもよい。
　触覚提示システム１００では、触覚提示装置２は、情報処理装置１と連携し、情報処理装置１又は他の表示装置やスピーカ等を用いて対象物の画像及び音声を出力させながら、対象物の触覚を触覚提示装置２で出力させる。図１に示す例では、情報処理装置１の表示部１３に、柔らかな物体を表示させ、操作者が触覚提示装置２の変位部２０２を指で押し込むと、触覚提示装置２がグニャリ、若しくはフワフワとした触覚を出力させつつ、表示部１３に、物体が、押し込まれたように変化する画像を表示させ、音声出力部１４にて物体が押し込まれたことに対応する「グニャリ」と聞こえるような音声を出力する。
　図２は、情報処理装置１の構成を示すブロック図である。情報処理装置１は、処理部１０、記憶部１１、通信部１２、表示部１３、音声出力部１４及び操作部１５を備える。処理部１０は、ＣＰＵ（Central Processing Unit）及び／又はＧＰＵ（Graphics Processing Unit）を用いたプロセッサである。処理部１０は、記憶部１１に記憶されている触覚提示用の制御プログラムＰ１に基づき、後述する処理を実行する。
　記憶部１１は、フラッシュメモリ、ＳＳＤ（Solid State Drive）等の不揮発性メモリを用いる。記憶部１１は、処理部１０が参照するデータを記憶する。制御プログラムＰ１（プログラム製品）は、通信部１２を介して情報処理装置１又は他のプログラムサーバ装置からダウンロードして実行可能に記憶したものである。記憶部１１に記憶されている制御プログラムＰ１は、コンピュータから読み取り可能な記憶媒体８に記憶されていた制御プログラムＰ８を処理部１０が読み出して記憶したものであってもよい。
　記憶部１１は、出力する対象物の触覚データ、視覚データ及び聴覚データを含む感覚データベース（ＤＢ：Data Base）１１０を記憶する。感覚ＤＢ１１０は、対象物を識別する対象物ＩＤに対応付けて、触覚提示装置２における変位部の変位データ毎に、その変位において出力すべき触覚データ、視覚データ（画像、動画）、及び聴覚データ（音声）を格納している（図３参照）。記憶部１１は更に、操作者個別の設定データを記憶する。
　通信部１２は、近距離無線通信、例えばBluetooth（登録商標）の通信モジュールである。処理部１０は、通信部１２によって触覚提示装置２との間でデータを送受信できる。
　表示部１３は、液晶ディスプレイ、有機ＥＬ（Electro Luminescence）ディスプレイ等のディスプレイである。表示部１３は例えば、タッチパネル内蔵型ディスプレイである。処理部１０は、表示部１３に、制御プログラムＰ１に基づき、触覚提示装置２で触覚を出力させるための操作画面や対象物の画像を表示する。
　音声出力部１４は、スピーカ等を含む。処理部１０は、制御プログラムＰ１に基づき、対象物の音声、音楽等を音声出力部１４から出力させる。
　操作部１５は、処理部１０との間で入出力が可能なユーザインタフェースであって、表示部１３内蔵のタッチパネルである。操作部１５は、物理ボタンであってもよい。操作部１５は、音声入力部であってもよい。
　図３は、感覚ＤＢ１１０の内容例を示す説明図である。感覚ＤＢ１１０は、図３に示すように、対象物ＩＤに対応付けて、変位部２０２の変位量（角度）毎の触覚提示装置２のＭＲＦデバイスへの電流の電流値を触覚データとして格納している。電流値に限らず、電圧値等であってもよい。対象物は複数であり、触覚を提示する物として実在する物体、例えば、ボール又は風船等の静物、グミ、野菜、又は果物等の食べ物、犬、猫又は魚等の動物を含んでもよいし、スライムやモンスター等のキャラクタを含んでもよい。
　感覚ＤＢ１１０の変位部２０２の変位量と、電流値との関係は、変位部２０２の可動範囲の実際の寸法と、対象物の寸法とに合わせて設定されている。例えば、変位部２０２の可動範囲が５０ｍｍであり、対象物が小さなグミのような破裂しない球体であって大きさが１５ｍｍに設定されている場合、触覚は最初の１５ｍｍ程度の範囲で再現され、残りの３５ｍｍの範囲は、それ以上押し込めないほどの感触となるような回転抵抗を生じさせる電流値が設定されている。又は、１２ｍｍ～１５ｍｍの範囲は押し込めなくなる大きな電流値が設定され、それ以降の電流値はゼロに設定されていてもよい。また、対象物がソファの座面のような大きな物体であって大きさが変位部２０２の可動範囲を大きく超える場合、触覚データでは、ソファの座面表面から５０ｍｍまでの感触を提示するような電流値が設定される。対象物がモンスター等の仮想的なキャラクタの場合は、そのキャラクタの設定に応じた大きさに基づいて電流値が設定される。
　感覚ＤＢ１１０は、同様に、対象物ＩＤに対応付けて、変位部２０２の変位量（角度）毎の画像（フレーム画像）を視覚データとして格納している。ここでフレーム画像は、連続して表示することでアニメーション画像として認識される、１つの静止画像である。また同様にして、対象物ＩＤに対応付けて、変位部２０２の変位量（角度）毎の音声を聴覚データとして格納している。聴覚データは、各角度によって異なる波形データであってもよい。各角度に対応する音声のタイムスタンプであってもよい。
　図４は、触覚提示装置２の構成を示すブロック図である。触覚提示装置２は、図１に示したように、扁平な有底円筒状の把持体２００に周方向に一部沿うような湾曲部を有する帯状平板の変位部２０２を設けて構成される。変位部２０２は、それ自体が撓むことが可能な素材であるが、剛性の高い素材を採用し、把持体２００と支軸を介して回動可能に支持されていてもよい。変位部２０２の先端の外側の面には、布テープ状の結束具２０３が設けられている。変位部２０２の先端の内側面は、把持体２００内部に収容されているＭＲＦデバイス２４のロータの回転軸と連結するリンク機構２０４が設けられている。
　操作者は図１に示したように、把持体２００を例えば親指と中指とで把持しつつ、人差し指等の指を変位部２０２に沿わせて結束具２０３に人差し指を差し込んで使用する。操作者は人差し指を押し込むように変位部２０２を動かすことができ、また、人差し指を伸ばして把持体２００から変位部２０２を遠ざけるように動かすことができる。
　触覚提示装置２は、図１に示すような把持体２００と、制御部２０、記憶部２１、通信部２２、電源部２３、ＭＲＦデバイス２４、センサ２５を備える。把持体２００は、ＭＲＦデバイス２４を内蔵する。制御部２０、記憶部２１、通信部２２、及び電源部２３は把持体２００と一体に設けられてもよいし、把持体２００と無線又は有線により接続される別体に設けられてもよい。
　制御部２０は、ＣＰＵ、ＭＰＵ（Micro-Processing Unit）等のプロセッサ、ＲＯＭ（Read Only Memory）、ＲＡＭ（Random Access Memory）等のメモリを含む。制御部２０は、例えばマイクロコントローラである。制御部２０は、内蔵ＲＯＭに記憶されている制御プログラムＰ２に基づいて各構成部を制御し、触覚提示を実現する。
　記憶部２１は、制御部２０に対する補助記憶メモリであり、ＭＲＦデバイス２４の制御データ（触覚データ）を書き換え可能に記憶する。
　通信部２２は、近距離無線通信、例えばBluetooth（登録商標）の通信モジュールである。制御部２０は、通信部２２によって情報処理装置１との間でデータを送受信できる。
　制御部２０は、電源部２３、ＭＲＦデバイス２４及びセンサ２５とＩ／Ｏを介して接続されており、相互に信号を授受する。
　電源部２３は、充電可能なバッテリを含む。電源部２３は、ＯＮ状態になると各構成部及びＭＲＦデバイス２４へ電力を供給する。
　ＭＲＦデバイス２４は、円板状のロータを、隙間を開けて挟むようにして設けられたヨークを有し、ヨークに設けられたコイルに制御電流を流して磁界を発生させ、隙間に封入されている磁気粘性流体の粘度（ずり応力）を制御してロータの回転抵抗を与える。制御部２０が、ＭＲＦデバイス２４への制御電流の大きさを制御すると即座に回転抵抗が変更される。
　センサ２５は、変位部２０２の変位量（角度）を測定して制御部２０へ出力する。センサ２５は変位部２０２の変位を、角度として測定して出力する。センサ２５は、ジャイロセンサ、加速度センサ等の複数のセンサから構成されてもよい。
　上述のように構成される触覚提示装置２では、変位部２０２が操作者によって操作されると、変位部２０２の変位がリンク機構２０４を介してＭＲＦデバイス２４のロータの回転軸への回転方向に伝達される。回転軸は、ＭＲＦデバイス２４が動作していない場合、即ち制御電流がゼロである間は、自由に回転するため、変位部２０２は抵抗なく変動する。一方で、ＭＲＦデバイス２４が動作し、制御電流がゼロでない場合には、ＭＲＦデバイス２４へ流れる電流の大きさに応じてＭＲＦデバイス２４内部の磁気粘性流体の粘度（ずり応力）が変更される。制御部２０が、ＭＲＦデバイス２４への電流の大きさを連続的に変更したり、電流値を所定の周波数で振動させたりすることで、変位部２０２に対する抵抗の力やその出現方法を変更できる。
　このようにして触覚提示装置２は、変位部２０２の押し込む量（変位量）に応じて抵抗（電流値）を変動させてヌルリとした触覚を提示したり、押し込む量が大きくなるにつれて抵抗を大きくしてギュッとした固さの触覚を提示したり、抵抗の大小を繰り返してザクザクとした触覚を提示したりすることができる。
　図５は、触覚提示システム１００における触覚提示の基本処理手順の一例を示すフローチャートである。情報処理装置１の処理部１０は、操作者が制御プログラムＰ１を起動させ、触覚提示装置２の電源をＯＮとすると、触覚提示装置２と連携して以下の処理を開始する。
　処理部１０は、触覚を表示する対象物の候補のリストを含む操作画面を表示部に表示し（ステップＳ１０１）、対象物の選択を受け付ける（ステップＳ１０２）。処理部１０は、選択された対象物の対象物ＩＤに対応する触覚データ、視覚データ及び聴覚データを記憶部１１の感覚ＤＢ１１０から読み出す（ステップＳ１０３）。
　処理部１０は、読み出した触覚データを、後述する処理で設定されるスケールに基づき、読み出した触覚データ、画像データ及び音声データを補正して、一時記憶する（ステップＳ１０４）。ステップＳ１０４における補正の方法については詳細を後述する。
　処理部１０は、触覚提示装置２と通信部１２による通信を確立させ（ステップＳ１０５）、一時記憶した補正後の触覚データを、触覚提示装置２へ送信する（ステップＳ１０６）。処理部１０は、表示部１３に触覚提示を開始することを表示させる（ステップＳ１０７）。
　触覚提示装置２の制御部２０は、触覚データを受信すると（ステップＳ２０１）、記憶部２１に記憶する（ステップＳ２０２）。
　制御部２０は、センサ２５から出力される変位部２０２の変位量（角度）に対応する信号をサンプリングする（ステップＳ２０３）。制御部２０は、サンプリングにより得られる変位量を、情報処理装置１へ送信し（ステップＳ２０４）、得られた変位量に対応する電流値を、記憶部２１に記憶した触覚データから参照し（ステップＳ２０５）、参照した電流をＭＲＦデバイス２４へ出力し（ステップＳ２０６）、処理をステップＳ２０３へ戻す。ステップＳ２０３－Ｓ２０６の処理は、情報処理装置１側で終了させる操作がされるまで継続する。
　情報処理装置１は、触覚提示装置２から変位量を受信し（ステップＳ１０８）、処理部１０は、受信した変位量に対応する画像及び音声を記憶部１１の視覚データ及び聴覚データから参照する（ステップＳ１０９）。処理部１０は、視覚データ及び聴覚データをそれぞれ、表示部１３及び音声出力部１４から出力させ（ステップＳ１１０）、処理をステップＳ１０８へ戻す。触覚提示装置２から変位量が送信される都度、情報処理装置１は、それに対応する画像及び音声を出力する。
　処理部１０は、終了操作がされたか否かを判断する（ステップＳ１１１）。終了操作がされていないと判断された場合（Ｓ１１１：ＮＯ）、処理をステップＳ１０８へ戻し、ステップＳ１０８－Ｓ１１０の処理を繰り返す。
　終了操作がされたと判断された場合（Ｓ１１１：ＹＥＳ）、と処理部１０は、表示を終了して触覚提示装置２との通信を切断し（ステップＳ１１２）、処理を終了する。
　図６は、触覚提示システム１００における触覚提示の例を示す概要図である。図６には、触覚提示装置２に送信される触覚データにおける変位量に対応して表示部１３に表示される画像の変化及び音声の変化を示す。図６に示すように、変位部２０２の押し込み量に応じて、画像が変化し、触覚に対応する凹み方が変わる。また、図６に示すように、画像中に、操作者の指の画像を表示する場合、接触、即ちＭＲＦデバイス２４へ出力する初期位置（変位量がゼロ）の場所から、画像における対象物に接触する指の画像が表示されるようにしてもよい。
　ここで、変位量と制御データとの関係は、変位部２０２の可動範囲の実際の寸法と、対象物の実寸とに合わせて設定されている。つまり、図６に示した潰れている対象物における潰れた分の厚み（変化量）は、触覚提示装置２の変位部２０２の変位量と実寸で一致するようにしてある。これに対し、以下に示す設定で、情報処理装置１は、対象物の変化量と、変位部２０２の変位量との対応を、実寸に限らずスケールを変更することを可能とする。
　このように触覚を提示する触覚提示システム１００では、上述の触覚提示の処理のうち、図５のフローチャートに示した処理手順のステップＳ１０４で、情報処理装置１が触覚データを補正するに際し、触覚提示装置２での出力を操作者個々に合わせることができる。
　図７は、設定方法の一例を示すフローチャートである。以下に示す処理手順は、制御プログラムＰ１に基づき表示される操作画面内で、設定メニューを選択した場合に開始される。図７に示す処理手順は、制御プログラムＰ１に基づく処理を初回に実行する際に自動的に開始されてもよい。初期的には、提示開始位置に対応する変位量は、ゼロである。
　処理部１０は、変位量の角度範囲に対応するバーを含む設定画面を表示する（ステップＳ３０１）。処理部１０は、バーによる提示開始位置の選択を受け付け（ステップＳ３０２）、選択された提示開始位置に対応する変位量（角度）を決定し、記憶する（ステップＳ３０３）。ステップＳ３０３において処理部１０は、バーの長さに対する選択された位置の長さの割合から、変位量の範囲（０～９０°）における変位量の位置を決定して記憶する。つまり、バーの長さを１００とした場合に、選択された位置までの長さが１０であるケースでは１０％であるから、９°が提示開始位置に対応する変位量として決定される。
　処理部１０は、提示開始位置に対応する変位量（角度）までの電流値をゼロとし、提示開始位置に対応する変位量以上の変位量に、所定の電流値をセットした触覚データを作成する（ステップＳ３０４）。処理部１０は、作成した触覚データを触覚提示装置２へ送信し（ステップＳ３０５）、設定画面に試すように促すメッセージを表示部１３に表示させる（ステップＳ３０６）。
　触覚提示装置２の制御部２０は、受信した触覚データに基づいて、変位部の変位量に応じた電流をＭＲＦデバイス２４に流し、設定された提示開始位置に対応する変位量よりも変位部２０２が押し込まれた場合に初めて、所定の反力（回転抵抗）を発するテストを実行可能とする。これにより、反力を感じ始めるまでの猶予（遊び・ズレ）を、操作者が試すことができる。
　処理部１０は、設定画面に、決定ボタンを表示し（ステップＳ３０７）、試した結果、ステップＳ３０２で選択した提示開始位置でよいか否かを受け付ける。処理部１０は、決定ボタンが選択されたか否かを判断する（ステップＳ３０８）。決定ボタンが選択されていないと判断された場合（Ｓ３０８：ＮＯ）、処理部１０は、処理をステップＳ３０２へ戻し、決定ボタンが選択されるまで処理を繰り返す。
　決定ボタンが選択されたと判断された場合（Ｓ３０８：ＹＥＳ）、処理部１０は、ステップＳ３０３で決定した変位量（角度）を、補正量として記憶部１１に記憶し（ステップＳ３０９）、処理を終了する。
　図８は、表示部１３に表示される設定画面１３０の一例を示す。操作部１５によって設定メニューが選択された場合に、処理部１０は設定画面１３０を表示部１３に表示する。設定画面１３０には、変位量の範囲に対応する長さに対してスライド可能なコントロール１３２を含むバーインタフェース１３１が含まれる。操作者は、表示部１３内蔵のタッチパネル上で、コントロール１３２を上下に動かすことができる。
　設定画面１３０は、テストボタン１３３及び決定ボタン１３４を含む。テストボタン１３３が操作者によって選択されると、処理部１０は操作部１５によりこれを検知し、動かされたコントロール１３２の位置によってステップＳ３０３において変位量を決定する。テストボタン１３３が選択された場合、処理部１０は、ステップＳ３０４からステップＳ３０８の処理を実行する。
　決定ボタン１３４が選択された場合、処理部１０は、ステップＳ３０８－Ｓ３０９を実行する。
　これにより、変位部２０２を操作した場合の提示開始位置の補正量が操作者毎に設定され、図５のフローチャートに示した処理におけるステップＳ１０４によって反映される。図９は、提示開始位置による補正手順の一例を示すフローチャートである。
　処理部１０は、ステップＳ１０４において、読み出した触覚データの変位量（角度）の最初の値を、補正量として記憶した量（角度）を加算した値とする（ステップＳ４０１）。処理部１０は、触覚データの変位量に、補正量として記憶した量（角度）を加算した場合、ゼロでない電流値が対応する変位量が、変位部２０２の可動範囲を超えるか否かを判断する（ステップＳ４０２）。
　可動範囲を超えると判断された場合（Ｓ４０２：ＹＥＳ）、処理部１０は、ゼロでない電流値が対応する変位量が、変位部２０２の可動範囲に収まるように、スケールを変更して補正後の触覚データを作成する（ステップＳ４０３）。各々の作成方法については詳細を後述する。
　ステップＳ４０３において処理部１０は例えば、補正量として記憶された提示開始位置に対応する値と、変位量の最大値とを加算した値を分母とし、変位部の可動範囲（例えば０～９０°の９０）を分子とした係数を算出する。処理部１０は、触覚データにおける各変位量に、補正量として記憶した量（角度）を加算した値に、係数を乗じたものを配してもよい（［方法１］）。
　ステップＳ４０３において処理部１０は他に、補正量として記憶された提示開始位置に対応する値と、ゼロでない電流値が対応する変位量の最大値とを加算した値を分母とし、、変位部の可動範囲（例えば０～９０°の９０）を分子とした係数を算出する。処理部１０は、触覚データにおける各変位量に、補正量として記憶した量（角度）を加算した値に、係数を乗じたものを配してもよい（［方法２］）。
　ステップＳ４０３において処理部１０は他に、変位量の最大値と補正量として記憶された提示開始位置に対応する値との差分を、変位量の単位個数（例えば０～９０°に対応する９１個）で分けた増分を、変位量の個数に乗じて、最初の値に加算したものを配してもよい（［方法３］）。なお、この方法（［方法３］）の場合は、ステップＳ４０２で可動範囲を超えるか否かの判断は不要である。
　処理部１０は、読み出した聴覚データの各変位量に対して、ステップＳ４０３と同様の方法で補正を施した聴覚データを作成する（ステップＳ４０４）。
　処理部１０は、読み出した視覚データの各変位量に対して、ステップＳ４０３と同様の方法で補正を施した補正後の視覚データを作成し（ステップＳ４０５）、補正を終了する。
　ステップＳ４０５において処理部１０は、視覚データである画像に、操作者の指の画像を仮想的に重畳して表示する場合、補正量として記憶した変位量と同一の変位量が触覚提示装置２から送信されたタイミングで、指の画像が対象物に接触して見えるように指の画像を表示させる座標を算出してもよい。この場合、処理部１０は、提示開始位置と、触覚データにおける電流値がゼロでなくなる変位量（角度）とに基づき、触覚が生じるタイミングと、画像において指の画像が対象物に接触して見えるタイミングとが合致するように、画像を調整してもよい。
　ステップＳ４０２において可動範囲を超えないと判断された場合（Ｓ４０２：ＮＯ）、処理部１０は、読み出した触覚データの各変位量に、補正量として記憶した変位量を加算した、補正後の触覚データを作成する（ステップＳ４０６）。これにより、触覚データにおける連続的に変化する電流値を出力し始める変位量をずらすことができる。
　同様に処理部１０は、読み出した聴覚データの各変位量に、補正量として記憶した変位量を加算した、補正後の聴覚データを作成する（ステップＳ４０７）。
　処理部１０は、読み出した視覚データの各変位量に、補正量として記憶した変位量を加算した、補正後の視覚データを作成し（ステップＳ４０８）、補正を終了する。
　図１０－図１２は、補正の方法の説明図である。図１０は、上述の［方法１］に対応する方法を示し、図１１は、［方法２］に対応する方法を示し、図１２は、［方法３］に対応する方法を示す。
　図１０に示す補正の方法では、処理部１０は、補正量が５°と設定された場合、その５°の値「５」と、変位量の最大値「９０」とを加算した値「９５」を分母とし、変位部２０２の可動範囲「９０」を分子とした係数「０．９５」を算出する。処理部１０は、触覚データにおける各変位量（０～９０の整数値に対応するＮ番目の変位量）に、補正量を加算した値（Ｎ＋５）に、算出した係数「０．９５」を乗じて、元の９１個の変位量にそれぞれ配して補正データとする。
　図１１に示す補正の方法では、処理部１０は、元の触覚データにおいて電流値がゼロでない範囲を０～８０°（８１°～９０°に対応する電流値はゼロ）である場合、補正量が１０°と設定されたケースでは、その１０°の値「１０」と、ゼロでない範囲「８０」とを加算した値「９０」を分母とし、変位部２０２の可動範囲「９０」を分子とした係数「１．０」を算出する。処理部１０は、触覚データにおける各変位量（１～９０の整数値に対応するＮ番目の変位量）に、補正量を加算した値（Ｎ＋１０）に、算出した係数「１．０」を乗じて、元の９１個の変位量にそれぞれ配して補正データとする。この場合、電流値がゼロでない範囲は０～８０°から０～９０°にスケールが変更される。
　図１２に示す補正の方法では、処理部１０は、補正量が５°と設定された場合、９１個の変位量（０～９０°）に５°から９０°の変位量を割り振るため、公差を（９０－５）／（個数「９１」－１）≒０．９４４と算出する。Ｎ番目の変位量として、Ｎ番目のＮから１減じた数に公差を乗じた数を初期値に加算して得られる数値（＝先頭の値＋公差×（Ｎ－１））を割り振る。これにより、０～９０°の変位量に対応していた電流値を、提示開始位置５°から最大値９０°までの変位量に割り振り、スケールを例えば１．０６（＝１／０．９４４）倍としたことと同様である。
　このように、補正によって触覚データ、聴覚データ及び視覚データは、図１０－１２に示すように、補正量が加算後の変位量それぞれに対し、電流値、音声データ、及び画像データが対応付けられたデータとなる。つまり、変位部２０２の変位量の範囲（可動範囲）と、提示される感触の範囲との比率（スケール）が変わるように補正される。
　図１３は、表示部１３に表示される設定画面１３０の他の一例を示す。設定画面１３０は、図８に示したように、操作部１５によって設定メニューが選択された場合に、処理部１０は設定画面１３０を表示部１３に表示する。設定画面１３０には、変位量の範囲に対して、上からどこまで押し込むと触覚提示が始まるか（触覚提示位置）の異なるパターンが３つ候補として表示されている。
　図１３の例でも、設定画面１３０は、テストボタン１３３及び決定ボタン１３４を含む。決定ボタン１３４により、いずれかを選択することが可能である。図１３に示す例では、３つの候補のうち、中央の候補が、太線の枠（カーソル）により強調されており、この候補が操作部１５によるタップで選択された状態であることが示されている。
　テストボタン１３３が操作者によって選択されると、処理部１０は操作部１５によりこれを検知し、動かされたコントロール１３２の位置によってステップＳ３０３において変位量を決定する。テストボタン１３３が選択された場合、処理部１０は、ステップＳ３０４からステップＳ３０８の処理を実行する。
　図１３に示す設定画面１３０の例であっても、決定ボタン１３４が選択された場合、処理部１０は、ステップＳ３０８－Ｓ３０９を実行する。
　図１４は、触覚提示システム１００における触覚提示の例を示す概要図である。図１４に示す例では、図６に示した例と比較して、補正後の触覚データにおける変位量に対応して表示部１３に表示される画像の変化及び音声の変化とを示す。図１４では、補正前の触覚データにおける状態を破線により示している。図１４に示すように、補正後は、図６と比較して、変位部２０２を少しだけ（５°相当）押し込んだ位置から、変位部２０２から触覚が提示され始め、同様に、画像及び音声が出力され、且つ、変位部２０２の可動範囲の上限に近くなると、提示位置は補正前と変わらない。
　このように、触覚提示装置２を使用する際の触覚の提示開始位置を、操作者の好みや感覚に合わせて調整することが可能になる。触覚提示装置２における触覚の提示の方法を操作者に合わせることにより、操作者による知覚度が向上する。
　情報処理装置１に対して、１つの補正量を記憶することとして説明したが、これに限られない。１つの情報処理装置１の記憶部１１に、異なる操作者毎の補正量を記憶しておき、触覚提示装置２を操作する操作者が誰であるかの選択を受け付けてから、処理部１０は、設定してある補正量を使用して図５のフローチャートに示した処理を実行してもよい。
　（第２実施形態）
　第２実施形態では、対象物の触覚を提示する際のスケールの設定を、直接的に変更する。第２実施形態における触覚提示システム１００の構成は、スケールの設定の変更方法が異なること以外は、第１実施形態における触覚提示システム１００と同様の構成である。したがって、第２実施形態の触覚提示システム１００の構成のうち、第１実施形態の触覚提示システム１００と共通する構成については同一の符号を付して詳細な説明を省略する。
　図１５は、第２実施形態における設定方法の一例を示すフローチャートである。以下に示す処理手順は、図５のフローチャートに示した処理において、対象物の選択を受け付けた後に（Ｓ１０２）、実施されてもよいし、操作画面内で、設定メニューを選択した場合第１実施形態における提示開始位置の設定受付と同時に行なわれてもよい。初期的には、スケールの設定は、「１．０」である。
　処理部１０は、スケールの変更画面を含む設定画面を表示する（ステップＳ５０１）。ステップＳ５０１においてスケールの変更画面は、スケールを数値で受け付けるものであってもよいし、スライドバー、若しくは増減ボタンに対する操作によって初期値「１．０」の変更を受け付けるものであってよい。スケールの範囲は、例えば「０．５」～「１．５」等の範囲で受け付け可能とするとよい。
　処理部１０は、設定画面にてスケールの設定を受け付け、記憶部１１にし（ステップＳ５０２）、処理を終了する。
　第２実施形態では設定されたスケールによって、触覚データを補正する。図１６は、スケールによる補正手順の一例を示すフローチャートである。図１６の処理手順は、第３実施形態の情報処理装置１が第１実施形態同様に図６のフローチャートに示した処理を実行するに際し、ステップＳ１０４で実施する処理手順に対応する。
　処理部１０は、設定されたスケールが、１よりも大きいか否かを判断する（ステップＳ４１１）。１よりも大きいと判断された場合（Ｓ４１１：ＹＥＳ）、処理部１０は、ステップＳ１０３で読み出した触覚データの変位量（０～９０°）それぞれに、スケールを乗じる（ステップＳ４１２）。ステップＳ４１２により、例えば、補正前の触覚データにおいて変位量（角度）が３０°には電流値１．２が対応付けられていた場合、３０°×（スケール＞１）の変位量に、電流値１．２が対応付けられる。スケールが１．２の場合は、３６°の変位量に電流値１．２が対応付けられ、スケールが１．５の場合は４５°の変位量に電流値１．２が対応付けられる。
　ステップＳ４１２でスケールが乗じられることにより、変位量のステップが元の変位量のステップよりも大きくなる。例えばスケールが１．５の場合、変位量は（０°，１°，２°，３°，…，９０°）から（０°，１．５°，３°，４．５°，…，１２０°）となる。処理部１０は、スケールが乗じられた後の変位量のうち、可動範囲の上限を超えるデータについては補正後の触覚データからは削除する（ステップＳ４１３）。つまり、処理部１０は、スケール（例えば１．５）を乗じた後の変位量の９１°～１２０°及びそれに対応する電流値、元の変位量の６１°～９０°及びそれに対応する電流値については、補正後の触覚データからは削除する。
　処理部１０は、変位量の中間値及びその中間値に対応する電流値を求めて補間する（ステップＳ４１４）。
　処理部１０は、提示開始位置に対応する補正量が設定されている場合、変位量に補正量を加算する（ステップＳ４１５）。処理部１０は、変位量の上限（９０°）を超える補正後の変位量及びその変位量に対応する電流値については、補正後の触覚データからは削除し（ステップＳ４１６）、補正処理を終了する。
　ステップＳ４１１において１よりも小さいと判断された場合（Ｓ４１１：ＮＯ）、処理部１０は、ステップＳ１０３で読み出した触覚データの変位量（０°～９０°）それぞれに、スケールを乗じる（ステップＳ４１７）。ステップＳ４１７により、例えば、補正前の触覚データにおいて変位量（角度）が３０°には電流値１．２が対応付けられていた場合、３０°×（スケール＜１）の変位量に、電流値１．２が対応付けられる。スケールが０．８の場合は、２４°の変位量に電流値１．２が対応付けられ、スケールが０．５の場合は１５°の変位量に電流値１．２が対応付けられる。
　ステップＳ４１７でスケールが乗じられることにより、変位量のステップが元の変位量のステップよりも小さくなる。例えばスケールが０．５の場合、変位量は（０°，１°，２°，３°，…，９０°）から（０°，０．５°，１°，１．５°，…，４５°）となる。処理部１０は、スケールを乗じた後の変位量及びその変位量に対応する制御データを間引きして補正後の触覚データから削除する（ステップＳ４１８）。ステップＳ４１８において処理部１０は、変位量が（０°，０．５°，１°，１．５°，…，４５°）となった場合には、変位量２つあたりに、１つの変位量を間引く。間引かずに細かな変位量に対応付けた制御データとして補正後の触覚データを作成してもよい。
　処理部１０は、元の変位量の上限値にスケールを乗じた値よりも大きい変位量以降については、電流値に０（ゼロ）若しくは、変位部２０２が動かなくなる程度の電流値を設定して補正後の触覚データに追加し（ステップＳ４１９）、処理をステップＳ４１５へ進める。ステップＳ４１９において処理部１０は、スケール（例えば０．５）を乗じた後の元の変位量の９０°よりも大きい変位量４６°～９０°及びそれに対応する電流値については、電流値をゼロで埋めて追加する。
　図１７は、第２実施形態における補正の方法の説明図である。図１７に示す例では、補正前の触覚データは、変位量が０°～６０°範囲にゼロでない電流値が対応付けられている。これに対し、スケールを１．５倍に設定された場合、処理部１０は、図１７の右上部に示すように、０°～９０°の範囲に、元の触覚データにおける０°～６０°の範囲に対応付けられていた電流値を拡げるようにして対応付けて補正後の触覚データを作成している。また、スケールを０．５倍に設定された場合、処理部１０は、図１７の右下部に示すように、０°～３０°の範囲に、元の触覚データにおける０°～６０°の範囲に対応付けられていた電流値を圧縮し、一部を間引いて対応付けて補正後の触覚データを作成している。これにより、設定されたスケールに応じて触覚データを変更し、変位部２０２の物理的な可動範囲の中で、適宜触覚を提示することも可能である。
　スケールの設定は、画像の表示環境に応じて自動的に、情報処理装置１にて変更してもよい。例えば、表示部１３のスペックに応じて、例えば６６ｍｍの大きさのテニスボールを、表示部１３にて画面上の寸法に合わせて３３ｍｍの１／２のスケールで表示する場合、触覚データを半分のスケールに変更する補正を行なう。この場合、視覚データ及び聴覚データはそのままとする。この場合、変位部２０２の変位が５ｍｍに相当する角度である場合に、表示部１３上の長さで５ｍｍ分凹んだ画像が同期して表示される。指画像を重畳する場合には、１／２のスケールに合わせた大きさに指画像の大きさを変更して重ねて表示させてもよい。触覚データが実寸に対応し、例えばスマートフォンのような情報処理装置１の表示部１３にて１／２のスケールで表示する場合、触覚提示装置２の変位部２０２の変位が５ｍｍに相当する角度のときには、表示部１３上では２．５ｍｍ凹んだ画像（凹みの割合はいずれも７．６％）が同期して表示される。上述したように、表示部１３において画像の縮小表示が必要なケースでは、表示部１３におけるスケールに合わせて触覚データを補正することで、触覚のスケールと視覚のスケールとを合わせることも可能である。
　聴覚データについても、三次元的に音声を出力できる音声出力部１４を用いる場合には、そのスケールを表示部１３のスペックに合わせるようにしてもよい。
　（第３実施形態）
　第３実施形態では、ＨＭＤ（Head Mounted Display）を用い、対象物に対する視覚情報を三次元画像で提示する。図１８は、第３実施形態における触覚提示システム１００の概要図であり、図１９は、ＨＭＤ３の構成を示すブロック図である。第３実施形態における触覚提示システム１００の構成は、ＨＭＤを用いることと、ＨＭＤを用いることによる詳細な処理の内容が異なること以外は、第１実施形態における触覚提示システム１００と同様の構成である。したがって、第３実施形態の触覚提示システム１００の構成のうち、第１実施形態の触覚提示システム１００と共通する構成については同一の符号を付して詳細な説明を省略する。
　ＨＭＤ３は、表示部３１、動き検知部３２、空間検知部３３、及び接続部３４を備える。ＨＭＤ３は、本体に、表示部３１、動き検知部３２、空間検知部３３及び接続部３４を設けてもよいし、一部は別体に設けられて相互に通信媒体を介して制御信号を授受できるようにしてあってもよい。
　表示部３１は例えば、小型の液晶ディスプレイ、光学レンズ及び光学系機構を備え、視野角１１０°以上で三次元画像を表示することが可能である。表示部３１は、透明又は半透明のグラス状のディスプレイであり、操作者の実際の視界に、情報処理装置１から出力される画像信号（映像信号を含む）を受け付けて重畳表示させる。表示部３１はグラス状のものに限られず、前方に向けて設けられたカメラにて実空間を撮影した画像に、情報処理装置１から出力される画像信号に基づく画像を重畳表示させるものであってもよい。
　動き検知部３２は、本体（表示部３１のカバー及び装着ベルト）の各所に、多様な向きで設けられた複数の三軸加速度センサ及びジャイロセンサと、これらのセンサ群からの信号を集約して出力する制御回路とを備える。動き検知部３２により、装着者の頭部の動きが検知される。
　空間検知部３３は、本体の外面に外向きに並設された２つ以上の赤外線カメラと、該赤外線カメラの中間位置に同様に外向きに赤外線を照射するように設けられた赤外線ＬＥＤとを用いる。空間検知部３３は、ＨＭＤ３の本体の外側に存在する物体までの距離を測定する深度センサとして機能する。空間検知部３３は、ＨＭＤ３本体から、ＨＭＤ３を装着する操作者の居場所における壁、床等の静物に対する距離を測り、出力することが可能である。空間検知部３３は同様に、ＨＭＤ３本体から操作者の腕、手、指までの距離を測定し、出力することが可能である。
　接続部３４は、情報処理装置１と接続するためのインタフェースである。ＨＭＤ３は、動き検知部３２及び空間検知部３３にて測定された結果に対応する信号をそれぞれ、情報処理装置１へ出力すると共に、情報処理装置１から出力される映像信号を取得して表示部３１に表示させる。
　ＨＭＤ３にスピーカを設け、情報処理装置１の音声出力部１４から出力される音声をスピーカにて出力させるようにしてもよい。
　上述したような構成の第３実施形態の触覚提示システム１００において情報処理装置１は、ＨＭＤ３を用い、空間検知部３３で測定された実空間における静物に対する距離を用い、仮想的な対象物の三次元画像を、動き検知部３２にて検知される操作者の動きに合わせて重畳表示し、ＡＲ表示を実現する。対象物の選択は、ＨＭＤ３の表示部３１に表示される仮想的対象物の三次元画像の画像内の座標（実空間と合致した座標）に対し、空間検知部３３により、触覚提示装置２を把持した手指を重ねたことが検知できた場合に、これを選択したものとして情報処理装置１の処理部１０が検知する。
　そして第３実施形態でも、情報処理装置１は、触覚提示装置２との間で変位量及び傾きのデータを授受して、ＡＲ表示される画像と触覚提示装置２にて出力される触覚を制御する。処理の内容は第１実施形態及び第２実施形態にて示した処理のいずれを実行してもよい。
　ＨＭＤ３を用いたＡＲ表示と触覚提示装置２とを組み合わせることにより、実空間に対象物を仮想的に配置した画像を、操作者は視覚的に観察しながら、その対象物の感触を触覚提示装置２で覚えることが可能である。その際に、第１実施形態にて説明したものと同様に、触覚提示装置２における触覚提示開始位置を、操作者それぞれに応じて補正することができることで、更に知覚度を向上させることができる。
　上述のように開示された実施の形態は全ての点で例示であって、制限的なものではない。本発明の範囲は、請求の範囲によって示され、請求の範囲と均等の意味及び範囲内での全ての変更が含まれる。
　１　情報処理装置
　１０　処理部
　１１　記憶部
　１３　表示部
　Ｐ１　制御プログラム
　２　触覚提示装置
　２０　制御部
　２１　記憶部
　２０２　変位部
　２４　ＭＲＦデバイス
 

Claims (7)

  1. 　操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御装置であって、
    　前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データを前記対象物毎に記憶しておき、
    　設定に基づき、前記制御データの前記変位量と制御データとの対応関係を、前記変位部の変位量の範囲の前記制御データの範囲に対するスケールを変更するように補正し、
    　前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力する
    　制御装置。
  2. 　前記変位部に対して制御データを出力し始める変位量を、前記設定として受け付け、
    　受け付けた変位量と前記変位部の可動範囲に基づいて前記スケールを変更する
    　請求項１に記載の制御装置。
  3. 　前記スケールの変更を受け付ける
    　請求項１に記載の制御装置。
  4. 　前記制御データは、前記変位部の可動範囲の実寸と、対象物の実寸とに基づいて前記変位量に対応付けて記憶されており、
    　変更されたスケールに基づき、前記変位部の変位量と制御データとの対応関係が補正される
    　請求項２に記載の制御装置。
  5. 　操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置の制御方法であって、
    　前記触覚提示装置に接続されるコンピュータが、
    　前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データを前記対象物毎に記憶しておき、
    　設定に基づき、前記制御データの前記変位量と制御データとの対応関係を、前記変位部の変位量の範囲の前記制御データの範囲に対するスケールを変更するように補正し、
    　前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力する
    　制御方法。
  6. 　操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置と、
    　前記触覚提示装置と通信接続し、表示部を備える情報処理装置と
    　を含み、
    　前記情報処理装置は、
    　前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データと、前記表示部に表示する視覚データとを前記対象物毎に記憶しておき、
    　設定に基づき、前記制御データの前記変位量と制御データとの対応関係を、前記変位部の変位量の範囲の前記制御データの範囲に対するスケールを変更するように補正し、
    　前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力し、
    　補正後の視覚データに基づき、前記変位部の変位量に応じて前記表示部に画像を出力する
    　触覚提示システム。
  7. 　操作者の操作に対して変位可能に設けられた変位部を有し、変位部の変位量に応じて、前記変位部への操作に対する力覚を生じさせ、表示される対象物の触覚を提示する触覚提示装置に接続されるコンピュータに、
    　前記変位部の変位量に対応付けて、前記力覚を生じさせる制御データを前記対象物毎に記憶しておき、
    　設定に基づき、前記制御データの前記変位量と制御データとの対応関係を、前記変位部の変位量の範囲の前記制御データの範囲に対するスケールを変更するように補正し、
    　前記変位部の変位量に対応付けられた補正後の制御データを、前記触覚提示装置へ出力する
    　処理を実行させるプログラム製品。
     
PCT/JP2023/009318 2022-03-30 2023-03-10 制御装置、制御方法、触覚提示システム及びプログラム製品 WO2023189423A1 (ja)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2022-057117 2022-03-30
JP2022057117A JP2023148852A (ja) 2022-03-30 2022-03-30 制御装置、制御方法、触覚提示システム及びコンピュータプログラム

Publications (1)

Publication Number Publication Date
WO2023189423A1 true WO2023189423A1 (ja) 2023-10-05

Family

ID=88200806

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2023/009318 WO2023189423A1 (ja) 2022-03-30 2023-03-10 制御装置、制御方法、触覚提示システム及びプログラム製品

Country Status (2)

Country Link
JP (1) JP2023148852A (ja)
WO (1) WO2023189423A1 (ja)

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014216017A (ja) * 2013-04-22 2014-11-17 イマージョンコーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚対応トリガーを有するゲーミング装置
JP2015031976A (ja) * 2013-07-31 2015-02-16 株式会社栗本鐵工所 力覚提示システム
WO2016105495A1 (en) * 2014-12-23 2016-06-30 Immersion Corporation Position control of a user input element associated with a haptic output device
WO2017150128A1 (ja) * 2016-03-04 2017-09-08 株式会社ソニー・インタラクティブエンタテインメント 制御装置及び制御プログラム
JP2019036243A (ja) * 2017-08-21 2019-03-07 ｅｘｉｉｉ株式会社 身体装着型操作装置
JP2020017159A (ja) * 2018-07-27 2020-01-30 株式会社栗本鐵工所 仮想オブジェクト触覚提示装置およびプログラム

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2014216017A (ja) * 2013-04-22 2014-11-17 イマージョンコーポレーションＩｍｍｅｒｓｉｏｎ Ｃｏｒｐｏｒａｔｉｏｎ 触覚対応トリガーを有するゲーミング装置
JP2015031976A (ja) * 2013-07-31 2015-02-16 株式会社栗本鐵工所 力覚提示システム
WO2016105495A1 (en) * 2014-12-23 2016-06-30 Immersion Corporation Position control of a user input element associated with a haptic output device
WO2017150128A1 (ja) * 2016-03-04 2017-09-08 株式会社ソニー・インタラクティブエンタテインメント 制御装置及び制御プログラム
JP2019036243A (ja) * 2017-08-21 2019-03-07 ｅｘｉｉｉ株式会社 身体装着型操作装置
JP2020017159A (ja) * 2018-07-27 2020-01-30 株式会社栗本鐵工所 仮想オブジェクト触覚提示装置およびプログラム

Also Published As

Publication number Publication date
JP2023148852A (ja) 2023-10-13

Similar Documents

Publication Publication Date Title
US10509468B2 (en) Providing fingertip tactile feedback from virtual objects
CN108399003B (zh) 带有选择的触觉元数据的触觉广播
US11308772B2 (en) Haptic information presentation system
US10416767B2 (en) Haptic information presentation system and method
US11325029B2 (en) Virtual reality environment generating apparatus and controller apparatus
EP3009914A1 (en) Haptically-enabled deformable device with rigid component
EP3171247B1 (en) Haptically enabled flexible devices
CN111338479A (zh) 沉浸式环境中的非同一位置触觉提示
JP2018136938A (ja) 自動局所触覚生成システム
JP2020013549A (ja) 動的システム識別に基づく適応触覚効果レンダリング
US20180011538A1 (en) Multimodal haptic effects
US20190155387A1 (en) Haptic Accessory Apparatus
JP5352813B2 (ja) 非接地型力覚提示装置
JP2024012599A (ja) 位置指示デバイス及びコンピュータ
KR20100107997A (ko) 펜형태의 촉감 제시 장치와 그를 이용한 촉감 인터페이스 시스템
JPH11203040A (ja) 触力覚呈示装置
JP2007026297A (ja) 振動制御装置、温度制御装置及び移動制御装置
WO2023189423A1 (ja) 制御装置、制御方法、触覚提示システム及びプログラム製品
CN108170276B (zh) 输入装置、输入系统、电子装置和感觉呈现方法
WO2023189422A1 (ja) 制御装置、制御方法、触覚提示システム及びプログラム製品
WO2023189425A1 (ja) 制御装置、制御方法、触覚提示システム及びプログラム製品
JP2023148853A (ja) 制御装置、制御方法、触覚提示システム及びコンピュータプログラム
JP5513974B2 (ja) 仮想力覚提示装置及び仮想力覚提示プログラム
JP2023148854A (ja) 制御装置、制御方法、触覚提示システム及びコンピュータプログラム
KR20140077743A (ko) 모션 시뮬레이터 제어 장치 및 이를 포함하는 모션 시뮬레이션 시스템

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 23779447

Country of ref document: EP

Kind code of ref document: A1