WO2014034550A1 - 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体 - Google Patents

触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2014034550A1
WO2014034550A1 PCT/JP2013/072527 JP2013072527W WO2014034550A1 WO 2014034550 A1 WO2014034550 A1 WO 2014034550A1 JP 2013072527 W JP2013072527 W JP 2013072527W WO 2014034550 A1 WO2014034550 A1 WO 2014034550A1
Authority
WO
WIPO (PCT)
Prior art keywords
vibration
tactile force
sense presentation
presentation member
tactile
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2013/072527
Other languages
English (en)
French (fr)
Inventor
則枝真
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by NEC Corp filed Critical NEC Corp
Priority to US14/419,686 priority Critical patent/US9727140B2/en
Priority to JP2014532974A priority patent/JP6264287B2/ja
Publication of WO2014034550A1 publication Critical patent/WO2014034550A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F1/00—Details not covered by groups G06F3/00 - G06F13/00 and G06F21/00
    • G06F1/16—Constructional details or arrangements
    • G06F1/1613—Constructional details or arrangements for portable computers
    • G06F1/1626—Constructional details or arrangements for portable computers with a single-body enclosure integrating a flat display, e.g. Personal Digital Assistants [PDAs]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/0412—Digitisers structurally integrated in a display

Definitions

  • the present invention relates to a tactile sensation presentation device that presents (transmits) a tactile sensation to a user, an information terminal such as a POS terminal and a portable terminal (smart phone, tablet, etc.), a tactile sensation presentation method, and
  • the present invention relates to a computer-readable recording medium on which a program for realizing these is recorded.
  • the use of touch panels as input devices is increasing. Since the touch panel can be arranged so as to overlap the display panel, the portable information terminal is mainly used from the viewpoint that the screen can be enlarged.
  • the touch panel has a problem that it is difficult for the user to operate.
  • the apparatus disclosed in Patent Document 1 includes a mechanism that allows a display panel having a touch panel provided on a screen to move along a thickness direction thereof.
  • this mechanism allows the display panel to be moved in response to a user's finger touch, so that a tactile sensation can be presented to the user.
  • Patent Document 2 proposes a device that presents a tactile sensation to a user's fingertip by vibrating a touch panel using a piezoelectric actuator (see, for example, Patent Document 2).
  • the apparatus disclosed in Patent Document 2 is configured by superimposing a transparent panel in which a piezoelectric actuator is embedded on a touch panel and a display panel.
  • the apparatus disclosed in Patent Document 2 unlike the apparatus disclosed in Patent Document 1, an increase in the size and weight of the apparatus is avoided, so that it can be mounted on a mobile terminal.
  • the device disclosed in Patent Document 2 has a small displacement range, and can only perform tactile presentation by vibration. Furthermore, since the tactile presentation by vibration has low expressive power, the device disclosed in Patent Document 2 is It is not suitable for content that requires continuous change and accuracy.
  • Patent Document 2 it is considered that the problem in Patent Document 2 can be solved by the apparatus disclosed in Patent Document 1.
  • the device disclosed in Patent Document 1 if the size of the actuator used for moving the touch panel and the display panel can be reduced, the above two problems can be solved at once, and the device is mounted on the mobile terminal. It will be possible.
  • the presentation force and the displacement speed are in a trade-off relationship. For this reason, if the presentation force is increased while using a small actuator, the displacement speed decreases too much, and the time until the user notices that the tactile sensation is being presented becomes longer. End up. As a result, the user feels sensitive to the time delay of the response to the presentation of the tactile sensation.
  • An example of an object of the present invention is to solve the above-described problems and make it difficult for the user to feel a time delay in the presentation of the tactile force without being affected by the performance of the actuator. It is an object to provide a terminal, a tactile sensation presentation method, and a computer-readable recording medium.
  • a haptic sense presentation device is a device for presenting a haptic sense to a user who performs an input operation on a screen of a display panel, A tactile force presentation member for transmitting a tactile force sense to the user; An actuator for moving the haptic sense presentation member for presenting the haptic sense; A vibration generating unit that generates vibration in the tactile force sense presentation member; A control unit for controlling the actuator and the vibration generating unit, When the content on the screen of the display panel changes in response to the input operation of the user on the screen, the control unit, Instructing the actuator to move the tactile force presentation member so that the tactile force sense corresponding to the change in the content is presented, Instructing the vibration generation unit to generate vibration so that vibration is generated in the haptic sense presentation member simultaneously with the start of the movement of the haptic sense presentation member or before the start of the movement. It is characterized by that.
  • an information terminal provides: A display panel that displays content on the screen, A touch sensor for detecting a position touched by a user on the screen; An information processing unit that accepts an input operation according to a position detected by the touch sensor, and changes the content in response to the accepted input operation; A tactile force presentation device capable of presenting a tactile force sense to the user,
  • the haptic sense presentation device includes: A tactile force presentation member for transmitting a tactile force sense to the user; An actuator for moving the haptic sense presentation member for presenting the haptic sense; A vibration generating unit that generates vibration in the tactile force sense presentation member; A control unit for controlling the actuator and the vibration generating unit, The control unit, when content on the screen of the display panel is changed by the information processing unit corresponding to the input operation of the user on the screen, Instructing the actuator to move the tactile force presentation member so that the tactile force sense corresponding to the change in the content is presented, Instructing the vibration generation unit to generate vibration so that vibration is generated in
  • a haptic sense presentation method is a method for presenting a haptic sense to a user who performs an input operation on a screen of a display panel, A tactile force presentation member for transmitting a tactile force sense to the user, an actuator for moving the tactile force sense presentation member for presenting the tactile force sense, and a vibration in the tactile force sense presentation member Using a device including a vibration generator, (A) When the content on the screen of the display panel changes in response to the input operation of the user on the screen, the haptic sense corresponding to the change in the content is presented.
  • Steps It is characterized by having.
  • a tactile force presentation member for transmitting a tactile force sense to a user who performs an input operation on a screen of a display panel; and an actuator for moving the tactile force sense presentation member for presenting the tactile force sense;
  • the apparatus comprising a vibration generating unit and a computer for generating vibration in the tactile force sense presentation member
  • the computer In the computer, (A) When the content on the screen of the display panel changes in response to the input operation of the user on the screen, the haptic sense corresponding to the change in the content is presented.
  • FIG. 1 is a perspective view showing an external appearance of an information terminal according to Embodiment 1 of the present invention.
  • FIG. 2 is an exploded perspective view showing each component of the information terminal according to Embodiment 1 of the present invention.
  • FIG. 3 is a diagram specifically showing the configuration of the actuator that constitutes the tactile force sense presentation device shown in FIG. 2.
  • FIG. 4 is a block diagram showing a configuration of the information terminal according to Embodiment 1 of the present invention.
  • FIG. 5 is a flowchart showing the operation of the information terminal 100 according to Embodiment 1 of the present invention.
  • FIG. 6 is a diagram showing an example of content used in Embodiment 1 of the present invention.
  • FIG. 7 is a flowchart specifically showing step S105 shown in FIG. FIG.
  • FIG. 8 is a diagram for explaining the calculation process of the tensile force of the actuator.
  • FIG. 9 is a diagram illustrating the relationship between the vibration generation timing and the displacement amount of the tactile force sense presentation member.
  • FIG. 10 is an exploded perspective view showing each component of the information terminal according to Embodiment 2 of the present invention.
  • FIG. 11A and FIG. 11B are diagrams showing a specific configuration of the actuator shown in FIG. 10,
  • FIG. 11A is a plan view
  • FIG. 11B is a side view.
  • FIG. 12 is a diagram illustrating an information terminal according to the embodiment.
  • FIG. 12A is a plan view and FIG. 12B is a partial cross-sectional view.
  • FIG. 13 is a diagram illustrating a relationship between the vibration duration time and the displacement amount of the tactile force sense presentation member in Verification 1 of the example.
  • FIG. 14 is a diagram illustrating a result of evaluation by a user in verification 1 of the example.
  • FIGS. 15A to 15C are diagrams showing the relationship between the duration of vibration and the amount of displacement of the tactile sensation presentation member in Verification 2 of the example, and the length of the duration of vibration is different. ing.
  • FIG. 16 is a diagram illustrating a result of evaluation by a user in verification 2 of the example.
  • Embodiment 1 a haptic sense presentation device, an information terminal, a haptic presentation method, and a program according to Embodiment 1 of the present invention will be described with reference to FIGS.
  • FIG. 1 is a perspective view showing an external appearance of an information terminal according to Embodiment 1 of the present invention.
  • FIG. 2 is an exploded perspective view showing each component of the information terminal according to Embodiment 1 of the present invention.
  • the information terminal 100 is a tablet-type information terminal.
  • the information terminal 100 includes a display panel 20 that displays content, a touch sensor 30 that detects a position touched by the user (hereinafter referred to as “touch position”), and various types of information. And an information processing unit 40 that executes processing.
  • the touch position is detected by the touch sensor 30, and the detected position is information processing.
  • the unit 40 is notified.
  • the information processing unit 40 receives a user input operation according to the touch position, executes a process of changing the content in response to the received input operation, and displays various contents on the screen 20a of the display panel 20. To do.
  • the information terminal 100 includes a haptic sense presentation device 10 that presents a haptic sense to a user who performs an input operation on the screen 20 a of the display panel 20.
  • the tactile force sense presentation device 10 includes a tactile force sense presentation member 11 for transmitting a tactile force sense to a user, an actuator 12 for moving the tactile force sense presentation member 11 to present a tactile force sense, and a tactile force sense.
  • a vibration generation unit 13 that generates vibration in the presentation member 11 and a control unit 14 that controls the actuator 12 and the vibration generation unit 13 are provided.
  • the control unit 14 when the content on the screen 20a of the display panel 20 changes in response to a user input operation on the screen 20a, the control unit 14 is presented with a tactile force sense corresponding to the change in the content. In addition, the actuator 12 is instructed to move the tactile force sense presentation member 11. Further, in the above case, the control unit 14 causes the vibration generating unit 13 to generate vibration in the haptic sense presentation member 11 simultaneously with the start of the movement of the haptic sense presentation member or before the start of the movement. Instruct the generation of vibration.
  • the haptic sense presentation device 10 can present a haptic sensation by moving the haptic sense presentation member 11 to the user and also present a vibration having a higher transmission speed.
  • the displacement speed of the actuator is slow, the user can be prevented from feeling that the presentation of the tactile force sense is slow. That is, according to the haptic sense presentation device 10, it is possible to make it difficult for the user to feel a time delay in the presentation of the haptic sense without being affected by the performance of the actuator.
  • the information terminal 100 can be reduced in size, thickness, and weight.
  • the finger of the user 70 is in contact with the virtual sphere displayed on the display panel 20. Thereby, the user 70 feels vibration at the fingertip, and further, the virtual force by the tactile sensation presentation member 11 according to the positional relationship between the virtual sphere and the finger and the operation state (speed, weight) of the virtual sphere. Feel the repulsive force and feel from the ball.
  • the “tactile sensation” as used in the present invention means a repulsive force, a resistance force, an external force, a touch, and the like that the user feels.
  • the configuration of the information terminal 100 and the haptic sense presentation device 10 according to the first embodiment will be described in more detail.
  • the information terminal 100 is roughly composed of five layers.
  • the layer on the most user side is the first layer.
  • a cover 50 is arranged so that the inside of the information terminal 100 and the end of the haptic sense presentation member 11 are not visible from the outside.
  • the cover 50 is formed in a frame shape so that the user can touch the detection area of the touch sensor 30 below the cover 50, but the width is set so that the user can avoid touching the detection area outside. ing.
  • the touch sensor 30 is arranged on the second layer.
  • a touch panel is used as the touch sensor 30.
  • the touch panel is located on the front side of the haptic sense presentation member 11 and is integrated with the haptic sense presentation member 11. For this reason, when the user touches the tactile sensation presentation member 11, the touch panel detects the touched position and outputs data for specifying the position (hereinafter referred to as “touch detection data”). Further, the touch panel is moved by the actuator 12 together with the tactile force sense presentation member 11.
  • a tactile sensation presentation unit 11, an actuator 12 for moving the tactile sense presentation unit 11, and a vibration generation unit 13 are arranged.
  • the actuators 12 are four wire-like actuators, which are tactile force at each end so that the tactile force sense presentation member 11 moves along the front surface of the display panel 20. It is attached to the sense presentation member 11. Specifically, one end of each wire-like actuator 12 is connected to a through-hole formed in the vicinity of each corner of the tactile force sense presentation member 11 and the other end is connected to a casing 51 described later. The tactile force sense presentation member 11 is moved by each tensile force (see FIG. 4).
  • the tactile sensation presentation member 11 is formed in a panel shape from a light-transmitting acrylic resin or the like, and is disposed on the front side of the display panel 20. Furthermore, convex portions 11a and 11b having a semicircular cross section are formed on the surface (rear surface) of the tactile sense presentation member 11 on the display panel 20 side so as to extend along each side. Moreover, the convex parts 11a and 11b prevent the surface of the support panel 23 mentioned later from being damaged by the movement of the tactile force sense presentation member 11.
  • the vibration generating unit 13 is disposed on the back surface of the tactile force sense presentation member 11.
  • examples of the vibration generating unit 13 include a piezoelectric element, a vibration generating device configured by a semicircular vibrator and a small motor, and the like.
  • the vibration generating unit 13 may be attached to the haptic sense presentation member so as to generate vibration, and may be disposed on the surface of the haptic sense presentation member 11.
  • a support panel 23 and a display panel 20 are arranged.
  • a liquid crystal display panel is used as the display panel 20, but the display method is not particularly limited as long as the display panel 20 is a thin display panel.
  • the support panel 23 is a rectangular plate formed to cover the display panel 20 with a transparent resin such as an acrylic resin.
  • the support panel 23 is disposed between the haptic sense presentation member 11 and the display panel 20 to support the haptic sense presentation member 11 and protect the display panel 20.
  • the third layer tactile sensation presentation member 11 is provided with a light source 31a that emits spot light, and the fourth layer support panel 23 receives spot light emitted from the light source 31a and receives the received light.
  • a light receiving element 31b that outputs a signal corresponding to the above is disposed. Since the light source 31b moves together with the haptic sense presentation member 11, the position of the haptic sense presentation member 11 is detected by the light source 31a and the light receiving element 31b.
  • the light source 31 a and the light receiving element 31 b function as the position detection sensor 31 of the tactile force sense presentation member 11.
  • the light source 31a may be disposed on either the front surface or the back surface of the haptic sense presentation member 11.
  • the light receiving element 31b may be disposed on either the front surface or the back surface (surface on the display panel side) of the support panel 23.
  • control unit 14 and the information processing unit 40 are arranged.
  • the control part 14 and the information processing part 40 are each implement
  • FIG. 3 is a diagram specifically showing the configuration of the actuator that constitutes the tactile force sense presentation device shown in FIG. 2.
  • each wire-like actuator 12 includes a wire 12a formed of a shape memory alloy, and an energization heating device that heats the wire 12a by energization to return to the original shape. 12b. Further, one end of each wire 12a is connected to a hole 11a provided near each corner of the tactile force sense presentation member 11, and the other end is connected to a casing 51 to be described later.
  • the size of the actuator 12 can be reduced, and the information terminal 100 can be reduced in size, thickness, and weight.
  • the wire 12a formed of the shape alloy has an advantage that the tensile force is large, and an advantage that the amount of displacement can be increased by setting the wire 12a in a state of being greatly extended.
  • the wire 12a formed of a shape memory alloy is operated by heating by energization, and thus has a disadvantage that the reaction during cold is particularly slow and a disadvantage that the displacement speed is slow.
  • vibration is also presented. For this reason, the situation which a user feels that presentation of a tactile force is late is avoided by the said fault.
  • pulleys 15 are respectively provided in the squares inside the casing 51 in order to increase the degree of freedom of layout while increasing the displacement amount of the wire 12a as much as possible.
  • Each wire 12a is arranged in a state where the tension direction is changed by the corresponding pulley 15.
  • FIG. 4 is a block diagram showing a configuration of the information terminal according to Embodiment 1 of the present invention.
  • the information processing unit 40 is connected to the display panel 20, the touch sensor 30, and the control unit 14.
  • the control unit 14 is connected to the energization heating device 12 b constituting the actuator 12, the vibration generating unit 13, the position detection sensor 31, and the time management unit 16.
  • the touch sensor 30 detects the position of the user's finger ( Touch position) is detected, and touch detection data a for specifying the touch position is output to the information processing unit 40.
  • the information processing unit 40 When the information processing unit 40 receives the touch detection data a, the information processing unit 40 refers to the content data 41, performs a process of linking the touch position and the movement of the object in the content, and displays the display information of the content reflecting the processing content.
  • the display information is generated and output to the display panel 20 as display data f.
  • the display panel 20 Upon receiving the display data f, the display panel 20 displays an image corresponding to the received display data f on the display screen 20a (see FIG. 1).
  • the content data 41 include application program data that provides a virtual space, such as a game program and a simulation program, and Web site data. Further, the content data 41 may be stored in a storage device provided in the information terminal 100, or may be stored in another device (computer) connected via the Internet.
  • the information processing unit 40 calculates the force generated in the virtual space for the object and specifies data b (hereinafter referred to as “presentation data b”) for specifying the calculated force in the control unit 14. Output.
  • the calculated force is a repulsive force generated in the object, and corresponds to a tactile force sense to be transmitted to the user.
  • the control unit 14 receives the presentation data b and the data c output from the position detection sensor 31.
  • the data c output from the position detection sensor 31 is data (hereinafter referred to as “position detection data”) c that specifies the position of the tactile force sense presentation member 11.
  • the control unit 14 uses the presentation data b and the position detection data c to calculate the tensile force that each actuator 12 (wire 12a) should output. This calculation is performed so that the tactile force sense specified by the presentation data b is transmitted to the user 70 when the tactile force sense presenting member 11 moves along the horizontal plane.
  • control part 14 produces
  • control part 14 produces
  • each energization heating device 12b energizes the corresponding wire 12a, and each wire 12a exhibits the calculated tensile force, so that the tactile force sense presentation member 11 is pulled, and the fingertip of the user 70 is The tactile sensation specified by the presentation data b is presented.
  • time management unit 16 manages the duration of vibration by the vibration generation unit 13 and outputs data (hereinafter referred to as “timer management data”) e for specifying the duration to the control unit 14.
  • timer management data data
  • the control unit 14 receives the timer management data e, the vibration generating unit at a timing at which the movement of the tactile sensation presentation member 11 is started for the duration specified by the timer management data e, or at a timing before the start of the movement. 13 is vibrated.
  • the control unit 14 when the vibration generating unit 13 is a piezoelectric element, the control unit 14 generates a signal for driving the piezoelectric element, and supplies this as vibration control data g to the piezoelectric element. If the vibration element 13 is composed of a semicircular vibrator and a small motor, the control unit 14 generates a signal for driving the motor and uses this as vibration control data g for the motor. To supply.
  • FIG. 5 is a flowchart showing the operation of the information terminal 100 according to Embodiment 1 of the present invention.
  • FIGS. 1 to 4 are referred to as appropriate.
  • the haptic sense presentation method is implemented by operating the haptic sense presentation device 10. Therefore, the description of the haptic sense presentation method in the present embodiment is replaced with the following description of the operation of the haptic sense presentation apparatus 10.
  • the user 70 views the content displayed on the display panel 20 that is seen through the haptic sense presentation member 11, and operates the object in the virtual space provided by the content. Therefore, the touch sensor 30 is touched. Thereby, as shown in FIG. 5, the touch sensor 30 detects the touch position of the user's finger, and outputs touch detection data a for specifying the detected touch position to the information processing unit 40 (step S101).
  • the information processing unit 40 when receiving the touch detection data a output in step S101, the information processing unit 40 refers to the content data 41 and executes a process of changing an object in accordance with the touch position (content interlocking process) (step). S102).
  • step S102 the information processing section 40 generates content display information in which the content interlocking process is reflected, and outputs the display information to the display panel 20 as display data f. Further, in step S ⁇ b> 102, the information processing unit 40 calculates the force generated in the virtual space on the object, and outputs the presentation data b specifying the calculated force to the control unit 14. Details of step S102 will be described later with reference to FIG.
  • control unit 14 receives the position detection data c from the position detection sensor 31, and specifies the position of the haptic sense presentation member 11 detected by the position detection sensor 31 (step S103). Further, the control unit 14 receives the timer management data e from the time management unit 16 and specifies the duration of vibration generation by the vibration generation unit 13 (step S104). Note that the order of steps S103 and S104 may be the same or may be switched.
  • control unit 14 determines the haptic sense based on the presentation data b output in step S102, the position of the haptic sense presentation member 11 specified in step S103, and the duration specified in step S104. Processing for presentation (tactile force sense presentation control processing) is executed (step S105).
  • step S105 the control unit 14 causes the haptic sense presentation member 11 to generate a target haptic sense based on the presentation data b and the position of the haptic sense presentation member 11.
  • Force control data d is generated by calculating control amounts of the four actuators 12, and is output to each actuator 12.
  • the control unit 14 generates vibration control data g and outputs the vibration control data g to the vibration generation unit 13 in order to cause the tactile force sense presentation member 11 to generate vibration for the specified duration. Details of step S105 will be described later with reference to FIG.
  • step S105 the haptic sense presentation device 10 presents vibration and a haptic sense due to movement of the haptic sense presentation member 11 to the fingertip of the user 70 (step S106). Further, the content after the content linkage processing is displayed on the display screen 20a of the display panel 20 based on the display data e output from the information processing unit 40 in step S102 (step S107). Note that step S106 and step S107 may be executed simultaneously.
  • steps S101 to S107 are repeatedly executed. Therefore, when the user 70 performs a drag operation from one point to another point, steps S101 to S107 are repeatedly executed from the start to the end of the drag. Can receive presentation of vibration and tactile sensation.
  • steps S101, S102, and S105 shown in FIG. 5 will be described in more detail with reference to FIGS.
  • FIG. 6 is a diagram showing an example of content used in Embodiment 1 of the present invention.
  • the content is an air hockey game
  • the user 70 hits the virtual pack 22 by operating the virtual mallet 21 existing in the virtual space by touching the fingertip.
  • Step S ⁇ b> 101 the touch sensor 30 executes Step S ⁇ b> 101 and outputs touch detection data a that specifies the touch position of the finger of the user 70 to the information processing unit 40.
  • step S102 the information processing unit 40 executes content interlocking processing to link the movement of the finger, which is an operation in the real space, with the movement of the virtual mallet 21 and the virtual pack 22 in the virtual space.
  • the information processing unit 40 moves the virtual mallet 21 so as to follow the movement of the finger by the touch of the user 70, and the virtual object in the virtual space and the real space object (the finger of the user 70) Take the interaction.
  • the information processing unit 40 executes a physical simulation in the virtual space, and simulates a change in position and a contact force when the virtual mallet 21 and the virtual pack 22 come into contact with each other by the touch of the user 70. .
  • the information processing unit 40 When the information processing unit 40 receives the touch detection data a, the information processing unit 40 moves the virtual mallet 30 to the detected touch position. At this time, if the virtual mallet 30 is moved discontinuously to the touch position, the virtual objects May overlap each other. In this case, accurate simulation becomes difficult.
  • the information processing unit 40 executes PD (Proportional-Deferential) control in which a force proportional to the distance from the virtual mallet 21 to the touch position and the speed of the virtual mallet 21 is applied to the virtual mallet 21, while performing virtual mallet. 21 is moved.
  • PD Proportional-Deferential
  • the information processing unit 40 makes contact with the virtual mallet 21 and the virtual pack 22 according to physical coefficients in the virtual space of the virtual mallet 21 and the virtual pack 22. Calculate the reaction force generated in.
  • a physical coefficient the mass of each of the virtual mallet 21 and the virtual pack 22, a speed, an acceleration, a contact direction, a restitution coefficient, etc. are mentioned.
  • the reaction force received from the virtual pack by the virtual mallet 21 corresponds to a tactile force sense to be presented to the user 70 by the tactile force sense presenting member 11 (FIG. 6 and later-described drawings). 8). Therefore, when the reaction force received by the virtual mallet 21 from the virtual pack is “presentation force F”, the information processing unit 40 causes the presentation force F to be presented by the haptic sense presentation member 11. Is output to the control unit 14. Further, the information processing unit 40 outputs data for displaying movements of the virtual mallet 21 and the virtual pack 22 to the display panel 20 as display data f that is display information.
  • FIG. 7 is a flowchart specifically showing step S105 shown in FIG.
  • FIG. 8 is a diagram for explaining the calculation process of the tensile force of the actuator.
  • step S105 the control unit 14 first uses the presentation data b and the position detection data c to move the tactile force sense presentation member 11 along the horizontal plane.
  • the tensile force of 12a) is calculated (step S201).
  • the position of the tactile force sense presentation member 11 is represented by (x, y), and the origin (0, 0) of the coordinates is set at the center of the rectangle S. Further, in the haptic sense presentation member 11 in FIG. 8, it is assumed that one end of the wire 12a of the actuator 12 is connected to each corner.
  • the rectangle S is set such that the distance from the corner of the tactile force sense presentation member 11 to the corresponding corner of the rectangle S corresponds to the length (l 1 to l 4 ) of each wire 12a.
  • H indicates the vertical length of the rectangle S
  • W indicates the horizontal length of the rectangle S.
  • h indicates the vertical length of the haptic sense presentation member 11
  • w indicates the horizontal length of the haptic sense presentation member 11.
  • step S201 first, when the position detection data b is output from the position detection sensor 31, the control unit 14 specifies the position (x, y) of the haptic sense presentation member 11 and the known length. Based on the length (H, W, h, w), the angle ( ⁇ 1 to ⁇ 4 ) of each actuator used for calculation of the tensile force is calculated.
  • control unit 14 calculates ⁇ 1 by applying the coordinates (x, y) and the known value to Equations 1 to 6. Also, ⁇ 2 to ⁇ 4 are calculated in the same procedure.
  • control unit 14 outputs each actuator 12 using the presentation data b output in step S102, the coordinates (x, y) acquired in step S103, and the calculated ⁇ 1 to ⁇ 4 .
  • the power tensile forces ⁇ 1 to ⁇ 4 are calculated.
  • the positions of the four vertices of the tactile force sense presentation member 11 are represented by position vectors based on the center of gravity positions, that is, r 1 , r 2 , r 3 , r 4 .
  • the direction of each of the position vectors r 1 , r 2 , r 3 , r 4 depends on the vertical length h and the horizontal length w of the haptic presentation member 11. Determined by. Further, since the distance from the center of gravity position to each vertex is the same, the amount of each position vector is the same. Further, in FIG. 8, M is a moment for rotating the tactile force sense presentation member 11 around its center of gravity, and the moment M is generated according to the balance relationship of the tensile forces ⁇ 1 to ⁇ 4 .
  • the control unit 14 calculates the tensile forces ⁇ 1 to ⁇ 4 so that the following conditions (a) to (d) are satisfied.
  • Equation 7 the resultant force of the tensile forces ⁇ 1 to ⁇ 4 is the sum of the inner products of each tensile force and the corresponding angle of the actuator 12. Therefore, it is necessary that the sum of the inner products and the target presentation force F match.
  • the moment M in the condition (b) is set to 0 (zero) in the first embodiment. Therefore, the condition (b) can be expressed by the following formula 8. As shown in Equation 8, the moment M is the sum of the outer products of the position vectors r 1 to r 4 and components in the direction from the corners of the tactile force sense presentation member 11 toward the center of gravity at each tensile force. It is necessary that the sum of the outer products be 0 (zero). In addition, when it is desired to generate a set moment in the haptic sense presentation member 1, an arbitrary value is substituted for the value of M, and the obtained number 8 may be used.
  • condition (c) is set in order to prevent any actuator 12 from loosening and the haptic sense presentation member 11 from moving in parallel with the xy plane. Further, if the tensile force is too large, the wire is likely to be cut. Therefore, the maximum value of the tensile force is set in the condition (c).
  • Condition (c) can be expressed by Equation 9 below.
  • the condition (d) is set to optimize the tensile forces ⁇ 1 to ⁇ 4 as described above, that is, to minimize the energy consumption in each actuator 12. If the condition (d) is not set, the tensile forces ⁇ 1 to ⁇ 4 may become unnecessarily large.
  • Equation 10 Equation 10
  • the function shown in Formula 10 aims at minimizing the sum of the tensile forces caused by these while increasing the efficiency of each actuator 12.
  • J is an objective function value set for optimization.
  • the tensile forces ⁇ 1 , ⁇ 2 , ⁇ 3 , ⁇ 4 are calculated so that J is minimized.
  • linear programming which is one of optimization calculation methods is executed.
  • a target presentation force F is generated by the resultant force of the tensile forces ⁇ 1 , ⁇ 2 , ⁇ 3 , and ⁇ 4 of the four actuators 12.
  • control unit 14 calculates the power to be supplied by the corresponding energization heating device 12b for each actuator 12 so that the tensile force calculated in step S201 is exhibited by each actuator 12. And the control part 14 produces the haptic control data d which enables supply of the calculated electric power, and outputs this to the electricity heating apparatus 12b of each actuator 12 (step S202).
  • control unit 14 sets the generation timing of vibration (step S203). Thereafter, the control unit 14 generates vibration control data d based on the duration specified in step S104, and outputs the vibration control data d to the vibration generation unit 13 at the timing set in step S203 (step S204). ).
  • FIG. 9 is a diagram illustrating the relationship between the vibration generation timing and the displacement amount of the tactile force sense presentation member.
  • the horizontal axis represents the elapsed time t
  • the vertical axis represents the displacement amount of the haptic sense presentation member 11.
  • the amount of displacement includes both the amount of movement of the tactile force sense presentation unit 11 along the horizontal plane due to the tension of the actuator 12 and the amount of movement of the tactile force presentation unit 11 due to vibration by the vibration generation unit 13. .
  • the former amount of displacement is displayed with a broken line
  • the latter amount of displacement is displayed with a solid line.
  • the response speed of the vibration generating unit 13 is fast, and the time from when the control unit 14 instructs the generation of vibration until the actual generation of vibration is extremely short. Almost simultaneously with the start of movement, vibration is generated in the tactile sense providing member 11. For this reason, immediately after the occurrence of an event that requires presentation of a tactile force sense, the user 70 can notice that the tactile force sense is being presented.
  • steps S203 and S204 are executed, even if a time lag occurs in the presentation of the tactile sensation due to movement, the user 70 can feel vibration during this time. As a result, it is suppressed that the user feels a time delay in presenting the tactile sensation.
  • the program in the first embodiment may be a program that causes a computer to execute steps S103 to S106 shown in FIG.
  • a CPU Central Processing Unit
  • the computer capable of realizing the haptic sense presentation device 10 is not particularly limited, and may be the above-described microcomputer or a general-purpose personal computer. Further, the computer capable of realizing the tactile sensation presentation device 10 may be a computer provided in a mobile phone, a smartphone, or a tablet information terminal.
  • the program in the first embodiment may be provided in a state of being recorded on a computer-readable recording medium, or may be transmitted via the Internet.
  • the recording medium include a general-purpose semiconductor storage device such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), a magnetic storage medium such as a flexible disk, or a CD-ROM.
  • Optical storage media such as (Compact Disk Read Only Memory).
  • the tactile force sense due to the movement of the tactile force sense presentation member 11 and the vibration having a high transmission speed can be combined and presented to the user. It can make it difficult to feel the time delay of the presentation. As a result, the following effects can be obtained.
  • the information terminal 100 can be reduced in size, thickness, and weight.
  • tactile sensations and vibrations can be presented, combining them makes it possible to expand the variations of expression in tactile sensation presentation.
  • FIG. 10 is an exploded perspective view showing each component of the information terminal according to Embodiment 2 of the present invention.
  • FIG. 11A and FIG. 11B are diagrams showing a specific configuration of the actuator shown in FIG. 10, FIG. 11A is a plan view, and FIG. 11B is a side view.
  • the information terminal 200 and the haptic sense presentation device 80 according to the second embodiment are the same as the information terminal 100 and the tactile sense presentation device 80 according to the first embodiment shown in FIGS. This is different from the haptic sense presentation device 10.
  • the difference from the first embodiment will be mainly described.
  • the touch sensor 60 is different from the touch panel used in the first embodiment, and is parallel to the frame-shaped frame 60a and one of the two opposite sides. And a plurality of light receiving elements 60c arranged in parallel to the other side.
  • a part of the light emitting element 60b is arranged to be able to irradiate light along the vertical direction of the screen, and the rest is arranged to be able to irradiate light along the horizontal direction of the screen. For this reason, when a part of the irradiated light is blocked by the finger of the user 70 tracing the surface of the haptic sense presentation member 11, the blocked part is detected as a touch position.
  • the touch sensor 60 also outputs to the information processing unit 40 touch detection data a that specifies the detected touch position.
  • the actuator 61 includes a wire 62 and a wire pulling portion 63.
  • One end of each wire 62 is connected to the haptic sense presentation member 11 by a through hole 11 c provided near the corner of the haptic sense presentation member 11.
  • Each wire tension portion 63 includes a motor 63a functioning as an actuator, a pulley 63b for winding the wire 62, and a tension direction changing pulley 63c.
  • the rotational force by the motor 63a is transmitted as a tensile force to the tactile force sense presentation member 11 via the wire 62.
  • the tactile force sense presentation unit 1 is pulled and the user 70 (see FIG. 1). ) Is presented with tactile sensation.
  • the rotational force of the motor 63 a is converted into a linear tensile force along the side surface of the casing 51 by the pulley 63 b that winds the wire 62.
  • the tensile force is applied from the through hole 11 c of the tactile force sense presentation member 11 to the corner of the casing 51 from the linear direction along the side surface of the casing. It is converted to the direction toward. Therefore, when the motor 63a is activated, the tactile force sense presentation member 11 is pulled toward the tension direction changing pulley 63c by the generated tensile force.
  • convex portions 11 a and 11 b formed on the haptic sense presentation member 11 are provided between the support panel 23 and the haptic sense presentation member 11. A space is provided, and the wire 62 is guided to the wire pulling portion 63 through this space. Furthermore, since the cross sections of the convex portions 11a and 11b are semicircular and the convex portions 11a and 11b are in contact with the support panel 23 by a line, the surface of the support panel is prevented from being damaged by the movement of the tactile sense presentation member 11. Is done.
  • each motor 63a is provided with a sensor 64 for detecting the rotational speed of the motor 63a.
  • the sensor 64 outputs data specifying the detected number of rotations to the control unit 14 (see FIG. 10).
  • a specific example of the sensor 64 is an optical rotary encoder.
  • the second embodiment although the size of the actuator is increased, a large force can be applied to the tactile force sense presentation member 11, and thus the second embodiment is effective when the size of the display panel 20 is large. It is.
  • the presentation power can be increased while the motor is downsized.
  • the displacement speed of the tactile force sense presentation member 11 is reduced, but due to the vibration by the vibration generating unit 13, it is difficult to feel the time delay of the tactile force sense presentation by the user as in the first embodiment.
  • the tension direction changing pulley 63c which is the starting point of tension when the wire 62 is pulled toward the housing 51, is connected to each other.
  • the position of the starting point of tension is not particularly limited, and the starting point of each tension is such that, for example, a parallelogram or trapezoid is formed when they are connected with a line. May be arranged.
  • tensile_strength does not need to be located in the same plane, and the number does not need to be four points.
  • the operations of the information terminal 200 and the haptic sense presentation device 80 are the same as the operations shown in FIG. 5 in the first embodiment. Also in the second embodiment, the haptic sense presentation method is implemented by operating the haptic sense presentation device 80. Furthermore, the program in the second embodiment may be a program that causes a computer to execute steps according to steps S103 to S106 shown in FIG.
  • the display panel 20 does not move together with the haptic sense presentation member 11, but even if the display panel 20 also moves together with the haptic sense presentation member 11. good. Furthermore, instead of the transparent panel shown in FIG. 2, the display panel 20 itself may be used as the tactile force sense presentation member 11.
  • the information processing unit 40 moves and displays the content video in the direction opposite to the moving direction of the display panel 20 in order to prevent the content video from moving in conjunction with the display panel 20 when viewed from the user. It is preferable to execute such a process.
  • actuators are used to move the haptic sense presentation member 11 along the horizontal plane, but the number of actuators is not particularly limited. For example, if the tactile sensation presentation member is moved in an arbitrary direction on a plane to present a tactile sensation, there may be at least three actuators.
  • the tactile sensation presentation member is moved in an arbitrary direction on a straight line and a tactile sensation is presented, two actuators are sufficient. Further, if the tactile force sense presentation member is moved using balance with an external force such as gravity to present a tactile force sense, the number of actuators may be one. In addition, if the tactile force sense presentation member 11 is moved or rotated in any direction on a plane and in a three-dimensional space to present a tactile force sense, the number of actuators may be four or more.
  • the haptic sense presentation member 11 only moves along a horizontal plane (the front surface of the display panel 20).
  • the direction of movement of the haptic sense presentation member 11 is as follows. Is not limited to this.
  • the moving direction of the tactile force sense presentation member 11 by the actuator may be a direction perpendicular to the horizontal plane.
  • the shape of the tactile sensation presentation member 11 is not limited to a panel shape in the present invention.
  • the haptic sense presentation device may include a configuration (for example, a glove-shaped configuration) that feeds back the haptic sense to each joint of the user's finger.
  • the haptic sense presentation device may be one in which the haptic sense presentation member has a pen shape.
  • the actuator is not limited to those shown in the first and second embodiments.
  • the actuator may be configured to include a link mechanism.
  • the actuator may be provided with a function of releasing gas. In this case, the tactile sensation is also presented by releasing the gas.
  • FIG. 6 an example in which a tactile sensation is presented when an object moves in the virtual space in conjunction with the movement of the user's finger is shown (FIG. 6).
  • Reference but not intended to be limited to this.
  • Embodiments 1 and 2 can also be applied when the object changes other than movement, for example, when the shape, color, size, etc. of the object changes.
  • the tactile sensation to be presented may be different depending on the object that is the target of the operation by the user.
  • the information processing unit 40 that performs processing for content display is housed in the same housing together with the display panel, the touch sensor, and the tactile sense presentation device. It is not limited to this.
  • the information processing unit 40 may be realized by a computer such as an external personal computer.
  • the control unit 14 may also be realized by a computer that implements the information processing unit.
  • the tactile sensation presentation device can be applied to navigation of movement. For example, when navigating a destination to a walking user, the tactile force sense presenting device can present the direction to travel to the finger that the user is touching with a tactile force sense. In this case, the navigation direction becomes information that is desired to be presented as content.
  • the tactile sensation presentation device can provide the user with a more substantial operational feeling by presenting a haptic sensation linked to the movement of the scrolling screen.
  • a display method is known in which, when there is no more information in scrolling the screen, the display screen is bound in the scroll direction to notify that the screen cannot be scrolled.
  • this display method is adopted, if the tactile sensation is presented in conjunction with the bounce of the display screen, the user can receive information more quickly and accurately.
  • the tactile sensation presentation device can present by tactile sensation that there is a link button or the like under the finger being touched when the displayed content is a web site. it can.
  • the user can receive information that is difficult to obtain with display information alone.
  • the haptic sense presentation device can also give a warning by presenting the haptic sense so that the user can hardly press the link button.
  • the tactile sensation presentation device is not limited to being interlocked with a virtual object (virtual object) but can be used for an operation reaction of an input operation such as a master / slave robot arm.
  • a virtual object virtual object
  • the tactile sensation presentation device responds that the obstacle has been touched, a warning before touching the obstacle, etc. A tactile sensation can be presented. In this case, the user can operate the robot arm more safely and accurately.
  • the tactile force sense presentation device can be used for grasping the state of a tactile map or the like. That is, the tactile sensation presentation device can be used as a map grasp for a visually handicapped person.
  • the tactile sensation presentation device presents a tactile sensation corresponding to the wall and the road, the user can easily grasp the shape and state. Become.
  • the tactile sensation presentation device can be used for presenting information on the kanji writing order in character learning.
  • the tactile sensation presentation device is useful for assisting character learning.
  • the tactile sensation presentation device can present a haptic sensation that is moved in a direction parallel to the display panel as feedback of a click sensation during device operation. Further, feedback by tactile force sense is important in key operation for input, and thus the tactile force sense presenting apparatus can change the feedback so that it can be easily understood by the user. Furthermore, when the user's input changes, the tactile sensation presentation device can make the user aware of the input change by returning a feedback different from the conventional click feeling.
  • an input method called a flick method is known as a character input method using a touch panel.
  • the input character is determined by the position touched by the finger and the direction in which the finger is slid.
  • the tactile sensation presentation device according to the first and second embodiments is applied to this flick method, it becomes easier for the finger to slide only in the sliding direction, and resistance to the movement of the finger in the direction that cannot be selected by sliding occurs.
  • the sense of touch can be presented. In this case, it is possible to prevent the user from making an erroneous movement when selecting a character, and it becomes easy to input the character.
  • the tactile sensation presentation device can be used as a feedback device in simulation of musical instrument operations such as a piano, surgery simulation, and clay modeling simulation. That is, the haptic sense presentation device can present the haptic sense as feedback of the device with respect to input as one of prior learning and entertainment of device use.
  • the tactile sensation presentation device can be used for product state recognition when purchasing a product other than an actual store such as a Web site or a television. Unlike merchandise purchase at an actual store, the actual feeling of the merchandise becomes a problem in merchandise purchase on a website and a television. For this reason, if the tactile sensation presentation device is used, the user can obtain tactile information when the product is touched, so that the user can make a purchase after understanding the product.
  • the tactile sensation presentation device can be used as entertainment such as understanding an illusion picture.
  • the haptic sense presentation device presents the user with a sense of discomfort by giving the haptic sense that does not match the visual information as the presentation information.
  • an illusion picture with a spiral staircase created by Maurits CornelisEscher cannot be touched as a real thing, but a tactile sensation presentation device can be used to present the feel of an object in virtual space, so the user touches the illusion picture.
  • FIG. 12 is a diagram illustrating an information terminal according to the embodiment.
  • FIG. 12A is a plan view and
  • FIG. 12B is a partial cross-sectional view.
  • the tactile sensation presentation member 11 is composed of two transparent panels 11d and 11e.
  • a piezoelectric element is used as the vibration generating unit 13, and the two piezoelectric elements are sandwiched between the panel 11d and the panel 11e.
  • the actuator used for moving the tactile force sense presentation member 11 is the same as the example shown in FIGS. 10, 11 (a) and 11 (b) in the second embodiment. It is comprised by the tension
  • the tactile force sense presentation member 11 moves along a horizontal plane by pulling with the wire 62 using a motor, and presents a tactile force sense.
  • the virtual sphere 110 collides with the cube 111, and the tactile force according to the collision is applied to the finger of the user 70.
  • the sense of vision is presented.
  • FIG. 13 is a diagram illustrating the relationship between the vibration duration time and the displacement amount of the tactile sensation presentation member in Verification 1 of the example.
  • the generation of the tactile force sense is necessary, the generation of the vibration is first executed, and then the movement of the tactile sense presentation member by the actuator is started.
  • a pseudo time delay is generated before the tactile force sense is presented by the actuator, and the user is evaluated for the time delay at that time.
  • T F is the delay time of the presentation of the haptic by the actuator indicates (presentation delay time)
  • T V represents the duration of the vibration
  • T o represents the presentation time of the haptic by the actuator ing.
  • T F T V.
  • the presentation delay time TF is set to 0.0 [s], 0.25 [s], 0.5 [s], 0.75 [s], and 1.00 [s] by five users.
  • the five cases were evaluated with five grades from “I feel no delay” to “I feel there is a delay”. The results are shown in FIG.
  • FIG. 14 is a diagram illustrating a result of evaluation by a user in verification 1 of the example. 14, the horizontal axis represents the delay time T F of the presentation of the haptic by the actuator, and the vertical axis represents the evaluation value.
  • the evaluation by the user is performed when vibration is presented before the tactile sensation is presented by the actuator ( ⁇ in the figure) and when vibration is not presented (in FIG. 14). This is done for both of them.
  • the rating value on the vertical axis is an average value of the rating values of five users.
  • the presentation by vibration when the presentation by vibration ( ⁇ in the figure) is performed before the presentation of the tactile force sense by the actuator, it is significant compared with the case where the presentation by vibration is not given ( ⁇ in the figure). There are many users who feel that there is no delay, and it can be seen that the rating value is high. Specifically, the presentation by vibration may make it difficult for the user to feel the time delay of the tactile sensation presentation by about 0.2 [s] compared to the case where the presentation by vibration is not performed. It is possible.
  • FIGS. 15A to 15C are diagrams showing the relationship between the duration of vibration and the amount of displacement of the tactile sensation presentation member in Verification 2 of the example, and the length of the duration of vibration is different. ing.
  • the verification 2 of this embodiment as in the verification 1, when the generation of the tactile force sense is necessary, the generation of the vibration is first performed, and then the tactile sense is performed. The movement of the presentation member by the actuator is started. In verification 2, verification is performed for the three patterns in FIGS. 15 (a) to 15 (c).
  • T F is the delay time of the presentation of the haptic by the actuator indicates (presentation delay time)
  • T V represents the duration of the vibration
  • T o is haptic by the actuator Shows the presentation time.
  • FIG. 15A shows a pattern (interval: T F > T V ) in which the vibration presentation is terminated before the start of the presentation of the tactile force sense by the actuator, and the “interval” is temporally separated.
  • FIG. 15C shows a pattern (duplication: T F ⁇ T V ) in which the continuation of vibration and the presentation of the tactile force sense by the actuator are “overlapping”.
  • the presentation delay time TF is 0.0 [s], 0.25 [s], 0.5 [s] for each pattern shown in FIGS. , 0.75 [s] and 1.00 [s] were evaluated with five grades from “I feel no delay” to “I feel there is delay”. The results are shown in FIG.
  • FIG. 16 is a diagram illustrating a result of evaluation by a user in verification 2 of the example. Also in FIG. 16, the horizontal axis represents the delay time T F of the presentation of the haptic by the actuator, and the vertical axis represents the evaluation value. FIG. 16 shows the user's evaluation in each of the above three patterns.
  • “ ⁇ ” indicates the pattern (interval) shown in FIG. 15A
  • “ ⁇ ” shows the pattern (simultaneous) shown in FIG. 15B
  • ⁇ ” shows in FIG. 15C. Indicates the pattern to be shown (overlapping).
  • FIG. 16 shows that when the vibration presentation is terminated before the start of the presentation of the tactile force sense (force sense presentation) by the actuator, the user feels a time delay of the force sense presentation significantly compared to the other cases. It is difficult.
  • the presentation of the tactile sensation by the actuator and the presentation of the tactile sensation by vibration are started at the earliest possible timing after the occurrence of an event that requires tactile force presentation.
  • an actuator having a high displacement speed is used, but the present invention is not limited to this.
  • an actuator having a low displacement speed can be used. In this case, it is preferable that the tactile force sense presentation by vibration is performed at the earliest possible timing.
  • a tactile sensation presentation device characterized by the above.
  • the tactile sensation presentation member has a light-transmitting panel shape and is disposed on the front side of the display panel;
  • the actuator moves the haptic sense presentation member along the front surface of the display panel;
  • the tactile sensation presentation device according to attachment 1.
  • the control unit instructs the vibration generation unit to generate vibration until the movement of the haptic sense presentation unit is completed with respect to the vibration generation unit.
  • the tactile force sense presentation device according to appendix 1 or 2.
  • Appendix 4 A time management unit that manages the duration of vibration by the vibration generation unit and outputs data specifying the duration to the control unit;
  • the control unit causes the vibration generation unit to generate vibrations for the duration specified by the output data.
  • the tactile force sense presentation device according to any one of appendices 1 to 3.
  • the actuator is a plurality of wire-like actuators;
  • the plurality of wire-like actuators are connected to the haptic sense presentation member at each one end, and move the haptic sense presentation member by respective tensile forces.
  • the tactile force sense presentation device according to any one of appendices 1 to 4.
  • a display panel that displays content on the screen, A touch sensor for detecting a position touched by a user on the screen; An information processing unit that accepts an input operation according to a position detected by the touch sensor, and changes the content in response to the accepted input operation;
  • a tactile force presentation device capable of presenting a tactile force sense to the user,
  • the haptic sense presentation device includes: A tactile force presentation member for transmitting a tactile force sense to the user; An actuator for moving the haptic sense presentation member for presenting the haptic sense; A vibration generating unit that generates vibration in the tactile force sense presentation member; A control unit for controlling the actuator and the vibration generating unit, The control unit, when content on the screen of the display panel is changed by the information processing unit corresponding to the input operation of the user on the screen, Instructing the actuator to move the tactile force presentation member so that the tactile force sense corresponding to the change in the content is presented, Instructing the vibration generation unit to generate vibration so that vibration is generated in the haptic sense presentation member simultaneously with the start of the movement of
  • the tactile sensation presentation member has a light-transmitting panel shape and is disposed on the front side of the display panel;
  • the touch sensor is a touch panel disposed on the front side of the tactile force sense presentation member,
  • the actuator moves the tactile force sense presentation member together with the touch sensor along the front surface of the display panel.
  • the touch sensor is a touch panel disposed on the front side of the display panel, The touch panel functions as the haptic sense presentation member, or the touch panel and the display panel function as the haptic sense presentation member.
  • the control unit instructs the vibration generation unit to generate vibration until the movement of the haptic sense presentation unit is completed with respect to the vibration generation unit.
  • the information terminal according to any one of appendices 7 to 9.
  • Appendix 11 A time management unit that manages the duration of vibration by the vibration generation unit and outputs data specifying the duration to the control unit;
  • the control unit causes the vibration generation unit to generate vibrations for the duration specified by the output data.
  • the information terminal according to any one of appendices 7 to 10.
  • the actuator is a plurality of wire-like actuators;
  • the plurality of wire-like actuators are connected to the haptic sense presentation member at one end of the plurality of wire-like actuators, and move the haptic sense presentation member by respective expansion or contraction.
  • the information terminal according to any one of appendices 7 to 11.
  • (Appendix 14) A method for presenting a tactile sensation to a user who performs an input operation on a display panel screen, A tactile force presentation member for transmitting a tactile force sense to the user, an actuator for moving the tactile force sense presentation member for presenting the tactile force sense, and a vibration in the tactile force sense presentation member Using a device including a vibration generator, (A) When the content on the screen of the display panel changes in response to the input operation of the user on the screen, the haptic sense corresponding to the change in the content is presented.
  • a tactile force sense presentation method characterized by comprising:
  • a tactile force presentation member for transmitting a tactile force sense to a user who performs an input operation on a screen of a display panel; and an actuator for moving the tactile force sense presentation member for presenting the tactile force sense;
  • the apparatus comprising a vibration generating unit and a computer for generating vibration in the tactile force sense presentation member
  • the computer In the computer, (A) When the content on the screen of the display panel changes in response to the input operation of the user on the screen, the haptic sense corresponding to the change in the content is presented.
  • the program is (C) further comprising a command for causing the computer to execute a step of managing a duration of vibration by the vibration generation unit and outputting data specifying the duration to the control unit;
  • the vibration generator is caused to generate a vibration for the duration specified by the data output in the step (c).
  • the computer-readable recording medium according to appendix 17 or 18.
  • the present invention it is possible to make it difficult for the user to feel the time delay of the presentation of the tactile force without being affected by the performance of the actuator in the presentation of the tactile force.
  • the present invention is useful in various fields that require presentation of tactile sensation, such as computer interfaces, various simulations, and games.
  • Tactile sensation presentation device (Embodiment 1) DESCRIPTION OF SYMBOLS 11 Tactile-force sense presentation member 11a, 11b Protrusion part 11c Through-hole 11d, 11e Panel 12 Actuator 12a Wire formed with shape memory alloy 12b Electric heating apparatus 13 Vibration generating part 14 Control part 15 Pulley 16 Time management part 20 Display panel 21 Virtual mallet 22 Virtual pack 23 Support panel 30 Touch sensor (touch panel) 40 Information processing section 41 Content data 50 Cover 51 Case 60 Touch sensor 60a Frame 60b Light emitting element 60c Light receiving element 61 Actuator 62 Wire 63 Wire pulling section 63a Motor 63b Pulling pulley 63c Tension direction changing pulley 64 Sensor 70 User 80 Touch Force display device (Embodiment 2) 100 Information terminal (Embodiment 1) 110 Virtual sphere 111 Virtual cube 200 Information terminal (Embodiment 2) a Touch detection data b Presentation data c Position detection data d Haptic control data e Timer management data f Display data g Vibration control

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Computer Hardware Design (AREA)
  • User Interface Of Digital Computer (AREA)

Description

触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
　本発明は、ユーザに対して触力覚を提示（伝達）する触力覚提示装置、これを備えた、ＰＯＳ端末、携帯端末（スマートフォン、タブレット等）といった情報端末、触力覚提示方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
　近年、情報端末においては、入力装置として、タッチパネルの採用が増加している。タッチパネルは、表示パネルに重ねて配置できるため、特に、携帯型の情報端末においては、画面を大きくできる等の点から、主流となっている。
　但し、タッチパネルにおいて、ユーザの操作に対するフィードバック、及び操作に対応して行なわれる情報の提示は、画面上への何らかの情報の提示で行なうしかない。このため、ユーザは、表示されている情報以外の情報を得ることができず、画面上のどこにタッチしているかを認識し難いことから、タッチパネルには、ユーザにおいて操作し難いという問題がある。
　このような問題に対応するため、ユーザの指先への物理的なフィードバック、即ち、触力覚の提示（伝達）を可能にした装置が提案されている（例えば、特許文献１及び２参照。）。具体的には、特許文献１に開示された装置は、タッチパネルが画面上に設けられた表示パネルを、その厚み方向に沿って移動可能にする機構を備えている。特許文献１に開示された装置では、この機構により、ユーザによる指でのタッチに応じて表示パネルを移動させることができるので、ユーザに対して触力覚を提示できる。
　また、特許文献２は、圧電アクチュエータを用いてタッチパネルを振動させることで、ユーザの指先に触覚提示を行なう装置を提案している（例えば、特許文献２参照。）。特許文献２に開示された装置は、タッチパネル及び表示パネルに、圧電アクチュエータが埋め込まれた透明パネルを重ね合わせることによって構成されている。
　しかし、特許文献１に開示された装置では、タッチパネル全体を動作させる必要があるため、構造が複雑化し、結果、装置自体が大きく、重くなってしまう。このため、特許文献１に開示された装置を、スマートフォン、又はタブレットといった移動端末に搭載することは困難である。
　一方、特許文献２に開示された装置によれば、特許文献１に開示された装置と異なり、装置の大型化及び重量化が回避されるので、移動端末への搭載も可能になると考えられる。しかし、特許文献２に開示された装置では、変位をさせる範囲が小さく、振動による触覚提示しか行なえず、更に、振動による触覚提示は表現力が低いことから、特許文献２に開示された装置は、連続的な変化と正確性とが求められるコンテンツには不向きである。
　ところで、特許文献２における問題は、特許文献１に開示された装置によれば解決できると考えられる。よって、例えば、上記特許文献１に開示された装置において、タッチパネル及び表示パネルの移動に用いるアクチュエータのサイズ小さくすることができれば、上述の二つの問題を一挙に解決でき、装置を移動端末に搭載することも可能になると考えられる。
特許第４０３９３４４号 特開２００６－２１５７３８号公報
　しかしながら、アクチュエータのサイズを小さくすると、アクチュエータによる提示力と、タッチパネル等の変位速度とが、大きく低下してしまい、ユーザに必要な物理的フィードバックを与えるだけの力覚提示を行なうことが困難となる。
　また、一般にアクチュエータにおいて、提示力と変位速度とはトレードオフの関係にある。このため、小型のアクチュエータを用いつつ、提示力を高めようとすると、変位速度が低下し過ぎてしまい、ユーザが、触力覚の提示が行われていることに気づくまでの時間が長くなってしまう。この結果、ユーザは、触力覚の提示の応答の時間遅れを敏感に感じてしまうことになる。
　本発明の目的の一例は、上記問題を解消し、アクチュエータの性能による影響を受けることなく、ユーザに対して、触力覚の提示の時間遅れを感じ難くし得る、触力覚提示装置、情報端末、触力覚提示方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
　上記目的を達成するため、本発明の一側面における触力覚提示装置は、表示パネルの画面上で入力操作を行なうユーザに触力覚を提示するための装置であって、
　前記ユーザに触力覚を伝達するための、触力覚提示部材と、
　前記触力覚の提示のために、前記触力覚提示部材を移動させる、アクチュエータと、
　前記触力覚提示部材に振動を発生させる、振動発生部と、
　前記アクチュエータ及び前記振動発生部を制御する制御部と、を備え、
　前記制御部は、前記表示パネルの画面上のコンテンツが、前記画面上での前記ユーザの入力操作に対応して変化した場合に、
前記コンテンツの変化に対応する前記触力覚が提示されるように、前記アクチュエータに対して、前記触力覚提示部材の移動を指示し、
前記触力覚提示部材の移動の開始と同時に又は移動の開始前に前記触力覚提示部材に振動が発生するように、前記振動発生部に対して、振動の発生を指示する、
ことを特徴とする。
　上記目的を達成するため、本発明の一側面における情報端末は、
　コンテンツを画面に表示させる、表示パネルと、
　前記画面上のユーザによってタッチされた位置を検出する、タッチセンサと、
　前記タッチセンサによって検出された位置に応じて入力操作を受け付け、受け付けた入力操作に対応して前記コンテンツを変化させる、情報処理部と、
　前記ユーザに対して触力覚を提示可能な触力覚提示装置と、を備え、
　前記触力覚提示装置は、
前記ユーザに触力覚を伝達するための、触力覚提示部材と、
前記触力覚の提示のために、前記触力覚提示部材を移動させる、アクチュエータと、
前記触力覚提示部材に振動を発生させる、振動発生部と、
前記アクチュエータ及び前記振動発生部を制御する制御部と、を備え、
　前記制御部は、前記表示パネルの画面上のコンテンツが、前記情報処理部によって、前記画面上での前記ユーザの入力操作に対応して変化した場合に、
前記コンテンツの変化に対応する前記触力覚が提示されるように、前記アクチュエータに対して、前記触力覚提示部材の移動を指示し、
前記触力覚提示部材の移動の開始と同時に又は移動の開始前に前記触力覚提示部材に振動が発生するように、前記振動発生部に対して、振動の発生を指示する、
ことを特徴とする。
　また、上記目的を達成するため、本発明の一側面における触力覚提示方法は、表示パネルの画面上で入力操作を行なうユーザに触力覚を提示するための方法であって、
前記ユーザに触力覚を伝達するための、触力覚提示部材と、前記触力覚の提示のために、前記触力覚提示部材を移動させる、アクチュエータと、前記触力覚提示部材に振動を発生させる、振動発生部とを備える装置を用い、
（ａ）前記表示パネルの画面上のコンテンツが、前記画面上での前記ユーザの入力操作に対応して変化した場合に、前記コンテンツの変化に対応する前記触力覚が提示されるように、前記アクチュエータに対して、前記触力覚提示部材の移動を指示する、ステップと、
（ｂ）前記触力覚提示部材の移動の開始と同時に又は移動の開始前に前記触力覚提示部材に振動が発生するように、前記振動発生部に対して、振動の発生を指示する、ステップと、
を有することを特徴とする。
　更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
　表示パネルの画面上で入力操作を行なうユーザに触力覚を伝達するための、触力覚提示部材と、前記触力覚の提示のために、前記触力覚提示部材を移動させる、アクチュエータと、前記触力覚提示部材に振動を発生させる、振動発生部と、コンピュータとを備える装置において、
前記コンピュータに、
（ａ）前記表示パネルの画面上のコンテンツが、前記画面上での前記ユーザの入力操作に対応して変化した場合に、前記コンテンツの変化に対応する前記触力覚が提示されるように、前記アクチュエータに対して、前記触力覚提示部材の移動を指示する、ステップと、
（ｂ）前記触力覚提示部材の移動の開始と同時に又は移動の開始前に前記触力覚提示部材に振動が発生するように、前記振動発生部に対して、振動の発生を指示する、ステップと、
を実行させる、命令を含むプログラムを記録していることを特徴とする。
　以上のように、本発明によれば、アクチュエータの性能による影響を受けることなく、ユーザに対して、触力覚の提示の時間遅れを感じ難くすることができる。
図１は、本発明の実施の形態１における情報端末の外観を示す斜視図である。 図２は、本発明の実施の形態１における情報端末の各構成部品を示す分解斜視図である。 図３は、図２に示した触力覚提示装置を構成するアクチュエータの構成を具体的に示す図である。 図４は、本発明の実施の形態１における情報端末の構成を示すブロック図である。 図５は、本発明の実施の形態１における情報端末１００の動作を示すフロー図である。 図６は、本発明の実施の形態１において用いられるコンテンツの一例を示す図である。 図７は、図５に示したステップＳ１０５を具体的に示すフロー図である。 図８は、アクチュエータの引張力の算出処理を説明する図である。 図９は、振動の発生タイミングと触力覚提示部材の変位量との関係を示す図である。 図１０は、本発明の実施の形態２における情報端末の各構成部品を示す分解斜視図である。 図１１（ａ）及び図１１（ｂ）は、図１０に示すアクチュエータの具体的な構成を示す図であり、図１１（ａ）は平面図、図１１（ｂ）は側面図である。 図１２は、実施例における情報端末を示す図であり、図１２（ａ）は平面図、図１２（ｂ）は部分断面図である。 図１３は、実施例の検証１における振動の継続時間と触力覚提示部材の変位量との関係を示す図である。 図１４は、実施例の検証１におけるユーザによる評価の結果を示す図である。 図１５（ａ）～（ｃ）は、実施例の検証２における振動の継続時間と触力覚提示部材の変位量との関係を示す図であり、それぞれ、振動の継続時間の長さが異なっている。 図１６は、実施例の検証２におけるユーザによる評価の結果を示す図である。
（実施の形態１）
　以下、本発明の実施の形態１における、触力覚提示装置、情報端末、触力覚提示方法、及びプログラムについて、図１～図３を参照しながら説明する。
［装置構成］
　最初に、図１及び図２を用いて、本実施の形態１における触力覚提示装置及び情報端末の構成を説明する。図１は、本発明の実施の形態１における情報端末の外観を示す斜視図である。図２は、本発明の実施の形態１における情報端末の各構成部品を示す分解斜視図である。
　図１に示すように、本実施の形態１における情報端末１００は、タブレット型の情報端末である。また、図２に示すように、情報端末１００は、コンテンツを表示させる表示パネル２０と、ユーザによってタッチされた位置（以下「タッチ位置」と表記する。）を検出するタッチセンサ３０と、各種情報処理を実行する情報処理部４０とを備えている。
　この構成により、図１に示すように、ユーザ７０が、タッチによって情報端末１００に入力操作を行なうと、情報端末１００においては、タッチセンサ３０によってタッチ位置が検出され、検出された位置が情報処理部４０に通知される。そして、情報処理部４０は、タッチ位置に応じてユーザの入力操作を受け付け、受け付けた入力操作に対応してコンテンツを変化させる処理を実行し、表示パネル２０の画面２０ａ上に種々のコンテンツを表示する。
　また、図２に示すように、情報端末１００は、表示パネル２０の画面２０ａ上で入力操作を行なうユーザに触力覚を提示する触力覚提示装置１０を備えている。触力覚提示装置１０は、ユーザに触力覚を伝達するための触力覚提示部材１１と、触力覚の提示のために触力覚提示部材１１を移動させるアクチュエータ１２と、触力覚提示部材１１に振動を発生させる振動発生部１３と、アクチュエータ１２及び振動発生部１３を制御する制御部１４とを備えている。
　また、制御部１４は、表示パネル２０の画面２０ａ上のコンテンツが、画面２０ａ上でのユーザの入力操作に対応して変化した場合に、コンテンツの変化に対応する触力覚が提示されるように、アクチュエータ１２に対して、触力覚提示部材１１の移動を指示する。更に、制御部１４は、上記の場合に、振動発生部１３に対しては、触力覚提示部材の移動の開始と同時に又は移動の開始前に触力覚提示部材１１に振動が発生するように、振動の発生を指示する。
　このように、触力覚提示装置１０は、ユーザに対して、触力覚提示部材１１の移動による触力覚の提示に加えて、それよりも伝達速度の速い振動の提示も行なうことができ、アクチュエータの変位速度が遅い場合に、ユーザが触力覚の提示が遅いと感じるのを抑制できる。即ち、触力覚提示装置１０によれば、アクチュエータの性能による影響を受けることなく、ユーザに対して、触力覚の提示の時間遅れを感じ難くすることができる。また、これにより、変位速度の低い小型のアクチュエータを利用できるので、情報端末１００の小型化、薄型化、軽量化を図ることも可能となる。
　図１の例では、表示パネル２０に表示された仮想の球に、ユーザ７０の指が接触している。これにより、ユーザ７０は、指先に振動を感じ、更に、仮想の球と指との位置関係、及び仮想の球の動作状態（スピード、重さ）に応じた、触力覚提示部材１１による仮想の球からの反発力及び感触を感じる。なお、本発明でいう「触力覚」とは、ユーザが感じる、反発力、抵抗力、外力、感触、等を意味する。
　ここで、本実施の形態１における情報端末１００及び触力覚提示装置１０の構成について更に具体的に説明する。図２に示すように、情報端末１００は、大きく分けて５つの層によって構成されている。最もユーザ側の層を第１層として以下に説明する。
　まず、第１層には、情報端末１００の内部及び触力覚提示部材１１の端を外部から見えないようにする、カバー５０が配置されている。カバー５０は、ユーザが、その下層のタッチセンサ３０の検知領域にタッチできるように枠状に形成されているが、その幅は、ユーザによる検知領域外へのタッチが回避されるように設定されている。
　第２層には、タッチセンサ３０が配置されている。本実施の形態では、タッチセンサ３０としては、タッチパネルが用いられている。また、タッチパネルは、触力覚提示部材１１の前面側に位置し、触力覚提示部材１１と一体化されている。このため、ユーザが、触力覚提示部材１１をタッチすると、タッチパネルは、タッチされた位置を検出し、それを特定するデータ（以下「タッチ検出データ」と表記する。）を出力する。更に、タッチパネルは、触力覚提示部材１１と共に、アクチュエータ１２によって移動する。
　第３層には、触力覚提示部１１と、それを移動させるためのアクチュエータ１２と、振動発生部１３と、が配置されている。アクチュエータ１２は、本実施の形態では、四本のワイヤ状のアクチュエータであり、これらは、触力覚提示部材１１が表示パネル２０の前面に沿って移動するように、それぞれの一端で、触力覚提示部材１１に取り付けられている。具体的には、ワイヤ状のアクチュエータ１２それぞれの一端は、触力覚提示部材１１の各角付近に形成された貫通孔に接続され、他端は、後述する筐体５１に接続されており、それぞれの引張力によって触力覚提示部材１１を移動させる（図４参照）。
　また、触力覚提示部材１１は、本実施の形態では、光透過性のアクリル樹脂等によって、パネル状に形成されており、表示パネル２０の前面側に配置されている。更に、触力覚提示部材１１の表示パネル２０側の面（裏面）には、断面が半円形を呈する凸部１１ａ及び１１ｂが、各辺に沿って伸びるように形成されている。また、凸部１１ａ及び１１ｂは触力覚提示部材１１の移動によって、後述する支持パネル２３の表面が傷つくのを防止している。
　また、振動発生部１３は、触力覚提示部材１１の裏面に配置されている。本実施の形態１では、振動発生部１３としては、例えば、圧電素子、半円形の振動子と小型のモータとで構成された振動発生装置、等が挙げられる。なお、振動発生部１３は、触力覚提示部材に振動を発生可能に取り付けられていれば良く、触力覚提示部材１１の表面に配置されていても良い。
　第４層には、支持パネル２３と、表示パネル２０とが配置されている。本実施の形態１では、表示パネル２０としては、液晶表示パネルが用いられているが、これに限定されず、薄型の表示パネルであれば表示方式は特に限定されるものではない。
　支持パネル２３は、アクリル樹脂等の透明な樹脂によって、表示パネル２０を覆うように形成された矩形の板である。また、支持パネル２３は、触力覚提示部材１１と表示パネル２０との間に配置され、触力覚提示部材１１の支持と表示パネル２０の保護とを行なっている。
　また、第３層の触力覚提示部材１１にはスポット光を出射する光源３１ａが配置され、第４層の支持パネル２３には、光源３１ａから出射されたスポット光を受光し、受光した位置に応じた信号を出力する受光素子３１ｂが配置されている。そして、光源３１ｂは、触力覚提示部材１１と一緒に移動するため、光源３１ａと受光素子３１ｂとによって、触力覚提示部材１１の位置が検出される。光源３１ａと受光素子３１ｂとは、触力覚提示部材１１の位置検出センサ３１として機能する。なお、光源３１ａは、触力覚提示部材１１の表面及び裏面のいずれに配置されていても良い。同様に、受光素子３１ｂも、支持パネル２３の表面及び裏面（表示パネル側の面）のいずれに配置されていても良い。
　第５層には、制御部１４と、情報処理部４０とが配置されている。このうち、制御部１４及び情報処理部４０は、それぞれ、マイコン等のコンピュータによって実現されている。また、両者は、それぞれ別々のコンピュータによって実現されていても良いし、同一のコンピュータによって実現されていても良い。また、第１層から第５層までの全ての構成要素は、筐体５１の内部に収納されている。
　続いて、図３を用いて、アクチュエータ１２によって触力覚提示装置１０を移動させるための仕組みについて説明する。図３は、図２に示した触力覚提示装置を構成するアクチュエータの構成を具体的に示す図である。
　図３に示すように、本実施の形態１では、ワイヤ状の各アクチュエータ１２は、形状記憶合金で形成されたワイヤ１２ａと、ワイヤ１２ａに通電による加熱を行なって原形状に復帰させる通電加熱装置１２ｂとを備えている。また、ワイヤ１２ａそれぞれの一端は、触力覚提示部材１１の各角付近に設けられた孔１１ａに接続され、他端は、後述する筐体５１に接続されている。
　このような構成において、制御部１４（図２参照）が、各通電加熱装置１２ｂによる通電量を制御すると、各ワイヤ１２ａにおいて原形状への復帰による引張力が発生する。そして、各引張力の力関係に応じて、触力覚提示部材１１は、表示パネル２０の前面に沿って移動する。
　また、アクチュエータ１２として、形状記憶合金で形成されたワイヤ１２ａを用いると、アクチュエータ１２のサイズを小さくでき、情報端末１００の小型化、薄型化、軽量化に貢献できる。また、形状合金で形成されたワイヤ１２ａには、引張力が大きいという利点と、大きく伸長した状態でセットすることで、変位量を大きくすることができるという利点とがある。
　但し、形状記憶合金で形成されたワイヤ１２ａには、通電による加熱によって動作を行なうため、特に冷間時の反応が鈍いという欠点と、変位速度が遅いという欠点があるが、上述したように、本実施の形態１では、振動の提示も行なわれる。このため、上記欠点によって、ユーザが触力覚の提示が遅いと感じる事態は、回避されることになる。
　また、本実施の形態１では、ワイヤ１２ａの変位量をできるだけ大きくしつつ、そのレイアウトの自由度を高めるため、筐体５１の内部の四角には、プーリ１５がそれぞれ設けられている。各ワイヤ１２ａは、対応するプーリ１５によって、張力方向が変換された状態で配置されている。
　続いて、図４を用いて、情報端末１００でやり取りされるデータについて説明する。図４は、本発明の実施の形態１における情報端末の構成を示すブロック図である。
　図４に示すように、情報処理部４０は、表示パネル２０、タッチセンサ３０、及び制御部１４に接続されている。また、制御部１４は、情報処理部１４に加えて、アクチュエータ１２を構成する通電加熱装置１２ｂと、振動発生部１３と、位置検出センサ３１と、時間管理部１６に接続されている。
　このような構成の情報端末１００において、ユーザ７０（図１参照）が、表示パネル２０の前面側に配置されたタッチセンサ（タッチパネル）３０をタッチすると、タッチセンサ３０は、ユーザの指の位置（タッチ位置）を検出し、タッチ位置を特定するタッチ検出データａを情報処理部４０に出力をする。
　情報処理部４０は、タッチ検出データａを受け取ると、コンテンツデータ４１を参照し、タッチ位置とコンテンツ内のオブジェクトの動きとを連動させる処理を行ない、その処理内容が反映されたコンテンツの表示情報を生成し、この表示情報を表示データｆとして表示パネル２０に出力する。表示パネル２０は、表示データｆを受け取ると、受け取った表示データｆに応じた画像を表示画面２０ａ（図１参照）上に表示する。
　コンテンツデータ４１の具体例としては、ゲームプログラム、シミュレーションプログラムなどの、仮想空間を提供するアプリケーションプログラムのデータ、更にはＷｅｂサイトのデータが挙げられる。また、コンテンツデータ４１は、情報端末１００に備えられた記憶装置に格納されていても良いし、インターネットで接続された別の機器（コンピュータ）に格納されていても良い。
　また、このとき、情報処理部４０は、オブジェクトに仮想空間内で発生した力を算出し、算出した力を特定するデータｂ（以下「提示データｂ」と表記する。）を、制御部１４に出力する。この算出された力は、オブジェクトに発生した反発力等であり、ユーザに伝達すべき触力覚に相当する。
　制御部１４は、提示データｂと、位置検出センサ３１から出力されてきたデータｃとを受け取る。位置検出センサ３１から出力されてきたデータｃは、触力覚提示部材１１の位置を特定するデータ（以下、「位置検出データ」と表記する。）ｃである。
　制御部１４は、提示データｂと位置検出データｃとを用いて、各アクチュエータ１２（ワイヤ１２ａ）が出力すべき引張力を計算する。この計算は、触力覚提示部材１１が水平面に沿って移動したときに、提示データｂによって特定される触力覚がユーザ７０に伝達されるように、行なわれる。
　そして、制御部１４は、各アクチュエータ１２に引張力を発揮させる力覚制御データｄを生成し、これを通電加熱装置１２ｂに出力する。具体的には、制御部１４は、各通電加熱装置１２ｂを駆動するための信号を生成し、これを力覚制御データｄとして出力する。これにより、各通電加熱装置１２ｂは、対応するワイヤ１２ａに通電を行ない、各ワイヤ１２ａは、計算された引張力を発揮するので、触力覚提示部材１１が引っ張られ、ユーザ７０の指先には、提示データｂによって特定される触力覚が提示される。
　また、時間管理部１６は、振動発生部１３による振動の継続時間を管理し、継続時間を特定するデータ（以下、「タイマ管理データ」と表記する。）ｅを、制御部１４に出力する。制御部１４は、タイマ管理データｅを受け取ると、それによって特定される継続時間の間、触力覚提示部材１１の移動が開始されるタイミングで、又は移動の開始前のタイミングで、振動発生部１３に振動を発生させる。
　例えば、振動発生部１３が、圧電素子の場合は、制御部１４は、圧電素子の駆動用の信号を生成し、これを振動制御データｇとして、圧電素子に供給する。また、振動素子１３が、半円形の振動子と小型のモータとで構成されているのであれば、制御部１４は、モータ駆動用の信号を生成し、これを、振動制御データｇとして、モータに供給する。
［装置動作］ 
　次に、本発明の実施の形態１における情報端末１００及び触力覚提示装置１０の動作について図５を用いて説明する。図５は、本発明の実施の形態１における情報端末１００の動作を示すフロー図である。なお、以下の説明においては、適宜図１～図４を参酌する。また、本実施の形態１では、触力覚提示装置１０を動作させることによって、触力覚提示方法が実施される。よって、本実施の形態における触力覚提示方法の説明は、以下の触力覚提示装置１０の動作説明に代える。
　最初に、ユーザ７０（図１参照）は、触力覚提示部材１１越しに透けて見える、表示パネル２０に表示されたコンテンツを視認し、そして、コンテンツが提供する仮想空間内でオブジェクトを操作するため、タッチセンサ３０をタッチする。これにより、図５に示すように、タッチセンサ３０は、ユーザの指のタッチ位置を検出し、検出したタッチ位置を特定するタッチ検出データａを、情報処理部４０に出力する（ステップＳ１０１）。
　次に、情報処理部４０は、ステップＳ１０１で出力されたタッチ検出データａを受け取ると、コンテンツデータ４１を参照し、タッチ位置に合せてオブジェクトを変化させる処理（コンテンツ連動処理）を実行する（ステップＳ１０２）。
　また、ステップＳ１０２では、情報処理部４０は、コンテンツ連動処理の内容が反映されたコンテンツの表示情報を生成し、この表示情報を表示データｆとして表示パネル２０に出力する。更に、ステップＳ１０２では、情報処理部４０は、オブジェクトに仮想空間内で発生した力を算出し、算出した力を特定する提示データｂを、制御部１４に出力する。なお、ステップＳ１０２の詳細については、図６を用いて後述する。
　次に、制御部１４は、位置検出センサ３１から、位置検出データｃを受け取り、位置検出センサ３１によって検出された触力覚提示部材１１の位置を特定する（ステップＳ１０３）。更に、制御部１４は、時間管理部１６から、タイマ管理データｅを受け取り、振動発生部１３による振動の発生継続時間を特定する（ステップＳ１０４）。なお、ステップＳ１０３及びＳ１０４の順序は、同時であっても良いし、入れ替わっていても良い。
　次に、制御部１４は、ステップＳ１０２で出力された提示データｂと、ステップＳ１０３で特定した触力覚提示部材１１の位置と、ステップＳ１０４で特定した継続時間とに基づいて、触力覚の提示のための処理（触力覚の提示制御処理）を実行する（ステップＳ１０５）。
　具体的には、ステップＳ１０５では、制御部１４は、提示データｂと、触力覚提示部材１１の位置とに基づいて、目的となる触力覚を触力覚提示部材１１に発生させるため、４つのアクチュエータ１２の制御量を算出して力覚制御データｄを生成し、これを各アクチュエータ１２に出力する。また、制御部１４は、特定した継続時間の間、触力覚提示部材１１に振動を発生させるため、振動制御データｇを生成し、これを振動発生部１３に出力する。なお、ステップＳ１０５の詳細については、図７を用いて後述する。
　ステップＳ１０５が実行されると、触力覚提示装置１０は、ユーザ７０の指先に、振動と触力覚提示部材１１の移動による触力覚とを提示する（ステップＳ１０６）。また、表示パネル２０の表示画面２０ａには、ステップＳ１０２で情報処理部４０が出力した表示データｅに基づいて、コンテンツ連動処理後のコンテンツが表示される（ステップＳ１０７）。なお、ステップＳ１０６とステップＳ１０７とは、同時に実行されても良い。
　また、本実施の形態１においては、ステップＳ１０１～Ｓ１０７は、繰り返し実行される。よって、ユーザ７０が、ある点から別の点までをドラッグ操作した場合は、ドラッグの開始から終了までの間に、ステップＳ１０１～Ｓ１０７は繰り返し実行されるので、その間、ユーザ７０は、連続して、振動と触力覚との提示を受けることができる。
　ここで、図５に示したステップＳ１０１、Ｓ１０２、及びステップＳ１０５について、図６～図９を用いて更に詳細に説明する。
［ステップＳ１０１及びＳ１０２］
　まず、図６を用いて、ステップＳ１０１及びＳ１０２について具体的に説明する。図６は、本発明の実施の形態１において用いられるコンテンツの一例を示す図である。図６の例では、コンテンツはエアホッケーゲームであり、ユーザ７０は、指先のタッチによって、仮想空間内に存在している仮想マレット２１を操作して、仮想パック２２を打撃する。
　まず、ユーザ７０が、タッチセンサ３０にタッチすると、タッチセンサ３０は、ステップＳ１０１を実行し、ユーザ７０の指のタッチ位置を特定するタッチ検出データａを、情報処理部４０に出力する。
　そして、ステップＳ１０２において、情報処理部４０は、コンテンツ連動処理を実行して、実空間内での動作である指の動きと仮想空間内の仮想マレット２１及び仮想パック２２の動きとを連動させる。
　具体的には、情報処理部４０は、ユーザ７０のタッチによる指の動きに追従するように、仮想マレット２１を動かして、仮想空間内の仮想オブジェクトと実空間の物体（ユーザ７０の指）とのインタラクション（相互作用）を取る。このとき、情報処理部４０は、仮想空間内で物理シミュレーションを実行し、ユーザ７０のタッチによって仮想マレット２１と仮想パック２２とが接触した際の、これらの位置の変化及び接触力をシミュレートする。
　また、情報処理部４０は、タッチ検出データａを受け取ると、検出されたタッチ位置に仮想マレット３０を移動させるが、このとき、仮想マレット３０をタッチ位置に不連続に移動させると、仮想オブジェクト同士が互いに重複してしまうことがある。この場合、正確なシミュレートが難しくなる。
　そこで、情報処理部４０は、仮想マレット２１からタッチ位置までの距離と仮想マレット２１の速度とに比例した力を仮想マレット２１に加えていくＰＤ（Proportional-Deferential）制御を実行しながら、仮想マレット２１を移動させる。そして、情報処理部４０は、仮想マレット２１と仮想パック２２とが接触すると、仮想マレット２１及び仮想パック２２の仮想空間での物理係数に応じて、仮想マレット２１と仮想パック２２との接触で両者に生じた反力を計算する。なお、物理係数としては、仮想マレット２１及び仮想パック２２それぞれの、質量、速度、加速度、接触方向、反発係数等が挙げられる。
　また、この計算された反力のうち、仮想マレット２１が仮想パックから受けた反力が、触力覚提示部材１１によってユーザ７０に提示すべき触力覚に相当する（図６及び後述の図８参照）。よって、仮想マレット２１が仮想パックから受けた反力を「提示力Ｆ」とすると、情報処理部４０は、触力覚提示部材１１によって提示力Ｆが提示されるようにするため、提示力Ｆを特定する提示データｂを制御部１４に出力する。また、情報処理部４０は、仮想マレット２１と仮想パック２２との動きを表示するためのデータを、表示情報である表示データｆとして表示パネル２０に出力する。
［ステップＳ１０５］
　次に、図７及び図８を用いて、ステップＳ１０５で行われる触力覚の提示制御処理について詳細に説明する。図７は、図５に示したステップＳ１０５を具体的に示すフロー図である。図８は、アクチュエータの引張力の算出処理を説明する図である。
　図７に示すように、ステップＳ１０５では、制御部１４は、まず、触力覚提示部材１１を水平面に沿って動かすため、提示データｂと位置検出データｃとを用いて、各アクチュエータ１２（ワイヤ１２ａ）の引張力を計算する（ステップＳ２０１）。
　ここで、各アクチュエータ１２の引張力をτ１、τ２、τ３、τ４として、図８を用いて引張力τ１、τ２、τ３、τ４の算出処理について説明する。また、図８において、触力覚提示部材１１の位置は（ｘ，ｙ）で表わされ、座標の原点（０，０）は、矩形Ｓの中心に設定されている。更に、図８中の触力覚提示部材１１では、アクチュエータ１２のワイヤ１２ａの一端は各角に接続されているとする。
　また、図８において、矩形Ｓは、触力覚提示部材１１の角から矩形Ｓの対応する角までの距離が、各ワイヤ１２ａの長さ（ｌ１～ｌ４）に相当するように設定されている。更に、図８において、Ｈは矩形Ｓの縦の長さを示し、Ｗは矩形Ｓの横の長さを示している。また、ｈは触力覚提示部材１１の縦の長さを示し、ｗは触力覚提示部材１１の横の長さを示している。
　ステップＳ２０１では、まず、位置検出センサ３１から位置検出データｂが出力されてくると、制御部１４は、触力覚提示部材１１の位置（ｘ，ｙ）を特定し、これと、既知の長さ（Ｈ、Ｗ、ｈ、ｗ）とを元に、引張力の計算に利用する各アクチュエータの角度（φ１～φ４）を計算する。
　具体的には、図８において、長さがｌ１のワイヤ１２ａと矩形Ｓの短辺とのなす角をφＡ１とすると、余弦定理により、下記の数１～数３が成立する。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
Figure JPOXMLDOC01-appb-M000003
　更に、φＡ１と、座標（ｘ，ｙ）と、アクチュエータの長さｌ１との間には、下記の数４～数６の関係が成立する。
Figure JPOXMLDOC01-appb-M000004
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
　従って、制御部１４は、数１～数６に、座標（ｘ，ｙ）と既知の値とを適用して、φ１を算出する。また、φ２～φ４も同様の手順で算出される。
　続いて、制御部１４は、ステップＳ１０２で出力された提示データｂと、ステップＳ１０３で取得した座標（ｘ，ｙ）と、算出したφ１～φ４とを用いて、各アクチュエータ１２が出力すべき引張力τ１～τ４を計算する。
　ここで、図８において、触力覚提示部材１１の４つの頂点の位置を、その重心位置を基準とした位置ベクトル、即ち、ｒ１、ｒ２、ｒ３、ｒ４によって表すとする。触力覚提示部材１１が四角形である場合は、位置ベクトルｒ１、ｒ２、ｒ３、ｒ４それぞれの方向は、触力覚提示部材１１の縦の長さｈと横の長さｗとによって決定される。また、重心位置から各頂点までの距離は同一となるので、各位置ベクトルの量は同一となる。更に、図８において、Ｍは、触力覚提示部材１１をその重心を中心に回転させるモーメントであり、モーメントＭは、引張力τ１～τ４のバランス関係に応じて発生する。
　具体的には、本実施の形態１では、制御部１４は、下記の（ａ）～（ｄ）の条件が満たされるように、引張力τ１～τ４を計算する。
（ａ）引張力τ１～τ４の合力が、オブジェクト（仮想マレット２１：図６参照）に仮想空間内で発生した力、即ち、ステップＳ１０２で計算した提示力Ｆと一致すること。
（ｂ）引張力τ１～τ４によって触力覚提示部材１１に生じるモーメントＭが、仮想空間内でオブジェクトに発生したモーメントに一致すること。
（ｃ）引張力引張力τ１～τ４それぞれが、ワイヤ１２ａが弛まない最小の引張力τｍｉｎ以上であり、且つ、最小の引張力τｍｉｎは０（ゼロ）より大きいこと。
（ｄ）引張力τ１～τ４の合計値が、条件（ａ）～（ｃ）が満たされる範囲内で最小値となること。
　ところで、本実施の形態１においては、触力覚提示部材１１を拘束するための条件の自由度は３となるが、各アクチュエータ１２によって出力できる引張力は４自由度を持っており、冗長である。このため、最適化計算手法によって、引張力τ１～τ４を最適化する必要があり、上記の条件（ｄ）が設定されている。以下に、条件（ａ）～（ｄ）について具体的に説明する。
　条件（ａ）は、下記の数７によって表わすことができる。数７に示すように、引張力τ１～τ４の合力は、各引張力と、対応するアクチュエータ１２の角度と、の内積の和である。よって、内積の和と目的となる提示力Ｆとが一致することが必要となる。
Figure JPOXMLDOC01-appb-M000007
　条件（ｂ）におけるモーメントＭは、本実施の形態１では０（ゼロ）に設定される。よって、条件（ｂ）は、下記の数８によって表わすことができる。数８に示すように、モーメントＭは、位置ベクトルｒ１～ｒ４それぞれと、各引張力における触力覚提示部材１１の各角から重心に向かう方向の成分と、の外積の和である。この外積の和が０（ゼロ）となることが必要となる。なお、触力覚提示部材１に、設定されたモーメントを発生させたい場合には、Ｍの値に任意の値を代入し、得られた数８を用いれば良い。
Figure JPOXMLDOC01-appb-M000008
　条件（ｃ）は、いずれかのアクチュエータ１２が弛んで、触力覚提示部材１１が、ｘｙ平面に対して平行に移動できなくなることを防ぐために、設定されている。また、引張力が大きすぎると、ワイヤが切断されるおそがあるため、条件（ｃ）では、引張力の最大値が設定される。条件（ｃ）は、下記の数９によって表わすことができる。
Figure JPOXMLDOC01-appb-M000009
　条件（ｄ）は、上述したように引張力τ１～τ４を最適化するため、即ち、各アクチュエータ１２での消費エネルギを最小限に抑えるために設定されている。条件（ｄ）が設定されていない場合は、引張力τ１～τ４が無駄に大きくなる可能性がある。
　条件（ｄ）は、下記の数１０によって表わすことができる。数１０に示す関数は、各アクチュエータ１２の効率化を図りつつ、これらによる引張力の総和を最小化させることを目的としている。Ｊは、最適化を行なうため設定される目的関数値である。Ｊが最小化するように引張力τ１、τ２、τ３、τ４が算出される。数１０に示す関数を用いることで、最適化計算手法の１つである線形計画法が実行される。
Figure JPOXMLDOC01-appb-M000010
　以上に述べた条件（ａ）～（ｄ）が満たされるように、引張力τ１～τ４を算出すれば、これらの値は、目的となる提示力Ｆを提示するにあたっての最適な値となる。４本のアクチュエータ１２の引張力τ１、τ２、τ３、τ４の合力により、目的となる提示力Ｆが発生する。
　次に、制御部１４は、ステップＳ２０１で計算された引張力が、各アクチュエータ１２で発揮されるように、アクチュエータ１２毎に、対応する通電加熱装置１２ｂが供給すべき電力を計算する。そして、制御部１４は、計算した電力の供給を可能にする力覚制御データｄを作成し、これを、各アクチュエータ１２の通電加熱装置１２ｂに出力する（ステップＳ２０２）。
　次に、制御部１４は、振動の発生タイミングを設定する（ステップＳ２０３）。その後、制御部１４は、ステップＳ１０４で特定した継続時間に基づいて、振動制御データｄを生成し、ステップＳ２０３で設定したタイミングで、振動発生部１３に、振動制御データｄを出力する（ステップＳ２０４）。
　ここで、図９を用いてステップＳ２０３及びＳ２０４について説明する。図９は、振動の発生タイミングと触力覚提示部材の変位量との関係を示す図である。図９において、横軸は経過時間ｔを表しており、縦軸は触力覚提示部材１１の変位量を表している。また、図９において、変位量には、触力覚提示部１１がアクチュエータ１２の引張によって水平面に沿って移動した量と、振動発生部１３による振動によって移動した量との両方が含まれている。更に、図９において、前者の変位量は破線で表示され、後者の変位量は実線で表示されている。
　図９に示すように、コンテンツ上で触力覚の提示が必要となるイベントが発生すると同時に、アクチュエータ１２による触力覚提示部材１１の移動が開始されたとする。このとき、アクチュエータ１２の変位速度は構造上遅いため、実際に触力覚提示部材１１がアクチュエータ１２によって移動し始めてから、ユーザ７０が、触力覚の提示に気づくまでにタイムラグが発生する。ＴＤは、このタイムラグの時間である。
　これに対して、振動発生部１３の応答速度は速く、制御部１４が振動発生を指示してから実際に振動が発生するまでの時間は極めて短くなっているため、触力覚提示部材１１の移動の開始と略同時に、触覚提示部材１１に振動が発生する。このため、触力覚の提示が必要なイベントの発生後、すぐに、ユーザ７０は、触力覚提示が行われていることに気づくことができる。
　従って、ステップＳ２０３及びＳ２０４が実行されると、移動による触力覚の提示にタイムラグが発生する場合であっても、ユーザ７０は、この間に、振動を感じることができる。この結果、ユーザにおいて触力覚の提示に時間遅れを感じることが、抑制される。
［プログラム］
　本実施の形態１におけるプログラムは、コンピュータに、図５に示すステップＳ１０３～Ｓ１０６を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態１における触力覚提示装置１０と触力覚提示方法とを実現することができる。この場合、コンピュータのＣＰＵ（Central Processing Unit）は、制御部１４として機能し、処理を行なう。
　また、触力覚提示装置１０を実現可能なコンピュータは、特に限定されず、上述したマイコンであっても良いし、汎用のパーソナルコンピュータであっても良い。更に、触力覚提示装置１０を実現可能なコンピュータは、携帯電話、スマートフォン、又はタブレット型の情報端末に備えられているコンピュータであっても良い。
　また、本実施の形態１におけるプログラムは、コンピュータ読み取り可能な記録媒体に記録された状態で提供されても良いし、インターネット介して送信されても良い。なお、記録媒体の具体例としては、ＣＦ（Compact Flash（登録商標））及びＳＤ（Secure Digital）等の汎用的な半導体記憶デバイス、フレキシブルディスク（Flexible Disk）等の磁気記憶媒体、又はＣＤ－ＲＯＭ（Compact Disk Read Only Memory）などの光学記憶媒体が挙げられる。
［実施の形態１における効果］
　以上のように、本実施の形態１によれば、触力覚提示部材１１の移動による触力覚と、伝達速度の速い振動とを組み合わせて、ユーザに提示できるので、ユーザが触力覚の提示の時間遅れを感じ難くすることができる。また、この結果、以下の効果を得ることが可能になる。
　第１に、小型のアクチュエータを利用できるため、情報端末１００の小型化、薄型化、及び軽量化に貢献できる。
　第２に、触力覚と振動とを提示できるため、これらを組み合せることで、触力覚提示における表現のバリエーションを広げることが可能になる。
　第３に、変位速度が低いアクチュエータを利用しても、ユーザが触力覚の提示の時間遅れを感じ難くすることができるので、利用可能なアクチュエータのバリエーションの拡大を図ることができる。
（実施の形態２）
　次に本発明の実施の形態２における、触力覚提示装置、情報端末、触力覚提示方法、及びプログラムについて、図１０及び図１１を参照しながら説明する。図１０は、本発明の実施の形態２における情報端末の各構成部品を示す分解斜視図である。図１１（ａ）及び図１１（ｂ）は、図１０に示すアクチュエータの具体的な構成を示す図であり、図１１（ａ）は平面図、図１１（ｂ）は側面図である。
　図１０に示すように、本実施の形態２における情報端末２００及び触力覚提示装置８０は、タッチセンサ及びアクチュエータの構成において、図１及び図２に示した実施の形態１における情報端末１００及び触力覚提示装置１０と異なっている。以下、実施の形態１との相違点を中心に説明する。
　本実施の形態２では、図１０に示すように、タッチセンサ６０は、実施の形態１で用いられたタッチパネルと異なり、枠状のフレーム６０ａと、対向する２辺のうちの一方の辺に平行に配置された複数の発光素子６０ｂと、他方の辺に平行に配置された複数の受光素子６０ｃとを備えている。
　また、発光素子６０ｂの一部は、画面の垂直方向に沿って光を照射可能に配置され、残りは画面の水平方向に沿って光を照射可能に配置されている。このため、触力覚提示部材１１の面上をなぞるユーザ７０の指によって、照射されている光の一部が遮断されると遮断された部分がタッチ位置として検出される。そして、タッチセンサ６０も、検出したタッチ位置を特定するタッチ検出データａを情報処理部４０に出力する。
　また、図１０、図１１（ａ）及び図１１（ｂ）に示すように、本実施の形態２では、アクチュエータ６１は、ワイヤ６２と、ワイヤ引張部６３とを備えている。また、各ワイヤ６２の一端は、触力覚提示部材１１の角付近に設けられた貫通孔１１ｃによって、触力覚提示部材１１に接続されている。
　各ワイヤ引張部６３は、アクチュエータとして機能するモータ６３ａと、ワイヤ６２の巻取り用のプーリ６３ｂと、張力方向変換プーリ６３ｃとを備えている。この構成により、モータ６３ａによる回転力が、引張力として、ワイヤ６２を介して触力覚提示部材１１に伝達され、この結果、触力覚提示部１が引っ張られて、ユーザ７０（図１参照）に触力覚が提示される。
　具体的には、まず、モータ６３ａの回転力は、ワイヤ６２を巻き取るプーリ６３ｂにより、筐体５１の側面に沿った直線方向の引張力に変換される。次に、筐体５１の四隅に配置された張力方向変換プーリ６３ｃにより、引張力は、筐体の側面に沿った直線方向から、触力覚提示部材１１の貫通孔１１ｃから筐体５１の隅へと向かう方向へと変換される。よって、モータ６３ａが起動すると、発生した引張力により、触力覚提示部材１１は、張力方向変換プーリ６３ｃに向けて引っ張られる。
　更に、図１１（ａ）及び図１１（ｂ）に示すように、支持パネル２３と触力覚提示部材１１との間には、触力覚提示部材１１に形成された凸部１１ａ及び１１ｂによって空間が設けられ、ワイヤ６２は、この空間を介してワイヤ引張部６３へと導かれる。更に、凸部１１ａ及び１１ｂの断面は半円形を呈し、凸部１１ａ及び１１ｂは支持パネル２３に線で接触するので、触力覚提示部材１１の移動によって、支持パネルの表面が傷つくのが防止される。
　また、図１１（ａ）及び図１１（ｂ）に示すように、各モータ６３ａには、モータ６３ａの回転数を検出するためのセンサ６４が設けられている。センサ６４は、検出した回転数を特定するデータを制御部１４（図１０参照）に出力する。なお、センサ６４の具体例としては、光学式のロータリエンコーダが挙げられる。
　そして、モータ６３ａの回転数が分かれば、プーリ６３ｂの周長が既知であることから、ワイヤ６２の長さも分かる。よって、各ワイヤ６２は弛んでいないとすると、各ワイヤ６２の長さが分かれば、これらの長さから、触力覚提示部材１１の位置を特定することが可能となる。このため、本実施の形態２においては、実施の形態１のように、位置検出センサを配置する必要がなく、装置構成を簡略化できる。
　また、実施の形態２によれば、アクチュエータのサイズは多くなるが、触力覚提示部材１１に大きな力を与えることができることから、実施の形態２は、表示パネル２０のサイズが大きい場合に有効である。
　更に、モータ６３ａとして、ギアが内蔵されたギアードモータを用いれば、モータを小型化しつつ、提示力を高めることができる。また、この場合、触力覚提示部材１１の変位速度は低下するが、振動発生部１３による振動により、実施の形態１と同様に、ユーザにおける触力覚の提示の時間遅れは感じ難くなる。
　また、図１０、図１１（ａ）及び（ｂ）に示したように、ワイヤ６２を筐体５１側へと引っ張る際において引張の開始点となる張力方向変換プーリ６３ｃそれぞれは、これらを互いに線で結んだときに、筐体５１の形状に合致する矩形が形成されるように配置されている。しかしながら、本実施の形態２において、引張の開始点の位置は特に限定されず、各引張の開始点は、これらを互いに線で結んだときに、例えば、平行四辺形、台形が形成されるように配置されていても良い。また、各引張の開始点は、同一平面内に位置していなくても良いし、個数は４点である必要もない。
　なお、本実施の形態２において、情報端末２００及び触力覚提示装置８０の動作は、実施の形態１において図５に示した動作と同様である。また、本実施の形態２においても、触力覚提示装置８０を動作させることによって、触力覚提示方法が実施される。更に、本実施の形態２におけるプログラムは、図５に示すステップＳ１０３～Ｓ１０６に準じたステップを、コンピュータに実行させるプログラムであれば良い。
（変形例）
　続いて、上述した実施の形態１及び２の各種変形例について以下に説明する。まず、実施の形態１及び実施の形態２においては、表示パネル２０は、触力覚提示部材１１と一緒に移動しないが、表示パネル２０も、触力覚提示部材１１と一緒に移動しても良い。更に、図２に示した透明なパネルの代わりに、表示パネル２０自体を、触力覚提示部材１１として用いても良い。
　但し、この場合、表示パネル２０が筐体５１（図２参照）に対して移動するため、そのままでは、画面２０ａも一緒に移動してしまう。よって、情報処理部４０は、ユーザから見て、コンテンツ映像が表示パネル２０に連動して動かないようにするため、表示パネル２０の移動方向と逆の方向にコンテンツ映像を移動させて表示する、といった処理を実行するのが好ましい。
　上述した実施の形態１及び２では、触力覚提示部材１１を水平面に沿って移動させるために、４つのアクチュエータが用いられているが、アクチュエータの数は、特に限定されるものではない。例えば、平面上の任意の方向に触力覚提示部材を移動させて、触力覚を提示する場合であれば、アクチュエータは少なくとも３本あれば良い。
　更に、触力覚提示部材を直線上で任意の方向に移動させて、触力覚を提示するのであれば、アクチュエータは２本あれば良い。また、触力覚提示部材を、重力等の外部力とのつり合いを利用して移動させて、触力覚を提示する場合であれば、アクチュエータは１本であっても良い。加えて、触力覚提示部材１１を、平面上及び三次元空間内の任意の方向に移動又は回転させて、触力覚を提示するのであれば、アクチュエータは４本以上であっても良い。
　上述した実施の形態１及び２では、触力覚提示部材１１は、水平面（表示パネル２０の前面）に沿っての移動しか行なっていないが、本発明では、触力覚提示部材１１の移動方向は、これに限定されることはない。アクチュエータによる触力覚提示部材１１の移動方向は、水平面に垂直な方向等であっても良い。更に、触力覚提示部材１１の形状も、本発明では、パネル状に限定されることはない。また、これらの点から、触力覚提示装置は、ユーザの指の各関節に対して、触力覚をフィードバックする構成（例えば、手袋状の構成）を備えていても良い。更に、触力覚提示装置は、触力覚提示部材がペン形状となったものであっても良い。
　また、アクチュエータは、上述した実施の形態１及び２に示したものに限定されることはない。例えば、アクチュエータは、リンク機構を備えた構成であっても良い。更に、アクチュエータは、気体を放出する機能を備えていても良く、この場合は、気体の放出によっても触力覚の提示が行なわれることになる。
　また、上述した実施の形態１及び２では、ユーザの指の動きに連動して、仮想空間内でオブジェクトが移動した場合に、触力覚が提示される例が示されているが（図６参照）、これに限定される趣旨ではない。実施の形態１及び２は、オブジェクトが移動以外の変化を行なう場合、例えば、オブジェクトの形状、色、大きさ等が変化した場合にも適用できる。また、ユーザによる操作の対象となったオブジェクトに応じて、提示される触力覚が異なっていても良い。
　更に、上述した実施の形態１及び２では、コンテンツ表示のための処理を行なう情報処理部４０は、表示パネル、タッチセンサ、及び触力覚提示装置と共に、同じ筐体に収容されているが、これに限定されるものではない。情報処理部４０は、外部のパーソナルコンピュータといったコンピュータによって実現されていても良い。また、この場合、制御部１４も、情報処理部を実現するコンピュータによって実現されていても良い。
（適用例）
　続いて、上述した実施の形態１及び実施の形態２の各種適用例について以下に説明する。
　実施の形態１及び２における触力覚提示装置は、移動のナビゲーションに適用できる。例えば、触力覚提示装置は、歩行中のユーザに目的地をナビゲーションする際に、ユーザのタッチしている指に、進行すべき方向を触力覚により提示することができる。この場合、ナビゲーションの方向がコンテンツとして提示したい情報になる。
　実施の形態１及び２における触力覚提示装置は、スクロールする画面の動きに連動した触力覚を提示することで、より実体的な操作感をユーザに提供できる。例えば、画面のスクロールにおいて、これ以上の情報が無くてスクロールができない場合に、表示画面をスクロール方向においてバウンドさせてスクロールできないことを知らせる表示方法が知られている。この表示方法が採用される場合に、表示画面のバウンドに連動して触力覚が提示されるようにすれば、ユーザは、より実体的に、情報を素早く正確に受け取ることが可能になる。
　実施の形態１及び２における触力覚提示装置は、表示されているコンテンツがｗｅｂサイトである場合において、タッチしている指の下にＬｉｎｋボタン等があることを触力覚により提示することができる。この場合、ユーザは、表示情報だけでは得にくい情報を受け取ることができる。更に、触力覚提示装置は、Ｌｉｎｋ先に有害なサイトが含まれる場合は、ユーザがＬｉｎｋボタンを押しにくくなるように、触力覚の提示によって警告を行なうこともできる。
　実施の形態１及び２における触力覚提示装置は、仮想のオブジェクト（仮想物体）との連動に限らず、マスタ・スレーブのロボットアームなどの入力操作の動作反応に利用可能である。例えば、ユーザが画面を見ながらロボットアームを遠隔操作して実物体を操作する場合において、触力覚提示装置は、障害物に接触したことの反応、障害物に接触する前の警告等として、触力覚を提示することができる。この場合、ユーザは、より安全で正確に、ロボットアームを操作することができる。
　実施の形態１及び２における触力覚提示装置は、触地図などの状態把握に利用可能である。つまり、触力覚提示装置は、視覚障がい者における地図把握として利用できる。また、一般ユーザが３Ｄ迷路等において壁及び道順を理解する際に、触力覚提示装置によって、壁及び道に対応する触力覚を提示させれば、ユーザにおける形状及び状態の把握が容易となる。
　実施の形態１及び２における触力覚提示装置は、文字学習における漢字書き順の情報提示に利用可能である。子どもが漢字学習における文字の書く順番理解のため、触力覚提示装置によって、書き順序、とび、はね等が不正確であるときに、正しい入力方向以外の入力に抵抗力を触力覚として提示すれば良い。触力覚提示装置は、文字学習の補助に有用である。
　実施の形態１及び２における触力覚提示装置は、機器操作の際のクリック感覚のフィードバックとして、表示パネルに平行な方向に動かされた触力覚提示が可能である。また、入力のためのキー操作において、触力覚によるフィードバックは重要であるため、触力覚提示装置は、ユーザにとって理解しやすいように、フィードバックを変更することもできる。更に、触力覚提示装置は、ユーザの入力が変化した場合は、従来のクリック感覚とは異なるフィードバックを返すことにより、ユーザに入力変化を気付かせることもできる。
　また、タッチパネルによる文字の入力方式として、フリック方式と呼ばれる入力方式が知られている。フリック方式では、指がタッチした位置と指をスライドさせた方向とにより入力文字が決定される。このフリック方式に、実施の形態１及び２おける触力覚提示装置を適用した場合は、スライドさせる方向にのみ指がスライドしやすくなり、スライドにより選択できない方向への指の動きに抵抗が生じるように、触力覚を提示できる。この場合、ユーザが文字の選択時に誤った動きをしないようにでき、文字の入力が容易となる。
　実施の形態１及び２における触力覚提示装置は、ピアノなどの楽器操作のシミュレーション、手術のシミュレーション、粘土造形のシミュレーションにおいて、フィードバック装置として利用可能である。つまり、触力覚提示装置は、機器使用の事前学習、エンタテイメントのひとつとして、入力に対する機器のフィードバックとして触力覚提示をすることができる。
　実施の形態１及び２における触力覚提示装置は、Ｗｅｂサイト及びテレビといった実店舗以外での商品の購入において、商品の状態認識に利用可能である。実店舗での商品購入と異なり、Ｗｅｂサイト及びテレビでの商品購入においては、商品の実感が問題となる。このため、触力覚提示装置を利用すれば、ユーザは、商品に触った際の触覚情報を得る事が出来るので、より商品を理解したうえで購入を行なうことができる。
　実施の形態１及び２における触力覚提示装置は、錯視絵の理解などエンタテイメントとして利用可能である。この場合、触力覚提示装置は、視覚情報と一致しない触力覚を提示情報としてユーザに与えることにより、ユーザに違和感を提示する。例えば Maurits CornelisEscher 作の螺旋階段が続く錯視絵は、実物としては触ることができないが、触力覚提示装置を用いれば、仮想空間内の物体の感触を提示できるので、ユーザは、錯視絵に触れることもできる。
　実施の形態２に示した情報端末２００と同様の構成の情報端末を作成し、これを用いて、ユーザに対して力覚提示の時間的な遅れを感じさせない提示が行えるかどうかの評価を行なった。図１２は、実施例における情報端末を示す図であり、図１２（ａ）は平面図、図１２（ｂ）は部分断面図である。
　図１２（ｂ）に示すように、本実施例において、触力覚提示部材１１は、二枚の透明なパネル１１ｄ及び１１ｅによって構成されている。振動発生部１３としては圧電素子が用いられており、二つの圧電素子がパネル１１ｄとパネル１１ｅとの間に挟み込まれている。
　また、本実施例では、触力覚提示部材１１の移動に用いるアクチュエータは、実施の形態２において、図１０、図１１（ａ）及び（ｂ）に示した例と同様に、ワイヤ６２とワイヤ引張部（図１２において図示せず）とによって構成されている。触力覚提示部材１１は、モータを用いワイヤ６２により引張することによって、水平面に沿って移動し、触力覚を提示する。
　また、本実施例では、仮想空間内に配置されている仮想の立方体１１１をユーザがタッチしている時に、立方体１１１に仮想の球１１０が衝突し、ユーザ７０の指に衝突に応じた触力覚が提示されるとする。
（検証１）
　まず、アクチュエータによる触力覚の提示が行なわれる迄に、疑似的に時間遅れを発生させ、その際に、振動の有無によって、ユーザが時間遅れをどのように感じるかを検証した。
　図１３は、実施例の検証１における振動の継続時間と触力覚提示部材の変位量との関係を示す図である。図１３に示すように、本実施例の検証１では、触力覚の発生が必要となると、まず、振動の発生が実行され、その後、触覚提示部材のアクチュエータによる移動が開始される。検証１では、アクチュエータによる触力覚の提示が行なわれる迄に、疑似的に時間遅れを発生させ、ユーザに、その時の時間遅れを評価させている。
　また、図１３において、ＴＦはアクチュエータによる触力覚の提示の遅れ時間（提示遅れ時間）を示し、ＴＶは振動の継続時間を示し、Ｔｏはアクチュエータによる触力覚の提示時間を示している。検証１では、ＴＦ＝ＴＶである。更に、振動の発生が終了すると同時に、アクチュエータによる触覚提示部材の移動が開始されるが、アクチュエータの変位速度は速く、アクチュエータによる触力覚の提示によっては、ユーザは時間遅れを感じないとする。
　そして、五人のユーザによって、提示遅れ時間ＴＦが、０．０［ｓ］、０．２５［ｓ］、０．５［ｓ］、０．７５［ｓ］、１．００［ｓ］となる五つの場合について、「遅れがないと感じる」から「遅れがあると感じる」までの５段階の評定値で評価を行なわせた。結果を図１４に示す。
　図１４は、実施例の検証１におけるユーザによる評価の結果を示す図である。図１４において、横軸はアクチュエータによる触力覚の提示の遅れ時間ＴＦを示し、縦軸は評定値を示す。図１４に示すように、検証１では、ユーザによる評価は、アクチュエータによる触力覚の提示の前に、振動による提示を行なった場合（図中■）と、振動による提示を行なわなかった場合（図中●）との両方について行なわれている。なお、縦軸における評定値は、五人のユーザの評定値の平均値である。
　図１４に示すように、アクチュエータによる触力覚の提示の前に、振動による提示を行なった場合（図中■）は、振動による提示を行なわなかった場合（図中●）に比べて、有意に遅れがないと感じるユーザが多く、評定値が高いことが分かる。具体的には、振動による提示を行なうことで、振動による提示を行なわなかった場合に足して、約０．２［ｓ］ほど、ユーザにおいて、触力覚提示の時間遅れを感じ難くさせることが可能となっている。
（検証２）
　次に、振動の継続時間の長さと、ユーザにおける時間遅れの感じ方との関係について検証した。
　図１５（ａ）～（ｃ）は、実施例の検証２における振動の継続時間と触力覚提示部材の変位量との関係を示す図であり、それぞれ、振動の継続時間の長さが異なっている。図１５（ａ）～（ｃ）に示すように、本実施例の検証２でも、検証１と同様に、触力覚の発生が必要となると、まず、振動の発生が実行され、その後、触覚提示部材のアクチュエータによる移動が開始される。また、検証２では、図１５（ａ）～（ｃ）の三パターンについて検証が行なわれる。
　図１５（ａ）～（ｃ）において、ＴＦはアクチュエータによる触力覚の提示の遅れ時間（提示遅れ時間）を示し、ＴＶは振動の継続時間を示し、Ｔｏはアクチュエータによる触力覚の提示時間を示している。また、図１５（ａ）は、アクチュエータによる触力覚の提示の開始前に振動提示を終了させ、時間的に「間隔」を空けたパターン（間隔：ＴＦ＞ＴＶ）を示している。図１５（ｂ）は、アクチュエータによる触力覚の提示の開始時刻が振動の終了時刻と「同時」に設定されたパターン（同時：ＴＦ＝ＴＶ）を示している。図１５（ｃ）は、振動の継続とアクチュエータによる触力覚の提示とが「重複」しているパターン（重複：ＴＦ＜ＴＶ）を示している。
　そして、五人のユーザによって、図１５（ａ）～（ｃ）に示す各パターンについて、提示遅れ時間ＴＦが、０．０［ｓ］、０．２５［ｓ］、０．５［ｓ］、０．７５［ｓ］、１．００［ｓ］となる五つの場合について、「遅れがないと感じる」から「遅れがあると感じる」までの５段階の評定値で評価を行なわせた。結果を図１６に示す。
　図１６は、実施例の検証２におけるユーザによる評価の結果を示す図である。図１６においても、横軸はアクチュエータによる触力覚の提示の遅れ時間ＴＦを示し、縦軸は評定値を示す。図１６には、上述の３つのパターンそれぞれにおけるユーザの評価が示されている。図１６において、「●」は図１５（ａ）に示すパターン（間隔）を示し、「■」は図１５（ｂ）に示すパターン（同時）を示し、「▲」は図１５（ｃ）に示すパターン（重複）を示す。
　図１６に示すように、有意に力覚提示の時間遅れがないと感じるユーザは、図１５（ａ）に示すパターン（間隔）で最も多く、次いで、図１５（ｂ）に示すパターン（同時）、図１５（ｃ）に示すパターン（重複）となっている。つまり、図１６は、アクチュエータによる触力覚の提示（力覚提示）の開始前に振動提示を終了させた場合に、他の場合に比べて、ユーザが有意に力覚提示の時間遅れを感じ難いことを示している。
　以上の二つの検証結果から、アクチュエータによる触力覚の提示に加えて、振動による触力覚の提示を行なえば、ユーザは、触力覚の提示において、時間遅れを感じ難くなることが確認できた。つまり、実施例により、振動による触力覚提示を行なうことの有効性が証明された。
　上記の二つの検証結果から、アクチュエータによる触力覚の提示と、振動による触力覚の提示とは、触力覚提示が必要となるイベントの発生後、できる限り早いタイミングで開始されるのが好ましい。また、本実施例では、疑似的に力覚提示の時間遅れを発生させたため、変位速度の速いアクチュエータが用いられているが、本発明はこれに限定されない。本発明では、変位速度が低いアクチュエータを用いることができ、この場合は、できる限り早いタイミングで振動による触力覚提示が行なわれるのが好ましい。
　上述した実施の形態及び実施例の一部又は全部は、以下に記載する（付記１）～（付記１９）によって表現することができるが、以下の記載に限定されるものではない。
（付記１）
　表示パネルの画面上で入力操作を行なうユーザに触力覚を提示するための装置であって、
　前記ユーザに触力覚を伝達するための、触力覚提示部材と、
　前記触力覚の提示のために、前記触力覚提示部材を移動させる、アクチュエータと、
　前記触力覚提示部材に振動を発生させる、振動発生部と、
　前記アクチュエータ及び前記振動発生部を制御する制御部と、を備え、
　前記制御部は、前記表示パネルの画面上のコンテンツが、前記画面上での前記ユーザの入力操作に対応して変化した場合に、
前記コンテンツの変化に対応する前記触力覚が提示されるように、前記アクチュエータに対して、前記触力覚提示部材の移動を指示し、
前記触力覚提示部材の移動の開始と同時に又は移動の開始前に前記触力覚提示部材に振動が発生するように、前記振動発生部に対して、振動の発生を指示する、
ことを特徴とする触力覚提示装置。
（付記２）
　前記触力覚提示部材が、光透過性のパネル状を呈し、且つ、前記表示パネルの前面側に配置され、
　前記アクチュエータが、前記触力覚提示部材を前記表示パネルの前面に沿って移動させる、
付記１に記載の触力覚提示装置。
（付記３）
　前記制御部が、前記振動発生部に対して、前記触力覚提示部の移動が完了するまでの間、前記振動発生部に対して、振動の発生を指示する、
付記１または２に記載の触力覚提示装置。
（付記４）
　前記振動発生部による振動の継続時間を管理し、前記継続時間を特定するデータを、前記制御部に出力する、時間管理部を更に備え、
　前記制御部が、出力されてきた前記データによって特定される前記継続時間の間、前記振動発生部に振動を発生させる、
付記１～３のいずれかに記載の触力覚提示装置。
（付記５）
　前記アクチュエータが、複数のワイヤ状のアクチュエータであり、
　前記複数のワイヤ状のアクチュエータは、それぞれの一端で、前記触力覚提示部材に接続され、それぞれの引張力によって前記触力覚提示部材を移動させる、
付記１～４のいずれかに記載の触力覚提示装置。
（付記６）
　前記アクチュエータが、前記触力覚提示部材を保持するための複数のワイヤと、前記複数のワイヤ毎に設けられ、且つ、対応するワイヤを引張するワイヤ引張部と、を備えている、付記１～５のいずれかに記載の触力覚提示装置。
（付記７）
　コンテンツを画面に表示させる、表示パネルと、
　前記画面上のユーザによってタッチされた位置を検出する、タッチセンサと、
　前記タッチセンサによって検出された位置に応じて入力操作を受け付け、受け付けた入力操作に対応して前記コンテンツを変化させる、情報処理部と、
　前記ユーザに対して触力覚を提示可能な触力覚提示装置と、を備え、
　前記触力覚提示装置は、
前記ユーザに触力覚を伝達するための、触力覚提示部材と、
前記触力覚の提示のために、前記触力覚提示部材を移動させる、アクチュエータと、
前記触力覚提示部材に振動を発生させる、振動発生部と、
前記アクチュエータ及び前記振動発生部を制御する制御部と、を備え、
　前記制御部は、前記表示パネルの画面上のコンテンツが、前記情報処理部によって、前記画面上での前記ユーザの入力操作に対応して変化した場合に、
前記コンテンツの変化に対応する前記触力覚が提示されるように、前記アクチュエータに対して、前記触力覚提示部材の移動を指示し、
前記触力覚提示部材の移動の開始と同時に又は移動の開始前に前記触力覚提示部材に振動が発生するように、前記振動発生部に対して、振動の発生を指示する、
ことを特徴とする情報端末。
（付記８）
　前記触力覚提示部材が、光透過性のパネル状を呈し、且つ、前記表示パネルの前面側に配置され、
　前記タッチセンサが、前記触力覚提示部材の前面側に配置されたタッチパネルであり、
　前記アクチュエータが、前記触力覚提示部材を前記タッチセンサと共に、前記表示パネルの前面に沿って移動させる、
付記７に記載の情報端末。
（付記９）
　前記タッチセンサが、前記表示パネルの前面側に配置されたタッチパネルであり、
　前記タッチパネルが前記触力覚提示部材として機能する、又は前記タッチパネルと前記表示パネルとが一体となって前記触力覚提示部材として機能する、
付記７に記載の情報端末。
（付記１０）
　前記制御部が、前記振動発生部に対して、前記触力覚提示部の移動が完了するまでの間、前記振動発生部に対して、振動の発生を指示する、
付記７～９のいずれかに記載の情報端末。
（付記１１）
　前記振動発生部による振動の継続時間を管理し、前記継続時間を特定するデータを、前記制御部に出力する、時間管理部を更に備え、
　前記制御部が、出力されてきた前記データによって特定される前記継続時間の間、前記振動発生部に振動を発生させる、
付記７～１０のいずれかに記載の情報端末。
（付記１２）
　前記アクチュエータが、複数のワイヤ状のアクチュエータであり、
　前記複数のワイヤ状のアクチュエータは、それぞれの一端で、前記触力覚提示部材に接続され、それぞれの伸長又は収縮によって前記触力覚提示部材を移動させる、
付記７～１１のいずれかに記載の情報端末。
（付記１３）
　前記アクチュエータが、前記触力覚提示部材を保持するための複数のワイヤと、前記複数のワイヤ毎に設けられ、且つ、対応するワイヤを引張するワイヤ引張部と、を備えている、付記７～１２のいずれかに記載の情報端末。
（付記１４）
　表示パネルの画面上で入力操作を行なうユーザに触力覚を提示するための方法であって、
前記ユーザに触力覚を伝達するための、触力覚提示部材と、前記触力覚の提示のために、前記触力覚提示部材を移動させる、アクチュエータと、前記触力覚提示部材に振動を発生させる、振動発生部とを備える装置を用い、
（ａ）前記表示パネルの画面上のコンテンツが、前記画面上での前記ユーザの入力操作に対応して変化した場合に、前記コンテンツの変化に対応する前記触力覚が提示されるように、前記アクチュエータに対して、前記触力覚提示部材の移動を指示する、ステップと、
（ｂ）前記触力覚提示部材の移動の開始と同時に又は移動の開始前に前記触力覚提示部材に振動が発生するように、前記振動発生部に対して、振動の発生を指示する、ステップと、
を有することを特徴とする触力覚提示方法。
（付記１５）
　前記（ｂ）のステップにおいて、前記振動発生部に対して、前記触力覚提示部の移動が完了するまでの間、前記振動発生部に対して、振動の発生を指示する、
付記１４に記載の触力覚提示方法。
（付記１６）
（ｃ）前記振動発生部による振動の継続時間を管理し、前記継続時間を特定するデータを、前記制御部に出力する、ステップを更に有し、
　前記（ｂ）のステップで、前記（ｃ）のステップによって出力されてきた前記データによって特定される前記継続時間の間、前記振動発生部に振動を発生させる、
付記１４又は１５に記載の触力覚提示方法。
（付記１７）
　表示パネルの画面上で入力操作を行なうユーザに触力覚を伝達するための、触力覚提示部材と、前記触力覚の提示のために、前記触力覚提示部材を移動させる、アクチュエータと、前記触力覚提示部材に振動を発生させる、振動発生部と、コンピュータとを備える装置において、
前記コンピュータに、
（ａ）前記表示パネルの画面上のコンテンツが、前記画面上での前記ユーザの入力操作に対応して変化した場合に、前記コンテンツの変化に対応する前記触力覚が提示されるように、前記アクチュエータに対して、前記触力覚提示部材の移動を指示する、ステップと、
（ｂ）前記触力覚提示部材の移動の開始と同時に又は移動の開始前に前記触力覚提示部材に振動が発生するように、前記振動発生部に対して、振動の発生を指示する、ステップと、
を実行させる、命令を含むプログラムを記録しているコンピュータ読み取り可能な記録媒体。
（付記１８）
　前記（ｂ）のステップにおいて、前記振動発生部に対して、前記触力覚提示部の移動が完了するまでの間、前記振動発生部に対して、振動の発生を指示する、
付記１７に記載のコンピュータ読み取り可能な記録媒体。
（付記１９）
前記プログラムが、
（ｃ）前記振動発生部による振動の継続時間を管理し、前記継続時間を特定するデータを、前記制御部に出力する、ステップを前記コンピュータに実行させる命令を更に含み、
　前記（ｂ）のステップで、前記（ｃ）のステップによって出力されてきた前記データによって特定される前記継続時間の間、前記振動発生部に振動を発生させる、
付記１７又は１８に記載のコンピュータ読み取り可能な記録媒体。
　以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１２年８月３１日に出願された日本出願特願２０１２－１９２５０７を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　本発明によれば、触力覚の提示において、アクチュエータの性能による影響を受けることなく、ユーザに対して、触力覚の提示の時間遅れを感じ難くすることが可能となる。本発明は、触力覚の提示が求められる各種分野、例えば、コンピュータインターフェース、各種シミュレーション、ゲーム等に有用である。
　１０　触力覚提示装置（実施の形態１）
　１１　触力覚提示部材
　１１ａ、１１ｂ　凸部
　１１ｃ　貫通孔
　１１ｄ、１１ｅ　パネル
　１２　アクチュエータ
　１２ａ　形状記憶合金で形成されたワイヤ
　１２ｂ　通電加熱装置
　１３　振動発生部
　１４　制御部
　１５　プーリ
　１６　時間管理部
　２０　表示パネル
　２１　仮想マレット
　２２　仮想パック
　２３　支持パネル
　３０　タッチセンサ（タッチパネル）
　４０　情報処理部
　４１　コンテンツデータ
　５０　カバー
　５１　筐体
　６０　タッチセンサ
　６０ａ　フレーム
　６０ｂ　発光素子
　６０ｃ　受光素子
　６１　アクチュエータ
　６２　ワイヤ
　６３　ワイヤ引張部
　６３ａ　モータ
　６３ｂ　巻取り用のプーリ
　６３ｃ　張力方向変換プーリ
　６４　センサ
　７０　ユーザ
　８０　触力覚提示装置（実施の形態２）
　１００　情報端末（実施の形態１）
　１１０　仮想球
　１１１　仮想立方体
　２００　情報端末（実施の形態２）
　ａ　タッチ検出データ
　ｂ　提示データ
　ｃ　位置検出データ 
　ｄ　力覚制御データ 
　ｅ　タイマ管理データ
　ｆ　表示データ
　ｇ　振動制御データ
 

Claims (9)

  1. 　表示パネルの画面上で入力操作を行なうユーザに触力覚を提示するための装置であって、
    　前記ユーザに触力覚を伝達するための、触力覚提示部材と、
    　前記触力覚の提示のために、前記触力覚提示部材を移動させる、アクチュエータと、
    　前記触力覚提示部材に振動を発生させる、振動発生部と、
    　前記アクチュエータ及び前記振動発生部を制御する制御部と、を備え、
    　前記制御部は、前記表示パネルの画面上のコンテンツが、前記画面上での前記ユーザの入力操作に対応して変化した場合に、
    前記コンテンツの変化に対応する前記触力覚が提示されるように、前記アクチュエータに対して、前記触力覚提示部材の移動を指示し、
    前記触力覚提示部材の移動の開始と同時に又は移動の開始前に前記触力覚提示部材に振動が発生するように、前記振動発生部に対して、振動の発生を指示する、
    ことを特徴とする触力覚提示装置。
  2. 　前記触力覚提示部材が、光透過性のパネル状を呈し、且つ、前記表示パネルの前面側に配置され、
    　前記アクチュエータが、前記触力覚提示部材を前記表示パネルの前面に沿って移動させる、
    請求項１に記載の触力覚提示装置。
  3. 　前記制御部が、前記振動発生部に対して、前記触力覚提示部の移動が完了するまでの間、前記振動発生部に対して、振動の発生を指示する、
    請求項１または２に記載の触力覚提示装置。
  4. 　前記振動発生部による振動の継続時間を管理し、前記継続時間を特定するデータを、前記制御部に出力する、時間管理部を更に備え、
    　前記制御部が、出力されてきた前記データによって特定される前記継続時間の間、前記振動発生部に振動を発生させる、
    請求項１～３のいずれかに記載の触力覚提示装置。
  5. 　前記アクチュエータが、複数のワイヤ状のアクチュエータであり、
    　前記複数のワイヤ状のアクチュエータは、それぞれの一端で、前記触力覚提示部材に接続され、それぞれの引張力によって前記触力覚提示部材を移動させる、
    請求項１～４のいずれかに記載の触力覚提示装置。
  6. 　前記アクチュエータが、前記触力覚提示部材を保持するための複数のワイヤと、前記複数のワイヤ毎に設けられ、且つ、対応するワイヤを引張するワイヤ引張部と、を備えている、請求項１～５のいずれかに記載の触力覚提示装置。
  7. 　コンテンツを画面に表示させる、表示パネルと、
    　前記画面上のユーザによってタッチされた位置を検出する、タッチセンサと、
    　前記タッチセンサによって検出された位置に応じて入力操作を受け付け、受け付けた入力操作に対応して前記コンテンツを変化させる、情報処理部と、
    　前記ユーザに対して触力覚を提示可能な触力覚提示装置と、を備え、
    　前記触力覚提示装置は、
    前記ユーザに触力覚を伝達するための、触力覚提示部材と、
    前記触力覚の提示のために、前記触力覚提示部材を移動させる、アクチュエータと、
    前記触力覚提示部材に振動を発生させる、振動発生部と、
    前記アクチュエータ及び前記振動発生部を制御する制御部と、を備え、
    　前記制御部は、前記表示パネルの画面上のコンテンツが、前記情報処理部によって、前記画面上での前記ユーザの入力操作に対応して変化した場合に、
    前記コンテンツの変化に対応する前記触力覚が提示されるように、前記アクチュエータに対して、前記触力覚提示部材の移動を指示し、
    前記触力覚提示部材の移動の開始と同時に又は移動の開始前に前記触力覚提示部材に振動が発生するように、前記振動発生部に対して、振動の発生を指示する、
    ことを特徴とする情報端末。
  8. 　表示パネルの画面上で入力操作を行なうユーザに触力覚を提示するための方法であって、
    前記ユーザに触力覚を伝達するための、触力覚提示部材と、前記触力覚の提示のために、前記触力覚提示部材を移動させる、アクチュエータと、前記触力覚提示部材に振動を発生させる、振動発生部とを備える装置を用い、
    （ａ）前記表示パネルの画面上のコンテンツが、前記画面上での前記ユーザの入力操作に対応して変化した場合に、前記コンテンツの変化に対応する前記触力覚が提示されるように、前記アクチュエータに対して、前記触力覚提示部材の移動を指示する、ステップと、
    （ｂ）前記触力覚提示部材の移動の開始と同時に又は移動の開始前に前記触力覚提示部材に振動が発生するように、前記振動発生部に対して、振動の発生を指示する、ステップと、
    を有することを特徴とする触力覚提示方法。
  9. 　表示パネルの画面上で入力操作を行なうユーザに触力覚を伝達するための、触力覚提示部材と、前記触力覚の提示のために、前記触力覚提示部材を移動させる、アクチュエータと、前記触力覚提示部材に振動を発生させる、振動発生部と、コンピュータとを備える装置において、
    前記コンピュータに、
    （ａ）前記表示パネルの画面上のコンテンツが、前記画面上での前記ユーザの入力操作に対応して変化した場合に、前記コンテンツの変化に対応する前記触力覚が提示されるように、前記アクチュエータに対して、前記触力覚提示部材の移動を指示する、ステップと、
    （ｂ）前記触力覚提示部材の移動の開始と同時に又は移動の開始前に前記触力覚提示部材に振動が発生するように、前記振動発生部に対して、振動の発生を指示する、ステップと、
    を実行させる、命令を含むプログラムを記録しているコンピュータ読み取り可能な記録媒体。
     
PCT/JP2013/072527 2012-08-31 2013-08-23 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体 Ceased WO2014034550A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US14/419,686 US9727140B2 (en) 2012-08-31 2013-08-23 Tactile force sense presentation device, information terminal, tactile force sense presentation method, and computer-readable recording medium
JP2014532974A JP6264287B2 (ja) 2012-08-31 2013-08-23 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2012192507 2012-08-31
JP2012-192507 2012-08-31

Publications (1)

Publication Number Publication Date
WO2014034550A1 true WO2014034550A1 (ja) 2014-03-06

Family

ID=50183363

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2013/072527 Ceased WO2014034550A1 (ja) 2012-08-31 2013-08-23 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体

Country Status (3)

Country Link
US (1) US9727140B2 (ja)
JP (1) JP6264287B2 (ja)
WO (1) WO2014034550A1 (ja)

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017045330A (ja) * 2015-08-27 2017-03-02 富士通テン株式会社 入力装置および車載装置
JP2019052587A (ja) * 2017-09-14 2019-04-04 株式会社エスシーエー 情報伝達装置用アクチュエータ
JP2019096336A (ja) * 2019-01-30 2019-06-20 株式会社村田製作所 アクチュエータおよび触覚提示装置
JP2020126588A (ja) * 2019-02-06 2020-08-20 セイコーインスツル株式会社 触感提示装置
US11482086B2 (en) * 2018-08-10 2022-10-25 Sony Corporation Drive control device, drive control method, and program

Families Citing this family (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9696842B2 (en) * 2009-10-06 2017-07-04 Cherif Algreatly Three-dimensional cube touchscreen with database
JP2018054563A (ja) * 2016-09-30 2018-04-05 セイコーエプソン株式会社 力検出装置、駆動ユニットおよびロボット
DE102016219055A1 (de) * 2016-09-30 2018-04-05 Carl Zeiss Microscopy Gmbh Stellantrieb zur Justage eines zu bewegenden Elements, Verwendungen und Verfahren zur Justage
DE102017111897B3 (de) * 2017-05-31 2018-09-06 Trw Automotive Electronics & Components Gmbh Bedienvorrichtung für eine Fahrzeugkomponente sowie Verfahren zum Erzeugen einer Rückmeldung
US10592008B1 (en) 2017-09-05 2020-03-17 Apple Inc. Mouse having a shape-changing enclosure
JP7203854B2 (ja) * 2018-08-29 2023-01-13 アルプスアルパイン株式会社 入力装置、制御方法及びプログラム
CN109343712B (zh) * 2018-10-24 2022-06-21 Oppo广东移动通信有限公司 终端设备的触觉反馈方法、触觉反馈装置及终端设备
EP4339749B1 (en) * 2021-07-20 2025-11-26 BOE Technology Group Co., Ltd. Display device

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149312A (ja) * 2000-08-08 2002-05-24 Ntt Docomo Inc 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
JP2009116863A (ja) * 2007-11-02 2009-05-28 Research In Motion Ltd 電子デバイスおよび触覚タッチスクリーン
JP2011501298A (ja) * 2007-10-18 2011-01-06 マイクロソフト コーポレーション 音声、視覚、および触覚のフィードバックを使用した三次元オブジェクトシュミレーション
WO2012023606A1 (ja) * 2010-08-20 2012-02-23 株式会社青電舎 触感提示装置
JP2012518218A (ja) * 2009-02-16 2012-08-09 ニュートランスデューサース リミテッド タッチセンスデバイス

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4039344B2 (ja) 2003-09-17 2008-01-30 株式会社日立製作所 タッチパネルを備えた表示装置
JP2006215738A (ja) 2005-02-02 2006-08-17 Sony Corp 振動伝達構造、触覚機能付きの入力装置及び電子機器
US7979146B2 (en) * 2006-04-13 2011-07-12 Immersion Corporation System and method for automatically producing haptic events from a digital audio signal
JP2008123431A (ja) * 2006-11-15 2008-05-29 Canon Inc 接触提示装置及び方法
US20080238635A1 (en) * 2007-03-28 2008-10-02 Gunnar Klinghult Force feedback for input devices
KR101657963B1 (ko) * 2009-12-08 2016-10-04 삼성전자 주식회사 단말기의 터치 면적 변화율에 따른 운용 방법 및 장치

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002149312A (ja) * 2000-08-08 2002-05-24 Ntt Docomo Inc 携帯型電子機器、電子機器、振動発生器、振動による報知方法および報知制御方法
JP2011501298A (ja) * 2007-10-18 2011-01-06 マイクロソフト コーポレーション 音声、視覚、および触覚のフィードバックを使用した三次元オブジェクトシュミレーション
JP2009116863A (ja) * 2007-11-02 2009-05-28 Research In Motion Ltd 電子デバイスおよび触覚タッチスクリーン
JP2012518218A (ja) * 2009-02-16 2012-08-09 ニュートランスデューサース リミテッド タッチセンスデバイス
WO2012023606A1 (ja) * 2010-08-20 2012-02-23 株式会社青電舎 触感提示装置

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017045330A (ja) * 2015-08-27 2017-03-02 富士通テン株式会社 入力装置および車載装置
US10345949B2 (en) 2015-08-27 2019-07-09 Fujitsu Ten Limited Audio device and menu display method of audio device
JP2019052587A (ja) * 2017-09-14 2019-04-04 株式会社エスシーエー 情報伝達装置用アクチュエータ
US11482086B2 (en) * 2018-08-10 2022-10-25 Sony Corporation Drive control device, drive control method, and program
JP2019096336A (ja) * 2019-01-30 2019-06-20 株式会社村田製作所 アクチュエータおよび触覚提示装置
JP2020126588A (ja) * 2019-02-06 2020-08-20 セイコーインスツル株式会社 触感提示装置
JP7321066B2 (ja) 2019-02-06 2023-08-04 セイコーインスツル株式会社 触感提示装置

Also Published As

Publication number Publication date
JPWO2014034550A1 (ja) 2016-08-08
JP6264287B2 (ja) 2018-01-24
US20150227200A1 (en) 2015-08-13
US9727140B2 (en) 2017-08-08

Similar Documents

Publication Publication Date Title
JP6264287B2 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム
US10564730B2 (en) Non-collocated haptic cues in immersive environments
US10509468B2 (en) Providing fingertip tactile feedback from virtual objects
EP2942693B1 (en) Systems and methods for viewport-based augmented reality haptic effects
US9715278B2 (en) User interface device provided with surface haptic sensations
CN110476142A (zh) 虚拟对象用户界面显示
US8976045B2 (en) Tactile force sense presenting device, electronic device terminal applied with tactile force sense presenting device, and tactile force sense presenting method
CN104375633A (zh) 用于触觉摆弄的系统和方法
JP2015056183A (ja) 触覚変換を行うためのシステム及び方法
KR20160003031A (ko) 햅틱 셀들의 어레이를 이용한 유형의 사용자 인터페이스 상호작용들 및 제스처들의 시뮬레이션
CN105630156A (zh) 用于基于变形的触觉效果的系统和方法
Stuerzlinger et al. The value of constraints for 3D user interfaces
JP5975041B2 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム
JP6341096B2 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
JP6387762B2 (ja) 力覚提示装置、情報端末、力覚提示方法、及びプログラム
JP6428629B2 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム
WO2013084667A1 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
JP2014142869A (ja) 情報処理装置、情報処理方法、プログラム及び記録媒体
Leflar et al. Navigating in 3D space with a handheld flexible device
JP2022105942A (ja) シミュレートされた仮想空間における操作のための入力装置
WO2022149361A1 (ja) ３次元触覚情報を提供可能な入力装置
Toma et al. Multi-Modal Interaction for 3D Modeling

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 13832301

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014532974

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14419686

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 13832301

Country of ref document: EP

Kind code of ref document: A1