WO2014119382A1 - 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体 - Google Patents

触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体 Download PDF

Info

Publication number
WO2014119382A1
WO2014119382A1 PCT/JP2014/050742 JP2014050742W WO2014119382A1 WO 2014119382 A1 WO2014119382 A1 WO 2014119382A1 JP 2014050742 W JP2014050742 W JP 2014050742W WO 2014119382 A1 WO2014119382 A1 WO 2014119382A1
Authority
WO
WIPO (PCT)
Prior art keywords
force
user
presented
transmission member
presentation
Prior art date
Application number
PCT/JP2014/050742
Other languages
English (en)
French (fr)
Inventor
則枝真
Original Assignee
日本電気株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 日本電気株式会社 filed Critical 日本電気株式会社
Priority to JP2014559620A priority Critical patent/JP6341096B2/ja
Priority to US14/763,714 priority patent/US20150362995A1/en
Publication of WO2014119382A1 publication Critical patent/WO2014119382A1/ja

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016Input arrangements with force or tactile feedback as computer generated output to the user
    • GPHYSICS
    • G08SIGNALLING
    • G08BSIGNALLING OR CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B6/00Tactile signalling systems, e.g. personal calling systems

Definitions

  • the present invention relates to a tactile sensation presentation device that presents (transmits) a tactile sensation to a user, an information terminal such as a POS terminal and a portable terminal (smart phone, tablet, etc.), a tactile sensation presentation method, and
  • the present invention relates to a computer-readable recording medium on which a program for realizing these is recorded.
  • Patent Document 1 discloses a tactile force sense presentation device provided with a mechanism that allows a display panel to which a touch panel is attached to move along a thickness direction thereof.
  • this mechanism allows the display panel to move in response to a user's finger touch, so that a tactile sensation can be actively presented to the user. .
  • Patent Document 2 discloses a glove-type force sense presentation device.
  • a frame is provided along each finger of the globe.
  • Each frame is provided with a link corresponding to a finger joint, and a motor for driving the frame is attached to each link.
  • a haptic sense is presented to the user's hand wearing a glove through a frame by operating a motor according to the content. Can do.
  • Patent Document 3 uses a member (hereinafter referred to as “grip”) 202 held in a space 200 by four wires 201 to present a tactile force sense.
  • a force sense device is disclosed.
  • FIG. 20 is a diagram showing a schematic configuration of the haptic sense presentation device disclosed in Patent Document 3. As shown in FIG.
  • each wire 201 is adjusted by adjusting the tensile forces ⁇ 1 to ⁇ 4 of each wire 201 by operating each motor in accordance with the content.
  • the sense of touch can be presented to the user via the held grip 202.
  • the haptic sense presentation devices disclosed in Patent Documents 1 to 3 unlike the input device such as a touch panel, the haptic sense can be presented to the user.
  • the device since the structure for operating the entire touch panel is complicated and the device becomes large and heavy in the haptic sense presentation device disclosed in Patent Document 1, the device is portable information such as a smartphone. It is difficult to install in a terminal. Furthermore, in the haptic sense presentation device disclosed in Patent Document 1, the haptic sense can be presented only in a narrow range in the thickness direction of the screen, and it is difficult to present a three-dimensional haptic sense in a wide range. It becomes.
  • the haptic sense presentation device disclosed in Patent Document 2 can present a three-dimensional haptic sense in a wide range.
  • this device requires a complicated link mechanism, and even with this device, the device becomes large and heavy, and it is difficult to mount it on a portable information terminal.
  • the inertial force of the frame affects the force sense presentation, and there is a possibility that an accurate tactile force sense cannot be presented.
  • the haptic sense presentation device disclosed in Patent Document 3 can also present a three-dimensional haptic sense in a wide range.
  • a motor for pulling the wire 201 is installed in a space. It is necessary to arrange
  • An example of an object of the present invention is to solve the above-described problems and to reduce the size of the device, and to enable presentation of a three-dimensional haptic sensation in a wide range.
  • a haptic sense presentation device is a device for presenting a haptic sense to a user in accordance with the content displayed on a screen.
  • a transmission member that extends from the device to a portion that receives the presentation of the tactile sensation in the user and transmits a force in a pulling direction to the user;
  • a drive unit that generates a force in the pulling direction and applies the force to the transmission member;
  • a force of the pulling direction having a set magnitude is generated as an initial force in the drive unit, and the haptic sensation to be presented is presented via the transmission member when the haptic sensation is presented.
  • a control unit that increases or decreases the initial force as provided to the user. It is characterized by that.
  • an information terminal capable of presenting a tactile sensation to a user according to the content displayed on the screen, A display device for displaying the content on the screen; A position detection unit that detects a position of a part that receives the presentation of the tactile sensation in the user; An information processing unit that changes the content of the content corresponding to the detected position, and calculates a tactile sensation to be presented based on the changed content of the content; A tactile sensation presentation device,
  • the haptic sense presentation device includes: A transmission member that extends from the information terminal to a portion that receives the presentation of the tactile sensation of the user and transmits a force in a pulling direction to the user; A drive unit that generates a force in the pulling direction and applies the force to the transmission member; In advance, the driving unit generates a force in the pulling direction having a set size as an initial force, and the calculated tactile force is presented when the tactile force sense calculated by the information processing unit is presented.
  • a controller that increases or decreases the initial force
  • a tactile sensation presentation method is a method for presenting a tactile sensation to a user according to the content of content displayed on a screen.
  • a transmission member that extends to a portion that receives the presentation of the tactile force sense, and that transmits a tensile force to the user, and a drive unit that generates the tensile force and applies the force to the transmission member.
  • a computer-readable recording medium In order to present the haptic sense to the user according to the content displayed on the screen, A transmission member that extends to a portion that receives the presentation of the tactile sensation in the user and transmits a force in the pull direction to the user; and a drive unit that generates the force in the pull direction and applies the force to the transmission member
  • a transmission member that extends to a portion that receives the presentation of the tactile sensation in the user and transmits a force in the pull direction to the user; and a drive unit that generates the force in the pull direction and applies the force to the transmission member
  • the computer In an apparatus comprising a computer, In the computer, (A) causing the driving unit to generate a force in the pulling direction having a set size as an initial force in advance; (B) increasing or decreasing the initial force so that the haptic sensation to be presented is given to the user via the transmission member when presenting the haptic sensation; A program including an instruction for executing is recorded.
  • FIG. 1 is a perspective view showing an external appearance of an information terminal according to Embodiment 1 of the present invention.
  • FIG. 2 is an exploded perspective view showing each component of the information terminal according to Embodiment 1 of the present invention.
  • FIG. 3 is a block diagram showing a configuration of the information terminal according to Embodiment 1 of the present invention.
  • FIG. 4 is a flowchart showing the operation of the information terminal 100 according to Embodiment 1 of the present invention.
  • FIG. 5 is a diagram for explaining step S101 shown in FIG.
  • FIG. 6 is a diagram for explaining step S103 shown in FIG.
  • FIG. 7A is a diagram for explaining a tensile force calculation process
  • FIG. 7B is a diagram illustrating coordinate axes used for the tensile force calculation process.
  • FIG. 8 is a diagram for explaining the presentation power resetting process.
  • FIG. 9 is a diagram illustrating an example of a head-mounted display including the haptic sense presentation device according to Embodiment 1 of the present invention.
  • FIG. 10 is a perspective view showing another example of the information terminal according to Embodiment 1 of the present invention.
  • FIG. 11 is a diagram showing another example of a mounting member used in Embodiment 1 of the present invention.
  • FIG. 12 is a diagram illustrating an example of content to which the first embodiment can be applied.
  • FIG. 13 shows a case where the content displayed on the screen of the information terminal is an experimental model for explaining the principle of the lever.
  • FIG. 9 shows a case where the content displayed on the screen of the information terminal is an experimental model for explaining the principle of the lever.
  • FIG. 14 shows a case where the content displayed on the screen of the information terminal is a model for explaining the typhoon mechanism.
  • FIG. 15 is a perspective view showing an appearance of the information terminal according to Embodiment 2 of the present invention.
  • FIG. 16 is a diagram illustrating a usage example of the information terminal according to Embodiment 2 of the present invention.
  • FIG. 17 is a block diagram showing the configuration of the information terminal according to Embodiment 2 of the present invention.
  • FIG. 18A is a diagram illustrating an example of a screen displayed by the information terminal according to the modification of the second embodiment of the present invention.
  • FIG. 18B illustrates the relationship between the screen and the orientation of the user's face.
  • FIG. 19A is a diagram illustrating an example of a screen displayed by the information terminal according to the modification of the second embodiment of the present invention, and FIG. 19B illustrates the relationship between the screen and the orientation of the user's face.
  • FIG. FIG. 20 is a diagram showing a schematic configuration of the haptic sense presentation device disclosed in Patent Document 3. As shown in FIG.
  • Embodiment 1 a haptic sense presentation device, an information terminal, a haptic sense presentation method, and a program according to Embodiment 1 of the present invention will be described with reference to FIGS.
  • FIG. 1 is a perspective view showing an external appearance of an information terminal according to Embodiment 1 of the present invention.
  • FIG. 2 is an exploded perspective view showing each component of the information terminal according to Embodiment 1 of the present invention.
  • the information terminal 100 according to the first embodiment is a tablet-type information terminal.
  • a tactile force sense presentation device that presents a tactile force sense to the user 110 is provided. I have.
  • the information terminal 100 is a part that receives presentation of the tactile sensation of the user 110 in the space on the back side of the terminal (the side opposite to the side on which the screen 101 is provided).
  • the position can be detected, and the user 110 can perform an input operation by moving the position of the finger.
  • the information terminal 100 can display a virtual space on the screen 101, and further, an object 102 (hereinafter referred to as “user object”) 102 corresponding to the finger of the user 110 is placed at the detected position. They can also be displayed in the virtual space.
  • the haptic presentation device of the information terminal 100 touches the virtual object 103 with respect to the finger of the user 110. To communicate.
  • the motion and state in the virtual space are presented to the user 110 as a tactile sensation.
  • the virtual object 103 when it exists in the real space is indicated by a broken line.
  • the information terminal 100 presents a tactile sensation to the display device 20 that displays content on the screen, the position detection unit 30, the information processing unit 40, and the user 110 (see FIG. 1). And a haptic sense presentation device 10.
  • the position detection unit 30 detects the position of a part (a finger in the example of FIGS. 1 and 2) that receives the presentation of the tactile sensation in the user 110.
  • the information processing unit 40 changes the content content corresponding to the detected position, and calculates a haptic sensation to be presented based on the changed content content.
  • the haptic sense presentation device 10 includes a transmission member 12, a drive unit 11, and a control unit 14.
  • the transmission member 12 extends from the information terminal 100 to a portion (a finger in the example of FIGS. 1 and 2) that receives the presentation of the tactile sensation of the user 110 to the user 110 in the pulling direction (hereinafter, “ It is a member that transmits “tensile force”.
  • the drive unit 11 generates a tensile force and applies it to the transmission member 12.
  • control unit 14 first causes the drive unit 11 to generate a tensile force having a preset size as an initial force. Then, when the controller 11 presents the haptic sensation calculated by the information processing unit 40 in the drive unit 11, the calculated haptic sensation is transmitted to the user 110 (see FIG. 2) via the transmission member 12. Increase or decrease the initial force as provided.
  • the haptic sense presentation device 10 presents the haptic sensation by transmitting the force in the pulling direction by the transmission member 11 to the finger of the user 110 located on the back side of the information terminal 100. To do. For this reason, it is possible to present a three-dimensional haptic sensation in a wide range. Moreover, since the structure of the haptic sense presentation apparatus 10 can be made compact, the apparatus can be downsized.
  • the “tactile sensation” as used in the present invention means a repulsive force, a resistance force, an external force, a touch, and the like that the user feels.
  • the information terminal 100 includes a cover 50 formed in a frame shape, a display device 20, and a box-shaped housing 51 in order from the user side.
  • the cover 50 is attached to the opening portion of the housing 51 so that the screen of the display device 20 is exposed.
  • the display device 20 is a thin display panel such as a liquid crystal display panel or an organic EL panel.
  • the drive unit 11, the control unit 14, the position detection unit 30, and the information processing unit 40 described above are arranged inside a housing 51 that is on the back side of the display device 20. As shown in FIG. 2, in the first embodiment, three transmission members 12 are used, and three drive units 11 are arranged corresponding to this.
  • each of the transmission members 12 is a string-like member that extends from a different position on the back side of the information terminal 100 to a portion (finger) that receives the presentation of the tactile sensation in the user 110, for example, a wire. .
  • the distal end of each transmission member 12 is fixed to a mounting member 13 that is mounted on a portion that receives a sense of touch of the user 110.
  • the mounting member 13 is a ring-shaped member that can be mounted on the finger of the user 110.
  • each drive part 11 is a motor with which the pulley 15 was attached to the axis
  • a through hole 16 is provided on the bottom surface of the housing 51 for each transmission member 12, and each transmission member 12 extends to the back side of the information terminal 100 via the through hole 16.
  • the tactile sense presentation range is determined by the position of each through hole 16 (see region X in FIG. 8). Therefore, the position of each through hole 16 is determined in consideration of the required presentation range.
  • the presentation force is presented to the finger of the user 110 by pulling the mounting member 13 by the three transmission members 12 (see FIG. 1). That is, the sense of tactile force is presented by the resultant force of the tensile force that each driving unit 11 applies to the transmission member 13.
  • the position detection unit 30 is an encoder provided on the shaft of each drive unit 11. For this reason, the position detection unit 30 specifies the number of rotations of the motor shaft as data for detecting the position of the portion that receives the presentation of the tactile sensation of the user (hereinafter referred to as “position detection data”). Data to be output to the information processing unit 40.
  • the information processing unit 40 receives the position detection data output from each position detection unit 30, the total length of the transmission member 12, the diameter of the pulley 15, and the distance from the pulley 15 to the through hole 16 are registered in advance. Based on the above, the length from the through hole 16 of each transmission member 12 to the mounting member 13 is calculated. Further, the information processing unit 40 calculates the position of the part that receives the presentation of the tactile sensation of the user 110, that is, the position of the mounting member 13, based on the calculated length of each transmission member 12, as will be described later. To do.
  • control unit 14 and the information processing unit 40 are each realized by a computer such as a microcomputer. Moreover, both may be implement
  • a string-like member (transmission member 12) is used as a force transmission mechanism by a motor that functions as the drive unit 11. Therefore, in the haptic sense presentation device 10, the components can be reduced in weight and the mechanism for presenting the haptic sense can be simplified, so that the information terminal 100 can be reduced in size and weight.
  • the transmission direction of the tensile force by the drive member 12 can be freely set by the positions of the pulley 15 and the through hole 16. Further, the distance from the through hole of the transmission member 12 to the mounting member 13 can be freely set by the amount of winding by the pulley 15. Therefore, since the range in which the user can move the finger can be increased, it is possible to present a three-dimensional haptic sense in a wide range. Further, since a light string-like member is used as the transmission member 12, it can be said that the user hardly feels mechanical resistance or the like when moving the finger.
  • the drive unit 11 is planarly arranged on the bottom surface of the housing 51. For this reason, it is easy to mount the haptic sense presentation device 10 shown in FIG. 2 on the information terminal 100 having a planar shape.
  • FIG. 3 is a block diagram showing a configuration of the information terminal according to Embodiment 1 of the present invention.
  • the information processing unit 40 is connected to the display device 20, the position detection unit 30, and the control unit 14.
  • the control unit 14 is connected to a drive unit (motor) 11.
  • each position detection unit 30 when the user 110 moves the finger wearing the mounting member 13 on the back side of the information terminal 100, each position detection unit 30 outputs the position detection data a to the information processing unit 40.
  • the information processing unit 40 receives the position detection data a, the information processing unit 40 specifies the position of the finger (the mounting member 13) of the user 110 based on the position detection data a.
  • the information processing unit 40 changes the position of the user object 102 (see FIG. 1) according to the specified position. Then, the information processing unit 40 refers to the content data 41, performs a process of linking the user object 102 and the virtual object 103 in the content, and displays the display information of the content reflecting the processed content as the display data e. Output to the device 20.
  • the content data 41 include application program data that provides a virtual space, such as a game program and a simulation program, and Web site data. Further, the content data 41 may be stored in a storage device provided in the information terminal 100, or may be stored in another device (computer) connected via the Internet.
  • the information processing unit 40 calculates the force generated in the virtual space on the user object 102 and specifies data b (hereinafter referred to as “presentation data b”) for specifying the calculated force. 14 for output.
  • the calculated force is a repulsive force generated in the object, and corresponds to a tactile force sense to be transmitted to the user.
  • control unit 14 When the control unit 14 receives the presentation data b, the control unit 14 calculates a tensile force to be output by each driving unit 11 so that the tactile force sense specified by the presentation data b is transmitted to the user 110. Then, the control unit 14 generates control data d that causes each driving unit 11 to exhibit a target tensile force, and outputs the control data d to each driving unit 11.
  • control unit 14 generates a pulse signal for driving the motor functioning as the driving unit 11 using a power supply circuit (not shown), and outputs this as control data d.
  • each drive part (motor) 11 pulls the transmission member 12 with the calculated tensile force, and the tactile force sense specified by the presentation data b is presented to the fingertip of the user 110.
  • FIG. 4 is a flowchart showing the operation of the information terminal 100 according to Embodiment 1 of the present invention.
  • FIGS. 1 to 3 are referred to as appropriate.
  • the haptic sense presentation method is implemented by operating the haptic sense presentation device 10. Therefore, the description of the haptic sense presentation method in the first embodiment is replaced with the following description of the operation of the haptic sense presentation apparatus 10.
  • each of the position detection units 30 outputs the position detection data a to the information processing unit 40.
  • the information processing unit 40 calculates the length from the through hole 16 of each transmission member 12 to the mounting member 13 based on the output position detection data a, Based on the calculated length of each transmission member 12, the position of the finger of the user 110 is specified (S101). Further, the information processing unit 40 changes the position of the user object 102 (see FIG. 1) according to the identified position.
  • the information processing unit 40 refers to the content data 41 and executes a process (content interlocking process) for interlocking the virtual object 103 with the user object 102 (step S102). Further, in step S102, the information processing unit 40 outputs the display information of the content reflecting the processing content of the content interlocking processing as display data e to the display device 20. Further, in step S ⁇ b> 102, the information processing unit 40 calculates the force generated in the virtual space for the user object 102 and outputs the presentation data b specifying the calculated force to the control unit 14.
  • step S103 when receiving the presentation data b from the information processing unit 40, the control unit 14 calculates the tensile force that each driving unit 11 should output when presenting the presentation force specified by the presentation data b (step S103). ).
  • step S ⁇ b> 103 the control unit 14 further generates control data d so that the calculated tensile force is generated by each drive unit 11, and outputs the control data d to each drive unit 11.
  • step S103 the tactile force sense presentation device 10 presents a tactile force sense to the fingertip of the user 110 via the mounting member 13 (step S104). Further, the content after the content linkage processing is displayed on the screen 101 of the display device based on the display data e output by the information processing unit 40 in step S102 (step S105). Note that step S104 and step S105 may be executed simultaneously.
  • steps S101 to S105 are repeatedly executed. Therefore, when the user 110 moves his / her finger from one position to another position, the steps S101 to S105 are repeatedly executed during the period from the start to the end. You can receive a tactile sensation.
  • step S101 to step S105 shown in FIG. 4 will be described in more detail with reference to FIGS.
  • step S101 finger position detection processing
  • FIG. 5 is a diagram for explaining step S101 shown in FIG.
  • the position of the mounting member 13 to which the distal end of the transmission member 12 is connected is specified by the length of the transmission member 12 on the back side of the information terminal 100. Further, the length of the transmission member 12 is specified by the position detection unit 30.
  • the lengths from the through holes 16 to the mounting members 13 of the transmission members 12 are defined as l 1 , l 2 , and l 3 , respectively.
  • the interval between the holes is w
  • the interval between the through holes adjacent in the vertical direction of the screen is h.
  • the information processing unit 40 geometrically calculates the coordinates (x, y, z) of the mounting member 13 using l 1 , l 2 , l 3 , w, and h.
  • step S102 content interlocking process shown in FIG. 4 will be described with reference to FIG.
  • the user object 102 moves in the virtual space in accordance with the actual finger movement of the user 110, and the virtual object 103 in the virtual space further changes to the user object 102. Interlocked.
  • the information processing unit 40 follows the movement of the user object 102 and moves the virtual object 103 to interact (reciprocally) the virtual object in the virtual space and the real space object (the finger of the user 110). Action). At this time, the information processing unit 40 simulates a change in position and a contact force when the user object 102 and the virtual object 103 contact using a physical simulator in the virtual space.
  • the information processing unit 40 calculates the reaction force generated in both of the user object 102 and the virtual object 103 due to contact according to the physical coefficient in the virtual space.
  • the physical coefficient include mass, speed, acceleration, contact direction, coefficient of restitution, and the like of each of the user object 102 and the virtual object 103.
  • the reaction force received by the user object 102 from the virtual object 103 corresponds to a haptic sensation to be presented to the user 110 (see FIGS. 6 and 7 described later). Therefore, when the reaction force received by the user object 102 from the virtual object 103 is “presentation force F”, the information processing unit 40 presents the presentation data b that specifies the presentation force F so that the presentation force F is presented. Is output to the control unit 14. Further, the information processing unit 40 outputs data for displaying the user object 102 and the virtual object 103 at that time to the display device 20 as display data e that is display information.
  • step S103 (a tensile force calculation process and a control data generation process) illustrated in FIG. 4 will be described with reference to FIGS.
  • FIG. 6 is a diagram for explaining step S103 shown in FIG. As shown in FIG. 6, when the tensile force of each transmission member 12 required to present the desired presentation force F is ⁇ 1 , ⁇ 2 , and ⁇ 3 , respectively, the presentation force F is basically Corresponds to the resultant force of the tensile forces ⁇ 1 , ⁇ 2 , and ⁇ 3 .
  • the direction of the presentation force F matches the direction of the resultant force of the tensile forces ⁇ 1 to ⁇ 3 .
  • the transmission member 12 is a string-like member, and only a force in a direction of pulling toward the information terminal 100 side is available. Since it cannot be transmitted, there is a possibility that the tactile sensation cannot be presented.
  • the control unit 14 always presents a predetermined force as the initial force F 0 in advance to the user's finger (the mounting member 13) in the case where the tactile force sense is not presented as described above. To do. Then, the control unit 14, the presentation force F is, if a force away from the information terminal 100, by loosening the initial force F 0, presents a haptic in the direction away from the information terminal 100 .
  • Adaptation is a phenomenon in which sensitivity to a stimulus decreases when a constant stimulus continues to be presented to a human. That is, human skin is very adaptable to pressure, and when a ring and a wristwatch are worn, the feeling of wearing is easily lost.
  • human adaptability is used, and by increasing or decreasing the initial force F 0 , the haptic sensation in the direction toward the information terminal 100 and the haptic sensation in the direction away from the information terminal 100 are obtained. Presentation is possible.
  • FIG. 7A is a diagram for explaining a tensile force calculation process
  • FIG. 7B is a diagram illustrating coordinate axes used for the tensile force calculation process.
  • tensile force ⁇ 1 ⁇ ⁇ 3 is a tensile force, except a tensile force required to generate the initial force F 0, added to the initial force F 0 Or the pulling force to be subtracted.
  • the origin of the coordinate axes is the position of the tip of each transmission member 12.
  • the x axis is an axis parallel to the horizontal direction of the screen
  • the y axis is an axis parallel to the vertical direction of the screen
  • the z axis is an axis parallel to the normal line of the screen.
  • the coordinates of the unit vector r are (r, ⁇ i , ⁇ i ).
  • the tensile forces ⁇ 1 to ⁇ 3 need to satisfy the relationship of the following formula 1 in order to exhibit the desired presentation force.
  • Equation 1 the tensile forces ⁇ 1 to ⁇ 3 of the transmission member 12 are scalar quantities, and the direction vector ⁇ i of the tensile forces ⁇ 1 to ⁇ 3 is expressed by Equation 2.
  • the control unit 14 can calculate the tensile forces ⁇ 1 to ⁇ 3 by using the above equations 1 and 2. Further, as shown in Equation 1, the target presentation force F is obtained by subtracting the initial force F 0 from the tensile force of each transmission member 12. Therefore, as long as the presentation force F does not exceed the initial force F 0 in the direction away from the information terminal 100 ( ⁇ z direction), the haptic sensation is also presented in the direction away from the information terminal 100 ( ⁇ z direction). Is possible.
  • the transmission member 12 can transmit only the force in the pulling direction, there may occur a situation where the tactile force sense to be presented cannot be presented due to the resultant force of the tensile forces ⁇ 1 , ⁇ 2 , ⁇ 3 (see FIG. 8). ).
  • the target presentation force F cannot be calculated in the above formula 1.
  • the control unit 14 resets the haptic force to be presented (presentation force F), and the initial force F so that the reset presentation force Fr is presented. Increase or decrease 0 .
  • the resetting process will be specifically described below.
  • FIG. 8 is a diagram for explaining the presentation power resetting process. As shown in FIG. 8, for example, it is assumed that the position (x, y, z) of the mounting member 13 is in a position that does not overlap in the z-axis direction with a region X obtained by connecting adjacent through holes 16 with a straight line. To do.
  • the presentation force F is calculated by the above formulas 1 and 2 regardless of how the tension of each transmission member 12 is set. Is impossible.
  • the control unit 14 resets the presentation force Fr so that the tensile forces ⁇ 1 , ⁇ 2 , and ⁇ 3 can be calculated by the above formulas 1 and 2.
  • the direction in which the tensile forces ⁇ 1 , ⁇ 2 , and ⁇ 3 are actually pulled is the resultant force direction of the presentation force F and the initial force F 0 .
  • this direction is not a direction that can be pulled by the resultant force of each transmission member 12. Therefore, the control unit 14, the closest force resultant force of the presentation force F and the initial force F 0, is re-set as the new presentation force Fr.
  • the presentation force Fr generated by the tensile force ⁇ 1 and the tensile force ⁇ 2 is close to the resultant force of the original presentation force F and the initial force F 0 . Therefore, the control unit 14 rotationally projects the resultant force of the original presentation force F and the initial force F 0 on the surface created by the two transmission members 12 that generate the tensile force ⁇ 1 and the tensile force ⁇ 2. Then, the new presentation force Fr is reset.
  • the projection vector V onto the surface created by the two transmission members 12 that generate the tensile force ⁇ 1 and the tensile force ⁇ 2 can be expressed by the following equation (4).
  • the variable “a” represents the position at which the rotation angle ⁇ when rotating projection is minimized, that is, the position on the side in the vertical direction of the screen of the region X as a percentage. (0 ⁇ a ⁇ 1).
  • ⁇ 1 is a direction vector of ⁇ 1 with reference to the through hole 16.
  • ⁇ 2 is a direction vector of ⁇ 2 with respect to the through hole 16.
  • ⁇ 1 and ⁇ 2 are obtained from the above-mentioned formula 2.
  • control unit 14 uses the following equation 5, the inner product of the resultant force of the projection vector V and the original presentation force F and the initial force F 0, calculates a projection vector be minimized. Then, the control unit 15 calculates a new presentation force Fr by applying the calculated projection vector to the following Expression 6. Thereafter, the control unit 15 calculates the tensile forces ⁇ 1 , ⁇ 2 , and ⁇ 3 of each transmission member 12 using the new presentation force Fr, generates control data d so that these are generated, and drives each drive To the unit 11.
  • Modification 1 In the example described above, there are three transmission members 12, but in the first embodiment, the number of transmission members 12 is not particularly limited. The number of the transmission members 12 should just be set in the range which does not enlarge the information terminal 100. FIG.
  • Modification 2 In the example described above, a motor is used as the drive unit 11. However, in the first embodiment, the drive unit is not limited to a motor.
  • the drive unit 11 may be an actuator that can pull the drive member. Examples of the drive unit 11 include an artificial muscle actuator that performs an extension operation, and a fibrous shape memory alloy actuator.
  • the position detection unit 30 may be other than the encoder.
  • the position detection unit 30 a camera installed on the back surface of the information terminal can be used. In this case, the position of the mounting member 13 is optically detected.
  • a magnetic sensor installed on the back surface of the information terminal can be used. In this case, the position of the mounting member 13 can be detected by forming the mounting member 13 from a material that generates magnetism.
  • the position of the through hole 16 which is the position where the transmission member 12 starts to be pulled, is set at the apex position of a right triangle with the vertical direction being h and the horizontal direction being w.
  • the position of the through hole 16 is not particularly limited. Further, all the through holes may not be arranged in the same plane. The position of the through hole 16 is appropriately set within the range allowed by the thickness of the information terminal 100.
  • the haptic sense presentation device 10 is incorporated in the information terminal 100, but the first embodiment is not limited to this example.
  • the haptic sense presentation device 10 may be a device that can be retrofitted to an existing information terminal as an attachment.
  • Modification 6 In the example described above, the tactile sensation is presented with the back side of the information terminal 100 as the operation space.
  • the space on the screen side of the information terminal 100 is the operation space. May be.
  • the direction of the initial force F 0 is a negative direction on the z axis (see FIG. 6).
  • the tactile sensation presentation device is applied to a tablet-shaped information terminal, but Embodiment 1 is not limited to this.
  • the tactile sensation presentation device may be incorporated in a head-mounted display 60 that is worn on the user's face.
  • FIG. 9 is a diagram showing an example of a head-mounted display provided with the haptic sense presentation device according to Embodiment 1 of the present invention.
  • the user moves the finger wearing the mounting member 13 in front of the head mounted display 60 while viewing the content displayed on the display panel (not shown in FIG. 9) inside the head mounted display 60. By moving, you can feel the touch.
  • FIG. 10 is a perspective view showing another example of the information terminal according to Embodiment 1 of the present invention.
  • a groove 17 for accommodating the transmission member 12 and a recess 18 for accommodating the mounting member 13 are formed on the bottom surface of the casing 51 constituting the information terminal 100.
  • the user can easily carry the information terminal 100.
  • FIG. 11 is a diagram showing another example of a mounting member used in Embodiment 1 of the present invention.
  • the mounting member 13 is not a mere ring, but includes a ring-shaped frame 13 a, a ball bearing 13 b fitted on the inner periphery thereof, and a connecting portion 13 c to which the transmission member 12 is connected. Accordingly, the portion of the mounting member 13 that is in contact with the user's finger can rotate independently of the portion connected to the transmission member 12, and the following effects are obtained.
  • the user tries to touch the right side face of the virtual object 103 with the finger wearing the mounting member 13.
  • the user rotates the wrist in an attempt to bring the belly of the finger into contact with the virtual object 103.
  • the mounting member is caused by the external rotation of the wrist. 13 rotates with the finger.
  • an unexpected moment acts on the finger, and it becomes difficult to present an accurate sense of tactile force.
  • the transmission member 12 may be tangled with the finger.
  • the mounting member 13 shown in FIG. 11 is used, the portion of the mounting member 13 that is in contact with the user's finger can rotate independently from the portion connected to the transmission member 12. Therefore, a situation in which an unexpected moment is applied or the transmission member 12 is entangled with the finger is avoided.
  • the ball bearing 13 b is used to rotate the portion in contact with the user's finger independently from the portion connected to the transmission member 12.
  • the present invention is not limited to this aspect. Any member capable of obtaining such an action can be introduced into the mounting member 13 without limitation.
  • FIG. 12 is a diagram for explaining an example of content to which the first embodiment can be applied.
  • a virtual touch panel 31 and a virtual keyboard 32 are arranged as virtual user interfaces in the virtual space.
  • the user can feel as if the virtual touch panel 31 and the virtual keyboard 32 on the back surface of the information terminal are operated by moving a finger on the back side of the information terminal.
  • the first embodiment can also be applied when the content is navigation. That is, by applying the haptic sense presentation device according to the first embodiment to a navigation device, the navigation direction can be presented to the user by the haptic sense.
  • the user can more surely grasp the direction to proceed than when the direction to proceed is displayed on the screen.
  • the user by presenting a tactile sensation in conjunction with the movement of the screen when scrolling the screen, an operation that gives the user a greater sense of reality becomes possible.
  • the haptic sense presentation device can provide the user with a more substantial operational feeling by presenting the haptic sensation linked to the movement of the scrolling screen.
  • a display method is known in which, when there is no more information in scrolling the screen, the display screen is bound in the scroll direction to notify that the screen cannot be scrolled.
  • this display method is adopted, if the tactile sensation is presented in conjunction with the bounce of the display screen, the user can receive information more quickly and accurately.
  • the tactile sensation presentation device When the displayed content is a web site, the tactile sensation presentation device according to Embodiment 1 can present that there is a Link button or the like under the touching finger by tactile sensation. In this case, the user can receive information that is difficult to obtain with display information alone. Furthermore, when a harmful site is included in the link destination, the haptic sense presentation device can also give a warning by presenting the haptic sense so that the user can hardly press the link button.
  • the tactile sensation presentation device is not limited to being interlocked with a virtual object (virtual object), and can be used for an operation reaction of an input operation such as a master / slave robot arm.
  • a virtual object virtual object
  • the tactile sensation presentation device responds that the obstacle has been touched, a warning before touching the obstacle, etc. A tactile sensation can be presented. In this case, the user can operate the robot arm more safely and accurately.
  • the tactile force sense presentation device can be used for grasping the state of a tactile map or the like. That is, the tactile sensation presentation device can be used as a map grasp for a visually handicapped person.
  • the tactile sensation presentation device presents a tactile sensation corresponding to the wall and the road, the user can easily grasp the shape and state. Become.
  • the tactile sensation presentation device can be used for presenting information on the kanji writing order in character learning.
  • the tactile sensation presentation device is useful for assisting character learning.
  • the tactile sensation presentation device can be used as a feedback device in simulations of musical instrument operations such as a piano, surgery simulations, and clay modeling simulations. That is, the haptic sense presentation device can present the haptic sense as feedback of the device with respect to input as one of prior learning and entertainment of device use.
  • the tactile sensation presentation device can be used for product state recognition when purchasing a product other than an actual store such as a Web site or a television. Unlike merchandise purchase at an actual store, the actual feeling of the merchandise becomes a problem in merchandise purchase on a website and a television. For this reason, if the tactile sensation presentation device is used, the user can obtain tactile information when the product is touched, so that the user can make a purchase after understanding the product.
  • the tactile sensation presentation device can be used for entertainment such as understanding of illusion pictures.
  • the haptic sense presentation device presents the user with a sense of discomfort by giving the haptic sense that does not match the visual information as the presentation information.
  • an illusion picture with a spiral staircase created by Maurits Cornelis Escher cannot be touched as a real thing, but if you use a tactile sense presentation device, you can present the feel of an object in virtual space, so the user touches the illusion picture. You can also
  • Application Example 11 The tactile sensation presentation device according to Embodiment 1 is also used in the education field.
  • the case where the haptic sense presentation device is used in the educational field will be described with reference to FIGS. 13 and 14.
  • FIG. 13 shows a case where the content displayed on the screen of the information terminal is an experimental model for explaining the principle of the insulator.
  • a seesaw 80 is arranged as a virtual object in a virtual space, and a weight 82 is placed at one end thereof. Therefore, if the user operates the user object 102 to change the distance from the fulcrum 81 and supports the other end of the seesaw 80, the user feels that the force applied to the fingertip changes according to the distance from the fulcrum 81. Can do.
  • the user who is a student can understand the principle of the lion by feeling the sense of touch.
  • FIG. 14 shows a case where the content displayed on the screen of the information terminal is a model for explaining the typhoon mechanism.
  • a typhoon model 83 is constructed in the virtual space. Therefore, when the user operates the user object 102 to bring the typhoon model 83 and the user object 102 into contact with each other, a tactile force sense representing the typhoon airflow is presented to the user's finger. . At this time, if the user brings the user object 102 closer to the center of the typhoon model 83, the magnitude of the force to be felt becomes stronger, but at the center, it becomes weaker. As described above, according to the example of FIG. 14, the user who is a student can understand the mechanism of the typhoon by feeling the sense of touch. In this case, the user can also easily understand that the wind directions are opposite in the northern and southern hemispheres.
  • the program in the first embodiment may be a program that causes a computer to execute step S103 shown in FIG.
  • a CPU Central Processing Unit
  • the computer capable of realizing the haptic sense presentation device 10 is not particularly limited, and may be the above-described microcomputer or a general-purpose personal computer. Further, the computer capable of realizing the tactile sensation presentation device 10 may be a computer provided in a mobile phone, a smartphone, or a tablet information terminal.
  • the program in the first embodiment may be provided in a state of being recorded on a computer-readable recording medium, or may be transmitted via the Internet.
  • the recording medium include a general-purpose semiconductor storage device such as CF (Compact Flash (registered trademark)) and SD (Secure Digital), a magnetic storage medium such as a flexible disk, or a CD-ROM.
  • Optical storage media such as (Compact Disk Read Only Memory).
  • Embodiment 1 As described above, in Embodiment 1, when the user moves his / her finger for operation in the space on the back side while viewing the content on the screen from the front side of the information terminal, the tactile force corresponding to the content content I can feel my senses. For this reason, according to the first embodiment, a sufficiently large operation range can be secured, and not only two-dimensionally wide but also three-dimensional tactile sensation can be presented in a wide range including the depth direction. It becomes.
  • the haptic sensation is generated in consideration of human perceptual characteristics. Therefore, the generated haptic sensation is uncomfortable for the user. Furthermore, by ensuring the length of the transmission member, the user can move his / her finger greatly. From this point of view, the sense of touch is not uncomfortable for the user.
  • the tactile sensation presentation device can be applied to a portable information terminal.
  • Embodiment 2 Next, a haptic sense presentation device, an information terminal, a haptic presentation method, and a program according to Embodiment 2 of the present invention will be described with reference to FIGS.
  • FIG. 15 is a perspective view showing an appearance of the information terminal according to Embodiment 2 of the present invention.
  • FIG. 16 is a diagram illustrating a usage example of the information terminal according to Embodiment 2 of the present invention.
  • FIG. 17 is a block diagram showing the configuration of the information terminal according to Embodiment 2 of the present invention.
  • the information terminal 120 in the second embodiment is a tablet-type information terminal, like the information terminal 100 described in the first embodiment.
  • the information terminal 120 includes a digital camera 70 capable of photographing the space on the back side.
  • the real image photographed by the digital camera 70 and the movement of the finger which is an action in the real space, can be linked.
  • FIG. 16 it is assumed that the user has photographed an advertisement 71 far away from the user 110 with the digital camera 70 on the back of the information terminal 120.
  • the advertisement 71 is out of reach of the user's hand, and the user 110 cannot actually touch the advertisement 71, but is far away by the tactile force sense presented to the finger by the tactile force sense presenting device. You can feel that you have touched the advertisement 71.
  • the user can communicate that the text described in the advertisement 71 is touched by the sense of force, the user can select the text information with certainty. It is easy to collect information from.
  • the information terminal 120 includes a digital camera 70, and an image captured by the digital camera 70 is sent to the information processing unit 40. Then, unlike the first embodiment, the information processing unit 40 executes content interlocking processing for video captured by the digital camera 70.
  • the information terminal 120 is configured in the same manner as the information terminal 100 illustrated in FIG. 3 except that the information terminal 120 includes the digital camera 70.
  • the second embodiment a real world thing can be taken in, and the user can touch it.
  • the second embodiment is not limited to the case of distant objects shown in FIG. 17, and for example, when the object is a large carnivorous animal that cannot be touched because of danger. It is valid.
  • the information terminal 120 executes steps S101 to S104 shown in FIG.
  • the haptic sense presentation method is implemented by operating the haptic sense presentation device.
  • the program in the second embodiment may be a program that causes a computer to execute step S103 shown in FIG. 4 as in the first embodiment.
  • the haptic sense presentation device and the haptic sense presentation method according to the second embodiment can be realized.
  • the CPU Central Processing Unit
  • the CPU Central Processing Unit of the computer functions as a control unit and performs processing.
  • the digital camera 70 may be installed so as to be able to photograph the screen side (front side) space of the information terminal.
  • the state of the virtual space displayed on the display device can be linked with the movement of the user. This example will be described with reference to FIGS.
  • FIGS. 18 (a) and 19 (a) are diagrams showing an example of a screen displayed by the information terminal according to the modification of the second embodiment of the present invention.
  • FIGS. 18 (b) and 19 (b) are diagrams. It is a figure which shows the relationship between a screen and the direction of a user's face.
  • a virtual touch panel 31 and a virtual keyboard 32 are arranged as virtual user interfaces in the virtual space, as in the example shown in FIG.
  • the user can feel as if he / she is operating the virtual touch panel 31 and the virtual keyboard 32 on the back of the information terminal by moving his / her finger on the back side of the information terminal.
  • the information terminal 120 uses the digital camera 70 on the screen side to change the orientation of the user's face. Detected. For this reason, when the user changes the direction in which the user views the screen, the information terminal 120 can change the appearance of the content displayed on the screen accordingly.
  • the display can be changed in accordance with the viewpoint of the user, so that the virtual space can be used more effectively.
  • An apparatus for presenting a tactile sensation to a user according to the content displayed on the screen A transmission member that extends from the device to a portion that receives the presentation of the tactile sensation in the user and transmits a force in a pulling direction to the user; A drive unit that generates a force in the pulling direction and applies the force to the transmission member; In advance, a force of the pulling direction having a set magnitude is generated as an initial force in the drive unit, and the haptic sensation to be presented is presented via the transmission member when the haptic sensation is presented.
  • a control unit that increases or decreases the initial force as provided to the user.
  • a tactile sensation presentation device characterized by the above.
  • Each of the plurality of transmission members is a string-like member extending from a different position of the device to a portion that receives the presentation of the tactile sensation in the user,
  • the tip of each of the plurality of transmission members is fixed to a mounting member that is mounted on a portion that receives presentation of the tactile sensation in the user,
  • the plurality of drive units apply a force in the pulling direction to the corresponding transmission member by winding the corresponding transmission member,
  • the tactile sensation is presented by the resultant force in the pulling direction that each of the plurality of driving units applies to the transmission member.
  • the tactile sensation presentation device according to attachment 1.
  • An information terminal capable of presenting a tactile sensation to the user according to the content displayed on the screen, A display device for displaying the content on the screen; A position detection unit that detects a position of a part that receives the presentation of the tactile sensation in the user; An information processing unit that changes the content of the content corresponding to the detected position, and calculates a tactile sensation to be presented based on the changed content of the content; A tactile sensation presentation device,
  • the haptic sense presentation device includes: A transmission member that extends from the information terminal to a portion that receives the presentation of the tactile sensation of the user and transmits a force in a pulling direction to the user; A drive unit that generates a force in the pulling direction and applies the force to the transmission member; In advance, the driving unit generates a force in the pulling direction having a set size as an initial force, and the calculated tactile force is presented when the tactile force sense calculated by the information processing unit is presented.
  • a controller that increases or decreases the initial force so that a sense of force is provided to the user via the transmission
  • Each of the plurality of transmission members is a string-like member that extends from a different position of the information terminal to a portion that receives the presentation of the tactile sensation in the user.
  • the tip of each of the plurality of transmission members is fixed to a mounting member that is mounted on a portion that receives presentation of the tactile sensation in the user,
  • the plurality of drive units apply a force in the pulling direction to the corresponding transmission member by winding the corresponding transmission member,
  • the tactile sensation is presented by the resultant force in the pulling direction that each of the plurality of driving units applies to the transmission member.
  • Appendix 9 The information terminal according to appendix 7, wherein three or more of the string-like members are provided.
  • a device comprising: a transmission member that transmits the force; and a drive unit that generates a force in the pulling direction and applies the force to the transmission member, (A) causing the driving unit to generate a force in the pulling direction having a set size as an initial force in advance; (B) increasing or decreasing the initial force so that the haptic sensation to be presented is given to the user via the transmission member when presenting the haptic sensation;
  • a tactile force sense presentation method characterized by comprising:
  • the apparatus includes a plurality of the transmission members, and a plurality of the driving units corresponding to the plurality of the transmission members,
  • Each of the plurality of transmission members is a string-like member extending from a different position of the device to a portion that receives the presentation of the tactile sensation in the user
  • the tip of each of the plurality of transmission members is fixed to a mounting member that is mounted on a portion that receives presentation of the tactile sensation in the user
  • the plurality of drive units apply a force in the pulling direction to the corresponding transmission member by winding the corresponding transmission member,
  • the tactile sensation is presented by the resultant force in the pulling direction that each of the plurality of driving units applies to the transmission member.
  • the tactile sensation presentation method according to attachment 10.
  • a transmission member that extends to a portion that receives the presentation of the tactile sensation in the user and transmits a force in the pull direction to the user; and a drive unit that generates the force in the pull direction and applies the force to the transmission member
  • a computer In an apparatus comprising a computer, In the computer, (A) causing the driving unit to generate a force in the pulling direction having a set size as an initial force in advance; (B) increasing or decreasing the initial force so that the haptic sensation to be presented is given to the user via the transmission member when presenting the haptic sensation;
  • the computer-readable recording medium which has recorded the program containing the instruction
  • the apparatus includes a plurality of the transmission members, and a plurality of the driving units corresponding to the plurality of the transmission members,
  • Each of the plurality of transmission members is a string-like member extending from a different position of the device to a portion that receives the presentation of the tactile sensation in the user,
  • the tip of each of the plurality of transmission members is fixed to a mounting member that is mounted on a portion that receives presentation of the tactile sensation in the user,
  • the plurality of drive units apply a force in the pulling direction to the corresponding transmission member by winding the corresponding transmission member,
  • the tactile sensation is presented by the resultant force in the pulling direction that each of the plurality of driving units applies to the transmission member.
  • the computer-readable recording medium according to appendix 14.
  • the program is (C) When a situation in which the haptic sensation to be presented cannot be presented due to the resultant force in the pulling direction, the haptic sensation to be presented is reset, and the reset haptic sensation is presented 15.
  • Appendix 17 The computer-readable recording medium according to appendix 15, wherein three or more cord-like members are provided.
  • the present invention it is possible to present a three-dimensional haptic sensation in a wide range while reducing the size of the device in the presentation of the haptic sensation.
  • the present invention is useful in various fields that require presentation of tactile sensation, such as computer interfaces, various simulations, and games.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • User Interface Of Digital Computer (AREA)

Abstract

 装置の小型化を図りつつ、広い範囲での三次元的な触力覚の提示を可能にし得る、触力覚提示装置、情報端末、触力覚提示方法、及びプログラムを提供する。情報端末100は、表示装置20と、ユーザにおいて触力覚の提示を受ける部分の位置を検出する位置検出部30と、検出位置に対応してコンテンツの内容を変化させ、変化したコンテンツの内容に基づいて、提示すべき触力覚を算出する情報処理部40と、触力覚提示装置10とを備えている。触力覚提示装置10は、ユーザの触力覚の提示を受ける部分へと伸びて引張力を伝達する伝達部材12と、引張力を発生させ、それを伝達部材12に与える駆動部11と、予め、駆動部11に、引張力を初期力として発生させておき、算出された前記触力覚の提示の際に、この触力覚が伝達部材12を介してユーザに与えられるように、初期力を増加又は減少させる、制御部14とを備えている。

Description

触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
 本発明は、ユーザに対して触力覚を提示(伝達)する触力覚提示装置、これを備えた、POS端末、携帯端末(スマートフォン、タブレット等)といった情報端末、触力覚提示方法、及びこれらを実現するためのプログラムを記録したコンピュータ読み取り可能な記録媒体に関する。
 従来から、タッチパネルといった、画面上で入力操作が行なわれる入力装置においては、操作に応じたユーザへのフィードバックは、表示または音による情報提示のみによって行なわれている。このような入力装置では、ユーザが、ディスプレイに映し出されたソフトウェアキーボードをいくら押し込んでも、実物のキーのクリック感覚と同様の入力操作フィードバックは得られないので、ユーザは、指の下で何にタッチしているのかを認識できない。結果、ユーザにおいて、コンテンツの情報が得られずに、使いにくいという問題が発生する。
 上記の問題に対応するため、例えば、特許文献1は、タッチパネルが取り付けられた表示パネルをその厚み方向に沿って移動可能にする機構が備えられた触力覚提示装置を開示している。特許文献1に開示された触力覚提示装置では、この機構により、ユーザによる指でのタッチに応じて表示パネルを移動させることができるので、ユーザに対して能動的に触力覚を提示できる。
 また、特許文献2は、グローブ型の力覚提示装置を開示している。特許文献2に開示された力覚提示装置では、グローブの各指に沿ってフレームが設けられている。また、各フレームには、指の関節に対応するようにリンクが設けられ、更に、各リンクにはフレームを駆動するモータが取り付けられている。このため、特許文献2に開示された触力覚提示装置では、コンテンツの内容に応じてモータを動作させることで、フレームを介して、グローブを装着したユーザの手に触力覚を提示することができる。
 更に、特許文献3は、図20に示すように、4本のワイヤ201によって空間200内に保持された部材(以下「グリップ」と表記する。)202を用いて、触力覚を提示する触力覚提装置を開示している。図20は、特許文献3に開示された触力覚提示装置の概略構成を示す図である。
 図20に示すように、特許文献3に開示された触力覚提示装置では、空間200内において、4本のワイヤ201は、2本が、空間上方の対角の位置からグリップ202を引っ張り、残りの2本が空間下方の対角の位置からグリップ202を引っ張るように配置される。
 また、図20では図示していないが、ワイヤ201毎に、巻き取り用のモータが設置されている。このため、特許文献3に開示された触力覚提示装置では、コンテンツの内容に応じて各モータを動作させて各ワイヤ201の引張力τ~τを調整することで、各ワイヤ201で保持されたグリップ202を介して、ユーザに触力覚を提示することができる。
特許第4039344号公報 特開2003-308141号公報 特開2003-172662号公報
 上述したように、特許文献1~3それぞれに開示された触力覚提示装置によれば、タッチパネル等の入力装置と異なり、ユーザに触力覚を提示することができる。しかしながら、以下に示す問題が存在する。
 まず、上記特許文献1に開示された触力覚提示装置では、タッチパネル全体を動作させるための構造が複雑であり、装置が大きく重くなってしまうため、当該装置を、スマートフォンなどの携帯型の情報端末に搭載することは困難である。更に、上記特許文献1に開示された触力覚提示装置では、触力覚は、画面の厚み方向において狭い範囲でしか提示できず、広い範囲での三次元的な触力覚の提示も困難となる。
 一方、上記特許文献2に開示された触力覚提示装置では、広い範囲での3次元的な触力覚の提示は可能である。しかし、当該装置では、複雑なリンク機構が必要となり、当該装置でも、装置が大きく重くなり、携帯型の情報端末に搭載することは困難である。更に、当該装置の構成上、フレームの慣性力が力覚提示に影響してしまい、正確な触力覚を提示できない可能性もある。
 また、上記特許文献3に開示された触力覚提示装置でも、広い範囲での3次元的な触力覚の提示は可能であるが、そのためには、ワイヤ201を引っ張るためのモータを、空間200内のワイヤ201を引っ張り始める位置に配置する必要がある(図20参照)。このため、当該装置を、携帯型の情報端末に搭載することも困難である。
 本発明の目的の一例は、上記問題を解消し、装置の小型化を図りつつ、広い範囲での三次元的な触力覚の提示を可能にし得る、触力覚提示装置、情報端末、触力覚提示方法、及びコンピュータ読み取り可能な記録媒体を提供することにある。
 上記目的を達成するため、本発明の一側面における触力覚提示装置は、画面に表示されたコンテンツの内容に応じてユーザに触力覚を提示するための装置であって、
 当該装置から、前記ユーザにおける前記触力覚の提示を受ける部分へと伸びて、前記ユーザに引っ張り方向の力を伝達する伝達部材と、
 前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
 予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記触力覚の提示の際に、提示すべき前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、制御部と、を備えている、
ことを特徴とする。
 また、上記目的を達成するため、本発明の一側面における情報端末は、画面に表示されたコンテンツの内容に応じてユーザに触力覚を提示可能な情報端末であって、
 前記画面上に前記コンテンツを表示させる表示装置と、
 前記ユーザにおいて前記触力覚の提示を受ける部分の位置を検出する位置検出部と、
 検出された位置に対応して前記コンテンツの内容を変化させ、変化した前記コンテンツの内容に基づいて、提示すべき触力覚を算出する情報処理部と、
 触力覚提示装置と、を備え、
 前記触力覚提示装置は、
当該情報端末から前記ユーザの前記触力覚の提示を受ける部分へと伸びて前記ユーザに引っ張り方向の力を伝達する伝達部材と、
前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記触力覚の提示の際に、算出された前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、制御部と、を備えている、
ことを特徴とする。
 また、上記目的を達成するため、本発明の一側面における触力覚提示方法は、画面に表示されたコンテンツの内容に応じてユーザに触力覚を提示するための方法であって、前記ユーザにおける前記触力覚の提示を受ける部分へと伸びて、前記ユーザに引っ張り方向の力を伝達する伝達部材と、前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、を備える装置を用い、
(a)予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させる、ステップと、
(b)前記触力覚の提示の際に、提示すべき前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、ステップと、
を有することを特徴とする。
 更に、上記目的を達成するため、本発明の一側面におけるコンピュータ読み取り可能な記録媒体は、
画面に表示されたコンテンツの内容に応じてユーザに触力覚を提示するため、
前記ユーザにおける前記触力覚の提示を受ける部分へと伸びて、前記ユーザに引っ張り方向の力を伝達する伝達部材と、前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、コンピュータとを備える装置において、
前記コンピュータに、
(a)予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させる、ステップと、
(b)前記触力覚の提示の際に、提示すべき前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、ステップと、
を実行させる、命令を含むプログラムを記録していることを特徴とする。
 以上のように本発明によれば、装置の小型化を図りつつ、広い範囲での三次元的な触力覚の提示が可能になる。
図1は、本発明の実施の形態1における情報端末の外観を示す斜視図である。 図2は、本発明の実施の形態1における情報端末の各構成部品を示す分解斜視図である。 図3は、本発明の実施の形態1における情報端末の構成を示すブロック図である。 図4は、本発明の実施の形態1における情報端末100の動作を示すフロー図である。 図5は、図4に示したステップS101を説明するための図である。 図6は、図4に示したステップS103を説明するための図である。 図7(a)は、引張力の算出処理を説明するための図であり、図7(b)は、引張力の算出処理に用いられる座標軸を示す図である。 図8は、提示力の再設定処理を説明するための図である。 図9は、本発明の実施の形態1における触力覚提示装置を備えたヘットマウントディスプレイの一例を示す図である。 図10は、本発明の実施の形態1における情報端末の他の例を示す斜視図である。 図11は、本発明の実施の形態1において利用される装着部材の他の例を示す図である。 図12は、本実施の形態1を適用可能なコンテンツの一例を説明する図である。 図13は、情報端末の画面に表示されるコンテンツが梃子の原理を説明するための実験モデルである場合を示している。 図14は、情報端末の画面に表示されるコンテンツが台風の仕組みを説明するためのモデルである場合を示している。 図15は、本発明の実施の形態2における情報端末の外観を示す斜視図である。 図16は、本発明の実施の形態2における情報端末の使用例を示す図である。 図17は、本発明の実施の形態2における情報端末の構成を示すブロック図である。 図18(a)は、本発明の実施の形態2の変形例における情報端末が表示する画面の一例を示す図であり、図18(b)は、画面とユーザの顔の向きとの関係を示す図である。 図19(a)は、本発明の実施の形態2の変形例における情報端末が表示する画面の一例を示す図であり、図19(b)は、画面とユーザの顔の向きとの関係を示す図である。 図20は、特許文献3に開示された触力覚提示装置の概略構成を示す図である。
(実施の形態1)
 以下、本発明の実施の形態1における、触力覚提示装置、情報端末、触力覚提示方法、及びプログラムについて、図1~図14を参照しながら説明する。
[装置構成]
 最初に、図1及び図2を用いて、本実施の形態1における触力覚提示装置及び情報端末の構成を説明する。図1は、本発明の実施の形態1における情報端末の外観を示す斜視図である。図2は、本発明の実施の形態1における情報端末の各構成部品を示す分解斜視図である。
 まず、図1を用いて、本実施の形態1における情報端末の外観構成について説明する。図1に示すように、本実施の形態1における情報端末100は、タブレット型の情報端末であり、後述の図2に示すように、ユーザ110に触力覚を提示する触力覚提示装置を備えている。
 本実施の形態1では、情報端末100は、端末背面側(画面101が設けられた側の反対側)の空間において、ユーザ110の触力覚の提示を受ける部分、具体的には、指の位置を検出することができ、ユーザ110は指の位置を動かすことによって入力操作を行うことができる。
 また、情報端末100は、画面101上に、仮想空間を表示することができ、更に、ユーザ110の指に相当するオブジェクト(以下「ユーザオブジェクト」と表記する。)102を、検出された位置に合わせて仮想空間内に表示することもできる。そして、仮想空間内に配置されている仮想オブジェクト103とユーザオブジェクト102とが接触した場合は、情報端末100の触力覚提示装置が、ユーザ110の指に対して、仮想オブジェクト103に触れた感触を伝達する。
 つまり、情報端末100では、ユーザ110が指を動かしたり、仮想オブジェクト103が動いたりすることにより、ユーザ110に、仮想空間内の動作及び状態が、触力覚として提示される。なお、図1においては、ユーザ110の指と仮想オブジェクト103との位置関係を示すため、現実空間に存在した場合の仮想オブジェクト103が破線で示されている。
 続いて、図2を用いて、情報端末の内部構成について説明する。図2に示すように、情報端末100は、画面上にコンテンツを表示させる表示装置20と、位置検出部30と、情報処理部40と、ユーザ110(図1参照)に触力覚を提示する触力覚提示装置10とを備えている。
 このうち、位置検出部30は、ユーザ110において触力覚の提示を受ける部分(図1及び図2の例では指)の位置を検出する。また、情報処理部40は、検出された位置に対応してコンテンツの内容を変化させ、変化したコンテンツの内容に基づいて、提示すべき触力覚を算出する。
 また、図2に示すように、触力覚提示装置10は、伝達部材12と、駆動部11と、制御部14とを備えている。このうち、伝達部材12は、情報端末100からユーザ110の触力覚の提示を受ける部分(図1及び図2の例では指)へと伸びて、ユーザ110に引っ張り方向の力(以下、「引張力」と表記する。)を伝達する部材である。また、駆動部11は、引張力を発生させ、それを伝達部材12に与えている。
 また、制御部14は、まず、駆動部11に、予め、設定された大きさの引張力を初期力として発生させる。そして、制御部14は、駆動部11において、情報処理部40によって算出された触力覚の提示の際に、算出された触力覚が伝達部材12を介してユーザ110(図2参照)に与えられるように、初期力を増加又は減少させる。
 このように、情報端末100では、触力覚提示装置10は、情報端末100の背面側に位置するユーザ110の指に、伝達部材11によって引っ張り方向の力を伝達することによって触力覚を提示する。このため、広い範囲での3次元的な触力覚の提示が可能となる。また、触力覚提示装置10の構成は、コンパクトにできるので、装置の小型化も図られる。なお、本発明でいう「触力覚」とは、ユーザが感じる、反発力、抵抗力、外力、感触、等を意味する。
 ここで、本実施の形態1における情報端末100及び触力覚提示装置10の構成について更に具体的に説明する。
 図2に示すように、情報端末100は、ユーザ側から順に、枠状に形成されたカバー50と、表示装置20と、箱状の筐体51とを備えている。カバー50は、表示装置20の画面が露出するように、筐体51の開口部分に取り付けられる。表示装置20は、液晶表示パネル、有機ELパネルといった薄型の表示パネルである。
 上述した、駆動部11、制御部14、位置検出部30、及び情報処理部40は、表示装置20の背面側となる筐体51の内部に配置されている。また、図2に示すように、本実施の形態1では、3本の伝達部材12が用いられており、これに対応して3つの駆動部11が配置されている。
 本実施の形態1では、伝達部材12それぞれは、情報端末100の背面側の異なる位置からユーザ110における触力覚の提示を受ける部分(指)へと伸びる紐状の部材、例えば、ワイヤである。また、各伝達部材12の先端は、ユーザ110の触力覚の提示を受ける部分に装着される装着部材13に固定されている。具体的には、装着部材13は、ユーザ110の指に装着可能なリング状の部材である。
 また、本実施の形態1では、各駆動部11は、プーリ15が軸に取り付けられたモータであり、対応する伝達部材12をプーリ15で巻き取ることによって、対応する伝達部材12に、引っ張り方向の力を与えている。
 更に、筐体51の底面には、伝達部材12毎に、通し穴16が設けられており、各伝達部材12は、通し穴16を経由して、情報端末100の背面側へと伸びる。なお、各通し穴16の位置は、特に限定されないが、後述するように、触力覚の提示範囲は各通し穴16の位置によって決定される(図8の領域X参照)。よって、各通し穴16の位置は、求められる提示範囲を考慮した上で決定される。
 このように、本実施の形態1においては、3本の伝達部材12によって、装着部材13が引っ張られることによって、ユーザ110の指に提示力が提示される(図1参照)。つまり、各駆動部11が伝達部材13に与える引張力の合力によって、触力覚が提示される。
 また、本実施の形態1では、位置検出部30は、駆動部11毎に、その軸に設けられたエンコーダである。このため、位置検出部30は、ユーザの触力覚の提示を受ける部分の位置を検出するためのデータ(以下、「位置検出データ」と表記する。)として、モータの軸の回転数を特定するデータを、情報処理部40に出力する。
 そして、情報処理部40は、各位置検出部30から出力された位置検出データを受け取ると、予め登録されている、伝達部材12の全長、プーリ15の直径、プーリ15から通し穴16までの距離等に基づいて、各伝達部材12の通し穴16から装着部材13までの長さを算出する。また、情報処理部40は、後述するように、算出された各伝達部材12の長さに基づいて、ユーザ110の触力覚の提示を受ける部分の位置、即ち、装着部材13の位置を算出する。
 また、本実施の形態1では、制御部14及び情報処理部40は、それぞれ、マイコン等のコンピュータによって実現されている。また、両者は、それぞれ別々のコンピュータによって実現されていても良いし、同一のコンピュータによって実現されていても良い。
 以上、図2に示すように、本実施の形態1では、駆動部11として機能するモータによる力の伝達機構として、紐状の部材(伝達部材12)が用いられる。従って、触力覚提示装置10において、構成部材の軽量化と、触力覚を提示するための機構の単純化とが図られるので、情報端末100の小型軽量化が達成される。
 また、本実施の形態1では、駆動部材12による引張力の伝達方向は、プーリ15及び通し穴16の位置によって、自由に設定できる。更に、伝達部材12の通し穴から装着部材13までの距離は、プーリ15での巻き取り量によって、自由に設定できる。従って、ユーザが指を動かすことのできる範囲を大きくできるので、広い範囲での3次元的な触力覚の提示が可能となる。また、伝達部材12として、軽量な紐状の部材が用いられているので、ユーザは、指を動かす際に、機械的な抵抗などを感じ難いといえる。
 更に、図20を用いて説明した特許文献3に開示された触力覚提示装置では、ワイヤを引っ張るモータを空間内の上方と下方とに配置する必要があったが、図2に示したように、本実施の形態1では、駆動部11は、筐体51の底面に平面的に配置される。このため、図2に示す触力覚提示装置10を、平面的な形状の情報端末100に実装することは、容易である。
 続いて、図3を用いて、情報端末100でやり取りされるデータについて説明する。図3は、本発明の実施の形態1における情報端末の構成を示すブロック図である。
 図3に示すように、情報処理部40は、表示装置20、位置検出部30、及び制御部14に接続されている。また、制御部14は、駆動部(モータ)11に接続されている。
 この構成では、ユーザ110が、装着部材13を装着した指を、情報端末100の背面側で動かすと、各位置検出部30が、位置検出データaを情報処理部40に出力する。情報処理部40は、各位置検出データaを受け取ると、これらに基づいて、ユーザ110の指(装着部材13)の位置を特定する。
 また、情報処理部40は、ユーザ110の指の位置を特定すると、特定した位置に応じて、ユーザオブジェクト102(図1参照)の位置を変更する。そして、情報処理部40は、コンテンツデータ41を参照し、ユーザオブジェクト102とコンテンツ内の仮想オブジェクト103とを連動させる処理を行ない、その処理内容が反映されたコンテンツの表示情報を表示データeとして表示装置20に出力する。
 コンテンツデータ41の具体例としては、ゲームプログラム、シミュレーションプログラムなどの、仮想空間を提供するアプリケーションプログラムのデータ、更にはWebサイトのデータが挙げられる。また、コンテンツデータ41は、情報端末100に備えられた記憶装置に格納されていても良いし、インターネットで接続された別の機器(コンピュータ)に格納されていても良い。
 また、このとき、情報処理部40は、ユーザオブジェクト102に仮想空間内で発生した力を算出し、算出した力を特定するデータb(以下「提示データb」と表記する。)を、制御部14に出力する。この算出された力は、オブジェクトに発生した反発力等であり、ユーザに伝達すべき触力覚に相当する。
 制御部14は、提示データbを受け取ると、提示データbによって特定される触力覚がユーザ110に伝達されるように、各駆動部11が出力すべき引張力を算出する。そして、制御部14は、各駆動部11に目的の引張力を発揮させる制御データdを生成し、これを各駆動部11に出力する。
 具体的には、制御部14は、電源回路(図示せず)を用いて、駆動部11として機能するモータを駆動するためのパルス信号を生成し、これを制御データdとして出力する。これにより、各駆動部(モータ)11は、計算された引張力で伝達部材12を引っ張り、ユーザ110の指先には、提示データbによって特定される触力覚が提示される。
[装置動作]
 次に、本発明の実施の形態1における情報端末100及び触力覚提示装置10の動作について図4を用いて説明する。図4は、本発明の実施の形態1における情報端末100の動作を示すフロー図である。なお、以下の説明においては、適宜図1~図3を参酌する。また、本実施の形態1では、触力覚提示装置10を動作させることによって、触力覚提示方法が実施される。よって、本実施の形態1における触力覚提示方法の説明は、以下の触力覚提示装置10の動作説明に代える。
 最初に、ユーザ110が、情報端末100の背面の空間において、表示装置20の画面上に表示されるコンテンツを操作しようと、指を動かすとする。これにより、図3に示したように、位置検出部30それぞれは、位置検出データaを、情報処理部40に出力する。
 次に、図4に示すように、情報処理部40は、出力されてきた位置検出データaに基づいて、各伝達部材12の通し穴16から装着部材13までの長さを算出し、更に、算出された各伝達部材12の長さに基づいて、ユーザ110の指の位置を特定する(S101)。また、情報処理部40は、特定した位置に応じて、ユーザオブジェクト102(図1参照)の位置を変更する。
 次に、情報処理部40は、コンテンツデータ41を参照し、ユーザオブジェクト102に仮想オブジェクト103を連動させる処理(コンテンツ連動処理)を実行する(ステップS102)。また、ステップS102では、情報処理部40は、コンテンツ連動処理の処理内容が反映されたコンテンツの表示情報を、表示データeとして表示装置20出力する。更に、ステップS102では、情報処理部40は、ユーザオブジェクト102に仮想空間内で発生した力を算出し、算出した力を特定する提示データbを、制御部14に出力する。
 次に、制御部14は、情報処理部40から提示データbを受け取ると、提示データbで特定される提示力を提示する上で各駆動部11が出力すべき引張力を算出する(ステップS103)。また、ステップS103では、制御部14は、更に、各駆動部11によって、算出された引張力が発生するように制御データdを生成し、これを各駆動部11に出力する。
 ステップS103が実行されると、触力覚提示装置10は、ユーザ110の指先に、装着部材13を介して触力覚を提示する(ステップS104)。また、表示装置の画面101には、ステップS102で情報処理部40が出力した表示データeに基づいて、コンテンツ連動処理後のコンテンツが表示される(ステップS105)。なお、ステップS104とステップS105とは、同時に実行されても良い。
 また、本実施の形態1においては、ステップS101~S105は、繰り返し実行される。よって、ユーザ110が、ある位置から別の位置までを指を動かした場合は、開始から終了までの間に、ステップS101~S105は繰り返し実行されるので、その間、ユーザ110は、連続して、触力覚の提示を受けることができる。
 ここで、図4に示したステップS101~ステップS105までの各ステップについて、図5~図8を用いて更に詳細に説明する。
[ステップS101]
 まず、図5を用いて、図4に示したステップS101(指位置検出処理)について説明する。図5は、図4に示したステップS101を説明するための図である。ステップS101の指位置検出処理では、上述したように、情報端末100の背面側において、伝達部材12の先端が接続されている装着部材13の位置が、伝達部材12の長さによって特定される。また、伝達部材12の長さは位置検出部30によって特定される。
 具体的には、図5に示すように、各伝達部材12の通し穴16から装着部材13までの長さを、それぞれ、l、l、lとし、画面の水平方向において隣り合う通し穴間の間隔をwとし、画面の垂直方向において隣り合う通し穴間の間隔をhとする。この場合、情報処理部40は、l、l、l、w、及びhを用いて、装着部材13の座標(x、y、z)を幾何的に算出する。
[ステップS102]
 次に、図1を参照しながら、図4に示したステップS102(コンテンツ連動処理)について説明する。ステップS102のコンテンツ連動処理では、上述したように、ユーザ110の実際の指の動きに合せて、仮想空間内でユーザオブジェクト102が動き、更に、仮想空間内の仮想オブジェクト103は、ユーザオブジェクト102に連動する。
 具体的には、情報処理部40は、ユーザオブジェクト102の動きに追従して、仮想オブジェクト103を動かして、仮想空間内の仮想オブジェクトと実空間の物体(ユーザ110の指)とのインタラクション(相互作用)を取る。このとき、情報処理部40は、仮想空間内の物理シミュレータを用いて、ユーザオブジェクト102と仮想オブジェクト103とが接触した際の位置の変化及び接触力をシミュレートする。
 そして、情報処理部40は、ユーザオブジェクト102と仮想オブジェクト103との仮想空間での物理係数に応じて、接触によって両者に生じた反力を計算する。なお、物理係数としては、ユーザオブジェクト102及び仮想オブジェクト103それぞれの、質量、速度、加速度、接触方向、反発係数等が挙げられる。
 また、この計算された反力のうち、ユーザオブジェクト102が仮想オブジェクト103から受けた反力が、ユーザ110に提示すべき触力覚に相当する(後述の図6及び図7参照)。よって、ユーザオブジェクト102が仮想オブジェクト103から受けた反力を「提示力F」とすると、情報処理部40は、提示力Fが提示されるようにするため、提示力Fを特定する提示データbを制御部14に出力する。また、情報処理部40は、その際の、ユーザオブジェクト102及び仮想オブジェクト103を表示するためのデータを、表示情報である表示データeとして表示装置20に出力する。
[ステップS103]
 次に、図6及び図7を用いて、図4に示したステップS103(引張力の算出処理及び制御データの生成処理)について説明する。
 図6は、図4に示したステップS103を説明するための図である。図6に示すように、目的の提示力Fを提示するために必要となる各伝達部材12の引張力を、それぞれ、τ、τ、τとすると、提示力Fは、基本的には、引張力τ、τ、及びτの合力に相当する。
 そして、提示力Fが、外部から情報端末100に向かう方向の力である場合には、提示力Fの方向は、引張力τ~τの合力の方向と一致する。しかし、図6に示すように、提示力Fが情報端末100から離れる方向の力である場合には、伝達部材12は、紐状の部材であり、情報端末100側へと引っ張る方向の力しか伝達できないため、触力覚の提示ができなくなる可能性がある。
 そのため、本実施の形態1では、制御部14は、上述したように、触力覚を提示しない場合において、予め、ユーザの指(装着部材13)に一定の力を常に初期力Fとして提示する。そして、制御部14は、提示力Fが、情報端末100から離れる方向の力である場合は、初期力Fを緩めることにより、情報端末100から離れる方向への触力覚を提示している。
 一般に、ヒトの触感覚には、その時間特性として、順応と呼ばれる現象がある。順応は、ヒトに一定の刺激を提示し続けると、刺激に対する感度が低下する現象である。つまり、ヒトの皮膚は、圧力に対してきわめて順応しやすく、指輪及び腕時計を装着した場合、その装着感は失われやすい。
 また、重力に対しても同様であり、ヒトは、普段、その力を意識することはない。例えば、電車に乗っている際の加速時又は減速時において、ヒトには、その慣性力と重力との合力が力として加わっているが、電車に乗っているヒトは、合力を感じず、移動方向への慣性力のみを感じる。
 このように、本実施の形態1では、ヒトの順応性が利用され、初期力Fを増加又は減少させることによって、情報端末100に向かう方向の触力覚と離れる方向の触力覚との提示が可能となっている。
 続いて、図7を用いて、伝達部材12に与える引張力τ~τの算出処理について具体的に説明する。図7(a)は、引張力の算出処理を説明するための図であり、図7(b)は、引張力の算出処理に用いられる座標軸を示す図である。
 図7(a)及び(b)において、引張力τ~τは、初期力Fを発生させるために必要となる引張力を除いた引張力であり、初期力Fに対して加算又は減算させる引張力である。また、図7(a)及び(b)において、座標軸の原点は、各伝達部材12の先端の位置とする。更に、x軸は画面の水平方向に平行な軸、y軸は画面の垂直方向に平行な軸、z軸は画面の法線に平行な軸とする。図7(b)において、単位ベクトルrの座標を、(r,ψ,θ)とする。この場合、引張力τ~τは、目的の提示力を発揮するためには、下記の数1の関係を満たす必要がある。
Figure JPOXMLDOC01-appb-M000001
 また、上記数1において、伝達部材12の引張力τ~τはスカラー量であり、引張力τ~τの方向ベクトルΦは、数2によって表わされる。
Figure JPOXMLDOC01-appb-M000002
 制御部14は、上記数1及び数2を用いることで、引張力τ~τを算出することができる。また、上記数1に示すように、目的の提示力Fは、各伝達部材12の引張力から初期力Fを減算することによって得られている。このため、提示力Fが、情報端末100から離れる方向(-z方向)の、初期力Fを超える力でない限りは、情報端末100から離れる方向(-z方向)においても触力覚の提示が可能となる。
 なお、各伝達部材12の引張力の条件として、引張力τ、τ、τは、引張する向にしか力を提示できないため、これらは必ず正の値をとる。また、各引張力の最低値をτminとした場合は、下記の数3が成立する。
Figure JPOXMLDOC01-appb-M000003
 ところで、伝達部材12は、引っ張り方向の力しか伝達できないため、引張力τ、τ、τの合力によって、提示すべき触力覚を提示できない状況が発生することがある(図8参照)。具体的には、装着部材13が、画面の法線に平行な方向(z軸方向)において、隣接する通し穴16を直線で結んで得られる領域(図8の領域X参照)と重ならない位置にある場合は、上記数1では、目的の提示力Fを算出できなくなる可能性がある。このような場合、本実施の形態1では、制御部14は、提示すべき触力覚(提示力F)を設定し直し、設定し直した提示力Frが提示されるように、初期力Fを増加又は減少させる。以下に、上記再設定処理について具体的に説明する。
 図8は、提示力の再設定処理を説明するための図である。図8に示すように、例えば、装着部材13の位置(x、y、z)が、隣接する通し穴16を直線で結んで得られる領域Xとz軸方向において重ならない位置にある場合を想定する。
 図8に示す場合において、提示力Fのx軸方向の成分が正でない限り、各伝達部材12の張力をどのように設定しても、上記数1及び数2によって提示力Fを算出することは不可能である。一方、このような状況であっても、ユーザは、指を領域Xとz軸方向において重なる位置に移動させることはできる。従って、制御部14は、このような場合において、上記数1及び数2によって、引張力τ、τ、τを算出できるように、提示力Frを再設定する。
 図8の例では、実際に、引張力τ、τ、及びτによって引っ張りたい方向は、提示力Fと初期力Fとの合力の方向である。しかし、この方向は、各伝達部材12の合力によって引っ張ることができる方向ではない。このため、制御部14は、提示力Fと初期力Fとの合力に最も近い力を、新たな提示力Frとして再設定する。
 図8の例では、引張力τと引張力τとで発生させる提示力Frが、元の提示力Fと初期力Fとの合力に近くなる。そこで、制御部14は、引張力τと引張力τとを発生させる2本の伝達部材12によって作られる面に、元の提示力Fと初期力Fとの合力を回転射影することで、新しい提示力Frを再設定する。
 具体的には、引張力τと引張力τとを発生させる2本の伝達部材12によって作られる面への射影ベクトルVは、下記の数4によって表すことができる。数4において変数「a」は、図8に示すように、回転射影を行なった場合の回転角度ωを最も小さくする位置、即ち、領域Xの画面の垂直方向における辺上の位置を割合で表わしている(0<a<1)。また、Φは通し穴16を基準にしたτの方向ベクトルである。Φは通し穴16を基準にしたτの方向ベクトルである。Φ及びΦは、上述の数2から求められる。
Figure JPOXMLDOC01-appb-M000004
 従って、制御部14は、下記数5を用いて、射影ベクトルVと元の提示力F及び初期力Fの合力との内積を、最も小さくする射影ベクトルを算出する。そして、制御部15は、算出した射影ベクトルを、下記の数6に適用して、新たな提示力Frを算出する。その後、制御部15は、新たな提示力Frを用いて、各伝達部材12の引張力τ、τ、τを算出し、これらが発生するように制御データdを生成し、各駆動部11に出力する。
Figure JPOXMLDOC01-appb-M000005
Figure JPOXMLDOC01-appb-M000006
(実施の形態1における変形例)
 変形例1:
 上述した例では、伝達部材12は三本であるが、本実施の形態1では、伝達部材12の数は特に限定されるものではない。伝達部材12の数は、情報端末100を大型化させない範囲で設定されていれば良い。
 変形例2:
 上述した例では、駆動部11としてモータが用いられているが、本実施の形態1では、駆動部はモータに限定されない。駆動部11は、駆動部材を引っ張ることが可能なアクチュエータであれば良く、駆動部11としては、他に、伸張動作を行なう人工筋肉アクチュエータ、繊維状の形状記憶合金アクチュエータ、などが挙げられる。
 また、上述した例では、位置検出部30として、伝達部材の長さを特定するエンコーダが用いられているが、本実施の形態1では、位置検出部30は、エンコーダ以外であっても良い。例えば、位置検出部30としては、情報端末の背面に設置されたカメラを用いることができる。この場合は、装着部材13の位置が光学的に検出される。また、位置検出部30として、情報端末の背面に設置された磁気センサを用いることができる。この場合は、磁気を発する材料で装着部材13を形成することによって、装着部材13の位置検出が可能となる。
 変形例4:
 また、上述した例では、図5に示したように、伝達部材12を引張し始める位置である通し穴16の位置は、縦方向をh、横方向をwとした直角三角形の頂点位置に設定されているが、本実施の形態1において、通し穴16の位置は特に限定されるものではない。また、全ての通し穴は、同一平面内に配置されていなくても良い。通し穴16の位置は、情報端末100の厚みが許す範囲で適宜設定される。
 変形例5:
 更に、上述した例では、触力覚提示装置10は、情報端末100の内部に組み込まれているが、本実施の形態1は、この例に限定されるものではない。本実施の形態1では、触力覚提示装置10は、アタッチメントとして、既存の情報端末に後付け可能な装置であっても良い。
 変形例6:
 また、上述した例では、情報端末100の背面側を操作空間にして、触力覚が提示されているが、本実施の形態1では、情報端末100の画面側の空間が操作空間となっていても良い。但し、この場合は、初期力Fの方向は、z軸において負の方向となる(図6参照)。
 変形例7:
 また、上述した例では、触力覚提示装置は、タブレット状の情報端末に適用されているが、本実施の形態1は、これに限定されるものではない。例えば、図9に示すように、触力覚提示装置は、ユーザの顔面に装着されるヘッドマウントディスプレイ60に組み込まれていても良い。
 図9は、本発明の実施の形態1における触力覚提示装置を備えたヘットマウントディスプレイの一例を示す図である。図9の例では、ユーザは、ヘッドマウントディスプレイ60内側の表示パネル(図9において図示せず)に映し出されているコンテンツを見ながら、ヘッドマウントディスプレイ60の前方で、装着部材13を装着した指を動かすことで、触った感覚を感じることができる。
 変形例8:
 図10は、本発明の実施の形態1における情報端末の他の例を示す斜視図である。図10の例では、情報端末100を構成している筐体51の底面に、伝達部材12を収容するための溝17と、装着部材13を収容するための凹部18とが形成されている。図10に示す例とした場合は、ユーザにおいて、情報端末100の持ち運びが容易なものとなる。
 変形例9:
 図11は、本発明の実施の形態1において利用される装着部材の他の例を示す図である。図11の例では、装着部材13は、単なるリングではなく、リング状のフレーム13aと、その内周に嵌め込まれるボールベアリング13bと、伝達部材12が連結される連結部13cとを備えている。従って、装着部材13において、ユーザの指に接触している部分は、伝達部材12に接続されている部分から独立して回転することができるので、以下の効果が得られることになる。
 例えば、図1の例において、ユーザが、装着部材13を装着した指で、仮想オブジェク103の向かって右の側面を触ろうとした場合を想定する。この場合、ユーザは、指の腹を仮想オブジェクト103に接触させようとして、手首を外旋させるが、このとき、指と装着部材13とが密着していると、手首の外旋によって、装着部材13は指と共に回転してしまう。これにより、指には、想定していないモーメントが作用してしまい、正確な触力覚を提示することが困難となる。また、指に、伝達部材12が絡みつく可能性もある。
 しかしながら、図11に示す装着部材13を用いれば、装着部材13において、ユーザの指に接触している部分は、伝達部材12に接続されている部分から独立して回転することができる。よって、想定していないモーメントが作用したり、指に伝達部材12が絡みついたり、といった事態が回避される。なお、図11の例では、ユーザの指に接触している部分を、伝達部材12に接続されている部分から独立して回転させるために、ボールベアリング13bが用いられているが、本例は、この態様に限定される趣旨ではない。このような作用が得られる部材であれば、限定なく、装着部材13に導入可能である。
(適用例)
 加えて、上述した例では、触力覚が提示なされるコンテンツの例として、実空間にあるユーザの指と画面に表示される仮想オブジェクトとを連動させる例が示されているが、本実施の形態1において、コンテンツは、これに限定されるものではない。以下に、別のコンテンツ例について説明する。
 図12は、本実施の形態1を適用可能なコンテンツの一例を説明する図である。図12の例では、仮想空間内に、仮想的なユーザインタフェースとして、仮想のタッチパネル31と仮想のキーボード32とが配置されている。この場合、ユーザは、情報端末の背面側で指を動かすことで、情報端末の背面にある仮想のタッチパネル31及び仮想のキーボード32をあたかも操作しているような感触を得ることができる。
 適用例2:
 また、本実施の形態1は、コンテンツがナビゲーションである場合にも適用できる。つまり、本実施の形態1における触力覚提示装置をナビゲーション装置に適用することで、ユーザにナビゲーションする方向を触力覚によって提示することができる。
 この場合、ユーザは、進むべき方向が画面に表示される場合よりも、進むべき方向を確実に把握できる。また、この場合において、画面をスクロールする際の画面の動きに連動させ触力覚を提示することで、より実体感をユーザに与えた操作が可能になる。
 適用例3:
 また、本実施の形態1における触力覚提示装置は、スクロールする画面の動きに連動した触力覚を提示することで、より実体的な操作感をユーザに提供できる。例えば、画面のスクロールにおいて、これ以上の情報が無くてスクロールができない場合に、表示画面をスクロール方向においてバウンドさせてスクロールできないことを知らせる表示方法が知られている。この表示方法が採用される場合に、表示画面のバウンドに連動して触力覚が提示されるようにすれば、ユーザは、より実体的に、情報を素早く正確に受け取ることが可能になる。
 適用例4:
 実施の形態1における触力覚提示装置は、表示されているコンテンツがwebサイトである場合において、タッチしている指の下にLinkボタン等があることを触力覚により提示することができる。この場合、ユーザは、表示情報だけでは得にくい情報を受け取ることができる。更に、触力覚提示装置は、Link先に有害なサイトが含まれる場合は、ユーザがLinkボタンを押しにくくなるように、触力覚の提示によって警告を行なうこともできる。
 適用例5:
 実施の形態1における触力覚提示装置は、仮想のオブジェクト(仮想物体)との連動に限らず、マスタ・スレーブのロボットアームなどの入力操作の動作反応に利用可能である。例えば、ユーザが画面を見ながらロボットアームを遠隔操作して実物体を操作する場合において、触力覚提示装置は、障害物に接触したことの反応、障害物に接触する前の警告等として、触力覚を提示することができる。この場合、ユーザは、より安全で正確に、ロボットアームを操作することができる。
 適用例6:
 実施の形態1における触力覚提示装置は、触地図などの状態把握に利用可能である。つまり、触力覚提示装置は、視覚障がい者における地図把握として利用できる。また、一般ユーザが3D迷路等において壁及び道順を理解する際に、触力覚提示装置によって、壁及び道に対応する触力覚を提示させれば、ユーザにおける形状及び状態の把握が容易となる。
 適用例7:
 実施の形態1における触力覚提示装置は、文字学習における漢字書き順の情報提示に利用可能である。子どもが漢字学習における文字の書く順番理解のため、触力覚提示装置によって、書き順序、とび、はね等が不正確であるときに、正しい入力方向以外の入力に抵抗力を触力覚として提示すれば良い。触力覚提示装置は、文字学習の補助に有用である。
 適用例8:
 実施の形態1における触力覚提示装置は、ピアノなどの楽器操作のシミュレーション、手術のシミュレーション、粘土造形のシミュレーションにおいて、フィードバック装置として利用可能である。つまり、触力覚提示装置は、機器使用の事前学習、エンタテイメントのひとつとして、入力に対する機器のフィードバックとして触力覚提示をすることができる。
 適用例9:
 実施の形態1における触力覚提示装置は、Webサイト及びテレビといった実店舗以外での商品の購入において、商品の状態認識に利用可能である。実店舗での商品購入と異なり、Webサイト及びテレビでの商品購入においては、商品の実感が問題となる。このため、触力覚提示装置を利用すれば、ユーザは、商品に触った際の触覚情報を得る事が出来るので、より商品を理解したうえで購入を行なうことができる。
 適用例10:
 実施の形態1における触力覚提示装置は、錯視絵の理解などエンタテイメントとして利用可能である。この場合、触力覚提示装置は、視覚情報と一致しない触力覚を提示情報としてユーザに与えることにより、ユーザに違和感を提示する。例えば Maurits CornelisEscher作の螺旋階段が続く錯視絵は、実物としては触ることができないが、触力覚提示装置を用いれば、仮想空間内の物体の感触を提示できるので、ユーザは、錯視絵に触れることもできる。
 適用例11:
 また、実施の形態1における触力覚提示装置は、教育分野においても利用である。ここで、図13及び図14を用いて、触力覚提示装置を教育分野に利用する場合について説明する。
 図13は、情報端末の画面に表示されるコンテンツが梃子の原理を説明するための実験モデルである場合を示している。図13の例では、仮想空間内に、仮想オブジェクトとして、シーソー80が配置され、その一端には、重り82が載置されている。よって、ユーザは、ユーザオブジェクト102を操作して、支点81からの距離を変えながら、シーソー80の他端を支えれば、支点81からの距離に応じて指先にかかる力が変化することを感じることができる。このように、図13の例によれば、生徒であるユーザは、触力覚を感じることによって、梃子の原理を理解することができる。
 図14は、情報端末の画面に表示されるコンテンツが台風の仕組みを説明するためのモデルである場合を示している。図14の例では、仮想空間内に、台風のモデル83が構築されている。よって、ユーザが、ユーザオブジェクト102を操作して、台風のモデル83とユーザオブジェクト102とを接触させれば、ユーザの指には、台風の気流を表現する触力覚が提示されることになる。また、このとき、ユーザが、ユーザオブジェクト102を台風のモデル83の中心に近付けていけば、感じる力の大きさは段々と強くなるが、中心では、弱くなってしまう。このように、図14の例によれば、生徒であるユーザは、触力覚を感じることによって、台風の仕組みを理解することができる。また、この場合、ユーザは、北半球と南半球とで風の向きが反対になることも、簡単に理解することができる。
[プログラム]
 本実施の形態1におけるプログラムは、コンピュータに、図4に示すステップS103を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態1における触力覚提示装置10と触力覚提示方法とを実現することができる。この場合、コンピュータのCPU(Central Processing Unit)は、制御部14として機能し、処理を行なう。
 また、触力覚提示装置10を実現可能なコンピュータは、特に限定されず、上述したマイコンであっても良いし、汎用のパーソナルコンピュータであっても良い。更に、触力覚提示装置10を実現可能なコンピュータは、携帯電話、スマートフォン、又はタブレット型の情報端末に備えられているコンピュータであっても良い。
 また、本実施の形態1におけるプログラムは、コンピュータ読み取り可能な記録媒体に記録された状態で提供されても良いし、インターネット介して送信されても良い。なお、記録媒体の具体例としては、CF(Compact Flash(登録商標))及びSD(Secure Digital)等の汎用的な半導体記憶デバイス、フレキシブルディスク(Flexible Disk)等の磁気記憶媒体、又はCD-ROM(Compact Disk Read Only Memory)などの光学記憶媒体が挙げられる。
[実施の形態1における効果]
 以上のように、本実施の形態1では、ユーザは、情報端末の前面から画面上のコンテンツを見ながら、背面側の空間で操作のために指を動かすと、コンテンツの内容に応じた触力覚を感じることができる。このため、本実施の形態1によれば、十分に大きな操作範囲が確保でき、二次元的に広いだけでなく、奥行き方向も含めた広い範囲での三次元的な触力覚の提示が可能となる。
 また、本実施の形態1では、触力覚の発生は、ヒトの知覚特性を考慮して行なわれているため、発生した触力覚は、ユーザにとって違和感のないものとなる。更に、伝達部材の長さを確保することで、ユーザは指を大きく動かすことができ、この点からも、触力覚は、ユーザにとって違和感のないものとなる。
 また、伝達部材として紐状の部材を用いた場合は、触力覚提示装置の複雑化を抑制できるので、特に、装置の小型化及び軽量化を促進できる。更に、モータ等を空間的に配置する必要がないので、触力覚提示装置を、携帯型の情報端末に適用することも可能となる。
 (実施の形態2)
 次に、本発明の実施の形態2における、触力覚提示装置、情報端末、触力覚提示方法、及びプログラムについて、図15~図19を参照しながら説明する。
 最初に、図15~図17を用いて、本実施の形態2における触力覚提示装置及び情報端末の構成を説明する。図15は、本発明の実施の形態2における情報端末の外観を示す斜視図である。図16は、本発明の実施の形態2における情報端末の使用例を示す図である。図17は、本発明の実施の形態2における情報端末の構成を示すブロック図である。
 まず、図15を用いて、本実施の形態2における情報端末の外観構成について説明する。図15に示すように、本実施の形態2における情報端末120は、実施の形態1において説明した情報端末100と同様に、タブレット型の情報端末である。但し、本実施の形態2では、実施の形態1と異なり、情報端末120は、背面側の空間を撮影可能なデジタルカメラ70を備えている。
 このため、情報端末120では、デジタルカメラ70によって撮影された実物の画像と、実空間内での動作である指の動きとを連動させることができる。具体的には、図16に示すように、ユーザが、情報端末120の背面のデジタルカメラ70によって、ユーザ110の遠方にある広告71を撮影したとする。
 この場合、広告71はユーザの手の届かない位置にあり、ユーザ110は、実際には、広告71に触れることができないが、触力覚提示装置によって指に提示された触力覚により、遠方にある広告71に触ったことを感じることができる。また、このとき、ユーザが、広告71に記載のテキストを触ったことが、触力覚によって伝達できるようになっていれば、ユーザは、テキスト情報を確実に選択することができるので、実世界からの情報収集が容易なものとなる。
 また、図17に示すように、情報端末120は、デジタルカメラ70を備えており、デジタルカメラ70で撮影された映像は、情報処理部40へと送られる。そして、情報処理部40は、実施の形態1と異なり、デジタルカメラ70で撮影された映像を対象にして、コンテンツ連動処理を実行する。なお、情報端末120は、デジタルカメラ70を備えている点以外については、図3に示した情報端末100と同様に構成されている。
 このように、本実施の形態2では、実世界のものを取り込むことができ、ユーザは、それに触れることができる。また、本実施の形態2は、図17に示した遠方のものを対象とする場合に限らず、例えば、危険であるために実際は触れることができない大型の肉食獣等を対象とする場合にも有効である。
 また、本実施の形態2においても、実施の形態1と同様に、情報端末120は、図4に示されたステップS101~S104を実行する。更に、本実施の形態2においても、触力覚提示装置を動作させることによって、触力覚提示方法が実施される。
 また、本実施の形態2におけるプログラムも、実施の形態1と同様に、コンピュータに、図4に示すステップS103を実行させるプログラムであれば良い。このプログラムをコンピュータにインストールし、実行することによって、本実施の形態2における触力覚提示装置と触力覚提示方法とを実現することもできる。この場合、コンピュータのCPU(Central Processing Unit)は、制御部として機能し、処理を行なう。
[実施の形態2における変形例]
 また、本実施の形態2では、デジタルカメラ70は、情報端末の画面側(前面側)の空間を撮影可能なように設置されていても良い。この場合は、表示装置に表示される仮想空間の状態を、ユーザの動きと連動させることができる。この例について、図18及び図19を用いて説明する。
 図18(a)及び図19(a)は、本発明の実施の形態2の変形例における情報端末が表示する画面の一例を示す図であり、図18(b)及び図19(b)は、画面とユーザの顔の向きとの関係を示す図である。
 本変形例でも、図12に示した例と同様に、仮想空間内に、仮想的なユーザインタフェースとして、仮想のタッチパネル31と仮想のキーボード32とが配置されている。ユーザは、情報端末の背面側で指を動かすことで、情報端末の背面にある仮想のタッチパネル31及び仮想のキーボード32をあたかも操作しているような感触を得ることができる。
 但し、図18(a)及び(b)、図19(a)及び(b)に示すように、本変形例では、情報端末120は、画面側のデジタルカメラ70によって、ユーザの顔の向きを検出している。このため、情報端末120は、ユーザが画面を見る方向を変えると、それに合せて、画面に表示されるコンテンツの見え方を変化させることができる。本変形例を採用した場合は、ユーザの視点に合わせて表示を変化させることができるので、仮想空間をより効果的に利用することができる。
 上述した実施の形態の一部又は全部は、以下に記載する(付記1)~(付記15)によって表現することができるが、以下の記載に限定されるものではない。
(付記1)
 画面に表示されたコンテンツの内容に応じてユーザに触力覚を提示するための装置であって、
 当該装置から、前記ユーザにおける前記触力覚の提示を受ける部分へと伸びて、前記ユーザに引っ張り方向の力を伝達する伝達部材と、
 前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
 予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記触力覚の提示の際に、提示すべき前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、制御部と、を備えている、
ことを特徴とする触力覚提示装置。
(付記2)
 複数の前記伝達部材と、複数の前記伝達部材それぞれに対応した複数の前記駆動部とが備えられており、
 複数の前記伝達部材それぞれは、当該装置の異なる位置から前記ユーザにおける前記触力覚の提示を受ける部分へと伸びる紐状の部材であり、
 複数の前記伝達部材それぞれの先端は、前記ユーザにおける前記触力覚の提示を受ける部分に装着される装着部材に固定されており、
 複数の前記駆動部は、対応する前記伝達部材を巻き取ることによって、対応する前記伝達部材に、前記引っ張り方向の力を与え、
 複数の駆動部それぞれが前記伝達部材に与える前記引っ張り方向の力の合力によって、前記触力覚が提示される、
付記1に記載の触力覚提示装置。
(付記3)
 前記引っ張り方向の力の合力によって、提示すべき前記触力覚を提示できない状況が発生した場合に、前記制御部は、提示すべき前記触力覚を設定し直し、設定し直した触力覚が提示されるように、前記初期力を増加又は減少させる、付記1または2に記載の触力覚提示装置。
(付記4)
 前記紐状の部材が3本以上備えられている、付記2に記載の触力覚提示装置。
(付記5)
 当該触力覚提示装置が、ヘットマウントディスプレイに組み込まれている、付記1~4のいずれかに記載の触力覚提示装置。
(付記6)
 画面に表示されたコンテンツの内容に応じてユーザに触力覚を提示可能な情報端末であって、
 前記画面上に前記コンテンツを表示させる表示装置と、
 前記ユーザにおいて前記触力覚の提示を受ける部分の位置を検出する位置検出部と、
 検出された位置に対応して前記コンテンツの内容を変化させ、変化した前記コンテンツの内容に基づいて、提示すべき触力覚を算出する情報処理部と、
 触力覚提示装置と、を備え、
 前記触力覚提示装置は、
当該情報端末から前記ユーザの前記触力覚の提示を受ける部分へと伸びて前記ユーザに引っ張り方向の力を伝達する伝達部材と、
前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記触力覚の提示の際に、算出された前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、制御部と、を備えている、
ことを特徴とする情報端末。
(付記7)
 複数の前記伝達部材と、複数の前記伝達部材それぞれに対応した複数の前記駆動部とが備えられており、
 複数の前記伝達部材それぞれは、当該情報端末の異なる位置から前記ユーザにおける前記触力覚の提示を受ける部分へと伸びる紐状の部材であり、
 複数の前記伝達部材それぞれの先端は、前記ユーザにおける前記触力覚の提示を受ける部分に装着される装着部材に固定されており、
 複数の前記駆動部は、対応する前記伝達部材を巻き取ることによって、対応する前記伝達部材に、前記引っ張り方向の力を与え、
 複数の駆動部それぞれが前記伝達部材に与える前記引っ張り方向の力の合力によって、前記触力覚が提示される、
付記6に記載の情報端末。
(付記8)
 前記引っ張り方向の力の合力によって、提示すべき前記触力覚を提示できない状況が発生した場合に、前記制御部は、提示すべき前記触力覚を設定し直し、設定し直した触力覚が提示されるように、前記初期力を増加又は減少させる、付記6または7に記載の情報端末。
(付記9)
 前記紐状の部材が3本以上備えられている、付記7に記載の情報端末。
(付記10)
 画面に表示されたコンテンツの内容に応じてユーザに触力覚を提示するための方法であって、前記ユーザにおける前記触力覚の提示を受ける部分へと伸びて、前記ユーザに引っ張り方向の力を伝達する伝達部材と、前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、を備える装置を用い、
(a)予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させる、ステップと、
(b)前記触力覚の提示の際に、提示すべき前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、ステップと、
を有することを特徴とする触力覚提示方法。
(付記11)
 前記装置に、複数の前記伝達部材と、複数の前記伝達部材それぞれに対応した複数の前記駆動部とが備えられており、
 複数の前記伝達部材それぞれは、当該装置の異なる位置から前記ユーザにおける前記触力覚の提示を受ける部分へと伸びる紐状の部材であり、
 複数の前記伝達部材それぞれの先端は、前記ユーザにおける前記触力覚の提示を受ける部分に装着される装着部材に固定されており、
 複数の前記駆動部は、対応する前記伝達部材を巻き取ることによって、対応する前記伝達部材に、前記引っ張り方向の力を与え、
 複数の駆動部それぞれが前記伝達部材に与える前記引っ張り方向の力の合力によって、前記触力覚が提示される、
付記10に記載の触力覚提示方法。
(付記12)
(c)前記引っ張り方向の力の合力によって、提示すべき前記触力覚を提示できない状況が発生した場合に、提示すべき前記触力覚を設定し直し、設定し直した触力覚が提示されるように、前記初期力を増加又は減少させる、ステップを更に有する、
付記10または11に記載の触力覚提示方法。
(付記13)
 前記紐状の部材が3本以上備えられている、付記11に記載の触力覚提示方法。
(付記14)
 画面に表示されたコンテンツの内容に応じてユーザに触力覚を提示するため、
前記ユーザにおける前記触力覚の提示を受ける部分へと伸びて、前記ユーザに引っ張り方向の力を伝達する伝達部材と、前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、コンピュータとを備える装置において、
前記コンピュータに、
(a)予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させる、ステップと、
(b)前記触力覚の提示の際に、提示すべき前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、ステップと、
を実行させる、命令を含むプログラムを記録しているコンピュータ読み取り可能な記録媒体。
(付記15)
 前記装置に、複数の前記伝達部材と、複数の前記伝達部材それぞれに対応した複数の前記駆動部とが備えられており、
 複数の前記伝達部材それぞれは、当該装置の異なる位置から前記ユーザにおける前記触力覚の提示を受ける部分へと伸びる紐状の部材であり、
 複数の前記伝達部材それぞれの先端は、前記ユーザにおける前記触力覚の提示を受ける部分に装着される装着部材に固定されており、
 複数の前記駆動部は、対応する前記伝達部材を巻き取ることによって、対応する前記伝達部材に、前記引っ張り方向の力を与え、
 複数の駆動部それぞれが前記伝達部材に与える前記引っ張り方向の力の合力によって、前記触力覚が提示される、
付記14に記載のコンピュータ読み取り可能な記録媒体。
(付記16)
前記プログラムが、
(c)前記引っ張り方向の力の合力によって、提示すべき前記触力覚を提示できない状況が発生した場合に、提示すべき前記触力覚を設定し直し、設定し直した触力覚が提示されるように、前記初期力を増加又は減少させる、ステップを更に前記コンピュータに実行させる、命令を更に含んでいる、付記14または15に記載のコンピュータ読み取り可能な記録媒体。
(付記17)
 前記紐状の部材が3本以上備えられている、付記15に記載のコンピュータ読み取り可能な記録媒体。
 以上、実施の形態を参照して本願発明を説明したが、本願発明は上記実施の形態に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
 この出願は、2013年1月29日に出願された日本出願特願2013-14206を基礎とする優先権を主張し、その開示の全てをここに取り込む。
 本発明によれば、触力覚の提示において、装置の小型化を図りつつ、広い範囲での三次元的な触力覚の提示が可能となる。本発明は、触力覚の提示が求められる各種分野、例えば、コンピュータインタフェース、各種シミュレーション、ゲーム等に有用である。
 10 触力覚提示装置
 11 駆動部
 12 伝達部材
 13 装着部材
 13a フレーム
 13b ボールベアリング
 13c 連結部
 14 制御部
 15 プーリ
 16 通し穴
 17 溝
 18 凹部
 20 表示装置
 30 位置検出部
 31 仮想タッチパネル
 32 仮想キーボード
 40 情報処理部
 50 カバー
 51 筐体
 60 ヘッドマウントディスプレイ
 70 カメラ
 71 広告
 80 シーソー
 81 支点
 82 重り
 83 台風のモデル
 100 情報端末(実施の形態1)
 101 画面
 102 ユーザオブジェクト
 103 仮想オブジェクト
 110 ユーザ
 120 情報端末(実施の形態2)
 a 位置検出データ
 b 提示データ
 d 制御データ 
 e 表示データ

Claims (10)

  1.  画面に表示されたコンテンツの内容に応じてユーザに触力覚を提示するための装置であって、
     当該装置から、前記ユーザにおける前記触力覚の提示を受ける部分へと伸びて、前記ユーザに引っ張り方向の力を伝達する伝達部材と、
     前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
     予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記触力覚の提示の際に、提示すべき前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、制御部と、を備えている、
    ことを特徴とする触力覚提示装置。
  2.  複数の前記伝達部材と、複数の前記伝達部材それぞれに対応した複数の前記駆動部とが備えられており、
     複数の前記伝達部材それぞれは、当該装置の異なる位置から前記ユーザにおける前記触力覚の提示を受ける部分へと伸びる紐状の部材であり、
     複数の前記伝達部材それぞれの先端は、前記ユーザにおける前記触力覚の提示を受ける部分に装着される装着部材に固定されており、
     複数の前記駆動部は、対応する前記伝達部材を巻き取ることによって、対応する前記伝達部材に、前記引っ張り方向の力を与え、
     複数の駆動部それぞれが前記伝達部材に与える前記引っ張り方向の力の合力によって、前記触力覚が提示される、
    請求項1に記載の触力覚提示装置。
  3.  前記引っ張り方向の力の合力によって、提示すべき前記触力覚を提示できない状況が発生した場合に、前記制御部は、提示すべき前記触力覚を設定し直し、設定し直した触力覚が提示されるように、前記初期力を増加又は減少させる、請求項1または2に記載の触力覚提示装置。
  4.  前記紐状の部材が3本以上備えられている、請求項2に記載の触力覚提示装置。
  5.  当該触力覚提示装置が、ヘットマウントディスプレイに組み込まれている、請求項1~4のいずれかに記載の触力覚提示装置。
  6.  画面に表示されたコンテンツの内容に応じてユーザに触力覚を提示可能な情報端末であって、
     前記画面上に前記コンテンツを表示させる表示装置と、
     前記ユーザにおいて前記触力覚の提示を受ける部分の位置を検出する位置検出部と、
     検出された位置に対応して前記コンテンツの内容を変化させ、変化した前記コンテンツの内容に基づいて、提示すべき触力覚を算出する情報処理部と、
     触力覚提示装置と、を備え、
     前記触力覚提示装置は、
    当該情報端末から前記ユーザの前記触力覚の提示を受ける部分へと伸びて前記ユーザに引っ張り方向の力を伝達する伝達部材と、
    前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、
    予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させておき、前記情報処理部によって算出された前記触力覚の提示の際に、算出された前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、制御部と、を備えている、
    ことを特徴とする情報端末。
  7.  複数の前記伝達部材と、複数の前記伝達部材それぞれに対応した複数の前記駆動部とが備えられており、
     複数の前記伝達部材それぞれは、当該情報端末の異なる位置から前記ユーザにおける前記触力覚の提示を受ける部分へと伸びる紐状の部材であり、
     複数の前記伝達部材それぞれの先端は、前記ユーザにおける前記触力覚の提示を受ける部分に装着される装着部材に固定されており、
     複数の前記駆動部は、対応する前記伝達部材を巻き取ることによって、対応する前記伝達部材に、前記引っ張り方向の力を与え、
     複数の駆動部それぞれが前記伝達部材に与える前記引っ張り方向の力の合力によって、前記触力覚が提示される、
    請求項6に記載の情報端末。
  8.  前記引っ張り方向の力の合力によって、提示すべき前記触力覚を提示できない状況が発生した場合に、前記制御部は、提示すべき前記触力覚を設定し直し、設定し直した触力覚が提示されるように、前記初期力を増加又は減少させる、請求項6または7に記載の情報端末。
  9.  画面に表示されたコンテンツの内容に応じてユーザに触力覚を提示するための方法であって、前記ユーザにおける前記触力覚の提示を受ける部分へと伸びて、前記ユーザに引っ張り方向の力を伝達する伝達部材と、前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、を備える装置を用い、
    (a)予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させる、ステップと、
    (b)前記触力覚の提示の際に、提示すべき前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、ステップと、
    を有することを特徴とする触力覚提示方法。
  10.  画面に表示されたコンテンツの内容に応じてユーザに触力覚を提示するため、
    前記ユーザにおける前記触力覚の提示を受ける部分へと伸びて、前記ユーザに引っ張り方向の力を伝達する伝達部材と、前記引っ張り方向の力を発生させ、それを前記伝達部材に与える駆動部と、コンピュータとを備える装置において、
    前記コンピュータに、
    (a)予め、前記駆動部に、設定された大きさの前記引っ張り方向の力を初期力として発生させる、ステップと、
    (b)前記触力覚の提示の際に、提示すべき前記触力覚が前記伝達部材を介して前記ユーザに与えられるように、前記初期力を増加又は減少させる、ステップと、
    を実行させる、命令を含むプログラムを記録しているコンピュータ読み取り可能な記録媒体。
PCT/JP2014/050742 2013-01-29 2014-01-17 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体 WO2014119382A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2014559620A JP6341096B2 (ja) 2013-01-29 2014-01-17 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
US14/763,714 US20150362995A1 (en) 2013-01-29 2014-01-17 Tactile force presentation device, information terminal, tactile force presentation method, and computer-readable recording medium

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-014206 2013-01-29
JP2013014206 2013-01-29

Publications (1)

Publication Number Publication Date
WO2014119382A1 true WO2014119382A1 (ja) 2014-08-07

Family

ID=51262096

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/050742 WO2014119382A1 (ja) 2013-01-29 2014-01-17 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体

Country Status (3)

Country Link
US (1) US20150362995A1 (ja)
JP (1) JP6341096B2 (ja)
WO (1) WO2014119382A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062428A (ja) * 2014-09-19 2016-04-25 日本電気株式会社 力覚提示装置、情報端末、力覚提示方法、及びプログラム

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101843762B1 (ko) * 2016-04-19 2018-05-14 (주)휴맥스 이미지 처리 장치 및 이에 있어서 3차원 이미지로 리모콘의 force 입력을 표시하는 방법
US10650621B1 (en) 2016-09-13 2020-05-12 Iocurrents, Inc. Interfacing with a vehicular controller area network

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250689A (ja) * 1999-03-03 2000-09-14 Minolta Co Ltd 仮想物体呈示システム
JP2001165268A (ja) * 1999-12-08 2001-06-19 Sony Corp ワイヤー駆動装置及びこれを用いた力触覚提示装置
JP2003172662A (ja) * 2001-12-10 2003-06-20 Rikogaku Shinkokai 力覚提示装置における張力計算のアルゴリズム

Family Cites Families (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3404651B2 (ja) * 2000-03-30 2003-05-12 財団法人理工学振興会 三次元入力装置
KR100526741B1 (ko) * 2003-03-26 2005-11-08 김시학 와이어의 장력을 이용한 위치 추적 및 반력시스템과 이를이용한 최소 절개용 수술시스템

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000250689A (ja) * 1999-03-03 2000-09-14 Minolta Co Ltd 仮想物体呈示システム
JP2001165268A (ja) * 1999-12-08 2001-06-19 Sony Corp ワイヤー駆動装置及びこれを用いた力触覚提示装置
JP2003172662A (ja) * 2001-12-10 2003-06-20 Rikogaku Shinkokai 力覚提示装置における張力計算のアルゴリズム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016062428A (ja) * 2014-09-19 2016-04-25 日本電気株式会社 力覚提示装置、情報端末、力覚提示方法、及びプログラム

Also Published As

Publication number Publication date
US20150362995A1 (en) 2015-12-17
JP6341096B2 (ja) 2018-06-13
JPWO2014119382A1 (ja) 2017-01-26

Similar Documents

Publication Publication Date Title
JP6982215B2 (ja) 検出された手入力に基づく仮想手ポーズのレンダリング
JP6264287B2 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム
US20110148607A1 (en) System,device and method for providing haptic technology
KR20200000803A (ko) 가상 현실 사용자를 위한 실세계 햅틱 상호작용
US20160363997A1 (en) Gloves that include haptic feedback for use with hmd systems
EP3364272A1 (en) Automatic localized haptics generation system
US8976045B2 (en) Tactile force sense presenting device, electronic device terminal applied with tactile force sense presenting device, and tactile force sense presenting method
JP2020013549A (ja) 動的システム識別に基づく適応触覚効果レンダリング
JP6341096B2 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
CA2923867C (en) Haptic rendering for a flexible computing device
JP2011059862A (ja) 非接地型力覚提示装置
JP5975041B2 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム
JP6387762B2 (ja) 力覚提示装置、情報端末、力覚提示方法、及びプログラム
JP6428629B2 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびプログラム
WO2013084667A1 (ja) 触力覚提示装置、情報端末、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
WO2021240601A1 (ja) 仮想空間体感システム
WO2014119383A1 (ja) 触力覚提示装置、触力覚提示システム、触力覚提示方法、およびコンピュータ読み取り可能な記録媒体
JP2015153387A (ja) 仮想現実体感装置、仮想現実体感方法、及びプログラム
WO2019043787A1 (ja) 振動制御装置
US11874964B1 (en) Glove
JP2018181185A (ja) 力覚提示器及び仮想力覚提示装置
KR102167066B1 (ko) 모션 인식 기반의 에어팬을 이용한 특수 효과 제공 시스템 및 그 방법
JP2005216248A (ja) 物理的接触に応じた形状変形表示装置
JP2015118323A (ja) 訓練装置、訓練方法、及びプログラム
CN117251058A (zh) 一种多信息体感交互系统的控制方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14745480

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014559620

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14763714

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14745480

Country of ref document: EP

Kind code of ref document: A1