WO2016088246A1 - 触感提供システム、及び、触感提供装置 - Google Patents

触感提供システム、及び、触感提供装置 Download PDF

Info

Publication number
WO2016088246A1
WO2016088246A1 PCT/JP2014/082238 JP2014082238W WO2016088246A1 WO 2016088246 A1 WO2016088246 A1 WO 2016088246A1 JP 2014082238 W JP2014082238 W JP 2014082238W WO 2016088246 A1 WO2016088246 A1 WO 2016088246A1
Authority
WO
WIPO (PCT)
Prior art keywords
tactile sensation
finger
sensation providing
coordinates
control unit
Prior art date
Application number
PCT/JP2014/082238
Other languages
English (en)
French (fr)
Inventor
勝木　隆史
文彦 中澤
豊田　治
矢吹　彰彦
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2016562165A priority Critical patent/JP6341294B2/ja
Priority to PCT/JP2014/082238 priority patent/WO2016088246A1/ja
Publication of WO2016088246A1 publication Critical patent/WO2016088246A1/ja
Priority to US15/609,831 priority patent/US10488928B2/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/011—Arrangements for interaction with the human body, e.g. for user immersion in virtual reality
    • G06F3/014—Hand-worn input/output arrangements, e.g. data gloves
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/033—Pointing devices displaced or positioned by the user, e.g. mice, trackballs, pens or joysticks; Accessories therefor
    • G06F3/038—Control and interface arrangements therefor, e.g. drivers or device-embedded control circuitry
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures

Definitions

  • the present invention relates to a tactile sensation providing system and a tactile sensation providing apparatus.
  • the input device includes one or more stimulation electrodes and a reference electrode that are capable of maintaining a state in contact with the skin of a living body, and an input operation performed on the touch panel by the input device between the stimulation electrode and the reference electrode.
  • a voltage applying means for applying a voltage for stimulating the tactile sensation of the skin in contact with the stimulation electrode (see, for example, Patent Document 1).
  • the conventional input device is based on the premise that the touch panel is operated with one finger, and when operating the touch panel with a plurality of fingers, providing a tactile sensation according to the position of each finger is not possible. Can not. That is, good tactile sensation cannot be provided to a plurality of fingers.
  • an object of the present invention is to provide a tactile sensation providing system and a tactile sensation providing apparatus that can provide a good tactile sensation to a plurality of fingers.
  • a tactile sensation providing system is a tactile sensation providing system including an electronic device and a first tactile sensation providing device, and the electronic device is provided on a display unit and a display surface side of the display unit.
  • a top panel having an operation surface, a coordinate detection unit for detecting coordinates of a position of an operation input to the operation surface, and a first control unit, wherein the first tactile sensation providing device is applied to each of a plurality of fingers.
  • a notification signal indicating that contact has been detected Based on the data representing the finger whose contact is detected by the sensor and the coordinates detected by the coordinate detection unit, the type of the finger that is in contact with the operation surface and the coordinates at which the finger contacts the operation surface And generating a drive signal representing the tactile sensation according to the data representing the finger, the coordinates at which the finger touches the operation surface, and the image displayed on the display unit, and the second control unit Uses the drive signal to drive the vibration element.
  • the tactile sensation providing system it is a diagram for explaining a method of associating a finger that has touched the top panel with a tactile sensation providing apparatus and coordinates detected by the touch panel. It is a flowchart which shows the process in which a control part determines the coordinate of operation input. It is a flowchart which shows the process in which a control part determines the coordinate of operation input.
  • FIG. 1 is a diagram illustrating a tactile sensation providing system 100 according to an embodiment.
  • the tactile sensation providing system 100 includes an electronic device 200 and a tactile sensation providing apparatus 300.
  • the electronic device 200 is, for example, a smartphone terminal or a tablet computer using a touch panel as an input operation unit. Since the electronic device 200 only needs to be a device having a touch panel as an input operation unit, the electronic device 200 may be, for example, a portable information terminal or a PC (Personal Computer).
  • the electronic device 200 includes a housing 201, a display panel 202, a touch panel 203, and a top panel 204.
  • the housing 201 includes a control unit, a memory, and the like. As shown in FIG. 1, the display panel 202 is exposed from the opening of the housing 201 in a plan view, and the touch panel 203 and the top panel 204 are arranged in this order on the display panel 202. .
  • the display panel 202 may be a display unit that can display an image, such as a liquid crystal display panel or an organic EL (Electroluminescence) panel.
  • the display panel 202 is driven and controlled by the control unit, and displays a GUI operation unit, images, characters, symbols, graphics, and the like according to the operation status of the electronic device 200.
  • the touch panel 203 is disposed on the display panel 202.
  • the touch panel 203 is made of a transparent material having high transparency and transmits the display on the display panel 202.
  • the touch panel 203 may be a coordinate detection unit that can detect the position of an operation input to the surface (operation surface) of the user's top panel 204.
  • the touch panel 203 may be a capacitance type or resistance film type coordinate detection unit. I just need it.
  • the touch panel 203 is preferably a touch panel that can detect the coordinates of all operation inputs when a plurality of operation inputs are performed simultaneously.
  • the tactile sensation providing system 100 includes one (one-handed) tactile sensation providing apparatus 300
  • the touch panel 203 can simultaneously detect the coordinates of five operation inputs.
  • the number of fingertips that can provide a tactile sensation by the tactile sensation providing apparatus 300 is limited, it is possible to provide a good tactile sensation under such a limitation.
  • the top panel 204 is a transparent panel located at the foremost side in FIG. 1 and has an operation surface when operating the touch panel 203.
  • the operation surface is located on the outermost surface of the electronic device 200.
  • the top panel 204 may be integrated with the touch panel 203.
  • the surface of the touch panel 203 becomes the surface of the top panel 204, and an operation surface is constructed.
  • the electronic device 200 may have a configuration in which the top panel 204 is omitted. Also in this case, the surface of the touch panel 203 constructs an operation surface.
  • the touch panel 203 may be disposed on the top panel 204. Also in this case, the surface of the touch panel 203 constructs an operation surface.
  • an apple image is displayed on the display panel 202 of the electronic device 200.
  • the tactile sensation providing apparatus 300 is an apparatus that is used by a user by fitting it in a hand.
  • the tactile sensation providing apparatus 300 is shown in a simplified manner, but as an example, the tactile sensation providing apparatus 300 is fitted on the user's right hand.
  • the tactile sensation providing apparatus 300 provides a tactile sensation according to the image of the position where the operation input is performed when the user performs an operation input on the operation surface of the electronic device 200 in a state of being fitted in the user's hand. .
  • FIG. 2 is a diagram illustrating a tactile sensation providing apparatus 300 according to the embodiment.
  • FIGS. 2A and 2B show a state in which the tactile sensation providing apparatus 300 is fitted in the right hand of the user.
  • the tactile sensation providing apparatus 300 includes a mounting unit 310, five vibration elements 320A to 320E, five sensors 330A to 330E, five drivers 340A to 340E, and a control unit 350.
  • the tactile sensation providing apparatus 300 is an example of a first tactile sensation providing apparatus.
  • FIG. 2 shows the tactile sensation providing apparatus 300 for the right hand, but the tactile sensation providing apparatus 300 may be for the left hand.
  • the left hand tactile sensation providing apparatus 300 has a bilaterally symmetric configuration with the right hand tactile sensation providing apparatus 300 shown in FIG.
  • the five vibration elements 320A to 320E have the same configuration except for the place where they are arranged. Therefore, when the five vibration elements 320A to 320E are not particularly distinguished, they are simply referred to as the vibration elements 320.
  • the five sensors 330A to 330E have the same configuration with each other only in the place where they are arranged. Therefore, when the five sensors 330A to 330E are not particularly distinguished, they are simply referred to as sensors 330. Further, the five drivers 340A to 340E have the same configuration except for the place where they are arranged. For this reason, the five drivers 340A to 340E are simply referred to as drivers 340 unless otherwise distinguished.
  • the mounting portion 310 is, for example, a glove shape and includes finger portions 311A to 311E into which the thumb, index finger, middle finger, ring finger, and little finger are respectively inserted.
  • the mounting portion 310 is made of a resin such as vinyl chloride. Note that the finger parts 311A to 311E are simply referred to as finger parts 311 unless otherwise distinguished.
  • the mounting unit 310 is used to mount the vibration element 320, the sensor 330, the driver 340, and the control unit 350 in the user's hand.
  • the attachment unit 310 may be any shape as long as it can attach the five vibration elements 320 and the five sensors 330 to the belly portions of the five fingers, and is not limited to a glove-like one.
  • the vibration elements 320A to 320E are attached to the belly portions of the finger portions 311A, 311B, 311C, 311D, and 311E, respectively.
  • the sizes of the vibration elements 320A to 320E in plan view are equal to each other.
  • the size of the vibration elements 320A to 320E in plan view may be substantially equal to the size of the finger belly or smaller than the finger belly.
  • the vibration elements 320A to 320E are connected to the drivers 340A to 340E via the wirings 301A to 301E, respectively, and further connected to the control unit 350 via the wirings 302A to 302E.
  • the vibration elements 320A to 320E are driven by the drivers 340A to 340E based on the drive signal output from the control unit 350.
  • the amplitude and frequency of the vibration elements 320A to 320E are determined by the drive signal.
  • the amplitude of the drive signal is set according to the tactile sensation of the object represented by the image displayed on the display panel 202 of the electronic device 200.
  • the frequency of the drive signal may be an audible frequency or an ultrasonic frequency.
  • the audible range is, for example, a frequency band of less than about 20 kHz, and usually refers to a frequency band that can be heard by humans.
  • the ultrasonic band is a frequency band of about 20 kHz or more, for example, and usually refers to a frequency band that cannot be heard by humans.
  • the user senses an increase in the dynamic friction force applied to the fingertip, and perceives the difficulty of slipping the fingertip or a feeling of being caught.
  • the dynamic frictional force increases due to the fingertip becoming less slippery, the surface of the top panel 204 feels like a convex portion.
  • the vibration due to the natural vibration of the ultrasonic band is turned on, a decrease in the dynamic friction force applied to the fingertip is sensed, and the user feels that the fingertip is slippery or does not get caught. . Thereby, presence of a recessed part can be provided as a tactile sensation.
  • human perception of irregularities due to changes in the frictional feeling is, for example, “Printed Transfer Method and Sticky-bandSIllusion for Tactile Design” (The 11th SICE System Integration Division Lecture Paper) Collection (SI2010, Sendai) ___ 174-177, 2010-12). It is also described in “Fishbone Tactile Illusion” (The 10th Annual Conference of the Virtual Reality Society of Japan (September 2005)).
  • Sensors 330A to 330E are mounted next to the vibration elements 320A to 320E at the belly portions of the finger portions 311A, 311B, 311C, 311D, and 311E, respectively. Since the size of the sensors 330A to 330E in plan view is smaller than that of the vibration elements 320A to 320E, the sensors 330A to 330E are disposed beside the vibration elements 320A to 320E disposed at the center of the belly of the finger.
  • Sensors 330A to 330E detect whether or not the tips of the fingers 311A to 311E are in contact with objects.
  • the sensors 330A to 330E detect whether or not the fingers 311A to 311E touch the top panel 204 when a user wearing the tactile sensation providing device 300 on the hand operates the top panel 204 of the electronic device 200. It is provided for.
  • the connection of the sensors 330A to 330E may be any sensor that can detect contact with an article, for example, contact or optical.
  • the sensors 330A to 330E detect a contact
  • the sensors 330A to 330E output a contact detection signal indicating that the contact has been detected to the control unit 350.
  • the sensors 330A to 330E are connected to the control unit 350 by wirings 301A to 301E and 302A to 302E, and the sensor 330 that detects contact outputs a contact signal indicating contact to the control unit 350.
  • the wirings 301A to 301E connect the vibration elements 320A to 320E and the drivers 340A to 340E, respectively, and are also used to connect the sensors 330A to 330E.
  • the wirings 302A to 302E connect the drivers 340A to 340E and the control unit 350, and are also used to connect the sensors 330A to 330E.
  • the wirings 301A to 301E and 302A to 302E include wirings for connecting the sensors 330A to 330E and the control unit 350 separately from the wirings for connecting the vibration elements 320A to 320E, the drivers 340A to 340E, and the control unit 350.
  • the drivers 340A to 340E are connected to the vibration elements 320A to 320E via the wirings 301A to 301E, respectively.
  • the drivers 340A to 340E are connected to the control unit 350 via wirings 302A to 302E.
  • the drivers 340A to 340E drive the vibration elements 320A to 320E based on the drive signal output from the control unit 350.
  • the control unit 350 transmits a contact finger signal representing the finger that has touched the top panel 204 to the electronic device 200.
  • the control unit 350 is an example of a second control unit.
  • the contact finger signal is transmitted from the tactile sensation providing apparatus 300 to the electronic device 200 by wireless communication.
  • the control unit 350 drives one of the drivers 340A to 340E using the drive signal.
  • the drive signal is generated by the control unit of the electronic device 200 and includes the type, amplitude, and frequency of the vibration elements 320A to 320E.
  • the vibration element corresponding to the finger in contact with the top panel 204 among the vibration elements 320A to 320E is driven by the control unit 350, a tactile sensation corresponding to the image is provided to the user's finger.
  • FIG. 3 is a diagram illustrating a more detailed hardware configuration of the electronic device 200 and the tactile sensation providing apparatus 300.
  • the electronic device 200 and the tactile sensation providing apparatus 300 construct a tactile sensation providing system 100.
  • the electronic device 200 includes a control unit 210.
  • the control unit 210 is an example of a first control unit, which includes a CPU (Central Processing Unit) 211, a display interface 212, a touch panel interface 213, a wireless communication interface 214, a bus 215, a RAM (Random Access Memory) 216, a built-in storage 217, A storage medium 218 and an acceleration sensor 219 are included.
  • the display panel 212 and the touch panel 203 shown in FIG. 1 are connected to the display interface 212 and the touch panel interface 213, respectively.
  • the CPU 211 is an arithmetic processing unit that performs processing associated with the operation of the electronic device 200.
  • the CPU 211 is connected to the display interface 212, the touch panel interface 213, the wireless communication interface 214, the bus 215, the RAM 216, the internal storage 217, the storage medium 218, and the acceleration sensor 219 via the bus 215.
  • the RAM 216 is a main memory of the CPU 211. For example, a program executed by the CPU 211 is expanded in the RAM 216.
  • the built-in storage 217 is a memory that stores data or programs necessary for the operation of the electronic device 200 and is a rewritable storage medium.
  • the storage medium 218 is a memory that stores an operation system (OS), application programs, data files, and the like necessary for the operation of the electronic device 200.
  • the acceleration sensor 219 is a sensor that detects the orientation of the electronic device 200. The CPU 211 sets the orientation of the image displayed on the display panel 202 according to the orientation detected by the acceleration sensor 219.
  • the tactile sensation providing apparatus 300 includes vibration elements 320A to 320E, sensors 330A to 330E, drivers 340A to 340E, and a control unit 350.
  • the vibration elements 320A to 320E and the sensors 330A to 330E are shown in a simplified manner, and the wirings 310A to 301E, 302A to 302E, and 303A to 303E are omitted.
  • the control unit 350 includes a CPU chip 351, a wireless communication interface 352, and a bus 353.
  • the CPU chip 351 is connected to the wireless communication interface 352, the sensors 330A to 330E, and the drivers 340A to 340E through the bus 353.
  • the CPU chip 351 is connected to the vibration elements 320A to 320E via the drivers 340A to 340E, respectively.
  • the electronic device 200 having such a hardware configuration and the tactile sensation providing apparatus 300 perform data communication via the wireless communication interfaces 214 and 352.
  • a mode in which the electronic device 200 and the tactile sensation providing device 300 perform data communication via the wireless communication interfaces 214 and 352 will be described.
  • the electronic device 200 and the tactile sensation providing device 300 are, for example, a USB (Universal Serial It may be configured to perform wired data communication by being connected via a (Bus) cable.
  • FIG. 4 is a diagram showing data used by the tactile sensation providing system 100.
  • the data shown in FIG. 4 is one of data stored as a data file in the storage medium 218 of the electronic device 200, and is data used when generating a drive signal.
  • the 4A is data in which the IDs (Identification) of the sensors 330A to 330E and the vibration elements 320A to 320E are associated with each other.
  • the sensors 330A to 330E are assigned IDs s01 to s05.
  • the vibration elements 320A to 320E are associated with the IDs (s01 to s05) of the sensors 330A to 330E.
  • the control unit 210 of the electronic device 200 determines which of the sensors 330A to 330E has contacted the top panel 204 based on the ID included in the contact finger signal. Further, the control unit 210 generates a drive signal for driving the vibration elements 320A to 320E using the data shown in FIG.
  • (B) in FIG. 4 is data in which an image ID, coordinate data, and drive signal data are associated with each other.
  • the image ID is assigned for each image displayed on the display panel 202 of the electronic device 200.
  • 4B shows img01, img02,... As image IDs.
  • the coordinate data represents coordinates in a plan view of the touch panel 203 in an XY coordinate system.
  • one of the four vertices of the rectangular touch panel 203 in plan view may be defined as the origin O of the XY coordinates, and the X axis may be set in the long side direction and the Y axis may be set in the short side direction.
  • FIG. 4B shows C1 (X, Y) and C2 (X, Y) as coordinate data.
  • the drive signal data includes an amplitude A and a frequency f that cause the vibration element 320 to vibrate when a point of coordinates (X, Y) on the operation surface of the top panel 204 is touched.
  • the drive signal data is data in a function format having an amplitude A and a frequency f for each coordinate represented by the coordinate data.
  • 4B shows DS1 (A1, f1), DS2 (A2, f2),... As drive signal data.
  • the coordinate data and drive signal data as described above are associated with each image ID. Therefore, once the image ID and coordinates are determined, the amplitude and frequency are determined by the drive signal data.
  • FIG. 5 is a diagram for explaining a method of associating the finger touching the top panel 204 with the tactile sensation providing apparatus 300 and the coordinates detected by the touch panel 203 in the tactile sensation providing system 100. First, the method shown in FIG.
  • the electronic device 200 defines coordinates using XY coordinates having the origin at the lower left vertex 203A of the touch panel 203.
  • the X axis extends in the longitudinal direction of the rectangular touch panel 203 in plan view, and the Y axis extends in the short direction.
  • a reference point 203B for determining the type of finger touching the top panel 204 is defined as a central point on the short side of the touch panel 203 on the Y axis.
  • the tactile sensation providing apparatus 300 contacts the operation surface of the electronic device 200 as shown in FIG. Then, the finger closest to the reference point 203B is the thumb, and the finger farthest is the little finger.
  • the touch panel 203 also detects the four coordinates simultaneously.
  • the four coordinates detected by the touch panel 203 are associated with the positions of the thumb, index finger, ring finger, and little finger as follows.
  • the distances from the reference point 203B to the four coordinates detected by the touch panel 203 are obtained.
  • distances D1, D2, D3, and D4 from the reference point 203B to the thumb, index finger, ring finger, and little finger are obtained.
  • the position corresponding to the shortest distance among the distances D1 to D4 is determined as the thumb position.
  • the positions of the index finger, ring finger, and little finger may be determined in order from the shortest distance, but such a relationship is not necessarily established. If there is a risk of failure, the positions of the index finger, ring finger, and little finger may be determined as follows.
  • the control unit 210 obtains distances D11, D12, and D13 from the coordinates of the thumb to the remaining three coordinates. Then, the position corresponding to the shortest distance among the distances D11 to D13 is determined as the position of the index finger.
  • the index finger, ring finger, and pinky finger are closest to the thumb because the index finger.
  • the control unit 210 obtains distances D21 and D22 from the coordinates of the index finger to the remaining two coordinates. Then, the position corresponding to the shorter distance among the distances D21 and D22 is determined as the ring finger position. This is because the ring finger and the little finger are close to the index finger.
  • the last remaining coordinate may be determined as the little finger coordinate.
  • the finger touching the top panel 204 with the tactile sensation providing apparatus 300 can be associated with the coordinates detected by the touch panel 203.
  • the data of FIG. 4B is used to correspond to the coordinates of each finger.
  • the drive signal to be obtained can be obtained.
  • the control unit 210 associates the type of the sensor 330 corresponding to the finger touching the top panel 204 with the coordinates detected by the touch panel 203 by the above-described processing, and uses the data of FIG.
  • the driving signal corresponding to the coordinates of each finger is obtained.
  • the vibration element 320 corresponding to the sensor 330 corresponding to each finger is selected based on the data shown in FIG. 4A, and a drive signal is transmitted to the driver 340 corresponding to the vibration element 320.
  • the coordinates of the reference point 203B are set to (X, Y).
  • the coordinates of the operation input of each finger can be determined in the same manner as described above.
  • a clockwise arc 500 centering on the coordinates of the thumb is drawn, and the arc 500 extends from the viewpoint 500A to the end point 500B.
  • the radius of such an arc 500 may be set to about 5 cm to 10 cm, for example, based on the average size of a human hand.
  • a Bezier curve or the like may be applied to detect the index finger, ring finger, and little finger.
  • detection may be performed by drawing a counterclockwise arc.
  • FIG. 6 and FIG. 7 are flowcharts showing a process in which the control unit 210 determines the coordinates of the operation input.
  • control unit 210 starts processing.
  • control unit 210 determines the orientation of the electronic device 200 based on the output of the acceleration sensor 219 (step S1).
  • the electronic device 200 determines which side of the rectangular display panel 202 is located above the display image based on the output of the acceleration sensor 219.
  • the control unit 210 determines whether the orientation of the electronic device 210 is landscape (step S2).
  • the landscape orientation refers to the case where the long side of the rectangular display panel 202 is located above the display image in plan view. Further, the state in which the electronic device 200 shown in FIG. 5 is rotated 180 degrees and the positions of the two long sides are switched is also in the horizontal direction. Further, the vertical orientation is an orientation rotated 90 degrees with respect to the horizontal orientation.
  • the controller 210 determines that the orientation of the electronic device 210 is horizontal (S2: YES)
  • the controller 210 selects two horizontal reference points (step S3A).
  • control unit 210 determines that the orientation of the electronic device 210 is not horizontal (S2: NO), it selects two vertical reference points (step S3B).
  • Control unit 210 determines whether or not tactile sensation providing apparatus 300 is for the right hand (step S4).
  • the determination in step S4 may be performed by storing data representing whether the tactile sensation providing apparatus 300 is for the right hand or the left hand in advance in the storage medium 218, and the control unit 210 may read the data.
  • the control unit 210 selects the left reference point (step S5A).
  • the left side means the left side toward the display panel 202.
  • the control unit 210 selects the right reference point (step S5B).
  • the control unit 210 determines whether coordinates are detected based on the output signal of the touch panel 203 (step S6). The process of step S6 is repeatedly executed until coordinates are detected.
  • Control unit 210 determines whether or not contact is detected by sensor 330 (step S7). Specifically, the process of step S ⁇ b> 7 may be determined based on whether or not the control unit 210 has received the contact finger signal of the sensor 330 from the tactile sensation providing apparatus 300.
  • control part 210 determines with the contact not being detected by the sensor 330 (S7: NO), it will return a flow to step S6.
  • control unit 210 determines whether contact is detected by the sensor 330 (S7: YES), the control unit 210 determines whether the number of coordinates detected by the touch panel 203 matches the number of contacts detected by the sensor 330. Determination is made (step S8).
  • control unit 210 determines that the numbers do not match (S8: NO)
  • the control unit 210 returns the flow to step S6.
  • control unit 210 calculates the distance between each of the plurality of coordinates detected by the touch panel 203 and the reference point, and extracts the coordinates closest to the reference point (Ste S9).
  • the control unit 210 associates the finger having the smallest finger number n among the plurality of fingers whose contact has been detected by the sensor 330 and the coordinates extracted in step S9 (step S10).
  • the finger numbers correspond to the IDs (s01 to s05) of the sensors 330A to 330E shown in FIG.
  • the controller 210 calculates the distance between the coordinates extracted in step S9 and the remaining coordinates, and extracts the coordinates closest to the coordinates extracted in step S9 (step S11).
  • the controller 210 associates the finger having the smallest finger number n with the coordinates extracted in step S11 among the remaining fingers that have not yet been associated with coordinates and whose contact has been detected by the sensor 330 (step S12). .
  • control unit 210 associates the finger with the coordinates by performing the same processing as in steps S11 and S12 ( Step S13).
  • control unit 210 ends the association process in the processes in steps S9 to S12. Therefore, the process proceeds to step S14 without performing any particular process in step S13. Advance the flow.
  • the control unit 210 acquires a drive signal corresponding to the coordinates for each finger that has been associated with the coordinates (step S14).
  • the control unit 210 transmits a drive signal to the tactile sensation providing apparatus 300 (step S15). Thereby, the tactile sensation according to the image located at the coordinates of each finger whose contact is detected by the sensor 330 is provided to the fingertip of the user.
  • the control unit 210 determines whether or not the process is finished (step S16).
  • the end of the process is, for example, powering off the electronic device 200 or ending the application program.
  • control unit 210 determines whether the number of coordinates detected by the touch panel 203 has changed (step S17). This is because when the number of coordinates detected by the touch panel 203 changes, the content of the operation input by the user has changed, and thus the drive signal needs to be changed.
  • step S6 If the controller 210 determines that the number of coordinates detected by the touch panel 203 has changed (S17: YES), the control unit 210 returns the flow to step S6.
  • controller 210 determines that the number of coordinates detected by the touch panel 203 has not changed (S17: NO)
  • the controller 210 traces the movement of the coordinates based on the output of the touch panel 203, and associates the moving coordinates with the finger. Is maintained (step S18).
  • the control unit 210 returns the flow to step S14 when the process of step S18 ends. Thereby, a drive signal is generated for the coordinates after movement, and a tactile sensation according to the image is provided.
  • control part 210 determines with it being completion
  • a series of processes will be complete
  • the tactile sensation corresponding to the image existing at the position in contact with the operation surface of the electronic device 200 is provided to the fingertip of the user who has put the tactile sensation providing device 300 in his hand.
  • FIG. 8 is a diagram for explaining a change in tactile sensation provided to the user when the hand wearing the tactile sensation providing device 300 is moved.
  • the fingertip of the right hand of the user wearing the tactile sensation providing device 300 is in contact with the operation surface of the electronic device 200.
  • the sensors 330A to 330E are all represented by black circles.
  • the sensor 330B is approaching the edge of the apple image, but the sensors 330A and 330C to 330E are not touching the apple image. For this reason, only the vibration element 320B (refer FIG. 5) corresponding to the sensor 330B is driven, and the tactile sensation touching the apple is provided to the user.
  • the tactile sensation providing system 100 when used, the object represented by the image is actually touched according to the position of each fingertip of the user's hand wearing the tactile sensation providing apparatus 300 and the image corresponding to the position of the fingertip. A tactile sensation is provided to the user.
  • the tactile sensation providing system 100 can provide a tactile sensation according to an image touched by the user's fingertip by mounting the tactile sensation providing apparatus 300 on the hand without vibrating the electronic device 200.
  • vibration elements 320A to 320E corresponding to each finger can be driven by different drive signals, a high sense of reality can be provided by each finger.
  • the vibration elements 320A to 320E of the tactile sensation providing apparatus 300 attached to the user's hand are vibrated, it is easy to transmit the vibration to the fingertip. Further, when the surface of the vibration elements 320A to 320E is covered with the mounting portion 310, by using a hard material for the covered portion, attenuation of vibration amplitude can be suppressed and a stronger tactile sensation can be provided.
  • the tactile sensation providing apparatus 300 can be used. It is possible to increase the reaction force received from the battery and provide a stronger tactile sensation.
  • the images displayed by the tactile sensation providing system 100 as described above may be various images. If image data and drive signals are prepared in advance, tactile sensations corresponding to various images can be provided. For example, if a drive signal corresponding to an image of various characters appearing in a game or the like, an image of a photograph of animals or plants, an image of a photograph of art, etc. is prepared, the tactile sensation providing system 100 is used in various scenes. be able to.
  • the tactile sensation providing system 100 and the tactile sensation providing apparatus 300 that can provide a good tactile sensation to a plurality of fingers.
  • the tactile sensation providing apparatus 300 may be driven as follows.
  • the amplitude of the drive signal that drives the vibration element 320B corresponding to the sensor 330B is changed.
  • the amplitude of the drive signal for driving the vibration elements 320A and 320C to 320E corresponding to the sensors 330A and 330C to 330E is increased.
  • the sensor 330A When the user moves his right hand and the sensors 330A to 330C touch the apple and the sensors 330D and 330E do not touch the apple as shown in FIG. 8B, the sensor 330A The amplitude of the drive signal for driving the vibration elements 320A to 330C corresponding to .about.330C is reduced, and the amplitude of the drive signal for driving the vibration elements 320D and 320E corresponding to the sensors 330D and 330E is increased.
  • the thumb and the middle finger change from a small dynamic friction force to a large state, so that a sense of convexity can be provided when approaching the edge of the apple.
  • Such a change in amplitude may be performed in a pattern opposite to the above.
  • FIG. 9 is a diagram for explaining another method in the tactile sensation providing system 100 for associating the finger that has touched the top panel 204 with the tactile sensation providing apparatus 300 and the coordinates detected by the touch panel 203.
  • the electronic device 200 defines coordinates using XY coordinates having the origin at the lower left vertex 203A of the touch panel 203.
  • the X axis extends in the longitudinal direction of the rectangular touch panel 203 in plan view, and the Y axis extends in the short direction.
  • a reference point 203B for determining the type of finger touching the top panel 204 is defined as a central point on the short side of the touch panel 203 on the Y axis.
  • the tactile sensation providing apparatus 300 contacts the operation surface of the electronic device 200 as shown in FIG. Then, the finger closest to the reference point 203B is the thumb, and the finger farthest is the little finger.
  • the touch panel 203 also detects the four coordinates simultaneously.
  • the four coordinates detected by the touch panel 203 are associated with the positions of the thumb, index finger, ring finger, and little finger as follows.
  • the distances from the reference point 203B to the four coordinates detected by the touch panel 203 are obtained.
  • D1, D2, D3, and D4 are set in order from the shortest distance. That is, the relationship D1 ⁇ D2 ⁇ D3 ⁇ D4 is established.
  • the coordinates closest to the reference point 203B are the coordinates of the thumb, and that the coordinates are farther from the reference point 203B in the order of the index finger, the ring finger, and the little finger.
  • the finger touching the top panel 204 with the tactile sensation providing apparatus 300 can be associated with the coordinates detected by the touch panel 203.
  • the data of FIG. 4B is used to correspond to the coordinates of each finger.
  • the drive signal to be obtained can be obtained.
  • the control unit 210 associates the type of the sensor 330 corresponding to the finger touching the top panel 204 with the coordinates detected by the touch panel 203 by the above-described processing, and uses the data of FIG.
  • the driving signal corresponding to the coordinates of each finger is obtained.
  • the vibration element 320 corresponding to the sensor 330 corresponding to each finger is selected based on the data shown in FIG. 4A, and a drive signal is transmitted to the driver 340 corresponding to the vibration element 320.
  • FIG. 10 is a diagram illustrating a tactile sensation providing system 100A according to a modification of the embodiment.
  • the tactile sensation providing system 100A includes an electronic device 200 and tactile sensation providing devices 300R and 300L.
  • the tactile sensation providing apparatus 300R is for the right hand, and the tactile sensation providing apparatus 300L is for the left hand.
  • the tactile sensation providing apparatus 300R includes vibration elements 320RA to 320RE and sensors 330RA to 330RE.
  • the tactile sensation providing apparatus 300R includes a mounting unit 310, drivers 340A to 340E, and a control unit 350 (see FIG. 2), a mounting unit, a driver, and a control unit, respectively, which are omitted in FIG.
  • the vibration elements 320RA to 320RE and the sensors 330RA to 330RE are the same as the vibration elements 320A to 320E and the sensors 330A to 330E shown in FIGS. 2 and 5, respectively.
  • the vibration element 320RA is more than the vibration element 320A. Is large in plan view. That is, the size of the vibration element 320RA in plan view is larger than that of the vibration elements 320RB to 320RE.
  • the tactile sensation providing apparatus 300L includes vibration elements 320LA to 320LE and sensors 330LA to 330LE. Since the tactile sensation providing apparatus 300R has a configuration in which the right hand tactile sensation providing apparatus 300R is used for the left hand, the tactile sensation providing apparatus 300R has a bilaterally symmetric configuration.
  • the size of the vibration elements 320LB to 320LE in plan view is equal to that of the vibration elements 320RB to 320RE.
  • the size of the vibration element 320LA is larger than the vibration elements 320LB to 320LE, but smaller than the vibration element 320RA.
  • the tactile sensation providing apparatus 300L has the same configuration as the tactile sensation providing apparatus 300R.
  • the right thumb and left thumb there is a case where the right hand thumb is located on the left side of the left hand thumb.
  • the thumb of the right hand may be positioned on the left side of the index finger of the left hand, and vice versa.
  • the tactile sensation providing system 100 ⁇ / b> A includes the vibration element 320 ⁇ / b> RA corresponding to the right thumb and the left thumb so that the operation input using the right thumb and the left thumb can be easily distinguished.
  • the size of the corresponding vibration element 320LA and the vibration elements 320RB to 320RE and 320LB to 320LE corresponding to the other fingers of both hands are different. That is, the vibration elements 320RA to RE and 320LA to 320LE are realized by three types of vibration elements having different sizes in plan view.
  • the reason why the vibration element 320RA, the vibration element 320LA, and the vibration elements 320RB to 320RE and 320LB to 320LE having different sizes in plan view are used is as follows.
  • the vibration elements 320RA to RE and 320LA to 320LE are arranged at the center of the belly of the finger of the mounting unit 310 (see FIG. 2) and have a size approximately equal to the size of the finger belly, so that the user operates the touch panel 203. In this case, the area in contact with the touch panel 203 is determined by the size of the vibration elements 320RA to RE and 320LA to 320LE in plan view.
  • the touch panel 203 calculates the area where the fingertip contacts when detecting the coordinates of the operation input.
  • the size of the vibration element 320RA corresponding to the thumb of the right hand, the vibration element 320LA corresponding to the thumb of the left hand, and the vibration elements 320RB to 320RE and 320LB to 320LE corresponding to the other fingers of both hands are different. This is because the operation input by the thumb of the right hand, the thumb of the left hand, and the other fingers of both hands can be discriminated by the area.
  • the user inputs an operation on the operation surface of the electronic device 200 with both hands, and the right hand thumb and left hand Even if the thumbs of each other cross, the coordinates of the thumb of the right hand and the thumb of the left hand can be determined based on the area information detected by the touch panel 203.
  • the reference point 203R may be used.
  • the reference point 203R is located on the right end side of the touch panel 203 in plan view and on the Y axis negative direction side with respect to the center of the length in the Y axis direction.
  • the coordinates of the fingers other than the thumb of the left hand can be detected by the same method.
  • the reference point 203L may be used.
  • the reference point 203L is located on the left end side of the touch panel 203 in a plan view and on the Y axis negative direction side with respect to the center of the length in the Y axis direction.
  • each finger can be associated with the coordinates, and the vibration corresponding to each finger.
  • a drive signal corresponding to an image can be transmitted to the elements 320RA to 320RE and 320LA to 320LE.
  • the tactile sensation providing system 100A and the tactile sensation providing devices 300R and 300L that can provide a good tactile sensation to a plurality of fingers.
  • the vibration element 320RA corresponding to the thumb of the right hand
  • the vibration element 320LA corresponding to the thumb of the left hand
  • the vibration elements 320RB to 320RE and 320LB to 320LE corresponding to the other fingers of both hands in the plan view.
  • the sizes of the vibration elements 320RB to 320RE and 320LB to 320LE corresponding to the other fingers of both hands may be different in plan view.
  • the touch panel 203 can discriminate simultaneous operation inputs to 10 locations, the sizes of the vibration elements 320RA to RE and 320LA to 320LE corresponding to all fingers may be different.
  • Tactile sensation providing system 100, 100A Tactile sensation providing system 200 Electronic device 201 Housing 202 Display panel 203 Touch panel 204 Top panel 300 Tactile sensation providing device 310 Mounting unit 320, 320A to 320E Vibration element 330, 330A to 330E Sensor 340, 340A to 340E Driver 350 Control unit 300R , 300L Tactile sensation providing device 320RA to 320RE, 320LA to 320LE Vibration element 330RA to 330RE, 330LA to 330LE sensor

Abstract

　複数の指に良好な触感を提供できる、触感提供システム、及び、触感提供装置を提供する。　触感提供システムは、電子機器と、触感提供装置とを含み、触感提供装置は、複数の指に装着される複数の装着部と、複数の装着部が装着される複数の指の腹に対応する複数の部分に配設される複数の振動素子と、複数の指の操作面への接触を検出するセンサと、第１制御部とデータ通信可能な第２制御部とを有し、第１制御部は、第２制御部からセンサによって指の接触が検出されたことを表す通知信号を受信すると、センサで接触が検出される指を表すデータと、座標検出部によって検出される座標とに基づき、操作面に接触している指の種類と当該指が操作面に接触する座標とを求めるとともに、指を表すデータと、当該指が操作面に接触する座標と、表示部に表示される画像とに応じた触感を表す駆動信号を生成し、第２制御部は、駆動信号を用いて、振動素子を駆動する。

Description

触感提供システム、及び、触感提供装置
　本発明は、触感提供システム、及び、触感提供装置に関する。
　従来より、タッチパネルに対して押圧、接触、または近接させて入力操作を行うための入力器具がある。入力器具は、生体の皮膚に接触させた状態を保持可能にした１以上の刺激電極および基準電極と、該入力器具による、前記タッチパネルに対する入力操作により、前記刺激電極と、前記基準電極との間に、前記刺激電極に接触する皮膚の触覚を刺激するための電圧を印加する電圧印加手段とを備えたことを特徴とする（例えば、特許文献１参照）。
特開２０１０－２５０７５０号公報
　ところで、従来の入力器具は、１本の指でタッチパネルを操作することを前提にしたものであり、複数の指でタッチパネルを操作する場合に、各指の位置に応じた触覚を提供することはできない。すなわち、複数の指に良好な触感を提供することはできない。
　そこで、複数の指に良好な触感を提供できる、触感提供システム、及び、触感提供装置を提供することを目的とする。
　本発明の実施の形態の触感提供システムは、電子機器と、第１触感提供装置とを含む触感提供システムであって、前記電子機器は、表示部と、前記表示部の表示面側に設けられ、操作面を有するトップパネルと、前記操作面への操作入力の位置の座標を検出する座標検出部と、第１制御部とを有し、前記第１触感提供装置は、複数の指にそれぞれ装着される複数の装着部と、前記複数の装着部がそれぞれ装着される複数の指の腹に対応する複数の部分に、それぞれ配設される複数の振動素子と、前記複数の指のそれぞれの前記操作面への接触を検出するセンサと、前記第１制御部とデータ通信可能な第２制御部とを有し、前記第１制御部は、前記第２制御部から前記センサによって前記指の接触が検出されたことを表す通知信号を受信すると、前記センサで接触が検出される指を表すデータと、前記座標検出部によって検出される座標とに基づき、前記操作面に接触している指の種類と当該指が前記操作面に接触する座標とを求めるとともに、前記指を表すデータと、当該指が前記操作面に接触する座標と、前記表示部に表示される画像とに応じた触感を表す駆動信号を生成し、前記第２制御部は、前記駆動信号を用いて、前記振動素子を駆動する。
　複数の指に良好な触感を提供できる、触感提供システム、及び、触感提供装置を提供することができる。
実施の形態の触感提供システムを示す図である。 実施の形態の触感提供装置を示す図である。 電子機器及び触感提供装置のより詳細なハードウェア構成を示す図である。 触感提供システムが用いるデータを示す図である。 触感提供システムにおいて、触感提供装置でトップパネルを接触した指と、タッチパネルによって検出される座標とを関連付ける手法を説明する図である。 制御部が操作入力の座標を決定する処理を示すフローチャートである。 制御部が操作入力の座標を決定する処理を示すフローチャートである。 触感提供装置を装着した手が移動された場合に、利用者に提供される触感の変化を説明する図である。 触感提供システムにおいて、触感提供装置でトップパネルに接触した指と、タッチパネルによって検出される座標とを関連付ける他の手法を説明する図である。 実施の形態の変形例による触感提供システムを示す図である。
　以下、本発明の触感提供システム、及び、触感提供装置を適用した実施の形態について説明する。
　＜実施の形態＞
　図１は、実施の形態の触感提供システム１００を示す図である。
　触感提供システム１００は、電子機器２００と触感提供装置３００を含む。
　電子機器２００は、一例として、タッチパネルを入力操作部とする、スマートフォン端末機、又は、タブレット型コンピュータである。電子機器２００は、タッチパネルを入力操作部とする機器であればよいため、例えば、携帯情報端末機、又は、ＰＣ(Personal Computer)であってもよい。
　電子機器２００は、筐体２０１、ディスプレイパネル２０２、タッチパネル２０３、及びトップパネル２０４を含む。筐体２０１は、内部に制御部及びメモリ等が配置される。図１に示すように平面視の状態で、筐体２０１の開口部からディスプレイパネル２０２が表出しており、ディスプレイパネル２０２の上に、タッチパネル２０３及びトップパネル２０４がこの順で配設されている。
　ディスプレイパネル２０２は、例えば、液晶ディスプレイパネル又は有機ＥＬ(Electroluminescence)パネル等の画像を表示できる表示部であればよい。ディスプレイパネル２０２は、制御部によって駆動制御が行われ、電子機器２００の動作状況に応じて、ＧＵＩ操作部、画像、文字、記号、図形等を表示する。
　タッチパネル２０３は、ディスプレイパネル２０２の上に配設されている。タッチパネル２０３は、透過性が高く透明な材料で作製されており、ディスプレイパネル２０２の表示を透過する。
　また、タッチパネル２０３は、利用者のトップパネル２０４の表面（操作面）への操作入力の位置を検出できる座標検出部であればよく、例えば、静電容量型又は抵抗膜型の座標検出部であればよい。また、タッチパネル２０３は、複数の操作入力が同時に行われた場合に、すべての操作入力の座標を検出できるタッチパネルであることが望ましい。
　触感提供システム１００が１つの（片手用の）触感提供装置３００を含む場合には、タッチパネル２０３は、同時に５箇所の操作入力の座標を検出できることが望ましい。また、同時に５箇所の操作入力の座標を検出できなくても、少なくとも２箇所以上の操作入力の座標を検出できればよい。このような場合には、触感提供装置３００によって触感を提供できる指先の数に制限が生じるが、そのような制限下において、良好な触感を提供することが可能である。
　トップパネル２０４は、図１において、最も手前に位置する透明なパネルであり、タッチパネル２０３を操作する際の操作面を有する。操作面は電子機器２００の最表面に位置する。
　ここでは、タッチパネル２０３の入力面側にトップパネル２０４が配設される形態について説明するが、トップパネル２０４はタッチパネル２０３と一体的であってもよい。この場合、タッチパネル２０３の表面がトップパネル２０４の表面になり、操作面を構築する。また、電子機器２００は、トップパネル２０４を省いた構成であってもよい。この場合も、タッチパネル２０３の表面が操作面を構築する。
　また、タッチパネル２０３が静電容量型の場合は、トップパネル２０４の上にタッチパネル２０３が配設されていてもよい。この場合も、タッチパネル２０３の表面が操作面を構築する。
　図１では、電子機器２００のディスプレイパネル２０２にリンゴの画像が表示されている。
　触感提供装置３００は、利用者が手に嵌めて利用する装置である。図１では、触感提供装置３００を簡略化して示すが、一例として、利用者の右手に触感提供装置３００が嵌められている。触感提供装置３００は、利用者の手に嵌められた状態で、利用者が電子機器２００の操作面に操作入力を行うと、操作入力が行われている位置の画像に応じた触感を提供する。
　すなわち、図１に示すように電子機器２００にリンゴの画像が表示されている場合に、触感提供装置３００を右手に嵌めた利用者が右手の指先でリンゴの画像に触れると、触感提供装置３００が振動することにより、リンゴの表面に触れたような触感が提供される。このような触感は、触感提供装置３００の指の腹に配置される振動素子を振動させることによって実現される。
　次に、図２を用いて、触感提供装置３００の詳細について説明する。
　図２は、実施の形態の触感提供装置３００を示す図である。図２の（Ａ）と（Ｂ）は、ともに触感提供装置３００を利用者の右手に嵌めた状態を示す。
　触感提供装置３００は、装着部３１０、５つの振動素子３２０Ａ～３２０Ｅ、５つのセンサ３３０Ａ～３３０Ｅ、５つのドライバ３４０Ａ～３４０Ｅ、及び制御部３５０を含む。触感提供装置３００は、第１触感提供装置の一例である。
　図２には、右手用の触感提供装置３００を示すが、触感提供装置３００は、左手用であってもよい。左手用の触感提供装置３００は、図２に示す右手用の触感提供装置３００とは左右対称な構成を有する。
　ここで、５つの振動素子３２０Ａ～３２０Ｅは、配置される場所が異なるだけで、互いに同様の構成を有する。このため、５つの振動素子３２０Ａ～３２０Ｅを特に区別しない場合には、単に振動素子３２０と称す。
　同様に、５つのセンサ３３０Ａ～３３０Ｅは、配置される場所が異なるだけで、互いに同様の構成を有する。このため、５つのセンサ３３０Ａ～３３０Ｅを特に区別しない場合には、単にセンサ３３０と称す。また、５つのドライバ３４０Ａ～３４０Ｅは、配置される場所が異なるだけで、互いに同様の構成を有する。このため、５つのドライバ３４０Ａ～３４０Ｅを特に区別しない場合には、単にドライバ３４０と称す。
　装着部３１０は、一例として手袋状であり、親指、人差し指、中指、薬指、小指をそれぞれ差し込む指部３１１Ａ～３１１Ｅを有する。装着部３１０は、一例として、塩化ビニール等の樹脂製である。なお、指部３１１Ａ～３１１Ｅを特に区別しない場合には、単に指部３１１と称す。
　装着部３１０は、振動素子３２０、センサ３３０、ドライバ３４０、及び制御部３５０を利用者の手に装着するために用いられる。装着部３１０は、５つの振動素子３２０と５つのセンサ３３０とを、それぞれ、５本の指の腹の部分に装着できる形状であればよく、手袋状のものに限られない。
　振動素子３２０Ａ～３２０Ｅは、それぞれ、指部３１１Ａ、３１１Ｂ、３１１Ｃ、３１１Ｄ、３１１Ｅの腹の部分に装着される。振動素子３２０Ａ～３２０Ｅの平面視でのサイズは、互いに等しい。振動素子３２０Ａ～３２０Ｅの平面視でのサイズは、指の腹の大きさに略等しいか、あるいは、指の腹よりも小さくてもよい。
　振動素子３２０Ａ～３２０Ｅは、それぞれ、配線３０１Ａ～３０１Ｅを介してドライバ３４０Ａ～３４０Ｅに接続され、さらに、配線３０２Ａ～３０２Ｅを介して制御部３５０に接続されている。振動素子３２０Ａ～３２０Ｅは、制御部３５０が出力する駆動信号に基づき、ドライバ３４０Ａ～３４０Ｅによって駆動される。
　振動素子３２０Ａ～３２０Ｅの振幅及び周波数は、駆動信号によって決まる。駆動信号の振幅は、電子機器２００のディスプレイパネル２０２に表示される画像が表す物体の触感に応じて設定される。
　また、駆動信号の周波数は、可聴域の周波数であってもよいし、超音波帯の周波数であってもよい。ここで、可聴域とは、例えば、約２０ｋＨｚ未満の周波数帯であり、通常、人間が聴き取ることのできる周波数帯をいう。また、超音波帯とは、例えば、約２０ｋＨｚ以上の周波数帯であり、通常、人間が聴き取ることのできない周波数帯をいう。
　可聴域又は超音波帯の周波数の駆動信号を用いて振動素子３２０Ａ～３２０Ｅを駆動することにより、利用者の指先に様々な触感を提供することができる。特に、超音波帯の駆動信号を用いて、超音波帯の固有振動を発生させると、振動素子３２０Ａ～３２０Ｅと、電子機器２００のトップパネル２０４との間にスクイーズ効果による空気層が介在し、指でトップパネル２０４の表面をなぞったときの動摩擦係数が低下する。
　利用者は、超音波帯の固有振動による振動がオフになると、指先に掛かる動摩擦力の増大を感知し、指先の滑り難さ、あるいは、引っ掛かる感じを知覚することになる。そして、指先が滑りにくくなることにより、動摩擦力が高くなるときに、トップパネル２０４の表面に凸部が存在するように感じる。また、これとは逆に、超音波帯の固有振動による振動がオンになると、指先に掛かる動摩擦力の減少を感知し、指先の滑り易さ、あるいは、引っ掛かりが無くなる感じを知覚することになる。これにより、凹部の存在を触感として提供できる。
　なお、このように人間が摩擦感の変化によって凹凸を知覚することは、例えば、"触感デザインのための印刷物転写法とSticky-band Illusion"(第11回計測自動制御学会システムインテグレーション部門講演会論文集 (SI2010, 仙台)____174-177, 2010-12)に記載されている。また、"Fishbone Tactile Illusion"(日本バーチャルリアリティ学会第10 回大会論文集(2005 年9 月))にも記載されている。
　センサ３３０Ａ～３３０Ｅは、それぞれ、指部３１１Ａ、３１１Ｂ、３１１Ｃ、３１１Ｄ、３１１Ｅの腹の部分において、振動素子３２０Ａ～３２０Ｅの隣に装着される。センサ３３０Ａ～３３０Ｅの平面視でのサイズは、振動素子３２０Ａ～３２０Ｅよりも小さいため、センサ３３０Ａ～３３０Ｅは、指の腹の中央に配置される振動素子３２０Ａ～３２０Ｅの脇に配置される。
　センサ３３０Ａ～３３０Ｅは、それぞれ、指部３１１Ａ～３１１Ｅの先端の腹部が物体に接触しているかどうかを検出する。
　センサ３３０Ａ～３３０Ｅは、それぞれ、触感提供装置３００を手に装着した利用者が電子機器２００のトップパネル２０４を操作する際に、指部３１１Ａ～３１１Ｅがトップパネル２０４に接触したかどうかを検出するために設けられている。
　センサ３３０Ａ～３３０Ｅの接続は、例えば、接触式又は光学式で、物品への接触を検出できるセンサであればよい。センサ３３０Ａ～３３０Ｅは、接触を検出すると、接触を検出したことを表す接触検出信号を制御部３５０に出力する。
　センサ３３０Ａ～３３０Ｅは、配線３０１Ａ～３０１Ｅと３０２Ａ～３０２Ｅとによって制御部３５０に接続されており、接触を検知したセンサ３３０は、接触したことを表す接触信号を制御部３５０に出力する。
　なお、配線３０１Ａ～３０１Ｅは、振動素子３２０Ａ～３２０Ｅとドライバ３４０Ａ～３４０Ｅとをそれぞれ接続するとともに、センサ３３０Ａ～３３０Ｅの接続にも用いられる。また、配線３０２Ａ～３０２Ｅは、ドライバ３４０Ａ～３４０Ｅと制御部３５０とを接続するとともに、センサ３３０Ａ～３３０Ｅの接続にも用いられる。
　配線３０１Ａ～３０１Ｅと３０２Ａ～３０２Ｅは、振動素子３２０Ａ～３２０Ｅ、ドライバ３４０Ａ～３４０Ｅ、及び制御部３５０を接続する配線とは別に、センサ３３０Ａ～３３０Ｅと制御部３５０とを接続する配線を内蔵する。
　ドライバ３４０Ａ～３４０Ｅは、それぞれ、配線３０１Ａ～３０１Ｅを介して、振動素子３２０Ａ～３２０Ｅに接続される。また、ドライバ３４０Ａ～３４０Ｅは、配線３０２Ａ～３０２Ｅを介して、制御部３５０に接続されている。
　ドライバ３４０Ａ～３４０Ｅは、制御部３５０が出力する駆動信号に基づき、振動素子３２０Ａ～３２０Ｅを駆動する。
　制御部３５０は、センサ３３０Ａ～３３０Ｅのいずれかから接触検出信号が入力されると、トップパネル２０４に接触した指を表す接触指信号を電子機器２００に送信する。制御部３５０は、第２制御部の一例である。ここでは、ワイヤレス通信によって接触指信号が触感提供装置３００から電子機器２００に送信されることとする。
　また、制御部３５０は、電子機器２００からワイヤレス通信で駆動信号を受信すると、駆動信号を用いて、ドライバ３４０Ａ～３４０Ｅのうちのいずれかを駆動する。駆動信号は、電子機器２００の制御部で生成され、振動素子３２０Ａ～３２０Ｅの種類、振幅、及び周波数を含む。制御部３５０によって振動素子３２０Ａ～３２０Ｅのうちトップパネル２０４に接触した指に対応する振動素子が駆動されると、利用者の指に、画像に対応する触感が提供される。
　次に、図３を用いて、電子機器２００及び触感提供装置３００のより詳細なハードウェア構成について説明する。
　図３は、電子機器２００及び触感提供装置３００のより詳細なハードウェア構成を示す図である。電子機器２００及び触感提供装置３００は、触感提供システム１００を構築する。
　電子機器２００は、制御部２１０を含む。制御部２１０は、第１制御部の一例であり、ＣＰＵ(Central Processing Unit)２１１、ディスプレイインターフェース２１２、タッチパネルインターフェース２１３、無線通信インターフェース２１４、バス２１５、ＲＡＭ(Random Access Memory)２１６、内蔵ストレージ２１７、記憶媒体２１８、及び加速度センサ２１９を含む。なお、ディスプレイインターフェース２１２及びタッチパネルインターフェース２１３には、それぞれ、図１に示すディスプレイパネル２０２及びタッチパネル２０３が接続される。
　ＣＰＵ２１１は、電子機器２００の動作に伴う処理を行う演算処理部である。ＣＰＵ２１１は、バス２１５によって、ディスプレイインターフェース２１２、タッチパネルインターフェース２１３、無線通信インターフェース２１４、バス２１５、ＲＡＭ２１６、内蔵ストレージ２１７、記憶媒体２１８、及び加速度センサ２１９に接続されている。
　ＲＡＭ２１６は、ＣＰＵ２１１のメインメモリである。ＲＡＭ２１６には、例えば、ＣＰＵ２１１が実行するプログラムが展開される。内蔵ストレージ２１７は、電子機器２００の動作に必要なデータ又はプログラムを格納するメモリであり、書き換え可能な記憶媒体である。記憶媒体２１８は、電子機器２００の動作に必要なオペレーションシステム（ＯＳ）、アプリケーションプログラム、及びデータファイル等を格納するメモリである。加速度センサ２１９は、電子機器２００の向きを検出するセンサである。加速度センサ２１９が検出する向きにより、ＣＰＵ２１１は、ディスプレイパネル２０２に表示する画像の向きを設定する。
　触感提供装置３００は、振動素子３２０Ａ～３２０Ｅ、センサ３３０Ａ～３３０Ｅ、ドライバ３４０Ａ～３４０Ｅ、及び制御部３５０を含む。図３では、振動素子３２０Ａ～３２０Ｅとセンサ３３０Ａ～３３０Ｅを簡略化して示すとともに、配線３１０Ａ～３０１Ｅ、３０２Ａ～３０２Ｅ、及び３０３Ａ～３０３Ｅとを省略する。
　制御部３５０は、ＣＰＵチップ３５１、無線通信インターフェース３５２、及びバス３５３を有する。ＣＰＵチップ３５１は、バス３５３を通じて、無線通信インターフェース３５２、センサ３３０Ａ～３３０Ｅ、及びドライバ３４０Ａ～３４０Ｅに接続される。また、ＣＰＵチップ３５１は、ドライバ３４０Ａ～３４０Ｅを介して、振動素子３２０Ａ～３２０Ｅにそれぞれ接続される。
　このようなハードウェア構成を有する電子機器２００と触感提供装置３００は、無線通信インターフェース２１４と３５２を介してデータ通信を行う。なお、ここでは、電子機器２００と触感提供装置３００が、無線通信インターフェース２１４と３５２を介してデータ通信を行う形態について説明するが、電子機器２００と触感提供装置３００は、例えば、ＵＳＢ(Universal Serial Bus)ケーブルを介して接続されることにより、有線でのデータ通信を行う構成であってもよい。
　図４は、触感提供システム１００が用いるデータを示す図である。
　図４に示すデータは、電子機器２００の記憶媒体２１８にデータファイルとして記憶されるデータのうちの１つであり、駆動信号を生成する際に用いられるデータである。
　図４の（Ａ）に示すデータは、センサ３３０Ａ～３３０ＥのＩＤ(Identification)と、振動素子３２０Ａ～３２０Ｅとを関連付けたデータである。センサ３３０Ａ～３３０Ｅには、ＩＤとして、ｓ０１～ｓ０５が割り振られている。また、センサ３３０Ａ～３３０ＥのＩＤ（ｓ０１～ｓ０５）には、振動素子３２０Ａ～３２０Ｅが関連付けられている。
　電子機器２００の制御部２１０は、触感提供装置３００から接触指信号を受信すると、接触指信号に含まれるＩＤに基づいて、センサ３３０Ａ～３３０Ｅのいずれがトップパネル２０４に接触したかを判別する。また、制御部２１０は、振動素子３２０Ａ～３２０Ｅを駆動するための駆動信号を図４の（Ａ）に示すデータを用いて生成する。
　図４の（Ｂ）は、画像ＩＤ、座標データ、及び駆動信号データを関連付けたデータである。画像ＩＤは、電子機器２００のディスプレイパネル２０２に表示される画像毎に割り振られている。図４の（Ｂ）には、画像ＩＤとしてｉｍｇ０１，ｉｍｇ０２，・・・を示す。
　座標データは、タッチパネル２０３の平面視での座標をＸＹ座標系で表したものである。例えば、平面視で長方形状のタッチパネル２０３の四つの頂点のうちの１つをＸＹ座標の原点Ｏとして定義し、長辺方向にＸ軸、短辺方向にＹ軸を設定すればよい。図４の（Ｂ）には、座標データとして、Ｃ１（Ｘ，Ｙ）、Ｃ２（Ｘ，Ｙ）を示す。
　駆動信号データは、トップパネル２０４の操作面の座標（Ｘ，Ｙ）の点が触れられているときに、振動素子３２０を振動させる振幅Ａと周波数ｆを含む。駆動信号データは、座標データによって表される座標毎に振幅Ａと周波数ｆを有する関数形式のデータである。図４の（Ｂ）には、駆動信号データとして、ＤＳ１（Ａ１，ｆ１）、ＤＳ２（Ａ２、ｆ２）、・・・を示す。
　以上のような座標データ及び駆動信号データは、画像ＩＤ毎に関連付けられている。従って、画像ＩＤと座標が決まれば、駆動信号データによって振幅と周波数が決まることになる。
　図５は、触感提供システム１００において、触感提供装置３００でトップパネル２０４を接触した指と、タッチパネル２０３によって検出される座標とを関連付ける手法を説明する図である。まず、図５の（Ａ）に示す手法について説明する。
　電子機器２００は、タッチパネル２０３の左下の頂点２０３Ａを原点とするＸＹ座標を用いて座標を定義している。Ｘ軸は、平面視で矩形状のタッチパネル２０３の長手方向に伸延し、Ｙ軸は短手方向に伸延する。また、トップパネル２０４を接触した指の種類を判別するための基準点２０３ＢをＹ軸上で、タッチパネル２０３の短辺の中央の点に定義する。
　例えば、タッチパネル２０３のＸ軸方向の長さがα（ｍｍ）、Ｙ軸方向の長さがβ（ｍｍ）であるとすると、原点２０３Ａの座標は（Ｘ，Ｙ）＝（０，０）であり、基準電２０３Ｂの座標は（Ｘ，Ｙ）＝（０，β／２）である。
　ここで、基準点２０３Ｂは、タッチパネル２０３のＸ軸方向の左端に位置し、触感提供装置３００は右手用であるため、図５に示すように触感提供装置３００で電子機器２００の操作面に接触すると、基準点２０３Ｂに最も近い指は親指であり、最も遠い指は小指である。
　例えば、右手に触感提供装置３００を嵌めた利用者が４本の指で電子機器２００の操作面を同時に操作しているとする。図５では、説明の便宜上、センサ３３０Ａ～３３０Ｅのみを透過的に示し、接触しているものを黒丸、接触していないものを白丸で示す。
　すなわち、図５では、親指、人差し指、薬指、及び小指の４本の指による操作入力が同時に行われている。このため、触感提供装置３００からセンサ３３０Ａ，３３０Ｂ、３３０Ｄ、及び３３０Ｅの接触指信号が電子機器２００に送信されている。
　ここで、電子機器２００が４つの接触指信号を同時に受信する場合には、タッチパネル２０３も４つの座標を同時に検出する。
　タッチパネル２０３で検出される４つの座標と、親指、人差し指、薬指、及び小指の位置とは、次のように関連付けられる。
　まず、基準点２０３Ｂからタッチパネル２０３で検出される４つの座標までの距離を求める。ここでは、基準点２０３Ｂから親指、人差し指、薬指、及び小指までの距離Ｄ１、Ｄ２、Ｄ３、Ｄ４を求める。
　基準点２０３Ｂは、タッチパネル２０３のＸ軸方向の左端に位置するため、距離Ｄ１～Ｄ４のうち、最も短い距離に対応する位置を親指の位置に決定する。
　また、人差し指、薬指、及び小指について、Ｄ２＜Ｄ３＜Ｄ４の関係が成り立つ場合は、距離の短いものから順に人差し指、薬指、及び小指の位置を決定すればよいが、必ずしもこのような関係が成立しないおそれがある場合は、人差し指、薬指、及び小指の位置を次のように決定すればよい。
　制御部２１０は、親指の座標から、残りの３点の座標までの距離Ｄ１１、Ｄ１２、Ｄ１３を求める。そして、距離Ｄ１１～Ｄ１３のうち、最も短い距離に対応する位置を人差し指の位置に決定する。人差し指、薬指、及び小指のうち、親指に最も近いのは、人差し指だからである。
　そして、人差し指の座標を決定すると、制御部２１０は、人差し指の座標から残りの２点の座標までの距離Ｄ２１、Ｄ２２を求める。そして、距離Ｄ２１、Ｄ２２のうち、短い方の距離に対応する位置を薬指の位置に決定する。薬指と小指のうち、人差し指に近いのは、薬指だからである。
　そして、最後に残った座標を小指の座標として決定すればよい。
　以上より、触感提供装置３００でトップパネル２０４を接触した指と、タッチパネル２０３によって検出される座標とを関連付けることができる。
　トップパネル２０４を接触している４本の指の種類と、タッチパネル２０３で検出される４つの座標とを関連付けることができれば、図４の（Ｂ）のデータを用いて、各指の座標に対応する駆動信号を求めることができる。
　従って、制御部２１０は、上述の処理によって、トップパネル２０４を接触している指に対応するセンサ３３０の種類と、タッチパネル２０３で検出される座標とを関連付け、図４の（Ｂ）のデータを用いて、各指の座標に対応する駆動信号を求める。そして、各指に対応するセンサ３３０に対応する振動素子３２０を図４の（Ａ）に示すデータに基づいて選択し、振動素子３２０に対応するドライバ３４０に駆動信号を送信する。
　このような処理により、トップパネル２０４に接触した指に、画像に対応する触感を提供することができる。
　なお、ここでは、右手用の触感提供装置３００を用いて、操作入力の行われた座標を特定する手法について説明したが、左手用の触感提供装置３００を用いる場合は、基準点２０３Ｂの座標を（Ｘ，Ｙ）＝（α，β／２）に設定すればよい。
　また、左手用の触感提供装置３００を用いる場合に、基準点２０３Ｂの座標を（Ｘ，Ｙ）＝（０，β／２）に設定し、基準点２０３Ｂに最も近い座標を小指から順番に決定してもよい。
　また、電子機器２００が図５に示す横向きから反時計回りに９０度回転された縦向きにされて、右手用の触感提供装置３００を用いる場合には、基準点２０３Ｂの座標を（Ｘ，Ｙ）＝（α／２，β）に設定すれば、上述の場合と同様に各指の座標を決定できる。
　また、電子機器２００が図５に示す横向きから時計回りに９０度回転された縦向きにされて、右手用の触感提供装置３００を用いる場合には、基準点２０３Ｂの座標を（Ｘ，Ｙ）＝（α／２，０）に設定すれば、上述の場合と同様に各指の操作入力の座標を決定できる。
　なお、右手の親指の座標を決定した後に、図５の（Ｂ）に示すように、親指の座標を中心とする右回りの円弧５００を描き、円弧５００の視点５００Ａから終点５００Ｂにかけて、円弧に近い順に、人差し指、薬指、及び小指を検出するようにしてもよい。このような円弧５００の半径は、人間の手の平均的なサイズに基づいて、例えば、５ｃｍから１０ｃｍ程度に設定すればよい。また、円弧５００の変わりに、ベジェ曲線等を当て嵌めて、人差し指、薬指、及び小指を検出してもよい。なお、左手の指を検出する場合は、左手の親指の座標を検出した後に、左回りの円弧を描いて検出を行えばよい。
　次に、図６及び図７を用いて、制御部２１０による操作入力の座標の決定方法について説明する。
　図６及び図７は、制御部２１０が操作入力の座標を決定する処理を示すフローチャートである。
　電子機器２００の電源が投入されると、又は、アプリケーションプログラムが実行されると、制御部２１０は、処理をスタートする。
　まず、制御部２１０は、加速度センサ２１９の出力に基づき、電子機器２００の向きを判定する（ステップＳ１）。電子機器２００は、長方形状のディスプレイパネル２０２のどの辺が表示画像における上方に位置しているかを加速度センサ２１９の出力に基づいて判定する。
　制御部２１０は、電子機器２１０の向きは横向きであるかどうかを判定する（ステップＳ２）。横向きとは、図５に示すように、平面視で長方形状のディスプレイパネル２０２の長辺が表示画像の上方に位置している場合である。また、図５に示す電子機器２００を１８０度回転させて２本の長辺の位置を入れ替えた状態も横向きである。また、縦向きとは、横向きに対して、９０度回転させた向きである。
　制御部２１０は、電子機器２１０の向きは横向きである（Ｓ２：ＹＥＳ）と判定すると、２つの横用基準点を選択する（ステップＳ３Ａ）。２つの横用基準点とは、図５に示す（Ｘ，Ｙ）＝（０，β／２）の基準点２０３Ｂと、（Ｘ，Ｙ）＝（α，β／２）の基準点である。
　一方、制御部２１０は、電子機器２１０の向きは横向きではない（Ｓ２：ＮＯ）と判定すると、２つの縦用基準点を選択する（ステップＳ３Ｂ）。２つの縦用基準点とは、（Ｘ，Ｙ）＝（α／２，β）の基準点と、（Ｘ，Ｙ）＝（α／２，０）の基準点である。
　制御部２１０は、触感提供装置３００が右手用かどうかを判定する（ステップＳ４）。ステップＳ４の判定は、記憶媒体２１８に予め触感提供装置３００が右手用又は左手用のいずれであるかを表すデータを格納しておき、制御部２１０がデータを読み出すことによって判定すればよい。
　制御部２１０は、触感提供装置３００が右手用である（Ｓ４：ＹＥＳ）と判定すると、左側の基準点を選択する（ステップＳ５Ａ）。左側とはディスプレイパネル２０２に向かって左側であることを意味する。例えば、図５に示すように電子機器２００が横向きの場合は、図５に示す（Ｘ，Ｙ）＝（０，β／２）の基準点２０３Ｂを選択する。
　一方、制御部２１０は、触感提供装置３００が右手用ではない（Ｓ４：ＮＯ）と判定すると、右側の基準点を選択する（ステップＳ５Ｂ）。右側とはディスプレイパネル２０２に向かって右側であることを意味する。例えば、図５に示すように電子機器２００が横向きの場合は、（Ｘ，Ｙ）＝（α，β／２）の基準点を選択する。
　制御部２１０は、タッチパネル２０３の出力信号に基づき、座標が検出されているかどうかを判定する（ステップＳ６）。ステップＳ６の処理は、座標が検出されるまで繰り返し実行される。
　制御部２１０は、センサ３３０によって接触が検出されているかどうかを判定する（ステップＳ７）。ステップＳ７の処理は、具体的には、制御部２１０が触感提供装置３００からセンサ３３０の接触指信号を受信しているかどうかで判定すればよい。
　なお、制御部２１０は、センサ３３０によって接触が検出されていない（Ｓ７：ＮＯ）と判定すると、フローをステップＳ６にリターンする。
　制御部２１０は、センサ３３０によって接触が検出されている（Ｓ７：ＹＥＳ）と判定すると、タッチパネル２０３によって検出される座標の数と、センサ３３０によって検出される接触の数とが一致するかどうかを判定する（ステップＳ８）。
　なお、制御部２１０は、数が一致しない（Ｓ８：ＮＯ）と判定すると、フローをステップＳ６にリターンする。
　制御部２１０は、数が一致する（Ｓ８：ＹＥＳ）と判定すると、タッチパネル２０３によって検出される複数の座標の各々と、基準点との距離を計算し、基準点に最も近い座標を抽出する（ステップＳ９）。
　制御部２１０は、センサ３３０によって接触が検出されている複数の指のうち、指番号ｎが最も小さい指と、ステップＳ９で抽出した座標とを関連付ける（ステップＳ１０）。
　ここで、指番号とは、一例として、親指から順番に第１指～第５指まで番号を振った場合に、第ｎ番（ｎ＝１～５）の指を表す番号である。指番号は、図４の（Ａ）に示すセンサ３３０Ａ～３３０ＥのＩＤ（ｓ０１～ｓ０５）に対応する。
　制御部２１０は、ステップＳ９で抽出した座標と、残りの座標との距離を計算し、ステップＳ９で抽出した座標に一番近い座標を抽出する（ステップＳ１１）。
　制御部２１０は、まだ座標と関連付けられておらず、センサ３３０で接触が検出されている残りの指のうち、指番号ｎが一番小さい指をステップＳ１１で抽出した座標と関連付ける（ステップＳ１２）。
　制御部２１０は、まだ座標と関連付けられておらず、センサ３３０で接触が検出されている指がある場合は、ステップＳ１１及びＳ１２と同様の処理を行うことにより、指と座標の関連づけを行う（ステップＳ１３）。
　制御部２１０は、センサ３３０で接触が検出されている指の数が２つの場合は、ステップＳ９～Ｓ１２の処理で関連付けの処理が終了するため、ステップＳ１３では特に処理を行わずにステップＳ１４にフローを進める。
　制御部２１０は、座標と関連付けが完了した各指について、座標に対応する駆動信号を取得する（ステップＳ１４）。
　制御部２１０は、駆動信号を触感提供装置３００に送信する（ステップＳ１５）。これにより、センサ３３０で接触が検出された各指の座標に位置する画像に応じた触感が、利用者の指先に提供される。
　制御部２１０は、処理の終了かどうかを判定する（ステップＳ１６）。処理の終了とは、例えば、電子機器２００の電源の遮断、又は、アプリケーションプログラムの終了等である。
　制御部２１０は、処理の終了ではない（Ｓ１６：ＮＯ）と判定すると、タッチパネル２０３が検出する座標の数が変化したかどうかを判定する（ステップＳ１７）。タッチパネル２０３によって検出される座標の数が変化した場合には、利用者による操作入力の内容が変化しているため、駆動信号を変更する必要があるからである。
　制御部２１０は、タッチパネル２０３によって検出される座標の数が変化した（Ｓ１７：ＹＥＳ）と判定すると、フローをステップＳ６にリターンする。
　制御部２１０は、タッチパネル２０３によって検出される座標の数が変化していない（Ｓ１７：ＮＯ）と判定すると、タッチパネル２０３の出力に基づいて座標の移動をトレースし、移動する座標と指との関連づけを維持する（ステップＳ１８）。
　制御部２１０は、ステップＳ１８の処理が終了すると、フローをステップＳ１４にリターンする。これにより、移動後の座標について駆動信号が生成され、画像に応じた触感が提供される。
　なお、制御部２１０は、処理の終了である（Ｓ１６：ＹＥＳ）と判定すると、一連の処理を終了する。
　以上の処理により、触感提供装置３００を手に嵌めた利用者の指先には、電子機器２００の操作面に接触した位置に存在する画像に応じた触感が提供される。
　図８は、触感提供装置３００を装着した手が移動された場合に、利用者に提供される触感の変化を説明する図である。
　図８の（Ａ）に示す状態では、触感提供装置３００を装着した利用者の右手の指先は、電子機器２００の操作面に接触している。このため、図８の（Ａ）では、センサ３３０Ａ～３３０Ｅをすべて黒丸で表す。
　このとき、センサ３３０Ｂは、リンゴの画像のエッジに差し掛かっているが、センサ３３０Ａ、３３０Ｃ～３３０Ｅは、リンゴの画像には触れていない。このため、センサ３３０Ｂに対応する振動素子３２０Ｂ（図５参照）のみが駆動され、リンゴに触れている触感が利用者に提供される。
　また、利用者が右手を移動し、図８の（Ｂ）に示すように、センサ３３０Ａ～３３０Ｃがリンゴに触れて、センサ３３０Ｄ及び３３０Ｅがリンゴに触れていない状態になると、センサ３３０Ａ～３３０Ｃに対応する振動素子３２０Ａ～３２０Ｃ（図５参照）が駆動され、リンゴに触れている触感（擬似的な立体感）が利用者に提供される。
　以上のように、触感提供システム１００を用いると、触感提供装置３００を装着した利用者の手の各指先の位置と、指先の位置に対応する画像とに応じて、画像が表す物体を本当に触っているような触感が利用者に提供される。
　触感提供システム１００は、電子機器２００を振動させることなく、触感提供装置３００を手に装着することによって、利用者の指先が触れる画像に応じた触感を提供することができる。
　また、各指に対応する振動素子３２０Ａ～３２０Ｅを、互いに異なる駆動信号で駆動できるので、各指によりリアリティの高い触感を提供することができる。
　また、利用者の手に装着される触感提供装置３００の振動素子３２０Ａ～３２０Ｅを振動させるため、指先に振動を伝え易い。また、振動素子３２０Ａ～３２０Ｅの表面を装着部３１０で覆う場合には、覆う部分に硬い材質のものを用いることにより、振動の振幅の減衰を抑制でき、より強い触感を提供することができる。
　また、電子機器２００のトップパネル２０４にヤング率の高い材料を用いることにより、あるいは、トップパネル２０４とタッチパネル２０３の間に隙間を設けずに一体化することにより、触感提供装置３００がトップパネル２０４から受ける反力を増大することができ、より強い触感を提供することができる。
　以上のような触感提供システム１００で表示する画像は、様々な画像であってよい。画像データと駆動信号とを予め用意しておけば、様々な画像に対応する触感を提供できる。例えば、ゲーム等に登場する様々なキャラクタの画像、動植物の写真の画像、美術品等の写真の画像等に対応した駆動信号を準備しておけば、触感提供システム１００を様々なシーンで使用することができる。
　以上、実施の形態によれば、複数の指に良好な触感を提供できる、触感提供システム１００、及び、触感提供装置３００を提供することができる。
　なお、次のように触感提供装置３００を駆動してもよい。図８の（Ａ）から（Ｂ）に示す位置に利用者の右手が移動した場合に、図８の（Ａ）の状態では、センサ３３０Ｂに対応する振動素子３２０Ｂを駆動する駆動信号の振幅を小さくするとともに、センサ３３０Ａ，３３０Ｃ～３３０Ｅに対応する振動素子３２０Ａ、３２０Ｃ～３２０Ｅを駆動する駆動信号の振幅を大きくする。
　このようにすれば、人差し指に掛かる動摩擦力が大きくなり、親指、中指、薬指、小指にかかる動摩擦力は小さくなる。
　そして、利用者が右手を移動し、図８の（Ｂ）に示すように、センサ３３０Ａ～３３０Ｃがリンゴに触れて、センサ３３０Ｄ及び３３０Ｅがリンゴに触れていない状態になったときに、センサ３３０Ａ～３３０Ｃに対応する振動素子３２０Ａ～３３０Ｃを駆動する駆動信号の振幅を小さくするとともに、センサ３３０Ｄ及び３３０Ｅに対応する振動素子３２０Ｄ及び３２０Ｅを駆動する駆動信号の振幅を大きくする。
　このように駆動すると、親指と中指には、動摩擦力が小さい状態から大きい状態に変化するため、リンゴのエッジにさしかかったときに、凸感を提供することができる。
　特に、振動素子３２０Ａ～３２０Ｅに超音波帯の固有振動が生じるように駆動すれば、スクイーズ効果によって、このような凸感をより顕著なものとして提供することができる。
　また、このような振幅の変化は、上述とは逆のパターンで行ってもよい。
　ここで、図９を用いて、トップパネル２０４に接触した指と、タッチパネル２０３によって検出される座標とを関連付ける他の手法について説明する。
　図９は、触感提供システム１００において、触感提供装置３００でトップパネル２０４に接触した指と、タッチパネル２０３によって検出される座標とを関連付ける他の手法を説明する図である。
　電子機器２００は、タッチパネル２０３の左下の頂点２０３Ａを原点とするＸＹ座標を用いて座標を定義している。Ｘ軸は、平面視で矩形状のタッチパネル２０３の長手方向に伸延し、Ｙ軸は短手方向に伸延する。また、トップパネル２０４を接触した指の種類を判別するための基準点２０３ＢをＹ軸上で、タッチパネル２０３の短辺の中央の点に定義する。
　例えば、タッチパネル２０３のＸ軸方向の長さがα（ｍｍ）、Ｙ軸方向の長さがβ（ｍｍ）であるとすると、原点２０３Ａの座標は（Ｘ，Ｙ）＝（０，０）であり、基準電２０３Ｂの座標は（Ｘ，Ｙ）＝（０，β／２）である。
　ここで、基準点２０３Ｂは、タッチパネル２０３のＸ軸方向の左端に位置し、触感提供装置３００は右手用であるため、図９に示すように触感提供装置３００で電子機器２００の操作面に接触すると、基準点２０３Ｂに最も近い指は親指であり、最も遠い指は小指である。
　例えば、右手に触感提供装置３００を嵌めた利用者が４本の指で電子機器２００の操作面を同時に操作しているとする。図９では、説明の便宜上、センサ３３０Ａ～３３０Ｅのみを透過的に示し、接触しているものを黒丸、接触していないものを白丸で示す。
　すなわち、図９では、親指、人差し指、薬指、及び小指の４本の指による操作入力が同時に行われている。このため、触感提供装置３００からセンサ３３０Ａ，３３０Ｂ、３３０Ｄ、及び３３０Ｅの接触指信号が電子機器２００に送信されている。
　ここで、電子機器２００が４つの接触指信号を同時に受信する場合には、タッチパネル２０３も４つの座標を同時に検出する。
　タッチパネル２０３で検出される４つの座標と、親指、人差し指、薬指、及び小指の位置とは、次のように関連付けられる。
　まず、基準点２０３Ｂからタッチパネル２０３で検出される４つの座標までの距離を求める。ここでは、距離の短いものから順にＤ１、Ｄ２、Ｄ３、Ｄ４とする。すなわち、Ｄ１＜Ｄ２＜Ｄ３＜Ｄ４の関係が成立する。
　このため、基準点２０３Ｂから最も近い座標が親指の座標であることが分かり、人差し指、薬指、小指の順に基準点２０３Ｂから遠い座標になることが分かる。
　以上より、触感提供装置３００でトップパネル２０４を接触した指と、タッチパネル２０３によって検出される座標とを関連付けることができる。
　トップパネル２０４を接触している４本の指の種類と、タッチパネル２０３で検出される４つの座標とを関連付けることができれば、図４の（Ｂ）のデータを用いて、各指の座標に対応する駆動信号を求めることができる。
　従って、制御部２１０は、上述の処理によって、トップパネル２０４を接触している指に対応するセンサ３３０の種類と、タッチパネル２０３で検出される座標とを関連付け、図４の（Ｂ）のデータを用いて、各指の座標に対応する駆動信号を求める。そして、各指に対応するセンサ３３０に対応する振動素子３２０を図４の（Ａ）に示すデータに基づいて選択し、振動素子３２０に対応するドライバ３４０に駆動信号を送信する。
　このような処理により、トップパネル２０４に接触した指に、画像に対応する触感を提供することができる。
　以上、図９に示す形態によれば、複数の指に良好な触感を提供できる、触感提供システム１００、及び、触感提供装置３００を提供することができる。
　図１０は、実施の形態の変形例による触感提供システム１００Ａを示す図である。触感提供システム１００Ａは、電子機器２００と触感提供装置３００Ｒ及び３００Ｌとを含む。触感提供装置３００Ｒは右手用であり、触感提供装置３００Ｌは左手用である。
　触感提供装置３００Ｒは、振動素子３２０ＲＡ～３２０ＲＥと、センサ３３０ＲＡ～３３０ＲＥとを含む。触感提供装置３００Ｒは、この他に、装着部３１０、ドライバ３４０Ａ～３４０Ｅ、及び制御部３５０（図２参照）とそれぞれ同様の装着部、ドライバ、及び制御部を含むが、図１０では省略する。
　振動素子３２０ＲＡ～３２０ＲＥ、及び、センサ３３０ＲＡ～３３０ＲＥは、それぞれ、図２及び図５に示す振動素子３２０Ａ～３２０Ｅ、及び、センサ３３０Ａ～３３０Ｅと同様であるが、振動素子３２０ＲＡは、振動素子３２０Ａよりも平面視でのサイズが大きい。すなわち、振動素子３２０ＲＡの平面視でのサイズは、振動素子３２０ＲＢ～３２０ＲＥよりも大きい。
　触感提供装置３００Ｌは、振動素子３２０ＬＡ～３２０ＬＥと、センサ３３０ＬＡ～３３０ＬＥとを含む。触感提供装置３００Ｒは、右手用の触感提供装置３００Ｒを左手用にした構成を有するため、触感提供装置３００Ｒとは左右対称な構成を有する。
　振動素子３２０ＬＢ～３２０ＬＥの平面視でのサイズは、振動素子３２０ＲＢ～３２０ＲＥと等しい。振動素子３２０ＬＡのサイズは、振動素子３２０ＬＢ～３２０ＬＥよりも大きいが、振動素子３２０ＲＡよりも小さい。それ以外は、触感提供装置３００Ｌは、触感提供装置３００Ｒと同様の構成を有する。
　図１０に示すように、利用者が両手にそれぞれ触感提供装置３００Ｒ及び３００Ｌを装着して、電子機器２００の操作面に両手で操作入力を行うと、右手の親指と左手の親指がタッチパネル２０３の中央部で交差し、右手の親指の方が左手の親指よりも左側に位置する場合がある。また、右手の親指が、左手の人差し指よりも左側に位置する場合があり得るし、この逆もあり得る。
　このような場合に、右手の親指による操作入力と、左手の親指による操作入力とを判別し易くするために、触感提供システム１００Ａは、右手の親指に対応する振動素子３２０ＲＡと、左手の親指に対応する振動素子３２０ＬＡと、両手のその他の指に対応する振動素子３２０ＲＢ～３２０ＲＥ及び３２０ＬＢ～３２０ＬＥの平面視でのサイズが異なるようにしている。すなわち、振動素子３２０ＲＡ～ＲＥ及び３２０ＬＡ～３２０ＬＥは、平面視でのサイズが異なる３種類の振動素子によって実現されている。
　このように平面視でのサイズが異なる振動素子３２０ＲＡと、振動素子３２０ＬＡと、振動素子３２０ＲＢ～３２０ＲＥ及び３２０ＬＢ～３２０ＬＥとを用いるのは、次のような理由による。
　振動素子３２０ＲＡ～ＲＥ及び３２０ＬＡ～３２０ＬＥは、装着部３１０（図２参照）の指の腹の中央に配置され、指の腹のサイズと略等しいサイズを有するため、利用者がタッチパネル２０３を操作する際に、タッチパネル２０３に接触する面積は、振動素子３２０ＲＡ～ＲＥ及び３２０ＬＡ～３２０ＬＥの平面視でのサイズによって決まるからである。
　また、タッチパネル２０３は、操作入力の座標を検出するときに、指先が接触する面積を計算するからである。
　従って、右手の親指に対応する振動素子３２０ＲＡと、左手の親指に対応する振動素子３２０ＬＡと、両手のその他の指に対応する振動素子３２０ＲＢ～３２０ＲＥ及び３２０ＬＢ～３２０ＬＥの平面視でのサイズが異なるようにしておけば、右手の親指、左手の親指、及び両手のその他の指による操作入力を、面積によって判別できるからである。
　このような振動素子３２０ＲＡと、３２０ＬＡと、３２０ＲＢ～３２０ＲＥ及び３２０ＬＢとを用いれば、図１０に示すように、利用者が電子機器２００の操作面に両手で操作入力を行い、右手の親指と左手の親指が交差しても、タッチパネル２０３で検出される面積の情報に基づいて、右手の親指と左手の親指の座標を判別できる。
　そして、右手のその他の指の座標については、右手の親指の座標を用いて、図５を用いて説明した手法と同様の手法によって、座標を検出することができる。この際に、基準点２０３Ｒを用いればよい。基準点２０３Ｒは、平面視でタッチパネル２０３の右端側で、Ｙ軸方向の長さの中央よりもＹ軸負方向側に位置する。
　また、左手の親指以外の指についても同様の手法で座標を検出することができる。この際に、基準点２０３Ｌを用いればよい。基準点２０３Ｌは、平面視でタッチパネル２０３の左端側で、Ｙ軸方向の長さの中央よりもＹ軸負方向側に位置する。
　このため、図１０に示すように、利用者が電子機器２００の操作面に両手で操作入力を行う場合であっても、各指と、座標とを関連付けることができ、各指に対応する振動素子３２０ＲＡ～３２０ＲＥ及び３２０ＬＡ～３２０ＬＥに、画像に対応する駆動信号を送信することができる。
　この結果、図１０に示すように、利用者が電子機器２００の操作面に両手で操作入力を行う場合に、利用者の各指に触感を提供することができる。
　以上、実施の形態の変形例によれば、複数の指に良好な触感を提供できる、触感提供システム１００Ａ、及び、触感提供装置３００Ｒ及び３００Ｌを提供することができる。
　なお、以上では、右手の親指に対応する振動素子３２０ＲＡと、左手の親指に対応する振動素子３２０ＬＡと、両手のその他の指に対応する振動素子３２０ＲＢ～３２０ＲＥ及び３２０ＬＢ～３２０ＬＥの平面視でのサイズが異なる形態について説明した。しかしながら、さらに、両手のその他の指に対応する振動素子３２０ＲＢ～３２０ＲＥ及び３２０ＬＢ～３２０ＬＥについても、平面視でのサイズが異なるようにしてもよい。例えば、タッチパネル２０３が１０箇所への同時の操作入力を判別できる場合には、全ての指に対応する振動素子３２０ＲＡ～ＲＥ及び３２０ＬＡ～３２０ＬＥの平面視でのサイズが異なるようにしてもよい。
　以上、本発明の例示的な実施の形態の触感提供システム、及び、触感提供装置について説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
　１００、１００Ａ　触感提供システム
　２００　電子機器
　２０１　筐体
　２０２　ディスプレイパネル
　２０３　タッチパネル
　２０４　トップパネル
　３００　触感提供装置
　３１０　装着部
　３２０、３２０Ａ～３２０Ｅ　振動素子
　３３０、３３０Ａ～３３０Ｅ　センサ
　３４０、３４０Ａ～３４０Ｅ　ドライバ
　３５０　制御部
　３００Ｒ、３００Ｌ　触感提供装置
　３２０ＲＡ～３２０ＲＥ、３２０ＬＡ～３２０ＬＥ　振動素子
　３３０ＲＡ～３３０ＲＥ、３３０ＬＡ～３３０ＬＥ　センサ

Claims (7)

  1. 　電子機器と、第１触感提供装置とを含む触感提供システムであって、
    　前記電子機器は、
    　表示部と、
    　前記表示部の表示面側に設けられ、操作面を有するトップパネルと、
    　前記操作面への操作入力の位置の座標を検出する座標検出部と、
    　第１制御部と
    　を有し、
    　前記第１触感提供装置は、
    　複数の指に装着される装着部と、
    　前記装着部が装着される複数の指の腹に対応する複数の部分に、それぞれ配設される複数の振動素子と、
    　前記複数の指のそれぞれの前記操作面への接触を検出するセンサと、
    　前記第１制御部とデータ通信可能な第２制御部と
    　を有し、
    　前記第１制御部は、前記第２制御部から前記センサによって前記指の接触が検出されたことを表す通知信号を受信すると、前記センサで接触が検出される指を表すデータと、前記座標検出部によって検出される座標とに基づき、前記操作面に接触している指の種類と当該指が前記操作面に接触する座標とを求めるとともに、前記指を表すデータと、当該指が前記操作面に接触する座標と、前記表示部に表示される画像とに応じた触感を表す駆動信号を生成し、
    　前記第２制御部は、前記駆動信号を用いて、前記振動素子を駆動する、触感提供システム。
  2. 　前記第１制御部は、前記センサによって接触が検出される指が複数ある場合に、前記操作面の特定の基準座標と、前記センサで接触が検出される指を表すデータと、前記座標検出部によって検出される前記複数の座標との位置関係に基づいて、前記操作面に接触している指の種類と当該指が前記操作面に接触する座標とを求める、請求項１記載の触感提供システム。
  3. 　前記基準座標は、平面視で前記表示部の左端側又は右端側に位置し、
    　前記第１制御部は、前記基準座標と、前記センサで接触が検出される指を表すデータと、前記座標検出部によって検出される前記複数の座標との間の距離に基づいて、前記操作面に接触している指の種類を特定する、請求項２記載の触感提供システム。
  4. 　前記第１制御部は、前記基準座標と、前記座標検出部によって検出される前記複数の座標との間の距離に基づいて、前記基準座標に最も近い指の種類を特定した後に、当該特定した指の座標と、前記座標検出部によって検出される残りの座標との間の距離に基づいて、前記特定した指の隣で前記センサによって接触が検出される指の種類を特定する、請求項３記載の触感提供システム。
  5. 　前記第１制御部は、前記基準座標と、前記座標検出部によって検出される前記複数の座標との間の距離に基づいて、前記基準座標に最も近い指の種類を特定した後に、当該特定した指の座標と、前記座標検出部によって検出される残りの座標とを用いて所定の曲線を求め、当該曲線に沿って前記特定した指の隣で前記センサによって接触が検出される指の種類を特定する、請求項３記載の触感提供システム。
  6. 　前記触感提供システムは、第２触感提供装置をさらに含み、前記第１触感提供装置及び前記第２触感提供装置は、それぞれ、利用者の右手と左手に装着されており、
    　前記第１触感提供装置の親指に対応する振動素子と、前記第２触感提供装置の親指に対応する振動素子とは、平面視でのサイズが異なり、
    　前記第１制御部は、前記座標検出部によって検出される面積を表すデータに基づき、前記第１触感提供装置の親指による操作入力と、前記第２触感提供装置の親指による操作入力とを判別する、請求項１乃至５のいずれか一項記載の触感提供システム。
  7. 　表示部と、前記表示部の表示面側に設けられ、操作面を有するトップパネルと、前記操作面への操作入力の位置の座標を検出する座標検出部とを含む電子機器の前記操作面に操作入力を行う指に装着され、前記操作面に触れる指先に触感を提供する触感提供装置であって、
    　複数の指に装着される装着部と、
    　前記装着部が装着される複数の指の腹に対応する複数の部分に、それぞれ配設される複数の振動素子と、
    　前記複数の指のそれぞれの前記操作面への接触を検出するセンサと、
    　前記センサで接触が検出される指を表すデータと、前記座標検出部によって検出される座標とに基づいて前記電子機器で求められる、前記操作面に接触している指の種類を表すデータ、及び、当該指が前記操作面に接触する座標と、前記表示部に表示される画像とに応じた触感を表す駆動信号を用いて、前記振動素子を駆動する、制御部と
    　を含む、触感提供装置。
PCT/JP2014/082238 2014-12-05 2014-12-05 触感提供システム、及び、触感提供装置 WO2016088246A1 (ja)

Priority Applications (3)

Application Number Priority Date Filing Date Title
JP2016562165A JP6341294B2 (ja) 2014-12-05 2014-12-05 触感提供システム、及び、触感提供装置
PCT/JP2014/082238 WO2016088246A1 (ja) 2014-12-05 2014-12-05 触感提供システム、及び、触感提供装置
US15/609,831 US10488928B2 (en) 2014-12-05 2017-05-31 Tactile sensation providing system and tactile sensation providing apparatus

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/082238 WO2016088246A1 (ja) 2014-12-05 2014-12-05 触感提供システム、及び、触感提供装置

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/609,831 Continuation US10488928B2 (en) 2014-12-05 2017-05-31 Tactile sensation providing system and tactile sensation providing apparatus

Publications (1)

Publication Number Publication Date
WO2016088246A1 true WO2016088246A1 (ja) 2016-06-09

Family

ID=56091218

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/082238 WO2016088246A1 (ja) 2014-12-05 2014-12-05 触感提供システム、及び、触感提供装置

Country Status (3)

Country Link
US (1) US10488928B2 (ja)
JP (1) JP6341294B2 (ja)
WO (1) WO2016088246A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112603275A (zh) * 2020-12-28 2021-04-06 中科彭州智慧产业创新中心有限公司 基于超声波传感器的双手寸口脉搏波检测设备及方法

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3245648B1 (en) * 2015-01-14 2019-05-22 Taction Enterprises Inc. Arrangement for producing musical data
WO2018008217A1 (ja) * 2016-07-07 2018-01-11 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
KR102591807B1 (ko) * 2016-11-21 2023-10-23 한국전자통신연구원 촉감자극을 생성하는 방법 및 장치
US10255894B1 (en) * 2016-12-16 2019-04-09 Mark J. BONNER Wearable electronic musical instrument
US10573285B1 (en) * 2017-01-30 2020-02-25 Mark J. BONNER Portable electronic musical system
US10845876B2 (en) 2017-09-27 2020-11-24 Contact Control Interfaces, LLC Hand interface device utilizing haptic force gradient generation via the alignment of fingertip haptic units
KR102414497B1 (ko) * 2017-09-29 2022-06-29 애플 인크. Imu 기반 장갑
US10583359B2 (en) * 2017-12-28 2020-03-10 Immersion Corporation Systems and methods for providing haptic effects related to touching and grasping a virtual object
US10914567B2 (en) 2018-02-23 2021-02-09 Apple Inc. Magnetic sensor based proximity sensing
JP2021116491A (ja) * 2020-01-27 2021-08-10 富士フイルムビジネスイノベーション株式会社 触覚提示装置
USD893485S1 (en) * 2020-03-22 2020-08-18 Elliott Bohler Wearable interface

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250750A (ja) * 2009-04-20 2010-11-04 Sharp Corp 入力器具、その制御方法、その制御プログラムおよびコンピュータ読み取り可能な記録媒体、ならびに、タッチパネル入力システム
WO2010130632A2 (en) * 2009-05-15 2010-11-18 Alcatel Lucent Glove and touchscreen used to read information by touch
WO2014061206A1 (ja) * 2012-10-15 2014-04-24 株式会社デンソー フォースフィードバック装置およびユーザインターフェースシステム

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4414537A (en) * 1981-09-15 1983-11-08 Bell Telephone Laboratories, Incorporated Digital data entry glove interface device
US5119709A (en) * 1989-04-14 1992-06-09 Yamaha Corporation Initial touch responsive musical tone control device
JP2500544B2 (ja) * 1991-05-30 1996-05-29 ヤマハ株式会社 楽音制御装置
US5571020A (en) * 1991-10-03 1996-11-05 Troudet; Farideh Education device for assisting in the learning of keyboarding
JP2698320B2 (ja) * 1993-08-31 1998-01-19 日本電信電話株式会社 常装着型入力システム、常装着型意図伝達システム、常装着型音楽用キーボードシステム及び常装着型点字入出力システム
AU1328597A (en) * 1995-11-30 1997-06-19 Virtual Technologies, Inc. Tactile feedback man-machine interface device
US7012593B2 (en) * 2001-06-15 2006-03-14 Samsung Electronics Co., Ltd. Glove-type data input device and sensing method thereof
GB0230360D0 (en) * 2002-12-27 2003-02-05 Koninkl Philips Electronics Nv Object identifying method and apparatus
US6734349B1 (en) * 2003-03-21 2004-05-11 Conrad Adams Fingertip musical tap assembly
US7042438B2 (en) * 2003-09-06 2006-05-09 Mcrae Michael William Hand manipulated data apparatus for computers and video games
US20130218456A1 (en) * 2006-02-16 2013-08-22 John S. Zelek Wearable tactile navigation system
US20080120029A1 (en) * 2006-02-16 2008-05-22 Zelek John S Wearable tactile navigation system
US7381884B1 (en) * 2006-03-03 2008-06-03 Yourik Atakhanian Sound generating hand wear
US7842879B1 (en) * 2006-06-09 2010-11-30 Paul Gregory Carter Touch sensitive impact controlled electronic signal transfer device
CN101109881A (zh) * 2007-07-06 2008-01-23 昆山龙腾光电有限公司 一种液晶显示面板及其制造方法
US20110210931A1 (en) * 2007-08-19 2011-09-01 Ringbow Ltd. Finger-worn device and interaction methods and communication methods
WO2009024971A2 (en) * 2007-08-19 2009-02-26 Saar Shai Finger-worn devices and related methods of use
CN101168098B (zh) * 2007-11-19 2011-02-02 煜日升电子(深圳)有限公司 指琴
JP5172485B2 (ja) 2008-06-10 2013-03-27 シャープ株式会社 入力装置及び入力装置の制御方法
JP2012503244A (ja) 2008-09-20 2012-02-02 リングボー，エルティーディー． 指に装着される装置および相互作用方法および通信方法
US20100134327A1 (en) * 2008-11-28 2010-06-03 Dinh Vincent Vinh Wireless haptic glove for language and information transference
US8093997B2 (en) * 2009-03-23 2012-01-10 Isaac Olney White System and apparatus for silent pulsating communications
JP2011048669A (ja) * 2009-08-27 2011-03-10 Kyocera Corp 入力装置
US8362350B2 (en) * 2009-12-07 2013-01-29 Neven Kockovic Wearable trigger electronic percussion music system
WO2011070554A2 (en) * 2009-12-13 2011-06-16 Ringbow Ltd. Finger-worn input devices and methods of use
TW201132388A (en) * 2010-03-23 2011-10-01 Hon Hai Prec Ind Co Ltd Game glove
US20120327006A1 (en) * 2010-05-21 2012-12-27 Disney Enterprises, Inc. Using tactile feedback to provide spatial awareness
US20110285666A1 (en) * 2010-05-21 2011-11-24 Ivan Poupyrev Electrovibration for touch surfaces
JP2012128676A (ja) * 2010-12-15 2012-07-05 Fujitsu Component Ltd タッチパネル
US9104271B1 (en) * 2011-06-03 2015-08-11 Richard Adams Gloved human-machine interface
EP2821892A4 (en) * 2012-03-02 2015-10-28 Nec Corp DISPLAY DEVICE AND METHOD OF OPERATION
US9122330B2 (en) * 2012-11-19 2015-09-01 Disney Enterprises, Inc. Controlling a user's tactile perception in a dynamic physical environment
US9690378B2 (en) * 2013-01-30 2017-06-27 Olympus Corporation Operation apparatus
US10071015B2 (en) * 2013-04-18 2018-09-11 Uwm Research Foundation, Inc. Wearable device for improving tactile sensitivity
US9390630B2 (en) * 2013-05-03 2016-07-12 John James Daniels Accelerated learning, entertainment and cognitive therapy using augmented reality comprising combined haptic, auditory, and visual stimulation
US20150003204A1 (en) * 2013-06-27 2015-01-01 Elwha Llc Tactile feedback in a two or three dimensional airspace
US9804675B2 (en) * 2013-06-27 2017-10-31 Elwha Llc Tactile feedback generated by non-linear interaction of surface acoustic waves
GB2516634A (en) * 2013-07-26 2015-02-04 Sony Corp A Method, Device and Software
US9600072B2 (en) * 2013-08-27 2017-03-21 Prakash C R J Naidu Wearable tactile display
US9189932B2 (en) * 2013-11-06 2015-11-17 Andrew Kerdemelidis Haptic notification apparatus and method

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010250750A (ja) * 2009-04-20 2010-11-04 Sharp Corp 入力器具、その制御方法、その制御プログラムおよびコンピュータ読み取り可能な記録媒体、ならびに、タッチパネル入力システム
WO2010130632A2 (en) * 2009-05-15 2010-11-18 Alcatel Lucent Glove and touchscreen used to read information by touch
WO2014061206A1 (ja) * 2012-10-15 2014-04-24 株式会社デンソー フォースフィードバック装置およびユーザインターフェースシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112603275A (zh) * 2020-12-28 2021-04-06 中科彭州智慧产业创新中心有限公司 基于超声波传感器的双手寸口脉搏波检测设备及方法

Also Published As

Publication number Publication date
US20170262060A1 (en) 2017-09-14
US10488928B2 (en) 2019-11-26
JP6341294B2 (ja) 2018-06-13
JPWO2016088246A1 (ja) 2017-09-07

Similar Documents

Publication Publication Date Title
JP6341294B2 (ja) 触感提供システム、及び、触感提供装置
US11360558B2 (en) Computer systems with finger devices
US10579151B2 (en) Controller for finger gesture recognition and method for recognizing finger gesture
TWI492146B (zh) 以組合資料爲基礎之虛擬手
US20120327006A1 (en) Using tactile feedback to provide spatial awareness
KR20200099574A (ko) 공중 햅틱 시스템들과의 인간 상호작용들
JP2016520915A (ja) 触覚セルのアレイを用いた有形のユーザ・インターフェース・インタラクション及びジェスチャのシミュレーション
US20080122797A1 (en) Apparatus, method, and medium for outputting tactile feedback on display device
KR102047689B1 (ko) 택타일 사용자 인터페이스의 미니-맵을 제공하는 터치 센서티브 디바이스 및 제어 방법
CN104714687A (zh) 用于触觉显示参数的光学传输的系统和方法
CN108475123A (zh) 电子装置及其控制方法
Horvath et al. FingerSight: Fingertip haptic sensing of the visual environment
US10509489B2 (en) Systems and related methods for facilitating pen input in a virtual reality environment
JP2014222492A (ja) 描画装置及び描画システム
US10540023B2 (en) User interface devices for virtual reality system
US20190094972A1 (en) Information processing apparatus, information processing method, and non-transitory computer-readable medium
JPWO2016163000A1 (ja) 駆動制御装置、電子機器、駆動制御プログラム、及び駆動制御方法
KR101360980B1 (ko) 필기구형 전자 입력장치
Yau et al. How subtle can it get? a trimodal study of ring-sized interfaces for one-handed drone control
Kim et al. Assisting people with visual impairments in aiming at a target on a large wall-mounted display
US20160231819A1 (en) Wearable system input device
EP3021202B1 (en) Method of modeling haptic signal from haptic object, display apparatus, and driving method thereof
WO2015121972A1 (ja) 駆動制御装置、電子機器、システム、及び駆動制御方法
WO2022014445A1 (ja) 検出装置及び検出方法
KR20180016780A (ko) 사용자 접근에 따라 터치영역을 활성화하는 전자칠판, 이를 이용한 전자칠판 터치영역 활성화 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14907507

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016562165

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14907507

Country of ref document: EP

Kind code of ref document: A1