WO2016013068A1 - 触感データ処理装置、触感提供システム、及び触感データ処理方法 - Google Patents

触感データ処理装置、触感提供システム、及び触感データ処理方法 Download PDF

Info

Publication number
WO2016013068A1
WO2016013068A1 PCT/JP2014/069438 JP2014069438W WO2016013068A1 WO 2016013068 A1 WO2016013068 A1 WO 2016013068A1 JP 2014069438 W JP2014069438 W JP 2014069438W WO 2016013068 A1 WO2016013068 A1 WO 2016013068A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
tactile sensation
portable electronic
electronic terminal
amplitude
Prior art date
Application number
PCT/JP2014/069438
Other languages
English (en)
French (fr)
Inventor
遠藤　康浩
薫 中条
谷中　聖志
宮本　晶規
裕一 鎌田
Original Assignee
富士通株式会社
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 富士通株式会社 filed Critical 富士通株式会社
Priority to JP2016535573A priority Critical patent/JPWO2016013068A1/ja
Priority to CN201480080391.0A priority patent/CN106471437A/zh
Priority to KR1020177000158A priority patent/KR20170015467A/ko
Priority to EP14898014.7A priority patent/EP3173904A4/en
Priority to PCT/JP2014/069438 priority patent/WO2016013068A1/ja
Publication of WO2016013068A1 publication Critical patent/WO2016013068A1/ja
Priority to US15/380,448 priority patent/US20170097682A1/en

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/016—Input arrangements with force or tactile feedback as computer generated output to the user
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0484—Interaction techniques based on graphical user interfaces [GUI] for the control of specific functions or operations, e.g. selecting or manipulating an object, an image or a displayed text element, setting a parameter value or selecting a range
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/048—Interaction techniques based on graphical user interfaces [GUI]
    • G06F3/0487—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser
    • G06F3/0488—Interaction techniques based on graphical user interfaces [GUI] using specific features provided by the input device, e.g. functions controlled by the rotation of a mouse with dual sensing arrangements, or of the nature of the input device, e.g. tap gestures based on pressure sensed by a digitiser using a touch-screen or digitiser, e.g. input of commands through traced gestures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/01—Indexing scheme relating to G06F3/01
    • G06F2203/014—Force feedback applied to GUI
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F2203/00—Indexing scheme relating to G06F3/00 - G06F3/048
    • G06F2203/038—Indexing scheme relating to G06F3/038
    • G06F2203/0383—Remote input, i.e. interface arrangements in which the signals generated by a pointing device are transmitted to a PC at a remote location, e.g. to a PC in a LAN
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F3/00—Input arrangements for transferring data to be processed into a form capable of being handled by the computer; Output arrangements for transferring data from processing unit to output unit, e.g. interface arrangements
    • G06F3/01—Input arrangements or combined input and output arrangements for interaction between user and computer
    • G06F3/03—Arrangements for converting the position or the displacement of a member into a coded form
    • G06F3/041—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means
    • G06F3/044—Digitisers, e.g. for touch screens or touch pads, characterised by the transducing means by capacitive means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Information and communication technology [ICT] specially adapted for implementation of business processes of specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Definitions

  • the present invention relates to a tactile sensation data processing device, a tactile sensation providing system, and a tactile sensation data processing method.
  • display means Conventionally, display means, contact detection means for detecting a contact state of a user's operation part to the display means, and tactile vibration that gives a predetermined tactile sensation to the operation part in contact with the display means.
  • tactile sensation providing device including tactile sensation vibration generating means to be generated (for example, see Patent Document 1).
  • the tactile sensation providing apparatus further includes vibration waveform data generation means for generating waveform data for generating the tactile vibration based on the detection result by the contact detection means.
  • the tactile sensation providing apparatus further performs a modulation process on the waveform data generated by the vibration waveform data generation unit using an ultrasonic wave as a carrier wave, and converts the ultrasonic modulation signal generated by the modulation process into the tactile sensation.
  • Ultrasonic modulation means for outputting to the tactile sensation vibration generating means as a signal for generating vibration.
  • the ultrasonic modulation means performs either frequency modulation or phase modulation.
  • the ultrasonic modulation means further performs amplitude modulation.
  • the ultrasonic frequency of the conventional tactile sensation presenting device may be a frequency (approximately 20 kHz or higher) higher than the audible band, and the ultrasonic frequency itself is not particularly devised, so that a good tactile sensation may not be provided. There is.
  • an object is to provide a tactile sensation data processing apparatus, a tactile sensation providing system, and a tactile sensation data processing method that can provide a good tactile sensation.
  • a tactile sensation data processing apparatus is a tactile sensation data processing apparatus that transmits or receives data via a network between a first portable electronic terminal and a second portable electronic terminal.
  • a data receiving unit that receives first data related to a target tangible object from a first portable electronic terminal, and when the data receiving unit receives the first data from the first portable electronic terminal, the data corresponding to the first data
  • a data transmission unit that transmits tactile data representing the tactile sensation of the target tangible object to the second portable electronic terminal, and the tactile sensation data includes an image of the target tangible object, a position in the image, and The tactile sensation data is associated with the amplitude corresponding to the tactile sensation of the target tangible object, and the tactile sensation data is connected to the touch panel of the second portable electronic terminal or the second portable electronic terminal.
  • the amplitude of the drive signal that drives the vibration element that generates the natural vibration of the ultrasonic band on the operation surface that performs the operation input to the touch panel of the tactile sensation providing apparatus is selected. This data is used when adjusting based on the amplitude associated with the position of the tactile sensation data.
  • a tactile sensation data processing apparatus a tactile sensation providing system, and a tactile sensation data processing method that can provide a good tactile sensation can be provided.
  • FIG. 3 is a cross-sectional view taken along the line AA of the smartphone terminal 100 shown in FIG. 2. It is a figure which shows the wave front formed in parallel with the short side of the top panel 120 among the standing waves produced in the top panel 120 by the natural vibration of an ultrasonic band. It is a figure explaining a mode that the dynamic friction force applied to the fingertip which performs operation input changes with the natural vibration of the ultrasonic band produced in the top panel 120 of the smart phone terminal. It is a figure which shows the structure relevant to the communication function of the smart phone terminal of embodiment.
  • FIG. 4 is a diagram showing data stored in a memory 250.
  • FIG. It is a figure which shows the drive pattern of the vibration element 140 in case the user inputs operation into the smart phone terminal 100 of embodiment.
  • FIG. shows the flowchart which shows the process which the drive control part 240 of the smart phone terminal 100 of embodiment performs.
  • FIG. It is a figure explaining the procedure at the time of tactile sense data being produced in the server 700 based on the image data transmitted to the server 700 from the smart phone terminal 101, and transmitting to the smart phone terminals 101 and 102.
  • FIG. It is a figure which shows the detail of the procedure shown in FIG. 13 more concretely. It is a figure which shows a mode that the user A transmits the tactile sense data 900 to the smart phone terminal 102 of the user B by near field communication with the smart phone terminal 101.
  • FIG. It is a figure which shows 100A of smart phone terminals of the 1st modification of embodiment. It is a figure which shows the smart phone terminal 100B of the 2nd modification of embodiment. It is a figure which shows 100C of smart phone terminals of the 3rd modification of embodiment.
  • FIG. 1 It is a top view which shows the operation state of smart phone terminal 100D of the 4th modification of embodiment. It is a figure which shows the state which connected 300 A of tactile sensation providing apparatuses via the near field communication apparatus 800 to the smart phone terminal 102. It is a top view which shows the operation state of the tactile sense provision apparatus 300B. It is a top view which shows the tactile sensation providing apparatus 300B. It is a figure which shows the AA arrow cross section of the tactile sensation providing apparatus 300B shown in FIG.
  • FIG. 1 is a diagram illustrating an example of a usage mode of the smartphone terminal 100 according to the embodiment.
  • the smartphone terminal 100 includes a top panel 120, a touch panel 150, and a display panel 160, and a dolphin image 510 ⁇ / b> A is displayed on the display panel 160.
  • the smartphone terminal 100 is By vibrating, it provides a tactile sensation as if the user touched the surface of the dolphin.
  • a dolphin is an example of a target tangible object.
  • the smartphone terminal 100 provides a pseudo-tactile sensation of touching the real object by touching the top panel 120 without touching the real object.
  • FIG. 2 is a plan view showing the smartphone terminal 100 according to the embodiment
  • FIG. 3 is a view showing a cross section taken along the line AA of the smartphone terminal 100 shown in FIG. 2 and 3, an XYZ coordinate system that is an orthogonal coordinate system is defined as shown.
  • the smartphone terminal 100 includes a housing 110, a top panel 120, a double-sided tape 130, a vibration element 140, a touch panel 150, a display panel 160, and a substrate 170.
  • the housing 110 is made of, for example, resin, and as shown in FIG. 3, the substrate 170, the display panel 160, and the touch panel 150 are disposed in the recess 111, and the top panel 120 is bonded by the double-sided tape 130. .
  • the top panel 120 is a thin flat plate member that is rectangular in plan view, and is made of transparent glass or reinforced plastic such as polycarbonate.
  • the surface of the top panel 120 (the surface on the Z axis positive direction side) is an example of an operation surface on which the user of the smartphone terminal 100 performs an operation input.
  • the vibration element 140 is bonded to the surface on the negative side of the Z axis, and four sides in a plan view are bonded to the housing 110 with a double-sided tape 130.
  • the double-sided tape 130 only needs to be able to bond the four sides of the top panel 120 to the housing 110, and does not have to be a rectangular ring as shown in FIG.
  • the touch panel 150 is disposed on the Z-axis negative direction side of the top panel 120.
  • the top panel 120 is provided to protect the surface of the touch panel 150. Further, another panel or a protective film may be provided on the surface of the top panel 120.
  • the top panel 120 vibrates when the vibration element 140 is driven in a state where the vibration element 140 is bonded to the surface in the negative Z-axis direction.
  • the top panel 120 is vibrated at the natural vibration frequency of the top panel 120 to generate a standing wave in the top panel 120.
  • the vibration element 140 since the vibration element 140 is bonded to the top panel 120, it is actually preferable to determine the natural vibration frequency in consideration of the weight of the vibration element 140 and the like.
  • the vibration element 140 is bonded along the short side extending in the X axis direction on the Y axis positive direction side on the Z axis negative direction side surface of the top panel 120.
  • the vibration element 140 may be an element that can generate vibrations in an ultrasonic band.
  • an element including a piezoelectric element such as a piezoelectric element can be used.
  • the vibration element 140 is driven by a drive signal output from a drive control unit described later.
  • the amplitude (intensity) and frequency of vibration generated by the vibration element 140 are set by the drive signal. Further, on / off of the vibration element 140 is controlled by a drive signal.
  • an ultrasonic band means a frequency band about 20 kHz or more, for example.
  • the frequency at which the vibration element 140 vibrates is equal to the vibration frequency of the top panel 120. Therefore, the vibration element 140 is driven by a drive signal so as to vibrate at the natural frequency of the top panel 120. Driven.
  • the touch panel 150 is disposed on the display panel 160 (Z-axis positive direction side) and below the top panel 120 (Z-axis negative direction side).
  • the touch panel 150 is an example of a coordinate detection unit that detects a position where the user of the smartphone terminal 100 touches the top panel 120 (hereinafter referred to as an operation input position).
  • GUI operation unit On the display panel 160 below the touch panel 150, various buttons or the like (hereinafter referred to as GUI operation unit) by GUI (GraphicGraphUser Interface) are displayed. For this reason, the user of the smart phone terminal 100 usually touches the top panel 120 with a fingertip in order to operate the GUI operation unit.
  • GUI GraphicGraphUser Interface
  • the touch panel 150 may be a coordinate detection unit that can detect the position of an operation input to the user's top panel 120, and may be, for example, a capacitance type or resistance film type coordinate detection unit.
  • a mode in which the touch panel 150 is a capacitive coordinate detection unit will be described. Even if there is a gap between the touch panel 150 and the top panel 120, the capacitive touch panel 150 can detect an operation input to the top panel 120.
  • the top panel 120 may be integrated with the touch panel 150.
  • the surface of the touch panel 150 becomes the surface of the top panel 120 shown in FIGS. 2 and 3, and an operation surface is constructed.
  • the structure which excluded the top panel 120 shown in FIG.2 and FIG.3 may be sufficient.
  • the surface of the touch panel 150 constructs the operation surface.
  • the member having the operation surface may be vibrated by the natural vibration of the member.
  • the touch panel 150 when the touch panel 150 is a capacitance type, the touch panel 150 may be disposed on the top panel 120. Also in this case, the surface of the touch panel 150 constructs the operation surface. Moreover, when the touch panel 150 is a capacitance type, the structure which excluded the top panel 120 shown in FIG.2 and FIG.3 may be sufficient. Also in this case, the surface of the touch panel 150 constructs the operation surface. In this case, the member having the operation surface may be vibrated by the natural vibration of the member.
  • the display panel 160 may be a display unit that can display an image, such as a liquid crystal display panel or an organic EL (Electroluminescence) panel.
  • the display panel 160 is installed on the substrate 170 (Z-axis positive direction side) by a holder or the like not shown in the recess 111 of the housing 110.
  • the display panel 160 is driven and controlled by a driver IC (Integrated Circuit), which will be described later, and displays a GUI operation unit, images, characters, symbols, graphics, and the like according to the operation status of the smartphone terminal 100.
  • a driver IC Integrated Circuit
  • the substrate 170 is disposed inside the recess 111 of the housing 110.
  • a display panel 160 and a touch panel 150 are disposed on the substrate 170.
  • the display panel 160 and the touch panel 150 are fixed to the substrate 170 and the housing 110 by a holder or the like (not shown).
  • the drive control unit mounted on the substrate 170 drives the vibration element 140, and the top panel 120 is vibrated at the frequency of the ultrasonic band.
  • the frequency of this ultrasonic band is a resonance frequency of a resonance system including the top panel 120 and the vibration element 140 and causes the top panel 120 to generate a standing wave.
  • the smartphone terminal 100 provides a tactile sensation to the user through the top panel 120 by generating a standing wave in the ultrasonic band.
  • FIG. 4 is a diagram showing a wave front formed in parallel to the short side of the top panel 120 among standing waves generated in the top panel 120 due to the natural vibration of the ultrasonic band
  • FIG. 4A is a side view.
  • (B) is a perspective view. 4A and 4B, XYZ coordinates similar to those in FIGS. 2 and 3 are defined.
  • the amplitude of the standing wave is exaggerated for ease of understanding.
  • the vibration element 140 is omitted.
  • 4A and 4B are waveforms when the number of periods k is 10, as an example.
  • the period number k is 10.
  • the natural frequency f is 33.5 kHz.
  • a drive signal having a frequency of 33.5 kHz may be used.
  • the top panel 120 is a flat plate member.
  • the vibration element 140 see FIGS. 2 and 3
  • the top panel 120 is changed to (A) and (B) in FIG. By bending as shown, a standing wave is generated on the surface.
  • the two vibration elements 140 may be used.
  • the other vibration element 140 is bonded to the surface of the top panel 120 on the Z-axis negative direction side along the short side extending in the X-axis direction on the Y-axis negative direction side. That's fine.
  • the two vibration elements 140 may be arranged so as to be axially symmetric with respect to a center line parallel to the two short sides of the top panel 120 as a symmetry axis.
  • the two vibration elements 140 when the two vibration elements 140 are driven, they may be driven in the same phase when the period number k is an integer, and may be driven in the opposite phase when the period number k is an odd number.
  • FIG. 5 is a diagram illustrating a state in which the dynamic friction force applied to the fingertip that performs the operation input is changed by the natural vibration of the ultrasonic band generated in the top panel 120 of the smartphone terminal 100.
  • the user performs an operation input to move the finger along the arrow from the back side of the top panel 120 to the near side while touching the top panel 120 with the fingertip.
  • the vibration is turned on / off by turning on / off the vibration element 140 (see FIGS. 2 and 3).
  • the natural vibration of the ultrasonic band occurs in the entire top panel 120 as shown in FIG. 4, but in FIGS. 5A and 5B, the user's finger is on the front side from the back side of the top panel 120.
  • the operation pattern which switches on / off of a vibration during moving to is shown.
  • the vibration is off when the user's finger is on the back side of the top panel 120, and the vibration is on in the middle of moving the finger to the near side.
  • the vibration is turned on when the user's finger is on the back side of the top panel 120, and the vibration is turned off in the middle of moving the finger to the near side. Yes.
  • the dynamic frictional force applied to the fingertip is large in the range indicated in gray on the back side of the top panel 120, and the dynamic frictional force applied to the fingertip is small in the range indicated in white on the near side of the top panel 120.
  • the user who performs an operation input to the top panel 120 senses a decrease in the dynamic friction force applied to the fingertip and perceives the ease of slipping of the fingertip when the vibration is turned on. It will be. At this time, the user feels that a concave portion exists on the surface of the top panel 120 when the dynamic friction force decreases due to the surface of the top panel 120 becoming smoother.
  • the dynamic friction force applied to the fingertip is small in the range shown in white on the front side of the top panel 120, and the dynamic friction force applied to the fingertip is large in the range shown in gray on the front side of the top panel 120.
  • the user who performs an operation input to the top panel 120 senses an increase in the dynamic friction force applied to the fingertip when the vibration is turned off, You will perceive the feeling of being caught. And when a dynamic friction force becomes high because it becomes difficult to slip a fingertip, it will feel like a convex part exists in the surface of the top panel 120.
  • FIG. 6 is a diagram illustrating a configuration related to the communication function of the smartphone terminal 100 according to the embodiment.
  • the smart phone terminal 100 includes antenna devices 500 and 501, a DUP (Duplexer) 510, an LNA (Low Noise Amplifier) / PA (Power Amplifier) 520, a modulator / demodulator 530, and a CPU (Central Processing Unit).
  • a chip 540 is included.
  • these components are formed on the surface of the substrate 170 on the Z axis negative direction side.
  • the smartphone terminal 100 includes other components, but FIG. 6 shows the components related to the communication function of the smartphone terminal 100 in an extracted manner.
  • the antenna device 500 includes a plurality of so-called monopole antenna elements. Each of the plurality of antenna elements is designed for a plurality of frequency bands.
  • a region where the antenna device 500 is formed is indicated by a broken line.
  • the antenna device 501 is an antenna device used for near field communication such as WiFi and Bluetooth (registered trademark).
  • the antenna device 501 is installed at a location away from the antenna device 500 so that the correlation with the antenna device 500 becomes small.
  • the DUP 510, LNA / PA 520, modulator / demodulator 530, and CPU chip 540 are connected via a wiring 565.
  • the DUP 510 is connected to the feeding point of the antenna device 500 via the wiring 560, and switches between transmission and reception. Since the DUP 510 has a function as a filter, when the antenna device 500 receives signals of a plurality of frequencies, the signals of the respective frequencies can be internally separated.
  • the LNA / PA 520 amplifies the power of the transmission wave and the reception wave.
  • Modulator / demodulator 530 modulates the transmission wave and demodulates the reception wave.
  • the CPU chip 540 has a function as a communication processor that performs communication processing of the smartphone terminal 100 and a function as an application processor that executes an application program.
  • the CPU chip 540 is connected to the antenna device 501 via the wiring 566.
  • the CPU chip 540 has an internal memory that stores data to be transmitted or received.
  • the antenna devices 500 and 501, and the wirings 560, 565, and 566 are formed by patterning the copper foil on the back surface of the substrate 170, for example.
  • a ground plane 170A is formed on the inner layer of the substrate 170.
  • the ground plane 170A may be a reinforcing metal holder disposed between the display panel 160 and the substrate 170.
  • FIG. 7 is a diagram illustrating a configuration of the tactile sensation providing apparatus 300 included in the smartphone terminal 100 according to the embodiment.
  • the smartphone terminal 100 includes a vibration element 140, an amplifier 141, a touch panel 150, a driver IC (Integrated Circuit) 151, a display panel 160, a driver IC 161, a control unit 200, a sine wave generator 310, and an amplitude modulator 320.
  • a vibration element 140 an amplifier 141, a touch panel 150, a driver IC (Integrated Circuit) 151, a display panel 160, a driver IC 161, a control unit 200, a sine wave generator 310, and an amplitude modulator 320.
  • the amplifier 141, the touch panel 150, the driver IC (Integrated Circuit) 151, the display panel 160, the driver IC 161, the control unit 200, the sine wave generator 310, and the amplitude modulator 320 are arranged inside the housing 110 (see FIG. 3). Established. For example, it is disposed on the Z-axis negative direction side of the substrate 170 or the like.
  • the control unit 200 includes an application processor 220, a drive control unit 240, and a memory 250.
  • the control unit 200 is included in the CPU chip 540 shown in FIG.
  • the drive control unit 240 is provided as another IC chip or processor outside the control unit 200. It may be provided. In this case, among the data stored in the memory 250, data necessary for drive control of the drive control unit 240 may be stored in a memory different from the memory 250.
  • the casing 110, the top panel 120, the double-sided tape 130, and the substrate 170 are omitted.
  • the amplifier 141, the driver IC 151, the driver IC 161, the drive control unit 240, the memory 250, the sine wave generator 310, and the amplitude modulator 320 will be described.
  • the amplifier 141 is disposed between the amplitude modulator 320 and the vibration element 140 and drives the vibration element 140 by amplifying the drive signal output from the amplitude modulator 320.
  • the driver IC 151 is connected to the touch panel 150, detects position data indicating a position where an operation input to the touch panel 150 has been performed, and outputs the position data to the control unit 200. As a result, the position data is input to the application processor 220 and the drive control unit 240.
  • the driver IC 161 is connected to the display panel 160, inputs drawing data output from the control unit 200 to the display panel 160, and causes the display panel 160 to display an image based on the drawing data. As a result, a GUI operation unit or an image based on the drawing data is displayed on the display panel 160.
  • the application processor 220 outputs drawing data representing a GUI operation unit, images, characters, symbols, graphics, and the like necessary for the user of the smartphone terminal 100 to operate to the driver IC 161.
  • the application processor 220 when the smart phone terminal 100 includes an application program that generates tactile sensation data, the application processor 220 generates tactile sensation data based on image data or the like.
  • the application processor 220 is an example of a tactile sensation data generation unit.
  • the communication processor 230 is necessary for performing communication by the antenna device 500 (see FIG. 6) and short-range wireless communication such as WiFi, Bluetooth (registered trademark), or non-contact short-range communication using the antenna device 501. Execute the process.
  • the communication processor 230 functions as a transmission unit or a reception unit. In FIG. 7, the antenna device 500 and the antenna device 501 necessary for short-range wireless communication are omitted.
  • the drive control unit 240 outputs amplitude data representing the amplitude to the amplitude modulator 320.
  • the amplitude data is data representing an amplitude value for adjusting the strength of the drive signal used for driving the vibration element 140.
  • Amplitude data representing the amplitude may be stored in the memory 250.
  • the smartphone terminal 100 vibrates the top panel 120 in order to change the dynamic friction force applied to the fingertip when the user's fingertip moves along the surface of the top panel 120.
  • Examples of the operation input for moving the fingertip that touches the surface of the top panel 120 include so-called flick operation, swipe operation, and drag operation.
  • the flick operation is an operation of moving the fingertip along the surface of the top panel 120 for a relatively short distance so as to be repelled (snapped).
  • the swipe operation is an operation of moving a fingertip along a relatively long distance so as to sweep along the surface of the top panel 120.
  • the drag operation is an operation of moving a fingertip along the surface of the top panel 120 while selecting a button or the like, for example, when sliding a button or the like displayed on the display panel 510.
  • the operation input for moving the fingertip touching the surface of the top panel 120 is selectively used depending on the type of the GUI operation unit displayed on the display panel 160. .
  • the drive control unit 240 may set an amplitude value according to the temporal change degree of the position data.
  • the drive control unit 240 may calculate the moving speed of the user's fingertip based on the temporal change degree of the position data input from the driver IC 151.
  • the smartphone terminal 100 reduces the amplitude value as the moving speed increases, and makes the moving speed higher in order to make the tactile sensation the user senses from the fingertip regardless of the moving speed of the fingertip.
  • the data representing the relationship between the amplitude data representing the amplitude value and the moving speed may be stored in the memory 250.
  • amplitude value A is used using following Formula (3). May be calculated.
  • the amplitude value A calculated by Equation (3) decreases as the moving speed increases, and increases as the moving speed decreases.
  • A0 is the amplitude reference value
  • V is the moving speed of the fingertip
  • a is a predetermined constant.
  • the drive control unit 240 vibrates the vibration element 140 when the moving speed becomes equal to or higher than a predetermined threshold speed.
  • the amplitude value represented by the amplitude data output by the drive control unit 240 is zero when the moving speed is less than the predetermined threshold speed, and when the moving speed is equal to or higher than the predetermined threshold speed, the amplitude value is determined according to the moving speed. Set to the amplitude value. When the moving speed is equal to or higher than a predetermined threshold speed, the amplitude value is set smaller as the moving speed is higher, and the amplitude value is set larger as the moving speed is lower.
  • the memory 250 stores data associating coordinate data representing a GUI operation unit or the like on which operation input is performed with pattern data representing amplitude data.
  • the sine wave generator 310 generates a sine wave necessary for generating a drive signal for vibrating the top panel 120 at a natural frequency. For example, when the top panel 120 is vibrated at the natural frequency f of 33.5 kHz, the frequency of the sine wave is 33.5 kHz.
  • the sine wave generator 310 inputs an ultrasonic band sine wave signal to the amplitude modulator 320.
  • the amplitude modulator 320 modulates the amplitude of the sine wave signal input from the sine wave generator 310 using the amplitude data input from the drive control unit 240 to generate a drive signal. As a basic operation, the amplitude modulator 320 modulates the amplitude of the sine wave signal of the ultrasonic band input from the sine wave generator 310, and generates a drive signal without modulating the frequency and phase.
  • the drive signal output by the amplitude modulator 320 is an ultrasonic band sine wave signal obtained by modulating only the amplitude of the ultrasonic band sine wave signal input from the sine wave generator 310. Note that when the amplitude data is zero, the amplitude of the drive signal is zero. This is equivalent to the amplitude modulator 320 not outputting a drive signal.
  • the amplitude modulator 320 can also modulate the ultrasonic band sine wave signal input from the sine wave generator 310 using an audible band sine wave signal.
  • the drive signal output from the amplitude modulator 320 is obtained by superimposing the audible band drive signal on the ultrasonic band drive signal, and the amplitude is set by the amplitude modulator 320.
  • FIG. 8 is a diagram showing data stored in the memory 250.
  • ID IDentification
  • image data image data
  • coordinate data coordinate data
  • amplitude data amplitude data
  • ID is an identifier of tactile data.
  • FIG. 8A shows 001, 002, 003, 004... As examples of IDs.
  • the image data is data representing an image of a target tangible object such as a dolphin image 510A shown in FIG.
  • FIG. 8A shows image data of I001, I002, I003, I004,.
  • the coordinate data is data representing the coordinates of the image in the image data.
  • the coordinates may be assigned for each pixel, or may be assigned to each unit area with a certain number of pixels as one unit area.
  • FIG. 8A shows coordinate data of f1 to f4.
  • the amplitude data is data representing an amplitude value for adjusting the intensity of the drive signal used for driving the vibration element 140, and is assigned to the area represented by each coordinate data.
  • FIG. 8A shows amplitude data A1 (X, Y), A2 (X, Y), A3 (X, Y), and A4 (X, Y).
  • the amplitude value of the amplitude data assigned to the area represented by each coordinate data is measured by measuring the shape and unevenness of the actual surface of the target tangible object by, for example, 3D scanning, and the top panel 120 according to the measured value. What is necessary is just to set it as an amplitude value which can make a user's fingertip perceive the shape, unevenness
  • the data shown in (B) of FIG. 8 is data in which the amplification rate data representing the amplification rate of the amplitude value is associated with the moving speed.
  • the amplification factor when the moving speed V is 0 or more and less than b1 (0 ⁇ V ⁇ b1), the amplification factor is set to 0, and the moving speed V is b1 or more and less than b2 (b1 ⁇ When V ⁇ b2), the amplification factor is set to G1, and when the moving speed V is not less than b2 and less than b3 (b2 ⁇ V ⁇ b3), the amplification factor is set to G2.
  • the amplitude value is decreased using the amplification factor data shown in FIG.
  • the amplitude value can be increased using the amplification factor data.
  • the tactile sensation data generated in the user A's smartphone terminal or on the server based on the image held by the user A is transmitted to the user B's smartphone terminal.
  • the dimensions of the display panel for displaying image data, the dimensions of the touch panel, the coordinates on the display panel and the touch panel, and the natural frequency will be different.
  • the tactile sensation data may be generated according to the dimensions, coordinates, natural frequency, etc. of the smartphone terminal to be used.
  • FIG. 9 is a diagram illustrating a drive pattern of the vibration element 140 when a user performs an operation input on the smartphone terminal 100 according to the embodiment.
  • FIG. 9A shows a state in which the user's fingertip touches the top panel 120 of the smartphone terminal 100 and traces the image 510A displayed on the display panel 160.
  • the horizontal axis represents the position in the direction in which the user's fingertip traces the image 510A in FIG. 9A
  • the vertical axis represents the amplitude of the drive signal.
  • points A to D are shown in the horizontal axis direction.
  • FIG. 9B shows an example of a drive pattern when the user's fingertip traces the image 510A.
  • drive control unit 240 drives vibration element 140 based on the tactile data. Since the tactile sensation data includes coordinate data and amplitude data as shown in FIG. 8A, the drive control unit 240 outputs amplitude data corresponding to the position data input from the driver IC 151.
  • the amplitude suddenly increases from the point B, and after that, the amplitude decreases, and then the amplitude increases toward the point C.
  • the vibration element 140 is driven with a drive pattern that increases and further decreases in amplitude immediately before the point C.
  • the dynamic friction force applied to the fingertip rapidly decreases from the point B, and then the dynamic friction force increases as the amplitude decreases, and the amplitude increases toward the point C.
  • the tactile sensation is provided to the fingertip as the dynamic friction force decreases again as it increases, and the dynamic friction force increases as the amplitude decreases immediately before point C.
  • This tactile sensation is a reproduction of the tactile sensation of a fingertip slipping when a human touches the surface of a real dolphin.
  • Such a drive pattern represents a drive signal having a frequency of 35 kHz and changing the amplitude based on the amplitude data.
  • the vibration element 140 When the position of the operation input reaches the display area of the image 510A, the vibration element 140 is turned on, the coefficient of dynamic friction applied to the user's fingertip is reduced by the squeeze effect, and the fingertip is in a state in which the fingertip can easily move on the surface of the top panel 120. Become.
  • the drive control unit 240 turns off the vibration element 140.
  • the vibration element 140 may be turned off by setting the amplitude data to 0 by the drive control unit 240.
  • FIG. 10 is a flowchart illustrating processing executed by the drive control unit 240 of the smartphone terminal 100 according to the embodiment.
  • the drive control unit 240 first determines whether or not there is an operation input (step S1). The presence / absence of an operation input may be determined based on whether or not position data is input from the driver IC 151 (see FIG. 7).
  • the drive control unit 240 determines whether the position of the operation input is within the display area of the image 510A (step S2). This is because the driving state (ON / OFF) of the vibration element 140 differs depending on whether or not it is within the display area of the image 510A.
  • step S3 If the drive control unit 240 determines that it is within the display area of the image 510A (S2: YES), the flow proceeds to step S3.
  • the drive control unit 240 drives the vibration element 140 using the tactile sensation data (step S3).
  • the drive controller 240 extracts amplitude data corresponding to the position data input from the driver IC 151 from the tactile sensation data and outputs it. As a result, the vibration element 140 is driven based on the amplitude data.
  • the drive control unit 240 determines whether or not there is an operation input (step S4).
  • the presence / absence of an operation input may be determined based on whether or not position data is input from the driver IC 151 (see FIG. 7).
  • step S2 If the drive control unit 240 determines in step S2 that the position of the operation input is not within the display area of the image 510A (S2: NO), the drive control unit 240 advances the flow to step S4. In step S4, it is determined whether or not there is an operation input. If there is an operation input, the flow returns to step S2.
  • FIG. 11 is a diagram illustrating a procedure until tactile sensation data transmitted by the user A of the smartphone terminal 100 according to the embodiment is received by another user B.
  • User A's smartphone terminal 101 and user B's smartphone terminal 102 are both connected to the server 700 via the network 750. That is, the smart phone terminals 101 and 102 are connected via the network 750 and the server 700 in a state where they can communicate with each other.
  • the smartphone terminals 101 and 102 are the same model and are the same as the smartphone terminal 100 shown in FIG.
  • the smartphone terminal 101 is an example of a first portable electronic terminal
  • the smartphone terminal 102 is an example of a second portable electronic terminal.
  • the server 700 includes a processing unit 701, a receiving unit 702, a transmitting unit 703, and a memory 704.
  • the processing unit 701 is a part that performs control of data transmission / reception in the server 700, data processing, data management, and the like, and is realized by a CPU core or the like.
  • the server 700 is an example of a tactile sensation data processing device.
  • the receiving unit 702 is a part that serves as an interface when the server 700 receives data via the network 750.
  • the receiving unit 702 is an example of a data receiving unit.
  • the transmission unit 703 is a part that serves as an interface when the server 700 transmits data via the network 750.
  • the transmission unit 703 is an example of a data transmission unit.
  • the memory 704 stores data handled by the server 700.
  • the user A selects the tactile sensation data 900 stored in the smartphone terminal 101, attaches it to the e-mail, and transmits it to the server 700 via the network 750.
  • the destination of the e-mail is user B.
  • the receiving unit 702 of the server 700 receives the e-mail attached with the tactile sensation data 900, and the transmitting unit 703 transmits the e-mail to the user B.
  • User B receives an e-mail attached with tactile data via the network 750 from the server 700 and saves it in an internal memory. Thereby, the user B can enjoy the tactile sensation based on the tactile sensation data 900 on the smartphone terminal 102.
  • the mobile phone that transmits the tactile data 900 attached to the e-mail has been described.
  • the form in which the tactile data 900 is transmitted from the user A to the user B via the network 750 and the server 700 is e-mail. It may be in a form other than the attachment to.
  • the user A may transmit the tactile sensation data 900 to the user B by using SNS (Social Networking Service).
  • SNS Social Networking Service
  • the tactile sensation data 900 transmitted from the user A to the server 700 via the network 750 is an example of first data.
  • a conversion process for optimizing the tactile sensation data 900 transmitted from the smartphone terminal 101 to the server 700 for the smartphone terminal 102 by the processing unit 701 is performed.
  • the tactile sensation data subjected to the conversion process may be transmitted to the smartphone terminal 102.
  • the smartphone terminal 101 may include an application program that generates the tactile sensation data 900.
  • the procedure in which the user A generates the tactile sensation data 900 with the smartphone terminal 101 will be described with reference to FIG.
  • FIG. 12 is a diagram illustrating a state where the user A generates the tactile sensation data 900 using the smartphone terminal 101.
  • FIG. 12A shows a display on the display panel 160 of the smartphone terminal 101 when an application program for generating tactile sensation data 900 is being executed.
  • the display panel 160 includes an image 510A, an area selection button 601, a conversion button 602, tactile selection buttons 603A, 603B, 603C, vibration level setting buttons 604A, 604B, 604C, and automatic buttons. 605 is displayed. These buttons are realized by GUI parts.
  • User A operates the touch panel 150 of the smartphone terminal 101 to select a photograph for which tactile sensation data 900 (see FIG. 11) is to be created. For example, in the selected photograph, an area in which tactile sensation data 900 is desired to be created is dragged and selected, and the area selection button 601 is operated to confirm. In FIG. 12A, it is assumed that the dolphin image 510A is selected and the region selection button 601 is operated.
  • the user operates one of the tactile sensation selection buttons 603A, 603B, and 603C to select a tactile sensation, selects one of the vibration level setting buttons 604A, 604B, and 604C and selects a vibration level.
  • the tactile sensation selection buttons 603A, 603B, and 603C are GUI buttons for selecting a tactile sensation, a rough sensation, and a rattling sensation, respectively.
  • the vibration level setting buttons 604A, 604B, and 604C are buttons for selecting the vibration level in three stages of strong, normal, and weak, respectively.
  • the vibration level may be selected by selecting an amplification factor (see FIG. 8B) when the smartphone terminal 101 drives the vibration element 140.
  • Tactile sensation data 900 is created.
  • tactile data can be created in automatic mode.
  • an application program that generates the tactile sensation data 900 performs image processing such as binarization processing on the image 510A. Patterning is performed, and vibration patterns are automatically calculated according to the binarized data to create tactile sensation data.
  • FIG. 12B schematically shows how tactile sensation data 900 including dolphin image data, amplitude data, and coordinate data f (X, Y) is generated.
  • FIG. 13 is a diagram illustrating a procedure when tactile sensation data is created by the server 700 based on image data transmitted from the smartphone terminal 101 to the server 700 and transmitted to the smartphone terminals 101 and 102.
  • the application program for creating the tactile sensation data 900 installed in the smartphone terminal 101 shown in FIG. 13 does not create the tactile sensation data 900 inside the smartphone terminal 101, but has a function of generating tactile sensation data in the server 700.
  • FIG. 13 shows a procedure in which user A selects and sends image 510A to server 700, tactile sensation data 900 is generated by server 700, and tactile sensation data 900 is transmitted to user B.
  • tactile data 900 is also transmitted to user A. .
  • FIG. 14 is a diagram more specifically showing the details of the procedure shown in FIG.
  • buttons 510A, an area selection button 601, a transmission button 602A, a tactile sense selection button 603A, 603B, 603C, vibration level setting buttons 604A, 604B, 604C, and an automatic button 605 are displayed. These buttons are realized by GUI parts.
  • User A operates the touch panel 150 of the smartphone terminal 101 to select a photograph for which tactile sensation data is to be created. For example, an area for which tactile sensation data is to be created is selected by dragging in the selected photograph, and the area selection button 601 is operated to confirm. In FIG. 13, it is assumed that the dolphin image 510A is selected and the region selection button 601 is operated.
  • User A operates one of the tactile sensation selection buttons 603A, 603B, and 603C to select a tactile sensation, selects one of the vibration level setting buttons 604A, 604B, and 604C and selects a vibration level.
  • the tactile sensation selection buttons 603A, 603B, and 603C are GUI buttons for selecting a tactile sensation, a rough sensation, and a rattling sensation, respectively.
  • the vibration level setting buttons 604A, 604B, and 604C are buttons for selecting the vibration level in three stages of strong, normal, and weak, respectively.
  • the selection of the vibration level may be realized by selecting an amplification factor (see FIG. 7B) when the tactile sensation providing apparatus 100 drives the vibration element 140.
  • User A specifies the transmission destination of tactile sensation data after selection of tactile sensation and vibration level is completed.
  • the transmission destination is user B, and user A is set in CC.
  • the data of the image 510A and the data indicating the tactile sensation and the vibration level are transmitted to the server 700 via the network, and are received by the receiving unit 702. Then, tactile sensation data is created by the processing unit 701 of the server 700.
  • the data of the image 510A is patterned by image processing such as binarization processing, and vibration patterns are automatically calculated according to the binarized data to create tactile sensation data 900. Is done.
  • the transmission part 703 of the server 700 transmits the tactile sensation data 900 to the user B, and transmits the tactile sensation data 900 to the user A by CC.
  • the users A and B may store the tactile sensation data 900 in the memory of the smartphone terminals 101 and 102, respectively.
  • the data transmission between the smart phone terminal 101, the server 700, and the smart phone terminal 102 may be sent by attaching it to an e-mail, or data may be sent in other forms. .
  • a conversion process for optimizing the tactile sensation data 900 transmitted from the smartphone terminal 101 to the server 700 for the smartphone terminal 102 by the processing unit 701 is performed.
  • the tactile sensation data subjected to the conversion process may be transmitted to the smartphone terminal 102.
  • the tactile sensation data 900 transmitted to the smartphone terminal 101 by CC and the tactile sensation data subjected to the conversion process transmitted to the smartphone terminal 102 are the amplitude value and / or coordinates of the amplitude data. Data will be different.
  • Image data transmitted from the smartphone terminal 101 to the server 700 is an example of first data.
  • data specifying image data stored in the server 700 may be transmitted from the smartphone terminal 101 to the server 700.
  • the data specifying the image data is an example of the first data.
  • FIG. 15 is a diagram illustrating a state in which the user A transmits the tactile sensation data 900 to the smartphone terminal 102 of the user B through the short-range wireless communication with the smartphone terminal 101.
  • FIG. 15 shows a display on the display panel 160 of the smartphone terminal 101 when the application program for generating the tactile sensation data 900 is being executed. This is the same as the state shown in FIG.
  • User A creates tactile sensation data 900 using an application program according to a procedure similar to the procedure described with reference to FIG.
  • short-range wireless communication is started by the communication processor 230, and the tactile sensation data is transmitted to the smartphone terminal 102 of the user B.
  • Bluetooth may be activated and tactile sensation data may be transmitted from the smartphone terminal 101 to the smartphone terminal 102.
  • the smartphone terminal 101 can transmit tactile data to the smartphone terminal 102 by short-range wireless communication such as Bluetooth as well as data transmission via the network 750 and the server 700.
  • the smartphone terminals 101 and 102 may be connected with a USB (Universal Serial Bus) cable, and the tactile sensation data 900 may be transmitted via the USB cable.
  • USB Universal Serial Bus
  • the natural friction of the ultrasonic band of the top panel 120 is generated and the dynamic friction force applied to the user's fingertip is changed, so that a good tactile sensation is provided to the user. be able to.
  • the smartphone terminal 100 associates coordinate data representing image coordinates in image data with amplitude data representing amplitude values for adjusting the intensity of the drive signal used for driving the vibration element 140. Amplitude data corresponding to the position of the operation input is output using the tactile sensation data.
  • the tactile sensation can be simulated by using the smartphone terminal 100 of the embodiment, so that the usefulness is high.
  • the smartphone terminal 100 (see FIGS. 1 to 3) of the embodiment modulates only the amplitude of the sine wave of the ultrasonic band generated by the sine wave generator 310 by the amplitude modulator 320. Is generated.
  • the frequency of the sine wave of the ultrasonic band generated by the sine wave generator 310 is equal to the natural frequency of the top panel 120, and this natural frequency is set in consideration of the vibration element 140.
  • the drive signal is generated by modulating only the amplitude by the amplitude modulator 320 without modulating the frequency or phase of the sine wave of the ultrasonic band generated by the sine wave generator 310.
  • the natural vibration of the ultrasonic band of the top panel 120 can be generated in the top panel 120, and the coefficient of dynamic friction when the surface of the top panel 120 is traced with a finger using the air layer due to the squeeze effect is obtained. It can be reliably lowered. Further, the sticky-band ⁇ ⁇ ⁇ Illusion effect or the Fishbone Tactile Illusion effect can provide the user with a good tactile sensation such that the surface of the top panel 120 is uneven.
  • the mode in which the vibration element 140 is turned on / off and the amplitude is switched in order to provide the user with a tactile sensation such that the top panel 120 has unevenness has been described.
  • To turn off the vibrating element 140 is to set the amplitude value represented by the drive signal for driving the vibrating element 140 to zero.
  • the vibration element 140 in order to provide such a tactile sensation, it is not always necessary to turn the vibration element 140 from on to off.
  • a state in which the vibration element 140 is driven with a small amplitude may be used instead of the vibration element 140 being in an off state.
  • the vibration element 140 may be reduced by reducing the amplitude to about 1/5, the user may be provided with a tactile sensation such that the top panel 120 has irregularities as in the case where the vibration element 140 is turned off.
  • the vibration element 140 is driven by a drive signal that switches the strength of vibration of the vibration element 140.
  • the strength of the natural vibration generated in the top panel 120 is switched, and it is possible to provide a tactile sensation such that the user's fingertip has unevenness.
  • the vibration element 140 is turned off when the vibration is weakened in order to switch the strength of vibration of the vibration element 140, the vibration element 140 is switched on / off. Switching the vibration element 140 on / off is to drive the vibration element 140 intermittently.
  • the tactile sensation data 900 generated based on the data of the image 510A stored in the user A's smartphone terminal 101 can be transmitted to the user B's smartphone terminal 102.
  • the tactile sensation data 900 may be generated by executing an application program inside the smartphone terminal 101 or may be generated by the server 700.
  • the transmission path may be a path that passes through the network 750 and the server 700, or directly from the smartphone terminal 101 to the smartphone terminal 102 by short-range wireless communication without passing through the network 750 and the server 700. It may be a route for transmission.
  • the smart phone terminal 100 that can provide a good tactile sensation.
  • object tangible objects such as various art objects, art objects, crafts, a picture, a book, a Buddhist image, a bronze statue, a stone statue, a living thing, a natural object, an artificial thing, etc. Any tangible object may be used.
  • the smartphone terminal 100 is personally owned by the user and can be used in any place.
  • the smartphone terminal 100 is not limited to such a form, and may be a variety of museums, art galleries, schools, libraries, commercial facilities, and the like. You may install in the place.
  • the smartphone terminals 100, 101, and 102 as examples of the portable electronic terminal have been described.
  • the portable electronic terminal may be a tablet computer, a game machine, or the like.
  • FIG. 16 is a diagram illustrating a smart phone terminal 100A according to a first modification of the embodiment.
  • the smart phone terminal 100A is obtained by adding a heater 180 to the smart phone terminal 100 shown in FIGS.
  • Other configurations are the same as those of the smartphone terminal 100 shown in FIGS. 1 to 3.
  • the heater 180 (see FIG. 16) is disposed on the back side of the top panel 120 so that the temperature of the surface of the top panel 120 can be controlled.
  • FIG. 16 shows one heating wire as the heater 180, but the heater 180 may be provided over one surface of the top panel 120. Further, the heater 180 may be provided on the back side of the touch panel 150 or the back side of the display panel 160.
  • the heater 180 may be a resistance type transparent conductive film or an alloy heater such as a nickel alloy. For example, the heater 180 may increase the temperature from room temperature to about 60 ° C.
  • an element that can lower the temperature from room temperature such as a Peltier element, may be used.
  • a warm object is displayed as the target tangible object
  • the user when displaying a cold object, the user can be provided with a more realistic tactile sensation by making the user perceive the coldness in addition to the tactile sensation due to vibration.
  • the set temperature of the heater 180 may be set to a certain temperature in advance depending on the type of the target tangible object, and when providing a tactile sensation of the target tangible object having a temperature distribution depending on the part, a plurality of heaters 180 are provided, Temperature data representing the set temperature of the heater 180 may be added to the tactile sensation data to represent the temperature distribution of the target tangible object.
  • FIG. 17 is a diagram illustrating a smartphone terminal 100B according to a second modification of the embodiment.
  • the smartphone terminal 100B is obtained by adding an actuator 190 to the smartphone terminal 100 shown in FIGS.
  • Other configurations are the same as those of the smartphone terminal 100 shown in FIGS. 1 to 3.
  • the actuator 190 is provided on the back surface side (Z-axis negative direction side) of the housing 110, and is disposed, for example, one at each of the four corners in plan view.
  • the actuator 190 is driven by, for example, a drive signal having a frequency in the audible band.
  • the actuator 190 can be a linear actuator using a servo motor or a stepping motor, for example, and vibrates the entire smartphone terminal 100B.
  • the audible band is a frequency band of less than about 20 kHz.
  • the actuator 190 is driven by a drive signal on the order of several tens of Hz.
  • Such an actuator 190 is preferably capable of generating a displacement of about 100 ⁇ m to 1 mm, for example.
  • the actuator 190 may be driven by the drive control unit 240 or an equivalent drive control unit.
  • the smartphone terminal 100B itself is vibrated, the natural vibration of the ultrasonic band caused by the vibration of the vibration element 140 and the vibration of the audible band caused by the actuator 190 are applied to the fingertip of the user touching the surface of the top panel 120. Can provide synthesized vibration.
  • a more realistic tactile sensation may be provided by adding vibration in the audible band to the standing wave vibration due to the natural vibration of the ultrasonic band.
  • the smartphone terminal 100B of the second modified example is effective.
  • the actuator 190 may be other than a linear actuator using a servo motor or a stepping motor, and may be an electric drive element, a hydraulic or pneumatic drive element, a piezoelectric actuator, an artificial muscle, or the like. .
  • FIG. 18 is a diagram illustrating a smartphone terminal 100C according to a third modification of the embodiment.
  • the cross section shown in FIG. 18 corresponds to the cross section taken along the line AA shown in FIG.
  • an XYZ coordinate system which is an orthogonal coordinate system is defined as in FIG.
  • the smartphone terminal 100C includes a housing 110C, a top panel 120, a panel 120C, a double-sided tape 130, a vibration element 140, a touch panel 150, a display panel 160C, and a substrate 170.
  • the smart phone terminal 100C has a configuration in which the touch panel 150 of the smart phone terminal 100 illustrated in FIG. 3 is provided on the back surface side (Z-axis negative direction side). For this reason, compared with the smart phone terminal 100 shown in FIG. 3, the double-sided tape 130, the vibration element 140, the touch panel 150, and the board
  • the housing 110C has a recess 111 on the Z-axis positive direction side and a recess 111C on the Z-axis negative direction side.
  • a display panel 160 ⁇ / b> C is disposed inside the recess 111 and is covered with the top panel 120.
  • a substrate 170 and a touch panel 150 are provided inside the recess 111C, the panel 120C is fixed to the housing 110C with a double-sided tape 130, and the vibration element 140 is disposed on the surface of the panel 120C on the positive side in the Z-axis direction. Is provided.
  • the smart phone terminal 100C shown in FIG. 18 if the natural vibration of the ultrasonic band is generated in the panel 120C by switching on / off the vibration element 140 in response to an operation input to the panel 120C, it is shown in FIG. Similarly to the smart phone terminal 100, it is possible to provide the smart phone terminal 100C that allows the user to perceive the replacement of pictographs (products) displayed on the display panel 160C with the sense of a fingertip.
  • Such a smart phone terminal 100C may be used instead of the smart phone terminal 100 shown in FIGS. 18 shows the smartphone terminal 100C provided with the touch panel 150 on the back surface side.
  • the touch panel 150 is provided on the front surface side and the back surface side in combination with the structure shown in FIG. 3 and the structure shown in FIG. It may be provided.
  • FIG. 19 is a plan view showing an operation state of the smartphone terminal 100D of the fourth modified example of the embodiment.
  • the smartphone terminal 100D includes a housing 110D, a top panel 120D, a double-sided tape 130D, a vibration element 140D, a touch panel 150D, a display panel 160D, and a substrate 170D.
  • the top panel 120D is curved so that the center portion in plan view protrudes in the positive direction of the Z axis.
  • FIG. 19 shows the cross-sectional shape of the top panel 120D in the YZ plane, and the cross-sectional shape in the XZ plane is the same.
  • a good tactile sensation can be provided by using the curved glass top panel 120D.
  • it is effective when the surface of the target tangible object is curved.
  • FIG. 20 is a diagram illustrating a state in which the tactile sensation providing device 300A is connected to the smartphone terminal 102 via the short-range wireless communication device 800.
  • the tactile sensation providing apparatus 300A is an apparatus obtained by removing the components that realize the communication function shown in FIG. 6 from the smartphone terminal 100, and the internal configuration is the same as that of the tactile sensation providing apparatus 300 shown in FIG.
  • user B holds smartphone terminal 102 over short-range wireless communication device 800 and transmits desired tactile data from smartphone terminal 102 to short-range wireless communication device 800.
  • the short-range wireless communication device 800 can communicate with the smartphone terminal 102 in a wireless state, such as Bluetooth (registered trademark), and is connected to the tactile sensation providing device 100 via the data cable 810.
  • a wireless state such as Bluetooth (registered trademark)
  • the user transmits the tactile sensation data of the dolphin image 510A to the tactile sensation providing apparatus 100 via the short-range wireless communication device 800, and the dolphin image 510A is displayed on the display panel 160 of the tactile sensation providing apparatus 100. It is displayed.
  • the short-range wireless communication device 800 is an example of an input device.
  • the tactile sensation providing apparatus 100 vibrates, and thus it is possible to provide a tactile sensation as if the user's fingertip touched the surface of the dolphin. If the tactile sensation providing apparatus 100 according to the embodiment is installed in a place where people gather, such as a restaurant or a cafe, for example, the user can experience a tactile sensation as if touching the surface of the dolphin 510 through the tactile sensation providing apparatus 100. .
  • charging is performed according to the amount of data communication between the smartphone terminal 102 and the short-range wireless communication device 800, the number of use times or the use time of the short-range wireless communication device 800 or the tactile sensation providing device 100, etc. You may make it do.
  • the smartphone terminal 102 and the tactile sensation providing apparatus 100 may transmit data via a wired storage via a direct cable or a portable storage medium such as a flash memory card, not via the short-range wireless communication apparatus 800.
  • the charging device 820 may be connected to the short-range wireless communication device 800 and the usage fee may be charged according to the number of times or the usage time of the short-range wireless communication device 800.
  • the tactile sensation providing apparatus 300 ⁇ / b> A is used in this way, for example, when the tactile sensation providing apparatus 300 ⁇ / b> A can generate more realistic vibration than the smart phone terminal 102, or when the smart phone terminal 102 has the tactile sensation providing apparatus 300. This is a case where the function (see FIG. 7) is not provided.
  • FIG. 21 is a plan view showing an operating state of the tactile sensation providing apparatus 300B.
  • the tactile sensation providing apparatus 300B is different from the tactile sensation providing apparatus 300A shown in FIG. 20 in that the display panel 160 is not included.
  • the tactile sensation data may not include image data and coordinate data.
  • FIG. 22 is a plan view showing the tactile sensation providing apparatus 300B
  • FIG. 23 is a diagram showing a cross section taken along the line AA of the tactile sensation providing apparatus 300B shown in FIG. 22 and 23, an XYZ coordinate system that is an orthogonal coordinate system is defined as illustrated.
  • the tactile sensation providing apparatus 300B includes a housing 110, a top panel 120, a double-sided tape 130, a vibration element 140, a touch panel 150, and a substrate 170.
  • the touch panel 150 is directly mounted on the substrate 170.
  • the drive control unit 240 of the tactile sensation providing apparatus 300B drives the vibration element 140 using an amplitude drive signal based on the tactile data when an operation input is performed on the top panel 120.
  • the touch panel 150 is provided to detect that a user's operation input is performed and the movement of the position of the operation input. Therefore, when the tactile sensation providing apparatus 300B detects that the operation input is performed on the top panel 120 and the position of the operation input is moved based on the position data output from the driver IC 151, the amplitude data of the tactile sensation data is used. The vibration element 140 is driven.
  • the vibration element 140 is driven with a drive signal that reproduces the feel of the dolphin skin.
  • the vibration element 140 when it is desired to reproduce only the feel of the dolphin skin by vibration, even a tactile sensation providing apparatus 300B having a simple configuration that does not include the display panel 160 can provide a good tactile sensation to the user.
  • the tactile sensation providing apparatus 300B of the fifth modified example of the embodiment the natural friction of the ultrasonic band of the top panel 120 is generated and the dynamic friction force applied to the user's fingertip is changed. Can provide a tactile feel.
  • Such a tactile sensation providing apparatus 300B is effective when the tactile sensation of the surface of the target tangible object is substantially constant.
  • the tactile sensation providing device 300B is installed in a place where people gather, such as a restaurant or a cafe, even if there is no real dolphin (see FIG. 1), the user can touch the surface of the dolphin through the tactile sensation providing device 300B. A touch feeling can be provided.
  • charging is performed according to the amount of data communication between the tactile sensation providing apparatus 300B and the short-range wireless communication apparatus 800, the number of use times or the use time of the short-range wireless communication apparatus 800 or the smartphone terminal 100E. You may make it do.
  • the smart phone terminal 102 and the tactile sensation providing apparatus 300B may transmit data via a wired storage directly via a cable or a portable storage medium such as a flash memory card, not via the short-range wireless communication apparatus 800. Is possible.
  • the tactile sensation providing apparatus 300B may include a sensor that detects contact with the top panel 120 without including the touch panel 150. In this case, it is only necessary to detect that the user touches the top panel 120 with a sensor and drive the vibration element 140.
  • a sensor a pressure sensor etc. can be used, for example.
  • the mark is displayed on the top panel 120, and the coordinate data of the mark position is included in the tactile sensation data, so that the amplitude corresponding to the position of the operation input is used.
  • the vibration element 140 may be driven.
  • Control unit 220 Application processor 230 Communication processor 240 Drive control unit 250 Memory 300, 300A, 300B Tactile sensation providing device 310 Sine wave generator 320 Amplitude modulator 700 Server 701 Processing unit 702 Receiving unit 703 Transmitting unit 704 Memory 800 Short-range wireless communication device

Landscapes

  • Engineering & Computer Science (AREA)
  • General Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • User Interface Of Digital Computer (AREA)
  • Telephone Function (AREA)

Abstract

　良好な触感を提供できる触感データ処理装置を提供する。　第１及び第２携帯電子端末機の間でネットワークを介してデータを送信又は受信する触感データ処理装置であって、第１携帯電子端末機から対象有体物に関する第１データを受信するデータ受信部と、第１データを受信すると第１データに対応する対象有体物の触感を表す触感データを第２携帯電子端末機に送信するデータ送信部とを含み、触感データは、対象有体物の画像と、画像の中での位置と、位置における対象有体物の触感に対応する振幅とを関連付けたデータであり、第２携帯電子端末機のタッチパネル、又は、第２携帯電子端末機に接続される触感提供装置のタッチパネルに操作入力を行う操作面に超音波帯の固有振動を発生させる振動素子を駆動する駆動信号の振幅を、操作入力の位置に対応する画像の中での位置に触感データの内部で関連付けられる振幅に基づいて調整する際に用いられるデータである。

Description

触感データ処理装置、触感提供システム、及び触感データ処理方法
　本発明は、触感データ処理装置、触感提供システム、及び触感データ処理方法に関する。
　従来より、表示手段と、使用者の操作部位の前記表示手段への接触状態を検出する接触検出手段と、前記表示手段に接触している前記操作部位に対し、所定の触感を与える触感振動を発生させる触感振動発生手段とを備える触感呈示装置がある（例えば、特許文献１参照）。
　この触感呈示装置は、さらに、前記接触検出手段による検出結果に基づいて、前記触感振動を発生させるための波形データを生成する振動波形データ生成手段を備える。また、この触感呈示装置は、さらに、前記振動波形データ生成手段により生成された前記波形データに対し超音波を搬送波として変調処理を行い、該変調処理により生成された超音波変調信号を、前記触感振動を発生させるための信号として前記触感振動発生手段に出力する超音波変調手段とを備える。
　また、前記超音波変調手段は、周波数変調又は位相変調のどちらか一方を行う。また、前記超音波変調手段は、更に振幅変調を行う。
特開２０１０－２３１６０９号公報
　ところで、従来の触感呈示装置の超音波の周波数は、可聴帯域より高い周波数（およそ２０ｋＨｚ以上）であればよく、超音波の周波数自体に特に工夫はなされていないため、良好な触感を提供できないおそれがある。
　そこで、良好な触感を提供できる触感データ処理装置、触感提供システム、及び触感データ処理方法を提供することを目的とする。
　本発明の実施の形態の触感データ処理装置は、第１携帯電子端末機と第２携帯電子端末機との間でネットワークを介してデータの送信又は受信を行う触感データ処理装置であって、前記第１携帯電子端末機から対象有体物に関する第１データを受信するデータ受信部と、前記データ受信部が前記第１携帯電子端末機から前記第１データを受信すると、前記第１データに対応する前記対象有体物の触感を表す触感データを前記第２携帯電子端末機に送信するデータ送信部とを含み、前記触感データは、前記対象有体物の画像と、前記画像の中での位置と、前記位置における前記対象有体物の触感に対応する振幅とを関連付けたデータであり、前記触感データは、前記第２携帯電子端末機のタッチパネル、又は、前記第２携帯電子端末機に接続される触感提供装置のタッチパネルに操作入力を行う操作面に超音波帯の固有振動を発生させる振動素子を駆動する駆動信号の振幅を、前記タッチパネルへの操作入力の位置に対応する前記画像の中での位置に前記触感データの内部で関連付けられる振幅に基づいて調整する際に用いられるデータである。
　良好な触感を提供できる触感データ処理装置、触感提供システム、及び触感データ処理方法を提供することができる。
実施の形態のスマートフォン端末機１００の利用態様の一例を示す図である。 実施の形態のスマートフォン端末機１００を示す平面図である。 図２に示すスマートフォン端末機１００のＡ－Ａ矢視断面を示す図である。 超音波帯の固有振動によってトップパネル１２０に生じる定在波のうち、トップパネル１２０の短辺に平行に形成される波頭を示す図である。 スマートフォン端末機１００のトップパネル１２０に生じさせる超音波帯の固有振動により、操作入力を行う指先に掛かる動摩擦力が変化する様子を説明する図である。 実施の形態のスマートフォン端末機１００の通信機能に関連する構成を示す図である。 実施の形態のスマートフォン端末機１００の構成を示す図である。 メモリ２５０に格納されるデータを示す図である。 実施の形態のスマートフォン端末機１００に利用者が操作入力を行った場合における振動素子１４０の駆動パターンを示す図である。 実施の形態のスマートフォン端末機１００の駆動制御部２４０が実行する処理を示すフローチャートを示す図である。 実施の形態のスマートフォン端末機１００の利用者Ａが送信した触感データが他の利用者Ｂによって受信されるまでの手順を示す図である。 利用者Ａがスマートフォン端末機１０１で触感データ９００を生成する様子を示す図である。 スマートフォン端末機１０１からサーバ７００に送信された画像データに基づいてサーバ７００で触感データが作成され、スマートフォン端末機１０１及び１０２に送信される際の手順を説明する図である。 図１３に示す手順の詳細をより具体的に示す図である。 利用者Ａがスマートフォン端末機１０１で近距離無線通信によって触感データ９００を利用者Ｂのスマートフォン端末機１０２に送信する様子を示す図である。 実施の形態の第１変形例のスマートフォン端末機１００Ａを示す図である。 実施の形態の第２変形例のスマートフォン端末機１００Ｂを示す図である。 実施の形態の第３変形例のスマートフォン端末機１００Ｃを示す図である。 実施の形態の第４変形例のスマートフォン端末機１００Ｄの動作状態を示す平面図である。 スマートフォン端末機１０２に近距離無線通信装置８００を介して触感提供装置３００Ａを接続した状態を示す図である。 触感提供装置３００Ｂの動作状態を示す平面図である。 触感提供装置３００Ｂを示す平面図である。 図２２に示す触感提供装置３００ＢのＡ－Ａ矢視断面を示す図である。
　以下、本発明の触感データ処理装置、携帯電子端末機、触感提供システム、及び触感データ処理方法を適用した実施の形態について説明する。
　＜実施の形態＞
　図１は、実施の形態のスマートフォン端末機１００の利用態様の一例を示す図である。
　スマートフォン端末機１００は、トップパネル１２０、タッチパネル１５０、及びディスプレイパネル１６０を含み、ディスプレイパネル１６０にはイルカの画像５１０Ａが表示されている。
　実物のイルカに直接触ることは容易ではないが、スマートフォン端末機１００のタッチパネル１５０の前面にあるトップパネル１２０に触れて、ディスプレイパネル１６０に表示されている画像５１０Ａをなぞると、スマートフォン端末機１００が振動することにより、利用者の指先にイルカの表面に触れたような触感を提供する。イルカは、対象有体物の一例である。
　実施の形態のスマートフォン端末機１００は、このように、実物に触れなくても、トップパネル１２０に触れることにより、実物を触れるような擬似的な触感を提供する。
　図２は、実施の形態のスマートフォン端末機１００を示す平面図であり、図３は、図２に示すスマートフォン端末機１００のＡ－Ａ矢視断面を示す図である。なお、図２及び図３では、図示するように直交座標系であるＸＹＺ座標系を定義する。
　スマートフォン端末機１００は、筐体１１０、トップパネル１２０、両面テープ１３０、振動素子１４０、タッチパネル１５０、ディスプレイパネル１６０、及び基板１７０を含む。
　筐体１１０は、例えば、樹脂製であり、図３に示すように凹部１１１に基板１７０、ディスプレイパネル１６０、及びタッチパネル１５０が配設されるとともに、両面テープ１３０によってトップパネル１２０が接着されている。
　トップパネル１２０は、平面視で長方形の薄い平板状の部材であり、透明なガラス、又は、ポリカーボネートのような強化プラスティックで作製される。トップパネル１２０の表面（Ｚ軸正方向側の面）は、スマートフォン端末機１００の利用者が操作入力を行う操作面の一例である。
　トップパネル１２０は、Ｚ軸負方向側の面に振動素子１４０が接着され、平面視における四辺が両面テープ１３０によって筐体１１０に接着されている。なお、両面テープ１３０は、トップパネル１２０の四辺を筐体１１０に接着できればよく、図３に示すように矩形環状である必要はない。
　トップパネル１２０のＺ軸負方向側にはタッチパネル１５０が配設される。トップパネル１２０は、タッチパネル１５０の表面を保護するために設けられている。なお、トップパネル１２０の表面に、さらに別なパネル又は保護膜等が設けられていてもよい。
　トップパネル１２０は、Ｚ軸負方向側の面に振動素子１４０が接着された状態で、振動素子１４０が駆動されることによって振動する。実施の形態では、トップパネル１２０の固有振動周波数でトップパネル１２０を振動させて、トップパネル１２０に定在波を生じさせる。ただし、トップパネル１２０には振動素子１４０が接着されているため、実際には、振動素子１４０の重さ等を考慮した上で、固有振動周波数を決めることが好ましい。
　振動素子１４０は、トップパネル１２０のＺ軸負方向側の面において、Ｙ軸正方向側において、Ｘ軸方向に伸延する短辺に沿って接着されている。振動素子１４０は、超音波帯の振動を発生できる素子であればよく、例えば、ピエゾ素子のような圧電素子を含むものを用いることができる。
　振動素子１４０は、後述する駆動制御部から出力される駆動信号によって駆動される。振動素子１４０が発生する振動の振幅（強度）及び周波数は駆動信号によって設定される。また、振動素子１４０のオン／オフは駆動信号によって制御される。
　なお、超音波帯とは、例えば、約２０ｋＨｚ以上の周波数帯をいう。実施の形態のスマートフォン端末機１００では、振動素子１４０が振動する周波数は、トップパネル１２０の振動数と等しくなるため、振動素子１４０は、トップパネル１２０の固有振動数で振動するように駆動信号によって駆動される。
　タッチパネル１５０は、ディスプレイパネル１６０の上（Ｚ軸正方向側）で、トップパネル１２０の下（Ｚ軸負方向側）に配設されている。タッチパネル１５０は、スマートフォン端末機１００の利用者がトップパネル１２０に触れる位置（以下、操作入力の位置と称す）を検出する座標検出部の一例である。
　タッチパネル１５０の下にあるディスプレイパネル１６０には、ＧＵＩ(Graphic User Interface)による様々なボタン等（以下、ＧＵＩ操作部と称す）が表示される。このため、スマートフォン端末機１００の利用者は、通常、ＧＵＩ操作部を操作するために、指先でトップパネル１２０に触れる。
　タッチパネル１５０は、利用者のトップパネル１２０への操作入力の位置を検出できる座標検出部であればよく、例えば、静電容量型又は抵抗膜型の座標検出部であればよい。ここでは、タッチパネル１５０が静電容量型の座標検出部である形態について説明する。タッチパネル１５０とトップパネル１２０との間に隙間があっても、静電容量型のタッチパネル１５０は、トップパネル１２０への操作入力を検出できる。
　また、ここでは、タッチパネル１５０の入力面側にトップパネル１２０が配設される形態について説明するが、トップパネル１２０はタッチパネル１５０と一体的であってもよい。この場合、タッチパネル１５０の表面が図２及び図３に示すトップパネル１２０の表面になり、操作面を構築する。また、図２及び図３に示すトップパネル１２０を省いた構成であってもよい。この場合も、タッチパネル１５０の表面が操作面を構築する。また、この場合には、操作面を有する部材を、当該部材の固有振動で振動させればよい。
　また、タッチパネル１５０が静電容量型の場合は、トップパネル１２０の上にタッチパネル１５０が配設されていてもよい。この場合も、タッチパネル１５０の表面が操作面を構築する。また、タッチパネル１５０が静電容量型の場合は、図２及び図３に示すトップパネル１２０を省いた構成であってもよい。この場合も、タッチパネル１５０の表面が操作面を構築する。また、この場合には、操作面を有する部材を、当該部材の固有振動で振動させればよい。
　ディスプレイパネル１６０は、例えば、液晶ディスプレイパネル又は有機ＥＬ(Electroluminescence)パネル等の画像を表示できる表示部であればよい。ディスプレイパネル１６０は、筐体１１０の凹部１１１の内部で、図示を省略するホルダ等によって基板１７０の上（Ｚ軸正方向側）に設置される。
　ディスプレイパネル１６０は、後述するドライバＩＣ(Integrated Circuit)によって駆動制御が行われ、スマートフォン端末機１００の動作状況に応じて、ＧＵＩ操作部、画像、文字、記号、図形等を表示する。
　基板１７０は、筐体１１０の凹部１１１の内部に配設される。基板１７０の上には、ディスプレイパネル１６０及びタッチパネル１５０が配設される。ディスプレイパネル１６０及びタッチパネル１５０は、図示を省略するホルダ等によって基板１７０及び筐体１１０に固定されている。
　基板１７０には、後述する駆動制御装置の他に、スマートフォン端末機１００の駆動に必要な種々の回路等が実装される。
　以上のような構成のスマートフォン端末機１００は、トップパネル１２０に利用者の指が接触し、指先の移動を検出すると、基板１７０に実装される駆動制御部が振動素子１４０を駆動し、トップパネル１２０を超音波帯の周波数で振動させる。この超音波帯の周波数は、トップパネル１２０と振動素子１４０とを含む共振系の共振周波数であり、トップパネル１２０に定在波を発生させる。
　スマートフォン端末機１００は、超音波帯の定在波を発生させることにより、トップパネル１２０を通じて利用者に触感を提供する。
　次に、図４を用いて、トップパネル１２０に発生させる定在波について説明する。
　図４は、超音波帯の固有振動によってトップパネル１２０に生じる定在波のうち、トップパネル１２０の短辺に平行に形成される波頭を示す図であり、図４の（Ａ）は側面図、（Ｂ）は斜視図である。図４の（Ａ）、（Ｂ）では、図２及び図３と同様のＸＹＺ座標を定義する。なお、図４の（Ａ）、（Ｂ）では、理解しやすさのために、定在波の振幅を誇張して示す。また、図４の（Ａ）、（Ｂ）では振動素子１４０を省略する。
　トップパネル１２０のヤング率Ｅ、密度ρ、ポアソン比δ、長辺寸法ｌ、厚さｔと、長辺方向に存在する定在波の周期数ｋとを用いると、トップパネル１２０の固有振動数（共振周波数）ｆは次式（１）、（２）で表される。定在波は１／２周期単位で同じ波形を有するため、周期数ｋは、０．５刻みの値を取り、０．５、１、１．５、２・・・となる。
Figure JPOXMLDOC01-appb-M000001
Figure JPOXMLDOC01-appb-M000002
 　なお、式（２）の係数αは、式（１）におけるｋ２以外の係数をまとめて表したものである。
　図４の（Ａ）、（Ｂ）に示す定在波は、一例として、周期数ｋが１０の場合の波形である。例えば、トップパネル１２０として、長辺の長さｌが１４０ｍｍ、短辺の長さが８０ｍｍ、厚さｔが０．７ｍｍのGorilla（登録商標）ガラスを用いる場合には、周期数ｋが１０の場合に、固有振動数ｆは３３．５ｋＨｚとなる。この場合は、周波数が３３．５ｋＨｚの駆動信号を用いればよい。
　トップパネル１２０は、平板状の部材であるが、振動素子１４０（図２及び図３参照）を駆動して超音波帯の固有振動を発生させると、図４の（Ａ）、（Ｂ）に示すように撓むことにより、表面に定在波が生じる。
　なお、ここでは、１つの振動素子１４０がトップパネル１２０のＺ軸負方向側の面において、Ｙ軸正方向側において、Ｘ軸方向に伸延する短辺に沿って接着される形態について説明するが、振動素子１４０を２つ用いてもよい。２つの振動素子１４０を用いる場合は、もう１つの振動素子１４０をトップパネル１２０のＺ軸負方向側の面において、Ｙ軸負方向側において、Ｘ軸方向に伸延する短辺に沿って接着すればよい。この場合に、２つの振動素子１４０は、トップパネル１２０の２つの短辺に平行な中心線を対称軸として、軸対称になるように配設すればよい。
　また、２つの振動素子１４０を駆動する場合は、周期数ｋが整数の場合は同一位相で駆動すればよく、周期数ｋが奇数の場合は逆位相で駆動すればよい。
　次に、図５を用いて、スマートフォン端末機１００のトップパネル１２０に生じさせる超音波帯の固有振動について説明する。
　図５は、スマートフォン端末機１００のトップパネル１２０に生じさせる超音波帯の固有振動により、操作入力を行う指先に掛かる動摩擦力が変化する様子を説明する図である。図５の（Ａ）、（Ｂ）では、利用者が指先でトップパネル１２０に触れながら、指をトップパネル１２０の奥側から手前側に矢印に沿って移動する操作入力を行っている。なお、振動のオン／オフは、振動素子１４０（図２及び図３参照）をオン／オフすることによって行われる。
　また、図５の（Ａ）、（Ｂ）では、トップパネル１２０の奥行き方向において、振動がオフの間に指が触れる範囲をグレーで示し、振動がオンの間に指が触れる範囲を白く示す。
　超音波帯の固有振動は、図４に示すようにトップパネル１２０の全体に生じるが、図５の（Ａ）、（Ｂ）には、利用者の指がトップパネル１２０の奥側から手前側に移動する間に振動のオン／オフを切り替える動作パターンを示す。
　このため、図５の（Ａ）、（Ｂ）では、トップパネル１２０の奥行き方向において、振動がオフの間に指が触れる範囲をグレーで示し、振動がオンの間に指が触れる範囲を白く示す。
　図５の（Ａ）に示す動作パターンでは、利用者の指がトップパネル１２０の奥側にあるときに振動がオフであり、指を手前側に移動させる途中で振動がオンになっている。
　一方、図５の（Ｂ）に示す動作パターンでは、利用者の指がトップパネル１２０の奥側にあるときに振動がオンであり、指を手前側に移動させる途中で振動がオフになっている。
　ここで、トップパネル１２０に超音波帯の固有振動を生じさせると、トップパネル１２０の表面と指との間にスクイーズ効果による空気層が介在し、指でトップパネル１２０の表面をなぞったときの動摩擦係数が低下する。
　従って、図５の（Ａ）では、トップパネル１２０の奥側にグレーで示す範囲では、指先に掛かる動摩擦力は大きく、トップパネル１２０の手前側に白く示す範囲では、指先に掛かる動摩擦力は小さくなる。
　このため、図５の（Ａ）に示すようにトップパネル１２０に操作入力を行う利用者は、振動がオンになると、指先に掛かる動摩擦力の低下を感知し、指先の滑り易さを知覚することになる。このとき、利用者はトップパネル１２０の表面がより滑らかになることにより、動摩擦力が低下するときに、トップパネル１２０の表面に凹部が存在するように感じる。
　一方、図５の（Ｂ）では、トップパネル１２０の奥前側に白く示す範囲では、指先に掛かる動摩擦力は小さく、トップパネル１２０の手前側にグレーで示す範囲では、指先に掛かる動摩擦力は大きくなる。
　このため、図５の（Ｂ）に示すようにトップパネル１２０に操作入力を行う利用者は、振動がオフになると、指先に掛かる動摩擦力の増大を感知し、指先の滑り難さ、あるいは、引っ掛かる感じを知覚することになる。そして、指先が滑りにくくなることにより、動摩擦力が高くなるときに、トップパネル１２０の表面に凸部が存在するように感じる。
　以上より、図５の（Ａ）と（Ｂ）の場合は、利用者は指先で凹凸を感じ取ることができる。このように人間が凹凸の知覚することは、例えば、"触感デザインのための印刷物転写法とSticky-band Illusion"(第11回計測自動制御学会システムインテグレーション部門講演会論文集 (SI2010, 仙台)____174-177, 2010-12)に記載されている。また、"Fishbone Tactile Illusion"(日本バーチャルリアリティ学会第10 回大会論文集(2005 年9 月))にも記載されている。
　なお、ここでは、振動のオン／オフを切り替える場合の動摩擦力の変化について説明したが、これは、振動素子１４０の振幅（強度）を変化させた場合も同様である。
　次に、図６及び図７を用いて、実施の形態のスマートフォン端末機１００の構成について説明する。
　図６は、実施の形態のスマートフォン端末機１００の通信機能に関連する構成を示す図である。
　スマートフォン端末機１００は、アンテナ装置５００及び５０１、ＤＵＰ(Duplexer)５１０、ＬＮＡ(Low Noise Amplifier)／ＰＡ(Power Amplifier)５２０、変調／復調器５３０、及びＣＰＵ(Central Processing Unit：中央演算処理装置)チップ５４０を含む。ここでは、一例として、これらの構成要素が基板１７０のＺ軸負方向側の面に形成されているものとして説明する。
　スマートフォン端末機１００は、これら以外の構成要素も含むが、図６には、スマートフォン端末機１００の通信機能に関連する構成要素を抜粋して示す。
　アンテナ装置５００は、所謂モノポール型の複数のアンテナエレメントを含む。複数のアンテナエレメントは、それぞれ、複数の周波数帯域に合わせて設計されている。ここでは、アンテナ装置５００の具体的な形状は特に問わないため、アンテナ装置５００が形成される領域を破線で示す。
　アンテナ装置５０１は、WiFi、Bluetooth（登録商標）等の近距離無線通信に用いられるアンテナ装置である。アンテナ装置５０１は、アンテナ装置５００との相関が小さくなるように、アンテナ装置５００から離れた場所に設置されている。
　ＤＵＰ５１０、ＬＮＡ／ＰＡ５２０、変調／復調器５３０、及びＣＰＵチップ５４０は、配線５６５を介して接続されている。
　ＤＵＰ５１０は、配線５６０を介してアンテナ装置５００の給電点に接続されており、送信又は受信の切り替えを行う。ＤＵＰ５１０は、フィルタとしての機能を有するため、アンテナ装置５００が複数の周波数の信号を受信した場合に、それぞれの周波数の信号を内部で分離することができる。
　ＬＮＡ／ＰＡ５２０は、送信波及び受信波の電力の増幅を行う。変調／復調器５３０は、送信波の変調と受信波の復調を行う。ＣＰＵチップ５４０は、スマートフォン端末機１００の通信処理を行う通信用プロセッサとしての機能と、アプリケーションプログラムを実行するアプリケーションプロセッサとしての機能とを有する。
　また、ＣＰＵチップ５４０は、配線５６６を介してアンテナ装置５０１に接続されている。なお、ＣＰＵチップ５４０は、送信するデータ又は受信したデータ等を格納する内部メモリを有する。
　なお、アンテナ装置５００、５０１、配線５６０、５６５、５６６は、例えば、基板１７０の裏面の銅箔をパターニングすることによって形成される。基板１７０の内層には、地板１７０Ａが形成される。なお、地板１７０Ａは、ディスプレイパネル１６０と基板１７０との間に配設される補強用の金属製のホルダであってもよい。
　図７は、実施の形態のスマートフォン端末機１００に含まれる触感提供装置３００の構成を示す図である。
　スマートフォン端末機１００は、振動素子１４０、アンプ１４１、タッチパネル１５０、ドライバＩＣ(Integrated Circuit)１５１、ディスプレイパネル１６０、ドライバＩＣ１６１、制御部２００、正弦波発生器３１０、及び振幅変調器３２０を含む。
　アンプ１４１、タッチパネル１５０、ドライバＩＣ(Integrated Circuit)１５１、ディスプレイパネル１６０、ドライバＩＣ１６１、制御部２００、正弦波発生器３１０、及び振幅変調器３２０は、筐体１１０(図３参照)の内部に配設される。例えば、基板１７０のＺ軸負方向側等に配設される。
　制御部２００は、アプリケーションプロセッサ２２０、駆動制御部２４０、及びメモリ２５０を有する。制御部２００は、図６に示すＣＰＵチップ５４０に含まれる。
　ここでは、アプリケーションプロセッサ２２０、駆動制御部２４０、及びメモリ２５０が１つの制御部２００によって実現される形態について説明するが、駆動制御部２４０は、制御部２００の外部に別のＩＣチップ又はプロセッサとして設けられていてもよい。この場合には、メモリ２５０に格納されているデータのうち、駆動制御部２４０の駆動制御に必要なデータは、メモリ２５０とは別のメモリに格納すればよい。
　図７では、筐体１１０、トップパネル１２０、両面テープ１３０、及び基板１７０（図２参照）は省略する。また、ここでは、アンプ１４１、ドライバＩＣ１５１、ドライバＩＣ１６１、駆動制御部２４０、メモリ２５０、正弦波発生器３１０、及び振幅変調器３２０について説明する。
　アンプ１４１は、振幅変調器３２０と振動素子１４０との間に配設されており、振幅変調器３２０から出力される駆動信号を増幅して振動素子１４０を駆動する。
　ドライバＩＣ１５１は、タッチパネル１５０に接続されており、タッチパネル１５０への操作入力があった位置を表す位置データを検出し、位置データを制御部２００に出力する。この結果、位置データは、アプリケーションプロセッサ２２０と駆動制御部２４０に入力される。
　ドライバＩＣ１６１は、ディスプレイパネル１６０に接続されており、制御部２００から出力される描画データをディスプレイパネル１６０に入力し、描画データに基づく画像をディスプレイパネル１６０に表示させる。これにより、ディスプレイパネル１６０には、描画データに基づくＧＵＩ操作部又は画像等が表示される。
　アプリケーションプロセッサ２２０は、スマートフォン端末機１００の利用者が操作するのに必要なＧＵＩ操作部、画像、文字、記号、図形等を表す描画データをドライバＩＣ１６１に出力する。
　また、アプリケーションプロセッサ２２０は、スマートフォン端末機１００が触感データを生成するアプリケーションプログラムを含む場合は、画像データ等に基づき、触感データを生成する。この場合に、アプリケーションプロセッサ２２０は、触感データ生成部の一例である。
　通信プロセッサ２３０は、アンテナ装置５００(図６参照)による通信と、アンテナ装置５０１を用いたWiFi、Bluetooth（登録商標）、又は非接触近距離通信等の近距離無線通信とを行うために必要な処理を実行する。通信プロセッサ２３０は、送信部又は受信部として機能する。なお、図７では、アンテナ装置５００と、近距離無線通信に必要なアンテナ装置５０１とを省略する。
　駆動制御部２４０は、振幅を表す振幅データを振幅変調器３２０に出力する。振幅データは、振動素子１４０の駆動に用いる駆動信号の強度を調整するための振幅値を表すデータである。振幅を表す振幅データは、メモリ２５０に格納しておけばよい。
　また、実施の形態のスマートフォン端末機１００は、利用者の指先がトップパネル１２０の表面に沿って移動したときに、指先に掛かる動摩擦力を変化させるためにトップパネル１２０を振動させる。
　トップパネル１２０の表面に触れた指先を移動させる操作入力の種類としては、例えば、所謂フリック操作、スワイプ操作、及びドラッグ操作がある。
　フリック操作は、指先をトップパネル１２０の表面に沿って、はじく（スナップする）ように比較的短い距離移動させる操作である。スワイプ操作は、指先をトップパネル１２０の表面に沿って掃くように比較的長い距離移動させる操作である。また、ドラッグ操作は、例えば、ディスプレイパネル５１０に表示されたボタン等をスライドさせる場合に、ボタン等を選択しながら指先をトップパネル１２０の表面に沿って移動させる操作である。
　ここで一例として挙げるフリック操作、スワイプ操作、及びドラッグ操作のように、トップパネル１２０の表面に触れた指先を移動させる操作入力は、ディスプレイパネル１６０に表示されるＧＵＩ操作部等の種類によって使い分けられる。
　また、駆動制御部２４０は、上述のような処理に加えて、位置データの時間的変化度合に応じて振幅値を設定してもよい。
　ここで、位置データの時間的変化度合としては、利用者の指先がトップパネル１２０の表面に沿って移動する速度を用いる。利用者の指先の移動速度は、ドライバＩＣ１５１から入力される位置データの時間的な変化度合に基づいて、駆動制御部２４０が算出すればよい。
　実施の形態のスマートフォン端末機１００は、一例として、指先の移動速度に関わらずに利用者が指先から感知する触感を一定にするために、移動速度が高いほど振幅値を小さくし、移動速度が低いほど振幅値を大きくする。
　このような振幅値を表す振幅データと移動速度との関係を表すデータは、メモリ２５０に格納しておけばよい。
　なお、ここでは、振幅値を表す振幅データと移動速度との関係を表すデータを用いて移動速度に応じた振幅値を設定する形態について説明するが、次式（３）を用いて振幅値Ａを算出してもよい。式（３）で算出される振幅値Ａは、移動速度が高いほど小さくなり、移動速度が低いほど大きくなる。
Figure JPOXMLDOC01-appb-M000003
 　ここで、Ａ０は振幅の基準値であり、Ｖは指先の移動速度であり、ａは所定の定数である。式（３）を用いて振幅値Ａを算出する場合は、式（３）を表すデータと、振幅の基準値Ａ０と所定の定数ａを表すデータとをメモリ２５０に格納しておけばよい。
　駆動制御部２４０は、移動速度が所定の閾値速度以上になったときに、振動素子１４０を振動させる。
　従って、駆動制御部２４０が出力する振幅データが表す振幅値は、移動速度が所定の閾値速度未満のときはゼロであり、移動速度が所定の閾値速度以上になると、移動速度に応じて所定の振幅値に設定される。移動速度が所定の閾値速度以上のときには、移動速度が高いほど振幅値は小さく設定され、移動速度が低いほど振幅値は大きく設定される。
　メモリ２５０は、操作入力が行われるＧＵＩ操作部等を表す座標データと、振幅データを表すパターンデータとを関連付けたデータを格納する。
　正弦波発生器３１０は、トップパネル１２０を固有振動数で振動させるための駆動信号を生成するのに必要な正弦波を発生させる。例えば、トップパネル１２０を３３．５ｋＨｚの固有振動数ｆで振動させる場合は、正弦波の周波数は、３３．５ｋＨｚとなる。正弦波発生器３１０は、超音波帯の正弦波信号を振幅変調器３２０に入力する。
　振幅変調器３２０は、駆動制御部２４０から入力される振幅データを用いて、正弦波発生器３１０から入力される正弦波信号の振幅を変調して駆動信号を生成する。振幅変調器３２０は、基本的な動作としては、正弦波発生器３１０から入力される超音波帯の正弦波信号の振幅を変調し、周波数及び位相は変調せずに、駆動信号を生成する。
　このため、振幅変調器３２０が出力する駆動信号は、正弦波発生器３１０から入力される超音波帯の正弦波信号の振幅のみを変調した超音波帯の正弦波信号である。なお、振幅データがゼロの場合は、駆動信号の振幅はゼロになる。これは、振幅変調器３２０が駆動信号を出力しないことと等しい。
　また、振幅変調器３２０は、正弦波発生器３１０から入力される超音波帯の正弦波信号を、可聴帯域の正弦波の信号を用いて変調することもできる。この場合は、振幅変調器３２０が出力する駆動信号は、超音波帯の駆動信号に、可聴帯域の駆動信号を重畳したものとなり、振幅は振幅変調器３２０によって設定される。
　次に、図８を用いて、メモリ２５０に格納されるデータについて説明する。
　図８は、メモリ２５０に格納されるデータを示す図である。
　図８の（Ａ）に示すデータは、ＩＤ（IDentification）、画像データ、座標データ、及び振幅データを関連付けた触感データである。
　ＩＤは、触感データの識別子である。図８の（Ａ）には、ＩＤの一例として、００１、００２、００３、００４・・・を示す。
　画像データは、図１に示すイルカの画像５１０Ａのような対象有体物の画像を表すデータである。図８の（Ａ）には、Ｉ００１、Ｉ００２、Ｉ００３、Ｉ００４、・・・の画像データを示す。
　座標データは、画像データの中における画像の座標を表すデータである。例えば、座標は、ピクセル毎に割り当てられてもよいし、一定数のピクセルを１つの単位領域として各単位領域に割り当てられてもよい。図８の（Ａ）には、f1~f4の座標データを示す。
　振幅データは、振動素子１４０の駆動に用いる駆動信号の強度を調整するための振幅値を表すデータであり、各座標データで表される領域に割り当てられる。図８の（Ａ）には、振幅データＡ１（Ｘ，Ｙ）、Ａ２（Ｘ、Ｙ）、Ａ３（Ｘ、Ｙ）、Ａ４（Ｘ、Ｙ）を示す。
　なお、各座標データで表される領域に割り当てられる振幅データの振幅値は、例えば、３Ｄスキャン等で対象有体物の実物の表面の形状及び凹凸等を計測し、計測値に応じて、トップパネル１２０の超音波帯の固有振動によって利用者の指先に対象有体物の形状及び凹凸等を知覚させることができるような振幅値に設定すればよい。
　図８の（Ｂ）に示すデータは、振幅値の増幅率を表す増幅率データと、移動速度とを関連付けたデータである。図８の（Ｂ）に示すデータによれば、移動速度Ｖが０以上ｂ１未満（０≦Ｖ＜ｂ１）のときは増幅率を０に設定し、移動速度Ｖがｂ１以上ｂ２未満（ｂ１≦Ｖ＜ｂ２）のときは増幅率をＧ１に設定し、移動速度Ｖがｂ２以上ｂ３未満（ｂ２≦Ｖ＜ｂ３）のときは、増幅率をＧ２に設定することになる。
　例えば、指先の移動速度に関わらずに利用者が指先から感知する触感を一定にするために、移動速度が高いほど図８の（Ｂ）に示す増幅率データを用いて振幅値を小さくし、移動速度が低いほど増幅率データを用いて振幅値を大きくすることができる。
　なお、実施の形態では、利用者Ａが保持する画像に基づいて利用者Ａのスマートフォン端末機の内部又はサーバで生成される触感データを利用者Ｂのスマートフォン端末機に送信する。
　スマートフォン端末機の種類が異なれば、画像データを表示するディスプレイパネルの寸法、タッチパネルの寸法、ディスプレイパネル及びタッチパネルにおける座標、及び固有振動数が異なる。
　このため、触感データは、利用するスマートフォン端末機の寸法、座標、及び固有振動数等に応じて生成すればよい。
　図９は、実施の形態のスマートフォン端末機１００に利用者が操作入力を行った場合における振動素子１４０の駆動パターンを示す図である。
　図９の（Ａ）には、利用者の指先がスマートフォン端末機１００のトップパネル１２０に触れて、ディスプレイパネル１６０に表示されている画像５１０Ａをなぞる様子を示す。
　図９の（Ｂ）において、横軸は図９の（Ａ）において利用者の指先が画像５１０Ａをなぞる方向における位置を示し、縦軸は駆動信号の振幅を示す。ここでは、横軸方向に点Ａ～Ｄを示す。図９の（Ｂ）は、利用者の指先が画像５１０Ａをなぞる場合の駆動パターンの一例を示す。
　図９において、点Ａで操作入力が開始されるが、点Ａはイルカを表す画像５１０Ａの領域外であるため、この時点では駆動制御部２４０は振動素子１４０を駆動しない。このため、振幅は０である。
　利用者の指先が移動して点Ｂに達すると、点Ｂはイルカを表す画像５１０Ａの領域内であるため、駆動制御部２４０は、触感データに基づいて振動素子１４０を駆動する。触感データは、図８の（Ａ）に示すように、座標データと振幅データを含むため、駆動制御部２４０は、ドライバＩＣ１５１から入力される位置データに対応する振幅データを出力する。
　このような駆動制御部２４０の処理により、操作入力の位置が点Ｂから点Ｃまで移動すると、点Ｂから振幅が急激に大きくなり、その後振幅が小さくなった後、点Ｃに向けて振幅が増大し、さらに、点Ｃの直前から振幅が小さくなるような駆動パターンで振動素子１４０が駆動される。
　このような点Ｂと点Ｃとの間の駆動パターンは、指先にかかる動摩擦力が点Ｂから急激に低下し、その後振幅の減少に伴って動摩擦力が増大し、点Ｃに向けて振幅が増大するに伴って再び動摩擦力が低下し、さらに、点Ｃの直前から振幅が小さくなるに伴って動摩擦力が増大するような触感を指先に提供する。
　このような触感は、実物のイルカの表面に人間が触れたときに、ツルッと指先が滑るような触感を再現したものである。
　利用者の指先の位置が点Ｃを過ぎると、操作入力の位置はイルカを表す画像５１０Ａの領域外にあるため、駆動制御部２４０は振動素子１４０を停止する。このため、点Ｃから点Ｄまでの間は、振幅が０になる。
　このような駆動パターンは、周波数が３５ｋＨｚで、振幅データに基づいて振幅を変化させる駆動信号を表す。
　操作入力の位置が画像５１０Ａの表示領域に到達すると、振動素子１４０がオンになり、利用者の指先にかかる動摩擦係数はスクイーズ効果によって低下し、指先はトップパネル１２０の表面を移動しやすい状態になる。
　また、操作入力の位置が画像５１０Ａの表示領域に到達すると、駆動制御部２４０は振動素子１４０をオフにする。振動素子１４０をオフにすることは、駆動制御部２４０が振幅データを０にすることによって行えばよい。
　振動素子１４０がオフにされると、トップパネル１２０の超音波帯の固有振動がオフにされるため、利用者の指先にかかる動摩擦力は増大し、利用者は指先の滑り難さ、あるいは、引っ掛かる感じを知覚することになる。そして、指先が滑りにくくなることにより、動摩擦力が高くなるときに、トップパネル１２０の表面に凸部が存在するように感じる。
　図１０は、実施の形態のスマートフォン端末機１００の駆動制御部２４０が実行する処理を示すフローチャートを示す図である。
　駆動制御部２４０は、まず、操作入力があるかどうかを判定する（ステップＳ１）。操作入力の有無は、ドライバＩＣ１５１（図７参照）から位置データが入力されるかどうかで判定すればよい。
　駆動制御部２４０は、操作入力があったと判定すると（Ｓ１：ＹＥＳ）、操作入力の位置が画像５１０Ａの表示領域内であるかどうかを判定する（ステップＳ２）。画像５１０Ａの表示領域内であるかどうかで、振動素子１４０の駆動状態（オン／オフ）が異なるからである。
　駆動制御部２４０は、画像５１０Ａの表示領域内である（Ｓ２：ＹＥＳ）と判定すると、フローをステップＳ３に進行させる。
　駆動制御部２４０は、触感データを用いて振動素子１４０を駆動する（ステップＳ３）。駆動制御部２４０は、ドライバＩＣ１５１から入力される位置データに対応する振幅データを触感データから抽出し、出力する。これにより、振幅データに基づく振動素子１４０の駆動が行われる。
　次いで、駆動制御部２４０は、操作入力があるかどうかを判定する（ステップＳ４）。操作入力の有無は、ドライバＩＣ１５１（図７参照）から位置データが入力されるかどうかで判定すればよい。
　駆動制御部２４０は、操作入力があったと判定すると（Ｓ４：ＹＥＳ）、フローをステップＳ２にリターンする。
　一方、駆動制御部２４０は、操作入力がないと判定すると（Ｓ４：ＮＯ）、一連の処理を終了する（エンド）。操作入力がない場合は、利用者が操作を行っていない場合であるため、振動素子１４０を駆動する必要がないからである。
　なお、駆動制御部２４０は、ステップＳ２において、操作入力の位置が画像５１０Ａの表示領域の内部にない（Ｓ２：ＮＯ）と判定すると、フローをステップＳ４に進行させる。ステップＳ４で操作入力の有無を判定し、操作入力があればフローをステップＳ２にリターンする。
　図１１は、実施の形態のスマートフォン端末機１００の利用者Ａが送信した触感データが他の利用者Ｂによって受信されるまでの手順を示す図である。
　利用者Ａのスマートフォン端末機１０１と、利用者Ｂのスマートフォン端末機１０２とは、ともにネットワーク７５０を介してサーバ７００に接続されている。すなわち、スマートフォン端末機１０１及び１０２は、ネットワーク７５０及びサーバ７００を介して、互いに通信可能な状態で接続されている。
　なお、一例として、スマートフォン端末機１０１及び１０２は同一の機種であり、図６に示すスマートフォン端末機１００と同様であることとする。ここで、スマートフォン端末機１０１は、第１携帯電子端末機の一例であり、スマートフォン端末機１０２は、第２携帯電子端末機の一例である。
　ここで、サーバ７００は、処理部７０１、受信部７０２、送信部７０３、及びメモリ７０４を含む。処理部７０１は、サーバ７００におけるデータの送受信の制御、データの処理、及びデータの管理等を行う部分であり、ＣＰＵコア等によって実現される。サーバ７００は、触感データ処理装置の一例である。
　受信部７０２は、サーバ７００がネットワーク７５０を介してデータを受信する際のインターフェイスになる部分である。受信部７０２は、データ受信部の一例である。送信部７０３は、サーバ７００がネットワーク７５０を介してデータを送信する際のインターフェイスになる部分である。送信部７０３は、データ送信部の一例である。メモリ７０４は、サーバ７００で取り扱うデータを格納する。
　まず利用者Ａは、図１０に示すように、スマートフォン端末機１０１に保存された触感データ９００を選択して電子メールに添付し、ネットワーク７５０を介してサーバ７００に送信する。電子メールの宛先は利用者Ｂである。サーバ７００の受信部７０２は、触感データ９００が添付された電子メールを受信し、送信部７０３は、電子メールを利用者Ｂに送信する。
　利用者Ｂは、ネットワーク７５０を介して触感データが添付された電子メールをサーバ７００から受信し、内部のメモリに保存する。これにより、利用者Ｂは、スマートフォン端末機１０２で、触感データ９００による触感を楽しむことができる。
　なお、ここでは、電子メールに触感データ９００を添付して送信する携帯について説明したが、利用者Ａから利用者Ｂにネットワーク７５０及びサーバ７００を介して触感データ９００を送信する形態は、電子メールへの添付以外の形態であってもよい。電子メールに添付すること以外の形態としては、例えば、ＳＮＳ（Social Networking Service）を利用して、利用者Ａが利用者Ｂに触感データ９００を送信してもよい。
　ここで、利用者Ａからネットワーク７５０を介してサーバ７００に送信される触感データ９００は、第１データの一例である。
　また、スマートフォン端末機１０１及び１０２の機種が異なる場合は、スマートフォン端末機１０１からサーバ７００に送信される触感データ９００を処理部７０１でスマートフォン端末機１０２のために最適化する変換処理を行った上で、変換処理が行われた触感データをスマートフォン端末機１０２に送信すればよい。
　なお、以上のように、利用者Ａがスマートフォン端末機１０１に触感データ９００を保持するには、例えば、スマートフォン端末機１０１が触感データ９００を生成するアプリケーションプログラムを含んでいればよい。ここで、図１２を用いて、利用者Ａがスマートフォン端末機１０１で触感データ９００を生成する手順について説明する。
　図１２は、利用者Ａがスマートフォン端末機１０１で触感データ９００を生成する様子を示す図である。
　図１２（Ａ）は、触感データ９００を生成するアプリケーションプログラムを実行している際のスマートフォン端末機１０１のディスプレイパネル１６０の表示を示す。図１２（Ａ）に示すように、ディスプレイパネル１６０には、画像５１０Ａ、領域選択ボタン６０１、変換ボタン６０２、触感選択ボタン６０３Ａ、６０３Ｂ、６０３Ｃ、振動レベル設定ボタン６０４Ａ、６０４Ｂ、６０４Ｃ、及び自動ボタン６０５が表示されている。これらのボタンは、ＧＵＩ部品によって実現されている。
　利用者Ａは、スマートフォン端末機１０１のタッチパネル１５０を操作して、触感データ９００（図１１参照）を作成したい写真を選択する。例えば、選択した写真のうち、触感データ９００を作成したい領域をドラッグして選択し、領域選択ボタン６０１を操作して確定する。図１２（Ａ）では、イルカの画像５１０Ａが選択されて、領域選択ボタン６０１が操作されたとする。
　利用者は、触感選択ボタン６０３Ａ、６０３Ｂ、６０３Ｃのいずれかを操作し触感を選択し、振動レベル設定ボタン６０４Ａ、６０４Ｂ、６０４Ｃのいずれかを選択して振動のレベルを選択する。
　ここで、触感選択ボタン６０３Ａ、６０３Ｂ、６０３Ｃは、それぞれ、つるつる、ざらざら、がたがたの触感を選択するＧＵＩボタンである。振動レベル設定ボタン６０４Ａ、６０４Ｂ、６０４Ｃは、それぞれ、振動のレベルを強い、普通、弱いの３段階で選択するボタンである。なお、振動レベルの選択は、スマートフォン端末機１０１が振動素子１４０を駆動する際に、増幅率（図８の（Ｂ）参照）を選択することで実現されてもよい。
　利用者は、触感と振動のレベルの選択が完了した後に、変換ボタン６０２を操作することで、画像５１０Ａのデータと、触感及び振動のレベルを表すデータとに基づき、アプリケーションプログラムが図１２（Ｂ）に示すように触感データ９００を作成する。
　また、触感データは自動モードで作成することもできる。利用者が画像５１０Ａを選択して自動ボタン６０５を操作して変換ボタン６０２を操作すると、触感データ９００を生成するアプリケーションプログラムが、画像５１０Ａに対して二値化処理等の画像処理を行うことによってパターン化し、二値化されたデータに応じて振動パターンを自動的に計算して触感データを作成する。
　このように触感データを自動的に作成することも可能である。図１２（Ｂ）には、イルカの画像データ、振幅データ、及び座標データｆ（Ｘ，Ｙ）を含む触感データ９００が生成された様子を模式的に示す。
　図１３は、スマートフォン端末機１０１からサーバ７００に送信された画像データに基づいてサーバ７００で触感データが作成され、スマートフォン端末機１０１及び１０２に送信される際の手順を説明する図である。
　図１３に示すスマートフォン端末機１０１にインストールされている触感データ９００を作成するアプリケーションプログラムは、スマートフォン端末機１０１の内部で触感データ９００を作成するのではなく、サーバ７００で触感データを生成する機能を有するアプリケーションプログラムである。
　図１３には、利用者Ａが画像５１０Ａを選択してサーバ７００に送り、サーバ７００で触感データ９００が生成され、触感データ９００が利用者Ｂに送信される手順を示す。なお、この場合に、利用者Ａが触感データ９００の送信先として、利用者Ｂに加えて自分をＣＣ（Carbon Copy）に含ませておけば、触感データ９００は利用者Ａにも送信される。
　図１４は、図１３に示す手順の詳細をより具体的に示す図である。
　図１４に示すスマートフォン端末機１０１は、触感データを作成するためのアプリケーションを実行している。ディスプレイパネル１６０には、画像５１０Ａ、領域選択ボタン６０１、送信ボタン６０２Ａ、触感選択ボタン６０３Ａ、６０３Ｂ、６０３Ｃ、振動レベル設定ボタン６０４Ａ、６０４Ｂ、６０４Ｃ、及び自動ボタン６０５が表示されている。これらのボタンは、ＧＵＩ部品によって実現されている。
　利用者Ａは、スマートフォン端末機１０１のタッチパネル１５０を操作して、触感データを作成したい写真を選択する。例えば、選択した写真のうち、触感データを作成したい領域をドラッグして選択し、領域選択ボタン６０１を操作して確定する。図１３では、イルカの画像５１０Ａが選択されて、領域選択ボタン６０１が操作されたとする。
　利用者Ａは、触感選択ボタン６０３Ａ、６０３Ｂ、６０３Ｃのいずれかを操作し触感を選択し、振動レベル設定ボタン６０４Ａ、６０４Ｂ、６０４Ｃのいずれかを選択して振動のレベルを選択する。
　ここで、触感選択ボタン６０３Ａ、６０３Ｂ、６０３Ｃは、それぞれ、つるつる、ざらざら、がたがたの触感を選択するＧＵＩボタンである。振動レベル設定ボタン６０４Ａ、６０４Ｂ、６０４Ｃは、それぞれ、振動のレベルを強い、普通、弱いの３段階で選択するボタンである。なお、振動レベルの選択は、触感提供装置１００が振動素子１４０を駆動する際に、増幅率（図７の（Ｂ）参照）を選択することで実現されてもよい。
　利用者Ａは、触感と振動のレベルの選択が完了した後に、触感データの送信先を特定する。ここでは、送信先は、利用者Ｂであり、ＣＣに利用者Ａが設定されることとする。
　利用者Ａが送信ボタン６０２Ａを操作することで、画像５１０Ａのデータと、触感及び振動のレベルを表すデータがネットワークを介してサーバ７００に送信され、受信部７０２によって受信される。そして、サーバ７００の処理部７０１で触感データが作成される。
　サーバ７００では、画像５１０Ａのデータに対して、二値化処理等の画像処理によるパターン化が行われ、二値化されたデータに応じて振動パターンを自動的に計算して触感データ９００が作成される。
　そして、サーバ７００の送信部７０３は、利用者Ｂに触感データ９００を送信するとともに、ＣＣで触感データ９００を利用者Ａに送信する。利用者Ａ、Ｂは、それぞれ、触感データ９００をスマートフォン端末機１０１及び１０２のメモリに保存すればよい。
　なお、スマートフォン端末機１０１、サーバ７００、及びスマートフォン端末機１０２の間でのデータの送信は、電子メールに添付することによって送ってもよいし、その他の形態でデータを送信するようにしてもよい。
　また、スマートフォン端末機１０１及び１０２の機種が異なる場合は、スマートフォン端末機１０１からサーバ７００に送信される触感データ９００を処理部７０１でスマートフォン端末機１０２のために最適化する変換処理を行った上で、変換処理が行われた触感データをスマートフォン端末機１０２に送信すればよい。
　この場合には、ＣＣでスマートフォン端末機１０１に送信される触感データ９００と、スマートフォン端末機１０２に送信される変換処理が行われた触感データとは、振幅データの振幅値、及び／又は、座標データ等が異なることになる。
　なお、ここでは、スマートフォン端末機１０１からサーバ７００に送信された画像データに基づいてサーバ７００で触感データが作成される形態について説明した。スマートフォン端末機１０１からサーバ７００に送信される画像データは、第１データの一例である。
　しかしながら、スマートフォン端末機１０１からサーバ７００に画像データを送信する代わりに、サーバ７００に保存されている画像データを特定するデータがスマートフォン端末機１０１からサーバ７００に送信されてもよい。この場合には、画像データを特定するデータが第１データの一例である。
　図１５は、利用者Ａがスマートフォン端末機１０１で近距離無線通信によって触感データ９００を利用者Ｂのスマートフォン端末機１０２に送信する様子を示す図である。
　図１５には、触感データ９００を生成するアプリケーションプログラムを実行している際のスマートフォン端末機１０１のディスプレイパネル１６０の表示を示す。これは、図１２（Ａ）に示す状態と同様である。
　利用者Ａは、図１２（Ａ）で説明した手順と同様の手順によって、アプリケーションプログラムで触感データ９００を作成する。
　そして、通信プロセッサ２３０による近距離無線通信を起動し、利用者Ｂのスマートフォン端末機１０２に触感データを送信する。例えば、Bluetoothを起動して触感データをスマートフォン端末機１０１からスマートフォン端末機１０２に送信すればよい。
　このように、スマートフォン端末機１０１は、ネットワーク７５０及びサーバ７００を介してのデータ送信だけでなく、Bluetooth等のような近距離無線通信で触感データをスマートフォン端末機１０２に送信することができる。なお、スマートフォン端末機１０１と１０２をＵＳＢ(Universal Serial Bus)ケーブルで接続して、ＵＳＢケーブルを介して触感データ９００を送信してもよい。
　以上、実施の形態のスマートフォン端末機１００によれば、トップパネル１２０の超音波帯の固有振動を発生させて利用者の指先に掛かる動摩擦力を変化させるので、利用者に良好な触感を提供することができる。
　また、実施の形態のスマートフォン端末機１００は、画像データの中における画像の座標を表す座標データと、振動素子１４０の駆動に用いる駆動信号の強度を調整するための振幅値を表す振幅データを関連付けた触感データを用いて、操作入力の位置に応じた振幅データを出力する。
　このため、利用者がスマートフォン端末機１００のディスプレイパネル１６０に表示される対象有体物の画像をなぞることにより、対象有体物の実物の表面をなぞっているような触感を利用者に提供することができる。
　特に、対象有体物が、美術品又は工芸品等で実物に触れることができない場合は、実施の形態のスマートフォン端末機１００を用いることによって触感を疑似的に体験できるので、有用性は高い。
　また、実施の形態のスマートフォン端末機１００（図１乃至図３参照）は、正弦波発生器３１０で発生される超音波帯の正弦波の振幅のみを振幅変調器３２０で変調することによって駆動信号を生成している。正弦波発生器３１０で発生される超音波帯の正弦波の周波数は、トップパネル１２０の固有振動数に等しく、また、この固有振動数は振動素子１４０を加味して設定している。
　すなわち、正弦波発生器３１０で発生される超音波帯の正弦波の周波数又は位相を変調することなく、振幅のみを振幅変調器３２０で変調することによって駆動信号を生成している。
　従って、トップパネル１２０の超音波帯の固有振動をトップパネル１２０に発生させることができ、スクイーズ効果による空気層の介在を利用して、指でトップパネル１２０の表面をなぞったときの動摩擦係数を確実に低下させることができる。また、Sticky-band Illusion効果、又は、Fishbone Tactile Illusion効果により、トップパネル１２０の表面に凹凸が存在するような良好な触感を利用者に提供することができる。
　また、以上では、トップパネル１２０に凹凸が存在するような触感を利用者に提供するために、振動素子１４０のオン／オフと振幅を切り替える形態について説明した。振動素子１４０をオフにするとは、振動素子１４０を駆動する駆動信号が表す振幅値をゼロにすることである。
　しかしながら、このような触感を提供するために、必ずしも振動素子１４０をオンからオフにする必要はない。例えば、振動素子１４０のオフの状態の代わりに、振幅を小さくして振動素子１４０を駆動する状態を用いてもよい。例えば、振幅を１／５程度に小さくすることにより、振動素子１４０をオンからオフにする場合と同様に、トップパネル１２０に凹凸が存在するような触感を利用者に提供してもよい。
　この場合は、振動素子１４０の振動の強弱を切り替えるような駆動信号で振動素子１４０を駆動することになる。この結果、トップパネル１２０に発生する固有振動の強弱が切り替えられ、利用者の指先に凹凸が存在するような触感を提供することができる。
　振動素子１４０の振動の強弱を切り替えるために、振動を弱くする際に振動素子１４０をオフにすると、振動素子１４０のオン／オフを切り替えることになる。振動素子１４０のオン／オフを切り替えることは、振動素子１４０を断続的に駆動することである。
　また、実施の形態によれば、利用者Ａのスマートフォン端末機１０１に格納された画像５１０Ａのデータに基づいて生成される触感データ９００を利用者Ｂのスマートフォン端末機１０２に送信することができる。
　触感データ９００は、スマートフォン端末機１０１の内部において、アプリケーションプログラムを実行することによって生成してもよいし、サーバ７００で生成してもよい。
　また、送信経路は、ネットワーク７５０及びサーバ７００を経由する経路であってもよく、また、ネットワーク７５０及びサーバ７００を経由せずに、近距離無線通信でスマートフォン端末機１０１からスマートフォン端末機１０２に直接的に送信する経路であってもよい。
　以上、実施の形態によれば、良好な触感を提供できるスマートフォン端末機１００を提供することができる。
　なお、以上では、イルカの触感を提供する形態について説明したが、対象有体物は、様々な美術品、博物品、工芸品、絵画、書物、仏像、銅像、石像、生物、自然物、人造物等のあらゆる有体物であってもよい。
　また、スマートフォン端末機１００は、利用者が個人的に所有して、あらゆる場所で利用することができるが、このような形態に限られず、博物館、美術館、学校、図書館、商業施設等の様々な場所に設置してもよい。
　また、以上では、携帯電子端末機の一例としてのスマートフォン端末機１００、１０１、１０２について説明したが、携帯電子端末機は、タブレット型のコンピュータ、又は、ゲーム機等であってもよい。
　以下、スマートフォン端末機１００の変形例等について説明する。
　図１６は、実施の形態の第１変形例のスマートフォン端末機１００Ａを示す図である。
　スマートフォン端末機１００Ａは、図１乃至図３に示すスマートフォン端末機１００に対して、ヒータ１８０を追加したものである。その他の構成は、図１乃至図３に示すスマートフォン端末機１００と同様である。
　ヒータ１８０（図１６参照）は、トップパネル１２０の表面の温度を制御できるように、トップパネル１２０の裏面側に配設されている。説明の便宜上、図１６にはヒータ１８０として１本の電熱線を示すが、ヒータ１８０は、トップパネル１２０の一面にわたって設けられていてもよい。また、ヒータ１８０は、タッチパネル１５０の裏側、又は、ディスプレイパネル１６０の裏側に設けられていてもよい。また、ヒータ１８０は、抵抗型の透明導電膜、又は、ニッケル合金等の合金ヒータ等であってもよい。例えば、ヒータ１８０は、室温から６０℃程度まで温度を上昇させることができればよい。
　また、ヒータ１８０の代わりに、あるいは、ヒータ１８０に加えて、ペルチェ素子のように温度を室温よりも下げることができる素子を用いてもよい。
　例えば、対象有体物として、暖かいものを表示する場合には、振動による触感に加えて暖かさを利用者に知覚させることにより、より現実味のある触感を利用者に提供することができる。一方、冷たいものを表示する場合には、振動による触感に加えて冷たさを利用者に知覚させることにより、より現実味のある触感を利用者に提供することができる。
　なお、ヒータ１８０の設定温度は、対象有体物の種類によって予めある一定の温度にしてもよいし、部位によって温度分布のある対象有体物の触感を提供する場合は、複数のヒータ１８０を設けるとともに、各ヒータ１８０の設定温度を表す温度データを触感データに追加して、対象有体物の温度分布を表現してもよい。
　図１７は、実施の形態の第２変形例のスマートフォン端末機１００Ｂを示す図である。
　スマートフォン端末機１００Ｂは、図１乃至図３に示すスマートフォン端末機１００に対して、アクチュエータ１９０を追加したものである。その他の構成は、図１乃至図３に示すスマートフォン端末機１００と同様である。
　アクチュエータ１９０は、筐体１１０の裏面側（Ｚ軸負方向側）に設けられており、例えば、平面視で四隅に一つずつ配設される。アクチュエータ１９０は、例えば、可聴帯域の周波数の駆動信号で駆動される。
　アクチュエータ１９０は、例えば、サーボモータやステッピングモータを用いたリニアアクチュエータなどが利用でき、スマートフォン端末機１００Ｂの全体を振動させる。なお、可聴帯域とは、およそ２０ｋＨｚ未満の周波数帯域であり、ここでは、例えば、数１０Ｈｚオーダの駆動信号でアクチュエータ１９０を駆動させる。このようなアクチュエータ１９０は、例えば、１００μｍ～１ｍｍ程度の変位を発生させることができるものが好ましい。なお、アクチュエータ１９０の駆動は、駆動制御部２４０又は同等の駆動制御部が行えばよい。
　このように、スマートフォン端末機１００Ｂ自体を振動させると、トップパネル１２０の表面に触れる利用者の指先には、振動素子１４０の振動による超音波帯の固有振動と、アクチュエータ１９０による可聴帯域の振動とが合成された振動を提供できる。
　対象有体物の表面の感触によっては、超音波帯の固有振動による定在波の振動に、可聴帯域の振動を加えることにより、より現実味のある触感を提供できる場合がある。
　このような場合に、第２変形例のスマートフォン端末機１００Ｂは有効的である。
　なお、アクチュエータ１９０は、サーボモータやステッピングモータを用いたリニアアクチュエータ以外であってもよく、電気式の駆動素子、油圧式又は空気圧式の駆動素子、圧電アクチュエータ、又は人工筋肉等であってもよい。
　図１８は、実施の形態の第３変形例のスマートフォン端末機１００Ｃを示す図である。図１８に示す断面は、図３に示すＡ－Ａ矢視断面に対応する断面である。図１８では図３と同様に直交座標系であるＸＹＺ座標系を定義する。
　スマートフォン端末機１００Ｃは、筐体１１０Ｃ、トップパネル１２０、パネル１２０Ｃ、両面テープ１３０、振動素子１４０、タッチパネル１５０、ディスプレイパネル１６０Ｃ、及び基板１７０を含む。
　スマートフォン端末機１００Ｃは、図３に示すスマートフォン端末機１００のタッチパネル１５０を裏面側（Ｚ軸負方向側）に設けた構成を有する。このため、図３に示すスマートフォン端末機１００と比べると、両面テープ１３０、振動素子１４０、タッチパネル１５０、及び基板１７０が裏面側に配設されている。
　筐体１１０Ｃには、Ｚ軸正方向側の凹部１１１と、Ｚ軸負方向側の凹部１１１Ｃとが形成されている。凹部１１１の内部には、ディスプレイパネル１６０Ｃが配設され、トップパネル１２０で覆われている。また、凹部１１１Ｃの内部には、基板１７０とタッチパネル１５０が重ねて設けられ、パネル１２０Ｃは両面テープ１３０で筐体１１０Ｃに固定され、パネル１２０ＣのＺ軸正方向側の面には、振動素子１４０が設けられている。
　図１８に示すスマートフォン端末機１００Ｃにおいて、パネル１２０Ｃへの操作入力に応じて、振動素子１４０のオン／オフを切り替えることによってパネル１２０Ｃに超音波帯の固有振動を発生させれば、図３に示すスマートフォン端末機１００と同様に、利用者が指先の感覚でディスプレイパネル１６０Ｃに表示される絵文字（商品）の入れ替えを知覚できるスマートフォン端末機１００Ｃを提供することができる。
　このようなスマートフォン端末機１００Ｃを図１乃至図３に示すスマートフォン端末機１００の代わりに用いてもよい。なお、図１８には、裏面側にタッチパネル１５０を設けたスマートフォン端末機１００Ｃを示すが、図３に示す構造と図１８に示す構造とを合わせて、表面側と裏面側とにそれぞれタッチパネル１５０を設けてもよい。
　図１９は、実施の形態の第４変形例のスマートフォン端末機１００Ｄの動作状態を示す平面図である。
　スマートフォン端末機１００Ｄは、筐体１１０Ｄ、トップパネル１２０Ｄ、両面テープ１３０Ｄ、振動素子１４０Ｄ、タッチパネル１５０Ｄ、ディスプレイパネル１６０Ｄ、及び基板１７０Ｄを含む。
　図１９に示すスマートフォン端末機１００Ｄは、トップパネル１２０Ｄが曲面ガラスであること以外は、図３に示す実施の形態のスマートフォン端末機１００の構成と同様である。
　トップパネル１２０Ｄは、平面視における中央部がＺ軸正方向側に突出するように湾曲している。図１９には、トップパネル１２０ＤのＹＺ平面における断面形状を示すが、ＸＺ平面における断面形状も同様である。
　このように、曲面ガラスのトップパネル１２０Ｄを用いることにより、良好な触感を提供できる。特に、対象有体物の表面が湾曲している場合に有効的である。
　図２０は、スマートフォン端末機１０２に近距離無線通信装置８００を介して触感提供装置３００Ａを接続した状態を示す図である。
　触感提供装置３００Ａは、スマートフォン端末機１００から図６に示す通信機能を実現する構成要素を取り除いた装置であり、内部構成は、図７に示す触感提供装置３００と同様である。
　利用者Ｂは、図２０に示すように、スマートフォン端末機１０２を近距離無線通信装置８００にかざし、好みの触感データをスマートフォン端末機１０２から近距離無線通信装置８００に送信する。
　近距離無線通信装置８００は、例えば、Bluetooth（登録商標）等のように無線状態でスマートフォン端末機１０２と通信が可能であり、触感提供装置１００にデータケーブル８１０を介して接続されている。
　図２０では、利用者は、イルカの画像５１０Ａの触感データを近距離無線通信装置８００を介して触感提供装置１００に送信しており、触感提供装置１００のディスプレイパネル１６０にはイルカの画像５１０Ａが表示されている。近距離無線通信装置８００は、入力装置の一例である。
　この状態で、利用者が画像５１０Ａをなぞると、触感提供装置１００が振動することにより、利用者の指先にイルカの表面に触れたような触感を提供することができる。実施の形態の触感提供装置１００を例えば、レストラン又はカフェ等の人が集う場所に設置すれば、利用者は触感提供装置１００を通じて、イルカ５１０の表面に触れたような触感を体感することができる。
　また、このような場合に、スマートフォン端末機１０２と近距離無線通信装置８００との間におけるデータ通信量、近距離無線通信装置８００又は触感提供装置１００の利用回数又は利用時間等に応じて、課金するようにしてもよい。スマートフォン端末機１０２と触感提供装置１００とは、近距離無線通信装置８００を介さず、直接ケーブルを介した有線通信や、フラッシュメモリカードなどの可搬記憶媒体を介してデータの送信を行うことも可能である。例えば、近距離無線通信装置８００に課金装置８２０を接続して、近距離無線通信装置８００の利用回数又は利用時間等に応じて、利用料を課金してもよい。
　このように触感提供装置３００Ａを用いるのは、例えば、スマートフォン端末機１０２よりも触感提供装置３００Ａの方がよりリアリティのある振動を発生できるような場合、又は、スマートフォン端末機１０２が触感提供装置３００（図７参照）の機能を有しない場合である。
　図２１は、触感提供装置３００Ｂの動作状態を示す平面図である。
　触感提供装置３００Ｂは、ディスプレイパネル１６０を含まない点が図２０に示す触感提供装置３００Ａと異なる。また、ディスプレイパネル１６０を含まず、タッチパネル１５０の操作位置に応じた駆動を行わないため、触感データ（図８の（Ａ）参照）は画像データと座標データを含まなくてもよい。
　その他の構成は、図２０に示す触感提供装置３００Ａと同様であるため、同様の構成要素には同一符号を付し、その説明を省略する。
　図２２は、触感提供装置３００Ｂを示す平面図であり、図２３は、図２２に示す触感提供装置３００ＢのＡ－Ａ矢視断面を示す図である。なお、図２２及び図２３では、図示するように直交座標系であるＸＹＺ座標系を定義する。
　触感提供装置３００Ｂは、筐体１１０、トップパネル１２０、両面テープ１３０、振動素子１４０、タッチパネル１５０、及び基板１７０を含む。触感提供装置３００Ｂでは、基板１７０の上にタッチパネル１５０が直接的に搭載されている。
　触感提供装置３００Ｂの駆動制御部２４０は、トップパネル１２０に操作入力が行われると、触感データに基づく振幅の駆動信号を用いて振動素子１４０を駆動する。
　触感提供装置３００Ｂでは、タッチパネル１５０は利用者の操作入力が行われていることと、操作入力の位置の移動を検出するために設けられている。従って、触感提供装置３００Ｂは、トップパネル１２０に操作入力が行われ、操作入力の位置が移動することをドライバＩＣ１５１から出力される位置データに基づいて検出すると、触感データの振幅データを用いて、振動素子１４０を駆動する。
　例えば、触感提供装置３００Ｂにイルカの触感データが入力される場合は、振動素子１４０は、イルカの皮膚の感触を再現する駆動信号で駆動される。例えば、イルカの皮膚の感触だけを振動で再現したいような場合には、ディスプレイパネル１６０を含まない簡易な構成の触感提供装置３００Ｂでも、利用者に良好な触感を提供することができる。
　以上、実施の形態の第５変形例の触感提供装置３００Ｂによれば、トップパネル１２０の超音波帯の固有振動を発生させて利用者の指先に掛かる動摩擦力を変化させるので、利用者に良好な触感を提供することができる。このような触感提供装置３００Ｂは、対象有体物の表面の触感が略一定であるような場合に、有効的である。
　触感提供装置３００Ｂを例えば、レストラン又はカフェ等の人が集う場所に設置すれば、その場に実物のイルカ（図１参照）がなくても、利用者は触感提供装置３００Ｂを通じて、イルカの表面に触れたような触感を提供することができる。
　また、このような場合に、触感提供装置３００Ｂと近距離無線通信装置８００との間におけるデータ通信量、近距離無線通信装置８００又はスマートフォン端末機１００Ｅの利用回数又は利用時間等に応じて、課金するようにしてもよい。スマートフォン端末機１０２と触感提供装置３００Ｂとは、近距離無線通信装置８００を介さず、直接ケーブルを介した有線通信や、フラッシュメモリカードなどの可搬記憶媒体を介してデータの送信を行うことも可能である。
　また、触感提供装置３００Ｂは、タッチパネル１５０を含まずに、トップパネル１２０への接触を検出するセンサを含んでもよい。この場合には、利用者がトップパネル１２０に触れたことをセンサで検出し、振動素子１４０を駆動すればよい。なお、センサとしては、例えば、圧力センサ等を用いることができる。
　なお、上述のようにディスプレイパネル１６０を含まない場合において、トップパネル１２０にマークを表示し、マークの位置の座標データを触感データに含ませることにより、操作入力の位置に応じた振幅を用いて振動素子１４０を駆動してもよい。
　以上、本発明の例示的な実施の形態の触感データ処理装置、携帯電子端末機、触感提供システム、及び触感データ処理方法について説明したが、本発明は、具体的に開示された実施の形態に限定されるものではなく、特許請求の範囲から逸脱することなく、種々の変形や変更が可能である。
　１００、１００Ａ、１００Ｂ、１００Ｃ、１００Ｄ、１０１、１０２　スマートフォン端末機
　１１０、１１０Ｃ、１１０Ｄ　筐体
　１２０、１２０Ｃ、１２０Ｄ　トップパネル
　１３０、１３０Ｄ　両面テープ
　１４０、１４０Ｄ　振動素子
　１５０、１５０Ｄ　タッチパネル
　１６０、１６０Ｃ、１６０Ｄ　ディスプレイパネル
　１７０、１７０Ｄ　基板
　２００　制御部
　２２０　アプリケーションプロセッサ
　２３０　通信プロセッサ
　２４０　駆動制御部
　２５０　メモリ
　３００、３００Ａ、３００Ｂ　触感提供装置
　３１０　正弦波発生器
　３２０　振幅変調器
　７００　サーバ
　７０１　処理部
　７０２　受信部
　７０３　送信部
　７０４　メモリ
　８００　近距離無線通信装置

Claims (7)

  1. 　第１携帯電子端末機と第２携帯電子端末機との間でネットワークを介してデータの送信又は受信を行う触感データ処理装置であって、
    　前記第１携帯電子端末機から対象有体物に関する第１データを受信するデータ受信部と、
    　前記データ受信部が前記第１携帯電子端末機から前記第１データを受信すると、前記第１データに対応する前記対象有体物の触感を表す触感データを前記第２携帯電子端末機に送信するデータ送信部と
    　を含み、
    　前記触感データは、前記対象有体物の画像と、前記画像の中での位置と、前記位置における前記対象有体物の触感に対応する振幅とを関連付けたデータであり、
    　前記触感データは、前記第２携帯電子端末機のタッチパネル、又は、前記第２携帯電子端末機に接続される触感提供装置のタッチパネルに操作入力を行う操作面に超音波帯の固有振動を発生させる振動素子を駆動する駆動信号の振幅を、前記タッチパネルへの操作入力の位置に対応する前記画像の中での位置に前記触感データの内部で関連付けられる振幅に基づいて調整する際に用いられるデータである、触感データ処理装置。
  2. 　前記第１携帯電子端末機は、前記対象有体物に関する前記触感データを生成する触感データ生成部を含み、
    　前記データ受信部は、前記第１携帯電子端末機から前記第１データとして、前記触感データ生成部によって生成される前記触感データを含むデータを受信する、請求項１記載の触感データ処理装置。
  3. 　前記データ受信部が前記第１携帯電子端末機から受信する前記第１データに基づいて、前記触感データを生成する触感データ生成部をさらに含み、
    　前記第１データは、前記対象有体物の前記画像を表す画像データを含み、
    　前記触感データ生成部は、前記画像データに基づいて前記触感データを生成し、
    　前記データ送信部は、前記触感データ生成部によって生成される前記触感データを前記第２携帯電子端末機に送信する、請求項１記載の触感データ処理装置。
  4. 　前記データ送信部は、さらに、前記触感データを前記第１携帯電子端末機にも送信する、請求項３記載の触感データ処理装置。
  5. 　第１携帯電子端末機と、
    　第２携帯電子端末機と、
    　前記第１携帯電子端末機と前記第２携帯電子端末機との間でネットワークを介してデータの送信又は受信を行う触感データ処理装置と
    　を含み、
    　前記触感データ処理装置は、
    　前記第１携帯電子端末機から対象有体物に関する第１データを受信するデータ受信部と、
    　前記データ受信部が前記第１携帯電子端末機から前記第１データを受信すると、前記第１データに対応する前記対象有体物の触感を表す触感データを前記第２携帯電子端末機に送信するデータ送信部と
    　を有し、
    　前記触感データは、前記対象有体物の画像と、前記画像の中での位置と、前記位置における前記対象有体物の触感に対応する振幅とを関連付けたデータであり、
    　前記触感データは、前記第２携帯電子端末機のタッチパネル、又は、前記第２携帯電子端末機に接続される触感提供装置のタッチパネルに操作入力を行う操作面に超音波帯の固有振動を発生させる振動素子を駆動する駆動信号の振幅を、前記タッチパネルへの操作入力の位置に対応する前記画像の中での位置に前記触感データの内部で関連付けられる振幅に基づいて調整する際に用いられるデータである、触感提供システム。
  6. 　前記第１携帯電子端末機は、前記対象有体物に関する前記触感データを生成する触感データ生成部を含み、
    　前記触感データ処理装置の前記データ受信部は、前記第１携帯電子端末機から前記第１データとして、前記触感データ生成部によって生成される前記触感データを含むデータを受信する、請求項５記載の触感提供システム。
  7. 　第１携帯電子端末機と第２携帯電子端末機との間でネットワークを介して触感データ処理装置がデータの送信又は受信を行う触感データ処理方法であって、
    　前記触感データ処理装置は、
    　前記第１携帯電子端末機から対象有体物に関する第１データを受信し、
    　前記第１携帯電子端末機から前記第１データを受信すると、前記第１データに対応する前記対象有体物の触感を表す触感データを前記第２携帯電子端末機に送信し、
    　前記触感データは、前記対象有体物の画像と、前記画像の中での位置と、前記位置における前記対象有体物の触感に対応する振幅とを関連付けたデータであり、
    　前記触感データは、前記第２携帯電子端末機のタッチパネル、又は、前記第２携帯電子端末機に接続される触感提供装置のタッチパネルに操作入力を行う操作面に超音波帯の固有振動を発生させる振動素子を駆動する駆動信号の振幅を、前記タッチパネルへの操作入力の位置に対応する前記画像の中での位置に前記触感データの内部で関連付けられる振幅に基づいて調整する際に用いられるデータである、触感データ処理方法。
PCT/JP2014/069438 2014-07-23 2014-07-23 触感データ処理装置、触感提供システム、及び触感データ処理方法 WO2016013068A1 (ja)

Priority Applications (6)

Application Number Priority Date Filing Date Title
JP2016535573A JPWO2016013068A1 (ja) 2014-07-23 2014-07-23 触感データ処理装置、触感提供システム、及び触感データ処理方法
CN201480080391.0A CN106471437A (zh) 2014-07-23 2014-07-23 触感数据处理装置、触感提供系统以及触感数据处理方法
KR1020177000158A KR20170015467A (ko) 2014-07-23 2014-07-23 촉감 데이터 처리 장치, 촉감 제공 시스템 및 촉감 데이터 처리 방법
EP14898014.7A EP3173904A4 (en) 2014-07-23 2014-07-23 Tactile sensation data processing device, tactile sensation providing system, and tactile sensation data processing method
PCT/JP2014/069438 WO2016013068A1 (ja) 2014-07-23 2014-07-23 触感データ処理装置、触感提供システム、及び触感データ処理方法
US15/380,448 US20170097682A1 (en) 2014-07-23 2016-12-15 Tactile sensation data processing apparatus, tactile sensation providing system, and tactile sensation data processing method

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2014/069438 WO2016013068A1 (ja) 2014-07-23 2014-07-23 触感データ処理装置、触感提供システム、及び触感データ処理方法

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US15/380,448 Continuation US20170097682A1 (en) 2014-07-23 2016-12-15 Tactile sensation data processing apparatus, tactile sensation providing system, and tactile sensation data processing method

Publications (1)

Publication Number Publication Date
WO2016013068A1 true WO2016013068A1 (ja) 2016-01-28

Family

ID=55162624

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/069438 WO2016013068A1 (ja) 2014-07-23 2014-07-23 触感データ処理装置、触感提供システム、及び触感データ処理方法

Country Status (6)

Country Link
US (1) US20170097682A1 (ja)
EP (1) EP3173904A4 (ja)
JP (1) JPWO2016013068A1 (ja)
KR (1) KR20170015467A (ja)
CN (1) CN106471437A (ja)
WO (1) WO2016013068A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20180057013A (ko) * 2016-11-21 2018-05-30 한국전자통신연구원 촉감자극을 생성하는 방법 및 장치
JP2021002361A (ja) * 2016-09-06 2021-01-07 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 強度感知ボタンとの対話中にフィードバックを提供するためのデバイス、方法、及びグラフィカルユーザインタフェース

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10437392B2 (en) * 2012-07-05 2019-10-08 Samsung Electronics Co., Ltd. Apparatus and method for detecting hard and soft touch by using acoustic sensors
JPWO2015121955A1 (ja) * 2014-02-14 2017-03-30 富士通株式会社 電子機器、入力装置、及び駆動制御方法
US9971406B2 (en) * 2014-12-05 2018-05-15 International Business Machines Corporation Visually enhanced tactile feedback
US10001882B2 (en) * 2015-12-02 2018-06-19 Rapt Ip Limited Vibrated waveguide surface for optical touch detection
US11709550B2 (en) * 2018-06-19 2023-07-25 Sony Corporation Information processing apparatus, method for processing information, and program
KR102124844B1 (ko) * 2018-12-31 2020-06-22 재단법인 대구경북과학기술원 촉감인식장치, 시스템 및 방법

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010238222A (ja) * 2009-03-12 2010-10-21 Ricoh Co Ltd タッチパネル装置、これを含むタッチパネル付き表示装置、及びタッチパネル装置の制御方法
WO2011027535A1 (ja) * 2009-09-03 2011-03-10 パナソニック株式会社 触感再現方法、装置、コンピュータプログラムおよびコンピュータプログラムを記録した記録媒体
US20110316798A1 (en) * 2010-02-26 2011-12-29 Warren Jackson Tactile Display for Providing Touch Feedback
JP2012181833A (ja) * 2011-02-10 2012-09-20 Kyocera Corp 電子機器及び電子機器の制御方法

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6639582B1 (en) * 2000-08-10 2003-10-28 International Business Machines Corporation System for combining haptic sensory-motor effects from two separate input devices into resultant sensory-motor effects and for feedback of such resultant effects between the input devices
JP2010231609A (ja) 2009-03-27 2010-10-14 Hitachi Maxell Ltd 触感呈示装置及び方法
CN103649885B (zh) * 2012-04-27 2017-03-01 松下知识产权经营株式会社 触觉提示装置、触觉提示方法、驱动信号生成装置以及驱动信号生成方法
US9046926B2 (en) * 2012-12-17 2015-06-02 International Business Machines Corporation System and method of dynamically generating a frequency pattern to realize the sense of touch in a computing device
US20150003204A1 (en) * 2013-06-27 2015-01-01 Elwha Llc Tactile feedback in a two or three dimensional airspace
US9390598B2 (en) * 2013-09-11 2016-07-12 Blackberry Limited Three dimensional haptics hybrid modeling

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2010238222A (ja) * 2009-03-12 2010-10-21 Ricoh Co Ltd タッチパネル装置、これを含むタッチパネル付き表示装置、及びタッチパネル装置の制御方法
WO2011027535A1 (ja) * 2009-09-03 2011-03-10 パナソニック株式会社 触感再現方法、装置、コンピュータプログラムおよびコンピュータプログラムを記録した記録媒体
US20110316798A1 (en) * 2010-02-26 2011-12-29 Warren Jackson Tactile Display for Providing Touch Feedback
JP2012181833A (ja) * 2011-02-10 2012-09-20 Kyocera Corp 電子機器及び電子機器の制御方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3173904A4 *

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2021002361A (ja) * 2016-09-06 2021-01-07 アップル インコーポレイテッドＡｐｐｌｅ Ｉｎｃ． 強度感知ボタンとの対話中にフィードバックを提供するためのデバイス、方法、及びグラフィカルユーザインタフェース
KR20180057013A (ko) * 2016-11-21 2018-05-30 한국전자통신연구원 촉감자극을 생성하는 방법 및 장치
KR102591807B1 (ko) * 2016-11-21 2023-10-23 한국전자통신연구원 촉감자극을 생성하는 방법 및 장치

Also Published As

Publication number Publication date
EP3173904A1 (en) 2017-05-31
EP3173904A4 (en) 2017-08-02
KR20170015467A (ko) 2017-02-08
US20170097682A1 (en) 2017-04-06
CN106471437A (zh) 2017-03-01
JPWO2016013068A1 (ja) 2017-04-27

Similar Documents

Publication Publication Date Title
WO2016013068A1 (ja) 触感データ処理装置、触感提供システム、及び触感データ処理方法
WO2015121969A1 (ja) 触感提供装置、及び、システム
JP6319328B2 (ja) 教育用触感提供装置、及び、システム
WO2015121971A1 (ja) 触感提供装置、及び、システム
CN103257783B (zh) 用于在移动设备上共享反馈的交互模型
CN104798013B (zh) 提供具有可编程表面纹理的模式或状态意识的系统和方法
CN104285205B (zh) 触控面板器件和触控面板器件的控制方法
US8330590B2 (en) User interface feedback apparatus, user interface feedback method, and program
JP2019050003A (ja) 触覚セルのアレイを用いた有形のユーザ・インターフェース・インタラクション及びジェスチャのシミュレーション
KR20150104808A (ko) 피드백을 출력하는 전자 장치 및 방법
CN104123035A (zh) 用于支持触觉的可变形表面的系统和方法
CN104679233A (zh) 用于生成摩擦和振动触感效果的系统和方法
CN107111374A (zh) 触觉效果的覆盖
CN104423589A (zh) 触觉变形系统
CN103970208A (zh) 可穿戴式设备管理器
CN107608518A (zh) 用于触敏表面上的多压交互的系统和方法
US20180011538A1 (en) Multimodal haptic effects
CN108604130A (zh) 信息处理设备、信息处理方法和非暂态计算机可读介质
JP6424612B2 (ja) 組立支援システム、及び、組立支援方法
WO2015121972A1 (ja) 駆動制御装置、電子機器、システム、及び駆動制御方法
WO2016092644A1 (ja) 電子機器及び駆動制御方法
WO2016174760A1 (ja) 駆動制御装置、電子機器、駆動制御プログラム、及び駆動制御方法
KR100957001B1 (ko) 자력을 이용한 햅틱 피드백 제공모듈, 햅틱 피드백 제공모듈을 갖는 휴대기기 및 그 제공방법
WO2016178289A1 (ja) 電子機器及び振動制御プログラム
JP2016161953A (ja) 電子機器及び接触座標決定プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14898014

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2016535573

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2014898014

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2014898014

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 1020177000158

Country of ref document: KR

NENP Non-entry into the national phase

Ref country code: DE